KR20190046563A - 오디오 워터마킹 시스템 및 방법 - Google Patents

오디오 워터마킹 시스템 및 방법

Info

Publication number
KR20190046563A
KR20190046563A KR1020170140497A KR20170140497A KR20190046563A KR 20190046563 A KR20190046563 A KR 20190046563A KR 1020170140497 A KR1020170140497 A KR 1020170140497A KR 20170140497 A KR20170140497 A KR 20170140497A KR 20190046563 A KR20190046563 A KR 20190046563A
Authority
KR
South Korea
Prior art keywords
noise
section
sound source
frequency
interval
Prior art date
Application number
KR1020170140497A
Other languages
English (en)
Other versions
KR102225503B1 (ko
Inventor
차재욱
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020170140497A priority Critical patent/KR102225503B1/ko
Publication of KR20190046563A publication Critical patent/KR20190046563A/ko
Application granted granted Critical
Publication of KR102225503B1 publication Critical patent/KR102225503B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93—Discriminating between voiced and unvoiced parts of speech signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

오디오 워터마킹 시스템이 저장된 음원에 오디오 워터마크를 삽입하는 방법으로서, 단말에 의해 요청된 음원에 포함된 적어도 하나의 잡음 구간을 지시하는 메타 데이터를 토대로, 음원에 포함된 적어도 하나의 잡음 구간을 확인한다. 메타 데이터와 음원을 기초로, 잡음 구간에 삽입할 워터마크를 생성하고, 생성한 워터마크를 잡음 구간에 삽입한 후 단말에 전송한다.

Description

오디오 워터마킹 시스템 및 방법{System and method for audio watermarking}
본 발명은 오디오 워터마킹 시스템 및 방법에 관한 것이다.
멀티미디어 기술의 발전으로 인해 다양한 디지털 콘텐츠들이 제작, 유통되고 있고, 디지털 콘텐츠를 이용할 수 있는 단말의 종류와 기술이 발전함에 따라 디지털 콘텐츠의 요구도 증가하고 있다. 디지털 콘텐츠의 유통이 활발해짐에 따라 불법 복제된 디지털 콘텐츠들의 유통 또한 늘어나고 있다.
이에 디지털 콘텐츠에 대한 콘텐츠 저작자의 저작권을 보호하기 위한 다양한 기술들이 연구되고 있다. 다양한 기술들 중 워터마크(watermark) 기술은 디지털 콘텐츠에 사람의 눈이나 귀를 통해 쉽게 감지하기 어려운 디지털 이미지, 오디오, 비디오 신호에 저작권 정보를 삽입하여, 디지털 콘텐츠에 대한 소유권을 보호하는 기술이다.
그러나, 종래의 워터마크 기술은 신호처리 시 강인성을 보여주지 못한다. 또한, 기존 워터마크 기술은 디지털 이미지에 삽입하는 형태로 오디오 콘텐츠에 대한 보호가 어렵다.
오디오 콘텐츠 보호를 위해 워터마크를 오디오 헤더에 삽입하여 보호하는 기술이 있다. 이 기술을 이용할 경우 비가청 주파수를 사용하여야 하므로 오디오 콘텐츠에 적용하기에 제한적이고 헤더에 정보가 삽입되므로 쉽게 삭제될 수 있다.
또한, 주파수 영역에서 워터마크를 삽입하여 보호하는 기술도 있다. 이 방법을 사용할 경우, 주파수 영역에서 워터마크를 삽입해야 하기 때문에 방법이 복잡하고, 주파수 변경이나 피치 조절, 샘플 비트 변경 등의 공격에 약하며 오디오 콘텐츠의 품질이 저하되는 문제점이 있다.
따라서, 본 발명은 오디오에 오디오 워터마크를 삽입하여 제공하는 오디오 워터마킹 시스템 및 방법을 제공한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 음원에 오디오 워터마크를 삽입하는 오디오 워터마킹 시스템으로서,
상기 음원에서 음성 구간과 잡음 구간을 확인하고, 확인한 잡음 구간의 위치를 지시하는 메타 데이터를 생성하는 오디오 서버, 그리고 상기 오디오 서버로부터 상기 음원과 메타 데이터를 수신하고, 상기 음원과 메타 데이터, 음원이 요청된 시간 정보 및 음원을 요청한 사용자의 식별 정보를 토대로 오디오 워터마크를 생성하여 상기 잡음 구간에 삽입하며, 오디오 워터마크가 삽입된 음원을 상기 오디오 서버로 전달하는 워터마킹 처리 서버를 포함한다.
상기 오디오 서버는, 상기 워터마킹 처리 서버로 상기 음원과 상기 음원에 대한 메타 데이터를 포함하는 오디오 신호를 전송하고, 상기 오디오 워터마크가 삽입된 음원을 수신하면 상기 음원을 요청한 단말로 전송하는 인터페이스, 그리고 상기 단말로부터 요청된 음원을 미리 설정한 구간 단위로 분할된 분할 구간으로 수신하여 분할 구간의 평균 음량을 구하고, 상기 평균 음량을 미리 설정된 임계 세기와 비교하여 상기 분할 구간이 음성 구간인지 잡음 구간인지 구분하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 분할 구간이 잡음 구간인 것으로 확인하면, 상기 분할 구간의 이전 구간 또는 이후 구간 중 잡음 구간에 가까운 음성 구간에서 구한 평균 음량을 상기 잡음 구간인 분할 구간의 잡음 레벨로 결정하며, 상기 분할 구간의 신호 세기와 상기 분할 구간에 포함된 음원 데이터 수를 이용하여 상기 평균 음량을 구할 수 있다.
상기 프로세서는, 상기 잡음 구간의 이전 구간 또는 이후 구간 중 어느 하나인 음성 구간을 DFT(Discrete Fourier Transform) 처리하고, 상기 DFT 처리된 분할 구간에 포함된 복수의 주파수별 신호 세기를 비교하여, 신호 세기가 센 주파수 순서로 제1 주파수와 제2 주파수를 상기 잡음 구간의 메인 주파수로 설정할 수 있다.
상기 프로세서는, 상기 분할 구간의 음원 정보, 상기 제1 주파수와 제2 주파수, 그리고 잡음 레벨을 포함하는 메타 데이터를 생성하며, 상기 제1 주파수와 제2 주파수는 각각의 주파수 별로 미리 설정된 인덱스 정보 또는 주파수 값 중 어느 하나가 삽입되고, 상기 음원 정보는 분할 구간 시작 시간, 분할 구간 종료 시간, 상기 분할 구간의 식별 정보 중 적어도 하나를 포함할 수 있다.
상기 오디오 서버는, 상기 음원에 포함된 적어도 하나의 잡음 구간에 대한 정보와 잡음 구간에 대한 상기 메인 주파수, 그리고 잡음 구간의 잡음 레벨과 잡음 구간인 분할 구간의 정보를 포함하는 메타 데이터를 저장하는 메타 데이터 메모리, 그리고 상기 인터페이스를 통해 외부로부터 전송된 음원을 음원 식별 정보와 함께 저장하는 오디오 메모리를 포함할 수 있다.
상기 워터마킹 처리 서버는, 상기 오디오 서버로부터 상기 메타 데이터를 수신하고, 상기 분할 구간에 오디오 워터마크를 삽입한 제2 오디오 신호를 상기 오디오 서버로 전달하는 인터페이스, 상기 메타 데이터를 토대로 상기 음원 중 잡음 구간을 확인하고, 상기 메타 데이터에 포함되어 있는 메인 주파수와 잡음 레벨 그리고 음원이 요청된 시간 정보 및 음원을 요청한 사용자의 식별 정보를 이용하여 잡음 구간에 삽입할 오디오 워터마크를 생성하여 잡음 구간에 삽입하는 워터마크 처리부, 그리고 상기 워터마크 처리부가 오디오 워터마크를 생성하기 위해 이용한 잡음과 삽입 정보를 저장하는 메모리를 포함할 수 있다.
상기 워터마크 처리부는, 상기 메타 데이터의 메인 주파수를 토대로 제1 주파수의 잡음과 제2 주파수의 잡음을 생성하고, 상기 메타 데이터에 포함된 음원 정보를 토대로 생성된 이진 코드의 제1 부분에는 제1 주파수의 잡음을, 제2 부분에는 제2 주파수의 잡음을 삽입할 수 있다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 오디오 워터마킹 시스템이 저장된 음원에 오디오 워터마크를 삽입하는 방법으로서,
단말에 의해 요청된 음원에 포함된 적어도 하나의 잡음 구간을 지시하는 메타 데이터를 토대로, 상기 음원에 포함된 적어도 하나의 잡음 구간을 확인하는 단계, 상기 메타 데이터와 상기 음원을 기초로, 상기 잡음 구간에 삽입할 워터마크를 생성하는 단계, 그리고 생성한 워터마크를 상기 잡음 구간에 삽입한 후 상기 단말에 전송하는 단계를 포함한다.
상기 잡음 구간을 확인하는 단계 이전에, 상기 음원을 미리 설정된 시간 단위로 분할한 분할 구간을 생성하는 단계, 생성한 분할 구간에 대한 평균 음량을 계산하고, 계산한 평균 음량을 토대로 상기 분할 구간이 잡음 구간인지 음성 구간인지 확인하는 단계, 상기 분할 구간이 잡음 구간인 것으로 확인하면, 상기 분할 구간의 이전 구간 또는 이후 구간 중 잡음 구간에 가장 가까운 음성 구간을 DFT 처리하여 적어도 하나의 주파수 대역별로 신호 세기를 추출하는 단계, 신호 세기가 센 제1 주파수와 제2 주파수를 상기 잡음 구간에 대한 메인 주파수로 설정하는 단계, 그리고 상기 평균 음량을 토대로 설정한 잡음 레벨, 상기 제1 주파수와 제2 주파수, 그리고 상기 분할 구간의 음원 정보를 포함하여 상기 분할 구간이 잡음 구간임을 알리는 메타 데이터를 생성하는 단계를 포함할 수 있다.
상기 평균 음량은 상기 분할 구간의 시간 영역의 신호 세기와 상기 분할 구간에 포함된 음원 데이터 수를 이용하여 상기 평균 음량을 구하고, 상기 평균 음량이 미리 설정한 임계 세기 이하이면 상기 분할 구간이 잡음 구간인 것으로 확인하고 상기 평균 음량을 상기 분할 구간의 잡음 레벨로 결정할 수 있다.
상기 워터마크를 생성하는 단계는, 상기 제1 주파수에 대한 잡음과 제2 주파수에 대한 잡음을 생성하는 단계, 그리고 상기 메타 데이터에 포함된 음원 정보를 토대로 생성된 이진 코드의 제1 부분에는 상기 제1 주파수의 잡음을, 제2 부분에는 상기 제2 주파수의 잡음을 삽입하여 워터마크로 생성하는 단계를 포함할 수 있다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 오디오 워터마킹 시스템이 실시간 전송되는 음원에 오디오 워터마크를 삽입하는 방법으로서,
상기 전송되는 음원을 미리 설정한 시간 단위로 분할하고, 분할한 분할 구간의 평균 음량을 토대로 상기 분할 구간이 음성 구간인지 잡음 구간인지 확인하는 단계, 상기 분할 구간이 잡음 구간이면 상기 잡음 구간의 이전 분할 구간 또는 이후 분할 구간 중 상기 잡음 구간에 인접한 음성 구간에 포함된 적어도 하나의 주파수 중 주파수 세기가 가장 센 주파수를 상기 잡음 구간의 메인 주파수로 선정하는 단계, 상기 메인 주파수에 대응하는 잡음을 확인하고, 상기 확인한 잡음과 상기 분할 구간의 음원 정보를 이용하여 워터마크를 생성하는 단계, 그리고 생성한 워터마크를 상기 분할 구간에 삽입하는 단계를 포함한다.
상기 잡음 구간인지 확인하는 단계는, 상기 분할 구간의 시간 영역의 신호 세기와 상기 분할 구간에 포함된 음원 데이터 수를 이용하여 상기 평균 음량을 계산할 수 있다.
상기 분할 구간에 삽입하는 단계 이후에, 상기 분할 구간에 이어 전송되는 분할 구간의 평균 음량을 토대로, 잡음 구간이 지속되는지 확인하는 단계, 그리고 잡음 구간이 지속되면 상기 생성한 워터마크를 삽입하고, 잡음 구간이 지속되지 않으면 상기 워터마크의 삽입을 중단하는 단계를 포함할 수 있다.
상기 삽입하는 단계 이후에, 상기 워터마크를 생성하는데 사용한 음원 정보와 워터마크 생성 내역을 메타 데이터로 저장하는 단계를 포함할 수 있다.
본 발명에 따르면 음질에 대한 저하 없이 워터마크를 삽입할 수 있어, 사용자는 기존 품질 그대로의 음원 서비스를 이용할 수 있다.
또한, 오디오 워터마킹이 삽입된 음원이 유출되더라도 최초 유출 경로를 추적할 수 있다.
도 1은 본 발명의 실시예에 따른 오디오 워터마킹 시스템이 적용된 환경의 예시도이다.
도 2는 본 발명의 실시예에 따른 오디오 서버의 구조도이다.
도 3은 본 발명의 실시예에 따른 워터마킹 처리 서버의 구조도이다.
도 4는 본 발명의 제1 실시예에 따른 오디오 워터마킹 방법에 대한 흐름도이다.
도 5는 본 발명의 제1 실시예에 따른 메타 데이터 생성 방법에 대한 흐름도이다.
도 6은 본 발명의 제2 실시예에 따른 오디오 워터마킹 방법에 대한 흐름도이다.
도 7은 본 발명의 실시예에 따른 오디오 신호의 예시도이다.
도 8은 본 발명의 실시예에 따른 메타 데이터의 예시도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 단말(terminal)은, 이동국(Mobile Station, MS), 이동 단말(Mobile Terminal, MT), 가입자국(Subscriber Station, SS), 휴대 가입자국(Portable Subscriber Station, PSS), 사용자 장치(User Equipment, UE), 접근 단말(Access Terminal, AT) 등을 지칭할 수도 있고, 이동 단말, 가입자국, 휴대 가입자 국, 사용자 장치 등의 전부 또는 일부의 기능을 포함할 수도 있다.
이하, 도면을 참조로 하여 본 발명의 실시예에 따른 오디오 워터마킹 시스템 및 이를 이용한 오디오 워터마킹 방법에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 오디오 워터마킹 시스템이 적용된 환경의 예시도이다.
도 1에 도시된 바와 같이, 오디오 서버(100)와 워터마킹 처리 서버(200)로 구성된 오디오 워터마킹 시스템(10)은 복수의 단말(300)과 연동하여, 단말(300)들이 요청하는 오디오에 오디오 워터마크를 삽입하여 제공한다. 여기서, 오디오 서버(100)는 임의의 한 서버 내에 포함되어 있는 오디오 모듈, 오디오 처리 파트, 오디오 처리 부분일 수 있으며, 반드시 오디오 서버(100)와 같이 물리적인 서버로 구성되지 않아도 무방하다. 워터마킹 처리 서버(200)의 경우에도 설명의 편의를 위하여 "서버"로 지칭하여 설명하나, 모듈로서 구성될 수도 있다.
오디오 서버(100)는 실시간으로 수신되는 음원 또는 미리 저장되어 있는 음원을 이용하여 음원에 포함되어 있는 잡음 구간의 위치를 지시하는 메타 데이터를 생성한다. 그리고 단말(300)로부터 음원 요청이 있을 경우 메타 데이터와 음원을 제1 오디오 신호에 포함하여 워터마킹 처리 서버(200)로 전달하고, 워터마킹 처리 서버(200)에서 오디오 워터마크가 삽입된 제2 오디오 신호를 수신하면 이를 단말(300)로 제공한다.
워터마킹 처리 서버(200)는 오디오 서버(100)로부터 제1 오디오 신호를 수신하면, 워터마크를 생성한다. 이때, 제1 오디오 신호에 포함된 메타 데이터를 토대로 생성한 워터마크를 음원에 삽입하고, 오디오 워터마킹이 처리된 음원을 제2 오디오 신호에 포함하여 오디오 서버(100)로 전달하여, 단말(300)로 오디오 워터마킹 처리된 음원이 제공되도록 한다.
본 발명의 실시예에서는 음원을 저장하거나, 음원으로부터 메타 데이터를 생성하는 오디오 서버(100)와 음원에 오디오 워터마크를 삽입하는 워터마킹 처리 서버(200)가 물리적으로 분리되어 있는 것을 예로 하여 설명하나, 하나의 서버 내에 두 개의 서버가 포함되어 있거나, 하나의 서버가 모든 기능을 처리할 수 있다. 이러한 오디오 서버(100)와 워터마킹 처리 서버(200)의 구조에 대해 도 2 및 도 3을 참조로 설명한다.
도 2는 본 발명의 실시예에 따른 오디오 서버의 구조도이다.
도 2에 도시된 바와 같이, 오디오 서버(100)는 인터페이스(110), 프로세서(120), 오디오 메모리(130)와 메타 데이터 메모리(140)를 포함한다.
오디오 서버(100)의 인터페이스(110)는 외부(예를 들어, 단말, 오디오 데이터베이스 등)로부터 음원을 수신하거나, 단말(300)로부터 음원 요청 신호를 수신한다. 그리고, 인터페이스(110)는 워터마킹 처리 서버(200)로 단말(300)이 요청한 음원과 해당 음원에 대한 복수의 메타 데이터를 포함하는 제1 오디오 신호를 전달한다.
또한, 인터페이스(110)는 워터마킹 처리 서버(200)로부터 오디오 워터마킹 처리된 음원을 포함하는 제2 오디오 신호를 수신하면, 수신한 제2 오디오 신호를 음원을 요청한 단말(300)로 전달한다.
프로세서(120)는 오디오 메모리(130)에 저장되어 있는 음원 또는 인터페이스(110)를 통해 수신되는 음원을 미리 설정한 구간 단위로 분할하여 수신한다. 본 발명의 실시예에서는 프로세서(120)가 10msec와 같은 시간 단위로 분할된 분할 구간을 수신하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 또한, 프로세서(120)가 하나의 음원을 분할하는 방법도 여러 형태로 수행할 수 있으므로, 어느 하나의 방법으로 한정하지 않는다.
프로세서(120)는 분할 구간을 수신하고 해당 분할 구간이 잡음 구간이면, 잡음 구간을 지시하기 위한 메타 데이터를 생성한다. 본 발명의 실시예에서는 목소리가 포함되어 있는 구간을 "음성 구간"이라 지칭하고, 음성 구간 이외에 잡음만 있는 구간이나 잡음도 없는 무음 구간을 "잡음 구간"이라 지칭한다.
잡음 구간에 대한 메타 데이터를 생성하기 위하여 프로세서(120)는 먼저 분할 구간의 평균 음량을 구한다. 분할 구간의 평균 음량을 구하기 위해, 프로세서(120)는 분할 구간의 신호 세기를 제곱한 후, 10msec 분할 구간 내에 포함된 음원 데이터 단위 수만큼 나누어 평균 음량을 구한다.
오디오 서버(100)는 음원을 디지털 형태로 받아들일 수 있으므로, 분할 구간에 포함된 파형을 토대로, 분할 구간의 신호 세기를 확인할 수 있다. 신호 세기는 + 세기와 - 세기가 모두 포함될 수 있으며, 오디오 서버(100)가 확인한 오디오 신호의 예를 나타낸 도 7을 참조로 하여 먼저 설명한다.
도 7은 본 발명의 실시예에 따른 오디오 신호의 예시도이다.
도 7에 도시된 바와 같이, 음원의 파형은 음성의 세기에 따라 + 세기와 - 세기를 나타내므로, 10msec 단위로 수신하는 프로세서(120)는 10msec 내의 신호 세기를 제곱하여 - 세기 성분을 없앤다. 그리고 제곱한 신호 세기를 10msec에 포함된 음원 데이터 수(N개, 여기서 N은 정수)로 나누어 분할 구간에 대한 평균 음량으로 구한다.
예를 들어 예를 들어, 1초에 16000개의 음성 데이터가 포함되도록 16KHz 음질로 음성이 녹음되었다고 가정한다. 그러면, 10msec 내에는 160개(N개)의 음원 데이터가 포함되어 있다. 따라서, 제곱된 신호 세기를 160개로 나누면 10msec의 분할 구간에 대한 평균 음량을 구할 수 있다. 본 발명의 실시예에서는 분할 구간 각각에 대해 제곱한 신호 세기를 분할 구간에 포함된 음원 데이터 수로 나눈 값으로 평균 음량을 구하는 것을 예로 하여 설명하나, 여러 방법으로 실행할 수 있으므로 반드시 이와 같은 방법으로 한정되는 것은 아니다.
상기 도 2를 이어 설명하면, 프로세서(120)는 분할 구간에 대한 평균 음량이 미리 설정한 임계 세기 이하이면, 해당 분할 구간은 잡음 구간인 것으로 확인하고 분할 구간에 대한 평균 음량을 잡음 레벨로 결정한다. 이와 함께, 프로세서(120)는 잡음 구간으로 확인한 분할 구간의 시작 시간과 종료 시간을 파악한다.
한편 평균 음량이 미리 설정한 임계 세기 이상이면, 프로세서(120)는 해당 분할 구간은 유의미한 데이터가 포함되어 있는 음성 구간으로 확인한다. 여기서, 평균 음량을 비교할 미리 설정한 범위는 어느 하나의 구간으로 한정하지 않는다.
프로세서(120)는 분할 구간을 음성 구간과 잡음 구간으로 구분한 후, 음성 구간으로 확인된 분할 구간을 DFT(Discrete Fourier Transform) 또는 FFT(Fast Fourier Transform) 변환을 수행하여 주파수 대역별 신호 크기를 구한다. 그리고 프로세서(120)는 분할 구간에서 신호 세기가 가장 센 두 개의 주파수(이하, '제1 주파수'와 '제2 주파수'라 지칭하거나, 합쳐서 '메인 주파수'라 지칭함)를 선택한다. 메인 주파수의 수는 분할 구간의 수만큼 선택된다.
여기서, 프로세서(120)가 제1 주파수와 제2 주파수를 선택할 때, 분할 구간이 잡음 구간인 경우에는 해당 잡음 구간의 이전 또는 이후 분할 구간이 음성 구간인지 확인한다. 그리고 음성 구간일 경우, 음성 구간에서 제1 주파수와 제2 주파수를 선택한다. 프로세서(120)가 선택하는 제1 주파수와 제2 주파수는 음원의 음색을 맞추기 위함이며, 본 발명의 실시예에서 설명하는 바와 같이 반드시 음성 구간에서 주파수를 선택하지 않아도 무방하다. 즉, 미리 설정한 주파수를 제1 주파수와 제2 주파수로 사용할 수도 있다.
프로세서(120)는 모든 분할 구간에 대한 신호 처리가 종료되면, 분할 구간 중 잡음 구간으로 확인된 분할 구간의 시작 시간, 분할 구간 종료 시간, 제1 주파수, 제2 주파수, 잡음 레벨을 포함하는 메타 데이터를 생성한다. 여기서, 제1 주파수와 제2 주파수에는 인덱스 정보 또는 주파수 자체의 값 중 어느 하나가 삽입된다. 각 메인 주파수에 대한 인덱스 정보를 삽입하기 위해, 본 발명의 실시예에서는 다음 표 1과 같이 각 주파수 대역에 대한 인덱스가 정해져 있다고 가정한다.
인덱스 정보 주파수 구간
0 1~100Hz
1 101~400Hz
2 401~800Hz
… …
만약 분할 구간이 잡음 구간인 경우, 분할 구간에 앞선 구간 또는 바로 이어 나타나는 분할 구간 중 잡음 구간에 가장 인접한 음성 구간에서 신호 세기가 가장 센 두 개의 주파수가 500Hz와 200Hz라고 가정한다면, 제1 주파수에는 인덱스 정보로 2가 삽입되고, 제2 주파수에는 인덱스 정보로 1이 삽입된다.
하나의 음원에 대해 잡음 구간의 수만큼의 메타 데이터가 모여, 메타 데이터 메모리(140)에 저장된다. 즉, 하나의 음원에 10개의 잡음 구간이 포함되어 있었다면, 메타 데이터 메모리(140)에 저장되어 있는 하나의 음원에 대한 메타 데이터 내에는 잡음 구간을 지시하기 위한 10개의 정보가 포함되어 있다.
메타 데이터 메모리(140)가 메타 데이터를 저장할 때, 음원에 대한 음원 식별 정보와 해당 음원에 대한 메타 데이터가 저장된다. 음원 식별 정보는 프로세서(120)가 제공할 수도 있고, 음원을 생성하여 전달한 단말(300)이 생성할 수도 있으므로, 어느 하나의 방법으로 한정하지 않는다.
오디오 메모리(130)는 음원과 음원 식별 정보를 저장한다. 그리고 프로세서(120)는 단말(300)에 의해 요청된 음원을 오디오 메모리(130)에 저장된 음원 식별 정보를 이용하여 찾는다. 또한, 해당 음원의 음원 식별 정보에 대응하는 메타 데이터가 메타 데이터 메모리(140)에 저장되어 있는지 확인한다.
음원에 대한 메타 데이터가 메타 데이터 메모리(140)에 저장되어 있는 경우에는, 프로세서(120)는 메타 데이터와 음원을 포함하는 제1 오디오 신호를 생성하여 워터마킹 처리 서버(200)로 전달한다. 그러나, 메타 데이터가 없거나 실시간으로 음원이 전송되는 경우, 프로세서(120)는 메타 데이터를 바로 생성하여 제1 오디오 신호에 포함, 워터마킹 처리 서버(200)로 전송한다. 그리고 생성한 메타 데이터를 메타 데이터 메모리(140)에 저장한다.
본 발명의 실시예에서는 설명의 편의를 위하여 오디오 메모리(130)와 메타 데이터 메모리(140)로 구분하여 나타내었으나, 하나의 메모리에 오디오 신호와 메타 데이터가 저장될 수 있다. 또한, 오디오 서버(100)를 구동하기 위한 다양한 프로그램들도 메모리에 저장될 수 있다.
도 3은 본 발명의 실시예에 따른 워터마킹 처리 서버의 구조도이다.
도 3에 도시된 바와 같이, 워터마킹 처리 서버(200)는 인터페이스(210), 워터마크 처리부(220) 및 메모리(230)를 포함한다.
인터페이스(210)는 오디오 서버(100)로부터 전송되는 제1 오디오 신호를 수신한다. 그리고 워터마크 처리부(220)가 생성한 제2 오디오 신호를 오디오 서버(100)로 전송한다.
워터마크 처리부(220)는 제1 오디오 신호에 포함되어 있는 메타 데이터와 음원을 확인하고, 메타 데이터를 토대로 음원 중 어느 구간이 잡음 구간인지 확인한다. 그리고 워터마크 처리부(220)는 잡음 구간에 삽입할 오디오 워터마크를 생성한다.
워터마크 처리부(220)는 잡음 구간을 확인한 후, 제1 주파수의 잡음과 제2 주파수의 잡음을 잡음 레벨에 맞춰 생성한다. 제1 주파수 또는 제2 주파수는 무음으로 대체할 수 있으며, 잡음을 생성하는 방법이나 생성된 잡음의 형태는 어느 하나로 한정하지 않는다. 여기서, 워터마크 처리부(220)는 음원을 듣는 사용자에게 오디오 워터마크에 대한 알람을 주기 위해, 제1 주파수의 잡음과 제2 주파수의 잡음을 음성이나 다른 구간의 음향 부분의 수준에 맞춰 크게 생성할 수도 있다.
워터마크 처리부(220)는 제1 주파수의 잡음과 제2 주파수의 잡음을 생성하면, 생성한 두 개의 잡음과 워터 마크를 생성하기 위한 삽입 정보를 조합하여 워터 마크를 생성한다. 본 발명의 실시예에서는 삽입 정보와 잡음을 이진 데이터 형태로 조합하여 오디오 워터마크를 생성하는 것을 예로 하여 설명한다. 여기서, 삽입 정보는 잡음 구간에 대한 시간 정보나 음원의 식별 정보 또는 사용자 식별 정보 중 어느 형태의 정보가 선택될 수 있다.
예를 들어, 삽입 음원의 정보 중 음원의 식별 정보를 토대로 생성된 이진 코드가 '011001011010…'이라 가정한다. 그러면, 워터마크 처리부(220)는 이진 코드의 '1' 부분에 제1 주파수의 잡음을 삽입하고, '0' 부분에 제2 주파수의 잡음을 삽입하여 오디오 워터마크로 생성한다.
이때, 워터마크 처리부(220)는 이진 코드에 더 많은 워터마크 정보를 삽입하기 위하여, 오디오 서버(100)의 프로세서(120)가 DFT 변환하여 생성한 주파수 중에서, 추가로 주파수를 선택하여 처리할 수 있다. 예를 들어, 워터마크 처리부(220)가 프로세서(120)에서 생성된 주파수들 중 임의의 8개의 주파수를 선정하여 8진수 형태로 처리하고, 추가로 2N 진법을 사용하여 더 많은 정보를 워터마크에 삽입할 수 있다. 여기서 2N은 선정한 주파수 수를 의미한다. 주파수를 선택하여 주파수 수에 따른 진법을 사용하여 처리하는 방법은 다양한 방법으로 수행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하여 설명하지 않는다.
워터마크 처리부(220)는 삽입 정보가 조합될 주파수의 잡음을 전체 음원에서 공통으로 사용할 고정 잡음으로 생성하여 사용할 수 있고, 잡음 구간별로 각각 상이한 잡음을 생성하여 사용할 수 있다. 또한, 워터마크 처리부(220)는 오디오 워터마크의 길이가 잡음 구간의 길이보다 짧으면, 오디오 워터마크를 반복적으로 삽입할 수도 있다.
워터마크 처리부(220)는 오디오 워터마크를 생성하기 위해 잡음과 조합한 삽입 정보를 메모리(230)에 저장한다. 여기서, 메모리(230)에 저장한 삽입 정보는 오디오 서버(100)의 메타 데이터 메모리(140)에 저장될 수도 있다. 또한, 메모리(230)는 워터마킹 처리 서버(200)가 오디오 워터마크를 생성할 수 있는 다양한 프로그램들이 저장되어 있다.
이상에서 설명한 오디오 워터마킹 시스템(10)을 이용하여 오디오 워터마크를 음원에 삽입하는 방법에 대해 도 4 내지 도 6을 참조로 설명한다. 본 발명의 제1 실시예에서는 음원이 오디오 서버(100)에 저장되어 있는 경우의 오디오 워터마킹 방법을 설명하고, 제2 실시예에서는 음원이 실시간으로 외부로부터 전송되는 경우의 오디오 워터마킹 방법을 설명한다.
도 4는 본 발명의 제1 실시예에 따른 오디오 워터마킹 방법에 대한 흐름도이다.
도 4에 도시된 바와 같이, 오디오 서버(100)는 단말(300)로부터 음원 제공을 요청하는 사용자 요청을 수신하면(S100), 요청된 음원과 음원에 대응하는 메타 데이터가 저장되어 있는지 검색한다(S110). 여기서, 사용자 요청 신호에는 단말(300)로 제공할 음원에 대한 음원 식별 정보가 포함되어 있는 것을 예로 하여 설명한다.
오디오 서버(100)는 음원 식별 정보를 이용하여 음원에 대응하는 메타 데이터가 저장되어 있는지 확인하고(S120), 메타 데이터가 없는 경우에는 메타 데이터를 생성한다(S130). 메타 데이터 생성 절차에 대해 도 5를 참조로 먼저 설명한다.
도 5는 본 발명의 제1 실시예에 따른 메타 데이터 생성 방법에 대한 흐름도이다.
도 5에 도시된 바와 같이, 오디오 서버(100)의 프로세서(120)는 먼저 사용자가 요청한 음원을 오디오 메모리(130)로부터 미리 설정한 시간 단위로 분할된 분할 구간으로 수신한다(S131). 본 발명의 실시예에서는 10msec 시간 단위로 하나의 음원을 복수의 분할 구간으로 분할하여 처리하는 것을 예로 하여 설명한다. 그리고 음원이 16KHz 음질로 녹음되었다고 가정하면, 프로세서(120)가 읽어오는 10msec 내에는 160개의 음원 데이터가 포함된다.
프로세서(120)는 수신한 10msec의 분할 구간에 대한 평균 음량을 계산한다(S132). 프로세서(120)는 계산한 평균 음량이 미리 설정한 임계 세기 이하이면 해당 분할 구간을 잡음 구간으로 확인하고, 평균 음량이 임계 세기 이상이면 음성 구간으로 확인한다(S133).
프로세서(120)는 잡음 구간으로 확인한 분할 구간의 직전 음성 구간을 DFT 처리한다(S134). 이 때, 잡음 구간이 음원의 첫 구간이라 이전 음성 구간이 없는 경우에는, 다음 음성 구간을 DFT 처리한다.
DFT 처리된 분할 구간에 주파수 대역으로 필터 뱅크(Filter bank)를 적용한 후 대역별로 신호 크기를 구한다(S135). 여기서 프로세서(120)가 필터 뱅크를 적용하는 방법이나 필터 뱅크의 종류, 대역별로 신호 크기를 구하는 방법은 여러 방법으로 수행할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
프로세서(120)는 음성 구간에 대한 주파수 대역별 신호 세기 중, 신호 세기가 가장 센 제1 주파수와 두 번째로 센 제2 주파수를 확인한다(S136). 프로세서(120)는 음원 또는 잡음 구간으로 확인된 분할 구간별로, 각각 음원을 나타내는 플래그 또는 잡음을 나타내는 플래그, 시작 시간과 종료 시간, 음원인 경우 제1 주파수와 제2 주파수, 잡음인 경우 잡음 레벨을 포함하여 메타 데이터를 생성한다(S137). 이렇게 생성된 메타 데이터는 메타 데이터 메모리(140)에 저장된다.
여기서, 메타 데이터에 포함된 정보 중 종료 시간은 생략 가능하다. 또한, 본 발명의 실시예에서는 분할 구간이 음성 구간인 경우 플래그를 1로 설정하고, 잡음 구간인 경우 플래그를 0으로 설정하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. S137 단계에서 생성된 메타 데이터의 형태에 대해 도 8을 참조로 먼저 설명한다.
도 8은 본 발명의 실시예에 따른 메타 데이터의 예시도이다.
도 8에 도시된 바와 같이, 프로세서(120)는 다양한 형태로 메타 데이터를 생성한다.
먼저 도 8의 (a)는 플래그 정보, 분할 구간 시작 시간, 종료 시간, 제1 주파와 제2 주파수가 포함된 형태 또는 플래그 정보, 분할 구간 시작 시간, 종료 시간, 잡음 레벨을 포함한 형태로 메타 데이터가 형성된 것을 나타낸다. 제1 주파수와 제2 주파수가 포함된 메타 데이터(a-1)는 음성 구간에 대한 메타 데이터이고, 잡음 레벨이 포함된 메타 데이터(a-2)는 잡음 구간에 대한 메타 데이터를 나타낸 것이다.
도 8의 (b)는 플래그 정보, 분할 구간 시작 시간, 제1 주파와 제2 주파수가 포함된 형태 또는 플래그 정보, 분할 구간 시작 시간, 종료 시간, 잡음 레벨을 포함한 형태로 메타 데이터가 형성된 것을 나타낸다. 제1 주파수와 제2 주파수가 포함된 메타 데이터(b-1)는 음성 구간에 대한 메타 데이터이고, 잡음 레벨이 포함된 메타 데이터(b-2)는 잡음 구간에 대한 메타 데이터를 나타낸 것이다.
또한, 도 8의 (c)에 도시한 바와 같이, 플래그 정보, 분할 구간 시작 시간, 종료 시간, 제1 주파수와 제2 주파수, 그리고 잡음 레벨이 하나의 메타 데이터에 모두 포함되어 생성될 수도 있다.
한편, 도 4를 이어 설명하면 S120 단계에서 확인한 결과 음원에 대응하는 메타 데이터가 존재하는 경우, 오디오 서버(100)는 메타 데이터와 음원을 포함하는 제1 오디오 신호를 워터마킹 처리 서버(200)로 전달한다(S140).
워터마킹 처리 서버(200)는 제1 오디오 신호를 수신하여 메타 데이터와 음원을 확인한다. 워터마킹 처리 서버(200)는 메타 데이터에 포함되어 있는 제1 주파수와 제2 주파수를 토대로 제1 주파수의 잡음과 제2 주파수의 잡음을 생성한다(S150). 본 발명의 실시예에서는 설명의 편의를 위하여 하나의 음원에 대해 공통적으로 사용할 수 있는 단위 잡음을 생성하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
워터마킹 처리 서버(200)는 단위 잡음과 삽입 정보를 이진 데이터 또는 2N 진법 데이터 형태로 조합하여 워터마크를 생성한다(S160). 생성한 워터 마크를 음원의 잡음 부분에 삽입하고(S170), 워터 마크가 삽입된 음원을 오디오 서버(100)를 통해 단말(300)로 전송한다. 그리고 워터마킹 처리 서버(200)는 워터 마크를 생성하는데 이용한 삽입 정보와 워터마크 생성 내역을 저장한다(S180). 본 발명의 실시예에서는 삽입 정보와 워터마크 생성 내역이 워터마킹 처리 서버(200)에 저장되는 것을 예로 하여 설명하나, 오디오 서버(100)에 저장될 수도 있다.
이상에서는 음원이 오디오 서버(100)에 저장되어 있을 경우의 오디오 워터마킹 방법에 대하여 설명하였다. 그러나, 음원이 실시간으로 단말(300)로부터 전송되어 또 다른 단말로 스트리밍 형태로 전달될 수도 있다. 이 경우 오디오 워터마킹 방법에 대해 도 6을 참조로 설명한다.
도 6은 본 발명의 제2 실시예에 따른 오디오 워터마킹 방법에 대한 흐름도이다.
도 6에 도시된 바와 같이, 오디오 서버(100)는 단말(300)로부터 전송되는 음원을 수신하면(S200), 수신한 음원을 미리 설정한 구간 단위로 분할한다(S201). 본 발명의 실시예에서는 10msec로 분할하여 분할 구간을 생성하는 것을 예로 하여 설명한다.
오디오 서버(100)는 실시간으로 음원을 수신하기 때문에, 음원에 대한 메타 데이터가 저장되어 있는 것이 없다. 따라서, 분할 구간의 평균 음량을 계산하고 임계 세기와 비교하여 분할 구간이 음성 구간인지 잡음 구간인지 확인하여 구분한다(S202).
프로세서(120)는 S202 단계에서 확인한 분할 구간이 음성 구간이면, 단말(300)로 음원을 제공한다(S204). 동시에 음성 구간을 DFT 처리한다(S206).
프로세서(120)는 DFT 처리된 분할 구간에 주파수 대역별로 필터 뱅크(Filter bank)를 적용한 후 대역별로 신호 크기를 구한다. DFT 처리된 분할 구간은 워터마킹 처리 서버(200)로 전달된다. 그러나, 확인된 분할 구간이 잡음 구간이면, 프로세서(120)는 해당 분할 구간의 잡음 레벨을 결정한다(S205).
워터마킹 처리 서버(200)는 DFT 처리한 분할 구간에서 신호 세기가 가장 센 제1 주파수와 두 번째로 센 제2 주파수를 확인하여 메인 주파수로 선정한다(S207). 이때, 분할 구간이 잡음 구간이라면 분할 구간 이전 구간 또는 이후 구간의 음성 구간 중 잡음 구간에 근접한 구간에서 제1 주파수와 제2 주파수를 선정한다. 그리고, 메인 주파수로 선정한 제1 주파수와 제2 주파수별로 미리 생성되어 있는 잡음을 확인한다(S208). 본 발명의 제2 실시예에서는 주파수별로 잡음이 생성되어 있는 것을 예로 하여 설명하나, 실시간으로 잡음을 생성할 수도 있다.
워터마킹 처리 서버(200)는 잡음 레벨에 맞춰 제1 주파수와 제2 주파수 잡음을 조합하여 워터 마크를 생성한다(S209). 본 발명의 실시예에서는 삽입 정보와 잡음을 이진 데이터 형태로 조합하여 오디오 워터마크를 생성하는 것을 예로 하여 설명한다. 여기서, 삽입 정보는 잡음 구간에 대한 시간 정보나 음원의 식별 정보 또는 사용자 식별 정보 중 어느 형태의 정보가 선택될 수 있다.
워터마킹 처리 서버(200)는 생성한 워터 마크를 분할 구간 즉, 잡음 구간에 삽입하고(S210), 워터 마크가 삽입된 음원을 오디오 서버(100)를 통해 단말(300)로 전송한다(S211). 오디오 서버(100)는 실시간으로 입력되는 분할 구간을 계속 확인하여, 잡음 구간이 지속되고 있는지 확인한다(S212).
만약 잡음 구간이 지속된다면, S210 단계에 따라 워터 마크를 잡음 구간에 반복 삽입한다. 그러나, 새로 수신한 분할 구간이 잡음 구간이 아닌 것으로 확인하면, 워터마크 삽입을 중단한다(S213).
그리고 워터마킹 처리 서버(200)는 워터 마크를 생성하는데 이용한 삽입 정보와 워터마크 생성 내역을 메타 데이터로 저장한다(S214). 추가로, 실시간 방송, 통신이 완료된 이후 저장된 음원 파일을 이용하여 상기 도 4에 도시한 제1 실시예와 같은 절차를 추가로 처리할 수 있다. 본 발명의 실시예에서는 삽입 정보와 워터마크 생성 내역이 워터마킹 처리 서버(200)에 저장되는 것을 예로 하여 설명하나, 오디오 서버(100)에 저장될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (16)

  1. 음원에 오디오 워터마크를 삽입하는 오디오 워터마킹 시스템으로서,
    상기 음원에서 음성 구간과 잡음 구간을 확인하고, 확인한 잡음 구간의 위치를 지시하는 메타 데이터를 생성하는 오디오 서버, 그리고
    상기 오디오 서버로부터 상기 음원과 메타 데이터를 수신하고, 상기 음원과 메타 데이터, 음원이 요청된 시간 정보 및 음원을 요청한 사용자의 식별 정보를 토대로 오디오 워터마크를 생성하여 상기 잡음 구간에 삽입하며, 오디오 워터마크가 삽입된 음원을 상기 오디오 서버로 전달하는 워터마킹 처리 서버
    를 포함하는 오디오 워터마킹 시스템.
  2. 제1항에 있어서,
    상기 오디오 서버는,
    상기 워터마킹 처리 서버로 상기 음원과 상기 음원에 대한 메타 데이터를 포함하는 오디오 신호를 전송하고, 상기 오디오 워터마크가 삽입된 음원을 수신하면 상기 음원을 요청한 단말로 전송하는 인터페이스, 그리고
    상기 단말로부터 요청된 음원을 미리 설정한 구간 단위로 분할된 분할 구간으로 수신하여 분할 구간의 평균 음량을 구하고, 상기 평균 음량을 미리 설정된 임계 세기와 비교하여 상기 분할 구간이 음성 구간인지 잡음 구간인지 구분하는 프로세서
    를 포함하는 오디오 워터마킹 시스템.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 분할 구간이 잡음 구간인 것으로 확인하면, 상기 분할 구간의 이전 구간 또는 이후 구간 중 잡음 구간에 가까운 음성 구간에서 구한 평균 음량을 상기 잡음 구간인 분할 구간의 잡음 레벨로 결정하며,
    상기 분할 구간의 신호 세기와 상기 분할 구간에 포함된 음원 데이터 수를 이용하여 상기 평균 음량을 구하는 오디오 워터마킹 시스템.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 잡음 구간의 이전 구간 또는 이후 구간 중 어느 하나인 음성 구간을 DFT(Discrete Fourier Transform) 처리하고, 상기 DFT 처리된 분할 구간에 포함된 복수의 주파수별 신호 세기를 비교하여, 신호 세기가 센 주파수 순서로 제1 주파수와 제2 주파수를 상기 잡음 구간의 메인 주파수로 설정하는 오디오 워터마킹 시스템.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 분할 구간의 음원 정보, 상기 제1 주파수와 제2 주파수, 그리고 잡음 레벨을 포함하는 메타 데이터를 생성하며,
    상기 제1 주파수와 제2 주파수는 각각의 주파수 별로 미리 설정된 인덱스 정보 또는 주파수 값 중 어느 하나가 삽입되고,
    상기 음원 정보는 분할 구간 시작 시간, 분할 구간 종료 시간, 상기 분할 구간의 식별 정보 중 적어도 하나를 포함하는 오디오 워터마킹 시스템.
  6. 제2항에 있어서,
    상기 오디오 서버는,
    상기 음원에 포함된 적어도 하나의 잡음 구간에 대한 정보와 잡음 구간에 대한 상기 메인 주파수, 그리고 잡음 구간의 잡음 레벨과 잡음 구간인 분할 구간의 정보를 포함하는 메타 데이터를 저장하는 메타 데이터 메모리, 그리고
    상기 인터페이스를 통해 외부로부터 전송된 음원을 음원 식별 정보와 함께 저장하는 오디오 메모리
    를 더 포함하는 오디오 워터마킹 시스템.
  7. 제1항에 있어서,
    상기 워터마킹 처리 서버는,
    상기 오디오 서버로부터 상기 메타 데이터를 수신하고, 상기 분할 구간에 오디오 워터마크를 삽입한 제2 오디오 신호를 상기 오디오 서버로 전달하는 인터페이스,
    상기 메타 데이터를 토대로 상기 음원 중 잡음 구간을 확인하고, 상기 메타 데이터에 포함되어 있는 메인 주파수와 잡음 레벨 그리고 음원이 요청된 시간 정보 및 음원을 요청한 사용자의 식별 정보를 이용하여 잡음 구간에 삽입할 오디오 워터마크를 생성하여 잡음 구간에 삽입하는 워터마크 처리부, 그리고
    상기 워터마크 처리부가 오디오 워터마크를 생성하기 위해 이용한 잡음과 삽입 정보를 저장하는 메모리
    를 포함하는 오디오 워터마킹 시스템.
  8. 제7항에 있어서,
    상기 워터마크 처리부는,
    상기 메타 데이터의 메인 주파수를 토대로 제1 주파수의 잡음과 제2 주파수의 잡음을 생성하고,
    상기 메타 데이터에 포함된 음원 정보를 토대로 생성된 이진 코드의 제1 부분에는 제1 주파수의 잡음을, 제2 부분에는 제2 주파수의 잡음을 삽입하는 오디오 워터마킹 시스템.
  9. 오디오 워터마킹 시스템이 저장된 음원에 오디오 워터마크를 삽입하는 방법으로서,
    단말에 의해 요청된 음원에 포함된 적어도 하나의 잡음 구간을 지시하는 메타 데이터를 토대로, 상기 음원에 포함된 적어도 하나의 잡음 구간을 확인하는 단계,
    상기 메타 데이터와 상기 음원을 기초로, 상기 잡음 구간에 삽입할 워터마크를 생성하는 단계, 그리고
    생성한 워터마크를 상기 잡음 구간에 삽입한 후 상기 단말에 전송하는 단계
    를 포함하는 오디오 워터마킹 방법.
  10. 제9항에 있어서,
    상기 잡음 구간을 확인하는 단계 이전에,
    상기 음원을 미리 설정된 시간 단위로 분할한 분할 구간을 생성하는 단계,
    생성한 분할 구간에 대한 평균 음량을 계산하고, 계산한 평균 음량을 토대로 상기 분할 구간이 잡음 구간인지 음성 구간인지 확인하는 단계,
    상기 분할 구간이 잡음 구간인 것으로 확인하면, 상기 분할 구간의 이전 구간 또는 이후 구간 중 잡음 구간에 가장 가까운 음성 구간을 DFT 처리하여 적어도 하나의 주파수 대역별로 신호 세기를 추출하는 단계,
    신호 세기가 센 제1 주파수와 제2 주파수를 상기 잡음 구간에 대한 메인 주파수로 설정하는 단계, 그리고
    상기 평균 음량을 토대로 설정한 잡음 레벨, 상기 제1 주파수와 제2 주파수, 그리고 상기 분할 구간의 음원 정보를 포함하여 상기 분할 구간이 잡음 구간임을 알리는 메타 데이터를 생성하는 단계
    를 포함하는 오디오 워터마킹 방법.
  11. 제10항에 있어서,
    상기 평균 음량은 상기 분할 구간의 시간 영역의 신호 세기와 상기 분할 구간에 포함된 음원 데이터 수를 이용하여 상기 평균 음량을 구하고,
    상기 평균 음량이 미리 설정한 임계 세기 이하이면 상기 분할 구간이 잡음 구간인 것으로 확인하고 상기 평균 음량을 상기 분할 구간의 잡음 레벨로 결정하는 오디오 워터마킹 방법.
  12. 제10항에 있어서,
    상기 워터마크를 생성하는 단계는,
    상기 제1 주파수에 대한 잡음과 제2 주파수에 대한 잡음을 생성하는 단계, 그리고
    상기 메타 데이터에 포함된 음원 정보를 토대로 생성된 이진 코드의 제1 부분에는 상기 제1 주파수의 잡음을, 제2 부분에는 상기 제2 주파수의 잡음을 삽입하여 워터마크로 생성하는 단계
    를 포함하는 오디오 워터마킹 방법.
  13. 오디오 워터마킹 시스템이 실시간 전송되는 음원에 오디오 워터마크를 삽입하는 방법으로서,
    상기 전송되는 음원을 미리 설정한 시간 단위로 분할하고, 분할한 분할 구간의 평균 음량을 토대로 상기 분할 구간이 음성 구간인지 잡음 구간인지 확인하는 단계,
    상기 분할 구간이 잡음 구간이면 상기 잡음 구간의 이전 분할 구간 또는 이후 분할 구간 중 상기 잡음 구간에 인접한 음성 구간에 포함된 적어도 하나의 주파수 중 주파수 세기가 가장 센 주파수를 상기 잡음 구간의 메인 주파수로 선정하는 단계,
    상기 메인 주파수에 대응하는 잡음을 확인하고, 상기 확인한 잡음과 상기 분할 구간의 음원 정보를 이용하여 워터마크를 생성하는 단계, 그리고
    생성한 워터마크를 상기 분할 구간에 삽입하는 단계
    를 포함하는 오디오 워터마킹 방법.
  14. 제13항에 있어서,
    상기 잡음 구간인지 확인하는 단계는,
    상기 분할 구간의 시간 영역의 신호 세기와 상기 분할 구간에 포함된 음원 데이터 수를 이용하여 상기 평균 음량을 계산하는 오디오 워터마킹 방법.
  15. 제13항에 있어서,
    상기 분할 구간에 삽입하는 단계 이후에,
    상기 분할 구간에 이어 전송되는 분할 구간의 평균 음량을 토대로, 잡음 구간이 지속되는지 확인하는 단계, 그리고
    잡음 구간이 지속되면 상기 생성한 워터마크를 삽입하고, 잡음 구간이 지속되지 않으면 상기 워터마크의 삽입을 중단하는 단계
    를 포함하는 오디오 워터마킹 방법.
  16. 제13항에 있어서,
    상기 삽입하는 단계 이후에,
    상기 워터마크를 생성하는데 사용한 음원 정보와 워터마크 생성 내역을 메타 데이터로 저장하는 단계
    를 더 포함하는 오디오 워터마킹 방법.
KR1020170140497A 2017-10-26 2017-10-26 오디오 워터마킹 시스템 및 방법 KR102225503B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170140497A KR102225503B1 (ko) 2017-10-26 2017-10-26 오디오 워터마킹 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170140497A KR102225503B1 (ko) 2017-10-26 2017-10-26 오디오 워터마킹 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190046563A true KR20190046563A (ko) 2019-05-07
KR102225503B1 KR102225503B1 (ko) 2021-03-08

Family

ID=66656602

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170140497A KR102225503B1 (ko) 2017-10-26 2017-10-26 오디오 워터마킹 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102225503B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220142849A (ko) * 2021-04-15 2022-10-24 주식회사 클레슨 워터 마크를 통한 불법 복제 방지 시스템 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102651318B1 (ko) 2022-10-28 2024-03-26 주식회사 뮤즈블라썸 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100611412B1 (ko) * 2002-10-18 2006-08-09 명지대학교 산학협력단 마스킹 효과를 이용한 오디오 워터마크 삽입 및 검출방법
KR20140098995A (ko) * 2013-02-01 2014-08-11 김형석 워터마크 삽입 방법 및 장치, 그리고 워터마크를 이용하여 데이터의 복제 여부를 검출하는 방법 및 시스템
KR101597768B1 (ko) * 2014-04-24 2016-02-25 서울대학교산학협력단 입체 음향을 이용한 다자간 인터랙티브 통화 시스템 및 방법
US20170025128A1 (en) * 2015-07-24 2017-01-26 Tls Corp. Inserting watermarks into audio signals that have speech-like properties
KR20170019450A (ko) * 2014-07-15 2017-02-21 더 닐슨 컴퍼니 (유에스) 엘엘씨 피플 모니터링용 오디오 워터마킹

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100611412B1 (ko) * 2002-10-18 2006-08-09 명지대학교 산학협력단 마스킹 효과를 이용한 오디오 워터마크 삽입 및 검출방법
KR20140098995A (ko) * 2013-02-01 2014-08-11 김형석 워터마크 삽입 방법 및 장치, 그리고 워터마크를 이용하여 데이터의 복제 여부를 검출하는 방법 및 시스템
KR101597768B1 (ko) * 2014-04-24 2016-02-25 서울대학교산학협력단 입체 음향을 이용한 다자간 인터랙티브 통화 시스템 및 방법
KR20170019450A (ko) * 2014-07-15 2017-02-21 더 닐슨 컴퍼니 (유에스) 엘엘씨 피플 모니터링용 오디오 워터마킹
US20170025128A1 (en) * 2015-07-24 2017-01-26 Tls Corp. Inserting watermarks into audio signals that have speech-like properties

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Adit Benyassine, et al. ITU-T Recommendation G. 729 Annex B: a silence compression scheme for use with G. 729 optimized for V. 70 digital simultaneous voice and data applications. IEEE Communications* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220142849A (ko) * 2021-04-15 2022-10-24 주식회사 클레슨 워터 마크를 통한 불법 복제 방지 시스템 및 방법

Also Published As

Publication number Publication date
KR102225503B1 (ko) 2021-03-08

Similar Documents

Publication Publication Date Title
KR100893671B1 (ko) 멀티미디어 콘텐트의 해시들의 생성 및 매칭
Haitsma et al. A highly robust audio fingerprinting system with an efficient search strategy
Swanson et al. Robust audio watermarking using perceptual masking
Haitsma et al. A highly robust audio fingerprinting system.
JP4030036B2 (ja) 放送番組特定システムに於いて使用するための、音声信号に不可聴コードを付加することにより可聴信号をエンコードするシステム及び装置
JP2012507045A (ja) オーディオ透かし入れ、透かし検出及び抽出を行う方法及び装置
JP2012507044A (ja) オーディオ透かし入れ、透かし検出及び抽出を行う方法及び装置
RU2510078C2 (ru) Устройство для внедрения водяного знака в информационное представление, детектор для обнаружения водяного знака в информационном представлении, способ и компьютерная программа
JP2006251676A (ja) 振幅変調を用いた音響信号への電子透かしデータの埋め込み・検出装置
US20090304182A1 (en) System and method for providing information using audio watermarking
US20060143190A1 (en) Handling of digital silence in audio fingerprinting
KR20050061594A (ko) 개선된 오디오 데이터 지문 검색
Hu et al. Incorporation of perceptually adaptive QIM with singular value decomposition for blind audio watermarking
CN111566954A (zh) 高带宽声音音调生成
KR20040087759A (ko) 신호의 특성값의 양자화에 의한 워터마크 삽입 및 검출방법
KR102225503B1 (ko) 오디오 워터마킹 시스템 및 방법
US20230335144A1 (en) Multiple scrambled layers for audio watermarking
US20080273707A1 (en) Audio Processing
WO2003005300A2 (en) Enhanced watermark computing method
Eichelberger et al. Receiving data hidden in music
Huang et al. A Fast and Low-Distortion Capacity Adaptive Synchronized Acoustic-to-Acoustic Steganography Scheme
Gupta Banik et al. Blind key based attack resistant audio steganography using cocktail party effect
Petrovic et al. Data hiding within audio signals
JP4756560B2 (ja) 情報処理装置および情報処理方法
US20070033422A1 (en) Method and device for processing sound file

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant