KR102651318B1 - 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템 - Google Patents
트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템 Download PDFInfo
- Publication number
- KR102651318B1 KR102651318B1 KR1020220141296A KR20220141296A KR102651318B1 KR 102651318 B1 KR102651318 B1 KR 102651318B1 KR 1020220141296 A KR1020220141296 A KR 1020220141296A KR 20220141296 A KR20220141296 A KR 20220141296A KR 102651318 B1 KR102651318 B1 KR 102651318B1
- Authority
- KR
- South Korea
- Prior art keywords
- watermark
- segment
- bit
- audio
- unit
- Prior art date
Links
- 230000001052 transient effect Effects 0.000 title abstract description 43
- 230000007423 decrease Effects 0.000 claims abstract description 30
- 239000000284 extract Substances 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000003780 insertion Methods 0.000 claims abstract description 22
- 230000037431 insertion Effects 0.000 claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 12
- 230000003247 decreasing effect Effects 0.000 claims description 9
- 230000005236 sound signal Effects 0.000 abstract description 7
- 238000000034 method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
- G11B20/00884—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
- G11B20/00891—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm embedded in audio data
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Editing Of Facsimile Originals (AREA)
- Computer Security & Cryptography (AREA)
Abstract
오디오 신호를 주파수 도메인으로 변환하고, 변환된 주파수 도메인에서 사전에 정해진 주파수의 음압을 변경시켜 워터마크 코드를 삽입하는, 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템에 관한 것으로서, 워터마크 메시지에 대한 워터마크 코드를 생성하되, 상기 워터마크 메시지의 각 문자를 1개의 비트 블록으로 매핑하여, 다수 개의 비트 블록으로 구성되는 워터마크 코드를 생성하는 비트코드 생성부; 슬라이딩 윈도우를 이용하여 오디오 데이터로부터 다수의 세그먼트(이하 원본 세그먼트)를 추출하는 세그먼트 추출부; 상기 원본 세그먼트를 주파수 도메인으로 변환하는 도메인 변환부; 변환된 세그먼트에 상기 워터마크 코드를 삽입하되, 상기 변화된 세그먼트 내에 사전에 정해진 목적 주파수의 크기를 변화시켜 상기 워터마크 코드를 삽입하는, 워터마크 삽입부; 상기 워터마크 코드가 삽입된 세그먼트를 시간 도메인으로 역변환하는 도메인 역변환부; 및, 상기 오디오 데이터에서 상기 원본 세그먼트를 상기 역변환된 세그먼트로 대체하여 워터마킹된 오디오를 재구성하는 오디오 재구성부를 포함하는 구성을 마련하여, 주파수 음압의 변화와 무변화, 및, 그 변화의 증감 방향의 조합만으로 워터마크를 삽입함으로써, 보다 간단하게 워터마크를 삽입하거나 추출할 수 있고, 이를 통해 컴퓨팅 자원의 소요를 줄이고 하드웨어 의존성을 낮출 수 있다.
Description
본 발명은 오디오 신호를 주파수 도메인으로 변환하고, 변환된 주파수 도메인에서 사전에 정해진 주파수의 음압을 변동시켜 워터마크 코드를 삽입하는, 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템에 관한 것이다.
일반적으로 워터마킹이란 오디오, 비디오, 이미지, 그리고 텍스트 등의 콘텐츠에 사람의 육안이나 귀로는 구별하지 못하는 특정한 데이터를 삽입하는 기술이다. 이를 통해 사람의 시청각으로 구별할 수 있는 데이터의 변형을 최소화하면서, 정당한 권리자가 해당 콘텐츠에 대하여 소유권, 저작권 등의 권리를 행사할 수 있도록 한다. 즉, 워터마킹을 통해 콘텐츠에 원본 여부를 확인할 수 있도록 하는 데이터, 사용자를 식별할 수 있는 데이터 등을 삽입함으로써, 불법 복제를 방지할 수 있을 뿐 아니라, 누구에게 전달된 정보인지를 추적해 복제 경로를 추적하는 데에도 이용될 수 있다.
특히, 글로벌 디지털 음원 콘텐츠 시장은 크게 확장되고 있지만 지식재산권 측면에서 비 ISRC 음원 콘텐츠 영역은 소프트웨어, 출판, 영상물 등 타 콘텐츠 분야에 비해 현저하게 권리 보호가 취약한 상황이다. 국제 표준코드인 ISRC (International Standard Recording Code)에 의해 비교적 잘 관리되고 있는 공표된 음반 저작권과 달리 비 ISRC 음원(배경음악, 효과음)은 양적 규모에도 불구하고 보호 받지 못하고 있다. 대부분 사용자와 직접 라이선스 계약을 체결하는 플랫폼 구독서비스 방식으로 운영 중이므로, 방송, OTT, 광고, 1인미디어 영상콘텐츠 등에 사용된 배경음악,효과음 등을 서비스하고 있는 기업들이 폭발적으로 증가하고 있지만 표준화된 지적재산권 관리코드의 부재로 저작권이 제대로 준수되고 있지 않다.
한편, 스포티파이(Spotify), 애플(apple) 등 글로벌 스트리밍 음원 대표적 공급처인 유니버셜 뮤직 그룹이 채택한 워터마킹 방식은 노이즈(Noise), 플래터링(Flattering) 현상으로 인한 원본 오디오의 훼손이 발생하는 문제점이 있다.
이러한 오디오 워터마킹의 문제점을 해결하고자는 기술들이 제시되고 있다[특허문헌 1-4]. 상기 선행기술들은 주파수 스펙트럼의 봉우리 부분을 포함하는 포먼트 구간에 주파수 대역을 변경시키거나, 잡음 구간 또는 배음을 검출하여 잡음 또는 배음 구간에 오디어 워터마크를 삽입하거나, 웨이블릿 변환에 의한 웨이블릿 계수 중에서 에너지가 높은 구간에 워터마크를 삽입한다.
그러나 상기 선행기술들은 워터마크 삽입 구간을 검출하는 방식이나 삽입하는 방식이 복잡하고 컴퓨팅 자원을 많이 소요하므로, 하드웨어에 대한 의존성이 높아 적용 범위가 제한적이라는 문제점이 있다.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 오디오 신호를 주파수 도메인으로 변환하고, 변환된 주파수 도메인에서 사전에 정해진 주파수의 음압을 변경시켜 워터마크 코드를 삽입하는, 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템을 제공하는 것이다.
특히, 본 발명의 목적은 오디오 신호의 주파수 도메인에서 주파수의 음압을 변경시켜 워터마크 코드를 삽입하되, 주파수 음압의 변화와 무변화, 및, 그 변화의 증감 방향을 조합하여 8비트의 워터마크 코드를 생성하는, 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 트랜지언트 기반의 사이드체인 오디오 워터마크 인코딩 시스템에 관한 것으로서, 워터마크 메시지에 대한 워터마크 코드를 생성하되, 상기 워터마크 메시지의 각 문자를 1개의 비트 블록으로 매핑하여, 다수 개의 비트 블록으로 구성되는 워터마크 코드를 생성하는 비트코드 생성부; 슬라이딩 윈도우를 이용하여 오디오 데이터로부터 다수의 세그먼트(이하 원본 세그먼트)를 추출하는 세그먼트 추출부; 상기 원본 세그먼트를 주파수 도메인으로 변환하는 도메인 변환부; 변환된 세그먼트에 상기 워터마크 코드를 삽입하되, 상기 변화된 세그먼트 내에 사전에 정해진 목적 주파수의 크기를 변화시켜 상기 워터마크 코드를 삽입하는, 워터마크 삽입부; 상기 워터마크 코드가 삽입된 세그먼트를 시간 도메인으로 역변환하는 도메인 역변환부; 및, 상기 오디오 데이터에서 상기 원본 세그먼트를 상기 역변환된 세그먼트로 대체하여 워터마킹된 오디오를 재구성하는 오디오 재구성부를 포함하는 것을 특징으로 한다.
또, 본 발명은 트랜지언트 기반의 사이드체인 오디오 워터마크 인코딩 시스템에 있어서, 상기 비트 블록은 적어도 2 이상의 단위 블록으로 구성되고, 상기 워터마크 삽입부는 상기 단위 블록의 최상위 비트의 이진 값에 따라 주파수의 크기의 증가 또는 감소의 변화 방향으로 설정하고, 상기 단위 블록의 상기 최상위 비트를 제외한 나머지 비트에 대하여, 각 나머지 비트에 대응되는 목적 주파수의 크기를 상기 최상위 비트에 의한 변화 방향에 따라 변화시키는 것을 특징으로 한다.
또, 본 발명은 트랜지언트 기반의 사이드체인 오디오 워터마크 인코딩 시스템에 있어서, 상기 비트 블록은 2개의 단위 블록을 가지고, 상기 단위 블록은 4비트이고, 상기 단위 블록의 나머지 비트들 중 1개만 "1"을 가지고, 상기 워터마크 삽입부는 상기 나머지 비트가 "1"인 경우에만 해당 목적 주파수의 크기를 증가 또는 감소시키는 것을 특징으로 한다.
또, 본 발명은 트랜지언트 기반의 사이드체인 오디오 워터마크 인코딩 시스템에 있어서, 상기 워터마크 삽입부는 상기 목적 주파수의 크기의 변화량을 0.5% 내지 5% 이내로 제한하여 변화시키는 것을 특징으로 한다.
또, 본 발명은 트랜지언트 기반의 사이드체인 오디오 워터마크 인코딩 시스템에 있어서, 상기 워터마크 삽입부는 다수의 비트 블록으로 구성된 워터마크 코드를, 일련의 복수의 세그먼트들에 연속적으로 삽입하는 것을 특징으로 한다.
또, 본 발명은 트랜지언트 기반의 사이드체인 오디오 워터마크 인코딩 시스템에 있어서, 상기 세그먼트 추출부는 워터마크 코드의 크기 만큼의 개수를 가지는 일련의 세그먼트들을 세그먼트 세트로 추출하고, 오디오 데이터의 전체 구간에서 사전에 정해진 시간 간격 내에 적어도 1개의 세그먼트 세트를 선정하고, 상기 워터마크 삽입부는 선정된 세그먼트 세트에 워터마크를 삽입하는 것을 특징으로 한다.
또, 본 발명은 트랜지언트 기반의 사이드체인 오디오 워터마크 인코딩 시스템에 있어서, 상기 세그먼트 추출부는 특정 구간 내에서 트랜지언트 값이 높은 순서로 사전에 정해진 개수의 세그먼트 세트를 선정하는 것을 특징으로 한다.
또한, 본 발명은 인코딩 시스템에 의해 워터마크 메시지의 워터마크 코드가 삽입된 오디오 데이터(이하 워터마킹된 오디오 데이터)로부터 삽입된 워터마크 메시지를 추출하는, 트랜지언트 기반의 사이드체인 오디오 워터마크 디코딩 시스템에 관한 것으로서, 상기 워터마킹된 오디오 데이터에서 제2 세그먼트를 추출하는 제2 세그먼트 추출부; 상기 제2 세그먼트를 주파수 도메인으로 변환하는 제2 도메인 변환부; 변환된 제2 세그먼트 내에서 목적 주파수의 크기가 변화되었는지를 검출하고, 목적 주파수의 크기 변화에 따라 워터마크 코드 또는 워터마크 메시지를 추출하는 워터마크 추출부를 포함하는 것을 특징으로 한다.
또, 본 발명은 트랜지언트 기반의 사이드체인 오디오 워터마크 디코딩 시스템에 있어서, 상기 워터마크 추출부는 변환된 제2 세그먼트의 단위 블록에서의 목적 주파수의 증가 또는 감소, 무변화를 판단하고, 증가 또는 감소의 방향에 따라 최상위 비트를 결정하고, 증가 또는 감소된 목적 주파수에 대응되는 비트를 "1"로 설정하고 나머지 비트를 "0"으로 설정하는 것을 특징으로 한다.
또, 본 발명은 트랜지언트 기반의 사이드체인 오디오 워터마크 디코딩 시스템에 있어서, 상기 비트 블록은 2개의 단위 블록을 가지고, 상기 단위 블록은 4비트이고, 상기 단위 블록의 나머지 비트들 중 1개만 "1"을 가지고, 상기 워터마크 추출부는 행렬 매핑 테이블을 사전에 구비하되, 상기 행렬 매핑 테이블은, 행렬 중 하나의 축은 하나의 단위 블록의 각 목적 주파수의 증감을 나타내고, 행렬 중 다른 하나의 축은 다른 하나의 단위 블록의 각 목적 주파수의 증감을 나타내고, 행렬에 의해 결정되는 데이터는 문자 코드를 나타내고, 상기 워터마크 추출부는 상기 비트 블록의 2개의 단위 블록의 목적 주파수의 증감을 각각 상기 행렬 매핑 테이블의 행과 열에 대응시키고, 대응되는 행과 열의 데이터를 문자 코드로 추출하는 것을 특징으로 한다.
또, 본 발명은 트랜지언트 기반의 사이드체인 오디오 워터마크 디코딩 시스템에 있어서, 상기 워터마크 추출부는 변환된 제2 세그먼트 내에서 목적 주파수의 크기와, 원본의 해당 세그먼트의 목적 주파수의 크기를 대비하여 크기 변화 여부 및 그 변화 방향을 검출하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템에 의하면, 주파수 음압의 변화와 무변화, 및, 그 변화의 증감 방향의 조합만으로 워터마크를 삽입함으로써, 보다 간단하게 워터마크를 삽입하거나 추출할 수 있고, 이를 통해 컴퓨팅 자원의 소요를 줄이고 하드웨어 의존성을 낮출 수 있는 효과가 얻어진다.
또한, 본 발명에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템에 의하면, 타켓 오디오의 트렌지언트를 감지하여 출력신호에 코드를 더하는 방식으로 원본 파형 속에 코드를 직접 은닉함으로써, 외부공격으로부터 강인한 주파수 도메인 워터마크를 수행할 수 있고, 특히, 아날로그변환과 디지털변환 공격에도 강인한 내구성을 가지는 효과가 얻어진다.
또한, 본 발명에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템에 의하면, 사전에 정해진 주파수 대역의 음압값만 미세한 비율로 조정함으로써, 유튜브(Youtube), 비메오(Vimeo), 넷플릭스(Netflix) 등 압축 알고리듬의 고역대 주파수 제거로 인한 워터마크의 손실에 대하여 내구성을 확보할 수 있는 효과가 얻어진다.
또한, 이를 통해, 음질 열화 및 손상 없는 청취를 제공할 수 있고, 이를 통해, 강력한 소비자 친화력을 보유할 수 있다. 또한, 기존 ISRC코드 체계와 연계할 수 있으므로, 저작권 보호시장으로 확대 진출할 수 있다.
도 1은 본 발명을 실시하기 위한 전체 시스템에 대한 구성도.
도 2는 본 발명의 일실시예에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템의 구성에 대한 블록도.
도 3는 본 발명의 일실시예에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 인코딩 시스템의 구성에 대한 블록도.
도 4은 본 발명의 일실시예에 따른 워터마크 코드에 대한 예시도.
도 5는 본 발명의 일실시예에 따른 워터마크 메시지의 문자와 해당 코드를 매핑한 표.
도 6는 본 발명의 일실시예에 따른 트랜지언트 트리거의 동작을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 오디오 데이터에서 세그먼트를 추출하고 주파수 도메인으로 변환하는 과정에 대한 예시도로서, (a) 입력 신호, (b) 윈도우, (c) 세그먼트, (d) 주파수 도메인에 대한 예시도.
도 8은 본 발명의 일실시예에 따른 워터마크 코드를 삽입하는 과정을 나타낸 도면.
도 9는 본 발명의 일실시예에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 디코딩 시스템의 구성에 대한 블록도.
도 10은 본 발명의 일실시예에 따른 행렬 매핑 테이블에 대한 예시 표.
도 2는 본 발명의 일실시예에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템의 구성에 대한 블록도.
도 3는 본 발명의 일실시예에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 인코딩 시스템의 구성에 대한 블록도.
도 4은 본 발명의 일실시예에 따른 워터마크 코드에 대한 예시도.
도 5는 본 발명의 일실시예에 따른 워터마크 메시지의 문자와 해당 코드를 매핑한 표.
도 6는 본 발명의 일실시예에 따른 트랜지언트 트리거의 동작을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 오디오 데이터에서 세그먼트를 추출하고 주파수 도메인으로 변환하는 과정에 대한 예시도로서, (a) 입력 신호, (b) 윈도우, (c) 세그먼트, (d) 주파수 도메인에 대한 예시도.
도 8은 본 발명의 일실시예에 따른 워터마크 코드를 삽입하는 과정을 나타낸 도면.
도 9는 본 발명의 일실시예에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 디코딩 시스템의 구성에 대한 블록도.
도 10은 본 발명의 일실시예에 따른 행렬 매핑 테이블에 대한 예시 표.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성에 대하여 도 1을 참조하여 설명한다.
도 1(a)에서 보는 바와 같이, 본 발명에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템(이하 코딩 시스템)은 오디오 데이터에 워터마크를 삽입하거나 검출하는, 컴퓨터 단말(10) 상의 프로그램 시스템으로 실시될 수 있다.
즉, 코딩 시스템(30)은 PC, 스마트폰, 태플릿PC, MP3 단말 등 컴퓨터 단말(10) 상의 프로그램 시스템으로 실시될 수 있다. 특히, 상기 코딩 시스템은 프로그램 시스템 또는 모바일 어플리케이션(또는 어플, 앱)으로 구성되어, 컴퓨터 단말(10)에 설치되어 실행될 수 있다. 코딩 시스템(30)은 컴퓨터 단말(10)의 하드웨어 또는 소프트웨어 자원을 이용하여, 오디오 데이터에 워터마크를 삽입하거나 검출하는 서비스를 제공한다.
또한, 다른 실시예로서, 도 1(b)에서 보는 바와 같이, 코딩 시스템(30)은 컴퓨터 단말(10) 상의 코딩 클라이언트(30a)와 코딩 서버(30b)로 구성된 서버-클라이언트 시스템으로 구성되어 실행될 수 있다. 즉, 코딩 시스템(30)은 네트워크(80) 상의 온라인 시스템으로 구성될 수 있다. 이때, 필요한 데이터를 저장하기 위한 데이터베이스(40)를 포함하여 구성될 수 있다.
한편, 코딩 클라이언트(30a)와 코딩 서버(30b)는 통상의 클라이언트와 서버의 구성 방법에 따라 구현될 수 있다. 즉, 전체 시스템의 기능들을 클라이언트의 성능이나 서버와 통신량 등에 따라 분담될 수 있다. 즉, 서버-클라이언트의 구성 방법에 따라 다양한 분담 형태로 구현될 수 있다. 또한, 코딩 서버(30b)는 다수의 서버가 분산된 클라우드 서버로 구성될 수 있다.
또한, 코딩 클라이언트(30a)가 설치되는 컴퓨터 단말(10)은 또 다른 온라인 상의 서버일 수 있다. 즉, 코딩 서버(30b)는 다른 온라인 상의 서버 또는 사이트에 대하여 코딩 서비스를 제공할 수 있다.
또는, 다른 실시예로서, 본 발명에 따른 시스템은 마이크로 프로그램으로 구성되어 마이크로프로세서에 의해 구동되는 하나의 전용 IC칩으로 실시되거나, ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 즉, 소프트웨어 형태, FPGA 칩이나 여러 개의 회로소자로 구성된 전자회로의 형태로 구성될 수도 있다. 그 외 가능한 다른 형태도 실시될 수 있다.
다음으로, 본 발명의 일실시예에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템(30)을 도 2를 참조하여 설명한다.
도 2에서 보는 바와 같이, 본 발명의 일실시예에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템(30)은 오디오 데이터에 워터마크를 삽입하는 인코딩 시스템(310)과, 워터마크가 삽입된 오디오 데이터에서 워터마크를 추출하는 디코딩 시스템(320)으로 구성된다.
인코딩 시스템(310)과 디코딩 시스템(320)은 하나의 코디 시스템으로 구성되거나, 각각 별도의 코딩 시스템으로 분리되어 구현될 수 있다.
다음으로, 본 발명의 일실시예에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 인코딩 시스템(310)을 도 3 내지 도 8을 참조하여 설명한다.
도 3에서 보는 바와 같이, 본 발명의 일실시예에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 인코딩 시스템(310)은 워터마크 메시지를 입력받는 워터마크 입력부(31), 워터마크 메시지에 대한 워터마크 코드를 생성하는 비트코드 생성부(32), 오디오 데이터를 입력받는 오디오 입력부(33), 오디오 세그먼트를 추출하는 세그먼트 추출부(34), 주파수 도메인으로 변환하는 도메인 변환부(35), 워터마크를 삽입하는 워터마크 삽입부(36), 시간 도메인으로 역변환하는 도메인 역변환부(37), 및, 워터마킹된 오디오를 재구성하는 오디오 재구성부(38)로 구성된다.
먼저, 워터마크 입력부(31)는 워터마크 메시지를 입력받는다.
워터마크 메시지는 음원 등 오디오 데이터에 워터마크로 삽입할 메시지를 말한다. 워터마크 메시지는 저작권 정보, 오디오 식별을 위한 고유 코드, 버전 정보 등으로 구성될 수 있다.
워터마크 메시지는 일련의 다수 문자, 즉, 문자열로 구성된다. 바람직하게는, 문자는 숫자와 영문자로 구성된다.
다음으로, 비트코드 생성부(32)는 워터마크 메시지에 대한 워터마크 코드를 생성한다.
도 4에서 보는 바와 같이, 비트코드 생성부(32)는 워터마크 메시지의 각 문자를 1개의 비트 블록(B1,B2,...,B6 등)으로 매핑시키고 메시지의 비트 블록들(B1,B2,...,B6)의 이전과 이후에 식별 블록(BS,BE)를 추가하여, 워터마크 코드를 생성한다.
즉, 워터마크 코드는 일련의 다수 개의 블록(또는 블록열)으로 구성된다. 이때, 하나의 블록은 사전에 정해진 개수의 이진 코드(비트)로 구성되며, 하나의 문자를 나타낸다. 바람직하게는, 비트 블록의 크기는 4비트의 배수로 구성된다. 더욱 바람직하게는, 비트 블록은 2개의 4비트, 즉, 8비트로 구성된다.
메시지의 문자를 매핑한 비트 블록을 문자 블록이라 부르기로 하고, 문자 블록들의 시작과 끝을 나타내는 비트 블록이 식별 블록이다. 도 4에서 "<<"와 ">>"이 각각 시작과 종료를 나타내는 식별 블록이다.
문자 블록은 사전에 정해진 크기(또는 8비트)의 이진 코드로 문자를 나타낸다. 앞서 설명한 바와 같이, 문자 블록은 비트 블록으로서, 4비트의 배수, 바람직하게는 2개의 4비트, 즉, 8비트로 구성된다. 이때, 4비트를 단위 블록이라 부르기로 한다. 즉, 문자 블록은 2개의 단위 블록으로 구성된다.
식별 블록은 문자 블록들(또는 메시지의 내용)의 시작과 끝을 식별하기 위한 블록으로서, 사전에 정해진 일련의 비트 또는 비트 블록으로 표현한다. 바람직하게는, LSB(Least Significant Block)과 MSB(Most Significant Block)의 의미로 데이터 블록 구분의 식별자로 정의한다. 일례로서, 식별 블록은 사전에 정해진 고정 코드인 1111 0000(메시지 시작)과 0000 1111(메시지 종료)으로 정의될 수 있다.
한편, 워터마크 메시지를 삽입하기 위한 비트 블록(또는 워터마크 코드)의 크기는 메시지의 블록 크기에 2개의 비트 블록을 더한 값이다. 즉, 워터마크 코드의 크기는 워터마크 메시지의 블록 크기에, 시작과 종료를 표시하는 2개의 블록 크기를 합한 것이다.
한편, 도 5에서 보는 바와 같이, 문자 블록은 문자와 이에 대응되는 코드로 사전에 매핑되어 설정된다. 도 5의 문자 블록 및 코드의 매핑 테이블은 사전에 저장되어 사용된다.
바람직하게는, 식별 블록의 단위 블록은 모두 같은 비트들로 구성된다. 도 5의 예에서, 식별 블록의 단위 블록은 "0000" 및 "1111"을 사용한다.
또한, 문자 블록의 단위 블록은 최상위 비트를 제외한 나머지 비트들은 적어도 1개의 "1"을 가진다. 즉, 단위 블록의 최상위 비트를 제외한 나머지 비트(도 5의 예에서 3개 비트)는 "000"을 가지지 않는다. 또한, 문자 블록의 단위 블록은 식별 블록에서 사용하는 단위 블록을 사용하지 않는다.
더욱 바람직하게는, 문자 블록의 단위 블록은 최상위 비트를 제외한 나머지 비트들은 오직 1개의 "1"만을 가진다. 이 경우, 단위 블록은 0001, 0010, 0100, 1001, 1010, 1100 등 6개의 경우수를 가진다. 따라서 문자 블록이 2개의 단위 블록을 가지면 모두 36(=6×6) 경우수를 가지고, 3개의 단위 블록을 가지면 모두 216개의 경우수를 가진다.
다음으로, 오디오 입력부(33)는 오디오 데이터를 입력받는다.
오디오 데이터는 음원 등 원본(원래)의 오디오 데이터이다.
도 7(a)에서 보는 바와 같이, 오디오 데이터는 시간 영역(시간 도메인)에서의 오디오 신호이다. 이때, x축(또는 가로축)은 시간을 나타내고, y축(또는 세로축)은 크기(amplitude)를 나타낸다.
다음으로, 세그먼트 추출부(34)는 오디오 데이터로부터 다수의 오디오 세그먼트를 추출하고, 추출된 세그먼트 중에서 워터마크를 삽입할 세그먼트를 선정한다.
특히, 도 6에서 보는 바와 같이, 세그먼트 추출부(34)는 원본 오디오 데이터의 피크 성분인 트랜지언트(Transient)를 분석하여 워터마크를 삽입할 세그먼트를 선정한다. 즉, 트랜지언트 트리거 방식을 이용한다.
도 7은 오디오 데이터에서 세그먼트를 추출하고 주파수 도메인으로 변환하는 과정에 대한 예시도로서, (a) 입력 신호, (b) 윈도우, (c) 세그먼트, (d) 주파수 도메인을 예시하고 있다.
먼저, 도 7(b)에서 보는 바와 같이, 세그먼트 추출부(34)는 슬라이딩 윈도우를 이용하여 오디오 데이터의 시간상 구간에서 일정한 간격(홉 길이, hop length)으로 일정한 길이(윈도우 길이, window length)의 오디오 세그먼트를 추출한다. 이때, 바람직하게는, 윈도우 길이와 홉 길이가 동일하게 설정하여, 중첩(오버래핑)되는 부분이 없도록 세그먼트를 추출한다. 즉, 전체 오디오 데이터를 윈도우 길이로 분할하는 것과 같다.
슬라이딩 윈도우의 길이는 매우 작다. 윈도우의 길이 단위는 샘플 개수를 나타낸다. 예를 들어, 윈도우의 길이는 L(L개의 샘플 개수)로 설정된다. 또한, 추출 시작점은 입력된 오디오 데이터의 시간축 0(00:00:00:00) 부터 시작된다. 오디오 데이터가 44.1kHz로 샘플링 되는 경우, 1 샘플의 시간은 0.0000227초(=1/44k)이다. 1개의 세그먼트(윈도우 길이)는 L개의 샘플로 이루어진다. 바람직하게는, L은 64 내지 1024개의 범위 내로 설정될 수 있다.
또한, 세그먼트 추출부(34)는 원본 오디오 데이터의 피크 성분인 트랜지언트(Transient)를 분석하여 워터마크를 삽입할 세그먼트를 검출한다. 즉, 트랜지언트 트리거 방식을 이용한다. 즉, 트랜지언트(Transient)를 이용하여, 추출한 세그먼트들 중에서 워터마크 메시지(또는 워터마크 코드)를 삽입할 세그먼트들을 선정한다. 이 경우, 선정된 세그먼트들에만 워터마크 코드가 삽입된다.
1개의 세그먼트에는 1개의 비트 블록이 삽입된다. 따라서 워터마크 코드를 한번 삽입하기 위해서는 워터마크 코드의 크기 만큼의 세그먼트들이 필요하다.
또한, 바람직하게는, 워터마크 코드는 일련의 세그먼트들에 연속적으로 삽입한다. 이때, 워터마크 코드의 크기 만큼의 개수를 가지는 일련의 세그먼트들(연속적인 세그먼트들)을 세그먼트 세트라고 부르기로 한다.
따라서 세그먼트 추출부(34)는 추출한 세그먼트들 중에서 세그먼트 세트를 선정할 수 있다. 선정된 세그먼트들에만 워터마크 코드가 삽입된다.
바람직하게는, 세그먼트 추출부(34)는 오디오 데이터의 전체 구간에서 사전에 정해진 시간 간격 내에 적어도 1개의 세그먼트 세트를 선정한다. 예를 들어, 시간 간격이 10초라면, 10초 간격 내에는 적어도 1개의 세그먼트가 선정되어 워터마크가 삽입된다.
또한, 세그먼트 추출부(34)는 트랜지언트(Transient)를 분석하여 세그먼트 세트의 시작 세그먼트를 검출한다. 세그먼트 내의 샘플별 음압 값이 검출되면, 이중 값이 가장 큰 샘플의 음압 값이 해당 세그먼트의 트랜지언트 값이 된다. 또한, 세그먼트 세트의 트랜지언트 값은 시작되는 세그먼트의 트랜지언트 값으로 본다.
즉, 세그먼트 추출부(34)는 특정 구간 내에서 가장 높은 트랜지언트 값을 가지는 세그먼트를 세그먼트 세트의 시작 지점(시작 세그먼트)으로 검출하고, 해당 세그먼트 세트를 (워터마크를 삽입할 세그먼트 세트로) 선정한다. 또한, 가장 높은 세그먼트 세트를 제외한 나머지 부분에서 그 다음으로 트랜지언트가 높은 세그먼트 세트를 검출하여 선정한다.
일실시예로서, 높은 순으로 사전에 정해진 개수의 세그먼트 세트를 선정한다. 또는, 다른 실시예로서, 트랜지언트 값이 사전에 정해진 임계값 이상인 세그먼트 세트를 (모두 또는 사전에 정해진 개수 만큼) 선정하거나, 임계값 이상인 세그먼트 세트가 없으면 가장 높은 평균값을 가지는 세그먼트 세트를 선정한다.
요약하면, 트랜지언트 값이 큰 세그먼트 세트에 워터마크가 삽입되게 된다. 특히, 해당 세그먼트 세트의 주파수 도메인에서 특정 주파수에 워터마크가 삽입된다. 즉, 단순히 일정 간격으로 데이터를 삽입하는 것이 아니라, 다이내믹한 음원의 변화에 따른 트랜지언트가 트리거 되어, 가변 주파수를 선정하게 되고 메시지가 생성된다. 그리고 다시 이 가변주파수를 파라미터로 활용하여 원본에 메시지를 기록하는 사이드 체인 방식(신호변조의 키를 파일 전체에서 직접 얻는게 아니라 추출된 일부 데이터를 보조 또는 간접 입력으로 해서 얻는 방식)이다.
다음으로, 도메인 변환부(35)는 시간 영역의 각 세그먼트를 주파수 영역(주파수 도메인)으로 변환한다.
도 7(d)에서 보는 바와 같이, FFT(fast Fourier transform, 고속 푸리에 변환)를 이용하여 앞서 선정한 세그먼트(또는 세그먼트 세트)를 각각 주파수 도메인으로 변환한다.
즉, 슬라이딩 윈도우를 이용하여 분할된 윈도우 단위(또는 세그먼트 단위)로 처리함으로써, 원본 오디오 데이터의 전체 트랜지언트를 얻기 위해 보다 정교한 STFT(Short Time Fourier Transform)을 수행할 수 있다.
주파수 도메인으로 변환된 세그먼트를 주파수 영역의 세그먼트라 부르기로 한다.
다음으로, 워터마크 삽입부(36)는 워터마크 코드를 삽입한다.
즉, 워터마크 삽입부(36)는 선정된 주파수 영역의 세그먼트 세트에 워터마크 코드를 삽입한다. 이하에서 설명하는 세그먼트는 주파수 영역의 세그먼트를 의미한다. 이때, 각 세그먼트의 특정 주파수의 음압(또는 크기)을 증가 또는 감소 등 그 값을 변화시켜 삽입니다.
특히, 워터마크 삽입부(36)는 워터마크 코드의 하나의 비트 블록을 하나의 세그먼트 내에 삽입한다. 비트 블록은 적어도 2 이상의 단위 블록으로 구성되고, 워터마크 삽입부(36)는 단위 블록 별로 해당 세그먼트의 주파수의 음압값을 변화시킨다.
구체적으로, 워터마크 삽입부(36)는 단위 블록의 최상위 비트를 주파수 크기의 변화 방향(증가 또는 감소)으로 설정한다. 바람직하게는, 최상위 비트가 "1"이면 증가 시키고, "0"이면 감소시킨다.
또한, 워터마크 삽입부(36)는 단위 블록의 나머지 비트들에 대하여, 각 비트에 해당하는 주파수의 크기를 변화 방향에 따라 변화(증가 또는 감소)시키되, 이진값이 특정 값에 해당하는 경우에만 변화시키고, 특정값이 아닌 경우 변화시키지 않는다. 바람직하게는, 나머지 비트 각각이 "1"이면 변화 방향에 따라 변화시키고, "0"이면 변화시키지 않고 그대로 둔다.
또한, 나머지 비트들에 대응하는 주파수는 사전에 고정된 값(주파수)으로 설정되거나, 사전에 정해진 규칙에 따라 설정된다. 대응되는 주파수를 목적 주파수라 부르기로 한다.
즉, 목적 주파수는 비트 블록 내의 단위 블록의 최상위 비트를 제외한 나머지 비트에 각각 대응되어 설정된다. 또한, 목적 주파수는 하나의 비트 블록 내에서는 서로 다른 주파수를 가진다.
바람직하게는, 목적 주파수는 1,000Hz ~ 3,000Hz 범위 내에서 설정된다. 이러한 목적 주파수의 범위는 사운드의 중심주파수 대역이므로, 편집 또는 압축 알고리즘 등 외부 변환 공격으로부터 안전하기 때문이다.
도 8은 하나의 비트 블록을 하나의 세그먼트에 삽입하는 과정을 예시하고 있으며, 특히, 메시지 문자 "U"에 해당하는 문자 블록 "1100 0001"를 삽입하는 과정을 예시하고 있다.
문자 블록 U는 2개의 단위 블록으로 구성된다. 2개의 단위 블록 각각은 "1100"과 "0001"의 비트열을 가진다.
첫번째 단위 블록은 4개의 비트 b1, b2, b3, b4로 구성된다. 이때, 최상위 비트 b1은 변화 방향으로서 "1"이므로, 변화 방향은 "증가"를 나타낸다. 또한, 첫번째 단위 블록의 나머지 비트 b2, b3, b4에 대응되는 주파수(또는 목적 주파수)는 각각 f1, f2, f3으로 사전에 설정된다. 따라서 첫번째 단위 블록의 나머지 비트 b2, b3, b4는 각각 해당되는 목적 주파수 f1, f2, f3의 크기를 증가시킬 수 있다. 그런데 비트 b2만이 "1"이므로, 해당 비트 b2의 주파수 f1의 크기만을 "증가"시킨다. 그외 비트 b3, b4는 "0"이므로, 해당 목적 주파수 f2와 f3은 변화시키지 않는다.
다음 두번째 단위 블록은 4개의 비트 b5, b6, b7, b8로 구성된다. 이때, 최상위 비트 b5는 변화 방향으로서 "0"이므로, 변화 방향은 "감소"를 나타낸다. 또한, 두번째 단위 블록의 나머지 비트 b6, b7, b8에 대응되는 주파수(또는 목적 주파수)는 각각 f4, f5, f6으로 사전에 설정된다. 따라서 두번째 단위 블록의 나머지 비트 b6, b7, b8은 각각 해당되는 목적 주파수 f4, f5, f6의 크기를 감소시킬 수 있다. 그런데 비트 b8만이 "1"이므로, 해당 비트 b8의 주파수 f6의 크기만을 "감소"시킨다. 그외 비트 f4, f5는 "0"이므로, 해당 주파수 f4와 f5는 변화시키지 않는다.
바람직하게는, 해당 목적 주파수의 음압(또는 크기)의 변화량은 0.5% 내지 5% 이내로 제한한다. 즉, 음압의 크기를 극소량만으로 조정한다. 또한, 단위 블록에서 최상위 비트를 제외한 나머지 비트들 중 하나의 비트만 "1"을 가지면, 하나의 세그먼트 내에서 변화되는 목적 주파수의 개수는 단위 블록의 수(예를들어, 2개) 만큼이다. 따라서 매우 적은 수의 주파수들의 크기만 변화된다. 따라서 워터마킹에 의한 오디오 신호의 왜곡 현상이 거의 없다.
다음으로, 도메인 역변환부(37)는 워터마킹된 세그먼트(또는 세그먼트 세트)를 시간 영역의 세그먼트로 역변환한다.
즉, 도메인 역변환부(37)는 역 FFT(fast Fourier transform, 고속 푸리에 변환)를 이용하여 주파수 영역의 세그먼트(또는 세그먼트 세트들의 각 세그먼트)를 각각 시간 영역의 세그먼트로 변환한다.
다음으로, 오디오 재구성부(38)는 워터마킹된 오디오를 재구성한다.
즉, 오디오 재구성부(38)는 역변환된 시간 영역의 세그먼트들 또는 워터마킹된 세그먼트들을 결합하여 오디오 데이터를 재구성한다. 즉, 워터마킹된 세그먼트를 원래의 동일한 위치의 세그먼트를 대체하여, 대체된 세그먼트들을 결합하여 오디오 데이터를 재구성한다.
다음으로, 본 발명의 일실시예에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 디코딩 시스템(320)을 도 9 내지 도 10을 참조하여 설명한다.
도 9에서 보는 바와 같이, 본 발명의 일실시예에 따른 트랜지언트 기반의 사이드체인 오디오 워터마크 디코딩 시스템(320)은 워터마킹된 오디오 데이터를 입력받는 제2 오디오 입력부(33b), 오디오 세그먼트를 추출하는 제2 세그먼트 추출부(34b), 주파수 도메인으로 변환하는 제2 도메인 변환부(35b), 워터마크를 추출하는 워터마크 추출부(36b)로 구성된다.
먼저, 제2 오디오 입력부(33b)는 워터마킹된 오디오 데이터를 입력받는다. 오디오 데이터는 시간 영역(시간 도메인)에서의 오디오 신호이다.
다음으로, 제2 세그먼트 추출부(34b)는 워터마킹된 오디오 데이터로부터 다수의 오디오 세그먼트를 추출한다. 제2 세그먼트 추출부(34b)는 앞서 설명한 세그먼트 추출부(34)의 추출 방법과 동일한 방법으로 세그먼트를 추출한다.
특히, 제2 세그먼트 추출부(34b)는 원본 오디오 데이터와 워터마킹된 오디오 데이터를 동기화 시키고, 동기화된 상태에서 원본 오디오 데이터의 세그먼트 구간 정보를 이용하여 워터마킹된 오디오 데이터로부터 세그먼트를 추출한다. 2개의 오디오 데이터의 시간을 동기화 하는 기술은 종래 기술을 사용한다.
즉, 워터마킹된 오디오 데이터는 원본 오디오 데이터의 일부일 수 있다. 예를 들어, 유튜브 등 스트리밍 영상에서 음원의 일부만을 채용하여 사용할 수 있다. 원본 오디오 데이터와 워터마킹 오디오 데이터를 동기화 하면, 원본 오디오 데이터에서 선정된 세그먼트 세트들이 워터마킹 오디오 데이터에서 워터마킹된 세그먼트 세트들과 매칭된다.
다음으로, 제2 도메인 변환부(35b)는 시간 영역의 각 세그먼트를 주파수 영역(주파수 도메인)으로 변환한다. 제2 도메인 변환부(35b)는 앞서 설명한 도메인 변환부(35)의 변환 방법과 동일한 방법으로 주파수 도메인으로 변환한다.
다음으로, 워터마크 추출부(36b)는 변환된 주파수 영역의 각 세그먼트 내에서 목적 주파수의 크기가 변화되었는지를 검출하고, 목적 주파수의 크기 변화에 따라 워터마크 코드를 추출한다.
특히, 워터마크 추출부(36b)는 변환된 세그먼트의 목적 주파수의 크기와, 원본 오디오 데이터의 해당 세그먼트의 목적 주파수의 크기를 대비하여, 증가 또는 감소 등 변화 여부 및 그 변화 방향을 검출한다. 이때, 원본 오디오 데이터는 워터마킹 하기 전의 원래의 오디오 데이터를 의미한다.
또한, 워터마크 추출부(36b)는 원본 오디오 데이터에서 동일한 방식으로 세그먼트를 추출하고 추출된 원본의 해당 세그먼트의 목적 주파수의 크기를 대비한다. 이때, 원본 오디오 데이터의 세그먼트들을 사전에 추출하여 저장해두고, 저장된 원본 세그먼트들을 가져와서 비교할 수 있다. 이 경우, 원본 세그먼트도 주파수 영역으로 변환된 세그먼트이다.
또한, 일실시예로서, 워터마크 추출부(36b)는 각 세그먼트에 대하여, 단위 블록 별로 워터마크 코드를 생성한다. 구체적으로, 해당 단위 블록에 대응되는 3개의 목적 주파수의 증감 여부(증가 또는 감소, 무변화)를 판단하고, 증가 또는 감소의 방향에 따라 최상위 비트를 결정하고, 증가 또는 감소된 목적 주파수에 대응되는 비트를 "1"로 설정하고 나머지 비트를 "0"으로 설정한다.
도 8의 예에서, 첫번째 단위 블록의 3개의 목적 주파수 f1, f2, f3의 증감 여부를 판단하면, 목적 주파수 f1이 증가한 것으로 검출된다. 증가하였으므로, 최상위 비트 b1는 "1"로 결정하고, 목적 주파수 f1에 대응되는 비트 b2를 "1"로 설정하고, 그외 나머지 비트 b3,b4를 "0"으로 설정한다.
동일한 방식으로, 두번째 단위 블록의 3개의 목적 주파수 f4, f5, f6의 증감 여부를 판단하면, 목적 주파수 f6이 감소한 것으로 검출된다. 감소하였으므로, 최상위 비트 b5는 "0"으로 결정하고, 목적 주파수 f6에 대응되는 비트 b8은 "1"로 설정하고, 그외 나머지 비트 b6,b7을 "0"으로 설정한다.
또한, 다른 실시예로서, 최상위 비트를 제외한 나머지 비트들 중 하나의 비트만 "1"을 가지고 비트 블록이 2개의 단위 블록으로 구성되는 경우, 도 10과 같은 행렬 매핑 테이블을 이용하여 워터마크 코드를 추출할 수 있다.
구체적으로, 행렬 매핑 테이블은 행렬 중 하나의 축은 하나의 단위 블록의 각 목적 주파수의 증감을 나타내고, 행렬 중 다른 하나의 축은 다른 하나의 단위 블록의 각 목적 주파수의 증감을 나타낸다. 또한, 행렬에 의해 결정되는 데이터는 문자 코드를 나타낸다.
도 10의 예에서, 행렬 매핑 테이블은 행에 1번째 단위 블록의 각 목적 주파수 f1, f2, f3의 증감을 나타내고, 열은 2번째 단위 블록의 각 목적 주파수 f4, f5, f6의 증감을 나타낸다. 그리고 각 행과 열에 대응되는 데이터 필드의 값이 워터마크 코드의 문자(또는 문자 코드)를 나타낸다.
따라서 도 10과 같은 행렬 매핑 테이블을 이용함으로써, 목적 주파스의 증감 여부만으로 문자를 바로 알 수 있다.
또한, 워터마크 추출부(36b)는 각 세그먼트에서 워터마크 코드를 추출하여, 워터마크 메시지를 복원한다. 특히, 메시지의 시작과 종료의 식별 코드를 인식하여, 워터마크 메시지의 시작과 종료를 인식한다. 그리고 식별 코드 사이의 문자열을 워터마크 메시지로 최종 추출한다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 컴퓨터 단말 20 : 코딩 클라이언트
30 : 코딩 시스템 31 : 워터마크 입력부
32 : 비트코드 생성부 33 : 오디오 입력부
34 : 세그먼트 추출부 35 : 도메인 변환부
36 : 워터마크 삽입부 37 : 도메인 역변환부
38 : 오디오 재구성부 33b : 제2 오디오 입력부
34b : 제2 세그먼트 추출부 35b : 제2 도메인 변환부
36b : 워터마크 추출부
40 : 데이터베이스 80 : 네트워크
310 : 인코딩 시스템 320 : 디코딩 시스템
30 : 코딩 시스템 31 : 워터마크 입력부
32 : 비트코드 생성부 33 : 오디오 입력부
34 : 세그먼트 추출부 35 : 도메인 변환부
36 : 워터마크 삽입부 37 : 도메인 역변환부
38 : 오디오 재구성부 33b : 제2 오디오 입력부
34b : 제2 세그먼트 추출부 35b : 제2 도메인 변환부
36b : 워터마크 추출부
40 : 데이터베이스 80 : 네트워크
310 : 인코딩 시스템 320 : 디코딩 시스템
Claims (11)
- 오디오 워터마크 인코딩 시스템에 있어서,
워터마크 메시지에 대한 워터마크 코드를 생성하되, 상기 워터마크 메시지의 각 문자마다 1개의 비트 블록으로 매핑하고, 상기 워터마크 메시지 상의 전체 문자에 대응하여 매핑된 다수개의 비트 블록의 전후에 식별 블록을 추가하여 워터마크 코드를 생성하는 비트코드 생성부;
슬라이딩 윈도우를 이용하여 오디오 데이터로부터 다수의 세그먼트(이하 원본 세그먼트)를 추출하는 세그먼트 추출부;
상기 원본 세그먼트를 주파수 도메인으로 변환하는 도메인 변환부;
변환된 세그먼트에 상기 워터마크 코드를 삽입하되, 상기 변환된 세그먼트 내에 사전에 정해진 다수 개의 서로 다른 목적 주파수의 크기를 변화시켜 상기 워터마크 코드를 삽입하는, 워터마크 삽입부;
상기 워터마크 코드가 삽입된 세그먼트를 시간 도메인으로 역변환하는 도메인 역변환부; 및,
상기 오디오 데이터에서 상기 원본 세그먼트를 상기 역변환된 세그먼트로 대체하여 워터마킹된 오디오를 재구성하는 오디오 재구성부를 포함하고,
상기 비트 블록은 각각 4비트의 제1 단위 블록 및 제2 단위 블록을 포함하고,
상기 워터마크 삽입부는 상기 단위 블록의 최상위 비트의 이진 값에 따라 주파수의 크기의 증가 또는 감소의 변화 방향으로 설정하고, 상기 단위 블록의 상기 최상위 비트를 제외한 나머지 비트에 대하여, 각 나머지 비트에 대응되는 각 목적 주파수의 크기를 상기 최상위 비트에 의한 변화 방향에 따라 변화시키고,
상기 다수 개의 목적 주파수의 각각은 상기 비트 블록 내의 각각 단위 블록의 최상위 비트를 제외한 나머지 비트들 각각에 대응되어 설정되고, 상기 다수 개의 목적 주파수 각각은 하나의 비트 블록 내에서 서로 다른 주파수를 가지고, 상기 다수 개의 목적 주파수의 개수는 상기 하나의 비트 블록의 상기 제1 단위 블록의 제1 최상위 비트를 제외한 제1 나머지 비트들과 상기 제2 단위 블록의 제2 최상위 비트를 제외한 제2 나머지 비트들을 더한 개수이고,
상기 제1 나머지 비트와 상기 제2 나머지 비트는, 각각 1개의 "1＂과 나머지 2개의 "0"을 가지고,
상기 워터마크 삽입부는 상기 제1 나머지 비트 및 상기 제2 나머지 비트에 속한 "1"인 비트에 대응되는 목적 주파수의 크기를 상기 최상위 비트에 의한 변화 방향에 따라 증가 또는 감소시키고, 상기 제1 나머지 비트 및 상기 제2 나머지 비트에 속한 "0"인 비트에 대응되는 목적 주파수의 크기를 변화시키지 않되,
상기 식별 블록은 각각 모든 비트가 "1＂인 단위블록과 모든 비트가 “0”인 단위블록을 포함하는,
오디오 워터마크 인코딩 시스템.
- 삭제
- 삭제
- 제1항에 있어서,
상기 워터마크 삽입부는 상기 목적 주파수의 크기의 변화량을 0.5% 내지 5% 이내로 제한하여 변화시키는 것을 특징으로 하는 오디오 워터마크 인코딩 시스템.
- 제1항에 있어서,
상기 워터마크 삽입부는 다수의 비트 블록으로 구성된 워터마크 코드를, 일련의 복수의 세그먼트들에 연속적으로 삽입하는 것을 특징으로 하는 오디오 워터마크 인코딩 시스템.
- 제1항에 있어서,
상기 세그먼트 추출부는 워터마크 코드의 크기 만큼의 개수를 가지는 일련의 세그먼트들을 세그먼트 세트로 추출하고, 오디오 데이터의 전체 구간에서 사전에 정해진 시간 간격 내에 적어도 1개의 세그먼트 세트를 선정하고,
상기 워터마크 삽입부는 선정된 세그먼트 세트에 워터마크를 삽입하는 것을 특징으로 하는 오디오 워터마크 인코딩 시스템.
- 삭제
- 제1항, 제4항 내지 제6항 중 어느 한 항의 인코딩 시스템에 의해 워터마크 메시지의 워터마크 코드가 삽입된 오디오 데이터(이하 워터마킹된 오디오 데이터)로부터 삽입된 워터마크 메시지를 추출하는, 오디오 워터마크 디코딩 시스템으로서,
상기 워터마킹된 오디오 데이터에서 제2 세그먼트를 추출하는 제2 세그먼트 추출부;
상기 제2 세그먼트를 주파수 도메인으로 변환하는 제2 도메인 변환부;
변환된 제2 세그먼트 내에서 목적 주파수의 크기가 변화되었는지를 검출하고, 목적 주파수의 크기 변화에 따라 워터마크 코드 또는 워터마크 메시지를 추출하는 워터마크 추출부를 포함하고,
상기 워터마크 추출부는 변환된 제2 세그먼트의 단위 블록에서의 목적 주파수의 증가 또는 감소, 무변화를 판단하고, 증가 또는 감소의 방향에 따라 최상위 비트를 결정하고, 증가 또는 감소된 목적 주파수에 대응되는 비트를 "1"로 설정하고 무변화된 목적 주파수에 대응되는 비트를 "0"으로 설정하는 것을 특징으로 하는 오디오 워터마크 디코딩 시스템.
- 삭제
- 제8항에 있어서,
상기 워터마크 추출부는 행렬 매핑 테이블을 사전에 구비하되, 상기 행렬 매핑 테이블은, 행렬 중 하나의 축은 하나의 단위 블록의 각 목적 주파수의 증감을 나타내고, 행렬 중 다른 하나의 축은 다른 하나의 단위 블록의 각 목적 주파수의 증감을 나타내고, 행렬에 의해 결정되는 데이터는 문자 코드를 나타내고,
상기 워터마크 추출부는 상기 비트 블록의 상기 제1 단위 블록 및 상기 제2 단위 블록의 목적 주파수의 증감을 각각 상기 행렬 매핑 테이블의 행과 열에 대응시키고, 대응되는 행과 열의 데이터를 문자 코드로 추출하는 것을 특징으로 하는 오디오 워터마크 디코딩 시스템.
- 제8항에 있어서,
상기 워터마크 추출부는 변환된 제2 세그먼트 내에서 목적 주파수의 크기와, 원본의 해당 세그먼트의 목적 주파수의 크기를 대비하여 크기 변화 여부 및 그 변화 방향을 검출하는 것을 특징으로 하는 오디오 워터마크 디코딩 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220141296A KR102651318B1 (ko) | 2022-10-28 | 2022-10-28 | 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템 |
| PCT/KR2023/016158 WO2024090882A1 (ko) | 2022-10-28 | 2023-10-18 | 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220141296A KR102651318B1 (ko) | 2022-10-28 | 2022-10-28 | 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102651318B1 true KR102651318B1 (ko) | 2024-03-26 |
Family
ID=90472795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220141296A KR102651318B1 (ko) | 2022-10-28 | 2022-10-28 | 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102651318B1 (ko) |
| WO (1) | WO2024090882A1 (ko) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020031654A (ko) * | 2000-10-23 | 2002-05-03 | 황준성 | 푸리에 변환을 이용한 워터마크 삽입 및 추출 방법 및 장치 |
| JP2004318126A (ja) * | 2003-03-31 | 2004-11-11 | Sony United Kingdom Ltd | デジタルオーディオ処理 |
| KR20090093530A (ko) * | 2008-02-29 | 2009-09-02 | 서울시립대학교 산학협력단 | 배음을 이용한 오디오 워터마크의 삽입 및 추출방법 |
| US20120179914A1 (en) * | 2004-07-01 | 2012-07-12 | Brundage Trent J | Digital Watermark Key Generation |
| KR101201076B1 (ko) | 2009-08-06 | 2012-11-20 | 울산대학교 산학협력단 | 오디오 워터마크 삽입장치 및 방법, 그리고, 오디오 워터마크 검출장치 및 방법 |
| KR101410615B1 (ko) * | 2013-06-03 | 2014-06-20 | 이화여자대학교 산학협력단 | 오디오 신호에서 데이터 코드를 처리하는 방법 및 시스템 |
| KR102225503B1 (ko) | 2017-10-26 | 2021-03-08 | 주식회사 케이티 | 오디오 워터마킹 시스템 및 방법 |
| KR20220064817A (ko) | 2020-11-12 | 2022-05-19 | 주식회사 케이티 | 오디오 데이터를 워터마킹 처리하는 데이터 처리 장치, 방법 및 컴퓨터 프로그램 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100430566B1 (ko) * | 2001-11-02 | 2004-05-10 | 한국전자통신연구원 | 반향을 이용한 오디오 워터마킹에서의 반향 삽입 장치 및그 방법 |
-
2022
- 2022-10-28 KR KR1020220141296A patent/KR102651318B1/ko active IP Right Grant
-
2023
- 2023-10-18 WO PCT/KR2023/016158 patent/WO2024090882A1/ko unknown
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020031654A (ko) * | 2000-10-23 | 2002-05-03 | 황준성 | 푸리에 변환을 이용한 워터마크 삽입 및 추출 방법 및 장치 |
| JP2004318126A (ja) * | 2003-03-31 | 2004-11-11 | Sony United Kingdom Ltd | デジタルオーディオ処理 |
| US20120179914A1 (en) * | 2004-07-01 | 2012-07-12 | Brundage Trent J | Digital Watermark Key Generation |
| KR20090093530A (ko) * | 2008-02-29 | 2009-09-02 | 서울시립대학교 산학협력단 | 배음을 이용한 오디오 워터마크의 삽입 및 추출방법 |
| KR100956945B1 (ko) | 2008-02-29 | 2010-05-11 | 서울시립대학교 산학협력단 | 배음을 이용한 오디오 워터마크의 삽입 및 추출방법 |
| KR101201076B1 (ko) | 2009-08-06 | 2012-11-20 | 울산대학교 산학협력단 | 오디오 워터마크 삽입장치 및 방법, 그리고, 오디오 워터마크 검출장치 및 방법 |
| KR101410615B1 (ko) * | 2013-06-03 | 2014-06-20 | 이화여자대학교 산학협력단 | 오디오 신호에서 데이터 코드를 처리하는 방법 및 시스템 |
| KR102225503B1 (ko) | 2017-10-26 | 2021-03-08 | 주식회사 케이티 | 오디오 워터마킹 시스템 및 방법 |
| KR20220064817A (ko) | 2020-11-12 | 2022-05-19 | 주식회사 케이티 | 오디오 데이터를 워터마킹 처리하는 데이터 처리 장치, 방법 및 컴퓨터 프로그램 |
Non-Patent Citations (1)
| Title |
|---|
| Yi-Wen Liu, Julius O. Smith., Audio watermarking through deterministic plus stochastic signal decomposition. EURASIP Journal on Information Security, 2007.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024090882A1 (ko) | 2024-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Megías et al. | Efficient self-synchronised blind audio watermarking system based on time domain and FFT amplitude modification | |
| US8681978B2 (en) | Efficient and secure forensic marking in compressed domain | |
| US6973574B2 (en) | Recognizer of audio-content in digital signals | |
| US20060013451A1 (en) | Audio data fingerprint searching | |
| Renza et al. | Authenticity verification of audio signals based on fragile watermarking for audio forensics | |
| Patil et al. | Hiding text in audio using LSB based steganography | |
| US8942416B2 (en) | Method and apparatus for embedding auxiliary information within original data | |
| US20020126872A1 (en) | Method, apparatus and programs for generating and utilizing content signatures | |
| KR101143233B1 (ko) | 디지탈 멀티미디아 데이타에 대한 비동기화된 핑거프린팅 방법 및 시스템 | |
| KR20050013630A (ko) | 압축된 멀티미디어 컨텐트로부터 해시들을 발생하는 방법 | |
| Basu et al. | On embedding of text in audio a case of steganography | |
| Bazyar et al. | A new method to increase the capacity of audio steganography based on the LSB algorithm | |
| Gong et al. | Detecting fingerprints of audio steganography software | |
| EP2673774B1 (en) | Audio watermarking | |
| KR20010075944A (ko) | 공간 영역에서 영상 분할을 기반으로 하는 영상 워터마크삽입/추출 장치 및 그 방법 | |
| KR102651318B1 (ko) | 트랜지언트 기반의 사이드체인 오디오 워터마크 코딩 시스템 | |
| Zhang | Audio dual watermarking scheme for copyright protection and content authentication | |
| Murata et al. | Sound quality evaluation for audio watermarking based on phase shift keying using BCH code | |
| Nishimura | Reversible and robust audio watermarking based on quantization index modulation and amplitude expansion | |
| Fallahpour et al. | Transparent high capacity audio watermarking in wavelet domain | |
| Salih | A New Audio Steganography Method Using Bi-LSB Embedding and Secret Message Integrity Validation | |
| Hu et al. | A novel numeric embedding scheme for hiding full-color images into audio | |
| Xuan et al. | An efficient method for hiding data in audio | |
| Tiwari et al. | An Efficient Secure Data Hiding Algorithm Using Audio Steganography | |
| Erfani et al. | Audio tampering localization using modified iss watermarking in sparse-domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |