KR20020022904A - 디지털 오디오/비디오/멀티미디어의 디지털 워터마크삽입장치 - Google Patents
디지털 오디오/비디오/멀티미디어의 디지털 워터마크삽입장치 Download PDFInfo
- Publication number
- KR20020022904A KR20020022904A KR1020000055453A KR20000055453A KR20020022904A KR 20020022904 A KR20020022904 A KR 20020022904A KR 1020000055453 A KR1020000055453 A KR 1020000055453A KR 20000055453 A KR20000055453 A KR 20000055453A KR 20020022904 A KR20020022904 A KR 20020022904A
- Authority
- KR
- South Korea
- Prior art keywords
- audio
- video
- copyright information
- watermark
- frequency
- Prior art date
Links
- 238000003780 insertion Methods 0.000 title claims description 6
- 230000037431 insertion Effects 0.000 title claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 30
- 230000000873 masking effect Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 25
- 230000000007 visual effect Effects 0.000 claims description 24
- 230000005236 sound signal Effects 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims 1
- 230000002542 deteriorative effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/167—Systems rendering the television signal unintelligible and subsequently intelligible
- H04N7/1675—Providing digital key or authorisation information for generation or regeneration of the scrambling sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3269—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
- H04N2201/327—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Editing Of Facsimile Originals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 디지털 오디오/비디오 및 멀티미디어에 저작권 정보를 포함하는 디지털 워터마크를 삽입하는 장치에 관한 것으로서, 워터마크를 삽입한 후에도 오디오와 비디오의 품질을 저하시키지 않고 워터마크가 삽입된 오디오/비디오 및 멀티미디어에 대해 임의의 공격이 가해지더라도 워터마크가 견고하도록 한다.
인터넷과 같은 컴퓨터망과 컴퓨터의 이용이 급격하게 증가함에 따라 디지털 멀티미디어 데이터의 이용 및 보급이 일반화되고 있다. 그러나, 이러한 멀티미디어 데이터들은 디지털이라는 속성으로 인하여 복제가 용이하고, 누구나 손쉽게 불법 복제를 통해 디지털 데이터를 얻을 수 있다. 이에 따라 불법적인 복제를 방지하고 멀티미디어 컨텐츠를 생산한 작가의 저작권 및 소유권을 보호하고자 하는 요구가 생겨나게 되었다.
본 발명은 이러한 데이터 보호기술 중의 하나인 워터마크 삽입기술에서, 인간의 시각 및 청각 특성을 고려한 지각모델을 이용하기 때문에 워터마크가 삽입된 후에도 오디오와 비디오 및 멀티미디어의 품질이 저하되지 않을 뿐만 아니라 워터마크가 삽입된 오디오/비디오 및 멀티미디어에 임의의 공격이 가해지더라도 워터마크가 사라지지 않는다.
Description
본 발명은 디지털 오디오/비디오/멀티미디어에 저작권 정보를 포함하는 디지털 워터마크를 삽입하는 장치에 관한 것으로서, 보다 상세하게 설명하면 인간의 시각 및 청각특성을 고려한 지각모델을 이용한 디지털 오디오/비디오/멀티미디어의 디지털 워터마크 삽입장치에 관한 것이다.
인터넷과 같은 컴퓨터망과 컴퓨터의 이용이 급격하게 증가함에 따라 디지털 멀티미디어 데이터의 이용 및 보급이 일반화되고 있다. 그러나, 이러한 멀티미디어 데이터들은 디지털이라는 속성으로 인하여 복제가 용이하고, 누구나 손쉽게 불법 복제를 통해 디지털 데이터를 얻을 수 있다. 이에 따라 불법적인 복제를 방지하고 멀티미디어 컨텐츠를 생산해내는 작가의 저작권 및 소유권을 보호하고자 하는 요구가 생겨나게 되었다.
지금까지 가장 대표적으로 널리 사용되는 데이터 보호 방법으로는 데이터 암호화 방법이 있다. 이러한 데이터 암호화 방법은 암호를 알지 못하면 데이터로의 접근이 불가능하지만, 일단 암호가 해독된 후에는 아무런 제재 없이 불법적으로 복사 및 배포될 수 있다는 문제점이 있다.
이러한 문제를 해결하기 위해 원 신호에 일종의 디지털 서명인 워터마크를 삽입하는 방법이 제안되었다. 디지털 워터마크란, 멀티미디어에 사람이 인지할 수 없는 저작자의 신호를 삽입하고, 추후에 멀티미디어에 삽입된 워터마크를 추출함으로써, 저작권 문제를 해결하는 저작권 보호기술의 일종이다. 워터마크(Watermark)는 사람이 볼 수 있는 로고 형태로 삽입될 수도 있으나, 워터마크의 삭제의 용이성과 멀티미디어 품질의 훼손 등으로 인하여 최근에는 사람이 볼 수 없는 형태로 워터마크를 삽입하는 방법이 많이 연구, 이용되고 있다.
이와 같이 보이지 않은 워터마크를 삽입할 경우 몇 가지 요구 조건이 존재한다. 첫째, 삽입된 워터마크는 사람의 눈으로 판별할 수 없는 비인식성을 가져야 한다. 즉, 워터마크의 삽입으로 인해 발생하는 원 멀티미디어의 화질 저하가 발생하지 않아야 하며, 발생하더라도 거의 발생하지 않아야 한다. 둘째, 워터마크는 견고성을 가져야 한다. 즉, 삽입된 워터마크는 여러 가지 데이터 처리나, 워터마크를 삭제하려는 타인의 고의적인 공격을 받더라도 삭제되지 않는 견고성이 있어야 한다. 셋째, 워터마크는 비모호성을 가져야 한다. 비모호성이란, 삽입된 워터마크가 누구의 것인지 정확히 밝힐 수 있어야 하는 성질을 말한다. 즉, 삽입되지 않은 워터마크를 삽입되었다고 판별하거나, 삽입된 워터마크를 타인의 워터마크로 오인하는 등의 문제가 없어야만 한다.
하지만 지금까지 발표된 워터마크를 이용한 오디오 및 비디오의 저작권 보호방법들은 워터마크를 삽입한 후 오디오나 비디오의 품질이 떨어지거나, 워터마크에 삽입된 오디오나 비디오에 압축이나 필터링같은 임의의 공격이 가해질 경우 삽입된 워터마크가 사라져 버리는 등의 문제가 발생한다.
따라서, 상기와 같은 종래기술의 문제점을 해결하기 위한 본 발명의 목적은 인간의 시각 및 청각특성을 고려한 지각 모델을 이용하여 워터마크 신호가 삽입된 후에도 오디오/비디오 및 멀티미디어의 품질이 저하되지 않을 뿐 아니라 워터마크가 삽입된 오디오/비디오 및 멀티미디어에 임의의 방법을 이용한 다양한 공격이 가해지더라도 저작권 정보를 포함하는 워터마크 신호가 사라지지 않는 워터마크 삽입장치를 제공하기 위한 것이다.
도 1은 본 발명의 한 실시예에 따른 디지털 멀티미디어의 디지털 워터마크 삽입장치를 도시한 구성 블록도,
도 2는 도 1에 도시된 오디오 워터마킹부의 상세 구성 블록도,
도 3은 도 1에 도시된 비디오 워터마킹부의 상세 구성 블록도이다.
※ 도면의 주요부분에 대한 부호의 설명 ※
100 : 오디오 워터마킹부
101 : 주파수 변환부 102 : 지각 모델링부
103 : 오류정정 부호화부 104 : 의사잡음 시퀀스 생성부
105 : 주파수 변환부 106 : 시변 적응 필터부
107 : 주파수 역변환부 108 : 가산기
200 : 비디오 워터마킹부
201 : 주파수 변환부 202 : 지각 모델링부
203 : 오류정정 부호화부 204 : 의사잡음 시퀀스 생성부
205 : 주파수 변환부 206 : 시변 적응 필터부
207 : 가산기 208 : 주파수 역변환부
300 : 오디오 부호화부 400 : 비디오 부호화부
500 : 다중화부
상기한 목적을 달성하기 위한 본 발명에 따른 디지털 멀티미디어의 워터마크 삽입장치는, 디지털 오디오에 오디오 저작권 정보를 포함하는 오디오 워터마크를 삽입하는 오디오 워터마킹부와,
상기 오디오 워터마킹부에서 출력되는 워터마크 삽입된 오디오 신호를 압축하는 오디오 부호화부,
디지털 비디오에 비디오 저작권 정보를 포함하는 비디오 워터마크를 삽입하는 비디오 워터마킹부,
상기 비디오 워터마킹부에서 출력되는 워터마크 삽입된 비디오 신호를 압축하는 비디오 부호화부, 및
상기 오디오 부호화부와 비디오 부호화부에서 출력되는 워터마크 삽입된 압축 오디오 및 비디오 신호를 다중화하여 워터마크 삽입된 멀티미디어를 출력하는 다중화부를 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 디지털 오디오의 디지털 워터마크 삽입장치는, 원 오디오를 주파수 영역으로 변환하고 주파수 영역에서 인간의 청각 특성을 고려한 마스킹 임계치를 추출하는 지각 모델링수단과,
오디오 저작권 정보를 의사잡음과 곱하여 변조하는 오디오 저작권 정보 변조수단,
상기 변조된 오디오 저작권 정보를 주파수 영역으로 변환하는 주파수 변환수단,
상기 지각 모델링수단에서 추출된 마스킹 임계치를 이용하여 상기 주파수 변환수단에서 출력되는 오디오 저작권 정보를 필터링하는 시변 적응 필터수단, 및
상기 시변 적응 필터수단에서 출력되는 신호를 시간 영역으로 변환한 후 상기 원 오디오와 가산하여 워터마크 삽입된 오디오신호를 출력하는 출력수단을 포함한 것을 특징으로 한다.
또한, 본 발명에 따른 디지털 비디오의 디지털 워터마크 삽입장치는, 원 비디오를 입력받아 인간의 시각 특성을 고려한 시각적 가중치를 추출하는 지각 모델링수단과,
비디오 저작권 정보를 의사잡음과 곱하여 변조하는 비디오 저작권 정보 변조수단,
상기 지각 모델링수단에서 추출된 마스킹 임계치를 이용하여 상기 변조된 비디오 저작권 정보를 필터링하는 시변 적응 필터수단, 및
상기 시변 적응 필터수단에서 출력되는 신호와 원 비디오를 가산하여 워터마크 삽입된 오디오신호를 출력하는 가산수단을 포함한 것을 특징으로 한다.
이하, 첨부된 도면을 참조하면서 본 발명의 한 실시예에 따른 디지털 오디오/비디오/멀티미디어의 디지털 워터마크 삽입장치를 보다 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 디지털 멀티미디어의 디지털 워터마크 삽입장치의 구성 블록도이다.
도 1을 참조하면, 본 발명은 오디오와 오디오 저작권 정보를 입력받아서 오디오에 워터마크를 삽입하는 오디오 워터마킹부(100)와, 비디오와 비디오 저작권 정보를 입력받아서 비디오에 워터마크를 삽입하는 비디오 워터마킹부(200), 워터마킹 삽입된 오디오를 압축하는 오디오 부호화부(300), 워터마킹 삽입된 비디오를 압축하는 비디오 부호화부(400), 그리고 워터마크가 삽입되고 압축된 오디오 및 비디오를 다중화하는 다중화부(500)를 포함한다.
오디오 워터마킹부(100)와 비디오 워터마킹부(200)로 각각 입력되는 오디오 및 비디오에는 일정한 시간 간격으로 반복적으로 오디오 및 비디오 저작권 정보가 삽입된다. 이때 삽입되는 데이터의 양은 임의로 조절할 수 있다. 즉, 저작권 정보가 삽입될 오디오 및 비디오 구간의 크기를 조절하여 삽입되는 정보의 양을 조절할 수 있다. 또한, 오디오 및 비디오 신호에 삽입될 저작권 정보는 그 형태(영상, 비디오, 오디오, 음성, 텍스트 등)를 제한받지 않는다.
도 2는 본 발명에 따른 오디오 워터마킹부(100)의 상세 블록도이다.
도 2를 참조하면, 오디오 워터마킹부(100)는 입력되는 오디오를 주파수 영역으로 변환하는 주파수 변환부(101)와, 주파수 변환부(101)에서 주파수 변환된 오디오를 입력받아 인간의 청각특성을 고려한 마스킹 임계치를 추출하는 지각 모델링부(102), 오디오 저작권정보를 입력받아 워터마크 검출시 발생할 수 있는 오류를 정정하는 오류정정 부호화부(103), 오류정정된 오디오 저작권정보를 변조하기 위해 의사잡음을 생성하는 의사잡음 시퀀스 생성부(104), 변조된 오디오 저작권정보를 주파수 영역으로 변환하는 주파수 변환부(105), 지각 모델링부(102)에서 추출된 마스킹 임계치를 이용하여 주파수 변환부(105)에서 출력되는 신호를 필터링하는 시변 적응 필터부(106), 시변 적응 필터부(106)에서 출력되는 신호를 시간 영역으로 변환하는 주파수 역변환부(107), 및 오디오와 주파수 역변환부(107)에서 출력되는 신호를 가산하여 워터마크 삽입된 오디오신호를 출력하는 가산기(108)를 포함한다.
여기서, 주파수 변환부(101)(105)는 1차원 푸리에 변환, 1차원 웨이브렛 변환, 또는 1차원 DCT(Discrete Cosine Transform) 변환 등의 변환을 통해 오디오를 주파수 영역으로 변환시킨다.
이러한 오디오 워터마킹부(100)의 동작을 살펴보면 다음과 같다. 입력되는 오디오는 주파수 변환부(101)를 통해 주파수 영역으로 변환되고, 지각 모델링부(102)는 인간의 청각특성을 고려한 마스킹 임계치를 추출한다. 여기서, 마스킹 임계치란 주파수 영역에서 오디오 원음을 감지할 수 있는 한계치를 가리킨다. 따라서 마스킹 임계치 이하의 신호성분을 오디오의 원음에 첨가하더라도 첨가된 소리를 감지할 수 없게 된다. 이러한 마스킹 임계치는 MPEG 오디오 부호화방식에 사용되는 심리음향모델을 이용하여 구할 수 있으며, 이는 "ISO/IEC 11172-3 Information Technlogy - Coding of moving pictures and associated audio for digital storage media at up to about 1.5Mbit/s, 1993"에 상세하게 기술되어 있다.
한편, 오류정정 부호화부(103)는 오디오 저작권 정보에서 워터마크 검출 시 발생할 수 있는 오류를 정정한다. 의사잡음 시퀀스 생성부(104)는 의사잡음을 생성하여 출력하고, 오류정정된 오디오 저작권 정보는 곱셈기에서 의사잡음과 곱해져서 변조된다. 주파수 변환부(105)는 이 변조된 오디오 저작권 정보를 주파수 영역의 데이터로 변환하는데, 주파수 변환부(105)는 주파수 변환부(101)와 동일한 기능을 수행한다.
의사잡음 시퀀스 생성부(104)는 샘플링 주파수가 32 kHz인 의사잡음 시퀀스를 출력하며, 이 의사잡음 시퀀스는 차단 주파수가 16 kHz인 저역통과필터를 통과하여 출력된다. 이 저역통과필터링된 의사잡음 시퀀스를 이용하여 오디오 저작권 정보를 변조하면, 오디오 정보에 포함되는 워터마크 정보가 16 kHz 밖으로 벗어나지 않으며, 따라서 압축공격이나 저역통과필터링(lowpass filtering) 등의 공격이 가해지더라도 워터마크 데이터가 사라지지 않는다. 의사잡음 시퀀스 생성부(104)는 최대 48 kHz의 샘플링 주파수를 가지는 의사잡음 시퀀스를 출력할 수 있으며, 이때 대역폭은 그 절반인 24 kHz가 되며, 저역통과필터의 차단 주파수도 24 kHz가 된다.
시변 적응필터부(106)는 지각 모델링부(102)에서 받은 마스킹 임계치를 이용하여 주파수 변환부(105)를 통과한 신호를 필터링한다. 즉, 시변 적응필터부(106)는 시간에 따라 변화하는 오디오의 특성에 따라 필터의 특성이 다르게 변하는데, 주파수 변환부(105)에서 출력된 신호가 지각 모델링부(102)에서 얻어진 마스킹 임계치의 크기에 근접하는 크기를 가지도록 조절한다. 또한, 16 kHz 이상의 주파수 대역은 필터링하여 제거한다.
오디오 신호를 처리할 때 오디오 신호를 일정 크기의 단위인 프레임 단위로 순차적으로 처리하며 이때 각 프레임마다 각각 다른 마스킹 임계치가 구해진다. 즉, 매 프레임마다 변화하는 마스킹 임계치가 달라지게 되므로 여기에 따라 매 프레임마다 주파수 변환부(105)에서 출력된 신호가 지각 모델링부(102)에서 얻어진 마스킹 임계치의 크기에 근접하는 크기를 가지도록 조절한다. 시변 적응필터부(106)에서는 구해진 마스킹 임계치를 바탕으로 AR(auto-regressive) 필터를 만든 후, 주파수 변환부(105)에서 출력된 신호가 AR 필터를 통과하게 하여 마스킹 임계치에 근접하는 크기를 가지게 한다.
시변 적응필터부(106)를 통과한 신호는 주파수 역변환부(107)를 통과하여 시간영역의 신호로 바뀌어 최종적으로 오디오 신호에 삽입될 워터마크 신호가 된다. 상기와 같은 과정을 거쳐 생성된 워터마크 신호는 가산기(108)에서 원래의 오디오에 더해져서 최종적으로 워터마크가 삽입된 오디오 신호를 만들어 낸다.
도 3은 본 발명에 따른 비디오 워터마킹부(200)의 상세 블록도이다.
도 3을 참조하면, 비디오 워터마킹부(200)는 입력되는 비디오를 주파수 영역으로 변환하는 주파수 변환부(201)와, 주파수 변환부(201)에서 주파수 변환된 비디오를 입력받아 인간의 시각특성을 고려한 마스킹 임계치를 추출하는 지각 모델링부(202), 비디오 저작권정보를 입력받아 워터마크 검출시 발생할 수 있는 오류를 정정하는 오류정정 부호화부(203), 오류정정된 오디오 저작권정보를 변조하기 위해 의사잡음을 생성하는 의사잡음 시퀀스 생성부(204), 변조된 오디오 저작권정보를 주파수 영역으로 변환하는 주파수 변환부(205), 지각 모델링부(202)에서 추출된 마스킹 임계치를 이용하여 주파수 변환부(205)에서 출력되는 신호를 필터링하는 시변 적응 필터부(206), 시변 적응 필터부(206)에서 출력되는 신호와 주파수 변환부(201)에서 주파수 영역으로 변환된 신호를 가산하여 주파수 영역에서 워터마크 삽입된 비디오신호를 출력하는 가산기(207), 및 가산기(207)에서 출력되는 워터마크 삽입된 비디오신호를 시간 영역으로 변환하는 주파수 역변환부(208)를 포함한다.
여기서, 주파수 변환부(201)는 2차원 푸리에 변환, 2차원 웨이브렛 변환, 또는 2차원 DCT(Discrete Cosine Transform) 변환 등의 변환을 통해 비디오를 주파수 영역으로 변환시킨다.
또한, 주파수 변환부(201)(205)와 주파수 역변환부(208)는 제거할 수 있으며, 이때에는 비디오 워터마킹 과정이 전부 시간 영역에서 이루어지고, 지각 모델링부(202)도 시간 영역에서 시각적 가중치를 추출하게 된다.
이러한 비디오 워터마킹부(200)의 동작을 살펴보면 다음과 같다. 입력되는 비디오는 주파수 변환부(201)를 통해 주파수 영역으로 변환되고, 지각 모델링부(202)는 인간의 시각특성을 고려한 주파수 영역의 시각적 가중치를 추출한다.
시간영역의 경우, 영상신호는 물체의 경계부분에 해당하는 에지(Edge)가 시각적으로 민감한 부분이다. 시각적 가중치는 에지를 찾을 수 있는 라플라시안 필터 또는 이와 유사한 필터링 방법으로 구할 수 있다. 주파수 영역의 경우, DCT나 웨이블릿(Wavelet) 변환된 주파수 영역에서 JND(Just Noticeable Difference)를 구하여 이를 시각적 가중치로 이용한다.
한편, 오류정정 부호화부(203)는 비디오 저작권 정보에서 워터마크 검출 시 발생할 수 있는 오류를 정정한다. 의사잡음 시퀀스 생성부(204)는 의사잡음을 생성하여 출력하고, 오류정정된 비디오 저작권 정보는 곱셈기에서 의사잡음과 곱해져서 변조된다. 주파수 변환부(205)는 이 변조된 비디오 저작권 정보를 주파수 영역의 데이터로 변환하는데, 주파수 변환부(105)는 주파수 변환부(101)와 동일한 기능을 수행한다.
시변 적응필터부(206)는 지각 모델링부(202)에서 받은 시각적 가중치를 이용하여 주파수 변환부(205)를 통과한 비디오 신호를 필터링한다. 즉, 시변 적응필터부(206)는 시간에 따라 변화하는 비디오의 특성에 따라 필터의 특성이 다르게 변하는데, 주파수 변환부(205)에서 출력된 신호를 지각 모델링부(202)에서 얻어진 주파수 영역의 시각적 가중치를 이용하여 필터링한다.
비디오 신호 역시 프레임 단위로 처리하게 되며 각 프레임마다 각각 다른 영상 데이터를 가지므로 그 내용이 시간에 따라 변화하게 된다. 따라서 매 프레임 마다 각기 다른 시각적 가중치를 얻게 되며, 구해진 매 프레임의 시각적 가중치를 곱해주는 것이 시각적 가중치를 이용하여 필터링하는 과정을 의미한다.
시변 적응필터부(206)를 통과한 신호와 주파수 변환부(201)를 통과한 신호는 가산기(207)에서 더해져서 워터마크가 삽입된 비디오 신호가 출력되고, 이 워터마크가 삽입된 비디오신호는 주파수 역변환부(208)를 통과하여 시간영역의 신호로 바뀌어 출력된다.
앞서 설명한 바와 같이, 계산상의 이득을 얻기 위해 주파수 변환부(201), 주파수 변환부(205), 그리고 주파수 역변환부(207)를 생략할 수 있다. 이때 주파수 변환 및 역변환 과정이 생략되므로 비디오 워터마킹 과정이 전부 시간 영역에서 이루어지며 지각 모델링부(202) 역시 시간 영역에서 시각적 가중치를 추출한다.
이와 같이 주파수 변환 및 역변환 과정이 생략될 경우 시변 적응 필터부(206)는 시간에 따라 변화하는 비디오 신호의 특성에 따라 필터의 특성이 다르게 변하게 되며, 의사잡음 시퀀스에 의해 변조된 신호가 시간 영역의 지각 모델링부(202)에서 얻어진 시간 영역의 시각적 가중치를 이용하여 필터링한다.
다시 도 1을 참조하면, 도 2의 오디오 워터마킹부(100)와 도 3의 비디오 워터마킹부(200)를 통과한 워터마크가 삽입된 오디오 및 비디오 신호는 각각 오디오 부호화부(300) 및 비디오 부호화(400)를 거쳐 압축된 오디오 및 비디오 비트 스트림으로 출력되고 다중화부(500)를 통해 다중화되어 워터마크가 삽입된 멀티미디어가 출력된다.
위에서 양호한 실시예에 근거하여 이 발명을 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것이다. 이 발명이 속하는 분야의 숙련자에게는 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.
이상과 같이 본 발명에 의하면, 오디오/비디오 및 멀티미디어의 품질을 저하시키지 않고 워터마크를 삽입할 수 있기 때문에 디지털 오디오/비디오 및 멀티미디어의 저작권 보호기술로 적용될 수 있다. 또한, 디지털 오디오 및 비디오의 조작이나 변형 여부를 확인할 수 있는 인증(Authentification)에도 사용될 수 있다. 또한, 디지털 데이터를 포터블 디바이스나 기타 오디오 및 비디오 장비를 통해 플레이할 때 허용 가능한 복제 횟수를 워터마크로 조절할 수 있는 사용제한(Usage Control)에도 사용될 수 있다. 또한, 저작권 정보 이외의 부가 데이터를 워터마크로 사용하여 전송할 수도 있다.
Claims (17)
- 디지털 오디오에 오디오 저작권 정보를 포함하는 오디오 워터마크를 삽입하는 오디오 워터마킹부와,상기 오디오 워터마킹부에서 출력되는 워터마크 삽입된 오디오 신호를 압축하는 오디오 부호화부,디지털 비디오에 비디오 저작권 정보를 포함하는 비디오 워터마크를 삽입하는 비디오 워터마킹부,상기 비디오 워터마킹부에서 출력되는 워터마크 삽입된 비디오 신호를 압축하는 비디오 부호화부, 및상기 오디오 부호화부와 비디오 부호화부에서 출력되는 워터마크 삽입된 압축 오디오 및 비디오 신호를 다중화하여 워터마크 삽입된 멀티미디어를 출력하는 다중화부를 포함한 것을 특징으로 하는 디지털 멀티미디어의 워터마크 삽입장치.
- 제 1 항에 있어서,상기 오디오 워터마킹부는,상기 원 오디오를 주파수 영역으로 변환하고 주파수 영역에서 인간의 청각 특성을 고려한 마스킹 임계치를 추출하는 지각 모델링수단과,상기 오디오 저작권 정보를 상기 의사잡음과 곱하여 변조하는 오디오 저작권정보 변조수단,상기 변조된 오디오 저작권 정보를 주파수 영역으로 변환하는 주파수 변환수단,상기 지각 모델링수단에서 추출된 마스킹 임계치를 이용하여 상기 주파수 변환수단에서 출력되는 오디오 저작권 정보를 필터링하는 시변 적응 필터수단, 및상기 시변 적응 필터수단에서 출력되는 신호를 시간 영역으로 변환한 후 상기 원 오디오와 가산하여 워터마크 삽입된 오디오신호를 출력하는 출력수단을 포함한 것을 특징으로 하는 디지털 멀티미디어의 워터마크 삽입장치.
- 제 2 항에 있어서,상기 오디오 저작권 정보를 입력받아 워터마크 검출시 발생할 수 있는 오류를 정정한 후 상기 지각 모델링수단에 제공하는 오류정정 부호화수단을 더 포함한 것을 특징으로 하는 디지털 멀티미디어의 워터마크 삽입장치.
- 제 2 항에 있어서,상기 오디오 저작권 정보 변조수단은,상기 의사잡음을 상기 의사잡음의 샘플링 주파수에 준하는 주파수 대역으로 저역통과필터링한 후 상기 오디오 저작권 정보와 곱하여, 상기 오디오신호에 삽입되는 워터마크 정보가 상기 의사잡음의 샘플링 주파수에 준하는 주파수 대역을 벗어나지 않도록 하는 것을 특징으로 하는 디지털 멀티미디어의 워터마크 삽입장치.
- 제 4 항에 있어서,상기 의사잡음의 샘플링 주파수는 32 kHz이고, 상기 저역통과필터링 차단 주파수는 16 kHz인 것을 특징으로 하는 디지털 멀티미디어의 워터마크 삽입장치.
- 제 4 항에 있어서,상기 시변 적응 필터수단은,상기 주파수 변환수단에서 출력되는 신호를 상기 마스킹 임계치의 크기에 근접하는 크기를 가지도록 조절하고, 상기 지각 모델링수단에서 출력되는 오디오 저작권 정보를 상기 의사잡음의 샘플링 주파수에 준하는 주파수 대역으로 저역통과필터링하는 것을 특징으로 하는 디지털 멀티미디어의 워터마크 삽입장치.
- 제 1 항에 있어서,상기 비디오 워터마킹부는,상기 원 비디오를 입력받아 인간의 시각 특성을 고려한 시각적 가중치를 추출하는 지각 모델링수단과,상기 비디오 저작권 정보를 의사잡음과 곱하여 변조하는 비디오 저작권 정보 변조수단,상기 지각 모델링수단에서 추출된 마스킹 임계치를 이용하여 상기 변조된 비디오 저작권 정보를 필터링하는 시변 적응 필터수단, 및상기 시변 적응 필터수단에서 출력되는 신호와 원 비디오를 가산하여 워터마크 삽입된 오디오신호를 출력하는 출력수단을 포함한 것을 특징으로 하는 디지털 멀티미디어의 워터마크 삽입장치.
- 제 1 항에 있어서,상기 비디오 워터마킹부는,상기 원 비디오를 주파수 영역으로 변환하고 주파수 영역에서 인간의 시각 특성을 시각적 가중치를 추출하는 지각 모델링수단과,상기 비디오 저작권 정보를 의사잡음과 곱하여 변조하는 비디오 저작권 정보 변조수단,상기 변조된 비디오 저작권 정보를 주파수 영역으로 변환하는 주파수 변환수단,상기 지각 모델링수단에서 추출된 시각적 가중치를 이용하여 상기 주파수 변환수단에서 출력되는 비디오 저작권 정보를 필터링하는 시변 적응 필터수단, 및상기 시변 적응 필터수단에서 출력되는 신호와 주파수 영역으로 변환된 비디오를 가산한 후 시간 영역으로 변환하여 워터마크 삽입된 비디오신호를 출력하는 출력수단을 포함한 것을 특징으로 하는 디지털 멀티미디어의 워터마크 삽입장치.
- 제 7 항 또는 제 8 항에 있어서,상기 비디오 저작권 정보를 입력받아 워터마크 검출시 발생할 수 있는 오류를 정정한 후 상기 지각 모델링수단에 제공하는 오류정정 부호화수단을 더 포함한 것을 특징으로 하는 디지털 멀티미디어의 워터마크 삽입장치.
- 원 오디오를 주파수 영역으로 변환하고 주파수 영역에서 인간의 청각 특성을 고려한 마스킹 임계치를 추출하는 지각 모델링수단과,오디오 저작권 정보를 의사잡음과 곱하여 변조하는 오디오 저작권 정보 변조수단,상기 변조된 오디오 저작권 정보를 주파수 영역으로 변환하는 주파수 변환수단,상기 지각 모델링수단에서 추출된 마스킹 임계치를 이용하여 상기 주파수 변환수단에서 출력되는 오디오 저작권 정보를 필터링하는 시변 적응 필터수단, 및상기 시변 적응 필터수단에서 출력되는 신호를 시간 영역으로 변환한 후 상기 원 오디오와 가산하여 워터마크 삽입된 오디오신호를 출력하는 출력수단을 포함한 것을 특징으로 하는 디지털 오디오의 워터마크 삽입장치.
- 제 10 항에 있어서,상기 오디오 저작권 정보를 입력받아 워터마크 검출시 발생할 수 있는 오류를 정정한 후 상기 지각 모델링수단에 제공하는 오류정정 부호화수단을 더 포함한 것을 특징으로 하는 디지털 오디오의 워터마크 삽입장치.
- 제 10 항에 있어서,상기 오디오 저작권 정보 변조수단은,상기 의사잡음을 상기 의사잡음의 샘플링 주파수에 준하는 주파수 대역으로 저역통과필터링한 후 상기 오디오 저작권 정보와 곱하여, 상기 오디오신호에 삽입되는 워터마크 정보가 상기 의사잡음의 샘플링 주파수에 준하는 주파수 대역을 벗어나지 않도록 하는 것을 특징으로 하는 디지털 멀티미디어의 워터마크 삽입장치.
- 제 12 항에 있어서,상기 의사잡음의 샘플링 주파수는 32 kHz이고, 상기 저역통과필터링 차단 주파수는 16 kHz인 것을 특징으로 하는 디지털 멀티미디어의 워터마크 삽입장치.
- 제 12 항에 있어서,상기 시변 적응 필터수단은,상기 주파수 변환수단에서 출력되는 신호를 상기 마스킹 임계치의 크기에 근접하는 크기를 가지도록 조절하고, 상기 지각 모델링수단에서 출력되는 오디오 저작권 정보를 상기 의사잡음의 샘플링 주파수에 준하는 주파수 대역으로 저역통과필터링하는 것을 특징으로 하는 디지털 멀티미디어의 워터마크 삽입장치.
- 원 비디오를 입력받아 인간의 시각 특성을 고려한 시각적 가중치를 추출하는 지각 모델링수단과,비디오 저작권 정보를 의사잡음과 곱하여 변조하는 비디오 저작권 정보 변조수단,상기 지각 모델링수단에서 추출된 마스킹 임계치를 이용하여 상기 변조된 비디오 저작권 정보를 필터링하는 시변 적응 필터수단, 및상기 시변 적응 필터수단에서 출력되는 신호와 원 비디오를 가산하여 워터마크 삽입된 오디오신호를 출력하는 가산수단을 포함한 것을 특징으로 하는 디지털 비디오의 워터마크 삽입장치.
- 제 15 항에 있어서,상기 원 비디오를 주파수 영역으로 변환한 후 상기 지각 모델링수단에 제공하는 주파수 변환수단과,상기 비디오 저작권 정보 변조수단에서 변조된 비디오 저작권 정보를 주파수 영역으로 변환하는 주파수 변환수단, 및상기 가산수단에서 출력되는 워터마크 삽입된 오디오신호를 시간 영역으로 변환하여 출력하는 주파수 역변환수단을 더 포함한 것을 특징으로 하는 디지털 비디오의 워터마크 삽입장치.
- 제 15 항 또는 제 16 항에 있어서,상기 비디오 저작권 정보를 입력받아 워터마크 검출시 발생할 수 있는 오류를 정정한 후 상기 지각 모델링수단에 제공하는 오류정정 부호화수단을 더 포함한 것을 특징으로 하는 디지털 비디오의 워터마크 삽입장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0055453A KR100392251B1 (ko) | 2000-09-21 | 2000-09-21 | 디지털 오디오/비디오/멀티미디어의 디지털 워터마크삽입장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0055453A KR100392251B1 (ko) | 2000-09-21 | 2000-09-21 | 디지털 오디오/비디오/멀티미디어의 디지털 워터마크삽입장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020022904A true KR20020022904A (ko) | 2002-03-28 |
| KR100392251B1 KR100392251B1 (ko) | 2003-07-22 |
Family
ID=19689725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2000-0055453A KR100392251B1 (ko) | 2000-09-21 | 2000-09-21 | 디지털 오디오/비디오/멀티미디어의 디지털 워터마크삽입장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100392251B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030012487A (ko) * | 2001-08-01 | 2003-02-12 | 주식회사 마크애니 | 워터마킹 및 해쉬함수 기술을 이용한 동영상 송수신 장치및 방법 |
| KR100611412B1 (ko) * | 2002-10-18 | 2006-08-09 | 명지대학교 산학협력단 | 마스킹 효과를 이용한 오디오 워터마크 삽입 및 검출방법 |
| KR100950982B1 (ko) * | 2008-01-28 | 2010-04-02 | 주식회사 픽스트리 | 디지털 방송방법, 이를 위한 인코더, 디코더 및 이디코더를 사용하는 수신기 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0860997B1 (en) * | 1997-02-24 | 2008-12-10 | Nec Corporation | Digital data encode system |
| KR100247249B1 (ko) * | 1997-09-30 | 2000-03-15 | 윤종용 | 동화상 데이타 복제 방지장치 |
| KR100289365B1 (ko) * | 1998-09-10 | 2001-05-02 | 최종욱 | 웨이브렛 변환 및 이산 코사인 변환을 이용한 디지털 영상이미지의 워터마킹방법 |
| KR19990046546A (ko) * | 1999-03-29 | 1999-07-05 | 최종욱 | 디지털오디오에대한디지털워터마킹방법 |
| KR20000018063A (ko) * | 2000-01-07 | 2000-04-06 | 김주현 | 웨이브렛 변환의 분해 특성을 이용한 오디오 워터마크 방법 |
-
2000
- 2000-09-21 KR KR10-2000-0055453A patent/KR100392251B1/ko not_active IP Right Cessation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030012487A (ko) * | 2001-08-01 | 2003-02-12 | 주식회사 마크애니 | 워터마킹 및 해쉬함수 기술을 이용한 동영상 송수신 장치및 방법 |
| KR100611412B1 (ko) * | 2002-10-18 | 2006-08-09 | 명지대학교 산학협력단 | 마스킹 효과를 이용한 오디오 워터마크 삽입 및 검출방법 |
| KR100950982B1 (ko) * | 2008-01-28 | 2010-04-02 | 주식회사 픽스트리 | 디지털 방송방법, 이를 위한 인코더, 디코더 및 이디코더를 사용하는 수신기 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100392251B1 (ko) | 2003-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Busch et al. | Digital watermarking: From concepts to real-time video applications | |
| KR100799303B1 (ko) | 캡쳐링에 강인한 웨이블릿 기반 오디오 워터마크 삽입,추출 장치 및 방법과 이를 적용한 저작권 관리시스템 | |
| JP3522056B2 (ja) | 電子的すかし挿入方法 | |
| Cox et al. | A secure, robust watermark for multimedia | |
| Su et al. | Digital watermarking of text, image, and video documents | |
| Petitcolas et al. | Attacks on copyright marking systems | |
| US8259938B2 (en) | Efficient and secure forensic marking in compressed | |
| KR100632723B1 (ko) | 부가 정보 매립 방법 및 그 장치 및 부가 정보의 복조방법 및 그 복조장치 | |
| US7289961B2 (en) | Data hiding via phase manipulation of audio signals | |
| KR100375822B1 (ko) | 디지털 오디오의 워터마크 삽입/추출 장치 및 방법 | |
| KR20030073369A (ko) | 양자화를 이용한 실시간 블라인드 워터마킹 방법 | |
| KR20070119032A (ko) | 위상 변조 이전에 워터마킹을 통한 인코딩 | |
| US20030120927A1 (en) | Apparatus and method for providing digital contents by using watermarking technique | |
| KR100392251B1 (ko) | 디지털 오디오/비디오/멀티미디어의 디지털 워터마크삽입장치 | |
| KR20020058538A (ko) | 선형예측 분석을 이용한 워터마크 삽입/추출 장치 및 그방법 | |
| US7940954B2 (en) | Watermarking digital representations that have undergone lossy compression | |
| Radhakrishnan et al. | Audio content authentication based on psycho-acoustic model | |
| Jain et al. | Robust Multiple Image Watermarking Based on Spread Transform | |
| Wang et al. | A new content-based digital audio watermarking algorithm for copyright protection | |
| Sharma et al. | Survey on different level of audio watermarking techniques | |
| KR100355268B1 (ko) | 디지털 오디오/비디오/멀티미디어의 디지털 워터마크추출장치 | |
| Muharemagic et al. | Multimedia security: watermarking techniques | |
| Wolthusen | Digital Watermarking: From Concepts to Real-Time Video Applications | |
| Ho et al. | A robust spread-spectrum watermarking method using two-level quantization | |
| Moti | Effects of different manipulations on images and audio with a watermark embedded |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20080701 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |