KR20030005464A

KR20030005464A - 디지털 워터마킹 방법

Info

Publication number: KR20030005464A
Application number: KR1020010040767A
Authority: KR
Inventors: 여호영
Original assignee: 주식회사 지아이에스
Priority date: 2001-07-09
Filing date: 2001-07-09
Publication date: 2003-01-23

Abstract

본 발명은 디지털 미디어에 저작자의 서명이나 저작자임을 입증할 수 있는 정보를 삽입하여, 멀티미디어 컨텐츠 전자상거래의 활성화를 위하여 컨텐츠 제작자의 저작권 보호를 완벽하게 지원하고, 워터마크된 방대한 디지털 미디어 컨텐츠를 기존의 관리체계인 바코드 체계를 접목하여 효율적으로 자동 관리하도록 한 디지털 워터마킹 방법에 관한 것으로서, 이러한 본 발명은, 이미지 워터마킹인 경우, 영상을 웨이브렛 변환(wavelet transform)을 이용하여 주파수 공간으로 변환하고, 고주파 영역을 포함한 중간주파수 영역에 워터마크 정보를 삽입하며, 삽입한 워터마크 추출시 영상에서 추출한 워터마크와 원 워터마크와의 상관값을 산출하고, 그 산출한 상관값과 임계값을 비교하여 저작권자 여부를 판별한다.

또한, 비디오 워터마킹인 경우, 압축 표준안인 MPEG-2에 적용하여 I-프레임을 추출하고, 추출한 I-프레임을 8*8블록으로 분할하며, 각 블록마다 양자화 계수의 중간 주파수 영역에 하나의 워터마크를 삽입하며, 아울러 오디오 워터마킹인 경우, 원 오디오 신호를 주파수 공간으로 변환하여 사람의 귀가 인식하기 힘든 공간(중간 주파수 영역)에 워터마크를 삽입한다.

Description

디지털 워터마킹 방법{digital watermarking systerm}

본 발명은 디지털 워터마킹(Watermarking) 방법에 관한 것으로, 특히 디지털 미디어에 저작자의 서명이나 저작자임을 입증할 수 있는 정보(Watermark)를 삽입하여 저작권 보호를 완벽하게 지원토록 한 디지털 워터마킹 방법에 관한 것이다.

좀 더 상세하게는, 디지털 미디어에 저작자의 서명이나 저작자임을 입증할 수 있는 정보를 삽입하여, 멀티미디어 컨텐츠 전자상거래의 활성화를 위하여 컨텐츠 제작자의 저작권 보호를 완벽하게 지원하고, 워터마크된 방대한 디지털 미디어 컨텐츠를 기존의 관리체계인 바코드 체계를 접목하여 효율적으로 자동 관리하도록 한 디지털 워터마킹 방법에 관한 것이다.

일반적으로, 디지털 워터마킹은, 디지털 미디어에 저작자의 서명이나 저작자임을 입증할 수 있는 정보(워터마크)를 삽입하여, 추후 디지털 미디어의 저작권에 관한 문제가 발생할 경우, 미디어에 들어있는 워터마크를 추출하여 저작권 문제를 해결하기 위한 방법이다.

근래 데이터의 디지털화와 멀티미디어의 눈부신 발전으로 컴퓨터 네트워크를 이용한 영상, 오디오 등의 불법 복제가 확산됨에 따라 저작권 보호와 인증에 대한 문제가 심각해지고 있는 실정이다. 불법 복제를 방지하기 위한 방법으로 디지털 워터마킹 기법이 있다.

종래의 디지털 워터마킹 기법으로는 대표적으로 Adding Tags 기법과 LSB(Least Significant Bit) 기법이 주로 사용된다.

Adding Tags 기법은, Caronni가 제안한 방법으로 작은 기하학적인 패턴을 계수화된 영상에 지각할 수 없는 밝기 정보를 가지는 강도로서 더해주어 워터마크를 삽입하는 방법이다. 영상에 공간적인 워터마크를 감추는 방법은 기본적이고 표준적이기는 하지만 필터링과 재 계수화에 의한 공격에 약하고, 기하학적인 형태이므로 넣을 수 있는 워터마크가 제한된 알파벳만이 가능하다. 특히, 크로핑(cropping)과 같은 기하학적인 왜곡에 약하다는 단점이 있다.

다음으로, LSB 기법은, Digimarc corportion or Portland, Oregon에서 제안한 방법으로, 각 픽셀에 임의의 값을 더해주거나 빼주어 워터마크를 삽입하는 방법이다. L bits의 2진 마스크의 값과 LSB와 비교하여 더해줄 것인지 빼줄것인지 결정한다. 해당 픽셀의 LSB가 대응하는 마스크 값과 같으면 임의의 값을 더해주고, 그렇지 않으면 빼준다. 삽입된 워터마크는 원영상과 워터마크된 영상의 차이를 계산하고 더한 것과 빼준 것의 원래 결과에 대응하는지를 결정하기 위해 픽셀별로 차이값의 부호를 조사하여 추출된다. 다른 방법에 비해 상대적으로 많은 정보를 영상에 삽입할 수 있는 이점이 있지만, 시각적인 관련성을 사용하지 않고 고주파수에 노이즈를 더해주는 것과 같으므로 저역 필터링에 약하다는 단점이 있다.

즉, 상기와 같은 종래의 워터마킹 방법은, 견고하지 않으며 쉽게 제거되는 단점이 발생하였고, 일반적인 신호와 형태적인 왜곡(signal and geometric distortion)에 대해 민감하다는 단점을 유발하였다.

또한 시각적으로 중요한 요소에 워터마크를 삽입하지 못하였기 때문에 워터마크 기법으로 부적절하다. 다시 말해 시각적으로 중요한 부분을 변화시키는 것은 그렇지 않은 부분을 변화시킬 때보다 많은 왜곡을 가져오기 때문이다.

또한, 압축하는 과정에 있어서 시각적으로 중요하지 않는 부분을 제거하여 압축률을 높이는 것과 같이 시각적으로 중요하지 않은 부분에 워터마크를 삽입하는 것은 의도하거나 의도하지 않은 처리에 의해 쉽게 제거되거나 손상될 우려가 있다.

따라서 견고해야 한다는 조건을 만족하기 위해서 종래에는 자료의 왜곡 위험에도 불구하고 데이터에서 시각적으로 중요한 부분에 워터마크를 넣어야 하는 단점이 있었다.

이에 본 발명은 상기와 같은 종래 디지털 워터마킹 기법에서 발생하는 제반문제점을 해결하기 위해서 제안된 것으로서,

본 발명의 목적은, 디지털 미디어에 저작자의 서명이나 저작자임을 입증할 수 있는 정보(Watermark)를 삽입하여 저작권 보호를 완벽하게 지원토록 한 디지털 워터마킹 방법을 제공하는 데 있다.

좀 더 상세하게는, 디지털 미디어에 저작자의 서명이나 저작자임을 입증할 수 있는 정보를 삽입하여, 멀티미디어 컨텐츠 전자상거래의 활성화를 위하여 컨텐츠 제작자의 저작권 보호를 완벽하게 지원하고, 워터마크된 방대한 디지털 미디어 컨텐츠를 기존의 관리체계인 바코드 체계를 접목하여 효율적으로 자동 관리하도록 한 디지털 워터마킹 방법을 제공하는 데 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 특징은,

저주파수 영역에 인접한 중간 주파수 영역에 워터마크를 삽입한다. 이는 저주파수 영역에 인접한 중간 주파수 영역에 워터마크를 삽입함으로써 손실압축시 삽입된 워터마크 정보가 제거되지 않으므로 견고하게 워터마크 정보를 유지할 수 있으며, 최저주파 영역을 접촉하지 않게 되므로 화질저하 문제를 해결하게 된다.

또한, 워터마크 정보에 바코드를 사용하여 저작권 보호뿐만 아니라 멀티미디어 컨텐츠를 효율적으로 자동 관리하도록 한다.

상기와 같은 본 발명의 특징을 달성하기 위한 기술적 사상은,

비디오 워터마킹인 경우, 압축 표준안인 MPEG-2에 적용하여 압축(encoding) 수행과정 도중에 워터마크를 삽입한다. 엠펙-2에는 I프레임, B프레임, P프레임이 있는 데, B와 P프레임은 I프레임을 기반으로 움직임 정보만을 압축하기 때문에 본 발명에서는 I프레임만을 사용하여 중간주파수 영역에 워터마크 정보를 삽입한다. 즉, 압축 표준안인 MPEG-2에 적용하여 I프레임을 추출하고, 추출한 I프레임을 8*8블록으로 분할하며, 각 블록마다 양자화 계수의 중간 주파수 영역에 하나의 워터마크를 삽입한다.

오디오 워터마킹인 경우, 원 오디오 신호를 주파수 공간으로 변환하여 사람의 귀가 인식하기 힘든 공간(중간 주파수 영역)에 워터마크를 삽입한다.

도 1은 본 발명이 적용되는 디지털 워터마킹 시스템의 구성도이고,

도 2는 본 발명에 의한 디지털 워터마킹 방법중 워터마크 삽입 과정을 보인 흐름도이고,

도 3은 본 발명에서 미디어가 이미지일 경우 워터마크 삽입 과정을 보인 흐름도이고,

도 4는 본 발명에서 미디어가 비디오일 경우 워터마크 삽입 과정을 보인 흐름도이고,

도 5a 및 도 5b는 비디오 데이터에서 워터마크가 삽입될 영역을 보인 도면이고,

도 6은 본 발명에서 미디어가 오디오일 경우 워터마크 삽입 과정을 보인 흐름도이고,

도 7은 본 발명에 의한 디지털 워터마킹 방법중 워터마크 추출 과정을 보인 흐름도이고,

도 8은 본 발명에서 미디어가 이미지일 경우 워터마크 추출 과정을 보인 흐름도이고,

도 9는 본 발명에서 미디어가 비디오일 경우 워터마크 추출 과정을 보인 흐름도이다.

<도면의 주요 부분에 대한 부호의 설명>

100, 200 ..... 제1 및 제2 방화벽 시스템

300, 400 ..... 제1 및 제2 웹서버

500 ..... 워터마킹 시스템

600 ..... 컨텐츠 인식 및 분류 시스템

700, 800 ..... 제1 및 제2 데이터베이스(DB)

이하 상기와 같은 기술적 사상에 따른 본 발명의 바람직한 실시예를 첨부한 도면에 의거 상세히 설명한다.

도 1은 본 발명이 적용되는 디지털 워터마킹 시스템의 블록 구성도이다.

여기서 참조부호 100, 200은 제1 및 제2 방화벽 시스템으로서, 시스템에 대한 악의적인 접근을 차단하기 위한 기능을 수행한다.

또한, 참조부호 300, 400은 제1 및 제2 웹서버로서, 인터넷 등의 통신망과 연계되어 운영, 관리, 유지보수 등을 담당한다.

또한, 참조부호 500은 워터마킹 시스템으로서, 실질적으로 미디어(이미지, 비디오, 오디오)에 워터마크를 삽입하는 기능을 수행한다.

또한, 참조부호 600은 컨텐츠 인식 및 분류 시스템으로서, 상기 워터마킹된 디지털 미디어 컨텐츠에서 저작권 정보인 워터마크를 추출하고, 이를 인증해주는 기능을 수행한다.

도 1에서 시스템을 분리한 형태로 도시한 것은, 작업 부하 균형을 맞추기 위해서 편의상 분리한 것이며, 필요에 따라서는 작업 부하 균형을 고려하지 않고 하나의 시스템으로 구현할 수 있다.

이하 상기와 같이 구성 및 작용하는 본 발명이 적용되는 디지털 워터마킹 시스템을 참조하여, 본 발명의 바람직한 실시예인 디지털 워터마킹 방법을 첨부한 도면 도2 내지 도9를 참조하여 상세히 설명하면 다음과 같다.

첨부한 도면 도2는 본 발명에 의한 디지털 워터마킹 방법을 보인 흐름도이다.

이에 도시된 바와 같이, 저작자가 자신의 창작물에 관한 저작권 정보를 워터마킹하기 위해 제1웹서버(300)에 저작자 ID와 패스워드를 통해 접속하고, 저작물에 관한 워터마킹 서비스를 요청하면, 상기 제1웹서버(300)에서 디지털 컨텐츠 입력, 워터마크 정보를 입력받는 단계(S100)와, 워터마킹할 미디어를 워터마크 삽입 가능한 형태로 변환하는 단계(S100)와, 상기 변환한 디지털 미디어에 워터마크를 삽입하는 단계(S300)와, 상기 변환한 디지털 미디어를 원래의 신호 형태로 역변환하는 단계(S400)와, 워터마크가 포함된 컨텐츠를 획득하는 단계(S500)로 이루어진다.

이와 같이 이루어지는 본 발명에 의한 디지털 워터마킹 방법은, 먼저 디지털 컨텐츠를 저작한 저작자는 자신의 창작물에 관한 저작권 정보를 워터마킹하기 위해서 제1웹서버(300)에 저작자 ID와 패스워드를 통해 접속하고, 접속이 이루어지면 자신의 저작물에 관한 워터마킹 서비스를 요청한다.

그리고 단계 S200에서는 상기 워터마크 정보를 디지털 컨텐츠에 삽입하기 위해서, 워터마킹할 디지털 미디어를 워터마크 삽입 가능한 형태로 변환을 한다. 즉, 공간 영역을 주파수 영역으로 변환을 한다.

아울러 단계 S300에서 상기 주파수 영역으로 변환된 미디어의 중간주파수 영역에 워터마크를 삽입한다.

여기서 워터마킹할 미디어는 이미지, 비디오, 오디오이며, 이하에서는 각 미디어별로 워터마크를 삽입하는 방법을 설명한다.

먼저, 미디어가 이미지일 경우 도3과 같은 과정에 의해 워터마크를 이미지 데이터에 삽입한다.

즉, 단계 S311에서 영상 데이터(이미지 데이터)를 DCT(Discrete CosineTransform), FFT(Fast Fourier Transform), WT(Wavelet Transform)(DWT 및 BOWT를 포함) 등을 사용하여 주파수 영역으로 변환을 하고, 그 주파수 공간 중에서 시각적으로 덜 민감한 부분에 적응적으로 워터마크를 삽입한다.

단일 주파수 성분을 변환시키면 변환 블록내의 밝기 값 전체에 영향을 미치므로 불법적인 공격에 강한 워터마크를 만들 수 있다. 영상 데이터를 주파수 형태로 변형했을 때 가질 수 있는 통신 채널이라고 가정한다면, 워터마크는 그 통신 채널로 통과하는 신호라고 볼 수 있다. 그 신호가 잡음, 필터링, 압축전송 등에 영향을 받지 않고 효과적으로 전송이 될 수 있도록 대역확산통신(Spread Spectrum Communication) 방식을 도입한다. 특정 주파수 대역의 에너지는 감지할 수 없을 정도로 작지만 주파수의 위치와 변화량을 알고 있는 소유권자에 의해 산재해 있는 주파수 성분을 모으면 높은 신호 대 잡음비(signal to noise ratio)로 신호를 검출할 수 있다. 워터마크를 영상이 갖고 있는 여러 주파수 영역으로 확산시킴으로써 특정 주파수 대역의 에너지는 감지하기 어렵게 한다.

한편, 원형 웨이블릿은 정규 직교 기저(orthogonal basis)를 설계하지만, 대칭성을 만족시킬 수 없고, 비대칭 구조의 정규 직교 기저는 대칭 구조의 유한 차수 필터를 필요로 하는 영상 처리에 부적합하기 때문에 이를 보완하기 위해서 쌍직교 기저(biorthogonal basis)를 사용하는 쌍직교 웨이블릿 변환(BOWT : Biorthogonal Wavelet Transform)이 이용되고 있다. 쌍직교 웨이블릿 변환에서 웨이블릿은 원형 웨이블릿 ψ(x)을 이동(translation) 및 신축(Expansion/contraction)하여 구하며 분해와 합성 필터가 다르다.

따라서 본 발명에서는 인간 시각 시스템(HVS : Human Visual System)에 덜 민감한 고주파 영역에 워터마크를 삽입하기 위하여 영상의 에지(edge) 영역을 찾는 데 최적화된 쌍직교 웨이블릿 변환을 사용하여 영상 데이터를 주파수 영역으로 변환한다.

다음으로, 단계 S312에서 워터마크를 생성한다.

본 발명에서는 워터마크로 바코드(bar-code)를 사용하여 디지털 영상에 대한 저작권 보호뿐만 아니라 멀티미디어 컨텐츠를 자동 관리한다.

워터마크는 바코드의 정보인 숫자부분을 랜덤함수의 seed값으로 사용하여 평균이 0이고 분산이 1인 정규분포로부터 무작위로 생성된 실수열의 집합이다.

다음으로 단계 S313에서 상기와 같이 생성된 워터마크를 이미지 데이터에 삽입한다.

즉, BOWT를 사용하여 영상을 3레벨로 분해한다. 워터 마크 삽입은 3레벨로 분해된 고주파 영역을 포함한 중간 주파수 영역 중 의미가 있는 중요한 값에만 삽입된다.

워터마크 삽입 함수는 아래의 [수학식1]과 같다.

여기서는 원 영상(original image)의 웨이블릿 변환 계수,는 워터마크가 삽입된 영상의 웨이블릿 변환 계수이며,는 워터마크이고, α는 워터마크 삽입함수의 역함수가 존재하지 않도록 하기 위하여 사용된다.

이렇게 하여 이미지 데이터에 워터마크를 삽입한 후에는 단계 S314로 이동하여, 다시 주파수 영역을 공간 영역으로 역변환한다.

다음으로 미디어가 비디오(동영상)일 경우 워터마킹 방법을 설명하면 다음과 같다.

동영상에 워터마크를 삽입하는 방법에는 크게 두 가지가 있다.

첫째, 압축되어진 영상(MPEG-2)에 워터마크를 삽입하는 방법으로, 인트라 프레임(Intra-Frame)의 DCT 계수나 양자화 계수에 워터마크를 삽입하는 방법과 움직임 보상 벡터에 워터마크를 삽입하는 방법이 있다. 이 방법들은 워터마크를 삽입할 때 엠펙 데이터의 완전 복호화(Full Decompression) 과정이 필요하지 않으므로 속도가 빠르다는 장점을 가지고 있다.

둘째, 압축되지 않은 영상(raw data)에 워터마크를 삽입하는 방법으로, 동영상 데이터 수천 장의 프레임 각각에 정지 영상에서 워터마킹 방법을 적용하여 워터마크를 삽입하는 방법이다.

그러나 영상정보는 압축하지 않을 경우 엄청난 용량을 차지하기 때문에, 본 발명에서는 압축표준안인 MPEG-2에 적용하여 압축된 영상에 워터마크를 삽입한다.

이를 좀 더 상세히 설명하면 다음과 같다.

대부분 특정 시간에서의 화면은 바로 전 재생된 화면과 매우 유사하므로 변화가 있는 부분에 대한 정보만을 기록하여 데이터 량을 감소시키는 방법이 동영상 압축방법이다.

엠펙 프레임은 주지한 바와 같이, I프레임(인트라-부호화 이미지 : Intra-coded image), P프레임(예측 부호화 프레임 : Predictive-coded frame), B프레임(양방향 예측 부호화 프레임 : Bi-directional predictive coded frame)으로 대별된다.

그 중 I프레임은, 한 장의 프레임을 JPEG알고리즘을 이용하여 압축한 프레임으로써 다른 프레임 들과 연관성이 없기 때문에 I프레임만으로 한 장의 프레임이 복원 가능하다.

또한 P프레임은, 과거 프레임과 현재 프레임을 비교하여 특정 위치에 있던 부분이 이동한 위치에 대한 정보(움직임 벡터)를 기록하여 데이터 량울 줄여서 압축한 프레임을 나타내며, 과거 프레임에 의존도가 높다.

또한 B프레임은, 과거, 미래 프레임을 현재 프레임과 비교하여 특정 위치에 있던 부분이 이동한 위치에 대한 정보(움직임 벡터)를 기록하여 데이터 량을 줄여서 압축한 프레임으로서, 과거 프레임과 미래 프레임에 의존도가 높다.

B와 P프레임은 I프레임을 기반으로 움직임 정보만을 압축하기 때문에 본 발명에서는 미디어가 동영상일 경우 I프레임만을 사용하여 워터마크를 삽입한다.

즉, 워터마크는 주지한 바와 같이, 바코드의 숫자 정보를 srand()함수의 seed값으로 사용하여 평균이 0이고 분산이 1인 정규분포로부터 무작위로 생성된 실수열의 집합이다.

srand()함수는 seed값에 따라 생성되는 시퀀스가 동일하기 때문에 워터마크 추출시 사용된다.

도4는 미디어가 비디오(동영상)일 경우, 워터마크 삽입 과정을 보인 흐름도이다.

먼저 단계 S321에서 입력 영상 프레임으로부터 I-프레임을 추출한다.

그리고 단계 S322에서 상기 추출한 I-프레임을 8*8크기를 갖는 블록으로 분할을 하고, 단계 S323에서 상기 8*8크기로 분할된 블록을 각각 양자화한다.

도5a는 상기 I-프레임을 8*8크기로 분할하고, 그 분할된 블록을 양자화한 후 얻어지는 양자화 계수를 보인 것이다.

다음으로, 단계 S324에서 상기 양자화 계수의 중간 주파수 영역에 워터마크를 삽입하고, 단계 S325에서 워터마크가 삽입된 블록을 역 양자화하여 워터마크 삽입 과정을 종료한다.

도5b는 상기 도5a의 8*8크기의 블록에 도시된 양자화 계수중, 중간 주파수 영역에 해당하는 양자화 계수만을 추출하여 재 정렬한 것이다.

여기서 워터마크 삽입 함수는 아래의 [수학식2]와 같다.

상기에서는 양자화 계수,는 워터마크를 나타내며, 워터마크 삽입 함수의 역함수가 존재하지 않도록 하기 위하여 α를 곱해준다.

다음으로 미디어가 오디오일 경우 워터마킹 방법을 설명하면 다음과 같다.

디지털 멀티미디어 압축기술이 발전하면서 동영상과 같은 복합된 형태의 멀티미디어 데이터 개발이 활발히 이루어지고 있다. 또한 MP3와 같은 디지털 오디오 포맷의 개발로 디지털 음반시대의 새로운 장을 열게 되었다.

이러한 디지털 오디오에 워터마크를 삽입하는 경우, 다음과 같은 6가지의 특성을 고려해야 한다.

1) Inaudible : 워터마크 삽입으로 인하여 잡음이 들리지 않아야 한다. 즉, 데이터의 질을 저하시켜서는 안 된다.

2) Statical Invisibility : 해커 등에 의해서 삽입된 정보가 검출되거나 제거되지 않아야 한다.

3) Robustness : 영상처리 기법인 압축, 재샘플링, 필터링 등의 변형에 의해 워터마크가 제거되어서는 안 된다.

4) Directly Embedded : 데이터 스트림의 헤더에 워터마크가 삽입되지 않아야 하며, 오디오 데이터에 워터마크 정보가 삽입되어야 한다.

5) Support multiple watermarks

6) Self Clocking.

사람이 인식하지 못하면서 강인한 특성을 유지할 수 있는 워터마크의 삽입 방법으로 현재 I. Cox에 의하여 제안된 대역확산을 이용한 방법을 널리 사용하고 있다.

대역 확산 기법은 확산 코드를 이용하여 데이터를 확산시키는 방법이다. 이는 전송하고 싶은 정보를 필요한 최저 한도의 대역폭으로 전송하는 것이 아니라 의도적으로 넓은 주파수 대역폭을 사용하여 정보를 전송하게 된다. 즉, 송신측에서는위상 변조(PSK)나 주파수 변조(FSK)라고 하는 일반적인 디지털 변조 방식을 사용하여 일차 변조를 행한다. 또한 이 일차 변조파의 대역폭을 넓히기 위해서 이차 변조를 행한다. 이 과정을 확산 변조라고 한다. 수신측에서는 확산 변조된 신호를 이차 복조 또는 역확산시킨다. 역화산된 신호는 송신측에서의 일차 확산된 신호와 거의 동등하기 때문에 마지막으로 일차 복조(통상적인 복조)를 수행한다.

한편, MPEG 오디오 압축에 대해서 간략히 설명하면 다음과 같다.

사람의 귀는 광범위한 주파수 대역이 음을 들을 수 있으며, 높은 신호 대 잡음 비(S/N 비)를 가지고 있다. 청각이 예민한 사람은 20khz 근처까지의 주파수 범위에 걸쳐 90dB이상의 다이내믹 레인지가 있는 음을 들을 수도 있다. 따라서 PCM으로 부호화할 경우에는 40khz 정도의 샘플링 주파수와 16비트 정도의 레벨이 필요하게 된다. 그러나 앞의 내용을 크리티컬 밴드 안으로 한정하면 S/N이 극단적으로 낮아지는 경향을 알 수 있다. MPEG 오디오는 이 성질을 이용하여 아날로그 데이터를 디지털로 변환할 때에 발생하는 양자화 잡음의 에너지를 크리티컬 밴드 안에 교묘하게 혼합해 넣어 그 양자화 잡음이 들리지 않게 된다.

이러한 MPEG 오디오 압축된 디지털 미디어(오디오 데이터)에 워터마크를 삽입하는 방법은 첨부한 도면 도6과 같다.

먼저, 단계 S331에서 원래의 오디오 신호를 주파수 영역으로 변환을 한다. 그리고 단계 S332에서는 미리 생성된 워터마크를 상기 주파수 영역으로 변환을 한다. 아울러 단계 S333에서는 주파수 영역으로 변환된 오디오 신호중 사람의 귀가 인식하기 힘든 공간에 상기 주파수 영역으로 변환된 워터마크를 삽입한다.

여기서 워터마크를 삽입하는 방법으로는, ParchWork, spatial domain, LSB, MSB에 워터마크를 삽입하는 방법 등 여러 가지 데이터 삽입 방법이 사용되고 있다.

그 중에서 PN 시퀀스를 이용한 대역확산 방법은 노이즈(또는, 해커의 공격)에 강하고, Auto-Correlation 특성이 강하여 워터마크를 검출하기에 용이하다.

따라서 본 발명에서는 PN 시퀀스를 이용한 대역확산 방법을 이용하여 워터마크를 삽입하며, 워터마크 삽임을 위한 삽입함수는 전술한 비디오 데이터에 워터마크를 삽입하는 함수(수학식2)와 동일하다.

다음으로, 상기와 같음 디지털 컨텐츠(이미지, 비디오, 오디오)에 워터마크를 삽입하고, 이를 추출하는 방법을 설명하면 다음과 같다.

사용자는 ID와 패스워드로 제2웹서버(400)에 접속하고, 접속이 이루어지면 자신의 워터마킹된 디지털 컨텐츠에 관한 워터마크 인증을 요청한다.

그러면 제2웹서버(400)는 컨텐츠 인식 및 분류 시스템(600)으로 이를 전달하고, 컨텐츠 인식 및 분류 시스템(600)에서는 디지털 컨텐츠에 삽입된 워터마크를 추출하고, 이를 사용자의 워터마크와 비교하여 그 결과를 저작권 인증 여부에 대한 결과치로 제2웹서버(400)로 전달해준다. 이에 따라 제2웹서버(400)는 접속된 사용자에게 인터넷을 통해 그 결과를 통보해주게 된다.

첨부한 도면 도7은 본 발명에 의한 디지털 워터마킹 방법중 워터마크 추출 과정을 보인 흐름도이다.

이에 도시된 바와 같이, 바코드 형태의 워터마크 정보가 삽입된 디지털 컨텐츠, 저작권자 ID, 패스워드, 작업 정보를 입력받는 단계(S610)와, 입력되는 디지털컨텐츠에서 관리 정보인 바코드 형태의 워터마크를 추출하는 단계(S620)와, 상기 작업 정보를 판별하는 단계(S630)와, 상기 판별한 작업 정보가 분류 작업일 경우, 미디어 컨텐츠와 저작권자와의 관계 정의 데이터 베이스(제1데이터베이스 : 700)에 정보를 입력하는 단계(S640)와, 워터마킹된 미디어(이미지, 비디오, 오디오) 컨텐츠 데이터베이스에 정보를 입력하는 단계(S650)와, 상기 판별한 작업 정보가 검색 작업일 경우, 워터마킹된 미디어 컨텐츠와 저작권자와의 관계 정의 데이터베이스에 입력받은 저작권자 ID로 검색 질의를 수행하는 단계(S660)와, 저작권 ID 관련 정보가 데이터베이스에 존재하는지를 체크하는 단계(S670)와, 저작권 ID 관련 정보가 데이터베이스에 존재하지 않는 경우, 저작권자가 틀리다는 검색 결과를 통보하는 단계(S680)와, 상기 저작권자 ID 관련 정보가 데이터베이스에 존재하는 경우, 저작권자가 맞다는 검색 결과를 통보해주는 단계(S690)로 이루어진다.

이와 같이 이루어지는 본 발명에 의한 디지털 워터마킹 방법중 워터마크 추출 과정을 좀 더 상세히 설명하면 다음과 같다.

그리고 단계 S630에서 상기 사용자가 입력한 작업 정보를 판별하고, 그 결과 상기 판별한 작업 정보가 분류 작업일 경우, 단계 S640으로 이동하여 미디어 컨텐츠와 저작권자와의 관계 정의 데이터 베이스(제1데이터베이스 : 700)에 정보를 입력하고, 단계 S650에서 워터마킹된 미디어(이미지, 비디오, 오디오) 컨텐츠 데이터베이스(제2데이터베이스 : 800)에 정보를 입력한다.

이하에서는 각 디지털 컨텐츠에 대응하여 워터마크를 추출하는 과정을 설명한다.

먼저, 디지털 컨텐츠가 이미지일 경우 도8과 같은 과정을 통해 워터마크를 추출한다.

즉, 단계 S711에서 워터마킹된 영상에서 원 영상과의 차이를 구하여 워터마크를 추출한다. 그런 후 단계 S712에서 추출한 워터마크와 원 워터마크와의 상관값(Corr)을 아래와 같은 [수학식3]으로 계산한다.

상기에서는 K번째(0 ~ 2)레벨에서 워터마크가 삽입된 웨이브릿 변환계수이며, M은 웨이블릿 변환 계수 중 워터마크가 삽입된 계수의 개수이다.

다음으로 단계 S713에서 상기 상관값(Corr)과 워터마크 판별을 위해 미리 설정된 최소 임계값(LTk)을 비교한다.

그 결과 상관값이 상기 최소 임계값보다 작으면 단계 S714로 이동하여 워터마크 불법 복제로 판별한다.

이와는 달리 상기 상관값이 상기 최소 임계값보다 클 경우에는, 단계 S715로 이동하여 상기 상관값이 최소 임계값보다는 크고 최대 임계값(HTk)보다 작은지를 체크한다. 그 결과 상관값이 최소 임계값보다는 크고 최대 임계값보다는 작을 경우에는, 단계 S716으로 이동하여 레벨이 확장된 상태인지를 체크한다. 그 결과 레벨이 확장된 상태일 경우에는 불법 복제로 판단을 하고, 이와는 달리 레벨이 0레벨일 경우에는 단계 S717로 이동하여 레벨을 1확장하고 전술한 단계 S712로 이동한다.

다음으로 상기 상관값이 상기 최소 임계값과 최대 임계값 사이가 아닐 경우에는, 단계 S718로 이동하여 상관값이 상기 최대 임계값보다 큰가를 확인하여, 클 경우에는 단계 S719에서 추출한 워터마크를 정상적인 워터마크로 인정을 한다.

또한, 구한 상관값이 최소 임계값과 최대 임계값 사이이면, 저작권자를 주장하기가 애매모호하므로, 1레벨로 확장하여 1레벨에서 워터마크가 삽입된 영상과 워터마크와의 상관값을 구하고, 전술한 바와 같은 방법으로 워터마크의 진위 여부를 판단한다. 아울러 레벨을 1로 확장한 상태에서도 진위 여부가 불분명할 경우에는 다시 2레벨로 확장하여 상관값을 구하고, 워터마크의 진위 여부를 판별한다.

이때 고주파 성분이 가장 많은 0레벨은 영상처리 기법이나, 손실압축과 같은 기법에 의하여 워터마크가 손실된 가능성이 많다. 따라서 워터마크 추출시 임계값을 주지한 바와 같이 최저 임계값과 최대 임계값을 설정하며, 2레벨로 갈수록 워터마크의 손실이 적으므로 임계값의 범위를 줄여 2레벨에서는 임계값이 하나가 되도록 한다.

다음으로 디지털 컨텐츠가 비디오일 경우, 도9와 같은 과정을 통해 워터마크를 추출한다.

먼저, 단계 S721에서 입력 동영상 프레임으로부터 I-프레임을 추출한다. 다음으로 단계 S722에서 상기 추출한 I-프레임을 양자화하여 워터마크를 주출하고, 단계 S723에서 추출한 워터마크와 원 워터마크와의 상관값(Corr)을 산출한다.

여기서 상관값 산출은 아래의 [수학식4]와 같다.

그런 후 단계 S724에서 상기 산출한 상관값과 워터마크 진위 여부를 판별하기 위해서 미리 설정된 임계값(T)을 비교한다.

여기서 임계값 T는 아래의 [수학식5]와 같다.

상기에서 M은 워터마크가 삽입된 양자화 계수의 개수를 나타내며, β는 -1에서 1사이의 값을 갖는다.

상기 비교 결과 상관값이 상기 임계값보다 작을 경우에는 단계 S725에서 불법 복제로 판단하고, 이와는 달리 상기 상관값이 상기 임계값보다 클 경우에는 단계 S726에서 정상적인 워터마크로 인정을 한다.

다음으로, 디지털 컨텐츠가 오디오일 경우, 워터마크 추출 과정은 다음과 같다.

먼저, 워터마킹된 오디오를 주파수 영역으로 변환하고, 원래의 오디오 신호를 주파수 영역으로 변환하여 양자를 감산한다. 그런 후 얻어지는 결과치와 워터마크를 상관시켜 상관값을 구하고, 그 상관값을 미리 설정된 임계치와 비교하여 워터마크의 진위 여부를 판별하게 된다.

또한, 워터마크된 방대한 디지털 미디어 컨텐츠를 기존의 관리체계인 바코드체계를 접목하여 효율적으로 자동 관리할 수 있는 이점도 있다.

Claims

웹서버, 워터마킹 시스템, 컨텐츠 인식 및 분류 시스템, 제1 및 제2 데이터베이스를 구비한 워터마킹 시스템에서의 디지털 워터마킹 방법에 있어서,

디지털 컨텐츠 및 워터마크 정보를 입력받고, 저작자가 자신의 창작물에 관한 저작권 정보를 워터마킹하기 위해 상기 웹서버에 저작자 ID와 패스워드를 통해 접속하고, 저작물에 관한 워터마킹 서비스를 요청하면, 상기 웹서버에서 워터마킹할 미디어를 워터마크 삽입 가능한 형태로 변환하는 단계와;

상기 변환한 디지털 미디어의 중간 주파수 영역에 워터마크를 삽입하는 단계와;

상기 워터마크가 삽입된 디지털 미디어를 원래의 신호 형태로 역변환하는 단계와;

상기 워터마크가 포함된 컨텐츠를 획득하는 단계를 포함하여 이루어짐을 특징으로 하는 디지털 워터마킹 방법.
제1항에 있어서, 상기 워터마크를 삽입할 디지털 미디어가 이미지(영상 데이터)일 경우 워터마크를 삽입하는 단계는,

입력 영상 데이터(이미지 데이터)를 DCT(Discrete Cosine Transform), FFT(Fast Fourier Transform), WT(Wavelet Transform)(DWT 및 BOWT를 포함)중 하나를 적용하여 주파수 영역으로 변환하는 단계와;

바코드의 정보인 숫자 부분을 랜덤함수의 seed값으로 사용하여 평균이 0이고 분산이 1인 정규분포로부터 무작위로 생성된 실수열의 집합인 워터마크를 생성하는 단계와;

상기 생성된 워터마크를 이미지 데이터의 중간 주파수 영역에 삽입하는 단계로 이루어짐을 특징으로 하는 디지털 워터마킹 방법.
제1항에 있어서, 상기 워터마크를 삽입할 디지털 미디어가 비디오(동영상)일 경우 워터마크를 삽입하는 단계는,

입력 영상 프레임으로부터 I-프레임을 추출하는 단계와;

상기 추출한 I-프레임을 8*8크기를 갖는 블록으로 분할하는 단계와;

상기 8*8크기로 분할된 블록을 각각 양자화하여 양자화 계수를 산출하는 단계와;

상기 양자화 계수의 중간 주파수 영역에 워터마크를 삽입하는 단계를 포함하여 이루어짐을 특징으로 하는 디지털 워터마킹 방법.
제1항에 있어서, 상기 워터마크를 삽입할 디지털 미디어가 오디오일 경우 워터마크를 삽입하는 단계는,

원래의 오디오 신호를 주파수 영역으로 변환하는 단계와;

미리 생성된 워터마크를 상기 주파수 영역으로 변환하는 단계와;

상기 주파수 영역으로 변환된 오디오 신호중 사람의 귀가 인식하기 힘든 공간에 상기 주파수 영역으로 변환된 워터마크를 삽입하는 단계를 포함하여 이루어짐을 특징으로 하는 디지털 워터마킹 방법.
웹서버, 워터마킹 시스템, 컨텐츠 인식 및 분류 시스템, 제1 및 제2 데이터베이스를 구비한 워터마킹 시스템에서의 디지털 워터마킹 방법에 있어서,

사용자가 ID와 패스워드로 상기 웹서버에 접속하고, 자신의 워터마킹된 디지털 컨텐츠에 관한 작업정보를 입력하면, 상기 웹서버는 상기 컨텐츠 인식 및 분류 시스템으로 이를 전달하는 단계와;

상기 컨텐츠 인식 및 분류 시스템에서 상기 작업 정보를 판별하고, 그 판별한 작업 정보가 분류 작업일 경우, 미디어 컨텐츠와 저작권자와의 관계 정의 데이터 베이스(제1데이터베이스)에 정보를 입력하는 단계와;

상기 컨텐츠 인식 및 분류 시스템에서 상기 워터마킹된 미디어 컨텐츠 데이터베이스(제2데이터베이스)에 정보를 입력하는 단계와;

상기 컨텐츠 인식 및 분류 시스템에서 상기 판별한 작업 정보가 검색 작업일 경우, 디지털 컨텐츠에서 삽입된 워터마크를 추출하는 단계와;

상기 컨텐츠 인식 및 분류 시스템에서 상기 추출한 워터마크와 데이터베이스에 존재하는 워터마크 정보를 비교하고, 그 비교 결과에 상기 웹서버로 전달해주는 단계와;

상기 웹서버에서 사용자에게 검색 결과(저작권자의 진위 여부)를 통보해주는 단계를 포함하여 이루어짐을 특징으로 하는 디지털 워터마킹 방법.
제5항에 있어서, 상기 컨텐츠 인식 및 분류 시스템에서 입력된 디지털 컨텐츠에 삽입된 워터마크를 추출하는 단계는,

상기 디지털 컨텐츠가 이미지일 경우, 워터마킹된 영상에서 원 영상을 감하여 워터마크를 추출하는 단계와; 상기 추출한 워터마크와 원 워터마크와의 상관값(Corr)을 계산하는 단계와; 상기 상관값(Corr)과 워터마크 판별을 위해 미리 설정된 최소 임계값(LTk)을 비교하는 단계와; 상기 상관값이 상기 최소 임계값보다 작으면 워터마크 불법 복제로 판별하는 단계와; 상기 상관값이 상기 최소 임계값보다 클 경우에는, 상기 상관값이 최소 임계값보다는 크고 최대 임계값(HTk)보다 작은지를 체크하는 단계와; 상기 상관값이 최소 임계값보다는 크고 최대 임계값보다는 작을 경우, 레벨이 확장된 상태인지를 체크하는 단계와; 상기 레벨이 확장된 상태(1레벨 ~ 2레벨)일 경우에는 불법 복제로 판단을 하는 단계와; 상기 레벨이 0레벨일 경우에는 레벨을 1확장하고 상기 상관값 계산 단계로 이동하여 그 이하의 단계를 재 수행하는 단계와; 상기 상관값이 상기 최소 임계값과 최대 임계값 사이가 아닐 경우에는, 상기 상관값이 상기 최대 임계값보다 큰가를 확인하여, 클 경우에는 추출한 워터마크를 정상적인 워터마크로 판별하는 단계를 포함하여 이루어짐을 특징으로 하는 디지털 워터마킹 방법.
제5항에 있어서, 상기 컨텐츠 인식 및 분류 시스템에서 입력된 디지털 컨텐츠에 삽입된 워터마크를 추출하는 단계는,

상기 디지털 컨텐츠가 비디오일 경우, 입력 동영상 프레임으로부터 I-프레임을 추출하는 단계와;

상기 추출한 I-프레임을 양자화하고, 그 양자화 값과 워터마크와의 상관값(Corr)을 계산하는 단계와;

상기 산출한 상관값과 워터마크 진위 여부를 판별하기 위해서 미리 설정된 임계값(T)을 비교하는 단계와;

상기 비교 결과 상관값이 상기 임계값보다 작을 경우 불법 복제로 판단하는 단계와;

상기 상관값이 상기 임계값보다 클 경우에는 정상적인 워터마크로 판별하는 단계를 포함하여 이루어짐을 특징으로 하는 디지털 워터마킹 방법.