KR100553469B1

KR100553469B1 - 전자 워터마크 데이터 삽입 장치 및 전자 워터마크 데이터 검출 장치

Info

Publication number: KR100553469B1
Application number: KR20010015295A
Authority: KR
Inventors: 타나카노부유키
Original assignee: 닛폰 덴키 가부시끼 가이샤
Priority date: 2000-03-23
Filing date: 2001-03-23
Publication date: 2006-02-22
Also published as: JP2001275115A; US7159117B2; EP1136946A3; US20010026616A1; KR20040034644A; EP1136946A2; KR20010090545A

Abstract

본 발명에 의한 전자 워터마크 데이터 삽입 장치는 블록 단위로 삽입될 전자 워터마크 데이터를 지정하기 위한 삽입 정보를 미리 저장하는 삽입 정보 메모리(39)와, 삽입 정보를 기초로 전자 워터마크 데이터 테이블(37)로부터 지정된 전자 워터마크 데이터를 블록단위로 양자화된 화상 블록에 삽입하기 위한 전자 워터마크 데이터 삽입부(33)를 포함한다. 본 발명에 의한 전자 워터마크 데이터 검출 장치는 블록단위로 삽입된 전자 워터마크 데이터에 의존하여 표시되는 바이어스된 주파수 영역을 가지는 화상 데이터를 추출하는 전자 워터마크 데이터 추출수단(45)과, 추출된 데이터와 전자 워터마크 데이터 테이블(48)에 저장된 전자 워터마크 데이터 사이의 통계적 유사성을 계산하기 위한 전자 워터마크 데이터 검출수단(50)을 포함한다. 전자 워터마크 데이터 누적기(51)는 일정 시간 동안 전자 워터마크 데이터 검출부(50)에 의해 계산된 통계적 유사도를 누적하여 누적 가산 결과를 생성하며, 이 누적 가산 결과는 미리 정해진 시간이 경과하거나 누적 가산 결과가 미리 정해진 임계치를 초과하는 경우에 리셋된다. 판정부(52)는 누적 가산치가 미리 정해진 임계치를 초과하면 전자 워터마크 데이터가 검출된 것으로 판정한다.

워터마크 데이터 삽입 장치, 워터마크 데이터 누적기, 누적 가산치

Description

전자 워터마크 데이터 삽입 장치 및 전자 워터마크 데이터 검출 장치 {Electronic watermark data insertion apparatus and electronic watermark data detection apparatus}

도1은 종래의 전자 워터마크 데이터 삽입 장치와 종래의 전자 워터마크 데이터 검출 장치를 구비한 화상 데이터 처리 시스템을 도시한 블록도.

도2는 본 발명의 일실시예에 따른 전자 워터마크 데이터 삽입 장치를 도시한 블록도.

도3은 도2에 도시한 전자 워터마크 데이터 삽입 장치에 사용되는 전자 워터마크 데이터 삽입부에 설정된 삽입 정보의 개요를 도시한 도면.

도4는 도2에 도시한 전자 워터마크 데이터 삽입 장치용 전자 워터마크 데이터 테이블에 기록된 제1 전자 워터마크 데이터의 일예를 도시한 도면.

도5는 본 발명의 실시예에 따른 전자 워터마크 데이터 검출 장치를 도시한 블록도.

도6은 선행 기술에서 전자 워터마크 데이터의 검출 원리를 설명하기 위한 도면.

도7은 본 발명에 따른 전자 워터마크 데이터의 검출 원리를 설명하기 위한 도면.

도8a-8f는 MPEG 표준 인코딩 시스템에 따른 화상 데이터 구조를 도시한 도면.

도9는 MPEG 표준에 의해 인코딩된 화상을 도시한 도면.

도10은 DCT에 의해 변환된 DCT 계수를 스캔하는 방법을 도시한 도면.

도11은 도2의 전자 워터마크 데이터 삽입 장치에서 사용되는 전자 워터마크 데이터 삽입부의 작용을 설명한 도면.

*도면의 주요부분에 대한 부호의 설명*

41 : 디코딩부 42 : 역양자화부

45 : 전자 워터마크 데이터 추출부 47 : 추출데이터 테이블

50 : 전자 워터마크 데이터 검출부 52 : 판정부

본 발명의 배경 :
본 발명은 전자 워터마크 데이터 삽입 장치 및 전자 워터마크 데이터 검출 장치에 관한 것이며, 특히, 화상 등과 같은 디지털 데이터 내에 식별가능한 가산 정보를 내장하는(embedding) 전자 워터마크 데이터 삽입 장치 및 디지털 데이터로부터 식별가능한 가산정보를 검출하는 전자 워터마크 데이터 검출 장치에 관한 것이다.

최근 정보처리기술들 또는 통신 기술들이 발전함에 따라, 인터넷, 디지털 비디오 디스크 또는 디지털 다기능 디스크(DVD), 또는 디지털 방송에서 사용되는 멀티미디어 정보의 화상들 또는 음성들 형태의 다양한 종류들의 정보가 디지털 데이터로서 획득될 수 있다. 디지털 데이터는 데이터 열화없이 복사 또는 편집가능하므로, 데이터 복사가 불법임에도 불구하고 디지털 화상 데이터 복사가 쉽게 이루어질 수 있어서 문제를 야기시킨다.

이러한 불법적 복사를 방지하는 기술중의 하나로서, 디지털 데이터 암호 기술이 있다. 이 기술에 따르면, 암호화된 디지털 화상 데이터는 적절한 해독키가 제공되는 재생시스템에 의해서만 재생가능하다. 그러나, 이 기술은 일단 암호가 해독된 후에 수행될 불법복사를 방지할 수 없다는 단점이 있다.

디지털 데이터의 불법적 복제를 방지하는 다른 방법으로서, 한 알려진 기술은 디지털 화상 데이터에 전자 워터마크 데이터와 같은 특정 정보를 내장시킴으로써 디지털 화상 데이터의 불법적 사용과 복사를 방지하는 것을 목표로한다.

디지털 데이터와 같은 화상 데이터에 삽입된 전자 워터마크 데이터는 가시적(visible) 전자 워터마크 데이터와 비가시적 전자 워터마크 데이터의 두가지의 유형으로 분류된다.

가시적 전자 워터마크 데이터는 전자 워터마크 데이터가 구성된 복합 화상이 관찰자에 의해 시각적으로 인식되거나 보일 수 있도록 특정 문자들, 표시들, 기호들 또는 화상들에 삽입된 다른 데이터에 의해 나타낸다. 따라서, 복합 화상이 화질의 열화를 초래하기는 하나, 불법복사와 같은 무허가 도용의 방지를 복합 화상의 사용자들에게 시각적으로 호소하는 유리한 효과가 있다.

디지털 데이터에 가시적 전자 워터마크 데이터를 내장하는 기술은 예를 들면, Gordon W. Braudaway et al.의 미합중국 특허 No. 5,530,759 "화상 색채보정 디지털 워터마크"에 개시되어 있다. 이 특허에 따르면, 전자 워터마크 화상이 나 타나는 시점에 원래(original) 화상의 색도가 변하는 것을 방지하기 위하여, 전자 워터마크 데이터 삽입 장치는 전자 워터마크 화상을 원래 화상, 전자 워터마크 화상의 화소와 조합하고, 그 값이 투명하게 명시되지 않는 각각의 화소에 대하여 색도는 그대로 유지하고 밝기를 변경함으로써 원래 화상의 대응하는 화소를 수정한다. 화소의 밝기를 변경하는 기준값은, 예를 들면 색 성분, 무작위 순서 또는 대응 워터마크 화소에 기초하여 정해진다.

이러한 가시적 전자 워터마크 데이터에 비하여, 비가시적 전자 워터마크 데이터는, 예를 들면, 저자를 나타내는 정보와 같은 특정 데이터이다. 가시적 전자 워터마크 데이터와 비교해 볼때, 비가시적 전자 워터마크 데이터는 원래 화상에 삽입된다는 점에서는 공통성이 있으나, 원래 화상의 화질 열화없이 원래 화상에 삽입된다는 점에서는 차이가 있다. 즉, 원래 데이터에 삽입된 비가시적 전자 워터마크 데이터는 복합 화상에 대하여 시각적으로 인식되거나 눈으로 보이지는 않는다는 것이다.

따라서, 전자 워터마크 데이터로서 저자를 식별할 수 있는 특정 데이터는 원래의 화상에 내장함으로써, 불법 복사가 실행된 후에도 삽입된 전자 워터마크 데이터를 검출함으로써 원래 화상의 저자를 식별할 수 있다. 또한, 원래 화상에 복사가 허용되지 않음을 나타내는 정보(복사 불허용 정보)를 내장함으로써, 재생 장치에서 복사 불가능한 정보를 검출하여 사용자에게 복사가 허용되지 않은 원래의 화상이 복사되고 있음을 알려줄 수 있다. 또한, 원래의 화상에 복사 금지를 나타내는 정보를 내장함으로써, 복사 방지 메카니즘을 구동하여 원래의 화상을 VTR등에 복사하는 것을 제한할 수 있다.

비가시적 전자 워터마크 데이터를 디지털 데이터에 내장하는 다양한 기술들이 알려져 있다. 예를 들면, 제1 선행 기술에서는 비가시적 전자 워터마크 데이터가, 원래 화상에 비가시적 전자 워터마크 데이터를 삽입함으로써 획득된 복합 화상을 재생함에 있어 원래 화상의 화질에 부작용이 거의 없는 디지털 데이터의 화소 데이터의 최하위 비트(LSB)에 내장되는 기술을 개시한다. 그러나, 제1 선행기술은 워터마크 데이터만이 원래 화상의 화질 열화 없이 쉽게 제거될 수 있다는 단점을 가진다. 예를 들면, 저역 필터를 사용하여 화소 데이터의 LSB에 대응하는 정보를 삭제할 수 있다.

종래의 기술에서, 예를 들면, 화상 압축 처리는 컬러 정지 화상 데이터와 컬러 동적 화상 데이터를 압축하는 국제 표준 코딩 시스템인 JPEG(Joint Photographic Experts Group)와 MPEG(Moving Picture Experts Group)에 따라 실행된다. 이러한 화상 압축 처리는 원래의 화상에서, 화질에 거의 부작용을 일으키지 않는 부분의 정보는 삭제함으로써 화상 데이터의 양을 감소시킨다. 그러나, 전자 워터마크 데이터가 LSB에 내장된 화상 데이터에 대하여 화상압축과정이 실행되는 경우, 이 부분에 내장된 전자 워터마크 데이터는 손실된다. 따라서, 제1선행기술은 전자 워터마크 데이터를 재검출하기가 어렵다는 단점이 있다.

한편, 제2선행기술은 일본국 미심사 특허공개(JP-A) Tokkai No. Hei 6-315,131 또는 JP-A 6-315131 "정보 내장장치 및 재생장치"에 개시된다. 이 특허는 재생시에 특정영역을 주변영역에 의해 대체하면 화질의 열화가 발생하지 않는 특정영역을 원래 화상 데이터의 연속되는 프레임간 화상 상관관계를 이용하여 검출하고, 특정 영역에 비가시적 전자 워터마크 데이터를 삽입하여 재생측에서 특정영역을 용이하게 검출하는 기술적 사상을 개시한다. 제2선행기술은 도1과 연관하여 후에 보다 상세히 설명될 것이다.

그러나, 제2선행기술에서 전자 워터마크 데이터가 모든 프레임에 내장되지는 않으므로, 제2선행기술은 전자 워터마크 데이터가 내장되지 않은 프레임에 대한 불법적인 복사를 방지할 수 없다. 또한, 제2선행기술에서 연속적 프레임은 정지 (static) 화상이며 연속 프레임에서 변화가 없음을 전제로 하고 있으나, 움직임이 심한 동적(dynamic) 화상의 연속적 프레임들간의 상관관계가 낮아지는 경우에 전자 워터마크 데이터가 내장되어야 하는 특정 영역을 식별하는 것은 불가능하다. 따라서, 제2 선행기술은 경우에 따라서 원래의 화상에 전자 워터마크 데이터가 내장될 수 없다는 단점이 있다.

비가시적 전자 워터마크 데이터를 내장하는 것에 관한 다른 기술이 제3 선행 기술로서 예를 들면 일본국 미심사 특허 공개(JP-A) Tokkai No. Hei 5-30,466 또는 JP-A5-30466 "비디오 신호 기록 장치 및 신호 기록 매체"에서 개시된다. JP-A5-30466에서는 전자 워터마크 데이터 삽입 장치에서 원래 화상 신호를 주파수 변경된 비디오 신호로 변경하고 주파수 변경된 비디오 신호의 주파수 대역보다 작은 주파수를 가지는 전자 워터마크 데이터로서 작용하는 식별정보를 주파수 변조된 비디오 신호에 내장하는 기술적 사상을 개시한다. JP-A5-30466에서, 전자 워터마크 데이터 검출 장치는 광대역 필터를 이용하여 원래의 화상 신호를 픽업하고 저역 필터를 사용하여 식별정보를 픽업한다.

제3선행기술에서, 삽입된 전자 워터마크 데이터는 화상 압축 처리가 실행되어도 손실되지 않으며, 전자 워터마크 데이터는 프레임에 상관없이 삽입가능하다. 그러나, 제3선행기술은, 전자 워터마크 데이터는 주파수 변경된 비디오 신호의 주파수 대역보다 낮은 부분에 삽입되므로 광대역 필터를 이용하면 원래의 비디오 신호에서 쉽게 제거될 수 있다는 단점이 있다.

또한, 제 4 선행 기술에서는 원래의 화상 데이터를 주파수 변경된 화상 데이터로 주파수 변경하고, 전자 워터마크 데이터를 주파수 변경된 화상 데이터의 주파수 성분의 넓은 영역에 내장하는 기술을 다루고 있다. 제 4 선행기술은 예를 들면, Nikkei Electronics 저널 No. 660(1996, 4. 22), 13 페이지에 개시되어 있다. 제 4 선행기술의 전자 워터마크 데이터 삽입 장치는 원래 화상 데이터의 주파수 성분에 전자 워터마크 데이터를 내장한다. 그러므로, 화상 압축 처리, 필터링등의 화상처리에서, 화질에 부작용을 거의 일으키지 않는 부분에 삽입된 전자 워터마크 데이터의 손실을 방지할 수 있다. 또한, 전자 워터마크 데이터로서 정규 분포에 따른 랜덤(random) 수를 사용함으로써, 복수의 전자 워터마크 데이터를 원래 화상 데이터에 내장하는 경우에서 전자 워터마크 데이터간 간섭을 방지할 수 있다. 그 결과, 제 4 선행기술에서는, 화상 데이터 모두에 심각한 영향을 주지 않으면서 전자 워터마크 데이터만을 파괴하는 등의 불법적 작업을 실행하는 것은 어렵다.

즉, 제 4 선행기술에 따른 전자 워터마크 데이터 삽입 장치는, 정규 분포에 따라 랜덤 수로 계산된 전자 워터마크 데이터를 내장 주파수 성분을 생성하기 위해 주파수 성분에 내장하고, 복합 화상을 획득하기 위해 내장된 주파수 성분에 IDCT(역DCT)를 실행하기 위해, 직교 변환의 하나인 DCT(Discrete Cosine Transform)를 이용하여 원래의 화상을 주파수 성분으로 변환한다. 상세히 설명하면, 전자 워터마크 데이터 삽입 장치는 DCT를 이용하여 원래 화상 데이터를 변환함으로써 획득된 주파수 영역에서의 값보다 높은 값을 가지는 1번째 내지 n-번째 데이터 f(1), f(2), ..., f(n)를 선택한다. 또한, 전자 워터마크 데이터 삽입 장치는 평균 0, 분산 1을 가지는 정규 분포에서 1번째 내지 n-번째 전자 워터마크 데이터를 선택하여 각 변수 i에 대하여 아래와 같이 수식(1)를 계산한다(여기서 i = 1, 2, ... n).

F(i) = f(i) + α ┃f(i)┃× w(i) (1)

여기에서, α는 스케일링 인수(scaling factor)이다. 전자 워터마크 데이터 삽입 장치는, 각 변수 i에 대하여 획득한 주파수 성분으로서 f(i)를 F(i)로 대입하고, 전자 워터마크 데이터가 삽입된 복합 화상의 주파수 성분으로서 F(i)를 사용하며, IDCT를 이용하여 복합 화상을 획득한다.

상기와 같은 방법으로 원래 화상 데이터에 삽입된 전자 워터마크 데이터를 검출하기 위하여, 전자 워터마크 데이터 검출 장치는 원래 화상 데이터와 주지의 전자 워터마크 데이터 후보w(i)를 다음과 같이 검출한다. 즉, 전자 워터마크 데이터 검출 장치는, DCT를 이용하여, 전자 워터마크 데이터가 삽입된 복합 화상을 f(1), f(2), ..., f(n)에 대응하는 주파수 영역에 전자 워터마크 데이터를 내장하는 요소값F(1), F(2), ...F(n)을 가지는 주파수 성분으로 변환한다. 그런 다음, 전자 워터마크 데이터 검출 장치는 아래의 수식(2)에 따라 f(i)와 F(i)로부터 전자 워터마크 데이터 W(i)를 추출한다.

W(i) = (F(i) - f(i))/f(i) (2)

그런 다음, 전자 워터마크 데이터 검출 장치는 주지의 전자 워터마크 데이터 후보 벡터

와 추출된 전자 워터마크 데이터 벡터

사이의 통계적 유사도(C)을 아래의 수식(3)(4)(5)에 따라 계산한다.

= (W(1), W(2), ..., W(n)) (3)

= (w(1), w(2), ..., w(n)) (4)

C =

×

/(WD×wD) (5)

여기에서 WD는 추출된 전자 워터마크 데이터 벡터

의 절대값을 나타내며, wD는 주지의 전자 워터마크 데이터 후보 벡터

의 절대값을 나타낸다. 그 결과, 수식(5) 에 의해 계산된 통계적 유사도(C)이 미리 정해진 값보다 적은 경우, 전자 워터마크 데이터 검출 장치는 상기 전자 워터마크 데이터 후보가 복합 화상 신호에 내장된 것으로 판정한다.

상기 제4 선행기술에서, 원래의 화상 데이터를 소유하는 저자등이 전자 워터마크 데이터를 원래의 화상 데이터에 내장하여 획득된 복합 화상을 준비 또는 생성하는 경우, 저자는 상기의 방법으로 불법 복사한 디지털 화상 데이터로부터 전자 워터마크 데이터를 검출함으로써 불법복제에 대한 판정을 효과적으로 실행할 수 있다.

한편, 제4선행기술에서, 원래의 화상 데이터와 전자 워터마크 데이터 후보 w(i)는 전자 워터마크 데이터를 검출하여야 한다. 따라서, 제4선행 기술은, 불법 복사되었을 수 있는 화상 데이터에 대한 전자 워터마크 데이터 검출 과정을 실시함으로써 불법여부에 관한 판정을 원래 화상을 가진 저자가 해야하는 경우에는 적합하지 못하다. 그러나, 일반적 사용자들은 원래의 화상 데이터를 가지고 있지 않으므로 상기한 검출 과정을 실행할 수 없다.

제5 선행기술은 제4선행기술에 개시된 내용을 포함하며, 저자뿐만 아니라 일반 사용자들에 의해 원래의 화상에 이미 내장된 전자 워터마크 데이터를 검출할 수 있는 MPEG 시스템에서의 전자 워터마크 데이터 삽입 및 검출 장치에 관한 것이다.

제5선행기술에 따른 MPEG 시스템에서의 전자 워터마크 데이터 삽입 및 검출 장치는 원래의 화상을 (8×8) 화소로 구성된 블록(이하, (8×8) 화소블록) 으로 나누고, 단위로 취급되는 모든 블록에 대해 전자 워터마크 데이터의 내장과 검출을 실행한다. 전자 워터마크 데이터 삽입 장치는 MPEG 코딩 과정에서, 주파수 영역에서 1번째 내지 n-번째 주파수 성분 f(1), f(2), ..., f(n)을 생성하는 원래의 화상에 대해 DCT과정을 실행하고, 평균0, 분산1을 가지는 정규 분포로부터 1번째 내지 n-번째 전자 워터마크 데이터 w(1), w(2), ..., w(n)를 검출한다. 여기에서, n은 2이상의 양의 정수이다. 그런 다음, 전자 워터마크 데이터 삽입 장치는 변수 i에 대하여 수식(6)을 따라 i-번째 변환된 주파수를 계산한다(여기에서 i = 1, 2, ..., n).

F(i) = f(i) + α × avg(f(i)) × w(i) (6)

여기에서, avg(f(i))는 i-번째 주파수 성분f(i)에 근접한 3점의 부분 평균, 예를 들면, f(i-1), f(i), f(i+1)의 절대값을 평균하여 얻어지는 부분 평균을 나타낸다. 그런 다음, 삽입 장치는 i-번째 주파수 성분 f(i)를 i-번째 변환된 주파수 성분 F(i)으로 대입하고, 1번째 내지 n-번째 변환된 주파수 성분 F(1) 내지 F(n)에 대하여 MPEG 코딩 과정을 실행하여 1번째 내지 n-번째 전자 워터마크 데이터 w(1), w(2), ..., w(n)가 원래의 화상 데이터에 내장된 복합 화상 데이터를 획득한다.

복합 화상 데이터에 내장된 전자 워터마크 데이터를 검출하기 위하여, 전자 워터마크 데이터 검출 장치는 아래와 같이 주지의 데이터로서 전자 워터마크 데이터 후보 w(i)를 검출한다. 원래의 화상 데이터는 검출이 요구되지 않는다. 전자 워터마크 데이터 검출 장치는 MPEG 확장 과정에서, 복합 화상 데이터에 대하여 역양자화를 실행하여 하위->고위의 순서로 1번째 내지 n-번째 주파수 성분 F(1), F(2), ..., F(n)을 가지는 블록의 주파수 영역을 생성한다. 그런 다음, 전자 워터마크 데이터 검출 장치는 i-번째 부분 평균 avg(F(i))로서, i-번째 주파수 성분 F(i)에 근접한 3점에서의 절대값 평균을 계산하고, 아래와 같이 수식(7)을 따라서 i-번째 전자 워터마크 데이터 w(i)를 계산한다.

w(i) = F(i)/avg(F(i)) (7)

또한, 전자 워터마크 데이터 검출 장치는 모든 변수 i에 대하여 하나의 화상의 i-번째 전자 워터마크 데이터 w(i)의 i-번째 총합을 계산한다. 그런 다음, 전자 워터마크 데이터 검출 장치는 벡터의 내적을 이용하여 아래의 수식(8)-(10)을 따라 전자 워터마크 데이터 후보 벡터

와 총합 벡터

사이의 통계적 유사도(C)를 계산한다.

= (WF(1), WF(2), ..., WF(n)) (8)

= (w(1), w(2), ..., w(n)) (9)

C =

×

/(WFD × wD) (10)

여기에서, WFD는 총합 벡터

의 절대값을 나타내며, WD는 전자 워터마크 데이터 후보 벡터

의 절대값을 나타낸다. 통계적 유사도(C)은 미리 정해진 값 이상이며, 전자 워터마크 데이터 검출 장치는 전자 워터마크 데이터가 복합 화상에 내장된 것으로 판정한다.

제 4, 제 5 선행 기술에서 개시된 기술에 의해 삽입된 전자 워터마크 데이터는 제 3 선행 기술에서 개시된 기술에 의해 삽입된 전자 워터마크 데이터에서 간단한 필터링 과정에 의해 삭제되지 않는다. 그러나, 전자 워터마크 데이터가 MPEG 코딩 과정에서 DCT 과정 후에 삽입되면, 제 4, 제 5 선행기술에 따른 전자 워터마크 데이터는, 미리 정해진 범위 사이의 주파수 성분값이 양자화과정에 의해 특정 양자화값으로 변경되므로, 손실될 수 있다. 따라서, 제4, 제5 선행 기술에서, 삽입에서의 부분 평균과 검출에서의 부분 평균 사이에 큰 에러가 발생하며, 그 결과로 전자 워터마크 데이터의 검출 정밀도가 떨어진다.

제6선행 기술은 예를 들면 일본국 미심사 특허공개 (JP-A) Tokkai No. Hei 10-191330 또는 JP-A 10-191330 "디지털 데이터에 식별 데이터를 삽입하는 시스템및 검출 시스템"에 개시되어 있다. JP-A 10-191330은 MPEG 코딩 과정의 양자화후에 전자 워터마크 데이터를 내장하고, MPEG 확장 공정의 역양자화전에 전자 워터마크 데이터를 검출하는 기술적 사상을 개시한다. 이 구조에 의해, 양자화에 의한 전자 워터마크 데이터의 손실을 피할 수 있으며, 삽입과 검출의 부분 평균 사이의 에러에 의해 전자 워터마크 데이터의 검출 정밀도가 떨어지는 것도 방지할 수 있다.

제7 선행기술은 비가시적 전자 워터마크 데이터의 내장에 관한 또다른 기술로서 예를 들면 일본국 미심사 특허 공개 (JP-A) Tokkai No. Hei 11-55,639 또는 JP-A 11-55639 "전자 워터마크 삽입 방법 및 제어 프로그램을 저장한 저장 매체"에 개시되어 있다. JP-A11-55639는 NTSC(National Television System Committee)에서 홀수 및 짝수 필드, 또는 Y 성분(휘도 성분), U 성분(제 1 색조 성분), V 성분(제 2 색조 성분)과 같은 일련의 필드 데이터를 구비하는 디지털 화상 데이터에 전자 워터마크 데이터를 삽입하는데, 각 전자 워터마크 데이터는 대응하는 필드에 삽입되는 기술적 사상을 개시한다. 따라서, 매우 간단한 구조에 의해 복수의 전자 워터마크 데이터를 하나의 화상 데이터에 삽입하는 것이 가능하다.

이제, 동적 또는 동화상이 정지화상에 비하여 높은 해상도를 가지는 인간의 시각적 특성에 대하여 다루기로 한다. 전자 워터마크 데이터가 내장된 복합 화상의 화질 열화를 초래하지 않기 위해 내장될 워터마크 데이터를 약하게 만들 필요가 있다. 상기 제2 내지 제7 선행기술에서, 비가시적 전자 워터마크 데이터로 내장된 신호는 필터링 과정과 화상 압축과정에 의해 감쇠되었다. 한편, 내장된 신호의 강도가 높은 경우, 복합 화상의 화질이 열화된다. 사실상, 내장 신호의 강도는 고려되어야 할 사항이다. 왜냐하면, 전자 워터마크 데이터로서 내장된 신호의 강도는 화상 압축 과정등의 방법에 따라 달라지기 때문이다. 그러나, 상기 제2 내지 제7선행기술에서처럼, 전자 워터마크 데이터의 신호 강도가 고려되지 않는 경우, 재생측 복합 화상 데이터에 내장된 전자 워터마크 데이터를 검출하는 것은 불가능하다. 그 결과, 상기 선행기술은 전자 워터마크 데이터의 검출 정밀도가 상당히 떨어진다는 문제가 있다.

따라서, 제 8 선행기술은 예를 들면 일본국 미심사 특허 공개(JP-A) Tokkai No. Hei 11-341,452 또는 JP-A 11-341452 "동적 화상 전자 워터마크 시스템"에 개시된다. JP-A 11-341452는 화질 열화가 발행하지 않는 범위에서 각 프레임에 전자 워터마크 데이터를 약하게 내장하고, 재생측에서 충분한 강도를 가지도록 전자 워터마크 데이터를 누적하며, 내장된 데이터에 대한 판정을 하는 기술과 유사한 재생측 검출 정밀도를 이루는 기술적 사상을 개시한다.

상기한 바와 같이, 비가시적 워터마크 데이터가 원래의 데이터에 내장되는 경우, 비가시적 워터마크 데이터가 간단한 필터링 과정에 의해 삭제되며, 전자 워터마크 데이터를 모든 프레임에 삽입할 수 없으며, 전자 워터마크 데이터가 양자화 과정에 의해 손실된다는 문제가 있다.

또한, 제4 내지 제6 선행 기술들중 어느것도 복합 화상의 하나의 프레임에 복수의 전자 워터마크 데이터를 내장하는 기술을 개시하지 못하였으므로, 제4 내지 제6 선행기술은 전자 워터마크 데이터가 하나의 프레임에 공통으로 삽입되는 경우 복합 화상의 화질 열화가 발생한다는 문제점이 있다.

또한, 제7선행기술이 복수의 전자 워터마크 데이터를 간단한 구조로 내장할 수 있기는 하나, 복합 화상의 화질이 열화된다는 문제와 동적 화상 고유의 특성에 의존하여, 내장된 전자 워터마크 데이터의 강도가 고려되지 않은 경우 내장된 전자 워터마크 데이터의 검출 정밀도가 떨어진다는 문제가 있다.

이들과는 대조적으로, 제8 선행기술은 화질이 열화되지 않는 범위에서 각 프레임에 전자 워터마크 데이터를 약하게 내장하고, 재생측 충분한 강도를 위해 전자 워터마크 데이터를 누적하고 판정함으로써 검출 정밀도를 개선하는 내용을 다루고 있다.

그러나, 제8선행기술에서 재생측에서 누적된 프레임의 수에 대응하는 변수 임계값을 이용하여 약하게 내장된 전자 워터마크 데이터를 누적하고 판정하기는 하지만, 내장된 전자 워터마크 데이터의 신호들이 임계값을 초과하지 않고는 검출될 수 없는 시간 간격을 보증하는 것이 불가능하다는 점에서 불리하다. 상세히 말하면, 전자 워터마크 데이터의 신호들이 재생측수단에서 검출되지 않거나 매우 긴 검출 시간 간격을 필요로 하는 결과가 되거나 내장된 전자 워터마크 데이터의 신호들을 잘 검출하는 것이 불가능하다는 점이 단점이다. 따라서, 전자 워터마크 데이터가 검출되지 않는 이유를 분석하는 것이 어려워질 수 있다. 그러므로, 후에 삽입된 전자 워터마크 데이터를 검출하기 위해 요구되는 시간간격을 명확히 하기 위해 검출 정밀도를 맞추고, 전자 워터마크 데이터를 검출하지 않는 경우에도 후에 검출 가능한 강도를 가진 전자 워터마크 데이터를 내장하는 것이 바람직하다. 또한, 제8 선행 기술이 검출 정밀도를 고려하여 내장된 전자 워터마크 데이터의 신호 강도를 설정하기는 하지만, 전자 워터마크 데이터를 삽입하는 경우에 간단한 구조로 최대한 높은 미세 화질을 획득할 수 있도록 하는 것이 바람직하다.

본 발명의 요약 :
그러므로 본 발명의 목적은 비검출 시간 간격을 보증하면서 전자 워터마크 데이터를 삽입할 수 있는 전자 워터마크 데이터 삽입 장치를 제공하는 것이다.

본 발명의 다른 목적은 간단한 구조로 최대한 화질 열화없이 전자 워터마크 데이터를 삽입할 수 있는 전자 워터마크 데이터 삽입 장치를 제공하는 것이다.

본 발명의 또다른 목적은 비검출 시간 간격을 보증하면서 전자 워터마크 데이터를 검출할 수 있는 전자 워터마크 데이터 검출 장치를 제공하는 것이다.

본 발명의 다른 목적은 간단한 구조로 최대한 화질 열화없이 전자 워터마크 데이터를 검출할 수 있는 전자 워터마크 데이터 검출 장치를 제공하는 것이다.

이러한 본 발명의 목적들은 상세한 설명에 따라 명확해 질 것이다.

본 발명의 일면에 따르면, 원래의 화상을 블록별로 주파수 영역의 주파수 변환된 화상 데이터로 변환하기 위해 각각 복수의 화소들로 구성된 복수의 블록들로 나누어진 하나의 프레임의 원래의 화상이 제공되는 주파수 영역 변환 구조를 가지는 전자 워터마크 데이터 삽입 장치가 제공된다. 전자 워터마크 데이터 기억 구조는 복수의 전자 워터마크 데이터를 미리 기억한다. 삽입 정보 기억구조는 전자 워터마크 정보 기억 구조에 저장된 전자 워터마크 데이터들중 각각의 블록에 대응하여 삽입될 전자 워터마크 데이터를 지정하기 위한 삽입 정보를 기억한다. 전자 워터마크 데이터 선택 구조는 선택된 전자 워터마크 데이터를 생성하기 위해 전자 워터마크 기억 구조로부터 블록별로 지정된 특정 전자 워터마크 데이터를 선택한다. 전자 워터마크 데이터 삽입 구조는 전자 워터마크 삽입된 복합 화상 데이터를 생성하기 위해 선택된 전자 워터마크 데이터를 주파수 영역의 주파수 변환된 화상 데이터에 삽입한다.

본 발명의 다른 일면에 따르면, 복수의 블록들로 나누어진 하나의 프레임에 블록별로 삽입된 전자 워터마크 데이터의 유형을 지정하기 위해 삽입 정보를 미리 기억하는 삽입 정보 기억 구조를 가지는 전자 워터마크 데이터 검출 장치가 제공된다. 개별 전자 워터마크 데이터가 블록별로 삽입된 복수의 블록들로 나누어진 전자 워터마크 삽입된 복합 화상을 구비하여, 데이터 추출 구조는 삽입 정보에 근거하여, 추출된 데이터를 제공하기 위해 동일한 전자 워터마크 데이터가 삽입된 블록을 삽입함으로써, 전자 워터마크 데이터를 추출한다. 전자 워터마크 데이터 기억 구조는 각각의 블록에 삽입된 복수의 전자 워터마크 데이터를 미리 기억한다. 전자 워터마크 데이터 검출 구조는 전자 워터마크 데이터 기억 구조에 저장된 각각의 전자 워터마크 데이터와 추출된 데이터간의 통계적 유사도를 계산한다. 판정 구조는 통계적 유사도를 근거로 전자 워터마크 데이터가 검출되었는지를 판정한다.

양호한 실시예들의 상세한 설명 :
도1을 참조로, 본 발명에 대한 이해를 촉진하기 위해 우선 종래의 화상 데이터 처리 시스템을 설명하기로 한다. 도시된 종래의 화상 데이터 처리 시스템은 상기 JP-A 6-315131 또는 제2선행기술이 적용되는 전자 워터마크 데이터 삽입 장치(10)과 전자 워터마크 데이터 검출 장치(20)를 포함한다. 전자 워터마크 데이터 삽입 장치(10)는 정보 내장 장치라고 하며, 전자 워터마크 데이터 검출 장치(20)는 재생장치라고 한다.

전자 워터마크 데이터 삽입 장치(10)는 미리 정해진 비가시적 전자 워터마크 데이터를 원래의 화상 데이터(OI)에 삽입하여 비가시적 전자 워터마크 데이터가 원래 화상 데이터에 삽입된 복합 화상 데이터(CI)를 생성한다. 원래의 화상 데이터는 원래 비디오 신호 또는 원래 화상 신호라고 한다. 복합 화상 데이터(CI)는 복합 비디오 신호 또는 복합 화상 신호라고 한다.

전자 워터마크 데이터 검출 장치(20)는 복합 화상 데이터(CI)를 재생하는 장치이다. 복합 화상 데이터(CI)는 자기테이프등의 기록 매체(미도시)에 기록된다. 기록 매체에 기록된 복합 화상 데이터를 재생하면, 전자 워터마크 데이터 검출 장치(20)는 복합 화상 데이터에 삽입된 미리 정해진 비가시적 전자 워터마크 데이터를 검출한다.

전자 워터마크 데이터 삽입 장치(10)는 버퍼(11), 버퍼에 연결된 검출부 (12), 검출부에 연결된 삽입제어부(13), 버퍼와 삽입제어부에 연결된 변환부(14), 변환부(14)에 연결된 기록처리부(15)를 포함한다.

원래화상 데이터(OI)는 데이터 삽입 장치(10)에 제공되어, 버퍼부(11)에서 버퍼링된 화상 데이터로 버퍼링된다. 검출부(12)는 삽입제어부(13)에 제공될 검출 신호를 생성하기 위하여 버퍼링된 화상 데이터로부터 연속된 프레임간의 상관관계를 검출한다. 예를 들면, 검출부(12)는 검출된 프레임으로 검출된 신호를 생성하기 위하여 동일한 프레임이 연속되는 동일한 정지(static) 화상에서 제2프레임을 검출한다. 삽입제어부(13)는 레벨변환 목표영역 또는 영역들을 표시하는 삽입 지시 신호를 변환부(14)에 제공하기 위하여 레벨변환 목표영역 또는 영역들을 결정한다. 내장 지시 신호에 반응하여, 변환부(14)는 버퍼링된 화상 데이터에 전자 워터마크 데이터를 내장하기 위하여 버퍼링된 화상 데이터에 대하여 레벨 변환을 실시한다. 삽입제어부(13)는 f레벨변환이 실행될 영역 또는 검출된 프레임에서의 영역을 나타내는 변환정보(CIO)를 생성한다. 변환부(14)는 전자 워터마크 데이터가 원래의 화상 데이터(OI)에 내장된 복합화상 데이터(CI)를 생성한다. 복합화상 데이터(CI)는 기록처리부(15)에 제공된다. 기록처리부(15)는 자기 테이프 등의 기록매체에 복합화상 데이터(CI)를 기록한다.

전자 워터마크 데이터 검출 장치(20)는 재생처리부(21), 재생처리부에 연결된 검출제어부(22), 재생처리부(21)와 검출제어부(22)에 연결된 보정부(23)를 포함한다.

기록매체에 기록된 복합화상 데이터(CI)가 제공되면, 재생처리부(21)는 복합화상 데이터를 재생된 화상 데이터로서 재생한다. 재생된 화상 데이터는 보정부(23)에 제공된다. 복합화상 데이터를 디코딩한후, 재생처리부(21)는 재생된 화상 데이터에서 신호 누락부분을 검출하여 신호누락부분을 나타내는 누락검출신호를 생성한다. 누락검출신호는 검출제어부(22)에 제공된다. 검출제어부(22)에는 또한 자기 테이프의 획득채널과 다른 합법적 채널에 의해 픽업된 변환정보(CIO)가 제공된다. 검출제어부(22)는, 보정부(23)가 누락검출신호에 의해 표시된 신호누락부분과 변환정보(CIO)에 의해 표시된 영역간의 프레임간 보정을 실시하도록 보정부(23)를 제어한다. 그 결과, 보정부(23)는 보정된 화상 데이터(CRI)를 생성한다.

상기와 같은 방법으로 전자 워터마크 데이터를 삽입함으로써, 제2선행기술 또는 JP-A 6-315131에 개시된 기술은 전자 워터마크 데이터를 LSB에 삽입하는 경우 에 비하여 재생측 전자 워터마크 데이터를 쉽게 검출할 수 있다.

그러나, 전자 워터마크 데이터가 제2선행기술에서 모든 프레임에 내장되지 않으면, 본 명세서의 서두부분에서 언급하였듯이 전자 워터마크 데이터가 내장되지 않은 프레임에 대한 불법복사는 방지할 수 없다. 또한, 제2선행기술에서 연속 프레임들이 정지 화상이거나 연속되는 화상에 변화는 없다고 하였으나, 움직임이 많은 동적 화상의 연속 프레임들간의 상관관계가 별로 없는 경우에 전자 워터마크 데이터가 내장되어야 하는 특별 영역을 식별하는 것은 불가능하다. 따라서, 제2선행기술은 본 명세서의 서두부분에서 언급하였듯이, 원래 화상에 전자 워터마크 데이터를 삽입할 수 없는 경우가 있다는 단점이 있다.

도2를 참조하여, 본 발명의 실시예에 따른 전자 워터마크 데이터 삽입 장치를 계속 설명한다.

도시된 전자 워터마크 데이터 삽입 장치는 DCT 연산부(31), DCT연산부에 연결된 양자화부(32), 양자화부에 연결된 전자 워터마크 데이터 삽입부(33)를 포함한다.

DCT 연산부(31)는 원래화상(OI)을 가진다. 원래화상(OI)는 각각이 (k × k) 화상요소 또는 화소로 구성된 화소 블록의 복수의 원래 화상 데이터 블록(OIB)으로 나누어지는데, 여기에서 k는 2이상의 자연수이다. DCT 연산부(31)는 원래화상 데이터 블록 각각에 대하여 DCT 연산을 실시하여 주파수 영역의 각 성분에 대한 DCT 계수를 생성한다. 어떤 경우에든, DCT 연산부(31)는 원래화상(OI)을 블록단위로 주파수영역의 주파수변환된 화상 데이터로 변환하는 주파수영역변환구조의 역할을 한다. DCT 계수는 양자화부(32)에 제공된다. 양자화부(32)는 DCT 계수를 전자 워터마크 데이터 삽입부(33)에 제공될 양자화된 DCT 계수로 양자화한다. 어떤 경우에든, DCT연산부(31)와 양자화부(32)를 조합하여, 원래의 화상(OI)을 블록단위로 주파수 영역의 주파수변환된 화상 데이터로 변환하기 위한 주파수영역변환구조로서의 기능을 한다. 나중에 상세히 설명하겠지만, 전자 워터마크 데이터 삽입부(33)는 각 양자화된 DCT 계수에 전자 워터마크 데이터를 삽입하여 전자 워터마크 데이터가 삽입된 주파수 성분을 생성한다.

전자 워터마크 데이터가 삽입된 복합 화상 데이터(CI)를 디스플레이하기 위하여, 전자 워터마크 데이터 삽입 장치는 전자 워터마크 데이터 삽입부(33)에 연결된 역양자화부(34)와 역양자화부에 연결된 IDCT(역DCT) 연산부(35)를 더 구비한다.

전자 워터마크 데이터 삽입부(33)로부터 전자 워터마크 삽입된 주파수 성분이 제공되면 역양자화부(34)는 전자 워터마크 삽입된 주파수 성분을, IDCT 연산부(35)에 제공될 역양자화된 주파수 성분으로 역양자화한다. IDCT 연산부(35)는 각각의 역양자화된 주파수 성분에 대하여 IDCT연산을 실시하여 복합화상(CI)에 복합화상 데이터 블록(CIB)를 생성한다. 복합화상 데이터블록(CIB)은 원래 화상(OI)에서 원래 화상 데이터 블록(OIB)에 대응하는 위치의 (k × k)화소로 구성된다.

전자 워터마크 데이터가 삽입된 보유 화상 데이터를 유지하기 위하여, 전자 워터마크 데이터 삽입 장치는 전자 워터마크 데이터 삽입부(33)에 연결된 허프만 (Huffman) 코딩부(36)를 더 구비한다. 허프만코딩부(36)는 전자 워터마크 삽입된 주파수 성분을 인코딩하여 압축 데이터(CD)로서 허프만코딩된 복합 화상을 생성한다.

전자 워터마크 데이터 삽입부는 또한 전자 워터마크 데이터 테이블(37), 이 테이블과 전자 워터마크 데이터 삽입부(33)에 연결된 전자 워터마크 데이터 선택기(38)와, 전자 워터마크 데이터 삽입부(33)에 연결된 삽입 정보 메모리(39)를 더 포함한다.

전자 워터마크 데이터 테이블(37)은 제1내지 j-번째 전자 워터마크 데이터 EW1, EW2, ..., EWj를 미리 기억 또는 저장한다. 여기에서 j는 2이상의 자연수이다. 삽입 정보 메모리(39)는, 전자 워터마크 데이터 테이블(37)에 저장된 제1 내지 j-번째 전자 워터마크 데이터 EWi 내지 EWj중에서 각 화소블록에 대응하여 삽입될 전자 워터마크 데이터를 지정하기 위한 삽입 정보를 기억 또는 저장한다. 삽입 정보는 전자 워터마크 데이터 삽입부(33)에 제공된다. 삽입 정보와 관련하여, 전자 워터마크 데이터 삽입부(33)는 선택된 신호를 전자 워터마크 데이터 선택기(38)에 제공한다. 선택신호에 반응하여, 전자 워터마크 데이터 선택기(38)는 전자 워터마크 데이터 테이블(37)로부터 화소블록 각각에 대한 삽입 정보에 의해 지정된 특정 전자 워터마크 데이터를 선택하여 특정 전자 워터마크 데이터를 선택된 전자 워터마크 데이터로서 생성한다. 선택된 전자 워터마크 데이터는 전자 워터마크 데이터 삽입부(33)에 제공된다. 전자 워터마크 데이터 삽입부(33)는 선택된 전자 워터마크 데이터를 양자화된 DCT계수에 삽입하여 전자 워터마크가 삽입된 주파수성분을 생성한다.

DCT 연산부(31)는 원래 화상 데이터 블록(OIB)에 직교 변환같은 DCT 연산을 실시하여 각 주파수 성분에 대한 코사인 함수의 계수로 변환된 DCT 계수를 획득한다. 자연 화상이 각 화소에 근접한 주파수 성분을 갖는 것은 주지의 사실이다. DCT에 의해 얻어진 계수들은 DC 성분과 같은 특정 주파수 성분을 가진 계수 주변부에 집중한다.

양자화부(32)는 이러한 방법으로 획득한 DCT 계수를 양자화한다. 따라서, 집중된 계수 주변부만이 양자화된 DCT 계수로 잔류한다.

전자 워터마크 데이터 삽입부(33)는 선택된 전자 워터마크 데이터를 양자화된 DCT 계수에 삽입한다. 삽입 정보 메모리(39)에 저장된 삽입 정보 Ⅱ는, 원래 화상(OI)이 각각 (k × k) 화소로 구성된 복수의 화소 블록들로 나누어진 각각의 분리된 영역에 대응하도록 전자 워터마크 데이터 삽입부(33)에 미리 설정된다.

도3은 삽입 정보 메모리(39)에 저장된 삽입 정보(II)의 일예를 도시한다. 삽입 정보(II)는 (k × k) 화소로 구성된 각각의 화소블록에 의해 원래 화상(OI)의 하나의 프레임을 나눔으로써 획득되는 (A × B) 정보블록으로 나누어지며, 여기에서, A와 B는 2이상의 자연수이다. (A × B)정보 블록 각각에는 전자 워터마크 데이터 테이블(37)에 저장된 제1 내지 j-번째 전자 워터마크 데이터 EWi 내지 EWj중의 특정한 하나를 식별하기 위한 번호가 설정된다. 도3에 도시된 예에서, 원래화상(OI)에 대한 (A×B) 정보블록은, 좌측 상단 가장자리 우측의 블록 II_1,1에서 시작하여 순서대로, 제1전자 워터마크 데이터 EW1, 제3전자 워터마크 데이터 EW3, 제2전자 워터마크 데이터 EW2등과 같이 지정된다.

도2에서, 전자 워터마크 데이터 선택기(38)는 선택신호에 답하여, 양자화된 DCT 계수에 대한 원래 화상의 위치를 결정한다. 그런 다음, 전자 워터마크 데이터 선택기(38)는, 전자 워터마크 데이터 테이블(37)로부터 추출된 전자 워터마크 데이터로서, 결정된 블록 위치에 대응하는 삽입 정보(II)의 특정 정보 블록에 의해 지정된 전자 워터마크 데이터를 추출한다. 전자 워터마크 데이터 선택기(38)는 추출된 전자 워터마크 데이터를 선택된 전자 워터마크 데이터로서 전자 워터마크 데이터 삽입부(33)에 제공한다.

일반적으로, 자연화상은 인접화상 데이터간에 높은 상관관계를 가진다. 따라서, 공통 전자 워터마크 데이터가 각 프레임의 DCT 계수에 균일하게 삽입되어 복합화상을 획득하면, 상기 획득된 복합 화상은 인접화상 데이터간에 높은 상관관계를 가진다. 그 결과, 복합 화상의 화질은 전자 워터마크 데이터의 삽입으로 인해 열화된다. 그러므로, 본 발명에 따른 전자 워터마크 데이터 삽입 장치는 하나의 프레임이 나누어진 화상 영역들 각각에 대하여 서로 낮은 상관관계를 가지는 전자 워터마크 데이터를 삽입함으로써 화질 열화를 피한다.

도4는 전자 워터마크 데이터 테이블(37)에 등록된 제1전자 워터마크 데이터(EW1)의 일예를 도시한다. 제1전자 워터마크 데이터(EW1)는 화상 데이터에 대한 DCT 연산에 의해 번역된 주파수 영역의 DCT 계수에 대해 "+", "0", "-"의 3가지 연산자를 가진다. 예를 들면, "+" 연산자는 대응 DCT를 1 만큼 증가함 즉 "+1" 을 나타내고, "0" 연산자는 연산이 없음을, "-" 연산자는 대응 DCT계수를 1 만큼 감소함 즉 "-1"을 나타낸다. 그 결과, 각 요소 블록의 대응하는 DCT 계수에 전자 워터마크 데이터를 균일하게 삽입하는 경우와 비교해 보면, 본 발명에 따른 전자 워터마크 데이터 삽입 장치는 서로 근접한 주파수 성분을 가지는 요소 블록 각각에서 낮은 상관관계를 가지는 전자 워터마크 데이터를 삽입함으로써 화질 열화의 문제를 피할 수 있다.

상기와 같은 방법으로, 전자 워터마크 데이터 삽입부(33)는 인접요소블록간에 낮은 상관관계를 가지는 전자 워터마크 데이터와, 원래화상이 나누어진 각각의 요소블록에 대한 각각의 요소블록의 위치에 대응하여 전자 워터마크 데이터 테이블(37)에 미리 등록된 주파수성분을 각 주파수 성분의 양자화된 DCT계수에 삽입한다.

도2로 복귀하여 상기설명을 계속할 것이다. 전자 워터마크 데이터 삽입부(33)로부터 전자 워터마크가 삽입된 주파수성분이 제공되면, 역양자화부(34)는, DCT 연산부(31)에 의해 번역된 주파수성분 각각의 DCT 계수에 대응하는 역양자화된 주파수 성분으로 전자 워터마크가 삽입된 주파수 성분을 역양자화한다. 역양자화부(34)의 역양자화는 양자화부(32)의 양자화의 역순으로 진행된다.

IDCT연산부(35)는 각각의 역양자화된 주파수성분에 IDCT연산을 실시하여, 전자 워터마크 데이터가 삽입된 (k × k) 화소로 구성된 복합화상 데이터 블록(CIB)를 생성한다. IDCT연산은 DCT연산부(31)에 의해 실시되는 DCT연산에 대응하여 실시된다.

한편, 상기와 같은 방법으로 전자 워터마크 데이터 삽입부(33)으로부터 전자 워터마크 데이터가 삽입된 주파수성분이 제공되면, 허프만코딩부(36)는 전자 워터마크 데이터가 삽입된 주파수성분의 일차원 트레인(train)으로, 각 데이터 패턴에서의 주파수발생을 통계적으로 분석한다. 그런 다음, 허프만코딩부는 전자 워터마크 삽입된 주파수성분의 일차원 트레인을 발생횟수가 높고 낮은 데이터에 각각 짧고 긴 코드어가 지정된 허프만코드화된 시퀀스로 변환한다. 허프만코딩부(36)는 허프만코딩된 시퀀스를 압축데이터(CD)로 생성한다.

상기와 같이, 본 발명에 따른 전자 워터마크 데이터 삽입 장치에서는, DCT연산부 (31)는 원래화상의 원래화상 데이터 블록(OIB)을 각 주파수성분의 DCT계수로 변환하고, 양자화부(32)는 DCT 계수를 양자화된 DCT계수로 양자화한다. 그런 다음, 전자 워터마크 데이터 삽입부(33)는 전자 워터마크 데이터 테이블(37)에 미리 등록되고 원래 화상에서 원래 화상 데이터 블록(OID)의 위치에 대응하는 특정 전자 워터마크 데이터를 양자화된 DCT계수에 삽입한다. 전자 워터마크 데이터 삽입부(33)는 전자 워터마크가 삽입된 주파수성분을 생성한다. 복합화상 (CI)를 획득하는 경우, 역양자화부(34)는 전자 워터마크 삽입된 주파수 성분을 역양자화된 주파수성분으로 역양자화하고 IDCT연산부(35)는 역양자화된 주파수성분에 IDCT 연산을 실시하여 복합화상 데이터(CIB)를 획득한다. 한편, 압축된 데이터(CD)로서 전자 워터마크가 삽입된 주파수성분을 유지하는 경우, 허프만코딩부(36)는 전자 워터마크가 삽입된 주파수성분을 허프만코드화된 시퀀스로 변환한다.

도5를 참조하여, 도2에 도시된 전자 워터마크 데이터 삽입 장치에 의해 삽입된 전자 워터마크 데이터를 검출하는 전자 워터마크 데이터 검출 장치에 대해 설명할 것이다.

도시된 전자 워터마크 데이터 검출 장치는 디코딩부(41), 디코딩부에 연결된 역양자화부(42), 역양자화부에 연결된 IDCT 연산부(43)를 포함한다. 디코딩부(41)에는 선택된 워터마크 삽입 주파수성분이 상기의 방법으로 허프만코딩에 의해 변환되는 압축 데이터(CD)가 제공된다. 디코딩부(41)는 압축데이터(CD)를 디코딩된 주파수영역화상 데이터 또는 각 주파수성분의 디코딩된 DCT계수로 디코딩한다. 디코딩된 주파수영역화상 데이터는 전자 워터마크 데이터 삽입부(33)(도2)에 의해 생성된 전자 워터마크 삽입 주파수성분과 실질적으로 동일하다. 디코딩된 화상 데이터는 역양자화부 (42)에 제공된다. 역양자화부(42)는, 디코딩된 주파수영역화상 데이터를 IDCT연산부 (43)에 제공될 역양자화된 주파수 성분으로 역양자화한다. IDCT연산부(43)는 역양자화된 주파수성분에 IDCT연산을 실행하여 복합화상(CI)에서 (k × k) 화소로 구성된 복합화상 데이터(CIB)를 획득한다.

특히, 디코딩부(41)는 도2의 전자 워터마크 데이터 삽입 장치의 허프만 코딩부(36)에 의해 수행된 허프만코딩에 대응하는 디코딩을 실행한다.

역양자화부(42)는 도2의 전자 워터마크 데이터 삽입 장치의 역양자화부(340와 유사하다. 상기와 같은 방법으로 디코딩부로부터 각 주파수성분의 디코딩된 DCT 계수가 제공되면, 역양자화부(42)는 전자 워터마크 데이터 삽입 장치의 DCT연산부(31) (도2)에 의해 번역된 각 주파수성분의 DCT 계수에 대응하는 역양자화된 주파수 성분으로, 디코딩된 DCT계수를 역양자화한다. 역양자화부(42)에서의 역양자화는 전자 워터마크 데이터 삽입 장치의 양자화부(32,도2)에서의 양자화의 역(reverse)이다.

IDCT연산부(43)는 도2의 전자 워터마크 데이터 삽입 장치의 IDCT연산부(35)와 유사하다. IDCT연산부(43)는 역양자화된 주파수성분에 IDCT 연산을 실행하여 전자 워터마크 데이터가 삽입된 (k × k)화소로 구성된 복합화상 데이터 블록(CIB)를 생성한다. IDCT 연산은 전자 워터마크 데이터 삽입 장치의 DCT연산부(31,도2)에 의한 DCT연산에 대응한다.

상기의 전자 워터마크 데이터 검출 장치는 상기의 방법으로 전자 워터마크 데이터가 삽입된 복합화상(CI)를 디스플레이할 수 있을 뿐아니라, 삽입된 전자 워터마크 데이터 그자체를 검출할 수 있다.

이를 위하여, 전자 워터마크 데이터 검출 장치는 디코딩부(41)에 연결된 전자 워터마크 데이터추출부(45), 전자 워터마크 데이터추출부(45)에 연결된 삽입 정보 메모리 (46), 전자 워터마크 데이터추출부(45)에 연결된 추출데이터 테이블(47), 전자 워터마크 데이터 테이블(48), 전자 워터마크 데이터 테이블(48)에 연결된 전자 워터마크 데이터 선택기(49), 전자 워터마크 데이터 선택기(49)와 추출데이터 테이블(47)에 연결된 전자 워터마크 데이터 검출부(50), 전자 워터마크 데이터 검출부(50)에 연결된 전자 워터마크 데이터 누적기(51), 전자 워터마크 데이터 누적기(51)에 연결된 판정부(52)를 포함한다.

삽입 정보 메모리(46)는 도3에 도시된 삽입 정보 메모리(39)에 저장된 것과 동일한 삽입 정보를 기억, 저장한다. 전자 워터마크 데이터추출부(45)에는 디코딩부(41)로부터 디코딩된 주파수영역이 제공된다. 전자 워터마크 데이터추출부(45)에는 또한, 삽입 정보 메모리(46)으로부터 삽입 정보가 제공된다. 삽입 정보를 기초로, 전자 워터마크 데이터추출부(45)는 후술되는 방법으로 추출된 워터마크 데이터를 생성하기 위해 디코딩된 주파수영역화상 데이터로부터 워터마크 데이터를 추출한다. 추출된 워터마크 데이터는 추출데이터 테이블(47)에 제공된다. 추출데이터 테이블(47)은 미리 정해진 위치에 추출된 워터마크 데이터를 기억 또는 저장한다.

전자 워터마크 데이터 테이블(48)은 전자 워터마크 데이터 삽입 장치의 전자 워터마크 데이터 테이블(37)(도2)에 저장된 내용과 동일한 내용을 기억 또는 저장한다. 즉, 전자 워터마크 데이터 테이블(48)은 제1내지 j-번째 전자 워터마크 데이터 EW1 내지 EWj를 미리 기억 또는 저장한다. 전자 워터마크 데이터 선택기(49)는 전자 워터마크 데이터 테이블(48)에 저장된 제1내지 j-번째 전자 워터마크 데이터 EW1 내지 EWj를 전자 워터마크 데이터 검출부(50)에 연속적으로 제공한다. 전자 워터마크 데이터 검출부(50)는 추출데이터 테이블(47)에 저장된 추출된 전자 워터마크 데이터와 전자 워터마크 데이터 선택기(49)에서 제공된 전자 워터마크 데이터간의 통계적 유사도를 계산하여 전자 워터마크 데이터를 검출한다. 전자 워터마크 데이터 누적기(51)는 일정시간동안 전자 워터마크 데이터 검출부(50)에 의해 계산된 통계적 유사도를 누적하여 판정부(52)에 제공될 누적 가산치를 생성한다. 판정부(52)는 누적 가산치를 미리 정해진 임계치와 비교하여 그 결과를 전자 워터마크 데이터 검출판정결과(DR)로 생성한다.

상기와 같이, 삽입 정보 메모리(46)는 도3의 삽입 정보와 동일한 내용을 저장한다. 즉, 삽입 정보 메모리(46)는 복수의 블록들로 나누어진 하나의 프레임에 블록단위로 삽입될 전자 워터마크 데이터의 유형을 지정할 삽입 정보를 미리 기억한다. 삽입 정보를 기초로, 전자 워터마크 데이터추출부(45)는 디코딩된 주파수 영역 이미지데이터로부터 전자 워터마크 데이터를 추출한다. 상세히 설명하면, (k × k)화소로 구성된 각 화소블록에 의해 하나의 프레임을 나누어 획득되는 (A × B)정보블록에 대하여, 전자 워터마크 데이터추출부(45)는 삽입 정보를 참조하여 동일한 전자 워터마크 데이터가 삽입된 정보를 가산한다. 도4에 도시한 바와 같이, 각 전자 워터마크 데이터는 미리 정해진 주파수 성분을 가지는 DCT계수에 대해서만, 1만큼 증가하는 연산자 "+1" 또는 1만큼 감소하는 연산자 "-1"를 가진다. 그 결과, 하나의 프레임에서, 동일한 전자 워터마크 데이터가 삽입된 요소 영역에서 주파수 영역을 가지는 화상 데이터를 가산함으로써, 특정주파수성분을 가지는 DCT계수만이 + 또는 -측에 표시되는 바이어스된 주파수성분을 획득할 수 있다. 그러므로, 전자 워터마크 데이터추출부(45)는 상기와 같이 바이어스된 주파수성분을 추출된 전자 워터마크 데이터로서 추출데이터 테이블(47)에 저장한다.

전자 워터마크 데이터 검출부(50)는 전자 워터마크 데이터 선택기(49)로부터 전자 워터마크 데이터 테이블(48)에 저장된 제1내지 j-번째 전자 워터마크 데이터 EW1 내지 EWj를 연속적으로 제공받는다. 전자 워터마크 데이터 검출부(50)는 제공된 전자 워터마크 데이터와 추출된 전자 워터마크 데이터 사이의 통계적 유사도를 계산한다.

전자 워터마크 데이터 누적기(51)는 미리 정해진 기간동안 전자 워터마크 데이터 검출부 (50)에 의해 계산된 통계적 유사도를 누적한다.

판정부(52)에는 미리 정해진 임계치가 설정된다. 판정부(52)는 미리 정해진 임계치와 전자 워터마크 데이터 누적기(51)부터 제공된 누적 가산치를 비교한다. 누적비교치가 미리 정해진 임계치보다 높으면, 판정부(52)는 전자 워터마크 데이터가 검출된 것으로 판정한다.

상기 미리 정해진 시간이 경과하거나 누적 가산치가 미리 정해진 임계치를 초과하는 경우 누적 가산치는 리셋된다.

도6은 예를들어, 상기 언급한 바있는 JP-A11-55639에 개시된 상기 선행기술에서 전자 워터마크 데이터의 검출원리를 도시한다. 즉, 선행기술은 검출결과로서 검출된 값N을 재생하는 전자 워터마크 데이터 검출부(60)를 구비한다. 선행 기술은 검출된값 N을 미리 정해진 임계치와 비교함으로써 전자 워터마크 데이터에서 검출의 타당성을 판정한다. 따라서, 화질 열화를 방지하기 위해 강도가 약한 전자 워터마크 데이터가 삽입되면, 선행기술은 전자 워터마크 데이터를 검출하지 않는다. 한편, 전자 워터마크 데이터의 검출 정밀도 향상을 위해 전자 워터마크 데이터가 높은 강도를 가지면, 화질이 열화된다.

따라서, 본 발명은 누적을 실행하며, 강도가 약한 전자 워터마크 데이터가 삽입되어도 전자 워터마크 데이터의 검출 정밀도 향상을 위해 누적치를 이용하여 검출한다.

도7은 본 발명에서 전자 워터마크 데이터에 대한 검출원리를 도시한다. 도7에서, 도5의 전자 워터마크 데이터 검출 장치와 동일한 부분은 동일한 부호를 사용하였으며 설명은 생략된다. 즉, 전자 워터마크 데이터 검출부(50)에 의해 검출된 검출값 n은 하나의 프레임을 분할하여 획득되는 요소블록들중 동일한 전자 워터마크 데이터가 삽입된 요소블록에서의 통계적 유사도를 나타낸다. 전자 워터마크 데이터 누적기(51)는 미리 정해진 각 시간동안 통계적 유사도를 누적하여 누적 가산치를 검출 결과 N으로 생성한다. 본 발명은 검출값 N을 미리 정해진 임계치와 비교하여 전자 워터마크 데이터에서의 검출 타당성을 판정한다. 따라서, 화질 열화를 방지하기 위하여 강도가 약한 전자 워터마크 데이터를 삽입하는 경우에도 전자 워터마크 데이터의 검출 정밀도를 향상시킬 수 있다.

이제, 본 발명의 실시예에 따른 전자 워터마크 데이터 삽입 장치와 전자 워터마크 데이터 검출 장치의 작용에 관한 설명을 할 것이다. 이하, MPEG의 화상 데이터에 전자 워터마크 데이터를 삽입하는 전자 워터마크 데이터 삽입 장치와, 전자 워터마크 데이터를 검출하는 전자 워터마크 데이터 삽입 장치에 관하여 설명할 것이다.

도8a 내지 8f는 MPEG 표준에서 인코딩시스템에 따른 화상 데이터의 구조의 윤곽을 보여준다. 도8a는 시퀀스 층에서의 화상 데이터의 구조를 도시한다. 도8b는 group-of-picture층에서의 화상 데이터 구조를 도시한다. 도8c는 화상층에서의 화상 데이터 구조를 도시한다. 도8d는 슬라이스층에서의 화상 데이터 구조를 도시한다. 도8e는 매크로블록층에서의 화상 데이터 구조를 도시한다. 도8f는 블록층에서의 화상 데이터 구조를 도시한다. 상기한 바와 같이, MPEG표준의 인코딩시스템에 의해 인코딩된 화상 데이터는 계층 구조를 가진다.

도8a에 도시한 바와 같이, 시퀀스층은 시퀀스헤더코드(SHC)와 이에 연속되는 GOP 세트의 시퀀스(70)를 구비한다. 시퀀스(70)는, 예를 들면, 동적 화상 데이터로 구성된다. SHC는 각 GOP의 헤드에 삽입되며, 예를 들면, 화상 크기 또는 비트 속도 정보를 포함한다.

도8b에 도시한 바와 같이, GOP층은 시퀀스층에서 GOP인 GOP(71)를 포함한다. GOP(71)는 하나의 프레임의 화상 세트 또는 휘도 정보와 색조 또는 색상차 정보로 구성된 하나의 필드를 포함한다. 각 화상은 초기에 화상 개시 코드(PSC)를 가지며, 3가지 유형의 화상 포맷 중 하나로 인코딩되며, 3가지 유형은 I화상(인트라코딩된 화상), P화상(예측코딩된 화상), B화상(양방향 예측 코딩된 화상)이다. 또한, 하나의 화상은 복수의 블록들로 분할되며, 블록 단위 DCT를 거쳐 적절한 양자화 계수를 이용하여 양자화되어 허프만코드로 인코딩된다.

도9는 MPEG 표준에 의해 인코딩된 화상을 도시한다. 상기한 바와 같이, 각 프레임은 3가지 유형의 화상 포맷중 하나로 인코딩된다. I화상은 독립적으로 인코딩된다. P화상과 B화상 각각에 대하여, 그로부터 각각 분할된 다른 화상이 기준 화상으로 사용되며, 기준 화상과의 차이만이 화상 정보로 인코딩된다. 상세히 설명하면, P화상은 순방향 예측(75)에 의해 기준 화상으로서 일시적으로 빠른 화상을 이용하여 인코딩된다. 한편, B 화상은 기준화상으로서, 순방향 예측(75)으로 인한 순간적으로 빠른 화상뿐 아니라 역방향 예측(76)에 의해 순간적으로 느린 화상을 이용하여 인코딩된다. GOP는 초기 화상으로서 I화상을 구비한다. I 화상은 일련의 동적 화상 데이터에 I 화상을 적절히 삽입함으로써 랜덤 액세스되는 화상을 위한 편집 포인트으로 사용된다.

도8a 내지 8f에 대한 설명을 계속한다. 도8c에 도시한 바와 같이, 화상층은 초기에 슬라이스 개시 코드(SSC)를 가지는 복수의 슬라이스를 구비하는 GOP층에서 각각의 화상(72)으로 구성된다. 각 슬라이스는 각각이 움직임 보상 예측 단위인 복수의 매크로블록(MB)을 가진다. 또한, 각 프레임의 필드 정보는 도8d에 도시된 SSC에 후속되는 슬라이스층내의 MB(73)에 포함된다.

도8e에 도시한 바와 같이, MB층은 4개의 블록층이 각각 휘도 정보 Y를 표시하고 2개의 블록층이 색차정보 Cb, Cr를 나타내는 총 6개의 블록층에 의해 표시된다. 각 블록(74)은 도8f에 도시한 바와 같이 (8 × 8) 화소로 나누어지며, DCT 연산이 블록 단위로 실행된다. 즉, 각 블록은 2차원 DCT 연산에 의해 주파수 성분의 DCT 계수로 변환된다. 그 결과, 획득된 DCT 계수들이 2차원 데이터로 표시되며, 2차원 데이터는 주파수 성분을 증가시키는 순서로 2차원 데이터를 스캐닝함으로써 1차원 데이터로 변환된다. 일반적으로, 자연 화상의 경우, 자연 화상은 DC(직류) 성분에서 최대 DCT 계수를 가지며 주파수 성분이 높아지면 최소 DCT 계수를 가진다. 따라서, DCT 계수를 양자화함으로써 DCT 계수가 0의 값을 가질 가능성이 높다. 그러므로, 코드 주파수 발생에 따라 가변 길이 코딩을 실행하는 허프만 코딩을 이용하여 인코딩 효율이 최고가 되는 순서로 스캐닝이 실시된다.

도10은 DCT연산에 의해 변환된 DCT계수를 스캐닝하는 방법을 도시한다. 그러므로, 2차원 DCT를 이용하여, 수평공간 주파수 fH와 수직공간 주파수 fV와 연관하여, (8 × 8)화소로 구성되는 블록에 대한 DCT계수를 획득할 수 있다. 도면에서 "1"로 표시된 위치는 DCT변환영역의 DC요소를 나타낸다. 이 위치로부터 수평방향으로 우측에서, DCT변환영역은 높은 주파수 대역을 가진다. 이 위치로부터 하향 수 직방향에서, DCT변환영역은 높은 주파수 대역을 가진다. 그러므로, 상측 좌측 모서리 "1"의 위치에서 스캐닝을 시작하여 2, 3, ... 64의 순서로 지그재그 방향으로, 즉, DCT변환영역에서 저주파수대역에서 고주파수대역으로 사선방향으로 진행한다. 이렇게 하여 64 DCT 계수를 일차원 으로 변환할 수 있다.

도2에서, MPEG 표준에 따라 인코딩된 전자 워터마크 데이터를 화상 데이터에 삽입하는 전자 워터마크 데이터 삽입 장치에 대한 설명을 계속한다. 전자 워터마크 데이터 삽입 장치에서, DCT연산부(31)에는 블록단위로 원래화상을 분할하여 획득된 원래화상 데이터 블록이 연속적으로 제공된다. 원래화상 데이터 블록은 각각 (8 × 8) 화소로 구성된다. DCT연산부(31)는 원래화상 데이터 블록에 대하여 DCT연산 또는 DCT변환을 실행하여 주파수 영역의 DCT계수를 생성한다. DCT계수는 양자화부(32)에 제공된다. 양자화부(32)는 미리 정해진 양자화 계수를 이용하여 각 주파수성분의 각 DCT계수를 양자화하여 양자화된 화상 블록데이터를 생성한다.

상기한 바와 같이, 전자 워터마크 데이터 삽입부(33)에는, 각각 (8 × 8)화소로 구성된 원래화상 데이터 블록으로 원래 화상을 분할하는 각 분할된 영역에 대응하는 삽입될 전자 워터마크 데이터를 미리 지정하는 삽입 정보가 설정되어 있다. 전자 워터마크 데이터 삽입부(33)는, 전자 워터마크 데이터 선택기(38)를 통하여 전자 워터마크 데이터 테이블(37)에서, 원래화상에서 양자화된 화소블록데이터의 위치에 대응하는 삽입 정보 메모리(39)에 저장된 삽입 정보에 의해 지정된 특정 워터마크 데이터를 픽업한다. 그런 다음, 전자 워터마크 데이터 삽입부(33)는 전자 워터마크 데이터 테이블(37)로부터 픽업한 전자 워터마크 데이터를 양자화된 화소블록데이터에 삽입한다.

도11은 전자 워터마크 데이터 삽입부(33)에서의 작용의 개요를 도시한다. 이러한 방법으로, 전자 워터마크 데이터 삽입부(33)는 전자 워터마크 데이터(W)를 화상별로 삽입한다. 상세히 설명하면, 전자 워터마크 데이터 삽입부(33)는 전자 워터마크 데이터 (W)를 양자화부(32)에 의해 양자화된 I화상의 주파수영역의 DCT계수에 삽입하여 I화상의 DCT계수를 I에서 (I + W)으로 변환한다. 마찬가지로, 전자 워터마크 데이터 삽입부(33)는 전자 워터마크 데이터(W)를 양자화부(32)에 의해 양자화된 B화상의 주파수영역의 DCT계수에 삽입하여 B화상의 DCT계수를 B에서 (B + W)으로 변환한다. 마찬가지로, 전자 워터마크 데이터 삽입부(33)는 전자 워터마크 데이터(W)를 양자화부 (32)에 의해 양자화된 P화상의 주파수영역의 DCT계수에 삽입하여 P화상의 DCT계수를 P에서 (P + W)으로 변환한다. 도시된 실시예에서, 상이한 전자 워터마크 데이터가 각 화상의 블록에 삽입된다.

상기의 방법으로 전자 워터마크 데이터에서 복합 화상을 디스플레이하기 위해, 역양자화부(34)는 각 주파수 성분의 각 DCT계수에 대해 역양자화를 실행한다. 역양자화는 양자화부(32)에 의해 실행된 양자화의 역(reverse)이다. 연속하여, IDCT연산부(35)는 DCT연산부(31)에 대응하는 IDCT연산을 실행하여 전자 워터마크 데이터가 삽입되는 (8 × 8) 화소로 구성되는 복합화상 데이터 블록을 생성한다. 모든 프레임에 대하여 이러한 연산을 실행함으로써, 미리 정해진 전자 워터마크 데이터가 블록단위로 하나의 프레임에 삽입된다.

한편, 상기와 같은 방법으로 전자 워터마크 데이터가 삽입된 복합 화상(CI) 를 전송 또는 보존하기 위해 복합화상을 압축하는 경우, 허프만코딩부(36)는 전자 워터마크 데이터가 삽입된 주파수성분의 일차원 트레인의 각 데이터 패턴의 주파수를 통계적으로 분석하고, 전자 워터마크 데이터가 삽입된 주파수 성분의 1차원 트레인을 짧고 긴 코드어가 빈도수가 많거나 적은 데이터에 지정된 허프만 코드화된 시퀀스로 변환하고, 허프만코드화된 시퀀스를 압축데이터(CD)로 생성한다.

도5에서, 상기의 방법으로 삽입된 전자 워터마크 데이터를 검출하는 전자 워터마크 데이터 검출 장치에 대한 설명을 계속한다. 상기의 방법으로 전자 워터마크 데이터가 삽입된 복합화상(CI)를 디스플레이하는 경우, 디코딩부(41)는 압축데이터로부터 (8 × 8) 화소로 구성된 블록의 화상 데이터를 픽업하고, 전자 워터마크 데이터 삽입 장치의 허프만코딩부(36)(도2)에 의한 허프만 코딩에 대응하여, 픽업된 화상 데이터를 디코딩한다. 그런 다음, 역양자화부(42)는 전자 워터마크 데이터 삽입 장치의 양자화부(32)에 의해 실행된 양자화의 역(reverse)인 역양자화를 실행한다. IDCT 연산부(43)는 DCT연산부(31)에 의해 실행된 DCT 연산에 대응하여 역양자화된 데이터에 대해 IDCT연산을 실행한다. 복합화상 데이터 블록(CIB)는 복합화상(CI)의 디스플레이 영역에 대응하는 저장영역에 저장된다. 저장 영역은 원래화상(OI)에서 원래 화상 데이터 블록의 디스플레이 영역에 대응하는 위치이다. 이러한 연산은 모든 프레임에 대해 실행된다.

한편, 삽입된 전자 워터마크 데이터를 검출하는 경우, 전자 워터마크 데이터추출부(45)는 디코딩부(41)에 의해 디코딩된 데이터로부터 전자 워터마크 데이터를 추출한다. 상세히 설명하면, 삽입 정보 메모리(46)는 도3의 삽입 정보와 동일한 내용을 저장한다. 삽입 정보를 기초로, 전자 워터마크 데이터 추출부(45)는 하나의 프레임의 모든 화소블록에서, 동일한 전자 워터마크 데이터가 삽입된 화소블록의 주파수 영역의 DCT계수를 합산한다.

이렇게 하여, 동일한 전자 워터마크 데이터가 하나의 프레임에 삽입된 화소블록의 주파수 영역에서, 특정 DCT 계수만이 바이어스된 값을 가지고 "+" 또는 "-"측에 표시된다. 각 DCT계수가 미리 정해진 임계치를 초과하면, 전자 워터마크 데이터추출부 (45)는 "+" 또는 "-"측을 결정하여, 결정된 데이터를 추출데이터 테이블(47)에 추출데이터로서 저장한다.

하나의 프레임에서 모든 화소영역에 대하여 추출된 데이터가 추출데이터 테이블(47)에 저장되면, 전자 워터마크 데이터 검출부(50)는 통계적 유사도를 계산한다. 전자 워터마크 데이터 검출부(50)는 전자 워터마크 데이터 선택기(49)를 통하여 전자 워터마크 데이터 테이블(48)에 저장된 제1내지 j-번째 전자 워터마크 데이터 EW1 내지 EWj를 연속적으로 제공받는다. 전자 워터마크 데이터 검출부(50)는 제공된 전자 워터마크 데이터와 추출된 전자 워터마크 데이터 사이의 통계적 유사도를 계산한다.

통계적 유사도는 예를 들면 아래와 같이 계산된다. 통계적 유사도는 제1 내지 n-번째 DCT 계수에 대해, (8 × 8)화소로 구성된 각 블록으로부터 획득된 DCT계수중에서 저주파수성분순서로 계산된다. 여기에서 n은 2이상의 양의 정수이다. 상세히 설명하면, 제1내지 n-번째 전자 워터마크 데이터 후보 ww(1), ww(2), ..., ww(n)은 전자 워터마크 데이터 선택기(49)로부터 제공된 주지의 데이터이고 제1내지 n-번째 추출된 전자 워터마크 데이터 ww(1), ww(2), ..., ww(n)은 추출데이터 테이블 (47)에 저장된다고 가정한다. 이러한 상황에서, 제1내지 n-번째 전자 워터마크 데이터 후보 ww(1) 내지 ww(n)로 구성된 후보 벡터

와 제1내지 n-번째 추출된(extracted) 전자 워터마크 데이터 WW(1) 내지 WW(n)로 구성된 추출벡터

사이의 통계적 유사도(C)는 아래의 수식(11) 내지 (13)에 의해 계산된다.

= (W(1), W(2), ..., W(n)) (11)

= (w(1), w(2), ..., w(n)) (12)

C =

×

/(WWD × wwD) (13)

여기에서, WWD는 추출벡터

의 절대값을 나타내며, wwD는 후보벡터

의 절대값을 나타낸다. 결과로, 전자 워터마크 데이터 검출부(50)에는 수식(13)에 의해 계산된 통계적 유사도(C)가 제공된다.

전자 워터마크 데이터 누적기(51)로부터 통계적 유사도(C)가 제공되면, 전자 워터마크 데이터 누적기(51)는 소정기간에 대한 통계적 유사도를 누적하여 누적 가산치를 판정부(52)에 제공한다. 판정부(52)는 누적 가산치와 미리 정해진 임계치를 비교한다. 누적 가산치가 미리 정해진 임계치보다 큰 경우, 판정부(52)는 전자 워터마크 데이터가 검출된 것으로 판정한다. 미리 정해진 임계치보다 크지 않은 경우, 판정부(52)는 전자 워터마크 데이터가 검출되지 않은 것으로 판정한다. 또한, 누적 가산치는 미리 정해진 임계치보다 크거나 워터마크 데이터 누적기(51)에서 미리 정해진 시간이 경과한 것으로 판정되면 리셋된다.

상기와 같은 방법으로, 본 발명에 따른 전자 워터마크 데이터 삽입 장치에서, 삽입 정보 메모리(39)는 블록단위로 원래 화상(OI)에 삽입될 전자 워터마크 데이터를 지정하기 위한 삽입 정보를 미리 기억 또는 저장한다. 삽입 정보를 기초로, 전자 워터마크 데이터 삽입부(33)는 제1 내지 j-번째 전자 워터마크 데이터 EW1 내지 EWj를 미리 저장하는 전자 워터마크 데이터 테이블(37)로부터 전자 워터마크 데이터 선택기(38)를 통해 공급된 지정된 전자 워터마크 데이터를 주파수 영역의 각 블록에 삽입한다. 또한, 전자 워터마크 데이터를 검출하기 위한 전자 워터마크 데이터 검출 장치에서, 삽입 정보 메모리(46)는 삽입 정보 메모리(39)에 저장된 삽입 정보와 동일한 삽입 정보를 기억 또는 저장한다. 전자 워터마크 데이터추출부(45)는 동일한 전자 워터마크 데이터가 삽입된 주파수 영역의 화상 데이터를 블록단위로 합산하며, 삽입된 전자 워터마크 데이터에 의존하여 표시되는 바이어스된 주파수영역의 화상 데이터를 추출한다. 전자 워터마크 데이터 검출부(50)는 전자 워터마크 데이터 삽입 장치의 전자 워터마크 데이터 테이블 (37)과 동일한 내용을 저장한 전자 워터마크 데이터 테이블(48)에 저장된 각각의 전자 워터마크 데이터에 대한 통계적 유사도를 계산한다. 전자 워터마크 데이터 누적기(51)는 미리 정해진 기간에 대한 통계적 유사도를 누적하고 누적가산결과 또는 값을 생성한다. 누적 가산치는 미리 정해진 시간이 경과하거나 누적 가산치가 미리 정해진 임계치를 초과하는 경우 리셋된다. 누적 가산치가 미리 정해진 임계치를 초과하면, 판정부(52)는 전자 워터마크 데이터가 검출된 것으로 판정한다.

이러한 구조로, 선행 기술에 비하여 간단한 구조로 화상열화를 방지할 수 있는 전자 워터마크 데이터 삽입 장치와 전자 워터마크 데이터 검출 장치를 제공할 수 있다. 이것은 하나의 프레임에 블록단위로 상이한 전자 워터마크 데이터를 삽입하고, 강도가 약한 전자 워터마크 데이터를 삽입할 수 있기 때문이다. 또한, 삽입된 전자 워터마크 데이터를 검출하기 위해 필요한 시간도 정의할 수 있어서, 전자 워터마크 데이터는 처음에 검출되지 않아도 그 이후에 검출될 수 있도록 특정한 강도를 가지는 전자 워터마크 데이터의 신호들을 내장함으로써, 적당한 검출 정밀도를 성취하는 것이 가능하다.

지금까지 본 발명은 실시예와 함께 설명되었으나, 통상의 기술을 가진 자에 의해 다양한 방법으로 응용할 수 있다. 예를 들면, 본 발명은 MPEG표준에 의해 정의된 인코딩 시스템에 관하여 설명되었으나 H.261과 같은 DCT를 이용한 다른 화상인코딩시스템에도 적용될 수 있다.

본 발명은 검출 시간 간격에 상관없이 전자 워터마크 데이터를 삽입할 수 있고, 최대한 간단한 구조로 화질 열화없이 전자 워터마크 데이터를 삽입할 수 있는 전자 워터마크 데이터 삽입 장치를 제공하고, 검출 시간 간격에 상관없이 전자 워터마크 데이터를 검출할 수 있고, 최대한 간단한 구조로 화질 열화없이 전자 워터마크 데이터를 검출할 수 있는 전자 워터마크 데이터 검출 장치를 제공한다.

Claims

삭제
전자 워터마크 삽입 장치에 있어서,

각각 복수의 화소들로 구성되는 복수의 블록들로 분할된 하나의 프레임의 원래 화상을 공급받고, 상기 원래 화상을 블록단위로 주파수 영역의 주파수변환된 화상 데이터로 변환하는, 주파수영역 변환수단;

상기 주파수변환된 화상 데이터를 양자화된 화상 데이터로 양자화하는 양자화수단;

복수의 전자 워터마크 데이터를 미리 기억하는 전자 워터마크 데이터 기억수단;

상기 전자 워터마크 데이터 기억수단에 저장된 상기 전자 워터마크 데이터 중에서 각 블록들에 대응하여 삽입될 전자 워터마크 데이터를 지정하기 위한 삽입 정보를 기억하는 삽입 정보 기억수단;

선택된 전자 워터마크 데이터를 생성하기 위해, 상기 전자 워터마크 기억수단으로부터, 블록단위로 상기 삽입 정보에 의해 지정된 상기 특정 전자 워터마크 데이터를 선택하는 전자 워터마크 데이터 선택수단;

전자 워터마크 삽입 복합화상 데이터를 생성하기 위해, 상기 선택된 전자 워터마크 데이터를 상기 주파수 영역의 상기 양자화된 화상 데이터에 삽입하는 전자 워터마크 데이터 삽입수단; 및

상기 전자 워터마크 삽입 복합화상 데이터상에 허프만(Huffman)코딩을 실행하는 허프만코딩수단을 포함하는, 전자 워터마크 삽입 장치.
전자 워터마크 검출 장치에 있어서,

복수의 블록들로 분할된 하나의 프레임에 블록단위로 삽입될 전자 워터마크 데이터의 유형을 지정하는 삽입 정보를 미리 기억하는 삽입 정보 기억수단;

개별 전자 워터마크 데이터가 블록단위로 삽입된 복수의 블록들로 분할된 전자 워터마크 삽입 복합화상(an electronic watermark inserted composite image)을 공급받고, 추출된 데이터를 생성하기 위하여 상기 삽입 정보에 기초하여 동일한 전자 워터마크 데이터가 삽입된 블록들을 가산함으로써 전자 워터마크 데이터를 추출하는 데이터 추출수단;

각각의 블록들에 삽입된 복수의 전자 워터마크 데이터를 미리 기억하는 전자 워터마크 데이터 기억수단;

상기 추출된 데이터와 상기 전자 워터마크 데이터 기억수단에 저장된 각각의 전자 워터마크 데이터 사이의 통계적 유사도를 계산하는 전자 워터마크 데이터 검출수단; 및

상기 통계적 유사도에 기초하여 상기 전자 워터마크 데이터가 검출되었는지의 여부를 판정하는 판정수단을 포함하는, 전자 워터마크 검출 장치.
전자 워터마크 검출 장치에 있어서,

복수의 블록들로 분할된 하나의 프레임에 블록단위로 삽입될 전자 워터마크 데이터의 유형을 지정하는 삽입 정보를 미리 기억하는 삽입 정보 기억수단;

개별 전자 워터마크 데이터가 블록단위로 삽입된 복수의 블록들로 분할된 전자 워터마크 데이터 삽입 복합화상을 공급받고, 추출된 데이터를 생성하기 위하여 상기 삽입 정보에 기초하여 동일한 전자 워터마크 데이터가 삽입된 블록들을 가산함으로써 상기 전자 워터마크 삽입 복합화상내의 전자 워터마크 데이터를 추출하는 데이터 추출수단;

각각의 블록들에 삽입된 복수의 전자 워터마크 데이터를 미리 기억하는 전자 워터마크 데이터 기억수단;

상기 추출된 데이터와 상기 전자 워터마크 데이터 기억수단에 저장된 각각의 전자 워터마크 데이터 사이의 통계적 유사도를 계산하는 전자 워터마크 데이터 검출수단;

누적 가산치를 생성하기 위해 미리 정해진 시간 간격동안 상기 통계적 유사도를 누적하는 전자 워터마크 데이터 누적수단; 및

상기 누적 가산치를 미리 정해진 임계치와 비교하여 상기 전자 워터마크 데이터가 검출되었는지의 여부를 판정하는 판정수단을 포함하는, 전자 워터마크 검출 장치.
전자 워터마크 검출 장치에 있어서,

복수의 블록들로 분할된 하나의 프레임에 블록단위로 삽입될 전자 워터마크 데이터의 유형을 지정하는 삽입 정보를 미리 기억하는 삽입 정보 기억수단;

개별 전자 워터마크 데이터가 블록단위로 삽입된 복수의 블록들로 분할된 전자 워터마크 삽입 복합화상을 허프만코딩하여 획득된 허프만코딩된 복합화상을 공급받고, 디코딩된 복합화상을 생성하기 위하여 상기 허프만코딩된 복합화상을 블록단위로 디코딩하는, 디코딩된 복합화상을 생성하는 디코딩수단;

추출된 데이터를 생성하기 위하여, 상기 삽입 정보에 기초하여 동일한 전자 워터마크 데이터가 삽입된 블록들을 가산함으로써 상기 디코딩된 복합화상내의 전자 워터마크 데이터를 추출하는, 데이터 추출수단;

각각의 블록들에 삽입된 복수의 전자 워터마크 데이터를 미리 기억하는 전자 워터마크 데이터 기억수단;

상기 추출된 데이터와 상기 전자 워터마크 데이터 기억수단에 저장된 각각의 전자 워터마크 데이터 사이의 통계적 유사도를 계산하는 전자 워터마크 데이터 검출수단; 및

상기 통계적 유사도에 기초하여 상기 전자 워터마크 데이터가 검출되었는지의 여부를 판정하는 판정수단을 포함하는, 전자 워터마크 검출 장치.
전자 워터마크 검출 장치에 있어서,

복수의 블록들로 분할된 하나의 프레임에 블록단위로 삽입될 전자 워터마크 데이터의 유형을 지정하기 위한 삽입 정보를 미리 기억하는 삽입 정보 기억수단;

개별 전자 워터마크 데이터가 블록단위로 삽입된 복수의 블록들로 분할된 전자 워터마크 삽입 복합화상을 허프만코딩하여 획득된 허프만코딩된 복합화상을 공급받고, 디코딩된 복합화상을 생성하기 위하여 상기 허프만코딩된 복합화상을 블록단위로 디코딩하는, 디코딩수단;

추출된 데이터를 생성하기 위하여, 상기 삽입 정보에 기초하여 동일한 전자 워터마크 데이터가 삽입된 블록들을 가산함으로써 상기 디코딩된 복합화상내의 전자 워터마크 데이터를 추출하는, 데이터 추출수단;

각각의 블록들에 삽입된 복수의 전자 워터마크 데이터를 미리 기억하는 전자 워터마크 데이터 기억수단;

상기 추출된 데이터와 상기 전자 워터마크 데이터 기억수단에 저장된 각각의 전자 워터마크 데이터 사이의 통계적 유사도를 계산하는 전자 워터마크 데이터 검출수단;

누적 가산치를 생성하기 위해 미리 정해진 시간 간격동안 상기 통계적 유사도를 누적하는 전자 워터마크 데이터 누적수단; 및

상기 누적 가산치를 미리 정해진 임계치와 비교하여 상기 전자 워터마크 데이터가 검출되었는지의 여부를 판정하는 판정수단을 포함하는, 전자 워터마크 데이터 검출 장치.