KR100539365B1 - 제르니크 모멘트를 사용한 불변 이미지 워터마크 - Google Patents

Abstract

본 발명은 불변 이미지 특징 벡터에 기초하는 강건한 이미지 워터마크와 관련된다. 이미지의 정규화된 제르니크 모멘터가 벡터로서 사용된다. 본 발명에 따른 워터마크는 이러한 벡터를 수정하는 것에 의하여 생성된다. 워터마크 신호는 제르니크 모멘트를 이용하여 만들어진다. 이 신호는 복원 과정 후에 공간 영역에서 커버 이미지에 추가된다. 수정된 이미지로부터 특징 벡터를 추출하고 이 특징 벡터를 워터마크로 사용한다. 이러한 워터마크는 시험 이미지의 계산된 제르니크 모멘트를 주어진 워터마크 벡터와 비교하는 것에 의하여 탐지된다. 회전 불변은 제르니크 모멘트의 절대값을 취하는 것에 의하여 얻어진다. 이미지 정규화 방법은 스케일 및 이동변환 불변을 위하여 사용된다. 본 발명에 따른 방법의 강건성을 스터마크 3.1을 사용하여 예시하고 시험하였다. 시험 결과는 본 발명에 따른 워터마크는 기하학적 변형 및 압축에 대하여 강건성을 나타낸다는 것을 보여주었다.

Description

제르니크 모멘트를 사용한 불변 이미지 워터마크{ INVARIANT IMAGE WATERMARK USING ZERNIKE MOMENTS}

본 발명은 디지털 워터마크와 관련되며 보다 구체적으로 제르니크 모멘크를 사용한 불변 이미지 워터마크와 관련된다.

디지털 워터마크는 그 데이터에 대한 권리 주장을 만들기 위하여 추후에 탐지되거나 추출될 수 있도록 디지털 데이터에 추가된 신호를 의미한다. 복제 방지를 위한 방법으로서 워터마크의 초기 제안이 이루어진 후에, 워터마크는 많은 연구자에 의하여 주목되었고 워터마크 분야에 대하여 집중적인 연구가 이루어졌다[1][2].

정적 이미지와 비디오 내용물을 위한 많은 다른 워터마크는 약간의 기하학적 변형에 대해서도 영향을 받기 쉽다[3]. 이러한 문제점은 원본의 이미지가 탐지 장치에 제공되지 않는 경우에 가장 명백해진다. 그러므로, 기학학적 변형에 대한 저항성을 가진 워터마크를 설계하는 것은 미해결 과제로 남아있다.

기하학적 변형에 대하여 강건한 워터마킹 방법에 대한 필요성이 인식된 이래로, 많은 연구 결과가 보고되었다[4][5][6][8]. 그들의 대부분은 퓨리에 변환의 변이-불변성(shift-invariant property)을 기초로 한다. 다양한 접근 방법 중, 불변 워터마크는 다른 것들과 비교할 때 이점을 가진다. 불변 워터마크 방법은 강력한 수학적 이론에 근거한다. 그러한 것으로서, 이러한 종류에 속하는 워터마킹 방법은 실험적인 결과뿐만 아니라 증명할 수 있는 불변성을 가진다. 또한, 관련된 수학적 이론을 사용하여 신뢰할 수 있는 시스템을 설계할 수 있는 보다 높은 잠재성이 존재한다.

회전, 스케일, 전이(Rotation, Scale, Translation : RST)에 대하여 강건함을 가지는 불변 워터마크는 처음으로 [8]에서 보고되었다. 이 문헌에서는 워터마크를 위하여 퓨리에-멜린 변환을 사용했다. 퓨리에-멜린 변환은 적분 불변성을 나타낸다. 변이-불변(shift-invariance)은 퓨리에 변환의 절대값이 전이에 대하여 불변성을 가진다는 것으로부터 얻어진다. 스케일 및 회전 불변을 위하여, 이 문헌에서는 로그-극 좌표로 표시된 이미지의 퓨리에 크기를 나타내는 퓨리에 절대값 스펙트럼을 사용하였다. 이러한 과정은 퓨리에-멜린 변환과 동일하다. 이러한 과정을 통하여, 스케일 및 회전은 다른 퓨리에 변환 후에 불변성을 나타내는 전이로 전환된다. 문헌 [9]에 소개된 방법에서도 마찬가지로 퓨리에-멜린 변환을 기초로 한다. 퓨리에-멜린 변환을 사용하는 대부분의 방법은 심각한 구현(implementation) 상의 어려움을 가진다. 이러한 어려움은 주로 삽입(embedding) 및 탐지 과정에서 로그-극 및 역 로그-극 맵핑에 의한 보간법 에러(interpolation error)로 인하여 발생한다. 로그-극 맵팽의 균일하지 않은 샘플링 그리드(grid)가 또한 에일리어싱(aliasing)을 발생시킨다. 이미지의 특징을 사용하는 워터마킹 알고리즘이 문헌 [6][7]에서 제안되었다.

모멘트(moments)와 모멘트의 불변 함수(function)는 다양한 분야의 2- 및 3-차원 형태 인식 응용에서 불변 이미지 추출을 위하여 광범위하게 사용된었다[10][11][12][13][14]. 제시된 문헌 [15]에서 후(Hu)는 정규 모멘트(regular moments)로부터 RST 불변성을 가지는 7개의 모멘트 불변성을 유도했다. 동일한 불변성이 문헌 [16]에서 제시된 워터마크에서 사용되었다. 문헌 [16]에서 제시된 방법에서는 후(Hu)의 모멘트 불변 함수가 채용되었고 그들을 워터마크로서 사용했다. 문헌에서 개시된 방법에서는 이미지의 모멘트 값을 수정하는 것에 의하여 워터마크를 삽입한다(embed). 실행 과정에서, 문헌 [16]에서 제안된 방법의 사용자들은 삽입 강도(embedding strength)를 결정하기 위하여 매우 복잡한 계산을 해야했다. 결과적으로, 문헌 [16]에서 사용된 방법에 의해서는 체계적으로 워터마크를 삽입할 수 없었다.

본 발명은 위에서 설명한 워터마크 방법에서 제기된 문제점들을 해결할 수 있는 워터마킹 방법을 제공하는 것을 목적으로 한다.

문헌에서 정의된 다양한 형태의 모멘트 중에서, 제르니크 모멘트(Zernike moments)는 이미지 노이즈(image noise), 정보 내용(information content)에 대한 둔감성(insensitivity) 및 충실한 이미지 표현 능력의 관점에서 다른 것들에 대하여 뛰어난 것으로 나타났다[17].

최근에, 제르니크 모멘트가 문헌 [19]에서 불변 워터마크로서 사용되었다. 이미지는 공통 중심을 가지는 링 형태로 세분화되고 워터마크 신호가 각각 링의 제르니크 모멘트에 변조된다(modulated). 워터마크를 삽입한 이미지는 분할된 서브이미지의 변조된 모멘트로부터 이미지를 다시 구성하는 방식으로 얻어진다. 그러나, 다시 이미지를 구성하는 과정은 계산상으로 비용이 많이 드는 과정이며 과정 진행 도중에 심각한 데이터 손실이 발생한다. 그러므로, 이러한 방법의 수행은 여러 가지 미심쩍은 면이 있다. 문헌 [19]로부터 제기되는 다른 문제점은 저자들이 단지 회전 불변성만을 보여주었다는 것이다. 문헌 [19]에서 소개된 방법의 사용자는 스케일, 전이 및 다른 가능한 변형에 대해서는 언급하지 않았다.

스케일 및 전이 불변성은 어떤 표준 이미지에 대하여 이미지를 전-처리(preprocessing)하는 것에 의하여 얻어질 수 있다. 이미지 정규화 기술은 불변 패턴 인식을 위하여 사용된다[20]. 일단 이미지가 이미지의 중심(centroid)으로 전이되고 표준 크기로 스케일되면, 스케일 및 전이에 대한 불변성이 얻어진다.

정규화 방식을 사용하는 워터마킹 계획에 대한 기하학적 변형을 수정하기 위한 일반적인 접근 방법이 문헌 [21]에서 제시되었다. 워터마크가 삽입되기 전에 이미지가 표준 크기로 전이되고 스케일이 되며 워터마크 된 이미지는 변형을 위하여 원본의 이미지로 역-변환이 된다. 탐지 장치에서, 시험 이미지는 동일한 표준 이미지로 변환되고 삽입된 신호는 성공적으로 회복될 수 있다.

낮은-차수 정규의 모멘트 수단에 의해서 적당히 정규화가 된 제르니크 모멘트의 절대값(moduli)에 의한 이미지 재현이 코탄짜드와 홍(Khotanzad and Hong)에 의하여 연구되었고[18] 불변 문자 인식 작업(an invariant character recognigion task)에 있어서 다른 모멘트 방식의 방법에 비하여 뛰어난 결과를 보여주었다. 본 발명에 따른 워터마크는 이러한 계획을 사용한다. 본 명세서에서, 제르니크 모멘트에 기초하는 새로운 불변 워터마크를 개시한다. 본 발명에 따른 워터마크 방법에 따르면, 제르니크 모멘트의 성질을 이용하여 회전 불변을 얻었고 정규화(normalization)에 의하여 스케일 및 전이 불변을 얻었다. 본 발명에 따른 방법은 문헌 [18]에서 사용된 과정을 따른다. 본 발명에 따른 방법은 제르니크 모멘트가 아니라 공간 영역(the spatial domain)에 직접적으로 직교 패턴(orthogonal pattern)에 의하여 워터마크를 삽입한다는 점에서 문헌 [19]에서 사용된 방법과 차이를 나타낸다. 그러므로, 본 발명에 따른 워터마크는 영상화질의 저하(the fidelity degradation)로 인한 어려움을 가지지 않을 것이다. 또한, 문헌 [19]에서 제시된 방법이 단지 회전 불변성만을 가지는 데 비하여, 본 발명에 따른 방법은 RST-불변성을 가진다.

본 명세서에 따른 본 발명의 설명은 아래와 같은 방식으로 이루어진다. 먼저, 제르니크 모멘트와 그 성질을 소개한다. 다음으로 삽입과 탐지 알고리즘이 설명되고, 실험 결과를 제시한다. 마지막으로, 본 발명에 따른 방법과 관련된 몇 가지 문제를 언급하고 결론을 유도한다.

제르니크 모멘트와 그 성질에 대하여 먼저 설명하기로 한다. 아래에서 제르니크 모멘트를 사용하여 본 발명에 따른 RST-불변성을 얻는 방법을 설명한다. 제르니크 모멘트는 페란토니스(Perantonis) 및 리스보아(Lisboa)에 의하여 연구되었고[22] 동시에 코탄짜드 및 루(Lu)에 의하여 연구되었다[23]. 아래에서 설명되는 몇 가지 사항들은 문헌 [23][18]에 기초한다.

A. 제르니크 모멘트(Zernike moment)

문헌 [24]에서, 제르니크는 단위 원 즉, x²+y²=1의 내부 전체에 걸쳐서 완전한 직교 집합(a complete orthogonal set)을 형성하는 복소 다항식 집합(a set of complex polynomials)을 도입했다. 이러한 다항식 집합을 Vnm(x,y)으로 두면 다항식은 아래와 같이 표현된다;

Vnm(x,y)=Vnm(ρ,θ)=Rnm(ρ)exp(jmθ) … (1),

주어진 식에서,

n : 양의 정수 또는 0(zero),

m : n- m 은 짝수이며, |m|≤n라는 조건을 만족하는 양 및 음의 정수,

ρ : 원점으로부터 (x, y) 픽셀에 이르는 벡터의 크기,

θ : 반-시계 방향으로 측정된 벡터 ρ와 x 축 사이의 각,

Rnm(ρ) : 아래와 같이 정의되는 반지름 방향의 다항식(radial polynomial),

R_n,_-m(ρ)=R_nm(ρ)가 된다. 이러한 다항식은 직교성(orthogonal)을 가지며 아래의 식을 만족한다;

… (2)

단위 원의 외부에서 소멸하는 연속적인 이미지 함수 f(x, y)를 위한 반복 계수(repetition) m을 가진 차수 n의 제르니크 모멘트는 아래의 식으로 표현된다;

… (3)

디지털 이미지에 대하여, 적분은 합(Σ)으로 대치된다.

주어진 이미지의 제르니크 모멘트를 계산하기 위하여, 이미지의 중심이 원점으로 선택되고 픽셀 좌표가 단위 원의 범위로 맵핑된다. 단위 원의 외부에 속하는 픽셀은 계산에서 사용되지 않는다. A^* _nm=A_n,-m이 된다.

차수 n_max 인 f(x,y)의 모멘트 A_nm의 모든 값을 안다고 가정하자. 원본 이미지 함수 f(x,y)와 동일한 불연속적인 모멘트를 가지는 (x, y)가 계산될 수 있다. 제르니크 베이스(basis)의 직교성(orthogonality)에 의하여,

… (4)

위 식에서 m은 수식 (1)에서와 유사한 조건을 가진다.

n_max이 무한대로 접근함에 따라 이미지 함수 (x, y)는 f(x, y)에 접근한다.

도 1은 처음 4개의 제르니크 다항식을 나타낸 것이다. 도 1은 제르니크 직교 다항식의 에너지 분포에 대한 간단한 아이디어를 제시해 준다. 재구성의 과정은 도 2에서 문자 A에 대한 50×50의 크기의 바이너리 이미지(binary image)로 예시되어 있다. 재 구성된 바이너리 이미지는 [0,255]의 범위로 맵핑 후에 수식 (4)를 사용하여 생성되었다. 낮은 차수의 모멘트는 전체적인 형태 정보를 찾아내고 높은 주파수에 해당하는 세세한 사항들은 보다 높은 차수의 모멘트에 의하여 채워진다는 것을 알 수 있다. 주어진 예에서, 차수 2부터 차수 30까지 사용되었다. 차수 0과 1은 정규화가 된 후 이미지 특징에 대하여 독립적이므로 제외되었다.

B. 정규화된 제르니크 모멘트의 불변성(Invariance of Normalized Zernike moment)

각 α만큼 이미지를 회전시킨다고 가정한다. 회전된 이미지를 f'라 표시하면, 동일한 극 좌표 위에서 원본 이미지와 회전된 이미지 사이의 관계는 아래 식으로 표현된다;

f'(ρ,θ)=f(ρ, θ-α) … (5).

수식 (3)으로부터 회전된 이미지의 제르니크 모멘트는 아래 식과 같아진다;

… (6)

변수 θ₁=θ-α의 변화에 의하여,

… (7)

수식 (7)은 각각의 제르니크 모멘트가 회전에 대하여 위상 변이(a phase shift)를 얻는다는 것을 보여준다. 그러므로, 제르니크 모멘트의 크기가 되는 A' _nm 은 이미지의 회전 불변 특징으로 사용될 수 있다.

스케일과 전이 불변을 얻기 위하여, 각각의 이미지의 정규 모멘트(the regular moments)가 이용된다. 전이 불변성은 이미지를 첫 번째 차수 모멘트, m₀₁ 및 m₁₀이 모두 0이 되는 새로운 이미지로 변환하는 것에 의하여 얻어진다. 이러한 과정은 원본의 f(x, y)를 f(x+ , y+)가 되는 다른 이미지로 변환하는 것에 의하여 수행되며, 위 식에서 및 는 아래 식 (8)로부터 계산된 원본이미지의 중심을 나타낸다:

…(8)

스케일 불변성은 각각의 형상의 0 번째(zeroth) 모멘트 m₀₀를 미리 결정된 값 β로 설정하는 것과 같은 방법으로 각각의 형상을 확대하거나 축소하는 것에 의하여 얻어진다. f(x/a, y/a)가 이미지 함수 f(x, y)의 스케일된 버전이라고 하자. 이 경우, f(x,y)의 정규 모멘트(the regular moment) m_pq및 f(x/a, y/a)의 정규모멘트 m'_pq는 아래와 같은 식으로 표현된다:

… (9)

m'₀₀=β값을 가지도록 하는 것이 목적이므로, 으로 둘 수 있다. m'₀₀ 에 로 치환하면, m'₀₀=a²m₀₀를 얻을 수 있다. 위와 같은 방법으로 를 이용하여 f(x/a, y/a)로 원본 이미지 f(x, y)를 변환하는 것에 의하여 스케일 불변성이 얻어진다.

요약하면, 이미지 함수 f(x, y)는 g(x,y)로 그것을 변환하는 방법으로 스케일 및 전이에 관련된 정규화(normalized)가 만들어질 수 있으며. g(x, y)는 아래와 같은 식으로 표현된다;

… (10)

위의 식에서 (x, y)는 f(x,y)의 중심을 나태내고, 가 되며, β는 미리 결정된 값이다.

그러므로, 본 발명에 따른 방법에서는 먼저 중심(the centroid)으로 이미지의 원점을 이동시키고 표준 크기로 스케일한다. 이미지의 제르니크 모멘트를 계산하면, 모멘트의 크기는 RST-불변성을 가진다.

알고리즘(ALGORITHM)

적당한 정규화가 이루어진 후에 제르니크 모멘트의 크기는 RST-불변성을 가지므로, 이것을 워터마크로 사용한다. 제르니크 모멘트로 벡터를 만들고, 이것을 변형시켜서 워터마크를 생성하며, 이 워터마크 신호는 공간 세기 영역(the spatial intensity domain)에 삽입된다. 삽입 강도(embedding strength)는 반복적인 특징 수정(feature modification) 및 확인 과정(verification procedure)에 의하여 제어된다. 이러한 과정은 워터마크의 삽입 및 탐지 시에 발생할 수 있는 구현 에러를 피할 수 있도록 한다.

탐지 장치에서, 제르니크 특징 벡터를 시험 이미지로부터 추출하고, 추출된 벡터와 워터마크 벡터 사이의 유사성(similarity)이 계산된다. 본 발명에서는 기존의 정규화된 상관성(normalized correlation) 대신 유사성 측정으로서 RMSE(root-mean-square-error)를 사용한다. 이는 동일한 벡터에 대해서는 특징 벡터가 화이트하지 않고(not white) 상관성 측정이 피크 값을 나타낼 수 없기 때문이다. 그러므로, RMSE 함수를 사용하여 두 벡터 사이의 거리를 측정한다. 만약 RMSE 값이 문턱값(theshold)보다 더 작다면, 워터마크가 탐지된다. 원본 이미지가 탐지 장치에서 요구되지는 않는다. 본 발명에서는 먼저 탐지 장치(the detector)를 정의하고 이 탐지 장치를 사용하여 반복적인 삽입 장치(embedder)가 만들어진다.

A. 워터마크 탐지(Watermark Detection)

도 3은 탐지 절차를 나타낸 것이다. 탐지 장치는 테스트 이미지 i(x,y)를 취하고 스케일 및 전이 보상을 위하여 수식 (10)을 사용하여 표준 이미지로 정규화한다. 정규화된 이미지 i_n(x,y)의 제르니크 모멘트 A_nm이 계산된다. 특징 벡터가 시험 이미지의 제르니크 모멘트로 구성되고 특징 벡터 는 다음과 같은 식으로 표시된다;

=|A₂₀||A₂₂||A₃₁| …|A_NmaxNmax|.

유사성 s는 추출된 벡터 와 워터마크 사이의 관계는 RMSE를 이용하여 아래와 같은 식으로 표시된다;

…(11)

위 식에서 N은 특징 벡터의 길이를 나타낸다. 만약 s가 탐지 문턱값 T보다 더 작은 값을 가진다면, 워터마크가 탐지된 것으로 평가한다. 모멘트 A₀₀ 및 A₁₁은 특징 벡터 구성에 포함되지 않는다.

B. 워터마크 삽입(Watermark Insertion)

워터마크의 삽입은 입력 이미지의 제르니크 모멘트를 수정하는 방식으로 구현된다. 워터마크 신호가 커버 이미지(cover image)의 제르니크 모멘트로 삽입될 수 있지만, 그 과정은 심각한 구현상의 어려움을 발생시킨다는 것이 밝혀졌다. 입력 이미지의 제르니크 모멘트를 수정한 후에, 수식 (4)를 사용하여 워터마크된 이미지를 재구성해야 한다. 그러나, 위에서 언급한 것처럼, 재구성된 이미지는 예상된 f(x,y)가 될 수 없으며, 대신 (x,y)가 얻어진다. 재구성 과정은 높은 차수를 필요로 하며 이는 심한 계산 부하(computation load)라는 결과에 이르게 된다. 이러한 이유로, 차수가 30이하인 경우에는 결코 만족스러운 화질(fidelity)를 얻을 수 없으며, 이러한 차수에서도 실행하기 위하여 너무 많은 시간을 요구한다.

워터마크 신호는 제르니크 다항식을 사용하여 이미지의 세기(the intensity of the image)에 직접적으로 추가될 수 있다. α에 의하여 원본 이미지의 A_kl을 수정하기 위해서는, 재구성 방정식에 의하여 세기 픽셀 값으로 수정의 기여도를 계산할 수 있다. 기여도를 나타내는 함수 (x, y)는 아래 식으로 표현된다;

… (12)

|V_kl|, |V_k,-l| ≤1의 값을 가지므로, 원본 이미지에 추가된 변형은 (x,y)≤±2α로 제한되며, 이는 α에 의하여 조정되는 것을 의미하며, 이미지에 대한 최대 픽셀 변형을 정확하게 제어할 수 있다. A_kl의 수정을 위하여, 재구성 과정 후에 영상이 실수값을 갖도록 A_{k, -l}도 실수 값으로 된 세기(intensity)를 가지도록 변화시켜야 한다. 본 발명에서는 워터마크된 이미지를 얻기 위하여 재구성된 워터마크 신호를 커버 이미지에 간단히 추가한다. 이상적으로는, 추가된 신호 (x,y)는 단지 A_kl에 영향을 미치며, A'_kl값은 아래의 식으로 표현된다.

… (13)

수식 (2)에서와 같이 제르니크 모멘트의 직교성에 의하여,

…(14)

모든 l=0에 대하여, A'_kl-A_kl > 0이 된다. 그러므로, 공간 영역에서 재구성된 워터마크 신호를 추가하는 것에 의하여 이미지의 제르니크 특징 벡터를 수정할 수 있다.

몇몇 워터마킹 방법에 있어서, 탐지 장치에서 정확한 삽입 신호를 추출할 수없었다. 문헌 [8][9]와 관련된 연구에서 보고된 것처럼, 탐지 장치에서 추출된 신호가 그 자체의 성질로 인하여 삽입된 신호와 다른 상황이 존재한다. 정확한 역함수가 존재하지 않은 삽입 함수 또는 구현의 불연속성이 그러한 상황에 대한 이유가 될수 있다. 문헌 [9]에는, 이러한 오차의 효과를 줄이기 위한 근사치 방법(approximation methods)이 제안되어 있다. 이러한 방법과 유사한 방법을 사용하는 대신에, 본 발명에서는 다른 방법으로 이러한 문제에 접근한다. 문헌 [7]에서 제시되어 있는 것처럼, 본 발명에서는 반복적인 삽입 방법을 사용한다. 커버 이미지(cover image)의 특징 벡터를 라고 둔다. 삽입 후에, 워터마크된 특징 벡터를 로서 의도했다. 그러나, 탐지 장치에서 대신 를 얻었다. 그러므로, 워터마크 신호를 삽입한 후에, 본 발명에서는 이러한 워터마크된 이미지로부터 특징 추출기(feature extractor)를 적용하고 초기에 수정된 특징 벡터 대신에 삽입된 워터마크로서 추출된 특징 를 사용한다. 이러한 방법으로, 역함수에 의한 오차를 피할 수 있었다. 그러나, 워터마크의 유일성 및 삽입 후에 그것의 시각적인 비인식성을 보장하기 위하여, 워터마크로서 를 사용하기 위한 검증 절차를 필요로 한다. 본 발명에서는 탐지장치 반응 s를 이용하여 기하학적 변형으로부터 발생하는 최대 노이즈 레벨 rl을 실험적으로 측정하며 r1은 아래 식으로 표현된다;

…(15)

위식에서 _i는 이미지의 특징 벡터가 되며 는 RST 변형 후에 이미지의 특징 벡터가 된다. 워터마크를 삽입하지 않은(unmarked) 이미지 및 삽입한(marked) 이미지로부터 두 특징 벡터 사이의 거리가 r1보다 큰 값이라는 것을 보이기 위하여 삽입 강도(the embedding strength)를 조정해야 한다. 그러나, 삽입 강도는 이미지의 특징 사이의 최소 거리를 정의하는 r2보다 더 높은 값을 가질 수는 없으며 r2는 아래와 같은 식으로 표시된다;

…(16)

위식에서 _i와 _j는 서로 다른 이미지의 특징 벡터를 나타낸다. r1과 r2값은 실험적으로 미리 조정하였다. 삽입 매개 변수를 변화시킴에 따라, r1<s(,)<r2의 성립 여부가 점검되었다. 이러한 조건이 만족되고 삽입된 신호가 시각적으로 인지할 수 없는 것이라면(unobtrusive), 는 워터마크로서 수용된다. 본 발명에서는 올바른 결과를 얻을 때까지 이러한 확증 과정을 반복했다. 이러한 방법으로, 수정된 신호의 정확한 역함수를 사용하지 않고 워터마크를 삽입할 수 있었다.

위에서 설명한 방법을 이용하여, 삽입 과정을 설계할 수 있다. 도 4는 전체적인 삽입 과정을 나타낸 것이다. 삽입된 워터마크 신호 W_nm은 다음과 같은 식으로 표현된다;

… (17)

위 식에서 L={(n₁, m₁), (n₂, m₂),....}은 삽입되는 위치를 나타낸다. 수식 (4)로서 W_nm의 세기 영역 표현(intensity domain representaton)을 재구성하고 (x,y)를 얻는다. 워터마크 이미지 i_w(x,y)는 커버 이미지 i(x, y)에 (x,y)를 더하는 것에 의하여 만들어진다. 정규화 후에 i_w의 제르니크 모멘트를 추출하는 것에 의하여 탐지를 위하여 사용되는 워터마크를 추출한다. 그 다음 단계로 r1<s(,)<r2를 만족할 때까지 반복적으로 워터마크 를 확인한다.

도 5는 256×256 레나 이미지를 이용한 삽입 및 탐지의 실시 예를 나타낸 것이다. α=2.5, L={(3,1),(4,2)}로서 워터마크 신호를 삽입했다. 도 5(a)는 워터마크된 레나 이미지를 나타낸다. 측정된 PSNR은 41.78dB이며 삽입된 노이즈는 인지되지 않았다(invisible). 재구성된 (x,y)는 도 5(b)에 제시되어 있다. (x,y) 의 절대값을 취하고 보다 좋은 표현을 위하여 균등화된다(equalized). 도 5(c)는 (x,y)의 히스토그램을 나타낸 것이다. 추가된 이미지는 수식 (12)로부터 예상되는 0의 값 근처에 주로 분포한다. 삽입을 위하여 선택된 이러한 두 개의 직교 복소 다항식은 도 5(d)에 제시되어 있다. 도 5(d)에서는 단지 실수 부분만을 나타내었다. 도 6은 탐지장치에서 탐지된 워터마크를 나타낸 것이다. 도 6에서 제시된 것처럼 A₃₁과 A₄₂에서 피크값이 나타난다는 것을 알 수 있다. 삽입된 모멘트 주위에도 작은 피크가 보이는데, 이러한 원하지 않는 피크는 문헌 [25]에서 분석된 것처럼 과정의 불연속적인 실행으로 인한 것이다.

실험 결과

실험은 코렐 이미지 라이브러리[26]로부터 50개의 이미지를 이용하여 행해졌다. 유효한 워터마크 생성을 위하여, r1과 r2는 워터마크되지 않은 이미지를 사용하여 실험적으로 결정되었다. 유사성 s를 워터마크를 삽입하지 않은 시험 이미지 사이에서 측정되고 가장 작은 s가 r2로 선택되었다. 도 7은 회전, 스케일, 임의적인 기하학적 공격 및 JPEG 압축 후에 각각의 특징 벡터의 변화를 나타낸 것이다. 도 7에 제시된 그래프로부터, r1은 10⁴으로 설정한다. r2를 결정하기 위하여, 정의된 특징 벡터의 강건성이 시험되었다. 유사성 s가 원본 이미지와 공격받은 이미지에 대하여 측정되었다. 가장 작은 s가 r2에 대하여 선택되었다. 강건성의 시험을 위하여, r1=10⁴ , r2=10⁵으로 설정되었다.

워터마크된 이미지의 충실성이 PSNR=36dB 이상이 유지되도록 하기 위하여 제르니크 모멘트는 W_nm을 제어하여 수정된다. 삽입 위치 L에는 A₀₀, A₁₁을 포함시키지 않는다. 차수 n=5로서 계산된 10개의 제르니크 모멘트 중에서 2 또는 3개의 위치를 선정하였다.

각각의 공격에 대한 워터마크의 강건성이 50개의 표시되지 않은 이미지와 50 개이 표시된 이미지를 사용하여 측정되었다. 각각의 워터마크된 이미지에 대하여, 스터마크(StirMark) 프로그램은 다양하게 변형한 이미지를 생성했다. 본 발명에 따른 실험에 있어서, 각각의 워터마크된 이미지마다 두개의 공격받은 이미지를 생성하여 총 100개의 공격 받은 이미지를 사용했다. 히스토그램으로 계산된 실험적인 확률 밀도 함수(pdf)를 측정했다. s의 정확한 분포를 알 수 없지만, 강건성의 대략적인 평가를 보여주기 위하여 실험적인 pdf를 가우시안 분포(Gaussian distribution)로 근사시킨다. 잘못된 양의 확률(P_fp)와 잘못된 음의 확률(P_fn)은 이와같이 근사된 분포의 평균과 분산의 평가를 사용하여 계산될 수 있다. 임의적인 기하학적 공격의 경우 P_fp=1.00×10^-1 및 P_fn=5.6×10^-2로서 가장 낮은 값을 가진다. 이는 본 발명에 따른 방법이 의도된 공격에 대하여 좋은 성능을 나타내는 것을 보여준다. 유사성 히스토그램과 수신 작용 특성(Receiver Operating Characteristic : ROC) 곡선(여러 가지 문턱값에 대한 P_fp 대 P_fn)이 분석을 위하여 만들어졌다. 본 발명에서는 4개의 공격이 시험되었다; 회전, 스케일링, 임의적인 기하학적 변형 및 압축.

A. 회전(Rotation)

도 8은 1°및 30°만큼 회전된 후에 s 와 ROC 곡선에 대한 히스토그램을 나타낸 것이다. 다른 불변성 함수들과는 달리, 제르니크 모멘트가 회전에 대하여 불변이므로 계산된 벡터를 변이시킬 필요가 없다. 큰 각의 회전에 대한 실행은 공격에 대하여 회전-및-절삭 선택(the rotation-and-crop option)을 사용했기 때문에 결과가 좋지 않았다. T=10⁴에 대하여, P_fd는 1.6×10^-1을 나타내고 P_fn 은 9.6×10^-2으로 나타난다. 잘못된 음의 확률은 이러한 공격에 대하여 잘못된 양의 확률보다 더 좋은 성능을 나타낸다.

B. 스케일링(Scaling)

탐지 히스토그램은 75% 스케일 축소된 이미지와 150% 스케일 확대된 이미지를 사용하여 측정되었다. 도 9의 히스토그램에서 제시된 것처럼, 워터마크된 이미지는 스케일링 공격에 대하여 강한 저항성을 나타낸다. ROC 곡선은 P_fp가 7.8×10^-2이 되고 P_fn은 1.5×10^-5이 된다. 이러한 값은 다른 공격에 비하여 상대적은 낮은 값이 되고 이는 본 발명에 따른 방법이 스케일링 공격에 대해서는 잘 수행된다는 것을 의미한다. 본 발명에 따른 방법은 심지어 50%까지 스케일링 축소된 후에도 스케일링 공격에 대하여 강건성을 가진다.

C. 임의적인 기하학적 변형

이러한 공격은 이미지의 프린트-및-스케닝 과정을 시뮬레이트한다. 이는 이미지[3]를 스트레칭, 쉐어링 및/또는 회전(stretching, shearing, and/or rotating)에 있어서 감지되지 않은 정도의 임의적인 양만큼 최소한의 기하학적 변형을 적용한다. 도 10에서, 히스토그램은 워터마크된 이미지와 마크되지 않은 이미지 사이의 유사성에 있어서 큰 분산값을 나타낸다. 결과로서, P_fp는 1.0×10^-1이 되고 P_fn은 5.6×10^-2이 되며, 이러한 값들은 다른 것과 비교할 때 상대적으로 큰값이 된다. 위에서 기술한 많은 방법들이 이러한 공격에 대하여 강건성을 가지지 못했지만 본 발명에 따른 알고리즘은 이러한 수치에도 불구하고 좋은 작용성을 나타낸다.

D. 압축(compression)

Q=30 및 70의 JPEG 압축이 워터마크 삽입 후 적용되었다. Q=30에 대하여, 워터마크된 이미지 화질이 매우 악화되었으나, 본 발명에 따른 방법은 이와같은 강한 압축 공격(the harsh compression attack)에 대해서도 강건성을 나타내었다. 도 11은 히스토그램과 ROC 곡선을 나타낸 것이다. P_fp는 7.9×10^-2이 되었고 P_fn 은 9.9×10^-3이 되었다. 이러한 수치들은 본 발명에 따른 방법이 JPEG 압축에 대하여 강한 복원성을 가진다는 것을 보여준다.

본 발명에서는 대수적인 불변성에 기초한 새로운 RST 불변 워터마킹 방법이 제안되었다. 불변 워터마크를 위하여 제르니크 모켄드가 사용된다. 정규화 과정을 이용하여, 본 발명에서는 RST-불변성을 얻었다. 실행 오차를 감소시킬 수 있는 새로운 워터마크 삽입 및 탐지 알고리즘이 제안되었다. 워터마크는 원본 이미지의 제르니크 특징 벡터를 수정하는 것에 의하여 삽입된다. 워터마크는 반복적인 확인 과정을 통하여 삽입 과정 동안 생성된다. 본 명세서에서는 불변성에 관하여 수학적으로 기술하는 방법을 사용하였다. 또한 본 명세서에서 본 발명에 따른 방법에 대한 시뮬레이션이 수행되었고 그 결과는 본 발명에 따른 방법이 의도된 기학학적 변형 및 압축에 대하여 강건성을 가지는 것을 보여주었다.

※ 참고문헌

[1] I.J. Cox and M.L. Miller, "Eletronic watermarking: The first 50 years," Proc. IEEE Int. Workshop on Multimedia Signal Processing pp. 225-230, 2001.

[2] F. Hartung and M. Kutter, "Multimedia watermarking technique," Proc. IEEE, Vol 87,pp. 1079-1107, July, 1999.

[3] F.A.P Petitcolas, R.J. Anderson, and M.G.Kuhn, "Attack on copyright marking systems," in Proc. 2nd Int. Workshop on information Hiding, pp. 218-238,1998.

[4] S.Pereira and T.Pun, "Robust template matching for affine resistant image watermarksI," IEEE Trans. Image Processing, Vol 9, pp. 1123-1129, July,2000.

[5] M.Kutter, "Watermarking resisting to translation, rotation, and scaling," Proc. SPIE Multimedia Systems Applications, pp. 3528 423-431, 1998.

[6] M.Kutter, S.K. Bhattacharjee, and T. Ebrahimi, "Towards second generation watermarking schemes," Proc. IEEE Int. Conf. Image Processing, pp. 320-323, 1999.

[7] H.S.Kim, Y.Back and H.K.Lee, "Rotation-, scale-, and translation-invariant image watermark using higher order spectra," to appear in Optical Engineering, Vol 42. Feb,2003.

[8] J.J.K. O'Ruanaidh and T.Pun, "Ratation, scale, and translation invariant spread digital image watermarking", Signal Processing, Vol 66, pp. 303-317, 1998.

[9] C.Y. Lin, M. Wu, J. A. Bloom, I.J. Cox, M.L. Miller and Y. M.Lui, "Rotation, scale, and translation resilient watermarking for images," IEEE Trans. Image Processing, Vol 10. May, pp. 767-782, 2001.

[10] B.A. Dudani, K.J. Breeding, and R.B.McGhee, "Aircraft identification by moment invariants,", IEEE Trans. Computer, Vol C-26, pp. 39-46, 1977.

[11] S.S. Reddi, "Radial and angular moment invariants for image identification," IEEE Trans. Pattern. Anal. Machine Intell., Vol PAMI-3, pp. 240-242, 1981.

[12] Y.S. Abu-Mostafa and D.Psaltis, "Image normalization by complex moments," IEEE Trans. Pattern. Anal. Machine Intell., Vol PAMI-7, pp. 46-55, 1985.

[13] A.P. Reeves, R.J.Prokop, S.E. Andrews, and F.P.Kuhl, "Three dimensional shape analysis using moment and Fourier descriptors," IEEE Trans. Pattern. Anal. Machine Intell., Vol 10, pp. 937-943, 1988.

[14] J.Wood, "Invariant pattern recognition: A review," Pattern recognition, Vol 29, No.1 pp. 1-17, 1996.

[15] M.K.Hu, "Visual pattern recognition by moment invariants," IEEE Trans. Inform. Theory, Vol 8, pp. 179-187, 1962.

[16] M.Alghoniemy and A.H. Tewfik, "Image watermarking by moment invariant," IEEE int. Conf. Image Processing, pp73-76, 2000.

[17] C.H. Teh and R. T. Chin, "On image analysis by the methods of moments," IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 10, No.4.pp.496-513, 1988.

[18] A.Khotanzad and Y. H.Hong, "Invariant image recognition by Zernike moments," IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 12 No. 5 pp. 489-497, 1990.

[19] M.Farzam and Shahram Shirani "A robust multimedia watermarking technique using Zernike transform," IEEE Multimedia Signal Processing, pp. 529-534, 2001.

[20] J.Leu, "Shape normalization through compacting," Pattern Recognition Letters, Vol 10,pp. 243-250, 1989.

[21] M.Alghoniemy and A.H.Tewfik, "Geometric distortion correction through image normalization," IEEE Int, Conf, Multimedia and Expo, pp. 1291-1294, 2000.

[22] S. J. Perantonis and P.J.G.Lisboa, "Translation, rotation, and scale invarinat pattern recognition by high-order neural networks and moment classifiers, " IEEE Trans. Neural Newworks, Vol.3 No. 2 pp.241-251, 1992.

[23] A.Khotanzad and J.H.Lu, "Classification of invariant image representations using a neural newwork,"IEEE Trans. Acoustics, Speech and Signal Process., Vol. 38 pp. 1028-1038, 1990.

[24] F.Zernike, "Beugungstheorie des Schneidenverfahrens und seiner verbesserten Form, der Phasenkontrastmethode," Physica, Vol 1, pp. 689-704, 1934.

[25] S.X.Liao and M.Pawlak, "on the accuracy of Zernike moments for image analysis," IEEE Trans. Pattern Analysis and Machine Intelligence, Vol 20, No. 12 pp. 1358-1364, 1998.

[26] Corel Corporation, Corel Stock Photo Library 3.

[27] J. Atlmann, "On the digital implementation of the rotation-invariant Fourier-Mellin Transform," J. Inform. Process. Cybern, ELK 28 (1), pp. 13-36, 1987.

[28] M.L. Miller, "Watermarking with dirty-paper codes," Proc. IEEE Int. Conf. Image Processing, pp. 538-541, 1999.

도 1은 첫 번째 네 개의 제르니크 다항식의 실수 부분을 나타낸 것이다.

도 2는 문자 A에 대한 복원과정을 나타낸 것으로서 각각 차수=5, 15, 20, 30인 경우에 해당한다.

도 3은 워터마크 탐지 과정을 나타낸 것이다.

도 4는 워터마크 삽입 과정을 나타낸 것이다.

도 5는 레나 이미지의 워터마크 삽입 및 워터마크 탐지를 도시한 것이다.

도 6은 탐지된 워터마크를 나타낸 것이다.

도 7은 원본으로부터의 특징과 공격 받은 표시되지 않은 이미지 사이의 s에 대한 히스토그램을 도시한 것이다.

도 8은 회전 1°및 30°에 대한 강건성을 나타낸 것이다.

도 9은 스케일 75% 및 150%에 대한 강건성을 나타낸 것이다.

도 10은 임의적인 기하학적 변형에 대한 강건성을 나타낸 것이다.

도 11은 JPEG 압축 Q=30 및 70에 대한 강건성을 나타낸 것이다.

※ 본 명세서의 상세한 설명에서 [숫자]로 표시된 것은 발명의 상세한 설명에 첨부된 문헌명을 나타내는 것이다. 예를 들어 [1]은 첨부된 문헌 [1]을 나타낸다.

Claims (18)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 워터마크 탐지 방법에 있어서,

   테스트 이미지 i(x,y)를 정규화된 이미지 i_n(x,y)로 변환하여 제르니크 모멘트 A_nm을 계산하고, 제르니크 모멘트로 구성되는 특징 벡터 를 이용하여 워터마크 와의 유사성 s를 비교하는 것을 특징으로 하는 워터마크를 탐지하는 방법.
8. 청구항 7에 있어서,

   i(x,y)의 정규화는 아래와 같은 식,

   (a=, β는 미리 정해진 값, (,)는 원본 이미지의 중심을 나타낸다)을 이용하는 것을 특징으로 하는 워터마크를 탐지하는 방법.
9. 청구항 7에 있어서,

   제르나크 모멘트의 특징 벡터 는 아래와 같이,

   =|A₂₀||A₂₂||A₃₁| …|A_NmaxNmax|로 표시되는 것을 특징으로 하는 워터마크를 탐지하는 방법.
10. 청구항 7에 있어서,

    유사성 s는 RMSE(root-mean-square-error)을 이용하는 것을 특징으로 하는 워터마크를 탐지하는 방법.
11. 청구항 10에 있어서,

    유사성 s는 아래와 같이,

    로 표시되는 것을 특징으로 하는 워터마크를 탐지하는 방법.
12. 워터마크의 삽입 방법에 있어서,

    원본 이미지 i(x,y)에 삽입된 워터마크를 에 대하여 적당한 함수 를 사용하여 제르니크 다항식의 직교 집합을 이용하여 재구성되어 정규화된 이미지 i_wn(x,y)에 대한 워터마크 를 추출하여 ,사이의 유사성 s을 측정하여 조건을 만족여부를 점검하고, 조건을 만족하지 않는 경우에는 생성된 제르니크 워터마크 W_nm을 함수 g로 재구성된 정규화된 이미지의 워터마크를 추출하여 유사성 s를 비교하여 다시 점검하는 것을 특징으로 하는 반복적인 방법을 사용하는 워터마크 삽입 방법.
13. 청구항 12에 있어서,

    재구성 함수 는 아래와 같이,

    (V_mn은 제르니크 다항식 집합,ρ는 원점으로부터 (x,y) 픽셀에 이르는 거리, θ는 반시계 방향으로 측정된 벡터 ρ와 x 축사이의 거리) 로 표현되는 것을 특징으로 하는 워터마크 삽입방법.
14. 청구항 12에 있어서,

    유사성 s의 점검 조건은, 최대 노이즈 레벨 r2과 이미지로부터 두 특징 벡터사이의 거리를 나타내는 r1를 이용하여 r1<s(,)<r2가 되는 것을 특징으로 하는 워터마크 삽입 방법.
15. 청구항 14에 있어서,

    r1=가 되고, r2=( _i는 이미지의 특징 벡터, 는 RST 변형 후의 이미지의 특징 벡터)이 되는 것을 특징으로 하는 워터마크 삽입 방법.
16. 청구항 12 내지 청구항 15 중의 어느 한 항에 있어서,

    유사성 s는 RMSE(root-mean-square-error)을 이용하는 것을 특징으로 하는 워터마크 삽입 방법.
17. 청구항 12에 있어서,

    재구성 함수 g는 아래와 같이,

    (V_xy는 제르니크 다항식 집합, A_xy는 반복 계수 y를 가진 차수 x의 제르니크 모멘트, A'_xy는 A_xy의 수정치, α는 이미지의 회전각,ρ는 원점으로부터 (x,y) 픽셀에 이르는 거리, θ는 반시계 방향으로 측정된 벡터 ρ와 x 축사이의 거리)로 표현되는 것을 특징으로 하는 워터마크 삽입방법.
18. 워터마크의 탐지 방법에 있어서,

    청구항 12항에 의한 반복적인 삽입 과정을 통하여 코드 북(code book)을 작성하여 탐지 장치의 내부에 삽입하여 추출된 특징과 코드 북에 등록된 벡터를 비교하여 워터마크를 탐지하는 방법.