KR101363577B1 - 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치 및 그 방법 - Google Patents

재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치 및 그 방법 Download PDF

Info

Publication number
KR101363577B1
KR101363577B1 KR1020120092266A KR20120092266A KR101363577B1 KR 101363577 B1 KR101363577 B1 KR 101363577B1 KR 1020120092266 A KR1020120092266 A KR 1020120092266A KR 20120092266 A KR20120092266 A KR 20120092266A KR 101363577 B1 KR101363577 B1 KR 101363577B1
Authority
KR
South Korea
Prior art keywords
input image
image
watermark
rotation
size
Prior art date
Application number
KR1020120092266A
Other languages
English (en)
Inventor
이흥규
류승진
오태우
정대진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020120092266A priority Critical patent/KR101363577B1/ko
Application granted granted Critical
Publication of KR101363577B1 publication Critical patent/KR101363577B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치 및 그 방법에 관한 것으로, 입력영상에 특정 워터마크가 삽입되어 있는지 여부를 검사하는 워터마크 검출기(110); 워터마크 검출에 실패한 입력영상의 변형 종류 도출을 위해 입력영상과 원본영상간의 특징점 벡터를 추출하는 변환종류 판별부(120); 입력영상으로부터 크기 변환율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상을 원본영상과 동일하게 변환하는 크기/역변환부(130); 및 입력영상으로 부터 회전 변화율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상을 원본영상과 동일하게 변환하는 회전/역변환부(140);를 포함한다.
상기와 같은 본 발명에 따르면, 영상으로부터 추출한 특징점 벡터를 토대로 영상의 크기/회전 변환 여부를 판별하고, 이후 영상에 가해진 크기변형 및 회전변형을 추정하고, 추정된 변형만큼 워터마크가 삽입된 영상을 역변환하여 워터마크를 판별함으로써, 디지털 워터마크의 동기화문제(회전 및 확대와 같은 공격)를 미연에 방지하는 효과가 있다.

Description

재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치 및 그 방법{APPARATUS AND METHOD FOR ENHANCING DETECTION OF DIGITAL WATERMARK AGAINST RESAMPLING ATTACKS}
본 발명은 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치 및 그 방법에 관한 것으로 더욱 상세하게는, 영상에 가해진 변형을 추정하고, 추정된 변형만큼 워터마크가 삽입된 영상을 역변환 시킨 이후 워터마크를 판별함으로써 동기화의 문제를 근본적으로 없애는 기술에 관한 것이다.
IT 기술의 발전은 디지털 영상의 보편적인 보급 및 사용을 이끌었다. 그러나, 복사 및 배포가 용이한 디지털 영상의 특성을 악용한 불법적인 콘텐츠의 유통 역시 기하급수적으로 증가하고 있다. 디지털 콘텐츠의 저작권을 보호하기 위하여 다양한 디지털 워터마크 기법이 제안되었다.
디지털 워터마크란 영상 자체에 눈에 보이지 않는 저작권 신호를 삽입함으로써, 목표 영상의 저작권을 보호하는 기술이다. 이러한 워터마크를 검출하는 기술과 관련해서는 대한민국 공개특허 제10-2007-0082877호(디지털 워터마크 검출방법 및 장치)외에 다수의 선행특허가 개시되어 있다.
전술한 선행특허에는 ① 입력 이미지 신호로부터 특정 주파수 성분 신호를 추출하고, ② 제1변환 이미지 신호를 발생시키기 위해 입력 이미지 신호를 직교 변환하며, ③ 제2변환 이미지 신호를 발생시키기 위해 특정 주파수 성분 신호를 직교 변환하고, ④ 결합 이미지 신호를 발생시키기 위해 제1변환 이미지 신호와 제2변환 이미지 신호를 결합하며, ⑤ 제3변환 이미지 신호를 발생시키기 위해 결합 이미지 신호를 직교 변환하고, ⑥ 제3변환 이미지 신호에서 나타나는 피크를 검색함으로써 입력 이미지 신호 내에 매립된 워터마크 정보를 평가하며, ⑦ 압축 신호를 얻기 위해, 목표 신호가 제1변환 이미지 신호와 제2변환 이미지 신호 및 결합 이미지 신호 중 적어도 하나로 형성된, 목표 신호의 진폭과 목표 신호의 주파수 중 적어도 하나에 따라 변하는 압축 특성을 기초로 압축되어지는 목표 신호를 진폭 압축하는 기술이 개시되어 있다.
그러나, 선행특허를 포함한 다수의 디지털 워터마크는 동기화의 문제, 즉 회전, 확대와 같은 공격에 취약한 단점이 있고, 이러한 공격에 강인한 디지털 워터마크는 과거의 연구들을 통해 제안된바 있으나, 그 사용이 제한적이다.
본 발명의 목적은, 영상으로부터 추출한 특징점 벡터를 토대로 영상에 가해진 크기변형 및 회전변형 여부를 판별하고, 추정된 변형만큼 워터마크가 삽입된 영상을 역변환하여 워터마크를 판별함으로써, 디지털 워터마크의 동기화문제(회전 및 확대와 같은 공격)를 근본적으로 없애는데 그 목적이 있다.
이러한 기술적 과제를 달성하기 위한 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치는, 입력영상에 특정 워터마크가 삽입되어 있는지 여부를 검사하는 워터마크 검출기(110); 워터마크 검출에 실패한 입력영상으로부터 추출한 특징점 벡터로부터 변환 종류를 도출하는 변환종류 판별부(120); 입력영상으로부터 크기 변환율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상을 원본영상과 동일하게 변환하는 크기/역변환부(130); 및 입력영상으로부터 회전 변화율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상을 원본영상과 동일하게 변환하는 회전/역변환부(140);를 포함한다.
그리고, 전술한 장치를 기반으로 하는 본 발명의 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 방법은, 워터마크 검출기(110)가 입력영상에 특정 워터마크가 삽입되어 있는지 여부를 검사하는 (a) 단계; (a) 단계의 검사결과, 입력영상으로부터 워터마크 검출에 실패한 경우, 변환종류 판별부(120)가 입력영상의 변형 종류 도출을 위해 입력영상의 특징점 벡터를 추출하는 (b) 단계; 크기/역변환부(130)가 추출된 특징점 벡터로부터 크기 변환율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상이 원본영상과 동일해지도록 변환하는 (c) 단계; 및 회전/역변환부(140)가 추출된 특징점 벡터로부터 회전 변화율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상이 원본영상과 동일해지도록 변환하는 (d) 단계;를 포함한다.
상기 본 발명에 따르면, 영상으로부터 추출한 특징점 벡터를 토대로 영상에 가해진 크기변형 및 회전변형을 추정하고, 추정된 변형만큼 워터마크가 삽입된 영상을 역변환하여 워터마크를 판별함으로써, 디지털 워터마크의 동기화문제(회전 및 확대와 같은 공격)를 미연에 방지하는 효과가 있다.
도 1은 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치를 도시한 구성도.
도 2는 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치의 크기/역변환부에 의한 크기 변환율을 추정과정을 도시한 구성도.
도 3은 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치의 크기/역변환부에 의한 크기 변환율이 1.2일때
Figure 112012067782355-pat00001
를 계산한 것을 도시한 도면.
도 4는 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치의 크기/역변환부에 의한 크기 변환율이 1.2일때
Figure 112012067782355-pat00002
를 계산한 것을 퓨리에 변환 한 것을 도시한 도면.
도 5는 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치의 회전/역변환부에 의해 탐지된 회전각을 도시한 도면.
도 6은 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 방법을 도시한 순서도.
도 7은 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 방법의 제S30단계의 세부과정을 도시한 순서도.
도 8은 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 방법의 제S40단계의 세부과정을 도시한 순서도.
본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 도 1 내지 도 5를 참조하여 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치(100)에 대해 살피면 아래와 같다.
도 1에 도시된 바와 같이, 본 발명에 따른 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치(100)는, 입력영상에 특정 워터마크가 삽입되어 있는지 여부를 검사하는 워터마크 검출기(110)와, 워터마크 검출에 실패한 입력영상의 변형 종류 도출을 위해 입력영상의 특징점 벡터를 추출하는 변환종류 판별부(120)와, 입력영상으로부터 크기 변환율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상을 원본영상과 동일하게 변환하는 크기/역변환부(130), 및 입력영상으로부터 회전 변화율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상을 원본영상과 동일하게 변환하는 회전/역변환부(140)를 포함하여 구성된다.
구체적으로, 워터마크 검출기(110)는 입력영상에 특정 워터마크가 삽입되어 있는지 여부를 검사하여 입력영상에 삽입된 워터마크를 추출한다.
이때, 워터마크가 삽입된 입력영상은 아래의 [수학식 1]과 같이 표현할 수 있다.
[수학식 1]
Figure 112012067782355-pat00003
여기서, 워터마크 신호 WM 는 I 로 표현되는 입력영상의 신호보다 그 크기가 미약하기 때문에, 워터마크의 여부와 상관없이 입력영상(콘텐츠)에 가해진 의도적/비의도적 변형의 종류를 파악할 수 있다.
한편, 변환종류 판별부(120)는 워터마크 검출기(110)로부터 입력영상에 포함된 워터마크를 인가받지 못하는 경우, 입력영상의 변형 종류 도출을 위해 입력영상의 특징점 벡터를 추출한다.
이때, 변환종류 판별부(120)의 특징점 벡터 추출은, 이산 웨이블릿 변환 기반의 특징점, 화질 측정 도구 기반의 특징점, 정보이론 기반의 특징점, 및 텍스쳐 기반의 특징점을 추출하고, 추출한 특징점들을 순차적 전방 유동 선택 기법(Sequential Forward Floating Selection)에 따라 최적의 특징점으로 정량화 하여 추출한다.
일반적으로, 영상에 가해지는 변형은 아래의 [수학식 2]의 보간 과정을 거쳐서 만들어 진다. 원본영상 신호를
Figure 112012067782355-pat00004
라 하고, 보간 함수를
Figure 112012067782355-pat00005
라고 상정하면, 변환으로 생성된 신호
Figure 112012067782355-pat00006
는 아래의 [수학식 2]와 같이 도출된다.
[수학식 2]
Figure 112012067782355-pat00007
이때, 주어진 영상이 워터마크가 포함된 영상이
Figure 112012067782355-pat00008
이라면, 이는 다음의 [수학식 3]과 같이 나타낼 수 있다.
[수학식 3]
Figure 112012067782355-pat00009
그러므로, 만약 워터마크가 삽입된 영상에 보간이 가해진다면 이는 다음의 [수학식 4]와 같이 나타낼 수 있다.
[수학식 4]
Figure 112012067782355-pat00010
여기서, 보간 이후의 결과는 동일한 보간 과정을 거친 원본 영상과 워터마크의 합으로 나타낼 수 있음을 알 수 있다. 즉, 워터마크 역시 영상과 동일한 보간 과정을 거치므로 보간 탐지 기법은 워터마크의 삽입 여부와 상관없이 보간 여부를 탐지 할 수 있다.
따라서, 다음의 항들을 통해 영상의 변화 정도를 탐지하는 기법을 설명하고, 이를 이용하여 영상을 원본에 가까운 형태로 역변환 시킨다. 역변환 시킨 이후, 해당 워터마크 검출기로 워터마크의 존재여부를 다시금 검출함으로써, 워터마크의 강인성을 한 단계 보완할 수 있다.
한편, 크기/역변환부(130)는 변환종류 판별부(120)에 의해 추출된 특징점 벡터로부터 크기 변환율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상이 원본영상과 동일해지도록 변환한다.
구체적으로, 크기/역변환부(130)는 도 2에 도시된 바와 같이, 행렬을 이용하여 변환종류 판별부(120)에 의해 입력영상의 각 행에 대한 이차 미분값을 계산하고, 유사 변화량(Pseudo-variance)을 계산한 이후, 주파수 영역대의 첨두치(peak) 값을 토대로 입력영상에 대한 크기 변환율을 추정하며, 추정된 크기 변환율을 역변환하여 원본영상과 동일해지도록 입력영상을 변환한다.
이하, 도 2 내지 도 4를 토대로 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치(100)의 크기/역변환부(130)의 세부 기능에 대해 살피면 아래와 같다.
크기 변환율을 추정하기 위해, 주어진 영상의 2차 도함수의 분산이 주기적인 특성을 가지는 성질을 이용하여 추정할 수 있다. 전술한 바와 같이, 일차원 원본 신호를
Figure 112012067782355-pat00011
라 하고, 보간 함수를
Figure 112012067782355-pat00012
라 상정하면 크기 변환으로 생성된 신호
Figure 112012067782355-pat00013
는 다음의 [수학식 5]와 같다.
[수학식 5]
Figure 112012067782355-pat00014
여기서,
Figure 112012067782355-pat00015
이다. 크기 변환율이
Figure 112012067782355-pat00016
이면,
Figure 112012067782355-pat00017
의 신호의 간격
Figure 112012067782355-pat00018
는
Figure 112012067782355-pat00019
와 같은데 이를 이용하여
Figure 112012067782355-pat00020
의 2차 도함수를 도출하면 [수학식 6]과 같다.
[수학식 6]
Figure 112012067782355-pat00021
또한, [수학식 6]을 상기 [수학식 5]로 정리하면 아래의 [수학식 7]과 같이 표현할 수 있다.
[수학식 7]
Figure 112012067782355-pat00022
여기서, [수학식 7]의
Figure 112012067782355-pat00023
이며,
Figure 112012067782355-pat00024
의 분산을 계산하면 [수학식 8]과 같이 도출된다.
[수학식 8]
Figure 112012067782355-pat00025
이때,
Figure 112012067782355-pat00026
는
Figure 112012067782355-pat00027
로 이루어진 백터, K는 원본 신호
Figure 112012067782355-pat00028
의 공분산 행렬(covariance matrix)이다. 만약 원본 신호를 평균 0, 분산 1인 정규분포를 따른다고 가정하면 공분산 행렬 K는 단위행렬(identity matrix)이 되고 상기 [수학식 5]로부터 다음의 [수학식 9]를 도출할 수 있다.
[수학식 9]
Figure 112012067782355-pat00029
또한, [수학식 9]에서
Figure 112012067782355-pat00030
이기 때문에
Figure 112012067782355-pat00031
와
Figure 112012067782355-pat00032
는 같은 값을 가진다. 따라서,
Figure 112012067782355-pat00033
는 1의 주기를 가진다. 일반적으로 디지털 영상의 픽셀 간격은 정수 단위로 표현되기 때문에
Figure 112012067782355-pat00034
의 간격을 가지는 신호를 정수 단위의 간격을 가지도록 표현하면 신호
Figure 112012067782355-pat00035
는
Figure 112012067782355-pat00036
가 되고 주기는
Figure 112012067782355-pat00037
가 된다. 여기서,
Figure 112012067782355-pat00038
이기 때문에
Figure 112012067782355-pat00039
의 주기를 구하여 크기 변환율
Figure 112012067782355-pat00040
를 계산 할 수 있다.
따라서, 도 2에 도시된 바와 같은 크기 변환율 추정 과정을 통해 입력영상에 대한 크기 변환율을 추정할 수 있다.
먼저, 입력영상으로부터 첫 번째로 획득한 영상
Figure 112012067782355-pat00041
를 이용하여 각 행별로 2차 도함수
Figure 112012067782355-pat00042
를 [수학식 10]과 같이 계산한다.
[수학식 10]
Figure 112012067782355-pat00043
그리고, 계산된
Figure 112012067782355-pat00044
를 이용하여 [수학식 11]과 같이 2차 도함수의 분산을 추정한다.
[수학식 11]
Figure 112012067782355-pat00045
이렇게 추정된 2차 도함수의 분산에서 주기성을 찾기 위해 퓨리에 변환 이후 peak 값을 찾으면 된다. peak 값을 찾기 위해 변환 영역의 각 값들을 중간값 필터를 거친 값으로 나누어주고, 최대값을 가지는 위치를 선택한다.
이때, peak의 위치
Figure 112012067782355-pat00046
는 신호의 주파수를 나타내므로 크기 변환율 W는 다음의 [수학식 12]와 같이 계산 할 수 있다.
[수학식 12]
Figure 112012067782355-pat00047
한편, 도 3은 크기 변환율 1.2일때
Figure 112012067782355-pat00048
를 계산한것이고, 도 4는 이를 퓨리에 변환 한 것이다. 도 4에 도시된 바와 같이, 특정 주파수에서 높은 첨두치(peak) 값을 가지는 것을 확인할 수 있다.
따라서, 전술한 바와 같은 과정을 통해 크기 변환율 W를 추정할 수 있으므로, 이를 이용하여 주어진 입력영상을 역변환하여 원본영상으로 복원시킬 수 있다.
그리고, 회전/역변환부(140)는 변환종류 판별부(120)에 의해 입력영상으로부터 회전 변화율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상을 원본영상과 동일해지도록 변환한다.
구체적으로, 회전/역변환부(140)는 행렬을 이용하여 변환종류 판별부(120)에 의해 회전되었다고 판별된 영상의 각 행을 이산 퓨리에 변환한 후, 주파수 영역대의 첨두치(peak) 값을 토대로 입력영상에 대한 회전각을 추정하고, 추정된 영상의 회전각을 역변환하여 원본영상과 동일해지도록 입력영상을 변환한다.
또한, 회전/역변환부(140)의 입력영상에 대한 회전각 추정은 앞서 언급한 크기/역변환부(130)의 크기 변환율 도출과 유사하게 이루어지는데, 입력영상에 회전이 가해진 경우, 해당 영상은 크기 변환을 가한 것과 유사한 성질을 나타낸다.
먼저, 입력영상
Figure 112012067782355-pat00049
가 크기 변화율 W 만큼 늘어났을 때 입력영상
Figure 112012067782355-pat00050
을 이산 퓨리에 변환한 결과의 최고점의 위치는 [수학식 13]과 같이 표현 된다. 여기서 W은 실수이다.
[수학식 13]
Figure 112012067782355-pat00051
여기서, 입력영상
Figure 112012067782355-pat00052
가
Figure 112012067782355-pat00053
만큼 회전되었을 때, 회전 후의 점
Figure 112012067782355-pat00054
은 [수학식 14]와 같이 표현 된다.
[수학식 14]
Figure 112012067782355-pat00055
여기서,
Figure 112012067782355-pat00056
는 회전 전의 점이다. 회전된 영상에서
Figure 112012067782355-pat00057
인 고정된 행에 대하여 [수학식 14]를 정리하여
Figure 112012067782355-pat00058
를 소거하면
Figure 112012067782355-pat00059
은 [수학식 15]와 같이 표현 된다.
[수학식 15]
Figure 112012067782355-pat00060
[수학식 15]를 통하여
Figure 112012067782355-pat00061
만큼의 회전이
Figure 112012067782355-pat00062
로 크기 변환 한 것과 같음을 알 수 있다. 따라서, 해당 행을 이산 퓨리에 변환 하였을 때 최고점의 위치는 [수학식 16]과 같이 표현 된다.
[수학식 16]
Figure 112012067782355-pat00063
마찬가지 방법으로 [수학식 16]에서
Figure 112012067782355-pat00064
를 소거하면,
Figure 112012067782355-pat00065
은 [수학식 17]와 같이 표현된다.
[수학식 17]
Figure 112012067782355-pat00066
또한, [수학식 17]을 통하여 회전된 이미지를 이산 퓨리에 변환을 하였을 때의 또 다른 최고점의 위치는 [수학식 18]과같이 표현됨 을 알 수 있다.
[수학식 18]
Figure 112012067782355-pat00067
따라서, [수학식 16]과 [수학식 17]을 이용하여 회전된 영상의 각 행을 이산 퓨리에 변환한 후, 최고점의 분포를 통하여 회전된 영상의 회전각을 추정할 수 있다.
이상을 이용하여 실제로 회전각을 측정하고 역변환 하는 과정은 다음과 같다.
㉮ 3×3 Laplacian operator를 사용하여 크기 M×N 영상
Figure 112012067782355-pat00068
의 Edge map
Figure 112012067782355-pat00069
를 생성한다.
㉯ 최고점을 셀
Figure 112012067782355-pat00070
을 0으로 초기화한다. 여기서
Figure 112012067782355-pat00071
은
Figure 112012067782355-pat00072
㉰
Figure 112012067782355-pat00073
의 각 행에 대하여 이산 퓨리에 변환을 한 후 모두 더하여 평균을 구한다. 만들어진 1차원 배열의
Figure 112012067782355-pat00074
번째 값이
Figure 112012067782355-pat00075
에서 가장 클 경우
Figure 112012067782355-pat00076
을 수행한다. 실제 환경에서
Figure 112012067782355-pat00077
는 5를 사용하였다.
㉱
Figure 112012067782355-pat00078
에서 peak 를 구한이후,
Figure 112012067782355-pat00079
에 해당하는
Figure 112012067782355-pat00080
를 구한다. 이 때,
Figure 112012067782355-pat00081
는 sin, cos 에 따라 2개의 peak 가 생길 수 있다. 회전된 영상
Figure 112012067782355-pat00082
를 역회전하여 복원한다.
이산 퓨리에 변환을 한 결과는 대칭이므로 ㉱ 과정에서 절반만을 고려해도 충분하다. 도 5는 주어진 영상을 25도 만큼 회전시켰을 때의
Figure 112012067782355-pat00083
의 형태를 보여주고 있다. 도 5를 통해 특정 주파수에 peak 가 생기는 것을 확인할 수 있다. 그러므로 '영상 크기 변화'에서 다루었던 것과 마찬가지로
Figure 112012067782355-pat00084
의 각 값을 중간값 필터를 거친 값으로 나누어준 이후, 가장 큰 두 개의 첨두치(peak) 값을 선택한다.
전술한바와 같이, 크기/역변환부(130) 및 회전/역변환부(140)에 의해 역변환된 입력영상을 인가받은 워터마크 검출기(110)가 입력영상에 워터마크가 삽입되었는지 여부를 재차 검사하여 입력영상에 삽입된 워터마크를 검출하게 된다.
따라서, 영상에 가해진 변형을 추정하고, 추정된 변형만큼 워터마크가 삽입된 영상을 역변환 시킨 이후 워터마크를 판별함으로써, 회전과 확대와 같은 공격(동기화 문제)에 취약한 단점을 근본적으로 해소할 수 있다.
이하, [표 1]내지 [표 5]를 참조하여 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치(100)에 대한 실험결과에 대해 살피면 아래와 같다.
본 실험은 주어진 영상에 총 4가지 종류의 워터마크를 삽입하였고, 이는 다음과 같다.
● Subspace 기반의 비대칭 워터마크
● 히스토그램 차이값을 이용한 가역 워터마크
● Spread Spectrum(S. S.) 방식의 공간 영역 디지털 워터마크
● DCT 기반의 디지털 워터마크
이상의 과정을 거쳐 총 6690장의 실험 영상을 생성하였고, 이후 각 영상마다 아래의 변형을 가하였다. 변형된 영상은 bilinear 필터를 사용하여 보간된다.
● 회전 영상: 주어진 영상을
Figure 112012067782355-pat00085
사이에서
Figure 112012067782355-pat00086
단위로 회전시켜 생성
● 확대 영상: 주어진 영상을 1.1배 ~ 2.0배 사이에서 0.1 간격으로 확대하여 생성
1) 변형 종류 탐지 실험
제안하는 시스템은 일차적으로 워터마크의 삽입 여부와 상관없이 회전 또는 확대 변환을 겪었는지를 찾아내는 것을 그 목표로 한다. 그러므로 앞서 살펴본 전체 변형 탐지에 적합한 특징점을 사용하여 워터마크의 존재 여부와 상관없이 회전-확대를 분류한다.
이를 위해서 실험 환경에서 언급한바와 같이, 워터마크 여부와 상관없이 회전된 영상과 확대된 영상 중 각 1338 장을 임의로 추출하였다. 그 중 절반을 이용하여 회전-확대 분류기를 학습시킨 이후, 남은 절반으로 테스트를 진행하였다. 분류 결과는 아래의 [표 1]과 같다. [표 1]에서 살펴보는 바와 같이 약 92% 의 성능으로 회전-확대를 분류함을 알 수 있다.
[표 1]
Figure 112012067782355-pat00087

2) 영상 크기 변환율 추정 실험
워터마크 삽입 여부와 상관없이 크기 변화율을 추정함을 보이기 위해 전체 실험 영상에 대해 서로 다른 워터마크를 삽입하였다. 이후, 워터마크 삽입 여부와 상관없이 실험에 사용된 모든 영상을 1.1배부터 2.0배까지 확대하였다. 즉, 6690장의 실험영상을 0.1배 간격으로 확대하여 총 66900장의 영상을 생성하였다.
다음으로 이들 각각을 제안하는 기술을 이용하여 그 크기 변화율을 추정하였다. 오차범위 ±0.01 의 범위내에서 크기변화율을 추정하면 크기변화율이 옳게 추정되었다고 가정하였다.
[표 2]는 이상의 환경에서 크기 변화율을 추정한 결과이다. [표 2]에서 살펴보는 바와 같이 제안하는 방법은 평균 98.25% 로 크기변화율을 추정해 냄을 확인할 수 있다.
[표 2]
Figure 112012067782355-pat00088

다음으로, 추정된 크기 변화율이 옳다고 판별되었다면, 그 크기 변화율의 역수만큼 주어진 영상을 역변환 이후 워터마크를 검출 하였다. 이때, 가역 워터마크는 공격 자체를 가정하지 않으므로 실험에 포함시키지 않았다.
[표 3]은 확대된 만큼 영상을 역변환 했을 때의 워터마크 검출률을 나타낸다. 일단 변환을 정확하게 추정하였으면 99.36% 의 확률로 워터마크를 추정해냄을 알 수 있다.
[표 3]
Figure 112012067782355-pat00089

3) 영상 회전 추정 실험
영상 크기 변환율 추정 실험도 마찬가지로 워터마크 삽입 여부와 상관없이 회전 변화율을 추정함을 보이기 위해 전체 실험 영상에 대해 서로 다른 워터마크를 삽입하였다. 이후 워터마크 삽입 여부와 상관없이 실험에 사용된 모든 영상을 5도 내지 45도 사이에서 5도의 간격으로 회전시켰다.
다음으로 제안하는 기술을 이용하여 그 회전 각도를 추정하였다. 저주파 영역에 에너지가 모이는 주파수 영역의 특성상 10도 이하에서는 실험을 진행하지 않았다. 이상의 환경에서 오차범위 ±1 도의 범위내에서 회전 각도를 추정하면 회전 정도를 옳게 추정되었다고 가정하였다.
[표 4]는 이상의 환경에서 회전 정도를 추정한 결과이다. 약 89.09% 의 확률로 회전을 정확하게 추정함을 알 수 있다.
[표 4]
Figure 112012067782355-pat00090

크기 변화율 실험과 마찬가지로, 회전 각도를 옳게 추정하였다고 판별된 영상에 대하여 그 회전 각도의 역수만큼 주어진 영상을 역변환 이후 워터마크를 검출 하였다. 마찬가지로 가역 워터마크는 공격 자체를 가정하지 않으므로 실험에 포함시키지 않았다.
[표 5]는 회전된 만큼 영상을 역변환 했을 때의 워터마크 검출률을 나타낸다. 평균 98.47% 의 성능을 보임을 확인할 수 있다.
[표 5]
Figure 112012067782355-pat00091

이하, 도 6을 참조하여 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 방법에 대해 살피면 아래와 같다.
먼저, 워터마크 검출기(110)가 입력영상에 특정 워터마크가 삽입되어 있는지 여부를 검사하여 입력영상에 포함된 워터마크를 검출한다(S10).
제S10단계의 검사결과, 입력영상으로부터 워터마크 검출에 실패한 경우, 변환종류 판별부(120)가 입력영상의 변형 종류 도출을 위해 입력영상의 특징점 벡터를 추출한다(S20).
이어서, 크기/역변환부(130)가 크기가 변환되었다고 판별된 영상의 크기 변환율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상이 원본영상과 동일해지도록 변환한다(S30).
뒤이어, 회전/역변환부(140)가 회전되었다고 판별된 영상의 회전 변화율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상이 원본영상과 동일해지도록 변환한다(S40).
그리고, 워터마크 검출기(110)가 크기/역변환부(130) 및 회전/역변환부(140)로부터 인가받은 입력영상에 특정 워터마크가 삽입되어 있는지 여부를 검사하여 입력영상에 삽입된 워터마크를 검출한다(S50).
이하, 도 7을 참조하여 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 방법의 제S30단계의 세부과정에 대해 살피면 아래와 같다.
제S20단계 이후, 크기/역변환부(130)가 행렬을 이용하여 변환종류 판별부(120)에 의해 입력영상의 각 행에 대한 이차 미분값을 계산한다(S31).
이어서, 크기/역변환부(130)가 유사 변화량(Pseudo-variance)을 계산한다(S32).
뒤이어, 크기/역변환부(130)가 주파수 영역대의 첨두치(peak) 값을 토대로 입력영상에 대한 크기 변환율을 추정한다(S33).
그리고, 크기/역변환부(130)가 추정된 크기 변환율을 역변환하여 원본영상과 동일해지도록 입력영상을 변환한다(S34).
이하, 도 8을 참조하여 본 발명에 따른 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 방법의 제S40단계의 세부과정에 대해 살피면 아래와 같다.
제S30단계 이후, 회전/역변환부(140)가 행렬을 이용하여 변환종류 판별부(120)에 의해 입력영상의 각 행을 이산 퓨리에 변환한다(S41).
이어서, 회전/역변환부(140)가 주파수 영역대의 첨두치(peak) 값을 토대로 입력영상에 대한 회전각을 추정한다(S42).
그리고, 회전/역변환부(140)가 추정된 영상의 회전각을 역변환하여 원본영상과 동일해지도록 입력영상을 변환한다(S43).
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등 물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
100: 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치
110: 워터마크 검출기 120: 변환종류 판별부
130: 크기/역변환부 140: 회전/역변환부

Claims (8)

  1. 입력영상에 특정 워터마크가 삽입되어 있는지 여부를 검사하는 워터마크 검출기(110);
    워터마크 검출에 실패한 입력영상으로부터 이산 웨이블릿 변환 기반의 특징점, 화질 측정 도구 기반의 특징점, 정보이론 기반의 특징점, 및 텍스쳐 기반의 특징점을 추출하고, 추출한 특징점들을 순차적 전방 유동 선택 기법(Sequential Forward Floating Selection)에 따라 최적의 특징점으로 정량화 하여 추출한 특징점 벡터로부터 입력영상에 가해진 의도적/비의도적 변형의 종류(회전/크기 변환)를 도출하는 변환종류 판별부(120);
    상기 입력영상으로부터 크기 변환율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상을 원본영상과 동일하게 변환하는 크기/역변환부(130); 및
    상기 입력영상으로부터 회전 변화율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상을 원본영상과 동일하게 변환하는 회전/역변환부(140);를 포함하되,
    상기 워터마크 검출기(100)는,
    상기 크기/역변환부(130) 및 회전/역변환부(140)에 의해 역변환된 입력영상을 인가받아 워터마크가 삽입되었는지 여부를 재차 검사하여 입력영상에 삽입된 워터마크를 검출하는 것을 특징으로 하는 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치.
  2. 제 1 항에 있어서,
    상기 변환종류 판별부(120)는,
    상기 워터마크 검출기(110)로부터 입력영상에 포함된 워터마크를 인가받지 못하는 경우, 입력영상의 변형 종류 도출을 위해 입력영상의 특징점 벡터를 추출하되,
    이산 웨이블릿 변환 기반의 특징점, 화질 측정 도구 기반의 특징점, 정보이론 기반의 특징점, 및 텍스쳐 기반의 특징점을 추출하고, 추출한 특징점들을 순차적 전방 유동 선택 기법(Sequential Forward Floating Selection)에 따라 최적의 특징점으로 정량화 하여 특징점 벡터를 추출하는 것을 특징으로 하는 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치.
  3. 제 1 항에 있어서,
    상기 크기/역변환부(130)는
    상기 변환종류 판별부(120)에 의해 크기가 변환되었다고 판별된 입력영상의 크기 변환율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상이 원본영상과 동일해지도록 변환하되,
    행렬을 이용하여 상기 변환종류 판별부(120)에 의해 추출된 특징점 벡터들에 대한 이차 미분값을 계산하고, 행 또는 열 방향으로 이차미분치의 절대값을 누적하여 유사 변화량(Pseudo-variance)을 계산한 이후, 주파수 영역대의 첨두치(peak) 값을 토대로 입력영상에 대한 크기 변환율을 추정하며, 추정된 크기 변환율을 역변환하여 원본영상과 동일해지도록 입력영상을 변환하는 것을 특징으로 하는 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치.
  4. 제 1 항에 있어서,
    상기 회전/역변환부(140)는,
    상기 변환종류 판별부(120)에 의해 회전되었다고 판별된 입력영상의 회전 변화율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상을 원본영상과 동일해지도록 변환하되,
    행렬을 이용하여 상기 변환종류 판별부(120)에 의해 추출된 특징점 벡터들의 각 행을 이산 퓨리에 변환한 후, 주파수 영역대의 첨두치(peak) 값을 토대로 입력영상에 대한 회전각을 추정하고, 추정된 영상의 회전각을 역변환하여 원본영상과 동일해지도록 입력영상을 변환하는 것을 특징으로 하는 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치.
  5. (a) 워터마크 검출기(110)가 입력영상에 특정 워터마크가 삽입되어 있는지 여부를 검사하는 단계;
    (b) 상기 (a) 단계의 검사결과, 입력영상으로부터 워터마크 검출에 실패한 경우, 변환종류 판별부(120)가 입력영상에 가해진 의도적/비의도적 변형의 종류(회전/크기 변환)를 도출하기 위해 입력영상과 원본영상간의 특징점 벡터를 추출하는 단계;
    (c) 크기/역변환부(130)가 입력영상의 크기 변환율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상이 원본영상과 동일해지도록 변환하는 단계;
    (d) 회전/역변환부(140)가 입력영상의 회전 변화율을 추정하고, 변형된 입력영상에 대한 역변환을 수행하여 입력영상이 원본영상과 동일해지도록 변환하는 단계; 및
    (e) 워터마크 검출기(110)가 상기 크기/역변환부(130) 및 회전/역변환부(140)로부터 인가받은 입력영상에 특정 워터마크가 삽입되어 있는지 여부를 재차 검사하여 입력영상에 삽입된 워터마크를 검출하는 단계;를 포함하는 것을 특징으로 하는 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 방법.
  6. 삭제
  7. 제 5 항에 있어서,
    상기 (c) 단계는,
    (c-1) 크기/역변환부(130)가 행렬을 이용하여 변환종류 판별부(120)에 의해 입력영상의 각 행에 대한 이차 미분값을 계산하는 단계;
    (c-2) 크기/역변환부(130)가 행 또는 열 방향으로 이차미분치의 절대값을 누적하여 유사 변화량(Pseudo-variance)을 계산하는 단계;
    (c-3) 크기/역변환부(130)가 주파수 영역대의 첨두치(peak) 값을 토대로 입력영상에 대한 크기 변환율을 추정하는 단계; 및
    (c-4) 크기/역변환부(130)가 추정된 크기 변환율을 역변환하여 원본영상과 동일해지도록 입력영상을 변환하는 단계;를 포함하는 것을 특징으로 하는 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 방법.
  8. 제 5 항에 있어서,
    상기 (d) 단계는,
    (d-1) 회전/역변환부(140)가 행렬을 이용하여 변환종류 판별부(120)에 의해 입력영상의 각 행을 이산 퓨리에 변환하는 단계;
    (d-2) 회전/역변환부(140)가 주파수 영역대의 첨두치(peak) 값을 토대로 입력영상에 대한 회전각을 추정하는 단계; 및
    (d-3) 회전/역변환부(140)가 추정된 영상의 회전각을 역변환하여 원본영상과 동일해지도록 입력영상을 변환하는 단계;를 포함하는 것을 특징으로 하는 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 방법.
KR1020120092266A 2012-08-23 2012-08-23 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치 및 그 방법 KR101363577B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120092266A KR101363577B1 (ko) 2012-08-23 2012-08-23 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120092266A KR101363577B1 (ko) 2012-08-23 2012-08-23 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101363577B1 true KR101363577B1 (ko) 2014-02-17

Family

ID=50271127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120092266A KR101363577B1 (ko) 2012-08-23 2012-08-23 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101363577B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101725095B1 (ko) 2016-02-29 2017-04-12 상명대학교산학협력단 회전각도를 모르는 이미지 파일의 워터마크 검출 방법
KR20190098487A (ko) * 2018-02-14 2019-08-22 경일대학교산학협력단 워터마킹 공격을 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005529526A (ja) * 2002-06-05 2005-09-29 ソニー エレクトロニクス インク 大きさの変更、回転及び移動に対して耐性を有するウォータマークの検出方法及び検出装置
JP2006279575A (ja) * 2005-03-29 2006-10-12 Sanyo Electric Co Ltd 透かし埋め込み装置および方法
WO2006123262A1 (en) * 2005-04-01 2006-11-23 Koninklijke Philips Electronics N.V. Method of quantization-watermarking
KR100977712B1 (ko) * 2008-07-24 2010-08-24 주식회사 씨케이앤비 구조적 멀티패턴 워터마크 생성 장치 및 방법과 이를이용한 워터마크 삽입 장치 및 방법과 워터마크 검출 장치및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005529526A (ja) * 2002-06-05 2005-09-29 ソニー エレクトロニクス インク 大きさの変更、回転及び移動に対して耐性を有するウォータマークの検出方法及び検出装置
JP2006279575A (ja) * 2005-03-29 2006-10-12 Sanyo Electric Co Ltd 透かし埋め込み装置および方法
WO2006123262A1 (en) * 2005-04-01 2006-11-23 Koninklijke Philips Electronics N.V. Method of quantization-watermarking
KR100977712B1 (ko) * 2008-07-24 2010-08-24 주식회사 씨케이앤비 구조적 멀티패턴 워터마크 생성 장치 및 방법과 이를이용한 워터마크 삽입 장치 및 방법과 워터마크 검출 장치및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101725095B1 (ko) 2016-02-29 2017-04-12 상명대학교산학협력단 회전각도를 모르는 이미지 파일의 워터마크 검출 방법
KR20190098487A (ko) * 2018-02-14 2019-08-22 경일대학교산학협력단 워터마킹 공격을 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR102028825B1 (ko) * 2018-02-14 2019-10-04 경일대학교산학협력단 워터마킹 공격을 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체

Similar Documents

Publication Publication Date Title
Lawgaly et al. Weighted averaging-based sensor pattern noise estimation for source camera identification
CN102156952A (zh) 一种面向版权保护服务的遥感影像数字水印方法
Feng et al. An energy-based method for the forensic detection of re-sampled images
EP2835783A1 (en) Method and device for assessing the presence of a watermark in a video
CN102024244B (zh) 基于图像特征区域的水印嵌入、检测方法及其装置
CN106709915B (zh) 一种图像重采样操作检测方法
KR101363577B1 (ko) 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치 및 그 방법
Guo et al. Content based image hashing via wavelet and radon transform
KR100753490B1 (ko) 크기불변특징변환(ｓｉｆｔ)를 이용한 디지털 워터마킹방법
Fouad et al. Combining DWT and LSB watermarking to secure revocable iris templates
CN100421124C (zh) 一种基于图像相位特征抗局部非线性几何攻击的水印方法
Leung et al. A robust watermarking scheme using selective curvelet coefficients
KR100697768B1 (ko) Ｃｈｔ를 이용한 디지털 워터마킹 방법
Awrangjeb et al. Global geometric distortion correction in images
Liu et al. An image rectification scheme and its applications in RST invariant digital image watermarking
Nian et al. Geometric distortions correction scheme based on hausdorff distance for digital watermarking image
CN102395041A (zh) 一种基于模式噪声相位的成像设备源检测方法
Zhang et al. Geometrically invariant image blind watermarking based on speeded-up robust features and DCT transform
Mirza et al. A new hybrid domain based print-scan resilient image watermarking technique
Satzoda et al. Gradient angle histograms for efficient linear hough transform
Ma et al. Normalized moment of inertia-based detection algorithm for copy-paste image tampering
Zhao et al. Passive detection of paint-doctored JPEG images
Liang et al. Embedding image watermarks into local linear singularity coefficients in ridgelet domain
KR100510354B1 (ko) 제거 공격과 결합된 기하학적 공격에 강인한 영상워터마킹 방법
Terzija et al. A novel synchronisation approach for digital image watermarking based on scale invariant feature point detector

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee