KR100685784B1 - 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치 및 그방법과 그를 이용한 워터마크 인증 장치 및 그 방법 - Google Patents

안전성을 향상시킨 양자화 기반 워터마크 삽입 장치 및 그방법과 그를 이용한 워터마크 인증 장치 및 그 방법 Download PDF

Info

Publication number
KR100685784B1
KR100685784B1 KR1020050075372A KR20050075372A KR100685784B1 KR 100685784 B1 KR100685784 B1 KR 100685784B1 KR 1020050075372 A KR1020050075372 A KR 1020050075372A KR 20050075372 A KR20050075372 A KR 20050075372A KR 100685784 B1 KR100685784 B1 KR 100685784B1
Authority
KR
South Korea
Prior art keywords
image
watermark
quantization
dithering
value
Prior art date
Application number
KR1020050075372A
Other languages
English (en)
Inventor
이승재
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020050075372A priority Critical patent/KR100685784B1/ko
Application granted granted Critical
Publication of KR100685784B1 publication Critical patent/KR100685784B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0065Extraction of an embedded watermark; Reliable detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은, 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치 및 그 방법과 그를 이용한 워터마크 인증 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 블록 랜덤화(random mapping), 양자화 값 보정(quantization value adjustment), 및 디더링(dithering)에 의하여 블록 간 의존성을 높이고 통계적 특성을 감소시킴으로써, 통계적 분석에 의한 이미지 조작과 벡터 양자화 공격에 강인하도록 하는, 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치 및 그 방법과 그를 이용한 워터마크 인증 장치 및 그 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결 방법의 요지
본 발명은, 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치에 있어서, 외부로부터 입력받은 이미지를 비밀키에 의하여 다수의 블록으로 나누어 순서를 뒤섞은 후, 워터마크의 삽입을 위한 블록으로 정렬시키기 위한 랜덤 매핑 수단; 기 정의된 양자화 값을 이용하여 상기 랜덤 매핑 수단에서 정렬시킨 블록에 특이치 분해 값에 따라 워터마크를 삽입하기 위한 워터마크 삽입 수단; 상기 워터마크 삽입 수단에서 워터마크를 삽입한 이미지에 발생된 양자화 에러를 보정하기 위한 보정 수단; 상기 보정 수단에서 보정된 이미지에 대하여 디더링(Dithering)을 수행하여 통계적 특성을 제거하기 위한 디더링 수단; 상기 디더링 수단에서 수행한 디더링에 의하여 발생하는 에러를 보정하기 위하여 보정을 실행한 후, 역 특이치 분해(SVD) 과정을 통하여 워터마크가 삽입된 이미지를 출력하기 위한 역매핑/보정 수단; 및 상기 랜덤 매핑 수단에서 랜덤 매핑에 이용한 비밀키 및 상기 디더링 수단에서 디더링에 이용한 이미지 특징을 공개키를 이용하여 암호화한 후 출력시키기 위한 암호화 수단을 포함함.
4. 발명의 중요한 용도
본 발명은 워터마킹 시스템 등에 이용됨.
양자화 기반, 워터마크, 디더링, 통계적 특성, 랜덤 매핑

Description

안전성을 향상시킨 양자화 기반 워터마크 삽입 장치 및 그 방법과 그를 이용한 워터마크 인증 장치 및 그 방법{Apparatus and its method of Quantization-based watermarking with improved security}
도 1은 본 발명의 일실시예에 따른 양자화 기반 워터마크 삽입 장치의 구성도,
도 2는 본 발명의 일실시예에 따른 양자화 기반 워터마크 인증 장치의 구성도,
도 3은 본 발명의 일실시예에 따른 양자화 기반 워터마크 삽입 장치 중 랜덤 매핑부의 랜덤 매핑 과정에 대한 설명도,
도 4는 본 발명에 이용되는 특이치 값과 개수와의 상관 관계를 나타내는 그래프,
도 5는 통계적 분석을 통한 이미지 조작의 일반적인 예를 나타내기 위한 일실시예 설명도,
도 6은 벡터 양자화 공격(Vector Quantization attack)의 일반적인 예를 나타내기 위한 일실시예 설명도,
도 7은 본 발명의 일실시예에 따른 양자화 기반 워터마크 삽입 방법에 의한 통계적 특성의 변화를 나타내는 그래프,
도 8은 본 발명에 따른 양자화 기반 워터마크 인증 방법에 의하여 벡터 양자화 공격(Vector Quantization attack)에 의한 이미지 조작을 검출하는 예를 나타내기 위한 일실시예 설명도,
도 9는 본 발명에 따른 양자화 기반 워터마크 인증 방법에서 조작이 없는 경우의 인증 결과를 나타내기 위한 일실시예 설명도,
도 10은 본 발명에 따른 양자화 기반 워터마크 인증 방법에서 JPEG 이미지의 인증 결과를 나타내기 위한 일실시예 설명도,
도 11은 본 발명에 따른 양자화 기반 워터마크 인증 방법에서 이미지의 조작이 있는 경우의 인증 결과를 나타내기 위한 일실시예 설명도,
도 12는 본 발명에 따른 양자화 기반 워터마크 인증 방법에서 이미지의 조작 및 JPEG 압축된 이미지의 인증 결과를 나타내기 위한 일실시예 설명도이다.
* 도면의 주요 부분에 대한 부호 설명
100 : 워터마크 삽입 장치 110 : 랜덤 매핑부
120 : 워터마크 삽입부 130 : 보정부
140 : 디더링부 150 : 역매핑/보정부
160 : 암호화부 200 : 워터마크 인증 장치
210 : 랜덤 매핑부 220 : 역디더링부
230 : 추출부 240 : 인증부
250 : 복호화부
본 발명은, 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치 및 그 방법과 그를 이용한 워터마크 인증 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 블록 랜덤화(random mapping), 양자화 값 보정(quantization value adjustment), 및 디더링(dithering)에 의하여 블록 간 의존성을 높이고 통계적 특성을 감소시킴으로써, 통계적 분석에 의한 이미지 조작과 벡터 양자화 공격에 강인하도록 하는, 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치 및 그 방법과 그를 이용한 워터마크 인증 장치 및 그 방법에 관한 것이다.
최근 디지털 이미지 처리 기술의 발전 및 이미지 툴의 보급에 따라 이미지 조작이 손쉬워지고 있다. 그에 따라, 이미지 위변조 여부를 판단할 수 있는 이미지 인증 기술의 필요성이 높아지고 있다.
일반적으로 이미지 인증을 위한 기술은 암호학적 해쉬 함수에 기반을 둔 디지털 시그내쳐 방법과 워터마크를 이용한 방법으로 크게 구분된다. 두 방법의 가장 큰 차이점은 인증을 위한 정보를 이미지에 삽입하느냐 삽입하지 않느냐에 있다.
또한, 이미지 인증을 위한 기술은 이미지 한 픽셀 값의 변화도 허용하지 않는 컴플리트 인증(complete authentication)과 미리 정의된 변화에 대해서는 조작 을 허용하는 콘텐트 인증(content authentication)으로 구별된다.
초기에는 주로 암호학적 해쉬 함수를 이용한 LSB(Least Significant Bit) 조작을 통한 인증 방법이 연구되었고, 이후에는 다양한 영역에서의 양자화 기반 삽입 방법을 비롯하여, 룩업 테이블(LUT : LookUp table)을 이용한 인증 방법도 연구되었다.
그런데, 종래의 양자화 기반 워터마킹 기법은 양자화된 값이 가지는 규칙성으로 인하여 보안에 취약한 문제점이 있었다. 즉, 종래의 양자화 기반 워터마킹 기법을 이미지 인증에 사용할 경우에는 통계적 분석을 통하여 양자화 계수를 추정할 수 있고, 이를 통해 임의 조작이 가능한 문제점이 있었다.
또한, 종래의 양자화 기반 워터마킹 기법은 워터마크 추출기의 민감도가 낮기 때문에 조작 부위의 검출 성능이 높지 않은 문제점이 있었다.
본 발명은, 상기의 요구에 부응하기 위하여 제안된 것으로, 블록 랜덤화(random mapping), 양자화 값 보정(quantization value adjustment), 및 디더링(dithering)에 의하여 블록 간 의존성을 높이고 통계적 특성을 감소시킴으로써, 통계적 분석에 의한 이미지 조작과 벡터 양자화 공격에 강인하도록 하여 안전성을 향상시킨, 양자화 기반 워터마크 삽입 장치 및 그 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 블록 랜덤화(random mapping) 및 역디더링(reverse dithering)에 의하여 조작된 부위를 민감하게 검출해 내며, 이미지 조작 전후에 JPEG 압축이 일어난 경우에도 조작 부위를 효과적으로 판별할 수 있도록 하여 검출 성능을 향상시킨, 양자화 기반 워터마크 인증 장치 및 그 방법을 제공하는데 다른 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 장치는, 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치에 있어서, 외부로부터 입력받은 이미지를 비밀키에 의하여 다수의 블록으로 나누어 순서를 뒤섞은 후, 워터마크의 삽입을 위한 블록으로 정렬시키기 위한 랜덤 매핑 수단; 기 정의된 양자화 값을 이용하여 상기 랜덤 매핑 수단에서 정렬시킨 블록에 특이치 분해 값에 따라 워터마크를 삽입하기 위한 워터마크 삽입 수단; 상기 워터마크 삽입 수단에서 워터마크를 삽입한 이미지에 발생된 양자화 에러를 보정하기 위한 보정 수단; 상기 보정 수단에서 보정된 이미지에 대하여 디더링(Dithering)을 수행하여 통계적 특성을 제거하기 위한 디더링 수단; 상기 디더링 수단에서 수행한 디더링에 의하여 발생하는 에러를 보정하기 위하여 보정을 실행한 후, 역 특이치 분해(SVD) 과정을 통하여 워터마크가 삽입된 이미지를 출력하기 위한 역매핑/보정 수단; 및 상기 랜덤 매핑 수단에서 랜덤 매핑에 이용한 비밀키 및 상기 디더링 수단에서 디더링에 이용한 이미지 특징을 공개키를 이용하여 암호화한 후 출력시키기 위한 암호화 수단을 포함한다.
또한, 상기의 목적을 달성하기 위한 본 발명의 방법은, 안전성을 향상시킨 양자화 기반 워터마크 삽입 방법에 있어서, 입력 이미지를 비밀키에 의하여 다수의 블록으로 나누어 순서를 뒤섞은 후, 워터마크의 삽입을 위한 블록으로 정렬시키는 랜덤 매핑 단계; 기 정의된 양자화 값을 이용하여 상기 정렬시킨 블록에 워터마크를 삽입하는 워터마크 삽입 단계; 상기 워터마크가 삽입된 이미지에 발생된 양자화 에러를 보정하는 제 1 보정 단계; 상기 양자화 에러가 보정된 이미지에 대하여 디더링을 수행하여 통계적 특성을 제거하는 디더링 단계; 상기 디더링에 의하여 발생하는 에러를 보정하기 위하여 보정을 실행하는 제 2 보정 단계; 상기 디더링 에러가 보정된 이미지에 대하여 역 특이치 분해(SVD)를 수행하여 워터마크가 삽입된 이미지를 출력시키는 역매핑 단계; 및 상기 랜덤 매핑에 이용된 비밀키 및 상기 디더링에 이용된 이미지 특징을 공개키를 이용하여 암호화한 후 출력시키는 암호화 단계를 포함한다.
한편, 상기의 다른 목적을 달성하기 위한 본 발명의 장치는, 안전성을 향상시킨 양자화 기반 워터마크 인증 장치에 있어서, 외부로부터 수신한 암호화 데이터를 개인키를 이용하여 복호화하여 랜덤 매핑 비밀키 값 및 이미지 특징을 획득하기 위한 복호화 수단; 상기 복호화 수단으로부터 전달받은 비밀키를 이용하여 워터마킹된 이미지를 랜덤 매핑하기 위한 랜덤 매핑 수단; 상기 복호화 수단으로부터 전달받은 이미지 특징을 이용하여 상기 랜덤 매핑 수단에서 랜덤 매핑된 이미지를 역디더링한 후 랜덤 노이즈를 제거하기 위한 역디더링 수단; 양자화 값을 이용하여 상기 역디더링 수단에서 랜덤 노이즈가 제거된 이미지로부터 워터마크를 추출하기 위한 추출 수단; 및 상기 추출 수단에서 추출한 워터마크를 이용하여 이미지 인증을 수행하기 위한 인증 수단을 포함한다.
또한, 상기의 다른 목적을 달성하기 위한 본 발명의 방법은, 안전성을 향상시킨 양자화 기반 워터마크 인증 방법에 있어서, 수신 암호화 데이터를 개인키를 이용하여 복호화하여, 랜덤 매핑 비밀키 값 및 이미지 특징을 획득하는 복호화 단계; 상기 획득한 랜덤 매핑 비밀키를 이용하여 외부로부터 수신한 워터마킹된 이미지를 랜덤 매핑하는 랜덤 매핑 단계; 상기 획득한 이미지 특징을 이용하여 상기 랜덤 매핑된 이미지를 역디더링한 후 랜덤 노이즈를 제거하는 역디더링 단계; 양자화 값을 이용하여 상기 랜덤 노이즈가 제거된 이미지로부터 워터마크를 추출하는 추출 단계; 및 상기 추출한 워터마크를 이용하여 이미지 인증을 수행하는 인증 단계를 포함한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 양자화 기반 워터마크 삽입 장치의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치(100)는, 랜덤 매핑부(110), 워터마크 삽입부(120), 보정부(130), 디더링부(140), 역매핑/보정부(150) 및 암호화부(160)를 포함한다.
랜덤 매핑부(110)는 도 3에 도시된 바와 같이, 외부로부터 입력받은 이미지를 비밀키에 의하여 4×4 블록으로 나누어 순서를 뒤섞은 후, 워터마크의 삽입을 위하여 8×8 블록으로 정렬시킨다.
워터마크 삽입부(120)는 미리 정의된 양자화 값(Q)을 이용하여 랜덤 매핑부(110)에서 정렬시킨 8×8 블록에 워터마크(W)를 특이치 분해(SVD) 값에 따라 삽입한다.
즉, 워터마크 정보가 1이면 양자화 값(Q)으로 나눈 가장 큰 특이값의 나머지를 Q/4로 이동시킨다. 그리고 워터마크 정보가 0이면 양자화 값(Q)으로 나눈 가장 큰 특이값의 나머지를 3Q/4로 이동시킨다.
보정부(130)는 워터마크 삽입부(120)로부터 워터마크가 삽입된 이미지를 전달받아 이미지 픽셀값이 정수화되는 과정에서 발생하는 양자화된 특이값의 에러를 보정한다.
워터마크 삽입부(120)에서 워터마크를 삽입한 후 이미지 픽셀값이 정수화되는 과정에서 양자화된 특이값은 원래값에서 벗어나게 되고, 이는 검출기의 성능을 저하하는 요인이 된다. 보정부(130)는 이를 막기 위하여 다음과 같은 가정을 통한 수식을 이용하여 보정을 수행한다.
먼저, 임의의 M×M 이미지 블록 A, B를 특이치 분해(SVD)하면 하기의 [수학식 1]과 [수학식 2]와 같이 표현된다.
Figure 112005045208187-pat00001
Figure 112005045208187-pat00002
여기서, U, U1, V 그리고 V1 은 M×M 직교 행렬이고, SS1 은 대각행렬이다. 이때, 섭동(perturbation) 이론과 특이치(SV) 값들의 작은 변화가 이미지 시각적 변화에 작은 영향을 미친다는 사실을 기반으로 하기의 [수학식 3]과 [수학식 4]의 관계를 만족할 경우에 A, B의 원소 aij, bijU, V를 각각 U1, V1 으로 근사화할 수 있다.
Figure 112005045208187-pat00003
Figure 112005045208187-pat00004
이것으로부터 이미지 블록 A와 B의 차는 하기의 [수학식 5]와 같이 표현된다.
Figure 112005045208187-pat00005
상기의 [수학식 5]에서 알 수 있듯이, 이미지 블록 E를 통하여 원하는 특이치(SV)를 조절할 수 있다. 이때, E의 원소값을 결정하기 위한 많은 방법이 존재할 수 있으며, 그 방법 중의 하나로 원본과의 에러를 최소화하기 위하여 원소를 1 혹은 -1로 한정하는 방법을 이용하면, 도 4에 도시된 바와 같은 선형관계를 얻을 수 있으며, 이를 바탕으로 변화량을 결정하고 빠르게 보정 작업을 수행할 수 있다.
이러한 보정 작업은 워터마크의 추출 과정에서 문턱값을 결정하는 중요한 요소가 된다. 만약, 양자화된 값을 "delta"보다 작은 범위에 한정할 경우에 "delta" 값이 매우 작다면 민감한 검출 성능을 확보할 수 있게 된다. 즉, 문턱값(T)과 양자화 값(Q)이 정해지는 경우에 검출에 실패할 확률은 2T/Q가 되고 작은 T와 큰 Q를 이용하여 검출기 민감도를 높일 수 있다.
디더링부(140)는 워터마크가 삽입된 이미지의 통계적 특성을 제거하기 위하여 디더링(Dithering)을 수행한다. 즉, 디더링부(140)는 이미지 특징에 기반한 키를 이용하여 -Q/2 ~ Q/2에 균일하게 분포하는 랜덤 노이즈를 발생시키고, 이 값을 양자화된 값에서 빼줌으로써 통계적 특성을 제거한다. 이때, 키로 사용되는 이미지 특징은 여러 가지를 이용할 수 있으나, 디더링 이후에도 이미지 특징이 변하지 않는 특성을 지녀야 한다.
여기서, 디더링부(140)가 이미지 특징을 추출하는 과정을 살펴보면 다음과 같다.
1. 워터마크가 삽입되고 보정된 이미지 블록을 두 개의 겹치지 않는 그룹(P,Q)으로 나눈다.
2. 각 그룹의 P, Q의 원소 간의 차를 이용하여 이미지 특징을 추출한다.
3. 디더링 후 이미지 특징이 변하는 것을 막기 위하여 하기의 [수학식 6]과 같은 세 경우에 대하여 이미지 블록 간의 차이가 3Q/2 이상되도록 특이치(SV) 값을 변형시킨다.
Figure 112005045208187-pat00006
이미지 특징은 응용에 따라 공개키 기반 알고리즘을 통하여 전달될 수도 있고, 자체 이미지에서 추출할 수도 있다. 이때, 정확한 조작 부위를 확인하기 위해서는 별도 채널을 이용하여 이미지 특징을 전송하는 것이 효과적일 수 있다.
역매핑/보정부(150)는 디더링 과정에서 발생하는 에러를 보정하기 위하여 다시 한번 보정(Adjustment)을 실행한 후, 역 특이치 분해(SVD) 과정을 통하여 워터마크가 삽입된 이미지를 출력한다.
암호화부(160)는 랜덤 매핑부(110)에서 랜덤 매핑에 이용한 비밀키 및 디더링부(140)에서 디더링에 이용한 이미지 특징을 공개키(public key)를 이용하여 암호화한 후, 워터마크가 삽입된 이미지와는 별도의 채널을 이용하여 워터마크 인증 장치로 전송한다.
이하에서는 도 2를 참조하여 본 발명의 일실시예에 따른 워터마크 인증 장치의 구성과 그 동작 과정에 대하여 살펴보기로 한다.
도 2는 본 발명의 일실시예에 따른 안전성을 향상시킨 양자화 기반 워터마크 인증 장치의 구성도이다.
도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 안전성을 향상시킨 양자화 기반 워터마크 인증 장치(200)는, 랜덤 매핑부(210), 역디더링부(220), 추출부(230), 인증부(240) 및 복호화부(250)를 포함한다.
복호화부(250)는 워터마크 삽입 장치(100)로부터 전달받은 암호화 데이터를 개인키(private key)를 이용하여 복호화하고, 그 결과로 획득한 랜덤 매핑 비밀키 값 및 이미지 특징을 랜덤 매핑부(210) 및 역디더링부(220)로 각각 전달한다.
랜덤 매핑부(210)는 복호화부(250)로부터 전달받은 비밀키를 이용하여 이미지를 랜덤 매핑(Random Mapping)한다.
역디더링부(220)는 복호화부(250)로부터 전달받은 이미지 특징을 이용하여 이미지를 역디더링한 후 랜덤 노이즈를 제거한다.
추출부(230)는 양자화 값(Q)을 이용하여 역디더링부(220)로부터 전달받은 이미지로부터 워터마크를 추출한다. 여기서, 워터마크의 추출 과정에는 두 개의 문턱값(T1,T2)이 사용된다. 작은 문턱값은 보정(Adjustment)에 사용된 "delta"보다 조금 큰 값을 이용하여 정밀한 워터마크 검출이 가능하고, 큰 문턱값은 JPEG 압축에 대한 워터마크 검출에 이용된다.
인증부(240)는 추출부(230)에서 추출한 워터마크를 비교하여 이미지 인증을 수행한다. 이때, 인증부(240)는 추출부(230)에서 두 개의 문턱값(T1,T2)을 이용하여 검출한 결과를 종합적으로 판단하여 인증을 수행하며, 그로부터 조작 여부뿐만 아니라 조작 부위까지를 검출해낼 수 있다.
이상에서는 워터마크 삽입과 검출에 대하여 이미지 위주로 설명하였으나 동일한 방식으로 비디오 신호에 대한 인증에도 적용할 수 있다.
이처럼, 본 발명에서는 블록-양자화 기반 워터마킹(block-wise quantization-based watermarking)을 이용하여 이미지 조작을 판별한다. 본 발명에 따른 워터마크 삽입 장치는 워터마크의 삽입을 위해서 이미지를 작은 블록으로 나누고 순서를 랜덤화한 후, 작은 블록을 묶어서 특이치 분해(singular value decomposition)를 한다.
그리고 특이치 중 가장 큰 값을 가지는 값을 양자화 기반 워터마킹(quantization-based watermarking) 방식을 이용하여 워터마크를 삽입한다. 이때, 양자화 기반으로 워터마크를 삽입한 후, 역 특이치 분해 과정에서 발생할 수 있는 문제점을 해결하기 위하여 보정(adjustment)을 거친다.
또한, 양자화 기반 워터마킹의 문제점인 통계적 분석 공격(statistical analysis attack)에 강인하도록 하기 위하여 양자화 된 값을 디더링(dithering)하게 된다. 이러한 블록 랜덤화(random mapping), 양자화 값 보정(quantization value adjustment), 및 디더링(dithering) 과정은 종래 양자화 기반 워터마킹의 안전성을 보완하고, 검출 성능을 개선하게 된다.
즉, 종래의 양자화 기반 워터마크 삽입 방법은 양자화 값을 통계적으로 추정함으로써 조작이 가능하였다. 즉, 워터마크가 삽입된 블록에 대하여 히스토그램을 분석하여 양자화 값을 먼저 추정한 후, 추정한 양자화 값을 이용하여 원하는 이미지 조작을 하는 방식이다.
예를 들어, 종래에는 도 5에 도시된 바와 같은 원본 이미지에서 비행기의 일련번호를 ‘01568’에서 ‘01588’로 조작하여도, 검출기는 조작 부위를 확인할 수 없었다.
또한, 블록 간의 의존성이 없는 종래의 양자화 기반 워터마크 삽입 방법은 도 6에 도시된 바와 같이, 벡터 양자화 공격(Vector Quantization attack)에 취약성을 보이게 된다. 벡터 양자화(VQ) 공격이란 동일한 키를 이용한 같은 사이즈의 다수의 이미지를 수집한 공격자가 워터마크가 삽입되지 않은 이미지를 워터마크가 삽입된 이미지를 통하여 인증받을 수 있도록 하는 것을 말한다. 종래의 양자화 기반 워터마크 삽입 방법은 도 6에 도시된 바와 같이, 벡터 양자화(VQ) 공격을 통하여 생성된 이미지를 검출해내지 못함을 알 수 있다.
이에 비하여, 본 발명에 따르면 도 7에 도시된 바와 같이, 워터마크가 삽입된 이미지에 수행된 디더링에 의하여 통계적 특성이 없어지므로 통계적 분석을 통한 공격이 어려워진다.
또한, 본 발명에 따르면 블록 간의 의존성에 의하여, 도 8에 도시된 바와 같이 벡터 양자화(VQ) 공격이 실패함을 알 수 있다.
또한, 본 발명에 따르면 도 9 내지 도 12에 도시된 바와 같이, 조작된 부위 를 민감하게 검출해 내며, JPEG 압축 결과로부터 구별하여 인증할 수 있을 뿐만 아니라, JPEG 압축이 이미지 조작 전후에 일어난 경우에 대해서도 조작 부위를 판별할 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같이 본 발명은 양자화 기반으로 워터마크를 삽입하는데 있어서, 블록 랜덤화(random mapping), 양자화 값 보정(quantization value adjustment), 및 디더링(dithering)에 의하여 블록 간 의존성을 높이고 통계적 특성을 감소시킴으로써, 통계적 분석에 의한 이미지 조작과 벡터 양자화 공격에 강인하도록 하는 효과가 있다.
또한, 본 발명은 양자화 기반으로 삽입된 워터마크를 검출하고 인증하는데 있어서, 블록 랜덤화(random mapping) 및 역디더링(reverse dithering)에 의하여 조작된 부위를 민감하게 검출해 내며, JPEG 압축 결과로부터 구별하여 인증할 수 있을 뿐만 아니라, JPEG 압축이 이미지 조작 전후에 일어난 경우에 대해서도 조작 부위를 판별할 수 있는 효과가 있다.

Claims (20)

  1. 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치에 있어서,
    외부로부터 입력받은 이미지를 비밀키에 의하여 다수의 블록으로 나누어 순서를 뒤섞은 후, 워터마크의 삽입을 위한 블록으로 정렬시키기 위한 랜덤 매핑 수단;
    기 정의된 양자화 값을 이용하여 상기 랜덤 매핑 수단에서 정렬시킨 블록에 특이치 분해 값에 따라 워터마크를 삽입하기 위한 워터마크 삽입 수단;
    상기 워터마크 삽입 수단에서 워터마크를 삽입한 이미지에 발생된 양자화 에러를 보정하기 위한 보정 수단;
    상기 보정 수단에서 보정된 이미지에 대하여 디더링(Dithering)을 수행하여 통계적 특성을 제거하기 위한 디더링 수단;
    상기 디더링 수단에서 수행한 디더링에 의하여 발생하는 에러를 보정하기 위하여 보정을 실행한 후, 역 특이치 분해(SVD) 과정을 통하여 워터마크가 삽입된 이미지를 출력하기 위한 역매핑/보정 수단; 및
    상기 랜덤 매핑 수단에서 랜덤 매핑에 이용한 비밀키 및 상기 디더링 수단에서 디더링에 이용한 이미지 특징을 공개키를 이용하여 암호화한 후 출력시키기 위한 암호화 수단
    을 포함하는 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치.
  2. 제 1 항에 있어서,
    상기 랜덤 매핑 수단은,
    외부로부터 입력받은 이미지를 비밀키에 의하여 4×4 블록으로 나누어 순서를 뒤섞은 후, 워터마크의 삽입을 위하여 8×8 블록으로 정렬시키는 것을 특징으로 하는
    안전성을 향상시킨 양자화 기반 워터마크 삽입 장치.
  3. 제 1 항에 있어서,
    상기 워터마크 삽입 수단은,
    워터마크 정보가 1이면 양자화 값(Q)으로 나눈 가장 큰 특이값의 나머지를 Q/4로 이동시키고, 워터마크 정보가 0이면 양자화 값(Q)으로 나눈 가장 큰 특이값의 나머지를 3Q/4로 이동시키는 것을 특징으로 하는
    안전성을 향상시킨 양자화 기반 워터마크 삽입 장치.
  4. 제 1 항에 있어서,
    상기 보정 수단은,
    원본과의 에러를 최소화하기 위하여 가장 큰 특이값과 1 혹은 -1 개수와의 선형관계를 획득하고, 상기 획득한 선형관계를 바탕으로 변화량을 결정하여 보정 작업을 수행하는 것을 특징으로 하는
    안전성을 향상시킨 양자화 기반 워터마크 삽입 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 디더링 수단은,
    워터마크가 삽입된 이미지의 통계적 특성을 제거하기 위하여 이미지 특징에 기반한 키를 이용하여 -Q/2 ~ Q/2에 균일하게 분포하는 랜덤 노이즈를 발생시키고, 이 값을 양자화된 값에서 빼주어 통계적 특성을 제거하는 것을 특징으로 하는
    안전성을 향상시킨 양자화 기반 워터마크 삽입 장치.
  6. 제 5 항에 있어서,
    상기 디더링 수단이 이미지 특징을 추출하는 과정은,
    워터마크가 삽입되고 보정된 이미지 블록을 두 개의 겹치지 않는 그룹으로 나누고, 각 그룹의 원소 간의 차를 이용하여 이미지 특징을 추출한 후, 이미지 블록 간의 차이가 3Q/2 이상되도록 특이치(SV) 값을 변형시켜 이루어지는 것을 특징으로 하는
    안전성을 향상시킨 양자화 기반 워터마크 삽입 장치.
  7. 제 6 항에 있어서,
    상기 암호화 수단은,
    상기 랜덤 매핑 수단에서 랜덤 매핑에 이용한 비밀키 및 상기 디더링 수단에서 디더링에 이용한 이미지 특징을 공개키를 이용하여 암호화한 후, 워터마크가 삽입된 이미지와는 별도의 채널을 이용하여 출력시키는 것을 특징으로 하는
    안전성을 향상시킨 양자화 기반 워터마크 삽입 장치.
  8. 안전성을 향상시킨 양자화 기반 워터마크 인증 장치에 있어서,
    외부로부터 수신한 암호화 데이터를 개인키를 이용하여 복호화하여 랜덤 매핑 비밀키 값 및 이미지 특징을 획득하기 위한 복호화 수단;
    상기 복호화 수단으로부터 전달받은 비밀키를 이용하여 워터마킹된 이미지를 랜덤 매핑하기 위한 랜덤 매핑 수단;
    상기 복호화 수단으로부터 전달받은 이미지 특징을 이용하여 상기 랜덤 매핑 수단에서 랜덤 매핑된 이미지를 역디더링한 후 랜덤 노이즈를 제거하기 위한 역디더링 수단;
    양자화 값을 이용하여 상기 역디더링 수단에서 랜덤 노이즈가 제거된 이미지로부터 워터마크를 추출하기 위한 추출 수단; 및
    상기 추출 수단에서 추출한 워터마크를 이용하여 이미지 인증을 수행하기 위한 인증 수단
    을 포함하는 안전성을 향상시킨 양자화 기반 워터마크 인증 장치.
  9. 제 8 항에 있어서,
    상기 추출 수단은,
    두 개의 문턱값을 이용하여 이미지 및 JPEG 압축에 대한 워터마크 추출을 수행하는 것을 특징으로 하는
    안전성을 향상시킨 양자화 기반 워터마크 인증 장치.
  10. 삭제
  11. 안전성을 향상시킨 양자화 기반 워터마크 삽입 방법에 있어서,
    입력 이미지를 비밀키에 의하여 다수의 블록으로 나누어 순서를 뒤섞은 후, 워터마크의 삽입을 위한 블록으로 정렬시키는 랜덤 매핑 단계;
    기 정의된 양자화 값을 이용하여 상기 정렬시킨 블록에 워터마크를 삽입하는 워터마크 삽입 단계;
    상기 워터마크가 삽입된 이미지에 발생된 양자화 에러를 보정하는 제 1 보정 단계;
    상기 양자화 에러가 보정된 이미지에 대하여 디더링을 수행하여 통계적 특성을 제거하는 디더링 단계;
    상기 디더링에 의하여 발생하는 에러를 보정하기 위하여 보정을 실행하는 제 2 보정 단계;
    상기 디더링 에러가 보정된 이미지에 대하여 역 특이치 분해(SVD)를 수행하여 워터마크가 삽입된 이미지를 출력시키는 역매핑 단계; 및
    상기 랜덤 매핑에 이용된 비밀키 및 상기 디더링에 이용된 이미지 특징을 공개키를 이용하여 암호화한 후 출력시키는 암호화 단계
    를 포함하는 안전성을 향상시킨 양자화 기반 워터마크 삽입 방법.
  12. 제 11 항에 있어서,
    상기 랜덤 매핑 단계는,
    상기 입력 이미지를 비밀키에 의하여 4×4 블록으로 나누어 순서를 뒤섞은 후, 워터마크의 삽입을 위하여 8×8 블록으로 정렬시키는 것을 특징으로 하는
    안전성을 향상시킨 양자화 기반 워터마크 삽입 방법.
  13. 제 11 항에 있어서,
    상기 워터마크 삽입 단계는,
    워터마크 정보가 1이면 양자화 값(Q)으로 나눈 가장 큰 특이값의 나머지를 Q/4로 이동시키고, 워터마크 정보가 0이면 양자화 값(Q)으로 나눈 가장 큰 특이값의 나머지를 3Q/4로 이동시키는 것을 특징으로 하는
    안전성을 향상시킨 양자화 기반 워터마크 삽입 방법.
  14. 제 11 항에 있어서,
    상기 제 1 보정 단계는,
    원본과의 에러를 최소화하기 위하여 가장 큰 특이값과 1 혹은 -1 개수와의 선형관계를 획득하고, 상기 획득한 선형관계를 바탕으로 변화량을 결정하여 보정 작업을 수행하는 것을 특징으로 하는
    안전성을 향상시킨 양자화 기반 워터마크 삽입 방법.
  15. 제 11 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 디더링 단계는,
    워터마크가 삽입된 이미지의 통계적 특성을 제거하기 위하여 이미지 특징에 기반한 키를 이용하여 -Q/2 ~ Q/2에 균일하게 분포하는 랜덤 노이즈를 발생시키고, 이 값을 양자화된 값에서 빼주어 통계적 특성을 제거하는 것을 특징으로 하는
    안전성을 향상시킨 양자화 기반 워터마크 삽입 방법.
  16. 제 15 항에 있어서,
    상기 디더링 단계에서 이미지 특징을 추출하는 과정은,
    워터마크가 삽입되고 보정된 이미지 블록을 두 개의 겹치지 않는 그룹으로 나누는 단계;
    각 그룹의 원소 간의 차를 이용하여 이미지 특징을 추출하는 단계; 및
    이미지 블록 간의 차이가 3Q/2 이상되도록 특이치 값을 변형시키는 단계
    를 포함하는 안전성을 향상시킨 양자화 기반 워터마크 삽입 방법.
  17. 제 16 항에 있어서,
    상기 암호화 단계는,
    상기 랜덤 매핑에 이용된 비밀키 및 상기 디더링에 이용된 이미지 특징을 공개키를 이용하여 암호화한 후, 워터마크가 삽입된 이미지와는 별도의 채널을 이용하여 출력시키는 것을 특징으로 하는
    안전성을 향상시킨 양자화 기반 워터마크 삽입 방법.
  18. 안전성을 향상시킨 양자화 기반 워터마크 인증 방법에 있어서,
    수신 암호화 데이터를 개인키를 이용하여 복호화하여, 랜덤 매핑 비밀키 값 및 이미지 특징을 획득하는 복호화 단계;
    상기 획득한 랜덤 매핑 비밀키를 이용하여 외부로부터 수신한 워터마킹된 이미지를 랜덤 매핑하는 랜덤 매핑 단계;
    상기 획득한 이미지 특징을 이용하여 상기 랜덤 매핑된 이미지를 역디더링한 후 랜덤 노이즈를 제거하는 역디더링 단계;
    양자화 값을 이용하여 상기 랜덤 노이즈가 제거된 이미지로부터 워터마크를 추출하는 추출 단계; 및
    상기 추출한 워터마크를 이용하여 이미지 인증을 수행하는 인증 단계
    를 포함하는 안전성을 향상시킨 양자화 기반 워터마크 인증 방법.
  19. 제 18 항에 있어서,
    상기 추출 단계는,
    두 개의 문턱값을 이용하여 이미지 및 JPEG 압축에 대한 워터마크 추출을 수 행하는 것을 특징으로 하는
    안전성을 향상시킨 양자화 기반 워터마크 인증 방법.
  20. 삭제
KR1020050075372A 2005-08-17 2005-08-17 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치 및 그방법과 그를 이용한 워터마크 인증 장치 및 그 방법 KR100685784B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050075372A KR100685784B1 (ko) 2005-08-17 2005-08-17 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치 및 그방법과 그를 이용한 워터마크 인증 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050075372A KR100685784B1 (ko) 2005-08-17 2005-08-17 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치 및 그방법과 그를 이용한 워터마크 인증 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR100685784B1 true KR100685784B1 (ko) 2007-02-22

Family

ID=38104354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050075372A KR100685784B1 (ko) 2005-08-17 2005-08-17 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치 및 그방법과 그를 이용한 워터마크 인증 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100685784B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100941490B1 (ko) 2008-02-27 2010-02-10 한국과학기술원 디더링 기법과 인지 시각 모델을 이용한 비디오 워터마킹시스템
CN103634699A (zh) * 2013-11-19 2014-03-12 清华大学 一种视频水印嵌入和提取的方法与系统
US9594892B2 (en) 2014-08-26 2017-03-14 Samsung Electronics Co., Ltd. User authentication method and apparatus based on electrocardiogram (ECG) signal
CN112188119A (zh) * 2020-09-15 2021-01-05 西安万像电子科技有限公司 图像数据的传输方法及装置、计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000151411A (ja) 1998-11-10 2000-05-30 Canon Inc 情報処理装置およびその方法、並びに、記憶媒体
KR20040065271A (ko) * 2001-12-14 2004-07-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 데이터 삽입 및 추출
KR20040066165A (ko) 2001-12-14 2004-07-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 멀티미디어 신호들의 양자화 인덱스 변조(큐아이엠)디지털 워터마킹
KR20050020040A (ko) 2003-08-20 2005-03-04 한국전자통신연구원 크기 변화에 강인한 양자화 기반 오디오 워터마킹 장치 및방법
KR20050060882A (ko) * 2003-12-17 2005-06-22 한국전자통신연구원 비선형 양자화를 이용한 워터마킹 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000151411A (ja) 1998-11-10 2000-05-30 Canon Inc 情報処理装置およびその方法、並びに、記憶媒体
KR20040065271A (ko) * 2001-12-14 2004-07-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 데이터 삽입 및 추출
KR20040066165A (ko) 2001-12-14 2004-07-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 멀티미디어 신호들의 양자화 인덱스 변조(큐아이엠)디지털 워터마킹
KR20050020040A (ko) 2003-08-20 2005-03-04 한국전자통신연구원 크기 변화에 강인한 양자화 기반 오디오 워터마킹 장치 및방법
KR20050060882A (ko) * 2003-12-17 2005-06-22 한국전자통신연구원 비선형 양자화를 이용한 워터마킹 장치 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100941490B1 (ko) 2008-02-27 2010-02-10 한국과학기술원 디더링 기법과 인지 시각 모델을 이용한 비디오 워터마킹시스템
CN103634699A (zh) * 2013-11-19 2014-03-12 清华大学 一种视频水印嵌入和提取的方法与系统
US9594892B2 (en) 2014-08-26 2017-03-14 Samsung Electronics Co., Ltd. User authentication method and apparatus based on electrocardiogram (ECG) signal
CN112188119A (zh) * 2020-09-15 2021-01-05 西安万像电子科技有限公司 图像数据的传输方法及装置、计算机可读存储介质

Similar Documents

Publication Publication Date Title
EP1020076B1 (en) Watermarking of digital object
Ou et al. High payload image steganography with minimum distortion based on absolute moment block truncation coding
Wolfgang et al. Fragile watermarking using the VW2D watermark
Chang et al. A watermarking-based image ownership and tampering authentication scheme
KR100465950B1 (ko) 정보 처리 장치 및 그 제어 방법, 컴퓨터 프로그램을 저장한 저장 매체
KR100878579B1 (ko) 워터마킹 방법, 워터마크 확인 방법, 워터마킹 장치 및워터마크 확인 장치
AU2005255946B2 (en) Systems and methods for digital content security
Hikal et al. A new approach for palmprint image encryption based on hybrid chaotic maps
KR20010015837A (ko) 손실을 가지고 전송된 이미지의 무결성을 확인하는 방법
KR101091776B1 (ko) 비트플레인의 블록패턴 매칭을 이용한 비밀정보 삽입장치 및 그 방법
KR101962275B1 (ko) 동영상 스테가노그래피 데이터의 암호화 및 복호화 방법
Liang et al. Robust and reversible image watermarking in homomorphic encrypted domain
KR100685784B1 (ko) 안전성을 향상시킨 양자화 기반 워터마크 삽입 장치 및 그방법과 그를 이용한 워터마크 인증 장치 및 그 방법
Islami et al. Bit adjusting image steganography in blue channel using AES and secured Hash function
Apau et al. Enhancing data security using video steganography, RSA and Huffman code algorithms with LSB insertion
Naji et al. " Stego-Analysis Chain, Session One" Investigations on Steganography Weakness vs Stego-Analysis System for Multimedia File
Ghoshal et al. Masking based data hiding and image authentication technique (MDHIAT)
Seddik et al. Image securing based chaotic encryption coupled with DCT robust watermarking
Divya et al. Privacy preservation mechanism for the data used in image authentication
Schmitz et al. Content-Fragile commutative watermarking-encryption based on pixel entropy
Jagtap et al. Reversible Data Hiding in Encrypted Images
Lim et al. Invertible watermarking algorithm with detecting locations of malicious manipulation for biometric image authentication
Lin Double verification secret sharing mechanism based on adaptive pixel pair matching
Moieni et al. A High Capacity Image Steganography Method Using Lorenz Chaotic Map
Hikal et al. Computer and Information Sciences

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130205

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140123

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee