KR100664031B1 - 워터마킹 삽입/추출 방법 및 워터마킹 프로세서의 하드웨어암호화 모듈 - Google Patents

워터마킹 삽입/추출 방법 및 워터마킹 프로세서의 하드웨어암호화 모듈 Download PDF

Info

Publication number
KR100664031B1
KR100664031B1 KR1020050013759A KR20050013759A KR100664031B1 KR 100664031 B1 KR100664031 B1 KR 100664031B1 KR 1020050013759 A KR1020050013759 A KR 1020050013759A KR 20050013759 A KR20050013759 A KR 20050013759A KR 100664031 B1 KR100664031 B1 KR 100664031B1
Authority
KR
South Korea
Prior art keywords
watermark
coefficient
insertion position
hash function
dct
Prior art date
Application number
KR1020050013759A
Other languages
English (en)
Other versions
KR20060092682A (ko
Inventor
김천수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050013759A priority Critical patent/KR100664031B1/ko
Publication of KR20060092682A publication Critical patent/KR20060092682A/ko
Application granted granted Critical
Publication of KR100664031B1 publication Critical patent/KR100664031B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20052Discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 워터마킹 삽입/추출 방법 및 워터마킹 프로세서의 하드웨어 암호화 모듈에 관한 것으로, 종래 주파수 영역에 워터마크를 적용하는 방법은 공간영역에서 적용되던 방법에 비해 공격에 강한 특징을 가지지만 주파수 특성상 워터마크 삽입 위치를 정확히 선정할 수 없는 문제점이 있었다. 이러한 문제점을 감안한 본 발명은 영상을 DCT 변환하여 DC 계수를 출력하는 DCT 코덱과; 네트워크 프로토콜 및 영상 코덱에서 사용 가능한 해시 함수를 선택하고. 상기 DC 계수를 입력받아 해시 함수에 전달하여 출력되는 메시지를 워터마크로 출력하는 워터마크 출력부와; 선형 피드백 시프트 레지스터(Linear Feedback Shift Register)를 이용하여 DCT 블록의 AC 계수를 선정하고, 양자화된 픽셀 계수의 소정 하위 비트에 워터마크의 삽입위치를 선정하는 삽입위치 선정부와; 상기 삽입위치 선정부에서 선정한 AC 계수에 워터마크를 삽입하는 워터마크 삽입부로 구성되어 워터마크의 삽입 위치를 정확히 선정하여 워터마크를 삽입하고, 워터마크의 삽입에 의한 화질 열화를 최소화하여 비가시성을 높임으로써 워터마크의 삽입 및 추출이 용이하고, 저작권 논쟁시 고유한 본래 워터마크의 위/변조 논란의 여지가 없는 효과가 있다.

Description

워터마킹 삽입/추출 방법 및 워터마킹 프로세서의 하드웨어 암호화 모듈{WATERMARK INSERTING/EXTRACTING METHOD AND HARDWARE CRYPTO MODULE OF WATERMARKING PROCESSOR}
도 1은 종래 워터마킹 삽입 전/후의 영상을 보인 예시도.
도 2는 본 발명의 실시 예에서 엠펙2 엔코더의 구성을 보인 블록도.
도 3은 본 발명의 실시 예에서 해시 함수 모듈을 보인 블록도.
도 4는 본 발명의 실시 예에서 워터마킹 생성시의 생성된 워터마크 값을 보인 예시도.
도 5는 본 발명의 실시 예에서 워터마크 삽입블록을 선정할 선형 피드백 시프트 레지스터의 구성을 보인 블록도.
도 6은 본 발명의 실시 예에서 워터마크의 삽입 동작을 보인 예시도.
**도면의 주요부분에 대한 부호의 설명**
21 : DCT 코덱 22 : 암호화 모듈
본 발명은 워터마크 삽입/추출 방법 및 워터마킹 프로세서의 하드웨어 암호 화 모듈에 관한 것으로, 특히 DC 계수를 해시 함수의 입력으로 넣어 출력되는 메시지를 워터마크로 사용하고 AC 계수에 워터마크를 삽입할 수 있게 한 워터마크 삽입/추출 방법 및 워터마킹 프로세서의 하드웨어 암호화 모듈에 관한 것이다.
컴퓨터는 컨텐츠 사업자로부터 획득한 디지털 데이터를 복제 및 변조하여 이용하고 데이터 원본을 복제하여 복사본을 만들면 데이터 손실이 없어 원본과 복사본의 구분을 모호하게 한다. 인터넷과 같은 개방형 네트워크의 발전은 유무선 통신을 통해 데이터 이동 및 저장을 자유롭게 하고 컴퓨터는 디지털 데이터를 복제 및 변조하여 인터넷을 통해 유통하므로 디지털 데이터의 불법 복제 및 배포가 확산됨에 따라 최근 지적 재산권 문제가 크게 부각되고 있다.
디지털 워터마킹 기법은 지적 재산권을 보호하고 저작권을 주장할 수 있는 근거를 제시할 수 있도록 하는 기술로서 현재 많은 연구와 응용이 진행되고 있다.
워터마킹 기술이 발달함에 따라 워터마크 적용 영역이 공간영역에서 주파수영역으로 옮겨졌는데 주파수 영역에 워터마크를 적용하는 방법은 주파수 계수를 변화시켜 워터마크를 삽입하는 것으로 Ruanaidh는 DFT(Discrete Fourier Transform)를 이용하여 위상에 워터마크를 삽입하는 방법을 제안하였고 Cox와 Barni 등은 DCT(Discrete Cosine Transform)를 이용하여 주파수 영역의 중요한 계수를 선택한 후 계수의 크기 순으로 워터마크를 삽입하는 방법을 제안하였다.
최근 데이터 압축률이 높아짐에 따라 DCT에서 발생하는 블록화 현상을 해결하기 위해 Xia와 Hsieh 등은 DWT(Discrete Wavelet Transform)기반의 다해상도를 이용한 방법을 제안하였다.
주파수 영역에 워터마크를 적용하는 방법은 공간영역에서 적용되던 방법에 비해 공격에 강한 특징을 가지지만 주파수 특성상 워터마크 삽입 위치를 정확히 선정할 수 없는 단점이 있다.
도 1은 종래 워터마킹 삽입 전/후의 영상을 보인 예시도이다. 워터마크 삽입시 비가시성을 위하여 워터마크가 삽입된 영상은 도 1의 (c)와 같이 도 1의 (b) 워터마크가 삽입되더라고 도 1의 (a) 원영상과 시각적으로 차이가 없어야 한다. 영상 변조후 추출된 워터마크는 도 1의 (d)이다.
따라서 본 발명은 상기와 같은 문제점을 감안하여 창안한 것으로, 워터마크의 삽입 위치를 정확히 선정하여 워터마크를 삽입하고, 워터마크의 삽입에 의한 화질 열화를 최소화하여 비가시성을 높일 수 있도록 한 워터마크 삽입/추출 방법 및 워터마킹 프로세서의 하드웨어 암호화 모듈을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명은, 영상을 DCT 변환하여 DC 계수를 출력하는 DCT 코덱과; 네트워크 프로토콜 및 영상 코덱에서 사용 가능한 해시 함수를 선택하고. 상기 DC 계수를 입력받아 해시 함수에 전달하여 출력되는 메시지를 워터마크로 출력하는 워터마크 출력부와; 선형 피드백 시프트 레지스터를 이용하여 DCT 블록의 AC 계수를 선정하고, 양자화된 픽셀 계수의 소정 하위 비트에 워터마크의 삽입위치를 선정하는 삽입위치 선정부와; 상기 삽입위치 선정부에서 선정한 AC 계수에 워터마크를 삽입하는 워터마크 삽입부로 구성한 것을 특징으로 한다.
또한, 영상을 DCT 변환하여 DC 계수를 출력하는 단계와; 네트워크 프로토콜 및 영상 코덱에서 사용 가능한 해시 함수를 선택하고, 상기 DC 계수를 입력받아 해시 함수에 전달하여 출력되는 메시지를 프레임 버퍼링한 다음 실시간으로 워터마크를 출력하는 단계와; 선형 피드백 시프트 레지스터를 이용하여 DCT 블록의 AC 계수를 선정하고 양자화된 픽셀 계수의 소정 하위 비트에 워터마크의 삽입위치를 선정하는 단계와; 선정된 AC 계수에 워터마크를 삽입하는 단계로 이루어진 것을 특징으로 한다.
이하, 본 발명에 따른 실시 예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.
도 2는 본 발명의 실시 예에서 엠펙2 엔코더의 구성을 보인 블록도로서, 이에 도시된 바와 같이 영상을 DCT 변환하여 DC 계수를 출력하는 DCT 코덱(21)과; DCT 변환된 영상의 AC 계수를 출력하는 인코더(23)와; DC 계수를 양자화하여 해시 함수에 입력하여 출력되는 워터마크 메시지를 영상의 AC 계수에 삽입하는 암호화 모듈(22)로 구성된다.
점선으로 묶여진 DCT 코덱(21), 암호화 모듈(22), 인코더(23)는 본 발명의 실시 예에서 주요 구성 블록에 속하며 이들 블록의 동작을 워터마크 생성 및 삽입순으로 설명한다.
DCT 코덱(21)은 영상을 DCT 변환하여 DC 계수를 출력하고, DCT 변환 후의 DC 계수는 무손실 압축과정으로 인코딩된다. 따라서 DC 계수는 암호화 모듈(22)에 입력되고 암호화 모듈(22)에서 선택된 해시 함수에 의해 출력되는 메시지는 워터마크로 사용된다.
암호화 모듈(22)의 워터마크 출력부(22a)는 네트워크 프로토콜 및 영상 코덱에서 사용 가능한 해시 함수를 선택하고 DC 계수를 입력받아 해시 함수에 전달하여 출력되는 메시지를 워터마크로 사용하고, 암호화 모듈(22)의 워터마크 삽입부(22c)는 DCT 변환된 영상의 AC 계수의 하위 비트에 워터마크를 삽입한다. 암호화 모듈(22)은 SHA, HAS160, MD5등의 해시 함수를 선택 사용한다. 메시지 추출시와 인증시 해시 함수가 다르면 워터마크를 추출할 수 없으므로 암호화 모듈(22)에서 사용되는 워터마크 삽입/추출시의 해시 함수는 동일해야 한다.
인코더(23)는 DCT 변환된 영상의 AC 계수를 가변 길이 코딩하여 압축된 비트 스트림을 출력한다. 이때, 암호화 모듈(22)은 인코더(23)의 AC 계수를 사용하여 워터마크의 삽입위치를 결정하고 선택된 AC 계수의 하위 비트에 해시 함수에 의해 출력된 워터마크를 삽입하고 하위 비트 이외의 비트 값은 그대로 유지하여 비트 스트림을 처리한다.
도 3은 본 발명의 실시 예에서 해시 함수 모듈을 보인 블록도이다. 해시 함수 모듈은 각각 MD5(메시지 다이제스트 알고리즘 5)(도 3a), HAS160(도 3b), SHA(도 3c)이며 하드웨어 모듈로 구성되어 네트워크 프로토콜 및 컨텐츠에 따라 다양하게 선택되어 사용된다. 해시 함수 모듈은 많은 연산량을 하드웨어적으로 처리하여 연산 시간을 단축시키고, 구현된 하드웨어 모듈은 데이터베이스화되어 영상 코덱의 한 블록으로 삽입된다.
도 4는 본 발명의 실시 예에서 워터마킹 생성시의 생성된 워터마크 값을 보인 예시도이다. 해시 함수 모듈 MD5는 도 4의 시뮬레이션 결과에 도시된 바와 같이 DC 계수를 입력받아 해시 처리하여 DC 계수에 대응한 메시지인 워터마크 값을 출력한다.
암호화 모듈(22)의 삽입위치 선정부(22b)는 워터마크의 비가시성을 위하여 워터마크의 삽입시에는 영상 코덱의 압축 과정에 따른 특성을 충분히 고려하여 워터마크의 삽입위치를 선정한다. 삽입위치 선정부(22b)는 삽입위치를 주파수 영역의 AC 계수에 선정하되 양자화 후에도 워터마크가 살아남을 수 있도록 양자화된 픽셀 계수의 3~4번째 비트에 선정한다. 이때, 삽입된 워터마크가 영상의 화질을 저하시키지 않도록 해야 한다.
삽입위치 선정부(22b)에 의해 선정되는 워터마크의 삽입위치는 제삼자에 의해 추정되지 않아야 하며 삽입위치 선정부(22b)는 도 5의 선형 피드백 시프트 레지스터를 이용해서 선택된 8*8 DCT 블록의 AC 계수에만 워터마크를 삽입한다. 이때 선형 피드백 시프트 레지스터의 시드 값에는 미리 선택된 값이 사용된다. 도 5는 본 발명의 실시 예에서 워터마크 삽입블록을 선정할 선형 피드백 시프트 레지스터의 구성을 보인 블록도이다. 선형 피드백 시프트 레지스터는 DC 계수를 입력받아 워터마크의 삽입 위치를 계산하고 계산된 삽입 위치에 대응한 AC 계수를 선택한다. 다른 실시 예로 삽입위치 선정부(22b)는 선형 피드백 시프트 레지스터를 이용하지 않고 워터마크의 삽입 위치인 AC 계수의 데이터를 미리 결정하고 보관하여 사용하고 워터마크 추출시 보관된 AC 계수의 데이터를 사용하여 워터마크를 추출한다.
암호화 모듈(22)의 워터마크 삽입부(22c)는 삽입위치 선정부(22b)에 의해 선정된 AC 계수에 워터마크 출력부(22a)의 워터마크를 삽입한다. 워터마크의 삽입 개 수와 워터마크의 강도는 직접적으로 상관관계가 있지만 워터마크의 삽입 개수가 무조건 많다고 좋은 것은 아니므로 워터마크 삽입부(22c)는 워터마크를 생성하는데 필요한 해시 연산량을 고려하여 워터마크의 삽입 개수를 조절한다. 워터마크 삽입부(22c)는 해시함수에 의해 출력된 워터마크를 선정된 AC 계수의 3~4번째 비트에 삽입한다.
해시 함수로부터 추출된 워터마크는 1프레임 버퍼링되어야 실시간으로 컨텐츠에 삽입될 수 있다. 워터마크 삽입부는 워터마크를 1프레임 버퍼링한 다음 실시간으로 출력되는 워터마크를 영상 컨텐츠에 삽입한다.
도 6은 본 발명의 실시 예에서 워터마크의 삽입 동작을 보인 예시도이다.
영상 프레임이 DCT 변환된 비트플레인에서 추출된 DC 계수는 해시 함수의 입력으로 전달되고 해시 함수는 DC 계수를 입력받아 해시 처리하여 워터마크로 사용될 메시지를 출력한다. 메시지는 워터마크로 사용되어 AC 계수의 하위 비트에 삽입된다.
이상에서 상세히 설명한 바와 같이, 본 발명은 워터마크의 삽입 위치를 정확히 선정하여 워터마크를 삽입하고, 워터마크의 삽입에 의한 화질 열화를 최소화하여 비가시성을 높임으로써 워터마크의 삽입 및 추출이 용이하고, 저작권 논쟁시 고유한 본래 워터마크의 위/변조 논란의 여지가 없는 효과가 있다.
또한, 암호화 모듈에 내장된 해시 함수를 네트워크 프로토콜 및 컨텐츠에 따라 선택 사용함으로써 다양한 디지털 환경에 적응하여 암호화 모듈을 선택 사용하 는 효과가 있다.
또한, 해시 함수의 많은 연산량을 하드웨어적으로 처리하여 연산 시간을 크게 단축시킴으로써 해시 함수가 구현된 하드웨어 모듈을 데이터베이스화하여 영상 코덱의 한 블록으로 삽입하여 사용하는 효과가 있다.

Claims (6)

  1. 영상을 DCT 변환하여 DC 계수를 출력하는 DCT 코덱과;
    네트워크 프로토콜 및 영상 코덱에서 사용 가능한 해시 함수를 선택하고. 상기 DC 계수를 입력받아 해시 함수에 전달하여 출력되는 메시지를 워터마크로 출력하는 워터마크 출력부와;
    선형 피드백 시프트 레지스터를 이용하여 DCT 블록의 AC 계수를 선정하고, 양자화된 픽셀 계수의 소정 하위 비트에 워터마크의 삽입위치를 선정하는 삽입위치 선정부와;
    상기 삽입위치 선정부에서 선정한 AC 계수에 워터마크를 삽입하는 워터마크 삽입부로 구성된 것을 특징으로 하는 워터마킹 프로세서의 하드웨어 암호화 모듈.
  2. 제1항에 있어서, 상기 암호화 모듈은 SHA, HAS160, MD5등의 해시 함수를 선택 사용하게 구성된 것을 특징으로 하는 워터마킹 프로세서의 하드웨어 암호화 모듈.
  3. 제2항에 있어서, 상기 암호화 모듈은 MD5, HAS160, SHA의 해시 함수를 하드웨어 모듈로 구성하여 해시 함수의 많은 연산량을 하드웨어적으로 처리하고, 구현된 하드웨어 모듈을 데이터베이스화하여 영상 코덱의 한 블록으로 삽입하게 구성된 것을 특징으로 하는 워터마킹 프로세서의 하드웨어 암호화 모듈.
  4. 삭제
  5. 제1항에 있어서, 상기 워터마크 삽입부는 워터마크를 프레임 버퍼링한 다음 실시간으로 출력되는 워터마크를 영상 컨텐츠에 삽입하게 구성된 것을 특징으로 하는 워터마킹 프로세서의 하드웨어 암호화 모듈.
  6. 영상을 DCT 변환하여 DC 계수를 출력하는 단계와;
    네트워크 프로토콜 및 영상 코덱에서 사용 가능한 해시 함수를 선택하고, 상기 DC 계수를 입력받아 해시 함수에 전달하여 출력되는 메시지를 프레임 버퍼링한 다음 실시간으로 워터마크를 출력하는 단계와;
    선형 피드백 시프트 레지스터를 이용하여 DCT 블록의 AC 계수를 선정하고 양자화된 픽셀 계수의 소정 하위 비트에 워터마크의 삽입위치를 선정하는 단계와;
    선정된 AC 계수에 워터마크를 삽입하는 단계로 이루어진 것을 특징으로 하는 워터마크 삽입/추출 방법.
KR1020050013759A 2005-02-18 2005-02-18 워터마킹 삽입/추출 방법 및 워터마킹 프로세서의 하드웨어암호화 모듈 KR100664031B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050013759A KR100664031B1 (ko) 2005-02-18 2005-02-18 워터마킹 삽입/추출 방법 및 워터마킹 프로세서의 하드웨어암호화 모듈

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050013759A KR100664031B1 (ko) 2005-02-18 2005-02-18 워터마킹 삽입/추출 방법 및 워터마킹 프로세서의 하드웨어암호화 모듈

Publications (2)

Publication Number Publication Date
KR20060092682A KR20060092682A (ko) 2006-08-23
KR100664031B1 true KR100664031B1 (ko) 2007-01-03

Family

ID=37594030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050013759A KR100664031B1 (ko) 2005-02-18 2005-02-18 워터마킹 삽입/추출 방법 및 워터마킹 프로세서의 하드웨어암호화 모듈

Country Status (1)

Country Link
KR (1) KR100664031B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100930186B1 (ko) * 2007-09-14 2009-12-07 삼성전기주식회사 압축영상 내 정보 삽입 방법
CN102547297B (zh) * 2012-02-28 2014-12-03 中国传媒大学 基于dc系数的mpeg2视频水印实现方法
KR101509877B1 (ko) * 2013-01-21 2015-04-07 에스케이씨앤씨 주식회사 이미지로부터 생성한 워터마크를 이미지에 삽입하는 기법에 의한 워터마킹 방법 및 장치
KR101528300B1 (ko) * 2013-10-10 2015-06-11 조선대학교산학협력단 Ac 계수를 이용한 jpeg 압축 이미지의 워터마크 삽입 및 추출 방법
CN107577746A (zh) * 2017-08-29 2018-01-12 长江大学 基于生物特征的大学生自助电子成绩单获取方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040092703A (ko) * 2003-04-25 2004-11-04 (주)마크텍 영상에 워터마크를 삽입하는 방법 및 상기 방법을 이용한디지털 비디오 저장장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040092703A (ko) * 2003-04-25 2004-11-04 (주)마크텍 영상에 워터마크를 삽입하는 방법 및 상기 방법을 이용한디지털 비디오 저장장치

Also Published As

Publication number Publication date
KR20060092682A (ko) 2006-08-23

Similar Documents

Publication Publication Date Title
Lian et al. Commutative encryption and watermarking in video compression
AbdelWahab et al. Hiding data in images using steganography techniques with compression algorithms
JP4226897B2 (ja) デジタル画像データへ電子透かしを埋め込む方法
Raja et al. A secure image steganography using LSB, DCT and compression techniques on raw images
EP1529262B1 (en) Watermarking and fingerprinting digital content using alternative blocks to embed information
Liu et al. High-performance JPEG steganography using complementary embedding strategy
CN111917558B (zh) 一种基于区块链的视频帧数据双认证与分级加密方法
JP2000115524A (ja) デジタル・オブジェクト用電子透かし入れ方法
JP3834281B2 (ja) ウォーターマーク埋め込み方法、伝送方法、復元方法及びその装置
KR100664031B1 (ko) 워터마킹 삽입/추출 방법 및 워터마킹 프로세서의 하드웨어암호화 모듈
Luo et al. Fast and robust watermarking of JPEG files
Nikolaidis Low overhead reversible data hiding for color JPEG images
Mandal et al. A genetic algorithm based steganography in frequency domain (GASFD)
Xu et al. A content security protection scheme in JPEG compressed domain
Choubisa et al. Permutation based invisible digital watermarking technique using DCT domain
Gupta et al. A new approach for information security using asymmetric encryption and watermarking technique
EP1743296B1 (en) Watermarking a compressed information signal
Ghosal et al. Color image authentication based on two-dimensional separable discrete hartley transform (CIA2D-SDHT)
Ahani et al. Image steganography based on sparse decomposition in wavelet space
Fujiyoshi et al. Modulo arithmetic-based image watermarking and its theoretical analysis of image-quality
Ghoshal et al. Controlled data hiding technique for color image authentication in frequency domain (CDHTCIAFD)
Ebrahimi et al. Secure JPEG 2000-JPSEC
Bhatia et al. Singular value decomposition based steganography technique for jpeg2000 compressed images
Susanto et al. A combination of Hill Cipher and LSB for image security
Bhattacharyya et al. Directed graph pattern synthesis in LSB technique on video steganography

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee