KR100856756B1 - 3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치 - Google Patents

3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치 Download PDF

Info

Publication number
KR100856756B1
KR100856756B1 KR1020070100705A KR20070100705A KR100856756B1 KR 100856756 B1 KR100856756 B1 KR 100856756B1 KR 1020070100705 A KR1020070100705 A KR 1020070100705A KR 20070100705 A KR20070100705 A KR 20070100705A KR 100856756 B1 KR100856756 B1 KR 100856756B1
Authority
KR
South Korea
Prior art keywords
image data
dimensional
information
camera module
dimensional image
Prior art date
Application number
KR1020070100705A
Other languages
English (en)
Inventor
김도현
Original Assignee
(주)다우텔레콤
김도현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)다우텔레콤, 김도현 filed Critical (주)다우텔레콤
Priority to KR1020070100705A priority Critical patent/KR100856756B1/ko
Application granted granted Critical
Publication of KR100856756B1 publication Critical patent/KR100856756B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 광원, 이미지센서를 이용하여 3차원 영상을 획득하기 위한 3차원카메라모듈장치 및 이를 이용한 무인 감시 방법에 관한 것으로, 이 장치는 거리(distance; x), 깊이(depth; z)를 포함하는 3차원 영상 데이터를 생성하는 3차원 카메라 모듈장치에 있어서;
피사체(被寫體)를 비추는 광원(光源); 피사체(被寫體)로부터 반사광을 수집하는 카메라 렌즈; 카메라 렌즈로부터 영상을 감지하여 거리(distance)정보, 깊이(depth)정보, 영상데이터를 추출하는 3차원 이미지센서; 3차원 이미지센서로 부터 추출된 거리(distance)정보와 깊이(depth)정보를 토대로 연산하여 거리(distance)정보, 깊이(depth)정보, 상기 영상데이터를 결합하여 3차원 영상 데이터를 생성하고 데이터를 판단하는 제어부; 제어부에서 생성된 3차원 영상 데이터를 일시 저장, 호출할 수 있는 메모리부; 를 포함하는 3차원 카메라 모듈장치를 제공하고,
더 나아가 상기 3차원 영상 데이터에서 화재, 도난, 침입을 포함하는 특이사항이 감지되면 제어부는 미리설정된 기준치와 비교, 판단하여 경보음, 메시지, 특이사항정보를 출력하는 무인 감시 장치 및 운용 방법을 제공하는 것을 특징으로 한다.
3차원 카메라 모듈, 이미지 센서, 무인 감시 장치

Description

3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치 {unmanned monitering device using the 3 dimension camera module device}
도 1은 종래의 카메라장치를 이용하여 3차원 영상을 획득하는 과정을 설명하기 위한 도면.
도 2는 본 발명의 3차원 카메라 모듈장치의 구성을 나타내는 도면.
도 3은 본 발명의 3차원 카메라 모듈장치를 이용한 무인 감시 장치 운용 방법을 나타낸 순서도.
<도면의 주요 부분에 대한 부호의 설명>
10: 무인 감시장치 11: 카메라 렌즈
12: 이미지 센서 13: 광원
14: 제어부 15: 전압부
16: 통신부 17: 감지센서부
18: 메모리부 20: 모니터부
본 발명은 3차원카메라모듈장치에 관한 것으로, 더 상세하게는 광원, 3차원 이미지센서, 카메라 렌즈를 이용하여 3차원 영상을 획득하기 위한 3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치와 운용 방법에 관한 것이다.
일반적으로, 3차원 영상을 획득하기 위해서는 적어도 2대의 카메라가 필요한데, 이러한 종래의 과정을 살펴보면 다음과 같다.
삭제
삭제
종래의 입체영상(Stereo) 카메라는 초점제어와 주시각제어가 각각 독립적으로 수행되며, 줌 기능이 첨부된 입체영상 카메라는 자연스럽게 선명한 입체영상을 획득하기 위해서는 조작이 대단히 어려워지는 단점이 있다.
또한, 좌,우 영상을 각각 초당 15 프레임으로 전송하기 때문에 눈의 피로를 증가시키고 있고 카메라의 무게가 많이 나가며 깜박거림 현상이 있는 문제점을 노출하고 있다.
본 발명의 목적은 상기와 같은 문제를 해결하기 위하여 조작하기에 간단하고, 1개의 3차원 이미지센서 와 광원을 이용하여 3차원 영상 데이터를 얻을 수 있는 3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치와 운용 방법을 제공하는데 그 목적이 있다.
본 발명이 구현하려고 하는 기술은 도 1에 나타낸 바와 같이, 카메라는 거리(distance; d) 만큼 이격된 위치에서 제 1 각도(angle; θ)만큼 기울어진 상태에서 피사체를 바라보고 있고, 피사체를 비추는 광원 역시 제 1 각도(angle; θ)만큼 기울어진 상태에서 피사체를 바라보고 있다.
이러한
카메라가 촬영한 영상데이터는 피사체의 거리(distance), 피사체의 깊이(depth)를 나타내는 (x, z)로 이루어진 영상을 획득한다.
이러한
상기 목적을 달성하기 위한 본 발명은 거리(distance; x), 깊이(depth; z) 정보를 포함하는 3차원 영상 데이터를 생성하는 3차원 카메라 모듈장치에 있어서; 피사체(被寫體)를 비추는 광원(光源); 피사체(被寫體)로부터 반사광을 수집하는 카메라 렌즈; 카메라 렌즈로부터 영상을 감지하여 거리(distance)정보, 깊이(depth)정보, 영상데이터를 추출하는 3차원 이미지센서; 3차원 이미지센서로 부터 추출된 거리(distance)정보와 깊이(depth)정보를 토대로 연산하여 거리(distance)정보, 깊이(depth)정보, 상기 영상데이터를 결합하여 3차원 영상 데이터를 생성하고 데이터를 판단하는 제어부; 제어부에서 생성된 3차원 영상 데이터를 일시 저장, 호출할 수 있는 메모리부; 를 포함하는 3차원 카메라 모듈장치를 제공하는 것이다.
바람직한 실시예로서, 상기 메모리부의 저장된 3차원 영상 데이터를 상기 제어부의 판단에 따라 메모리부의 영상데이터를 삭제하는 기능이 더 포함된다.
본 발명의 다른 특징은
피사체(被寫體)를 비추는 광원(光源); 피사체(被寫體)로부터 반사광을 수집하는 카메라 렌즈; 카메라 렌즈로부터 영상을 감지하여 거리(distance)정보, 깊이(depth)정보, 영상데이터를 추출하는 3차원 이미지센서; 3차원 이미지센서로 부터 추출된 거리(distance)정보와 깊이(depth)정보를 토대로 연산하여 거리(distance)정보, 깊이(depth)정보, 상기 영상데이터를 결합하여 3차원 영상 데이터를 생성하고 데이터를 판단하는 제어부; 제어부에서 생성된 3차원 영상 데이터를 일시 저장, 호출할 수 있는 메모리부;로 구성된 3차원 카메라 모듈장치에 있어서; 3차원 영상 데이터에 인가받지 않은 침입 등을 포함하는 특이사항이 감지되면 경보음, 메시지, 특이사항정보를 출력하는 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
3차원 카메라 모듈장치는 TOF(Time of flight)원리에 따라 거리를 측정하고 삼각측량으로 3차원 영상 데이터를 획득한다는 점에서, 기존 방식의 카메라 2대(stereo)로 목표하는 피사체를 바라보면서 나란히 배열되도록 배치하고, 거리(distance)데이터, 깊이(depth)데이터, 영상 데이터를 결합하여 3차원 영상데이터를 합성한다는 점에서는 동일하다.
종래 기술과 다른 점은, 3차원 카메라 모듈 장치를 이용한 1대의 3차원 카메라만을 사용하여 광원을 투사 후 반사되어 오는 광을 3차원 이미지 센서가 TOF방식에 따라 거리(distance; x)데이터, 깊이(z; depth)데이터, 영상데이터 합성하여 3차원 영상데이터를 합성한다는 것이다.
도1은 3차원 이미지 센서와 광원의 배치를 나타낸다.
참고로, 상기 3차원 영상 데이터의 거리(distance), 깊이(depth)를 연산하는 과정은 3차원 이미지센서부의 하드웨어적인 처리와 제어부 내부에 탑재된 소프트웨어에 의해서 처리된다.
한편, 광원은 레이저 또는 LED(적외선) 배열로 이루어지며, 빛이 3차원 이미지센서에 들어오면 전송 광선의 네모파가 실제 이용되어 하드웨어적으로 사용하기 용이한 사인파로 바꾸어준다.
본 발명의 3차원 카메라 모듈장치는 모듈에 동일하게 장착하는 단일 기판상에 취부할 위치를 식별할 수 있는 지자기 센서와 거리를 측정하는 3차원 이미지 센서를 부착한다.
본 발명의 3차원 카메라 모듈장치를 이용한 무인 감시 장치 및 운용 방법은 3차원 이미지센서의 3차원 영상 데이터,거리(distance)데이터, 깊이(depth)데이터와, 지자기센서에 의한 카메라 위치에 대한 좌표 데이터를 통합하여 모니터에 표출해 줄 수 있고 이 정보를 정확하게 사용자에게 전달할 수 있도록 하기 위해 유선과 무선으로 데이터를 주고받을 수 있는 통신수단을 포함한다. 이때, 데이터 인터페이스(Data Interface)는 10/100-Base-T Ethernet 을 적용하고, 무선랜 또는 와이브로(WiBro)를 적용할 수 있는 주파수 2.4 내지 2.48GHz 또는 5.7GHz 이상의 듀얼 모드(Dual Mode)의 통신설비를 사용할 수 있다.
한편, 상기 3차원 이미지센서는 CMOS 방식의 120 X 160 화소를 가지며, 저가의 CMOS 센서 칩에 아날로그-디지털 변환기(ADC)를 통합한 칩을 사용해 60fps까지의 프레임 속도를 가지도록 한다.
도 2는 본 발명에 따른 3차원 카메라모듈장치를 이용한 무인 감시 장치를 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 3차원 모듈 장치는 카메라 렌즈(11)와 3차원 이미지 센서(12) 및 광원(13)을 포함하고, 카메라 렌즈(11)는 종래의 일반적인 C-mount 렌즈를 사용하며, 줌렌즈 사용이 가능하다, 3차원 이미지 센서(12)는 제어부로 영상신호를 출력하며, 광원(13)은 레이저(laser), LED(적외선)광원, 자연광이며, LED(적외선)광원은 2.5 내지 5W 로 사람의 눈을 보호하기 위하여 870nm 를 사용한다. 이때, 광원(13)으로부터 피사체에 반사된 빛은 렌즈(11)를 통하여 3차원 이미지 센서(12)에 감지되고 이를 통해 피사체와의 거리를 측정하고, 이 때 3차원 이미지 센서(12)는 광원의 반사된 시간(TOF)을 측정하기 위하여 아날로그 디지털 변환기(ADC)를 내장한다.
또한, 제어부(14)는 중앙처리 장치로 클럭주파수 330 MHz 이상을 사용하며, 변조주파수 44 MHz 를 발생하여 3차원 이미지 센서(12)를 조절하며, 주변장치의 입출력을 제어하고, 취득한 영상 및 거리 데이터에 대한 소프트웨어, 하드웨어적인 3차원 이미지 맵핑 처리를 통해 3차원 이미지 데이터를 생성 한다.
전원부(15)는 외부 전력 어댑터로부터 입력된 DC +12V 전원을 필요한 레벨로 변환(DC-DC 변환)하여 공급한다.
그리고, 통신부(16)는 IEEE1394 또는 USB 를 통해 직렬로 연결되고, 10/100-Base-T Ethernet 을 기본 통신 수단으로 하여 다른 방법으로 IEEE802.11a/b 규격에 준한 무선 통신을 행하고, 감지 센서부(17)는 위치 측정을 위해 지자기 센서를 이용해 카메라의 위치를 좌표 X,Y,Z 방향을 추출해 위치를 파악하며 이 데이터와 3차원 이미지센서에서 취득한 거리데이터, 깊이데이터 및 영상 데이터를 합성하여 3차원 영상데이터를 얻은 후 제어부는 미리설정된 기준치와 비교, 판단하여 화재, 도난, 침입 등을 제어부가 판단, 감지하는 기능을 가진다.
메모리부(18)는 제어부에 의해 가공된 3차원 영상데이터의 저장을 저장한 후 제어부의 판단에 따라 삭제할 수 있고, 표시부(20)는 3차원 카메라 모듈장치에서 출력된 영상을 디스플레이하는 패널로 3차원 영상데이터를 볼 수 있으며, 인식된 3차원 영상데이터와 지자기 센서로부터 얻어진 위치데이터, 3차원 영상데이터를 통합하여 표시부(20)에 나타낼 수 있다.
삭제
도 3은 본 발명의 3차원 카메라 모듈장치를 이용한 무인 감시 장치 운용 방법을 나타낸 것이다.
도 3을 참조하면 오토 아이리스 렌즈를 장착한 3차원 카메라 모듈장치를 무인 작동시키는 단계(S100) 즉 카메라를 정해진 감시위치에 고정(Focus)시키는 단계이며 , 작동된 3차원 카메라 모듈장치에 의해 획득한 거리, 깊이, 영상데이터를 결합하여 3차원 영상 데이터 구성하는 단계(S101), 상기 구성된 3차원 영상데이터를 이상 유무 판단을 위해 미리 입력된 3차원 영상 데이터를 비교하여 변동이 없으면 최초의 단계 즉, S100으로 이동하는 단계(S102), 변동이 발생하였다면 3차원 카메라 모듈장치를 통해 획득한 3차원 영상데이터를 사용자 컴퓨터로 전송하는 단계(단계 S103), 3차원카메라 모듈장치로부터 얻어진 3차원 영상데이터를 표시부(20)에 출력해주는 단계(S201), 사용자 컴퓨터는 3차원 카메라모듈장치를 통하여 획득한 3차원 영상데이터를 특이 사항, 즉 화재, 도난, 침입 등을 판단하여 특이사항이 없으면 단계 S100으로 이동하고 특이 사항이 있으면 경보음, 메시지 송출 및 사항에 대한 정보를 사용자 컴퓨터에 실시간으로 저장하는 단계(S203), 강제로 종료할 것인지 판단하는 단계(S204)를 반복하는 것을 특징으로 하는3차원 카메라 모듈장치를 이용한 무인 감시 장치 운용 방법을 나타낸다.
삭제
삭제
상술한 본 실시예의 바람직한 양태에 따르면, 1대의 카메라, 이미지센서, 광원을 이용하여 3차원 영상데이터를 생성하게 되므로 경제적일 뿐만 아니라, 사용자가 조작하기에 간편한 장점을 제공하고, 더 나아가 3차원 영상데이터의 특이사항을 감지하여 경보해줄 수 있는 무인 감시 장치로 기능할 수 있는 장점이 있다.

Claims (3)

  1. 거리(distance; x), 깊이(depth; z) 정보를 포함하는 3차원 영상 데이터를 생성하는 3차원 카메라 모듈장치에 있어서; 피사체(被寫體)를 비추는 광원(光源); 피사체(被寫體)로부터 반사광을 수집하는 카메라 렌즈; 카메라 렌즈로부터 영상을 감지하여 거리(distance)정보, 깊이(depth)정보, 영상데이터를 추출하는 3차원 이미지센서; 3차원 이미지센서로 부터 추출된 거리(distance)정보와 깊이(depth)정보를 토대로 연산하여 거리(distance)정보, 깊이(depth)정보, 상기 영상데이터를 결합하여 3차원 영상 데이터를 생성하고 데이터를 판단하는 제어부; 제어부에서 생성된 3차원 영상 데이터를 일시 저장, 호출할 수 있는 메모리부; 를 포함하는 3차원 카메라 모듈장치.
  2. 제 1 항에 있어서,
    상기 메모리부의 저장된 3차원 영상 데이터를 상기 제어부의 판단에 따라 메모리부의 영상데이터를 삭제하는 기능이 더 포함된 3차원 카메라 모듈장치.
  3. 삭제
KR1020070100705A 2007-10-08 2007-10-08 3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치 KR100856756B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070100705A KR100856756B1 (ko) 2007-10-08 2007-10-08 3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070100705A KR100856756B1 (ko) 2007-10-08 2007-10-08 3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020080062296A Division KR20090036073A (ko) 2008-06-30 2008-06-30 3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치운용방법

Publications (1)

Publication Number Publication Date
KR100856756B1 true KR100856756B1 (ko) 2008-09-10

Family

ID=40022485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070100705A KR100856756B1 (ko) 2007-10-08 2007-10-08 3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치

Country Status (1)

Country Link
KR (1) KR100856756B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356172B1 (ko) 2013-01-30 2014-01-24 국방과학연구소 원격 제어를 위한 3차원 영상 생성 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH099110A (ja) * 1995-06-26 1997-01-10 Meidensha Corp 専用テレビジョン監視装置
KR20000006661A (ko) * 1999-09-28 2000-02-07 김석기 스테레오 비젼의 3차원 정보를 이용한 동작 검출기 및 그방법
KR100335617B1 (ko) 1995-12-14 2002-10-31 삼성전자 주식회사 3차원 입체영상 합성방법
JP2005033731A (ja) 2003-07-11 2005-02-03 Nippon Telegr & Teleph Corp <Ntt> ３次元画像生成方法及び３次元画像生成装置、ならびに３次元画像生成プログラム及び記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH099110A (ja) * 1995-06-26 1997-01-10 Meidensha Corp 専用テレビジョン監視装置
KR100335617B1 (ko) 1995-12-14 2002-10-31 삼성전자 주식회사 3차원 입체영상 합성방법
KR20000006661A (ko) * 1999-09-28 2000-02-07 김석기 스테레오 비젼의 3차원 정보를 이용한 동작 검출기 및 그방법
JP2005033731A (ja) 2003-07-11 2005-02-03 Nippon Telegr & Teleph Corp <Ntt> ３次元画像生成方法及び３次元画像生成装置、ならびに３次元画像生成プログラム及び記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356172B1 (ko) 2013-01-30 2014-01-24 국방과학연구소 원격 제어를 위한 3차원 영상 생성 장치 및 방법

Similar Documents

Publication Publication Date Title
KR101066068B1 (ko) 듀얼 카메라를 이용한 영상 감시 장치 및 방법
KR101073076B1 (ko) 복합카메라를 이용한 화재감시 시스템 및 방법
US8669876B2 (en) Above-water monitoring of swimming pools
JP4805991B2 (ja) レーザ距離測定機を用いた保安システムおよびレーザ距離測定機を用いた侵入者検出方法
US9939528B2 (en) Safety scanner, optical safety system, and setting support device for safety scanner
US8854594B2 (en) System and method for tracking
KR20170052585A (ko) 주사 레이저 평면성 검출
KR101048508B1 (ko) 스마트디바이스를 이용한 실시간 항만 영상 관제 시스템 및 그 방법
JP6712778B2 (ja) 物体検知装置、物体検知システムおよび物体検知方法
JP2021518020A (ja) 深度プロセッサ及び３次元画像機器
KR101454548B1 (ko) 3차원 카메라를 이용한 감시 장치 및 이의 구동 방법
KR20170100892A (ko) 위치 추적 장치
KR100856756B1 (ko) 3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치
KR100766995B1 (ko) 3차원 카메라 모듈장치
CN112991439B (zh) 定位目标物体的方法、装置、电子设备及介质
JP2012198802A (ja) 侵入物検出システム
JP5628577B2 (ja) 駐車場監視システムおよび駐車場監視方法
US10970982B2 (en) Video surveillance apparatus and method
KR20090036073A (ko) 3차원 카메라 모듈장치 및 이를 이용한 무인 감시 장치운용방법
KR102546045B1 (ko) 라이다(LiDAR)를 이용한 인체 감시장치
KR20090131888A (ko) 자기센서를 이용한 영상 모니터링 시스템
WO2017115587A1 (ja) 情報処理装置、制御方法、及びプログラム
KR20130077933A (ko) Ｃｃｔｖ를 이용한 영상 정보 분석 시스템 및 이의 동작방법
CN113532650A (zh) 一种具有红外测体温装置的防疫终端
JP2016118919A (ja) 監視装置、監視方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
A107 Divisional application of patent
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee