KR20040041383A - 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일전송방법 - Google Patents

감시용 디지털 비디오 레코더에서의 이벤트 전자 메일전송방법 Download PDF

Info

Publication number
KR20040041383A
KR20040041383A KR1020020069738A KR20020069738A KR20040041383A KR 20040041383 A KR20040041383 A KR 20040041383A KR 1020020069738 A KR1020020069738 A KR 1020020069738A KR 20020069738 A KR20020069738 A KR 20020069738A KR 20040041383 A KR20040041383 A KR 20040041383A
Authority
KR
South Korea
Prior art keywords
event
mail
monitoring
digital video
video recorder
Prior art date
Application number
KR1020020069738A
Other languages
English (en)
Other versions
KR100484451B1 (ko
Inventor
최신교
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2002-0069738A priority Critical patent/KR100484451B1/ko
Publication of KR20040041383A publication Critical patent/KR20040041383A/ko
Application granted granted Critical
Publication of KR100484451B1 publication Critical patent/KR100484451B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4786—Supplemental services, e.g. displaying phone caller identification, shopping application e-mailing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은, 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일 전송방법에 관한 것으로, 감시용 디지털 비디오 레코더에서 이벤트 검출시, 그 이벤트 검출 내용을 확인할 수 있는 텍스트 정보와 동영상을, 인터넷 전자 메일(E-Mail)에 적합하게 구성한 후, 사전에 설정된 특정 클라이언트(Client)에게, 인터넷을 통해 자동으로 전송함으로써, 네트워크 환경을 벗어난 보다 넓은 지역에 위치하고 있는 특정 클라이언트가, 인터넷을 통해 전송되는 이벤트 전자 메일을 통해, 이벤트 검출 내용 및 동영상을 보다 신속하고 간편하게 확인할 수 있게 되는 매우 유용한 발명인 것이다.

Description

감시용 디지털 비디오 레코더에서의 이벤트 전자 메일 전송방법 {Method for transmitting electronic mail for event in digital video recorder for monitoring}
본 발명은, 감시용 디지털 비디오 레코더에서 검출된 이벤트의 내용과 동영상을, 전자 메일을 이용하여 특정 클라이언트(Client)로 자동 전송하는 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일 전송방법에 관한 것이다.
최근에는, 여러 지역을 동시에 감시할 수 있는 감시용 디지털 비디오 레코더(DVR: Digital Video Recorder)가 개발 출시되어 상용화되고 있는 데, 상기 감시용 디지털 비디오 레코더(DVR)에는, 대용량의 비디오 또는 오디오 데이터를 기록 저장할 수 있는 하드 디스크(HDD)와 같은 스토리지(Storage)와, 재기록 가능한 광디스크, 예를 들어 CD-RW(CD-Rewritable) 등과 같은 광디스크에 비디오 또는 오디오 데이터를 기록 저장할 수 있도록 하기 위한 디스크 드라이버(Disc Driver)가 포함 구비된다.
한편, 상기와 같은 일반적인 감시용 디지털 비디오 레코더(DVR)는, 도 1에 도시한 바와 같이, 감시가 필요한 여러 지역에 각각 분산 설치된 다수의 감시용 카메라들(101∼10n)과 연결 접속됨과 아울러, 다수의 감시용 센서들(201∼20k)과 같은 다양한 주변기기들과 연결 접속될 수 있다.
또한, 상기 감시용 디지털 비디오 레코더(DVR)는, 네트워크(400)를 통해, 원격지에 위치하고 있는 시스템 운영자(Administer) 또는 일반 관리자(Manager)들이사용하는 개인용 컴퓨터들(5001∼500m)과 연결 접속될 수 있다.
예를 들어, 상기 감시용 디지털 비디오 레코더(DVR)에서는, 다수의 감시용 카메라로부터 촬영된 영상신호의 변화량을 감시하여, 그 영상신호의 변화량이 사전에 설정된 기준 변화량을 초과하거나, 또는 다수의 감시용 센서로부터 이벤트 검출을 알리는 검출신호가 수신되는 경우, 제3 자의 침입 등과 같은 이벤트(Event)가 검출되었다고 판별하게 된다.
그리고, 상기와 같은 과정을 통해 이벤트가 검출되는 경우, 해당 지역에 설치된 감시용 카메라로부터 촬영되는 영상신호를, 도 2에 도시한 바와 같이, 하드 디스크(HDD)에 기록 시작하게 된다(S10).
또한, 상기 영상신호를 기록하던 도중, 이벤트가 해제되거나, 또는 하드 디스크에 시간적 연속성을 갖고 기록되는 영상신호, 즉 이벤트 검출 비디오 데이터의 기록크기가, 예를 들어 40 MBytes를 초과하게 되는 경우(S20), 그 이벤트 검출 비디오 데이터를 하나의 데이터 파일(Data File)로서 생성 관리하게 된다(S30).
따라서, 상기 시스템 운영자 또는 일반 관리자들은, 상기 감시용 디지털 비디오 레코더(300)로부터 실시간(Realtime) 전송되는 감시 영상을 확인하거나, 또는 상기 하드 디스크에 기록 저장된 데이터 파일들을 검색 확인하여, 이전에 발생된 이벤트 상황과 침입자 등을 재확인할 수 있게 된다.
그러나, 일반적인 감시용 디지털 비디오 레코더에서는, 상기와 같이 네트워크를 통해 연결 접속된 시스템 운영자 또는 일반 관리자가 사용하는 개인용 컴퓨터들(5001∼500m)로만 이벤트 영상을 전송하기 때문에, 상기 네트워크 환경에서 벗어난 보다 넓은 지역에 위치하고 있는 다른 클라이언트들은, 상기 이벤트 영상 및 내용 등을 확인할 수 없게 되는 문제점이 있다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 창작된 것으로서, 감시용 디지털 비디오 레코더에서 이벤트 검출시, 그 이벤트 검출 내용을 확인할 수 있는 텍스트 정보와 동영상을, 인터넷 전자 메일(E-Mail)에 적합하게 구성한 후, 사전에 설정된 특정 클라이언트(Client)에게 인터넷을 통해 자동으로 전송하기 위한 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일 전송방법을 제공하는 데, 그 목적이 있는 것이다.
도 1은 일반적인 감시용 디지털 비디오 레코더(DVR)가, 다수의 감시용 카메라와 센서, 그리고 다수의 개인용 컴퓨터들과 네트워크를 통해 연결 접속된 상태를 도시한 것이고,
도 2는 일반적인 감시용 디지털 비디오 레코더에서의 데이터 파일 기록 과정을 개략적으로 도시한 것이고,
도 3은 본 발명에 따른 이벤트 전자 메일 전송방법이 적용되는 감시용 디지털 비디오 레코더가, 인터넷을 통해 특정 클라이언트와 연결 접속된 상태를 도시한 것이고,
도 4는 본 발명이 적용되는 감시용 디지털 비디오 레코더에 대한 구성을 개략적으로 도시한 것이고,
도 5는 본 발명에 따른 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일 전송방법에 대한 동작 흐름도를 도시한 것이다.
※ 도면의 주요부분에 대한 부호의 설명
101∼10n: 감시용 카메라 201∼20k: 감시용 센서
30 : 디바이스 인터페이스31 : DVR 시스템
32 : 네트워크 인터페이스33 : 하드 디스크
34 : 디스크 드라이버35 : 메모리
36 : 전자 메일 프로그램37 : 동영상 클립 파일 생성부
300 : 감시용 디지털 비디오 레코더
400 : 네트워크5001∼500m: 개인용 컴퓨터
600 : 인터넷 600 : 클라이언트
상기와 같은 목적을 달성하기 위한 본 발명에 따른 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일 전송방법은, 감시용 카메라 또는 감시용 센서에 의한 이벤트 검출시. 그 이벤트 검출 내용을 확인하는 1단계; 상기 확인된 이벤트 검출 내용을, 전자 메일 관리 프로그램을 이용하여 전자 메일로 구성하는 2단계; 및 상기 구성된 전자 메일을 인터넷을 통해, 사전에 설정된 클라이언트로 전송하는 3단계를 포함하여 이루어지는 것을 특징으로 한다.
이하, 본 발명에 따른 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일 전송방법에 대한 바람직한 실시예에 대해, 첨부된 도면을 참조하여 상세히 설명한다.
도 3은, 본 발명에 따른 이벤트 전자 메일 전송방법이 적용되는 감시용 디지털 비디오 레코더가, 인터넷을 통해 특정 클라이언트와 연결 접속된 상태를 도시한 것으로, 상기 감시용 디지털 비디오 레코더(310)는, 전술한 바와 같이, 감시가 필요한 여러 지역에 각각 분산 설치된 다수의 감시용 카메라들(101∼10n)과 연결 접속됨과 아울러, 다수의 감시용 센서들(201∼20k)과 같은 다양한 주변기기들과 연결 접속될 수 있다.
또한, 상기 감시용 디지털 비디오 레코더(310)는, 네트워크(400)를 통해, 원격지에 위치하고 있는 시스템 운영자 또는 일반 관리자들이 사용하는 개인용 컴퓨터들(5001∼500m)과 연결 접속될 수 있는 데, 이때 상기 네트워크(400) 환경에서 벗어난 보다 넓은 지역에 위치하고 있는 다른 클라이언트(700)와 인터넷(600)을 통해 연결 접속될 수 있다.
한편, 상기 감시용 디지털 비디오 레코더(310)에는, 도 4에 도시한 바와 같이, 다수의 감시용 카메라 및 센서들과의 연결 접속을 위한 디바이스 인터페이스(30)와, 이벤트 검출 동작과 그에 따른 오디오 및 비디오 데이터 기록동작 등을 수행하기 위한 DVR 시스템(31)과, 네트워크 및 인터넷을 통해 다수의 클라이언트들과의 연결 접속을 위한 인터페이스(32)가 포함 구성된다.
그리고, 상기 DVR 시스템(31)의 동작 제어에 의해 이벤트 검출 오디오 및 비디오 데이터를 데이터 파일로 기록 저장하기 위한 하드 디스크(33)와, 상기 하드 디스크에 저장된 데이터 파일들을 CD-RW 등과 같은 광디스크에 백업 받기 위한 디스크 드라이버(34), 그리고 상기 DVR 시스템의 동작 제어에 필요한 정보들을 저장하기 위한 메모리(35)가 포함 구성된다.
또한, 상기 이벤트 검출 장소 및 시간, 그리고 이벤트 검출 수단을 알리기 위한 이벤트 내용의 텍스트(Text)를 전자 메일(E-Mail)로 구성하기 위한 전자 메일 프로그램(36)과, 상기 이벤트 영상을 동영상 클립 파일(Movie Clip File)로 생성하여, 상기 전자 메일에 첨부 파일로서 부가 전송하기 위한 동영상 클립 파일 생성부(37)가 포함 구성되는 데, 상기 특정 클라이언트에 대한 인터넷 접속 정보인 유알엘(URL) 정보는, 상기 메모리(35) 내에 임의로 가변 설정될 수 있다.
이에 따라, 상기 VDR 시스템(31)에서는, 다수의 감시용 카메라로부터 촬영된 영상신호의 변화량을 감시하여, 그 영상신호의 변화량이 사전에 설정된 기준 변화량을 초과하거나, 또는 다수의 감시용 센서로부터 이벤트 검출을 알리는 검출신호가 수신되는 경우, 제3 자의 침입 등과 같은 이벤트(Event)가 검출되었다고 판별하여, 해당 지역에 설치된 감시용 카메라로부터 촬영되는 영상신호를, 하드 디스크(HDD)에 기록하는 일련의 동작을 수행하게 된다.
또한, 상기 VDR 시스템(31)에서는, 상기와 같은 과정을 통해 이벤트가 검출되는 경우, 그 이벤트가 검출된 장소 및 시간 등을 알리기 위한 내용의 텍스트를 전자 메일로 구성함과 아울러, 그 이벤트 영상에 해당하는 동영상 클립 파일을, 상기 전자 메일에 첨부 파일로서 부가한 후, 인터넷을 통해 특정 클라이언트(700)에게로 자동 전송하는 이벤트 전자 메일 전송 동작을 수행하게 되는 데, 이에 대해 상세히 설명하면 다음과 같다.
도 5는, 본 발명에 따른 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일 전송방법에 대한 동작 흐름도를 도시한 것으로, 상기 DVR 시스템(31)에서는, 전술한 바와 같이, 다수의 감시용 카메라로부터 촬영된 영상신호의 변화량을 감시하여, 그 영상신호의 변화량이 사전에 설정된 기준 변화량을 초과하거나, 또는 다수의 감시용 센서로부터 이벤트 검출을 알리는 검출신호가 수신되는 경우, 제3 자의 침입 등과 같은 이벤트(Event)가 검출되었다고 판별하는 일련의 이벤트 검출 동작을 지속적으로 수행하게 된다(S50).
한편, 상기와 같은 과정을 통해 제3 자의 침입 등과 같은 이벤트가 검출되는 경우(S51), 상기 DVR 시스템(31)에서는, 해당 지역에 설치된 감시용 카메라로부터 촬영되는 영상신호를, 하드 디스크(HDD)에 기록 저장함과 아울러, 그 이벤트의 검출 시간, 장소, 수단, 예를 들어 '장소 = A 지역', '시간 = 16:10:35', '검출 수단 = 감시용 카메라 5 번' 등을 확인하게 된다(S52).
그리고, 상기 전자 메일 프로그램(36)을 동작 제어하여, 상기 이벤트의 검출 시간, 장소, 수단에 해당하는 이벤트 내용의 텍스트를, 인터넷 전자 메일로 구성하게 되고(S53), 또한, 상기 동영상 클립 파일 생성부(37)를 동작 제어하여, 상기 이벤트 검출 영상, 예를 들어 감시용 카메라 5 번으로부터 촬영된 이벤트 영상을 동영상 클립 파일로 구성하게 된다(S54).
한편, 상기 DVR 시스템(31)에서는, 상기 메모리(35)에 저장된 특정 클라이언트의 유알엘 정보(Client_URL)를 독출 확인한 후(S55), 상기 동영상 클립 파일이 첨부된 이벤트 전자 메일을, 인터넷을 통해 상기 특정 클라이언트로 전송하는 일련의 전자 메일 전송 동작을 수행하게 된다(S56).
그리고, 상기와 같은 과정을 통해 이벤트 전자 메일이 정상적으로 전송된 경우(S57), 해당 전자 메일의 전송 시간과, 클라이언트 정보, 그리고 이벤트 전자 메일을 저장 관리하게 되는 데(S58), 이때 상기와 같은 이벤트 전자 메일과 전송 내역에 대한 정보는, 상기 하드 디스크에 기록된 다른 데이터 파일들과 구분 저장되거나, 또는 상기 메모리(35)에 별도로 저장 관리될 수 있다.
따라서, 상기와 같이 인터넷을 통해 이벤트 전자 메일을 자동으로 수신하게 되는 특정 클라이언트는, 네트워크 환경을 벗어난 보다 넓은 지역에 위치하고 있는 상태에서도, 이벤트 검출 내용 및 동영상을 간편하게 확인할 수 있게 되는 것이다.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면, 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 또다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
상기와 같이 구성 및 이루어지는 본 발명에 따른 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일 전송방법은, 감시용 디지털 비디오 레코더에서 이벤트 검출시, 그 이벤트 검출 내용을 확인할 수 있는 텍스트 정보와 동영상을, 인터넷 전자 메일(E-Mail)에 적합하게 구성한 후, 사전에 설정된 특정 클라이언트(Client)에게, 인터넷을 통해 자동으로 전송함으로써, 네트워크 환경을 벗어난 보다 넓은 지역에 위치하고 있는 특정 클라이언트가, 인터넷을 통해 전송되는 이벤트 전자 메일을 통해, 이벤트 검출 내용 및 동영상을, 보다 신속하고 간편하게 확인할 수 있게 되는 매우 유용한 발명인 것이다.

Claims (5)

  1. 감시용 카메라 또는 감시용 센서에 의한 이벤트 검출시. 그 이벤트 검출 내용을 확인하는 1단계;
    상기 확인된 이벤트 검출 내용을, 전자 메일 관리 프로그램을 이용하여 전자 메일로 구성하는 2단계; 및
    상기 구성된 전자 메일을 인터넷을 통해, 사전에 설정된 클라이언트로 전송하는 3단계를 포함하여 이루어지는 것을 특징으로 하는 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일 전송방법.
  2. 제 1항에 있어서,
    상기 이벤트 검출 내용에는, 이벤트 검출 장소와 시간, 그리고 검출 수단 중 적어도 어느 하나 이상이 포함되는 것을 특징으로 하는 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일 전송방법.
  3. 제 1항에 있어서,
    상기 3단계는, 상기 이벤트가 검출된 해당하는 감시용 카메라로부터 촬영된 이벤트 영상을, 상기 전자 메일에 첨부 파일로서 부가 전송하는 것을 특징으로 하는 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일 전송방법.
  4. 제 3항에 있어서,
    상기 이벤트 영상은, 상기 전자 메일에 동영상 클립 파일로서 첨부 전송되는 것을 특징으로 하는 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일 전송방법.
  5. 제 1항에 있어서,
    상기 전송된 전자 메일과, 그에 상응하는 전송 내역을, 장치 내에 구분 저장하여 관리하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일 전송방법.
KR10-2002-0069738A 2002-11-11 2002-11-11 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일전송방법 KR100484451B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0069738A KR100484451B1 (ko) 2002-11-11 2002-11-11 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일전송방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0069738A KR100484451B1 (ko) 2002-11-11 2002-11-11 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일전송방법

Publications (2)

Publication Number Publication Date
KR20040041383A true KR20040041383A (ko) 2004-05-17
KR100484451B1 KR100484451B1 (ko) 2005-04-20

Family

ID=37338479

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0069738A KR100484451B1 (ko) 2002-11-11 2002-11-11 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일전송방법

Country Status (1)

Country Link
KR (1) KR100484451B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010093390A (ko) * 2000-03-28 2001-10-29 김기현 실시간 인터넷 보안 감시 영상 전송 및 알림 장치
JP3450804B2 (ja) * 2000-07-31 2003-09-29 有限会社ヤヨイトレーディング 監視方法、監視装置、および監視プログラムを記録した記録媒体
KR20020036113A (ko) * 2000-11-08 2002-05-16 구자홍 Ｕｍｓ를 이용한 경보 전송 기능이 구비된 ｄｖｒ 시스템
KR20030052929A (ko) * 2001-12-21 2003-06-27 라피텔 주식회사 인터넷을 통한 통합무인경비 시스템

Also Published As

Publication number Publication date
KR100484451B1 (ko) 2005-04-20

Similar Documents

Publication Publication Date Title
US20030117500A1 (en) Network video recording system
US10311711B2 (en) Method and system for configurable security and surveillance systems
KR100793233B1 (ko) 기기 정보 수정 방법
KR100925206B1 (ko) 감시용 디지털 비디오 레코더에서의 삭제 예정 데이터정보 표시방법
KR100482835B1 (ko) 감시용 디지털 비디오 레코더에서의 데이터 백업 제어방법
US20090204689A1 (en) Method and apparatus for remote surveillance of a premises
KR100484451B1 (ko) 감시용 디지털 비디오 레코더에서의 이벤트 전자 메일전송방법
KR20060123818A (ko) 자동 팝업 감시 시스템 및 그 방법
KR200434039Y1 (ko) 중앙 집중형 감시 시스템
KR100475605B1 (ko) 감시용 디지털 비디오 레코더에서의 데이터 전송방법
KR100482837B1 (ko) 감시용 디지털 비디오 레코더에서의 이벤트 영상 탐색방법
KR100482836B1 (ko) 감시용 디지털 비디오 레코더에서의 데이터 파일 검색방법
KR100444632B1 (ko) 감시용 디지털 비디오 레코더에서의 카메라 동작 테스트방법
KR100473753B1 (ko) 감시용 디지털 비디오 레코더에서의 프리뷰 서치 인덱스파일 관리방법
KR101859598B1 (ko) 보안장비 원격 관리시스템
KR100443274B1 (ko) 감시용 디지털 비디오 레코더에서의 데이터 전송방법
KR100482833B1 (ko) 감시용 디지털 비디오 레코더에서의 이벤트 검출 영상기록방법
KR100482839B1 (ko) 감시용 디지털 비디오 레코더에서의 전원 오프 메시지제공방법
KR100473758B1 (ko) 감시용 디지털 비디오 레코더에서의 오디오 이벤트검출방법
KR100751030B1 (ko) 사생활 보호 시스템 및 방법
KR20070077273A (ko) 감시용 디지털 비디오 레코더에서의 램디스크를 이용한알람 녹화방법
KR20080022837A (ko) 디지털 비디오 레코더에서의 카메라 영상 기록 방법
KR101085862B1 (ko) 디지털 영상 감시장치의 통합 감시방법
JP5021227B2 (ja) 監視映像表示方法
KR20070120649A (ko) 디지털 비디오 레코더에서의 에러 감시방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20160324

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20170307

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20180306

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20190313

Year of fee payment: 15