KR100954739B1 - 무단침입자 감시 및 고해상도 영상획득 시스템 - Google Patents

무단침입자 감시 및 고해상도 영상획득 시스템 Download PDF

Info

Publication number
KR100954739B1
KR100954739B1 KR1020090061479A KR20090061479A KR100954739B1 KR 100954739 B1 KR100954739 B1 KR 100954739B1 KR 1020090061479 A KR1020090061479 A KR 1020090061479A KR 20090061479 A KR20090061479 A KR 20090061479A KR 100954739 B1 KR100954739 B1 KR 100954739B1
Authority
KR
South Korea
Prior art keywords
target object
camera
microcomputer
image information
laser
Prior art date
Application number
KR1020090061479A
Other languages
English (en)
Inventor
권경애
이용희
유민호
Original Assignee
(주)이엔아이엔지니어링
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이엔아이엔지니어링 filed Critical (주)이엔아이엔지니어링
Priority to KR1020090061479A priority Critical patent/KR100954739B1/ko
Application granted granted Critical
Publication of KR100954739B1 publication Critical patent/KR100954739B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/181—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems
    • G08B13/183—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems by interruption of a radiation beam or barrier
    • G08B13/184—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems by interruption of a radiation beam or barrier using radiation reflectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

본 발명은 휴대용 도플러 레이더와 레이저 카메라를 이용하여 주, 야간에 저속 이동 물체를 탐지 및 실시간 감시함과 동시에 보다 선명한 영상을 획득할 수 있도록 한 무단침입자 감시 및 고해상도 영상획득 시스템에 관한 것이다.
이를 위해 본 발명은 표적 물체의 위치정보를 탐지 및 식별하는 다수의 도플러 레이더(10, 11.....1n)와, 실시간으로 영상정보를 획득하는 레이저 카메라(20)와, 상기 다수의 도플러 레이더((10, 11.....1n)로부터 입력되는 표적 물체의 위치정보를 받아 연산처리하여 상기 레이저 카메라(20)를 물체가 있는 곳으로 지향하도록 제어하는 동시에 해당 표적 물체의 영상정보를 디스플레이하도록 표시장치(50)의 동작을 제어하는 마이크로컴퓨터(40)와, 상기 마이크로컴퓨터(40)의 제어 하에 해당 표적 물체의 영상정보를 디스플레이하는 표시장치(50)를 포함하여 구성된다.
무단침입자 감시, 고해상도 영상획득, 도플러 레이더, 레이저 카메라, 마이크로 컴퓨터

Description

무단침입자 감시 및 고해상도 영상획득 시스템{Security and display system}
본 발명은 무단침입자 감시 및 고해상도 영상획득 시스템에 관한 것으로, 보다 상세하게는 휴대용 도플러 레이더와 레이저 카메라를 이용하여 주, 야간에 저속 이동 물체를 탐지 및 실시간 감시함과 동시에 보다 선명한 영상을 획득할 수 있도록 한 무단침입자 감시 및 고해상도 영상획득 시스템에 관한 것이다.
주지와 같이, 레이더(Radar)는 목표 물체를 향하여 마이크로파를 발사하고 그 반사파를 받아서 물체의 상태나 위치를 모니터 등 디스플레이장치에 비춤으로써 목표 물체를 찾아내는 장치를 말한다.
특히, 도플러 레이더는 도플러 효과를 이용하여 표적 물체를 탐지하고 식별하는 레이더이다.
한편, 현대 첨단 과학 기술을 이끌어가는 가중 중요한 분야 중의 하나가 레이저(laser) 및, 그 관련 응용 기술이다. 1960년대 초, 루비 레이저의 발진이 성공함으로써, 짧은 역사 속에서 많은 발전을 이룩하였으며, 현재 전개되고 있는, 광(光) 시대의 중요한 역할을 하고 있다.
레이저는 고광도(brightness), 고출력 등의 성질을 에너지 차원에서 제어함으로써, 에너지의 생산, 에너지의 전송, 가열, 압축 기술, 공업 생산 기술, 광화학 프로세서 기술 및 의료 기술에 활용되고 있으며, 지향성(directionality), 간섭성(coherence), 집광성, 편광성 등을 공간적으로 제어함으로써, 정보처리, 데이터 처리 및 표시기술, 공업계측 및 제어 기술, 응용 과학 기술, 유통 및 교통 기술, 토목 건축 기술, 유전 공학 기술에 활용 가능하며, 단색성(monochromaticity), 간섭성 및 파장가변성을 이용하여 주파수를 제어함으로써, 광화학 공업, 환경계측 기술, 분광 분석 및 측광 기술에 활용되고 있다.
레이저의 응용분야는 매우 광범위하며, 직접적인 이용과 함께 레이저를 간접적으로 이용함으로써, 제2, 제3의 파생 효과를 유발시키는 신기술에 대한 연구가 진행되고 있다. 따라서 레이저 이용분야는 산업, 군사, 의학 및 기초과학, 생명공학 등 여러 분야에서 다양하게 이용되고 있다. 예를 들면, 원자/분자의 에너지 준위 측정, 비파괴 계측 및 3차원 형상측정, 밀도, 압력, 진공도 등의 물리량과 표면 거칠기, 길이, 변위, 평면도, 직진도, 진원도 등 레이저 계측 분야에 이용되고 있다. 도 광컴퓨터, 3차원 입체 영상, 광통신, CD플레이어, 바코드리더, 고속도사진 촬영, 레이저아트(art) 등, 직/간접적으로 생활주변에서 이미 실용화되어 대중에게 많은 혜택을 주고 있는 분야도 있다.
레이저의 응용 가운데, 매우 많은 관심과 발전을 이룬 분야는 레이저의 산업적 응용이다. 특히 CO2 레이저, Nd:YAG 레이저 등 고출력 레이저들이 개발됨으로써 레이저 가공기술은 급속히 진보되고 있다. 고품질, 고효율의 경제성이 풍부한 가공 법이 널리 이용되고 신기술이 개발됨으로써 앞으로 산업에서의 레이저 응용은 매우 다양하게 진행되어 산업 요소요소에서 중요한 역할을 할 것으로 기대된다.
본 발명은 상기한 도플러 레이더와 열상카메라 기능을 겸비한 레이저 카메라를 통합하여 운용하는 시스템이다.
종래의 근거리 레이더와 연동하는 화상감시 시스템은 열상카메라를 이용하여 영상 정보를 획득하는 방식을 채용하는 것이었으나, 이는 열상카메라만을 이용하는 것이어서, 물체 감시 식별, 문자인식, 유리창 투과식별 및 미세한 온도차에서의 감지가 불가능할 뿐만 아니라 실시간 녹화 및 휴대할 수 없기 때문에 신속한 장비의 설치 및 이동이 불가능한 문제점이 있었다.
따라서, 본 발명은 종래기술의 문제점을 해결하고자 제안된 것으로서, 그의 목적은 휴대용 도플러 레이더와 레이저 카메라를 이용하여 주, 야간에 저속 이동 물체를 탐지 및 실시간 감시함과 동시에 보다 선명한 영상을 획득할 수 있도록 한 무단침입자 감시 및 고해상도 영상획득 시스템을 제공함에 있다.
본 발명의 다른 목적은 휴대용으로 제작되어 설치가 매우 용이함은 물론 필요에 따라 이동이 용이하도록 한 무단침입자 감시 및 고해상도 영상획득 시스템을 제공함에 있다.
상기한 목적을 달성하기 위하여 본 발명은 표적 물체의 위치정보를 탐지 및 식별하는 다수의 도플러 레이더와, 실시간으로 영상정보를 획득하는 레이저 카메라와, 상기 다수의 도플러 레이더로부터 입력되는 표적 물체의 위치정보를 받아 연산처리하여 상기 레이저 카메라를 물체가 있는 곳으로 지향하도록 제어하는 동시에 해당 표적 물체의 영상정보를 디스플레이하도록 표시장치의 동작을 제어하는 마이크로컴퓨터와, 상기 마이크로컴퓨터의 제어 하에 해당 표적 물체의 영상정보를 디스플레이하는 표시장치를 포함하여 구성된 것을 특징으로 한다.
또한, 본 발명은 상기 마이크로컴퓨터의 입력단에 CCTV를 부가 설치한 것을 특징으로 한다.
또한, 본 발명은 상기 마이크로컴퓨터의 출력단에 이동통신기기를 부가 설치한 것을 특징으로 한다.
이와 같이 이루어진 본 발명에 따른 무단침입자 감시 및 고해상도 영상획득시스템에 의하면, 휴대용 도플러 레이더와 레이저 카메라를 이용하여 주, 야간에 저속 이동 물체를 탐지 및 실시간 감시함과 동시에 보다 선명한 영상을 획득할 수가 있다.
또한, 휴대용으로 제작되어 설치가 매우 용이함은 물론 필요에 따라 이동이 용이하도록 하는 효과가 있다.
본 발명을 첨부된 실시 예의 도면을 참조하여 상세하게 설명하면 다음과 같다.
도1은 본 발명에 따른 무단침입자 감시 및 고해상도 영상획득 시스템의 블록구성도이고, 도2는 본 발명에 따른 마이크로컴퓨터의 제어 동작 흐름도를 나타낸 것이다.
본 발명은 도1에 도시된 바와 같이 표적 물체의 위치정보를 탐지 및 식별하는 다수의 도플러 레이더(10, 11.....1n)와, 실시간으로 영상정보를 획득하는 레이저 카메라(20)와, 상기 다수의 도플러 레이더((10, 11.....1n)로부터 입력되는 표적 물체의 위치정보를 받아 연산 처리하여 상기 레이저 카메라(20)를 물체가 있는 곳으로 지향하도록 제어하는 동시에 해당 표적 물체의 영상정보를 디스플레이하도록 표시장치(50)의 동작을 제어하는 마이크로컴퓨터(40)와, 상기 마이크로컴퓨터(40)의 제어 하에 해당 표적 물체의 영상정보를 디스플레이하는 표시장치(50)를 포함하여 구성된다.
또한, 본 발명은 상기 마이크로컴퓨터(40)의 입력단에 CCTV(30)를 부가 설치할 수가 있다.
또한, 본 발명은 상기 마이크로컴퓨터(40)의 출력단에 휴대폰 등 이동통신기기(60)를 부가 설치할 수가 있다.
이와 같이 구성된 본 발명에 따른 무단침입자 감시 및 고해상도 영상획득 시스템의 동작을 첨부된 도2를 참조하여 상세히 설명하면 다음과 같다.
먼저, 다수의 도플러 레이더(10, 11.....1n)는 표적 물체의 위치정보를 탐지 및 식별하여 마이크로컴퓨터(40)로 출력한다.
레이저 카메라(20)는 실시간으로 영상정보를 획득하여 마이크로컴퓨터(40)로 출력한다.
이 경우, 레이저 카메라(20)는 일예로 주간에는 8Km 까지 판독이 가능하고, 야간에는 1Km ∼ 5Km 까지 판독이 가능하다.
또한, 무월광 시에도 선명한 영상을 획득할 수 있다.
마이크로컴퓨터(40)는 피시(PC)로 구성되며, 다수의 도플러 레이더((10, 11.....1n)로부터 입력되는 표적 물체의 위치정보를 받아 연산처리하여 상기 레이저 카메라(20)를 물체가 있는 곳으로 지향하도록 제어하고, 또한 해당 표적 물체의 영상정보를 디스플레이하도록 표시장치(50)의 동작을 제어한다.
상기 마이크로컴퓨터(40)의 제어동작을 도2를 참조하여 보다 상세히 설명하면 다음과 같다.
먼저, 다수의 도플러 레이더((10, 11.....1n)가 목표물을 포착하였는지 여부를 판별(S1)하여 목표물을 포착하였으면 목표물을 선택한다(S2).
목표물이 선택되면 목표물에 대한 좌표값을 열상카메라(20)로 전송(S3)하고, 카메라 팬틸트 이동 및 조정을 행한다(S4).
이어서, 카메라 줌인(zoom in) 후 목표물을 포착 및 선택한다(S5).
목표물의 포착 및 선택이 되면 포착 목표물에 대한 좌표값을 레이저 카메라(20)로 전송(S6)하고, 카메라 팬틸트 이동 및 조정을 행한다(S7).
이어서, 레이저 카메라(20)의 자동 초점맞춤(auto focusing) 후 목표물을 식별(S9)하여 영상획득 및 녹화를 행한다(S10).
표시장치(50)는 마이크로컴퓨터(40)의 제어 하에 해당 표적 물체의 영상정보 를 디스플레이한다.
또한, 본 발명은 필요에 따라 기 설치된 CCTV(30)를 병행하여 운용할 수도 있다.
또한, 본 발명은 마이크로컴퓨터(40)에서 출력되는 해당 표적 물체의 영상정보를 휴대폰 등 이동통신기기(60)의 표시창(도시 생략됨)을 통하여 디스플레이할 수 도 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.
따라서, 본 발명의 기술적 범위는 실시 예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위 및 그와 균등한 것들에 의하여 정해져야 한다.
도1은 본 발명에 따른 무단침입자 감시 및 고해상도 영상획득 시스템의 블록구성도.
도2는 본 발명에 따른 마이크로컴퓨터의 제어 동작 흐름도이다.
*도면의 주요 부분에 대한 부호의 설명*
10, 11,...1n: 도플러 레이더 20: 레이저 카메라
30: CCTV 40: 마이크로컴퓨터
50: 표시장치 60: 이동 통신기기

Claims (3)

  1. 표적 물체의 위치정보를 탐지 및 식별하며 휴대 가능한 다수의 도플러 레이더(10, 11.....1n)와,
    실시간으로 영상정보를 획득하고, 열상 카메라를 포함하며, 휴대 가능한 레이저 카메라(20)와,
    상기 다수의 도플러 레이더(10, 11.....1n)로부터 입력되는 표적 물체의 위치정보를 받아 연산처리하여 상기 표적 물체의 좌표값을 상기 열상 카메라로 전송하고, 이에 따라 상기 열상 카메라의 팬틸트 이동 및 조정을 수행하고, 상기 열상 카메라 줌인 후 상기 표적 물체를 포착 및 선택하고, 상기 표적 물체를 포착 및 선택하면 상기 표적 물체에 대한 좌표값을 레이저 카메라(20)로 전송하고, 이에 따라 레이저 카메라(20)의 팬틸트 이동 및 조정을 수행하고, 레이저 카메라(20)의 자동 초점맞춤(auto focusing) 후 상기 표적 물체를 식별하여 영상획득 및 녹화를 수행하는 동시에 해당 표적 물체의 영상정보를 디스플레이하도록 표시장치(50)의 동작을 제어하고, 상기 표적 물체의 영상정보를 녹화할 수 있는 피시(PC)로 구성된 마이크로컴퓨터(40)와,
    상기 마이크로컴퓨터(40)의 제어 하에 해당 표적 물체의 영상정보를 디스플레이하는 표시장치(50)와,
    상기 마이크로컴퓨터(40)의 입력단에 설치되는 CCTV(30)와,
    상기 마이크로컴퓨터(40)의 출력단에 설치되어, 상기 마이크로 컴퓨터의 제어에 따라 상기 해당 표적 물체의 영상정보를 디스플레이하고, 상기 해당 표적 물체의 영상정보를 녹화할 수 있는 이동통신기기(60)를 포함하여 구성된 것을 특징으로 하는 무단침입자 감시 및 고해상도 영상획득 시스템.
  2. 삭제
  3. 삭제
KR1020090061479A 2009-07-07 2009-07-07 무단침입자 감시 및 고해상도 영상획득 시스템 KR100954739B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090061479A KR100954739B1 (ko) 2009-07-07 2009-07-07 무단침입자 감시 및 고해상도 영상획득 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090061479A KR100954739B1 (ko) 2009-07-07 2009-07-07 무단침입자 감시 및 고해상도 영상획득 시스템

Publications (1)

Publication Number Publication Date
KR100954739B1 true KR100954739B1 (ko) 2010-04-23

Family

ID=42220345

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090061479A KR100954739B1 (ko) 2009-07-07 2009-07-07 무단침입자 감시 및 고해상도 영상획득 시스템

Country Status (1)

Country Link
KR (1) KR100954739B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2446477C2 (ru) * 2010-09-08 2012-03-27 Государственное Унитарное Предприятие "Водоканал Санкт-Петербурга" Комплексная система безопасности объекта
KR101397718B1 (ko) 2012-12-26 2014-05-26 (주)시에스넷 보호지역 무인 감시시스템
US8854461B2 (en) 2011-01-20 2014-10-07 Samsung Techwin Co., Ltd. Method of controlling camera
CN104794840A (zh) * 2015-04-10 2015-07-22 华东师范大学 一种超声波多普勒报警器
KR101565850B1 (ko) 2014-10-07 2015-11-05 국방과학연구소 계측 레이더의 추적 정보를 이용한 광학 줌 자동 조정 방법
KR20220041474A (ko) * 2020-09-25 2022-04-01 금오공과대학교 산학협력단 라이더 센서 기반 사생활 공간에서의 위급상황 감지 시스템
KR20240000067A (ko) 2022-06-23 2024-01-02 디케이엠텍 주식회사 해상 감시 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010112180A (ko) * 2001-11-21 2001-12-20 주식회사 나노스타스 움직임 추적 감시 및 격퇴 시스템
KR20090011826A (ko) * 2007-07-27 2009-02-02 삼성테크윈 주식회사 감시 카메라 시스템 및 그의 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010112180A (ko) * 2001-11-21 2001-12-20 주식회사 나노스타스 움직임 추적 감시 및 격퇴 시스템
KR20090011826A (ko) * 2007-07-27 2009-02-02 삼성테크윈 주식회사 감시 카메라 시스템 및 그의 제어방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2446477C2 (ru) * 2010-09-08 2012-03-27 Государственное Унитарное Предприятие "Водоканал Санкт-Петербурга" Комплексная система безопасности объекта
US8854461B2 (en) 2011-01-20 2014-10-07 Samsung Techwin Co., Ltd. Method of controlling camera
KR101397718B1 (ko) 2012-12-26 2014-05-26 (주)시에스넷 보호지역 무인 감시시스템
KR101565850B1 (ko) 2014-10-07 2015-11-05 국방과학연구소 계측 레이더의 추적 정보를 이용한 광학 줌 자동 조정 방법
CN104794840A (zh) * 2015-04-10 2015-07-22 华东师范大学 一种超声波多普勒报警器
KR20220041474A (ko) * 2020-09-25 2022-04-01 금오공과대학교 산학협력단 라이더 센서 기반 사생활 공간에서의 위급상황 감지 시스템
KR102540768B1 (ko) * 2020-09-25 2023-06-07 금오공과대학교 산학협력단 라이더 센서 기반 사생활 공간에서의 위급상황 감지 시스템
KR20240000067A (ko) 2022-06-23 2024-01-02 디케이엠텍 주식회사 해상 감시 장치

Similar Documents

Publication Publication Date Title
KR100954739B1 (ko) 무단침입자 감시 및 고해상도 영상획득 시스템
US11153483B2 (en) Shelf-viewing camera with multiple focus depths
US6824058B2 (en) Optical code reader for measuring physical parameters of objects
US20160321502A1 (en) Methods and systems for contextually processing imagery
CN109831609A (zh) Tof深度相机及其自动对焦方法
Kang et al. Development of an inspection system for planar steel surface using multispectral photometric stereo
Azar Construction equipment identification using marker-based recognition and an active zoom camera
JP2005310140A (ja) オブジェクトの認識及び／又は追跡方法
CN104049338B (zh) 数字显微镜装置、寻找其聚焦位置的方法、及程序
CN114838668B (zh) 一种隧道位移监测方法及系统
CN104215179A (zh) 使用激光位移传感器动态测量钢坯宽度的方法
Min et al. Non-contact and real-time dynamic displacement monitoring using smartphone technologies
WO2020151429A1 (zh) 一种机器狗系统及其实现方法
CN108320522A (zh) 车辆测速装置及方法
Von Olshausen et al. Multimodal measurement system for road analysis and surveying of road surroundings
CN115861741A (zh) 目标标定方法、装置、电子设备、存储介质及车辆
Sueishi et al. Continuous high-resolution observation system using high-speed gaze and focus control with wide-angle triangulation
JP6640610B2 (ja) 観察装置、測定システム及び観察方法
KR20210094872A (ko) 다중센서를 활용한 통합 감시 시스템
CN112804439A (zh) 一种自适应拍摄移动目标的装置和方法
CN105043722A (zh) 一种反射镜反射率的测量方法
Su et al. Thermography measurement for bridge displacement in the darkness using power-free target
Najman et al. Stereo camera pair calibration for traffic surveillance applications
Kong et al. Measurement method of optical axis parallelism of continuous zoom camera based on skeleton thinning algorithm
Laurenzis et al. Investigation of frame-to-frame back projection and feature selection algorithms for non-line-of-sight laser gated viewing

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130520

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140406

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee