KR20040032154A - 차량의 야간주행 보조장치 및 그 방법 - Google Patents

차량의 야간주행 보조장치 및 그 방법 Download PDF

Info

Publication number
KR20040032154A
KR20040032154A KR1020020059695A KR20020059695A KR20040032154A KR 20040032154 A KR20040032154 A KR 20040032154A KR 1020020059695 A KR1020020059695 A KR 1020020059695A KR 20020059695 A KR20020059695 A KR 20020059695A KR 20040032154 A KR20040032154 A KR 20040032154A
Authority
KR
South Korea
Prior art keywords
vehicle
pedestrian
night driving
image
driver
Prior art date
Application number
KR1020020059695A
Other languages
English (en)
Other versions
KR100503299B1 (ko
Inventor
이재관
김력
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR10-2002-0059695A priority Critical patent/KR100503299B1/ko
Publication of KR20040032154A publication Critical patent/KR20040032154A/ko
Application granted granted Critical
Publication of KR100503299B1 publication Critical patent/KR100503299B1/ko

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량의 야간주행 보조장치 및 그 방법에 관한 것으로, 특히 차량내부의 적소에 적외선 카메라를 설치하여 야간 주행시 차량의 전방에 존재하는 보행자를 포착하고 이를 운전자에게 알려줌과 동시에 보행자에게 차량이 주행하고 있음을 경고할 수 있도록 한 차량의 야간주행 보조장치 및 그 방법에 관한 것이다.
본 발명의 차량의 야간주행 보조장치는, 전조등의 점등여부에 따라 야간 주행임을 판단하는 차량의 야간주행 보조장치에 있어서, 차량의 전방을 향하도록 장착되어 적외선을 보행자로 송출하고, 상기 보행자로부터 반사되는 적외선을 전기적신호로 변환하여 영상신호로 출력하는 적외선 카메라; 상기 적외선 카메라에서 출력된 영상신호로부터 윤곽선만을 추출한 영상변환데이터를 출력하는 영상처리부; 상기 차량의 속력을 검출하는 차속감지부; 상기 보행자의 존재여부를 운전자에게 통보하는 알림발생부; 및 상기 영상처리부로부터 추출된 영상변환데이터를 입력받아 미리 저장된 데이터와 비교분석하여 보행자의 존재여부를 판단하여 상기 보행자가 존재하는 경우에는 상기 알림발생부를 동작시키는 마이컴을 포함하여 이루어진다.

Description

차량의 야간주행 보조장치 및 그 방법{ASSISTANCE APPARATUS FOR NIGHT DRIVING OF A VEHICLE AND METHOD THEREOF}
본 발명은 차량의 야간주행 보조장치 및 그 방법에 관한 것으로, 특히 차량내부의 적소에 적외선 카메라를 설치하고 야간 주행시 차량의 전방에 존재하는 보행자를 포착하고 이를 운전자에게 알려줌과 동시에 보행자에게 차량이 주행하고 있음을 경고할 수 있도록 한 차량의 야간주행 보조장치 및 그 방법에 관한 것이다.
일반적으로, 차량의 주행에 있어서 전방의 시야확보는 전적으로 운전자의 시각에 의존하게 된다. 그러나, 일광이 있는 주간과는 달리 야간에는 주로 전조등의 조명에 의지하여 주행하게 되는데, 이는 주간에 비하여 시야가 좁아지고 주의를 뺏기기 쉽고, 더욱이 안개가 낀 날이나 우천시의 야간 주행은 시야확보가 곤란하여 사고의 위험이 배가된다.
이에 따라, 운전자는 횡단보도의 운행에 세심한 주의를 요하지 않는 경우 치명적인 인사사고를 발생시키게 되며, 대다수의 운전자는 신호등이 없는 횡단보도의 경우 보행자의 안전보다 자신의 운행을 우선으로 생각하여 일단 정지를 무시하고 운행하는 경우가 빈번하여 횡단보도를 건너는 보행자는 주변에서 진입하는 차량의 존재 여부를 세심하게 주시한 후 횡단보도를 건너야 하는 문제점이 있었다.
상기와 같은 문제점을 해결하기 위해 대한민국 실용신안 공개번호 제1998-0007667호(자동차의 야간 운전용 비젼장치)에서는 적외선 카메라를 차량내에 장착시켜 야간운전시 운전자에게 바깥 영상을 실시간으로 전달해줌으로써, 야간 운행시 운전자의 시야확보에 도움이 되도록 한 자동차의 야간운전용 비젼장치가 제안되었다.
도 1은 종래 자동차의 야간 운전용 비젼장치를 나타낸 구성도로서, 종래 자동차의 야간 운전용 비젼장치는, 차량내부의 상단에 장착되어 적외선을 피사체로 송출하고 그 피사체로부터 반사되는 적외선을 전기적신호로 변환하여 영상신호로 출력하는 적외선 카메라(1)와, 적외선 카메라(1)에서 출력된 영상신호로부터 윤곽선만을 추출하여 모니터(3)로 전송하는 영상처리부(2)와, 영상처리부(2)에서 추출된 윤곽선을 디스플레이하는 모니터(3)로 구성되어 있다.
그러나, 이와 같이 구성된 종래 자동차의 야간 운전용 비젼장치는 운전자에게 적외선 카메라(1)로부터 검출된 피사체의 윤곽선만을 모니터(3)에 디스플레이해줌으로써, 운전자는 운전중에 모니터(3)를 주시하고 있어야만 하기 때문에 주의력의 분산으로 인해 집중력을 저하시켜 치명적인 사고를 불러일으키는 문제점이 있다.
또한, 종래 자동차의 야간 운전용 비젼장치는 교차로나 신호등이 없는 횡단보도를 횡단하는 보행자에게 차량이 주행하고 있음을 경고하는 수단이 마련되어 있지 않기 때문에 보행자는 차량의 접근을 미처 인지하지 못하여 사고가 발생되는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 야간에 보행자가 횡단보도를 건너는 경우 적외선 카메라를 이용하여 보행자의 횡단 여부를 포착한 후 운전자에게 통보함과 동시에 보행자에게 차량이 주행하고 있음을 경고할 수 있도록 한 차량의 야간주행 보조장치를 제공하는데 있다.
전술한 목적을 달성하기 위하여 본 발명의 차량의 야간주행 보조장치는, 전조등의 점등여부에 따라 야간 주행임을 판단하는 차량의 야간주행 보조장치에 있어서, 차량의 전방을 향하도록 장착되어 적외선을 보행자로 송출하고, 상기 보행자로부터 반사되는 적외선을 전기적신호로 변환하여 영상신호로 출력하는 적외선 카메라; 상기 적외선 카메라에서 출력된 영상신호로부터 윤곽선만을 추출한 영상변환데이터를 출력하는 영상처리부; 상기 차량의 속력을 검출하는 차속감지부; 상기 보행자의 존재여부를 운전자에게 통보하는 알림발생부; 및 상기 영상처리부로부터 추출된 영상변환데이터를 입력받아 미리 저장된 데이터와 비교분석하여 보행자의 존재여부를 판단하여 상기 보행자가 존재하는 경우에는 상기 알림발생부를 동작시키는 마이컴을 포함하여 이루어진다.
전술한 구성에서, 상기 차량의 접근을 보행자에게 경고하는 경보발생부를 더 포함하며, 상기 마이컴은 상기 차속감지부로부터 제공된 차속이 소정의 기준치 이상일 경우에 상기 경보발생부를 동작시키는 것을 더 포함함이 바람직하다.
그리고, 차량의 야간주행 보조방법에 있어서, (a) 차량의 전방을 향하도록 설치된 적외선 카메라로부터 야간 주행시 보행자에 대한 영상신호를 출력하는 단계; (b) 상기 단계(a)의 영상신호로부터 윤곽선만을 추출하여 영상변환데이터를 생성하는 단계; (c) 상기 단계(b)의 영상변환데이터와 미리 저장된 데이터와 비교분석하여 보행자의 존재여부를 판단하는 단계; (d) 상기 단계(c)에서 보행자로 판단되는 경우, 차속감지부로부터 차속을 입력받아 차속이 소정의 기준치 이상일 경우알림발생부를 작동시켜 운전자에게 보행자의 출현을 경고함과 동시에 경고발생부를 작동시켜 보행자에게 차량의 접근을 경고하는 단계; 및 (e) 상기 단계(d)에서 차속이 소정의 기준치에 미치지 못할 경우, 알림발생부를 작동시켜 운전자에게만 보행자의 출현을 경고하는 단계로 이루어진 것을 특징으로 한다.
도 1은 종래 자동차의 야간 운전용 비젼장치를 나타낸 구성도,
도 2는 본 발명의 일 실시예에 따른 차량의 야간주행 보조장치를 개략적으로 나타낸 블록 구성도,
도 3은 본 발명의 일 실시예에 따른 차량의 야간주행 보조방법을 설명하기 위한 흐름도이다.
*** 도면의 주요 부분에 대한 부호 설명 ***
100 : 적외선 카메라,200 : 영상처리부,
300 : 차속감지부,400 : 마이컴,
500 : 알림발생부,600 : 경보발생부,
700 : 전원공급부
이하 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 본 실시예는 본 발명의 권리범위를 한정하는 것은 아니고, 단지 예시로 제시된 것이다.
도 2는 본 발명의 일 실시예에 따른 차량의 야간주행 보조장치를 개략적으로 나타낸 블록 구성도이다.
도 2에 도시한 바와 같이, 본 발명에 따른 차량의 야간주행 보조장치는, 차량 내부의 적소에 전방을 향하도록 장착되어 적외선을 피사체(이하, '보행자'라고 한다.)로 송출하고, 상기 보행자로부터 반사되는 적외선을 전기적신호로 변환하여 영상신호로 출력하는 적외선 카메라(100)와; 적외선 카메라(100)에서 출력된 영상신호로부터 윤곽선만을 추출한 영상변환데이터를 후술하는 마이컴(300)으로 전송하는 영상처리부(200)와; 차량의 휠에 설치되어 차속을 검출하는 차속감지부(300)와; 영상처리부(200)로부터 추출된 영상변환데이터를 입력받아 미리 저장된 데이터와 비교분석하여 보행자의 존재여부를 판단하는 마이컴(400)과; 마이컴(400)으로부터 출력된 제어신호에 따라 보행자의 존재여부를 운전자에게 통보하는알림발생부(500)와; 마이컴(400)으로부터 출력된 제어신호에 따라 차량의 접근을 보행자에게 경고하는 경보발생부(600)와; 상기 각 부에 동작전원을 공급하는 전원공급부(700)를 포함하여 구성된다. 여기서, 영상처리부(200)는 영상신호로부터 윤곽선만을 추출하는 통상의 영상처리장치가 사용된다.
전술한 구성에서, 적외선 카메라(100)는 차량 내부에 전방을 향하도록 설치함이 바람직하지만, 이에 국한하지 않으며, 차량 정면 범퍼(미도시)의 중앙부에 물체를 감지하도록 전방을 향하도록 설치될 수도 있다. 한편, 적외선 카메라(100)는 차량의 야간 주행시에 항시 작동되도록 함이 바람직하다.
차속감지부(300)는 차량의 휠에 설치되어 상기 휠의 속도를 검출하여 그에 비례하는 차량의 속도를 검출한다.
마이컴(400)은 차량의 전체적인 제어를 담당하는 전자제어유닛(ECU) 또는 이와 별도로 마련되어 이루어질 수 있다.
알림발생부(500)는 미도시된 부저 또는 램프로 이루어질 수 있으며, 인가되는 펄스신호에 따라 구동되어 운전자에게 전방의 횡단보도에서 보행하는 생물체가 있음을 알려준다. 또한, 알림발생부(500)는 운전자에게 시각적으로 용이하게 알려줄 수 있도록 엘이디(LED ; Light Emitting Diode)나 엘시디(LCD ; Liquid Crystal Display) 또는 HUD(Head-Up Display; 전방시현기) 등의 디스플레이창으로 이루어질 수도 있으며, 이러한 디스플레이창에 보행자로 판단될 경우 '전방에 보행자 출현'과 같은 문자메시지를 출력할 수 있다. 한편, 상기 부저는 차실내의 일측에 설치되어 마이컴(400)에서 출력되는 제어 신호에 따라 경고음을 발생시켜 운전자에게 경고함이 바람직하다.
경보발생부(600)는 차량에 설치된 비상등이나 전조등과 같은 시각적인 구성 또는 경음기와 같은 청각적인 구성으로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 차량의 야간주행 보조방법을 설명하기 위한 흐름도인 바, 마이컴(400)을 주체로 하여 수행됨을 밝혀둔다.
도 3에 도시한 바와 같이, 본 발명에 따른 차량의 야간주행 보조방법에 따르면, 단계S10에서는 차량의 전방을 향하도록 설치된 적외선 카메라(100)로부터 야간 주행시 보행자에 대한 영상신호를 출력하고, 단계S20으로 진행하여 영상처리부(200)에서는 상기 영상신호로부터 윤곽선만을 추출하여 영상변환데이터를 생성한다.
다음, 단계S30으로 진행하여 마이컴(400)은 영상처리부(200)에서 출력된 영상변환데이터와 미리 저장된 데이터와 비교분석하여 보행자의 존재여부를 판단한다. 단계S30에서의 판단결과, 영상처리부(200)로부터 출력된 영상변환데이터가 보행자가 아닌 경우에는 마이컴(400)에서는 계속해서 보행자의 존재여부를 판단하고, 영상처리부(200)로부터 검출된 데이터가 보행자인 경우에는 단계S40으로 진행하여 마이컴(400)은 차속감지부(300)로부터 차속을 입력받아 차량이 주행중인지를 판단한다. 단계S40에서의 판단결과, 차량이 주행중인 경우에는 단계S50으로 진행하여 마이컴(400)은 알림발생부(500)를 작동시켜 운전자에게 보행자의 출현을 일정시간동안 시각적 또는 청각적으로 통보하여 준다. 이와 동시에 단계S60으로 진행하여 마이컴(400)은 경고발생부(500)를 작동시켜 보행자에게 차량의 접근을 일정시간동안 시각적 또는 청각적으로 경고하여 준다.
한편, 단계S40에서의 판단결과, 차량이 주행중이 아닌 경우 즉, 횡단보도등에서 정지중인 경우에는 단계S70으로 진행하여 보행자에게 보행에 방해가 되지 않도록 운전자에게만 보행자의 출현을 일정시간동안 시각적 또는 청각적으로 통보하여 준다. 그리고, 전술한 단계S40에서의 차량이 주행중이 아닌 경우 즉, 정지중인지 여부는 예를 들어 차속이 소정의 기준치 이하, 예를 들어 20km/h이하인 경우에 차량이 정지중인 것으로 판단한다.
전술한 본 발명에 따른 차량의 야간주행 보조장치 및 그 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
이상에서 설명한 바와 같은 본 발명의 차량의 야간주행 보조장치 및 그 방법에 따르면, 차량내부의 적소에 적외선 카메라를 설치하여 야간 주행시 차량의 전방에 존재하는 보행자를 검출하고 이를 운전자에게 알려줌과 동시에 보행자에게 차량이 주행하고 있음을 경고해줌으로써, 야간 주행시 운전자에게 주의력을 향상시켜줌과 아울러 신호등이 없는 횡단보도에서 인사사고의 발생을 효과적으로 방지할 수 있는 이점이 있다.

Claims (3)

  1. 전조등의 점등여부에 따라 야간 주행임을 판단하는 차량의 야간주행 보조장치에 있어서,
    차량의 전방을 향하도록 장착되어 적외선을 보행자로 송출하고, 상기 보행자로부터 반사되는 적외선을 전기적신호로 변환하여 영상신호로 출력하는 적외선 카메라;
    상기 적외선 카메라에서 출력된 영상신호로부터 윤곽선만을 추출한 영상변환데이터를 출력하는 영상처리부;
    상기 차량의 속력을 검출하는 차속감지부;
    상기 보행자의 존재여부를 운전자에게 통보하는 알림발생부; 및
    상기 영상처리부로부터 추출된 영상변환데이터를 입력받아 미리 저장된 데이터와 비교분석하여 보행자의 존재여부를 판단하여 상기 보행자가 존재하는 경우에는 상기 알림발생부를 동작시키는 마이컴을 포함하여 이루어진 것을 특징으로 하는 차량의 야간주행 보조장치.
  2. 제 1항에 있어서, 상기 차량의 접근을 보행자에게 경고하는 경보발생부를 더 포함하며, 상기 마이컴은 상기 차속감지부로부터 제공된 차속이 소정의 기준치 이상일 경우에 상기 경보발생부를 동작시키는 것을 더 포함하는 것을 특징으로 하는 차량의 야간주행 보조장치.
  3. 차량의 야간주행 보조방법에 있어서,
    (a) 차량의 전방을 향하도록 설치된 적외선 카메라로부터 야간 주행시 보행자에 대한 영상신호를 출력하는 단계;
    (b) 상기 단계(a)의 영상신호로부터 윤곽선만을 추출하여 영상변환데이터를 생성하는 단계;
    (c) 상기 단계(b)의 영상변환데이터와 미리 저장된 데이터와 비교분석하여 보행자의 존재여부를 판단하는 단계;
    (d) 상기 단계(c)에서 보행자로 판단되는 경우, 차속감지부로부터 차속을 입력받아 차속이 소정의 기준치 이상일 경우 알림발생부를 작동시켜 운전자에게 보행자의 출현을 경고함과 동시에 경고발생부를 작동시켜 보행자에게 차량의 접근을 경고하는 단계; 및
    (e) 상기 단계(d)에서 차속이 소정의 기준치에 미치지 못할 경우, 알림발생부를 작동시켜 운전자에게만 보행자의 출현을 경고하는 단계로 이루어진 것을 특징으로 하는 차량의 야간주행 보조방법.
KR10-2002-0059695A 2002-10-01 2002-10-01 차량의 야간주행 보조방법 KR100503299B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0059695A KR100503299B1 (ko) 2002-10-01 2002-10-01 차량의 야간주행 보조방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0059695A KR100503299B1 (ko) 2002-10-01 2002-10-01 차량의 야간주행 보조방법

Publications (2)

Publication Number Publication Date
KR20040032154A true KR20040032154A (ko) 2004-04-17
KR100503299B1 KR100503299B1 (ko) 2005-07-25

Family

ID=37332084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0059695A KR100503299B1 (ko) 2002-10-01 2002-10-01 차량의 야간주행 보조방법

Country Status (1)

Country Link
KR (1) KR100503299B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281272B1 (ko) * 2009-04-13 2013-07-03 주식회사 만도 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281272B1 (ko) * 2009-04-13 2013-07-03 주식회사 만도 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치

Also Published As

Publication number Publication date
KR100503299B1 (ko) 2005-07-25

Similar Documents

Publication Publication Date Title
JP3390289B2 (ja) 警報装置
KR102587258B1 (ko) 차량의 주행정보 전달 장치 및 방법
JP4946661B2 (ja) 車両用警報表示装置
US20180222387A1 (en) Blind Zone Monitoring Method, License Plate Frame Device with Blind Zone Monitoring Function and Rearview Mirror
WO2018157608A1 (zh) 一种车辆行进监控系统
KR20160129206A (ko) 역방향 주행 차량 감지 경보시스템
CN108501959A (zh) 一种车道偏离预警系统及其控制方法
JP2009265842A (ja) 車両用警告装置、警告方法
CN113602276A (zh) 基于LiFi信号交互的汽车智能辅助驾驶方法及系统
JP2003291689A (ja) 車両用情報表示装置
KR101496322B1 (ko) 주행차량 사각지대의 위험요소 알림 장치
JP2013032082A (ja) 車両用表示装置
KR20110007662A (ko) 비상 주차 차량의 안전 확보 장치 및 그 제어 방법
KR20180136851A (ko) 운전자 졸음상태표시장치 및 그 방법
JP3329010B2 (ja) 車線逸脱警報装置
JPS61162777A (ja) 車両の走行環境認識方法
KR101491177B1 (ko) 나이트 뷰 시스템 및 제어방법
KR100503299B1 (ko) 차량의 야간주행 보조방법
JP2007334598A (ja) 車両用警告装置
JP2007001436A (ja) 車両の後側方障害物警報システム
KR102353084B1 (ko) 교차로 횡단보도 신호등 안전표시 전광판
JP5251673B2 (ja) 車両用表示装置
KR20230049499A (ko) 교통신호등 연동형 빔프로젝터
KR20180032017A (ko) 운전자의 위험물체 인지를 위한 조명 제어 장치 및 방법
CN114194108A (zh) 用于车辆的安全预警装置、安全预警方法和车辆

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130627

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140630

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150630

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20160630

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee