KR100503299B1 - 차량의 야간주행 보조방법 - Google Patents

차량의 야간주행 보조방법 Download PDF

Info

Publication number
KR100503299B1
KR100503299B1 KR10-2002-0059695A KR20020059695A KR100503299B1 KR 100503299 B1 KR100503299 B1 KR 100503299B1 KR 20020059695 A KR20020059695 A KR 20020059695A KR 100503299 B1 KR100503299 B1 KR 100503299B1
Authority
KR
South Korea
Prior art keywords
vehicle
pedestrian
night driving
present
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR10-2002-0059695A
Other languages
English (en)
Other versions
KR20040032154A (ko
Inventor
이재관
김력
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR10-2002-0059695A priority Critical patent/KR100503299B1/ko
Publication of KR20040032154A publication Critical patent/KR20040032154A/ko
Application granted granted Critical
Publication of KR100503299B1 publication Critical patent/KR100503299B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량의 야간주행 보조장치 및 그 방법에 관한 것으로, 특히 차량내부의 적소에 적외선 카메라를 설치하여 야간 주행시 차량의 전방에 존재하는 보행자를 포착하고 이를 운전자에게 알려줌과 동시에 보행자에게 차량이 주행하고 있음을 경고할 수 있도록 한 차량의 야간주행 보조장치 및 그 방법에 관한 것이다.
본 발명의 차량의 야간주행 보조장치는, 전조등의 점등여부에 따라 야간 주행임을 판단하는 차량의 야간주행 보조장치에 있어서, 차량의 전방을 향하도록 장착되어 적외선을 보행자로 송출하고, 상기 보행자로부터 반사되는 적외선을 전기적신호로 변환하여 영상신호로 출력하는 적외선 카메라; 상기 적외선 카메라에서 출력된 영상신호로부터 윤곽선만을 추출한 영상변환데이터를 출력하는 영상처리부; 상기 차량의 속력을 검출하는 차속감지부; 상기 보행자의 존재여부를 운전자에게 통보하는 알림발생부; 및 상기 영상처리부로부터 추출된 영상변환데이터를 입력받아 미리 저장된 데이터와 비교분석하여 보행자의 존재여부를 판단하여 상기 보행자가 존재하는 경우에는 상기 알림발생부를 동작시키는 마이컴을 포함하여 이루어진다.

Description

차량의 야간주행 보조방법{ASSISTANCE APPARATUS FOR NIGHT DRIVING OF A VEHICLE AND METHOD THEREOF}
본 발명은 차량의 야간주행 보조방법에 관한 것으로, 특히 차량내부의 적소에 적외선 카메라를 설치하고 야간 주행시 차량의 전방에 존재하는 보행자를 포착하고 이를 운전자에게 알려줌과 동시에 보행자에게 차량이 주행하고 있음을 경고할 수 있도록 한 차량의 야간주행 보조방법에 관한 것이다.
일반적으로, 차량의 주행에 있어서 전방의 시야확보는 전적으로 운전자의 시각에 의존하게 된다. 그러나, 일광이 있는 주간과는 달리 야간에는 주로 전조등의 조명에 의지하여 주행하게 되는데, 이는 주간에 비하여 시야가 좁아지고 주의를 뺏기기 쉽고, 더욱이 안개가 낀 날이나 우천시의 야간 주행은 시야확보가 곤란하여 사고의 위험이 배가된다.
이에 따라, 운전자는 횡단보도의 운행에 세심한 주의를 요하지 않는 경우 치명적인 인사사고를 발생시키게 되며, 대다수의 운전자는 신호등이 없는 횡단보도의 경우 보행자의 안전보다 자신의 운행을 우선으로 생각하여 일단 정지를 무시하고 운행하는 경우가 빈번하여 횡단보도를 건너는 보행자는 주변에서 진입하는 차량의 존재 여부를 세심하게 주시한 후 횡단보도를 건너야 하는 문제점이 있었다.
상기와 같은 문제점을 해결하기 위해 대한민국 실용신안 공개번호 제1998-0007667호(자동차의 야간 운전용 비젼장치)에서는 적외선 카메라를 차량내에 장착시켜 야간운전시 운전자에게 바깥 영상을 실시간으로 전달해줌으로써, 야간 운행시 운전자의 시야확보에 도움이 되도록 한 자동차의 야간운전용 비젼장치가 제안되었다.
도 1은 종래 자동차의 야간 운전용 비젼장치를 나타낸 구성도로서, 종래 자동차의 야간 운전용 비젼장치는, 차량내부의 상단에 장착되어 적외선을 피사체로 송출하고 그 피사체로부터 반사되는 적외선을 전기적신호로 변환하여 영상신호로 출력하는 적외선 카메라(1)와, 적외선 카메라(1)에서 출력된 영상신호로부터 윤곽선만을 추출하여 모니터(3)로 전송하는 영상처리부(2)와, 영상처리부(2)에서 추출된 윤곽선을 디스플레이하는 모니터(3)로 구성되어 있다.
그러나, 이와 같이 구성된 종래 자동차의 야간 운전용 비젼장치는 운전자에게 적외선 카메라(1)로부터 검출된 피사체의 윤곽선만을 모니터(3)에 디스플레이해줌으로써, 운전자는 운전중에 모니터(3)를 주시하고 있어야만 하기 때문에 주의력의 분산으로 인해 집중력을 저하시켜 치명적인 사고를 불러일으키는 문제점이 있다.
또한, 종래 자동차의 야간 운전용 비젼장치는 교차로나 신호등이 없는 횡단보도를 횡단하는 보행자에게 차량이 주행하고 있음을 경고하는 수단이 마련되어 있지 않기 때문에 보행자는 차량의 접근을 미처 인지하지 못하여 사고가 발생되는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 야간에 보행자가 횡단보도를 건너는 경우 적외선 카메라를 이용하여 보행자의 횡단 여부를 포착한 후 운전자에게 통보함과 동시에 보행자에게 차량이 주행하고 있음을 경고할 수 있도록 한 차량의 야간주행 보조장치를 제공하는데 있다.
전술한 목적을 달성하기 위하여 본 발명의 차량의 야간주행 보조장치는, 전조등의 점등여부에 따라 야간 주행임을 판단하는 차량의 야간주행 보조장치에 있어서, 차량의 전방을 향하도록 장착되어 적외선을 보행자로 송출하고, 상기 보행자로부터 반사되는 적외선을 전기적신호로 변환하여 영상신호로 출력하는 적외선 카메라; 상기 적외선 카메라에서 출력된 영상신호로부터 윤곽선만을 추출한 영상변환데이터를 출력하는 영상처리부; 상기 차량의 속력을 검출하는 차속감지부; 상기 보행자의 존재여부를 운전자에게 통보하는 알림발생부; 및 상기 영상처리부로부터 추출된 영상변환데이터를 입력받아 미리 저장된 데이터와 비교분석하여 보행자의 존재여부를 판단하여 상기 보행자가 존재하는 경우에는 상기 알림발생부를 동작시키는 마이컴을 포함하여 이루어진다.
전술한 구성에서, 상기 차량의 접근을 보행자에게 경고하는 경보발생부를 더 포함하며, 상기 마이컴은 상기 차속감지부로부터 제공된 차속이 소정의 기준치 이상일 경우에 상기 경보발생부를 동작시키는 것을 더 포함함이 바람직하다.
그리고, 차량의 야간주행 보조방법에 있어서, (a) 차량의 전방을 향하도록 설치된 적외선 카메라로부터 야간 주행시 보행자에 대한 영상신호를 출력하는 단계; (b) 상기 단계(a)의 영상신호로부터 윤곽선만을 추출하여 영상변환데이터를 생성하는 단계; (c) 상기 단계(b)의 영상변환데이터와 미리 저장된 데이터와 비교분석하여 보행자의 존재여부를 판단하는 단계; (d) 상기 단계(c)에서 보행자로 판단되는 경우, 차속감지부로부터 차속을 입력받아 차속이 소정의 기준치 이상일 경우 알림발생부를 작동시켜 운전자에게 보행자의 출현을 경고함과 동시에 경고발생부를 작동시켜 보행자에게 차량의 접근을 경고하는 단계; 및 (e) 상기 단계(d)에서 차속이 소정의 기준치에 미치지 못할 경우, 알림발생부를 작동시켜 운전자에게만 보행자의 출현을 경고하는 단계로 이루어진 것을 특징으로 한다.
이하 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 본 실시예는 본 발명의 권리범위를 한정하는 것은 아니고, 단지 예시로 제시된 것이다.
도 2는 본 발명의 일 실시예에 따른 차량의 야간주행 보조장치를 개략적으로 나타낸 블록 구성도이다.
도 2에 도시한 바와 같이, 본 발명에 따른 차량의 야간주행 보조장치는, 차량 내부의 적소에 전방을 향하도록 장착되어 적외선을 피사체(이하, '보행자'라고 한다.)로 송출하고, 상기 보행자로부터 반사되는 적외선을 전기적신호로 변환하여 영상신호로 출력하는 적외선 카메라(100)와; 적외선 카메라(100)에서 출력된 영상신호로부터 윤곽선만을 추출한 영상변환데이터를 후술하는 마이컴(300)으로 전송하는 영상처리부(200)와; 차량의 휠에 설치되어 차속을 검출하는 차속감지부(300)와; 영상처리부(200)로부터 추출된 영상변환데이터를 입력받아 미리 저장된 데이터와 비교분석하여 보행자의 존재여부를 판단하는 마이컴(400)과; 마이컴(400)으로부터 출력된 제어신호에 따라 보행자의 존재여부를 운전자에게 통보하는 알림발생부(500)와; 마이컴(400)으로부터 출력된 제어신호에 따라 차량의 접근을 보행자에게 경고하는 경보발생부(600)와; 상기 각 부에 동작전원을 공급하는 전원공급부(700)를 포함하여 구성된다. 여기서, 영상처리부(200)는 영상신호로부터 윤곽선만을 추출하는 통상의 영상처리장치가 사용된다.
전술한 구성에서, 적외선 카메라(100)는 차량 내부에 전방을 향하도록 설치함이 바람직하지만, 이에 국한하지 않으며, 차량 정면 범퍼(미도시)의 중앙부에 물체를 감지하도록 전방을 향하도록 설치될 수도 있다. 한편, 적외선 카메라(100)는 차량의 야간 주행시에 항시 작동되도록 함이 바람직하다.
차속감지부(300)는 차량의 휠에 설치되어 상기 휠의 속도를 검출하여 그에 비례하는 차량의 속도를 검출한다.
마이컴(400)은 차량의 전체적인 제어를 담당하는 전자제어유닛(ECU) 또는 이와 별도로 마련되어 이루어질 수 있다.
알림발생부(500)는 미도시된 부저 또는 램프로 이루어질 수 있으며, 인가되는 펄스신호에 따라 구동되어 운전자에게 전방의 횡단보도에서 보행하는 생물체가 있음을 알려준다. 또한, 알림발생부(500)는 운전자에게 시각적으로 용이하게 알려줄 수 있도록 엘이디(LED ; Light Emitting Diode)나 엘시디(LCD ; Liquid Crystal Display) 또는 HUD(Head-Up Display; 전방시현기) 등의 디스플레이창으로 이루어질 수도 있으며, 이러한 디스플레이창에 보행자로 판단될 경우 '전방에 보행자 출현'과 같은 문자메시지를 출력할 수 있다. 한편, 상기 부저는 차실내의 일측에 설치되어 마이컴(400)에서 출력되는 제어 신호에 따라 경고음을 발생시켜 운전자에게 경고함이 바람직하다.
경보발생부(600)는 차량에 설치된 비상등이나 전조등과 같은 시각적인 구성 또는 경음기와 같은 청각적인 구성으로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 차량의 야간주행 보조방법을 설명하기 위한 흐름도인 바, 마이컴(400)을 주체로 하여 수행됨을 밝혀둔다.
도 3에 도시한 바와 같이, 본 발명에 따른 차량의 야간주행 보조방법에 따르면, 단계S10에서는 차량의 전방을 향하도록 설치된 적외선 카메라(100)로부터 야간 주행시 보행자에 대한 영상신호를 출력하고, 단계S20으로 진행하여 영상처리부(200)에서는 상기 영상신호로부터 윤곽선만을 추출하여 영상변환데이터를 생성한다.
다음, 단계S30으로 진행하여 마이컴(400)은 영상처리부(200)에서 출력된 영상변환데이터와 미리 저장된 데이터와 비교분석하여 보행자의 존재여부를 판단한다. 단계S30에서의 판단결과, 영상처리부(200)로부터 출력된 영상변환데이터가 보행자가 아닌 경우에는 마이컴(400)에서는 계속해서 보행자의 존재여부를 판단하고, 영상처리부(200)로부터 검출된 데이터가 보행자인 경우에는 단계S40으로 진행하여 마이컴(400)은 차속감지부(300)로부터 차속을 입력받아 차량이 주행중인지를 판단한다. 단계S40에서의 판단결과, 차량이 주행중인 경우에는 단계S50으로 진행하여 마이컴(400)은 알림발생부(500)를 작동시켜 운전자에게 보행자의 출현을 일정시간동안 시각적 또는 청각적으로 통보하여 준다. 이와 동시에 단계S60으로 진행하여 마이컴(400)은 경고발생부(500)를 작동시켜 보행자에게 차량의 접근을 일정시간동안 시각적 또는 청각적으로 경고하여 준다.
한편, 단계S40에서의 판단결과, 차량이 주행중이 아닌 경우 즉, 횡단보도등에서 정지중인 경우에는 단계S70으로 진행하여 보행자에게 보행에 방해가 되지 않도록 운전자에게만 보행자의 출현을 일정시간동안 시각적 또는 청각적으로 통보하여 준다. 그리고, 전술한 단계S40에서의 차량이 주행중이 아닌 경우 즉, 정지중인지 여부는 예를 들어 차속이 소정의 기준치 이하, 예를 들어 20km/h이하인 경우에 차량이 정지중인 것으로 판단한다.
전술한 본 발명에 따른 차량의 야간주행 보조장치 및 그 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
이상에서 설명한 바와 같은 본 발명의 차량의 야간주행 보조장치 및 그 방법에 따르면, 차량내부의 적소에 적외선 카메라를 설치하여 야간 주행시 차량의 전방에 존재하는 보행자를 검출하고 이를 운전자에게 알려줌과 동시에 보행자에게 차량이 주행하고 있음을 경고해줌으로써, 야간 주행시 운전자에게 주의력을 향상시켜줌과 아울러 신호등이 없는 횡단보도에서 인사사고의 발생을 효과적으로 방지할 수 있는 이점이 있다.
도 1은 종래 자동차의 야간 운전용 비젼장치를 나타낸 구성도,
도 2는 본 발명의 일 실시예에 따른 차량의 야간주행 보조장치를 개략적으로 나타낸 블록 구성도,
도 3은 본 발명의 일 실시예에 따른 차량의 야간주행 보조방법을 설명하기 위한 흐름도이다.
*** 도면의 주요 부분에 대한 부호 설명 ***
100 : 적외선 카메라, 200 : 영상처리부,
300 : 차속감지부, 400 : 마이컴,
500 : 알림발생부, 600 : 경보발생부,
700 : 전원공급부

Claims (3)

  1. 삭제
  2. 삭제
  3. 전조등의 점등여부에 따라 야간 주행임을 판단하는 차량의 야간주행 보조방법에 있어서,
    (a) 차량의 전방을 향하도록 설치된 적외선 카메라로부터 야간 주행시 보행자에 대한 영상신호를 출력하는 단계;
    (b) 상기 단계(a)의 영상신호로부터 윤곽선만을 추출하여 영상변환데이터를 생성하는 단계;
    (c) 상기 단계(b)의 영상변환데이터와 미리 저장된 데이터와 비교분석하여 보행자의 존재여부를 판단하는 단계;
    (d) 상기 단계(c)에서 보행자로 판단되는 경우, 차속감지부로부터 차속을 입력받아 차속이 소정의 기준치 이상일 경우 알림발생부를 작동시켜 운전자에게 보행자의 출현을 경고함과 동시에 경고발생부를 작동시켜 보행자에게 차량의 접근을 경고하는 단계; 및
    (e) 상기 단계(d)에서 차속이 소정의 기준치에 미치지 못할 경우, 알림발생부를 작동시켜 운전자에게만 보행자의 출현을 경고하는 단계로 이루어진 것을 특징으로 하는 차량의 야간주행 보조방법.
KR10-2002-0059695A 2002-10-01 2002-10-01 차량의 야간주행 보조방법 Expired - Fee Related KR100503299B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0059695A KR100503299B1 (ko) 2002-10-01 2002-10-01 차량의 야간주행 보조방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0059695A KR100503299B1 (ko) 2002-10-01 2002-10-01 차량의 야간주행 보조방법

Publications (2)

Publication Number Publication Date
KR20040032154A KR20040032154A (ko) 2004-04-17
KR100503299B1 true KR100503299B1 (ko) 2005-07-25

Family

ID=37332084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0059695A Expired - Fee Related KR100503299B1 (ko) 2002-10-01 2002-10-01 차량의 야간주행 보조방법

Country Status (1)

Country Link
KR (1) KR100503299B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281272B1 (ko) * 2009-04-13 2013-07-03 주식회사 만도 원적외선 스테레오 카메라를 이용한 보행자 보호 방법 및 장치

Also Published As

Publication number Publication date
KR20040032154A (ko) 2004-04-17

Similar Documents

Publication Publication Date Title
JP3390289B2 (ja) 警報装置
CN105216727B (zh) 一种车辆距离探测主动安全系统和控制方法
KR102587258B1 (ko) 차량의 주행정보 전달 장치 및 방법
CN106515574B (zh) 无人驾驶车辆的标识装置和方法
US20090256698A1 (en) Brake light warning system with early warning feature
US20180222387A1 (en) Blind Zone Monitoring Method, License Plate Frame Device with Blind Zone Monitoring Function and Rearview Mirror
JP4946661B2 (ja) 車両用警報表示装置
CN106882190B (zh) 一种交叉路口行车辅助系统及行车辅助控制方法
CN104175954A (zh) 一种车辆盲区监测报警系统
WO2018157608A1 (zh) 一种车辆行进监控系统
JP2009265842A (ja) 車両用警告装置、警告方法
JP2003291689A (ja) 車両用情報表示装置
JP3915200B2 (ja) 車両の障害物警報装置
CN113602276A (zh) 基于LiFi信号交互的汽车智能辅助驾驶方法及系统
JP2013032082A (ja) 車両用表示装置
KR102353084B1 (ko) 교차로 횡단보도 신호등 안전표시 전광판
KR101491177B1 (ko) 나이트 뷰 시스템 및 제어방법
KR20110007662A (ko) 비상 주차 차량의 안전 확보 장치 및 그 제어 방법
JP3329010B2 (ja) 車線逸脱警報装置
JPS61162777A (ja) 車両の走行環境認識方法
KR20180136851A (ko) 운전자 졸음상태표시장치 및 그 방법
KR100503299B1 (ko) 차량의 야간주행 보조방법
CN114194108A (zh) 用于车辆的安全预警装置、安全预警方法和车辆
JP5251673B2 (ja) 車両用表示装置
JP2019204402A (ja) 障害物表示装置及び車両用灯具システム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20021001

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20040915

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20050527

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20050714

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20050714

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20080630

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20090702

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20100701

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20110711

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20120704

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20130627

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20130627

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20140630

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20140630

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20150630

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20150630

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20160630

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20160630

Start annual number: 12

End annual number: 12

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20180425