KR101316235B1 - 저장용량 저감 사고기록장치 및 그 방법 - Google Patents

저장용량 저감 사고기록장치 및 그 방법 Download PDF

Info

Publication number
KR101316235B1
KR101316235B1 KR1020110048450A KR20110048450A KR101316235B1 KR 101316235 B1 KR101316235 B1 KR 101316235B1 KR 1020110048450 A KR1020110048450 A KR 1020110048450A KR 20110048450 A KR20110048450 A KR 20110048450A KR 101316235 B1 KR101316235 B1 KR 101316235B1
Authority
KR
South Korea
Prior art keywords
image data
vehicle
partial
resolution
extracting
Prior art date
Application number
KR1020110048450A
Other languages
English (en)
Other versions
KR20120130482A (ko
Inventor
정동혁
배현철
이정희
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020110048450A priority Critical patent/KR101316235B1/ko
Publication of KR20120130482A publication Critical patent/KR20120130482A/ko
Application granted granted Critical
Publication of KR101316235B1 publication Critical patent/KR101316235B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D9/00—Recording measured values
    • G01D9/42—Recording indications of measuring instruments by photographic means, e.g. of counters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D41/00—Fittings for identifying vehicles in case of collision; Fittings for marking or recording collision areas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 저장용량 저감 사고기록장치 및 그 방법에 관한 기술이다.
본 발명에 따른 저장용량 저감 사고기록장치는 영상획득부로부터 수신한 영상데이터 전체의 해상도를 하향변환하여 압축하는 전체영상 압축부와, 상기 영상획득부로부터 수신한 영상데이터 전체 화면 중 주변차량이 위치해 있는 부분화면을 판정하고 상기 판정된 부분화면에 대한 부분영상 데이터를 추출하는 부분화면 범위 판정부와, 상기 추출한 부분영상 데이터를 압축하는 부분영상 압축부와, 상기 압축된 부분화면 데이터와 상기 압축된 전체영상 데이터를 저장하는 저장부를 포함한다.

Description

저장용량 저감 사고기록장치 및 그 방법{An accident recording device for reducing capacity and thereof method}
본 발명은 저장용량 저감 사고기록장치 및 그 방법에 관한 것으로, 더욱 상세하게는 고해상도 데이터 중 중요한 일부 화면만 고해상도 데이터로 저장하고 전체화면은 해상도를 하향변환하여 저장함으로써 데이터 저장용량을 감소시킬 수 있는 사고기록장치에 관한 것이다.
차량의 증가로 인한 교통사고가 증가하면서 교통사고 분쟁이 끊이지 않고 있다.
이에, 이러한 교통사고 분쟁 시 증거자료를 위해 블랙박스 등의 사고기록장치를 구비한 차량이 증가하고 있는 추세이다.
이러한 사고기록장치는 카메라로부터 영상데이터를 가져와 영상압축을 실시한 후 저장장치에 저장하는 구성을 가진다.
그러나, 종래의 사고기록장치는 초기에 저해상도(320*240))의 화면을 저장함에 따라 상대차량의 번호판, 신호등 등의 화면을 정확하게 판독할 수 없는 문제점이 있었다. 이에 고해상도의 VGA급(640*480), HD급(1280*720) 사고기록장치가 개발되었다.
하지만 더 높은 해상도를 요구하는 수요에 의해 풀HD급(1980*1080)의 해상도를 가지는 사고기록장치도 개발될 것으로 예상된다.
이처럼 점점 더 높은 해상도를 가진 사고기록장치가 개발됨에 따라 고해상도의 화면 압축을 위한 연산량이 증대하여 연산시간 소모가 크고 CPU의 부하가 커지는 문제점이 있었다.
또한, 종래의 사고기록장치는 데이터를 압축하더라도 데이터 크기가 커서, 대용량 데이터를 저장해야함에 따른 저장속도가 느리고 비휘발성 메모리의 경우 쓰기 횟수가 제한되어 있어 대용량 데이터 운용에 따른 저장 메모리의 내구성이 감소하며, 대용량의 메모리를 탑재해야함에 따른 시스템 가격이 상승되는 문제점이 있었다.
본 발명의 목적은 사고기록장치의 저장용량을 저감시킬 수 있도록 하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 저장용량 저감 사고기록장치는, 차량에 탑재되는 저장용량 저감 사고기록장치에 있어서, 영상획득부로부터 수신한 영상데이터 전체의 해상도를 하향변환하여 압축하는 전체영상 압축부; 상기 영상획득부로부터 수신한 영상데이터 전체 화면 중 상기 차량과 동일 차선 내 가장 근접한 전방차량이 위치해 있는 부분화면을 판정하고 상기 판정된 부분화면에 대한 부분영상 데이터를 추출하는 부분화면 범위 판정부; 상기 추출한 부분영상 데이터를 압축하는 부분영상 압축부; 및 상기 압축된 부분영상 데이터와 상기 압축된 전체영상 데이터를 저장하는 저장부를 포함하되, 상기 부분화면 범위 판정부는, 주변장애물감지부로부터 상기 차량과 동일 차선 내 가장 근접한 전방차량의 차량정보 및 위치정보를 수신하여 상기 전방차량 부분을 부분화면으로 판정하고, 상기 전방차량 부분을 부분영상 데이터로 추출하는 것을 특징으로 한다.
삭제
삭제
삭제
본 발명에 따른 사고기록장치의 저장용량 저감 방법은, 차량에 탑재되는 저장용량 저감 사고기록장치에서의 저장용량 저감 방법에 있어서, 상기 차량과 동일 차선 내 가장 근접한 전방차량에 대한 고해상도의 전체 영상데이터를 수신하는 과정; 상기 고해상도의 전체 영상데이터의 해상도를 하향변환하고 압축 및 저장하는 과정; 상기 고해상도의 전체 영상데이터 중 상기 차량과 동일 차선 내 가장 근접한 전방차량이 위치한 부분의 부분영상 데이터를 추출하는 과정; 및 상기 추출된 부분 영상데이터를 압축하여 저장하는 과정을 포함하되, 상기 부분영상 데이터를 추출하는 과정은, 주변장애물감지부로부터 상기 차량과 동일 차선 내 가장 근접한 전방차량의 차량정보 및 위치정보를 수신하여 상기 전방차량 부분을 부분화면으로 판정하고, 상기 전방차량 부분을 부분영상 데이터로 추출하는 것을 특징으로 한다.
삭제
삭제
상기와 같이 본 발명은 사고기록장치의 저장용량을 최소화함으로써 저용량의 메모리 사용이 가능하므로 가격을 낮출 수 있고, 메모리의 내구성을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 고해상도의 화면을 하향변환하여 압축함으로써 압축 연산량을 감소시켜 CPU 부하를 줄이고, 사고기록데이터의 저장속도를 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 저장용량 저감 사고기록장치의 구성도.
도 2는 본 발명의 실시예에 따른 사고기록장치의 저장용량 저감 방법을 나타내는 순서도.
도 3은 도 2의 부분화면과 전체화면의 예를 나타낸 도면.
이하, 본 발명에 따른 저장용량 저감 사고기록장치 및 그 방법을 첨부된 도 1 내지 도 3을 참조하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 저장용량 저감 사고기록장치의 구성도이다.
본 발명의 실시예에 따른 저장용량 저감 사고기록장치는 전체영상 압축부(110), 부분화면 범위 판정부(120), 부분영상 압축부(130) 및 저장부(140)를 구비한다.
전체 영상 압축부(110)는 전체영상 데이터의 해상도를 하향변환하여 압축한후, 저장부(140)로 보내어 저장시킨다. 이때, 전체영상 데이터는 도 3의 차량 전방의 전체 화면(A)을 의미한다.
부분화면 범위 판정부(120)는 주변 장애물 감지부(300) 및 네비게이션(400)을 통해 수신한 차량정보 및 위치정보를 이용하여 전체 화면 중 부분 화면을 판정한다.
부분화면 범위 판정부(120)는 주변장애물 감지부(300) 또는 네비게이션(400)을 통해 충돌위험성이 있는 주변차량 정보, 위치정보를 수신하고, 영상획득부(200)로부터 수신한 전체영상 데이터 중 충돌위험성이 있는 차량이 위치해 있는 부분만을 부분영상 데이터로 추출한다. 이때, 주변장애물 감지부(300)는 레이더, 카메라, 영상기반 비젼센서 등을 포함하고, 부분화면은 도 3의 관련 차량의 화면(번호판 포함)(B)을 의미한다. 또한, 충돌위험성이 있는 주변차량(충돌 위험도가 높은 주변차량)은, 도 3에 도시된 바와 같이 자차와 동일 차선 내 가장 근접한 전방차량을 의미한다.
부분영상 압축부(130)는 추출한 부분영상 데이터를 압축하여 저장부(140)로 보내어 저장시킨다.
저장부(140)는 압축된 사고기록데이터(전체영상 데이터, 부분영상 데이터)를 저장한다.
이하, 도 2를 참조하여, 본 발명의 실시예에 따른 사고기록장치의 저장용량 저감 방법을 설명하기로 한다.
먼저, 영상획득부(200)는 충돌 위험도가 높은 주변 차량을 촬영한다(S101).
그 후, 전체영상 압축부(110)는 영상획득부(200)로부터 수신한 고해상도의 전체영상 데이터 해상도를 하향 변환하여 압축하고 저장부(140)에 저장한다(S102).
이어서, 부분화면 범위 판정부(130)는 주변장애물 감지부(300)로부터 충돌 위험성이 있는 주변 차량 정보(차속, 충돌가능성 정보 등) 및 위치정보를 수신하여 고해상도의 전체영상 데이터 중 충돌 위험성이 있는 주변차량이 존재하는 부분의 부분화면을 구분하고(S103), 부분화면에 대한 부분영상 데이터를 추출하여 부분영상 압축부(130)로 보낸다. 이에, 부분영상 압축부(130)는 부분영상 데이터를 압축하여 저장부(140)로 보내어 저장시킨다.
이때, 부분화면 범위 판정부(130)는 주변장애물 감지부(300)로부터 충돌 위험성이 있는 주변 차량 정보(차속, 충돌가능성 정보 등)를 수신하고 네비게이션(400)으로부터 충돌 위험성이 있는 차량의 위치정보를 수신하여 부분화면을 구분할 수도 있다. 또한, 부분화면 범위 판정부(130)는 네비게이션(400)으로부터 충돌 위험성이 있는 주변 차량 정보(차속, 충돌가능성 정보 등) 및 위치정보를 수신하여 고해상도의 전체영상 데이터 중 충돌 위험성이 있는 주변차량이 존재하는 부분의 부분화면을 구분하도록 할 수도 있다.
예를 들어, 아래 표 1과 같이 FULL HD급의 고해상도 영상데이터의 화소가 2,138,400인 경우, 전체영상 데이터를 하향 압축하고 부분 영상 데이터만 고해상도로 압축하면 화소가 1,228,800으로 줄어든다.
크기 화소
촬영한 고해상도 영상데이터(고해상도) 1980*1080 2,138,400
하향변환된 전체 영상데이터(저해상도) 1280*720 921,600
부분영상 데이터(고해상도) 640*480 307,200
전체영상+부분영상 1,228,800
이처럼 전체영상 데이터를 하향변환하고, 시인성을 위해 부분영상 데이터만 추출하여 고해상도로 압축함으로써, 아래 수학식 1과 같이 고해상도의 전체영상 데이터를 압축하는 것에 비해 본 발명의 하향변환된 데이터를 압축하는 경우 그 크기가 43% 감소하게 되어 저장용량의 소모가 감소하게 된다.
Figure 112011038244333-pat00001
이와같이, 본 발명은 압축할 데이터를 하향변환함으로써 압축 연산량을 감소시키고 데이터 용량이 저감되어 저장 속도를 증대시키며 메모리 내구성도 증가될 수 있다.
100 : 사고기록장치
110 : 전체영상 압축부
120 : 부분화면 범위 판정부
130 : 부분영상 압축부
140 : 저장부
200 : 영상획득부
300 : 주변 장애물 감지부
400 : 네비게이션

Claims (7)

  1. 삭제
  2. 차량에 탑재되는 저장용량 저감 사고기록장치에 있어서,
    영상획득부로부터 수신한 영상데이터 전체의 해상도를 하향변환하여 압축하는 전체영상 압축부;
    상기 영상획득부로부터 수신한 영상데이터 전체 화면 중 상기 차량과 동일 차선 내 가장 근접한 전방차량이 위치해 있는 부분화면을 판정하고 상기 판정된 부분화면에 대한 부분영상 데이터를 추출하는 부분화면 범위 판정부;
    상기 추출한 부분영상 데이터를 압축하는 부분영상 압축부; 및
    상기 압축된 부분영상 데이터와 상기 압축된 전체영상 데이터를 저장하는 저장부를 포함하되,
    상기 부분화면 범위 판정부는,
    주변장애물감지부로부터 상기 차량과 동일 차선 내 가장 근접한 전방차량의 차량정보 및 위치정보를 수신하여 상기 전방차량 부분을 부분화면으로 판정하고, 상기 전방차량 부분을 부분영상 데이터로 추출하는 것을 특징으로 하는 저장용량 저감 사고기록장치.
  3. 삭제
  4. 청구항 2에 있어서,
    상기 전체영상 데이터는 고해상도를 가지고, 상기 하향변환된 전체영상 데이터는 상기 전체영상 데이터보다 낮은 해상도를 가지며, 상기 부분영상 데이터는 고해상도를 가지도록 하는 것을 특징으로 하는 저장용량 저감 사고기록장치.
  5. 삭제
  6. 차량에 탑재되는 저장용량 저감 사고기록장치에서의 저장용량 저감 방법에 있어서,
    상기 차량과 동일 차선 내 가장 근접한 전방차량에 대한 고해상도의 전체 영상데이터를 수신하는 과정;
    상기 고해상도의 전체 영상데이터의 해상도를 하향변환하고 압축 및 저장하는 과정;
    상기 고해상도의 전체 영상데이터 중 상기 차량과 동일 차선 내 가장 근접한 전방차량이 위치한 부분의 부분영상 데이터를 추출하는 과정; 및
    상기 추출된 부분 영상데이터를 압축하여 저장하는 과정을 포함하되,
    상기 부분영상 데이터를 추출하는 과정은,
    주변장애물감지부로부터 상기 차량과 동일 차선 내 가장 근접한 전방차량의 차량정보 및 위치정보를 수신하여 상기 전방차량 부분을 부분화면으로 판정하고, 상기 전방차량 부분을 부분영상 데이터로 추출하는 것을 특징으로 하는 사고기록장치의 저장용량 저감 방법.
  7. 차량에 탑재되는 저장용량 저감 사고기록장치에서의 저장용량 저감 방법에 있어서,
    상기 차량과 동일 차선 내 가장 근접한 전방차량에 대한 고해상도의 전체 영상데이터를 수신하는 과정;
    상기 고해상도의 전체 영상데이터의 해상도를 하향변환하고 압축 및 저장하는 과정;
    상기 고해상도의 전체 영상데이터 중 상기 차량과 동일 차선 내 가장 근접한 전방차량이 위치한 부분의 부분영상 데이터를 추출하는 과정; 및
    상기 추출된 부분 영상데이터를 압축하여 저장하는 과정을 포함하되,
    상기 부분영상 데이터를 추출하는 과정은,
    주변장애물감지부로부터 상기 차량과 동일 차선 내 가장 근접한 전방차량의 차량정보를 수신하고, 네비게이션으로부터 상기 전방차량의 위치정보를 수신하여 상기 전방차량 부분을 부분화면으로 판정하고, 상기 전방차량 부분을 부분영상 데이터로 추출하는 것을 특징으로 하는 사고기록장치의 저장용량 저감 방법.
KR1020110048450A 2011-05-23 2011-05-23 저장용량 저감 사고기록장치 및 그 방법 KR101316235B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110048450A KR101316235B1 (ko) 2011-05-23 2011-05-23 저장용량 저감 사고기록장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110048450A KR101316235B1 (ko) 2011-05-23 2011-05-23 저장용량 저감 사고기록장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120130482A KR20120130482A (ko) 2012-12-03
KR101316235B1 true KR101316235B1 (ko) 2013-10-08

Family

ID=47514543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110048450A KR101316235B1 (ko) 2011-05-23 2011-05-23 저장용량 저감 사고기록장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101316235B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6743732B2 (ja) * 2017-03-14 2020-08-19 トヨタ自動車株式会社 画像記録システム、画像記録方法、画像記録プログラム
KR102636741B1 (ko) * 2018-12-24 2024-02-16 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050235A (ja) * 1998-07-27 2000-02-18 Matsushita Electric Ind Co Ltd 監視装置
JP2007237764A (ja) 2006-03-06 2007-09-20 Denso Corp 車載状況記憶装置
KR100883632B1 (ko) 2008-08-13 2009-02-12 주식회사 일리시스 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
KR100929689B1 (ko) * 2008-09-08 2009-12-03 재단법인대구경북과학기술원 스테레오 영상 정보를 이용한 차량용 사고기록 장치 및 그 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050235A (ja) * 1998-07-27 2000-02-18 Matsushita Electric Ind Co Ltd 監視装置
JP2007237764A (ja) 2006-03-06 2007-09-20 Denso Corp 車載状況記憶装置
KR100883632B1 (ko) 2008-08-13 2009-02-12 주식회사 일리시스 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
KR100929689B1 (ko) * 2008-09-08 2009-12-03 재단법인대구경북과학기술원 스테레오 영상 정보를 이용한 차량용 사고기록 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR20120130482A (ko) 2012-12-03

Similar Documents

Publication Publication Date Title
US11172170B2 (en) Image recording apparatus, image recording method, and image recording program
US10334249B2 (en) System and method for high-resolution storage of images
CN105702048B (zh) 基于行车记录仪的高速公路前车违法占道识别系统及方法
CN110298300B (zh) 一种检测车辆违章压线的方法
US9870509B2 (en) Image storage method and apparatus thereof
KR101551904B1 (ko) 저장 공간을 절약하는 차량용 블랙박스의 제어방법
JP6544393B2 (ja) 画像記録装置、画像記録方法および画像記録プログラム
CN107633703A (zh) 一种行车记录仪及其前向防撞预警方法
KR101561626B1 (ko) 주행차량의 번호판 인식이 실시간으로 가능한 차량용 블랙박스
JP6544394B2 (ja) 画像記録装置、画像記録方法および画像記録プログラム
KR101316235B1 (ko) 저장용량 저감 사고기록장치 및 그 방법
US20230260289A1 (en) On-vehicle recording control device and on-vehicle recording control method
WO2012014972A1 (ja) 車両挙動解析装置及び車両挙動解析プログラム
CN115690767A (zh) 车牌识别方法、装置、无人机及存储介质
KR20150052706A (ko) 차량용 블랙박스 카메라의 감시방법 및 이를 구현한 차량용 블랙박스 카메라
JP6544395B2 (ja) 画像記録装置、画像記録方法および画像記録プログラム
KR20140069855A (ko) 차량용 영상 기록 장치 및 방법
KR20180004196A (ko) 영상 저장 방법 및 이를 이용한 영상 저장 장치
JP7204988B2 (ja) ひび割れ検出装置、ひび割れ検出方法及びひび割れ検出プログラム
KR101585326B1 (ko) 선별된 프레임을 고해상도로 저장하는 비디오 레코딩 시스템 및 동작 방법
JP2006202000A (ja) 車両監視方法及び特定文字パターン認識装置及び車両監視システム
CN113822866A (zh) 一种广适应的车轴数量识别方法、系统、设备及存储介质
CN112687108B (zh) 人车匹配的检测方法、检测装置、拍摄装置及存储介质
US20140009569A1 (en) Panogramic Camera System for Vehicle Event Data Recorder
KR101328533B1 (ko) 번호판 검출을 위한 영상 압축 시스템 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110523

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120731

Patent event code: PE09021S01D

AMND Amendment
PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20130108

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20120731

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20130108

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20120925

Comment text: Amendment to Specification, etc.

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130227

Patent event code: PE09021S01D

AMND Amendment
PX0701 Decision of registration after re-examination

Patent event date: 20130830

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20130415

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20130206

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20130108

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20120925

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20131001

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20131001

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20160930

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20170929

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20180928

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20190926

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20190926

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20200928

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20210928

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20220927

Start annual number: 10

End annual number: 10

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20240712