KR101035488B1 - Collecting Method of Video Data Car Blackbox - Google Patents

Collecting Method of Video Data Car Blackbox Download PDF

Info

Publication number
KR101035488B1
KR101035488B1 KR1020090094296A KR20090094296A KR101035488B1 KR 101035488 B1 KR101035488 B1 KR 101035488B1 KR 1020090094296 A KR1020090094296 A KR 1020090094296A KR 20090094296 A KR20090094296 A KR 20090094296A KR 101035488 B1 KR101035488 B1 KR 101035488B1
Authority
KR
South Korea
Prior art keywords
image
central server
video
response
vehicle
Prior art date
Application number
KR1020090094296A
Other languages
Korean (ko)
Other versions
KR20110037047A (en
Inventor
정수환
최재덕
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020090094296A priority Critical patent/KR101035488B1/en
Priority to PCT/KR2010/003031 priority patent/WO2011043531A1/en
Publication of KR20110037047A publication Critical patent/KR20110037047A/en
Application granted granted Critical
Publication of KR101035488B1 publication Critical patent/KR101035488B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D41/00—Fittings for identifying vehicles in case of collision; Fittings for marking or recording collision areas
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 자동차 블랙박스 영상물 수집 방법에 관한 것으로, 사건사고와 관련된 영상물을 중앙 서버에서 요청할 경우, 각 개인 차량 블랙박스에 저장된 영상물들 중에서 사건사고와 관련 있는 영상물 일부만을 선택해서 중앙서버에 제공하는 자동차 블랙박스 영상물 수집 방법에 관한 것이다. 중앙서버에서 시간과 GPS 위치 정보에 대한 사건사고 리스트를 알려주면, 각 차량은 과거 전송한 사건사고 리스트를 선별 후 전송된 기록이 없는 사건사고 리스트에 대해서 블랙박스 영상물을 검색하여, 상기 사건사고 리스트에 해당되는 영상물이 존재할 경우 운전자의 동의를 얻은 다음 중앙서버로 전송하게 된다. 따라서, 본 발명은 운전자가 사건사고 현장을 지나갈때의 영상물만을 제공함으로써, 운전자의 프라이버시 침해 소지를 최소화하며, 유무선통신망을 통한 데이터 전송량을 최소화할 수 있어 현실적으로 적용이 가능하고, 특정 지역의 도로 상태 및 주변 상황 정보를 파악하는데 활용할 수 있는 효과가 있다.The present invention relates to a vehicle black box video collection method, when requesting a video related to the accident from the central server, selecting only a part of the video related to the accident from the video stored in each individual vehicle black box to provide to the central server The present invention relates to a vehicle black box image collection method. When the central server informs the incident list of time and GPS location information, each vehicle selects a list of incidents sent in the past and searches the black box video for the incident list without a record, and the incident list If there is an image corresponding to the driver's consent, it is transmitted to the central server. Therefore, the present invention provides only the video when the driver passes the accident scene, thereby minimizing the possibility of the driver's privacy infringement, and can minimize the amount of data transmission through the wired / wireless communication network, so that the present invention can be practically applied, and the road conditions in a specific region. And it can be used to grasp the surrounding situation information.

자동차, 블랙박스, 중앙서버, 사건사고 리스트, 영상물 Car, Black Box, Central Server, Incident List, Video

Description

자동차 블랙박스 영상물 수집 방법{Collecting Method of Video Data Car Blackbox}Collecting Method of Video Data Car Blackbox}

본 발명은 자동차 블랙박스 영상물 수집 방법에 관한 것으로, 더욱 세부적으로는 사건사고와 관련된 영상물을 중앙 서버에서 요청할 경우, 각 개인 차량 블랙박스에 저장된 영상물들 중에서 사건사고와 관련 있는 영상물 일부만을 선택해서 중앙서버에 제공하는 자동차 블랙박스 영상물 수집 방법에 관한 것이다.The present invention relates to a vehicle black box video collection method, and more specifically, when the central server requests a video related to the accident, the centralized by selecting only a part of the video related to the accident from the video stored in each individual vehicle black box The present invention relates to a vehicle black box video collection method provided to a server.

블랙박스(Blackbox)란 원래 비행기 따위에 비치하는 비행 자료 자동 기록 장치로서, 사고가 났을 때 그 원인을 밝히는데 중요한 구실을 하는 장치이다.Blackbox is a flight data recorder originally provided on an airplane, which plays an important role in identifying the cause of an accident.

최근에는 자동차 사고 발생시 목격자 확보 및 목격자의 신뢰성 문제로 본인이 가해자로 둔갑되거나, 현장 보존의 미흡과 교차로 신호 규명의 불명확으로 책임 소재가 불명확한 것을 해결하기 위하여 상기 블랙박스를 차량에 탑재시켜 사용하고 있다.Recently, the black box is mounted on a vehicle in order to solve the problem of securing the witness and credibility of the witness due to the problem of the witness. have.

상기 차량용 블랙박스의 영상물을 차량사고 뿐만 아니라 범죄 현장의 중요한 증거 자료로 활용할 수 있는데, 블랙박스 장착 차량의 사고 조사 자료로 활용되거나, 초기 블랙박스 장착 차량율이 저조할 경우, 블랙박스 미장착 차량들 간 사고시 주변의 블랙박스 장착 차량에 의해 촬영된 영상물을 증거물로 활용할 수 있으며, 또한 실종인물이 A정거장에서 4-5시 경에 있었다는 정황이 있을 경우에, A정거장을 지나가는 차량들의 블랙박스 영상물에 의해서 실종인물이 범죄 차량에 탑승하는 모습을 포착하거나, 범죄현장이 고정식 CCTV의 촬영범위를 벗어난 곳일 경우에는 그 범죄현장을 지나가는 차량들에 의해서 블랙박스에 범죄 단서를 포착하는 등과 같은 자료로 활용될 수 있다.The video of the vehicle black box can be used as an important evidence of crime scenes as well as vehicle accidents, and can be used as an accident investigation data of a vehicle equipped with a black box or when the initial rate of the vehicle equipped with a black box is low, vehicles without a black box In case of an accident, the video taken by a nearby black box-mounted vehicle can be used as evidence, and when there is a situation that a missing person was around 4-5 hours at station A, It can be used for data such as capturing a missing person in a crime vehicle, or when a crime scene is outside the range of fixed CCTV, capturing a crime clue in a black box by vehicles passing through the crime scene. Can be.

상기와 같은 자동차 블랙박스는 대한민국 특허 출원번호 제10-2007-0087056호 [명칭; 영상 블랙박스를 구비한 자동차 네비게이션 시스템]에 실시간으로 차량의 영상물을 중앙 서버에 전송하고, 사고 발생시 주변 공공기관(병원, 경찰)에 연락하는 시스템의 블랙박스와 네비게이션이 통합된 기술과, 대한민국 특허 등록번호 제10-0525172호 [명칭; 차량의 안전을 위한 영상 보안 제공 장치 및 방법]에 운행중인 차량의 내부 및 외부의 주변 영상과 함께 차량의 위치 데이터를 실시간으로 모니터링할 수 있게 중앙 서버에 전송하는 기술이 있으나, 모든 차량들이 실시간으로 수집된 모든 영상을 전송한다는 점에 있어 오버헤드가 크며, 운전자의 프라이버시 문제를 전혀 고려하고 있지 않는 문제점이 있다.Automotive black box as described above is Korean Patent Application No. 10-2007-0087056 [name; Car navigation system with video black box] is a technology that integrates the black box and navigation system of the system to transmit the vehicle's video to the central server in real time and to contact the neighboring public institutions (hospital, police) in case of an accident, Registry No. 10-0525172 [Name; Apparatus and method for providing video security for vehicle safety] have a technology for transmitting the location data of the vehicle together with the surrounding images of the vehicle in operation and to the central server so that the vehicle can be monitored in real time. There is a large overhead in transmitting all the collected images, there is a problem that does not consider the privacy of the driver at all.

또한, 대한민국 특허 등록번호 제10-0763322호 [명칭; 뺑소니사고 용의차량 추적 방법 및 이를 구현하기 위한 장치]에는 시간대별 위치 정보, 운행속도, 감속, 가속 브레이트 작동 또는 핸들과 에어백의 움직임을 포함하는 운행정보를 블랙박스에 저장하고, 뺑소니사고 발생시 사고 발생 위치 및 시간 정보를 뺑소니 사고 지역의 차량군을 선정해 중앙서버에 선정된 차량군에 사고 발생 위치 및 시간 정보를 전송하면, 각 차량들은 블랙박스에서 일치하는 정보가 있을 경우 중앙 서버에 차량 정보를 전송해서 뺑소니 차량을 추적하는 방법이 소개되고 있으나, 영상정보가 아닌 차량 운행 정보(위치, 속도, 브레이크 동작 등)만을 고려하고 있으며, 뺑소니 차량의 블랙박스를 인위적으로 고장 또는 제거할 경우 추적이 어렵고, 중앙서버에서 강제적으로 차량 운행정보를 수집하는 문제점이 있다.In addition, Korean Patent Registration No. 10-0763322 [Name; The vehicle tracking method for a Sony accident and the device for implementing the same] stores time information such as position information, driving speed, deceleration, acceleration brate operation, or steering information including steering wheel and airbag movement in a black box, and accidents when a Sony accident occurs. If you select the vehicle group of the accident area and transmit the location and time of accident occurrence to the selected vehicle group by using the location and time information of each occurrence, each vehicle will have the vehicle information in the central server if there is matching information in the black box. Although the method of tracking hit-and-run vehicles by using the system has been introduced, only vehicle driving information (position, speed, brake operation, etc.) is considered, not image information, and tracking is performed when the black box of hit-and-run vehicle is artificially broken or removed. It is difficult and there is a problem of forcibly collecting vehicle driving information from the central server.

상술한 바와 같은 문제점을 해결하기 위하여, 본 발명에서는 중앙서버에서 시간과 GPS 위치 정보를 알려주면 각 차량이 저장하고 있는 블랙박스 영상물 중 시간과 GPS 위치 정보에 해당하는 영상물만 선택해서 전송함으로써, 개인 프라이버시 침해를 최소화하고 네트워크 통신량 오버헤드를 최소화하는 것으로, 자동차 블랙박스 및 CCTV 영상물 전체를 유무선 네트워크를 통해 중앙서버로 보내는 것이 아니라, 중앙서버에서 요구하는 시간, 위치 정보 등에 해당하는 영상물만 중앙서버에 전송 즉, 부분 선택된 영상물만 활용하는 자동차 블랙박스 영상물 수집 방법을 제공하는데 목적이 있다.In order to solve the problems as described above, in the present invention, when the central server informs the time and GPS location information, by selecting and transmitting only the video corresponding to the time and GPS location information among the black box images stored in each vehicle, By minimizing privacy infringement and minimizing network traffic overhead, the entire car black box and CCTV images are not sent to the central server through wired and wireless networks. Instead, only the videos corresponding to the time and location information required by the central server are sent to the central server. It is an object of the present invention to provide a method for collecting vehicle black box images using only partially selected images.

목적을 달성하기 위한 방법으로는 위치와 시간 및 영상물을 블랙박스에 기록한 자동차가 중앙서버로 사건사고에 대한 질문 메시지를 전송하는 제11단계와; 상기 사건사고에 대한 질문 메시지를 수신한 중앙서버는 사건사고 데이터베이스에서 시간과 장소 및 정보로 구성된 사건사고 리스트를 검색하여 자동차로 전송하는 제12단계와; 상기 자동차는 블랙박스에서 과거 전송한 사건사고 리스트를 선별한 후 전송된 기록이 없는 사건사고 리스트에 대해서만 블랙박스 영상물을 검색하는 제13단계와; 사건사고 리스트의 위치 및 시간 정보에 해당하는 영상물이 존재하는지 판단하는 제14단계와; 상기 사건사고 리스트에 해당하는 영상물이 존재할 경우, 사건사고 리스트에서 요구하는 시간만큼 영상물을 선택한 후 운전자에게 사건사고 영상 물이 존재함을 알리는 제15단계와; 상기 선택된 영상물을 전송하는 것에 대해서 운전자의 동의를 얻는 제16단계와; 운전자가 동의를 구할 경우, 중앙서버로 선택된 영상물과 함께 사건사고 리스트에 대한 응답 메시지를 전송하는 제17단계와; 상기 선택된 영상물 전송에 대한 기록이 자동차 블랙박스에 저장되는 제18단계와; 상기 제14단계의 사건사고 리스트에 해당하는 영상물이 존재하지 않거나, 상기 제16단계의 운전자가 동의를 구하지 않을 경우, 선택된 영상물 없이 사건사고 리스트에 대한 응답을 중앙서버로 전송하는 제19단계를 포함한다.A method for achieving the object may include an eleventh step of transmitting a question message about an accident to a central server by a vehicle having recorded a location, time, and image in a black box; Receiving a question message about the incident accident, the central server searching for an incident incident list composed of time, place and information in the incident accident database and transmitting the same to an automobile; The vehicle may include selecting a list of incident incidents previously transmitted from the black box and searching the black box image only for the incident list having no record transmitted; Determining whether a video object corresponding to the location and time information of the incident list exists; A fifteenth step of selecting an image for a time required by the incident list and informing the driver of the occurrence of the incident image when the image corresponding to the incident list exists; Obtaining a driver's consent for transmitting the selected video object; A 17th step of transmitting a response message to the incident list together with the selected video to the central server when the driver requests consent; An eighteenth step of storing a record of the selected image transmission in a vehicle black box; And a nineteenth step of transmitting a response to the incident list to the central server without the selected image when the video corresponding to the incident list of step 14 does not exist or the driver of the sixteenth step does not request consent. do.

목적을 달성하기 위한 다른 방법으로는 중앙서버의 사건사고 데이터베이스에서 시간과 장소 및 정보로 구성된 사건사고 리스트를 자동차로 전송하는 제21단계와; 상기 자동차는 블랙박스에서 과거 전송한 사건사고 리스트를 선별한 후 전송된 기록이 없는 사건사고 리스트에 대해서만 블랙박스 영상물을 검색하는 제22단계와; 사건사고 리스트의 위치 및 시간 정보에 해당하는 영상물이 존재하는지 판단하는 제23단계와; 상기 사건사고 리스트에 해당하는 영상물이 존재할 경우, 사건사고 리스트에서 요구하는 시간만큼 영상물을 선택한 후 운전자에게 사건사고 영상물이 존재함을 알리는 제24단계와; 상기 선택된 영상물을 전송하는 것에 대해서 운전자의 동의를 얻는 제25단계와; 운전자가 동의를 구할 경우, 중앙서버로 선택된 영상물과 함께 사건사고 리스트에 대한 응답 메시지를 전송하는 제26단계와; 상기 선택된 영상물 전송에 대한 기록이 자동차 블랙박스에 저장되는 제27단계와; 상기 제23단계의 사건사고 리스트에 해당하는 영상물이 존재하지 않거나, 상기 제25단계의 운전자가 동의를 구하지 않을 경우, 선택된 영상물 없이 사건사고 리스트에 대한 응답 을 중앙서버로 전송하는 제28단계를 포함한다.Another method for achieving the object may include a twenty-first step of transmitting to the car an incident list consisting of time, place and information in the incident database of the central server; Step 22, wherein the vehicle selects a list of incident incidents previously transmitted from the black box and searches the black box image only for the incident list having no record transmitted; A twenty-third step of determining whether an image corresponding to the location and time information of the incident list exists; In step 24, when the video corresponding to the incident list exists, selecting the video for the time required by the incident list and informing the driver that the incident video exists; Obtaining a driver's consent for transmitting the selected video material; Step 26, when the driver requests consent, transmitting a response message to the incident list together with the selected video to the central server; A twenty-seventh step of storing a record of the selected image transmission in a car black box; And step 28 of transmitting a response to the incident list without a selected image to the central server when the video corresponding to the incident list of step 23 does not exist or the driver of step 25 does not request consent. do.

상기한 바와 같이, 본 발명은 블랙박스 영상물을 교통사고 조사뿐만 아니라, 각종 범죄 현장의 정황을 포착하는데 활용하여 사건사고 조사 시간을 단축시키고 범죄율을 줄일 수 있으며, 자동차에 탑재하는 이동식 CCTV로 고정식 CCTV의 설치비용 부담을 줄일 수 있고, 사건사고 현장을 지나는 수십~수백대의 차량 영상물을 통해 각종 사건사고 해결에 크게 기여하는 효과가 있다.As described above, the present invention can utilize the black box video not only to investigate traffic accidents, but also to capture the situation of various crime scenes, which can shorten the incident investigation time and reduce the crime rate. It is possible to reduce the burden of installation cost and contribute greatly to solving various accidents through dozens or hundreds of vehicle images passing through the accident scene.

또한, 운전자는 사건사고 현장을 지나갈때의 영상물만을 제공함으로써, 운전자의 프라이버시 침해 소지를 최소화하며, 유무선통신망을 통한 데이터 전송량을 최소화할 수 있어 현실적으로 적용이 가능하고, 특정 지역의 도로 상태 및 주변 상황 정보를 파악하는데 활용할 수 있는 효과가 있다.In addition, the driver can provide the video only when passing through the accident site, minimizing the possibility of driver's privacy infringement, and minimizing the amount of data transmission through the wired / wireless communication network. It can be used to grasp information.

도 1은 본 발명에 따른 자동차 블랙박스 영상물 수집 방법의 순서도이고, 도 2는 본 발명의 다른 실시에 따른 자동차 블랙박스 영상물 수집 방법의 순서도이고, 도 3은 본 발명의 사건사고 리스트에 대한 응답 메시지 수신과정을 나타낸 순서도이다.1 is a flowchart of a method for collecting automobile black box images according to the present invention, FIG. 2 is a flowchart of a method for collecting automobile black box images according to another embodiment of the present invention, and FIG. 3 is a response message to an incident list of the present invention. A flowchart showing the receiving process.

이하, 도면을 참고로 자동차 블랙박스 영상물 수집 방법을 설명하면 다음과 같다.Hereinafter, referring to the drawings, a method for collecting a vehicle black box image is as follows.

본 발명은 자동차 블랙박스에 수집된 영상 일부를 정부기관(경찰청, 국정원 등)의 중앙서버에서 활용될 수 있도록 하는 것으로, 상기 블랙박스 차량들을 이동 식 CCTV로 활용하되 운전자의 프라이버시 침해를 최소화하고, 이동 통신망에서 발생되는 데이터 전송량을 최소화하는 것이다.The present invention is to use a part of the image collected in the car black box can be utilized in the central server of the government agency (police, national intelligence agency, etc.), while using the black box vehicles as a mobile CCTV to minimize the invasion of the privacy of the driver, Minimizing the amount of data transmission in the mobile communication network.

도 1은 본 발명에 따른 자동차가 중앙서버로 먼저 통신을 시도하는 자동차 블랙박스 영상물 수집 방법의 순서도로서, 위치와 시간 및 영상물을 블랙박스에 기록한 자동차가 중앙서버로 사건사고에 대한 질문 메시지를 전송하는데, 상기 질문 메시지는 하루 중 정해진 시간이나 또는 시동걸 때마다 자동차 블랙박스에서 중앙서버로 전송되도록 설정된다(S11단계).1 is a flowchart of a method for collecting a vehicle black box image in which a vehicle first attempts to communicate with a central server according to the present invention, and a vehicle having recorded a location, time, and image in a black box transmits a question message about an accident to a central server. The question message is set to be transmitted from the car black box to the central server every time or at the start of the day (step S11).

상기 사건사고에 대한 질문 메시지를 수신한 중앙서버는 사건사고 데이터베이스에서 시간과 장소 및 사건정보로 구성된 사건사고 리스트를 검색하여 자동차로 전송하며(S12단계), 상기 사건사고 리스트를 수신한 자동차는 블랙박스에서 과거 전송한 사건사고 리스트를 선별한 후 전송된 기록이 없는 사건사고 리스트에 대해서만 블랙박스 영상물을 검색한다(S13단계).The central server receiving the question message about the incident accident retrieves the incident list consisting of time, place and event information from the incident database and transmits it to the vehicle (step S12). After selecting the incident list transmitted in the box, the black box image is searched only for the incident list having no record transmitted (step S13).

상기 블랙박스의 영상물 검색으로 사건사고 리스트의 위치 및 시간 정보에 해당하는 영상물이 존재하는지 판단하며(S14단계), 상기 사건사고 리스트에 해당하는 영상물이 존재할 경우, 사건사고 리스트에서 요구하는 시간만큼만의 영상물을 선택한 후 운전자에게 사건사고 영상물이 존재함을 알리게 되고(S15단계), 상기 선택된 영상물을 전송하는 것에 대해서 운전자의 동의를 얻게 된다(S16단계).The image search of the black box determines whether there is a video corresponding to the location and time information of the incident list (step S14), and if there is a video corresponding to the incident list, only the time required by the incident list After selecting an image, the driver is notified of the existence of an accident accident video (step S15), and the driver's consent is obtained for transmitting the selected video (step S16).

운전자가 상기 선택된 영상물에 대하여 동의를 구할 경우, 중앙서버로 선택된 영상물과 함께 사건사고 리스트에 대한 응답 메시지를 전송하고(S17단계), 상기 선택된 영상물 전송에 대한 기록이 자동차 블랙박스에 저장되며(S18단계), 상기 S14단계의 사건사고 리스트에 해당하는 영상물이 존재하지 않거나, 상기 S16단계의 운전자가 선택된 영상물에 대한 동의를 구하지 않을 경우, 선택된 영상물 없이 사건사고 리스트에 대한 응답을 중앙서버로 전송하게 된다(S19단계).When the driver requests consent for the selected video, a response message for the incident list is transmitted to the central server together with the video selected (step S17), and the record of the selected video transmission is stored in the car black box (S18). Step) If there is no video corresponding to the incident list of step S14, or if the driver of step S16 does not obtain consent for the selected video, the response to the incident list without the selected video is transmitted to the central server. (Step S19).

도 2는 본 발명에 따른 중앙서버가 자동차로 먼저 통신을 시도하는 자동차 블랙박스 영상물 수집 방법의 순서도로서, 중앙서버의 사건사고 데이터베이스에서 시간과 장소 및 정보로 구성된 사건사고 리스트를 자동차로 전송하며(S21단계), 상기 사건사고 리스트를 수신한 자동차는 블랙박스에서 과거 전송한 사건사고 리스트를 선별한 후 전송된 기록이 없는 사건사고 리스트에 대해서만 블랙박스 영상물을 검색한다(S22단계).2 is a flowchart of a method for collecting a vehicle black box image in which a central server attempts to communicate with a vehicle first according to the present invention, and transmits an incident list consisting of time, place, and information to an automobile in an incident database of the central server; In step S21, the vehicle receiving the incident list selects the incident list previously transmitted from the black box and searches the black box image only for the incident list without a transmitted record (step S22).

상기 블랙박스의 영상물 검색으로 사건사고 리스트의 위치 및 시간 정보에 해당하는 영상물이 존재하는지 판단하며(S23단계), 상기 사건사고 리스트에 해당하는 영상물이 존재할 경우, 사건사고 리스트에서 요구하는 시간만큼만의 영상물을 선택한 후 운전자에게 사건사고 영상물이 존재함을 알리게 되고(S24단계), 상기 선택된 영상물을 전송하는 것에 대해서 운전자의 동의를 얻게 된다(S25단계).The image search of the black box determines whether there is a video corresponding to the location and time information of the incident list (S23), and if there is a video corresponding to the incident list, only the time required by the incident list After selecting the video material, the driver is notified that there is an incident video material (step S24), and the driver's consent is obtained for transmitting the selected video material (step S25).

운전자가 상기 선택된 영상물에 대하여 동의를 구할 경우, 중앙서버로 선택된 영상물과 함께 사건사고 리스트에 대한 응답 메시지를 전송하고(S26단계), 상기 선택된 영상물 전송에 대한 기록이 자동차 블랙박스에 저장되며(S27단계), 상기 S23단계의 사건사고 리스트에 해당하는 영상물이 존재하지 않거나, 상기 S25단계의 운전자가 선택된 영상물에 대한 동의를 구하지 않을 경우, 선택된 영상물 없이 사건사고 리스트에 대한 응답을 중앙서버로 전송하게 된다(S28단계).When the driver requests consent for the selected video, a response message for the incident list is transmitted to the central server together with the selected video (step S26), and the record of the selected video transmission is stored in the car black box (S27). Step) If there is no video corresponding to the incident list of step S23, or if the driver of step S25 does not obtain consent for the selected video, the response to the incident list without the selected video is transmitted to the central server. (Step S28).

도 3은 상기 사건사고 리스트에 대한 중앙서버에서의 응답 메시지 수신과정을 나타낸 순서도로서, 상기 사건사고 리스트에 대한 응답 메시지 수신은 상기 자동차로부터 사건사고 리스트에 대한 응답이 중앙서버에서 수신되면(S31단계), 상기 수신된 응답 메시지에 영상물이 포함되어 있는지 확인하며(S32단계), 상기 응답 메시지에 영상물이 포함되어 있을 경우, 영상물 및 클라이언트 정보가 데이터베이스에 저장된다(S33 단계).3 is a flowchart illustrating a process of receiving a response message from the central server with respect to the incident list. When the response message is received from the vehicle, the response to the incident list is received from the vehicle at step S31. In step S32, if the video message is included in the response message, the video content and the client information are stored in the database (step S33).

상기 자동차에서 중앙서버로 전송되는 질문 메시지 및 사건사고 리스트에 대한 응답 메시지와, 상기 중앙서버에서 자동차로 전송되는 사건사고 리스트는 유무선 네트워크로 서로 통신되며, 상기 블랙박스에 저장된 영상물에 대해서는 메모리 카드에 저장 후 개인 PC에 연결 후 중앙서버와 통신 가능하다.The response message for the question message and the incident list transmitted from the vehicle to the central server and the incident list transmitted from the central server to the vehicle are communicated with each other over a wired / wireless network, and the image stored in the black box is stored in a memory card. After saving, you can connect to a personal PC and communicate with the central server.

또한, 상기 블랙박스에 사건사고 리스트에 해당하는 영상물 존재여부 결과 값은 자동차내 구비되는 네비게이션과 같은 영상물 표시창이나, 스피커나 별도의 음성안내수단으로 안내되며, 상기 사건사고 리스트에 해당되는 영상물의 동의 여부는 상기 영상물 표시창의 안내버튼 또는 별도의 입력버튼에 의해 선택되어진다.In addition, the result of the presence or absence of a video corresponding to the incident list in the black box is guided to a video display window such as navigation provided in a car, a speaker, or a separate voice guide means, and the consent of the video corresponding to the incident list. Whether or not is selected by a guide button or a separate input button of the video display window.

따라서, 본 발명은 중앙서버에서 시간과 GPS 위치 정보를 알려주면 각 차량이 저장하고 있는 블랙박스 영상물 중 시간과 GPS 위치 정보에 해당하는 영상물만 선택해서 전송함으로써, 개인 프라이버시 침해를 최소화하고 네트워크 통신량 오버헤드를 최소화하는 것으로, 자동차 블랙박스 및 CCTV 영상물 전체를 유무선 네트워크를 통해 중앙서버로 보내는 것이 아니라, 중앙서버에서 요구하는 시간, 위치 정보 등에 해당하는 영상물만 중앙서버로 전송하게 된다.Therefore, when the central server informs the time and GPS location information from the central server, by selecting and transmitting only the video data corresponding to the time and GPS location information among the black box images stored in each vehicle, minimizing the invasion of personal privacy and overcoming network traffic By minimizing the head, the entire car black box and CCTV images are not sent to the central server through the wired or wireless network. Instead, only the video corresponding to the time and location information required by the central server is transmitted to the central server.

본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 첨부된 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.Although the present invention has been shown and described with respect to specific embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined by the appended claims. Anyone who can afford it will know.

도 1은 본 발명에 따른 자동차 블랙박스 영상물 수집 방법의 순서도.1 is a flow chart of the vehicle black box image collection method according to the present invention.

도 2는 본 발명의 다른 실시에 따른 자동차 블랙박스 영상물 수집 방법의 순서도.Figure 2 is a flow chart of the vehicle black box image collection method according to another embodiment of the present invention.

도 3은 본 발명의 사건사고 리스트에 대한 응답 메시지 수신과정을 나타낸 순서도.3 is a flowchart illustrating a process of receiving a response message for an incident list of the present invention.

Claims (13)

차량으로부터 촬영된 영상에 대응하여 상기 영상이 촬영된 촬영시간 및 촬영위치 정보가 저장된 저장부;A storage unit storing information on a photographing time and photographing position at which the image is photographed in response to an image photographed from a vehicle; 상기 영상을 수집하는 중앙서버와 통신망을 통해 통신하는 통신부;A communication unit for communicating with a central server collecting the image through a communication network; 상기 중앙서버로부터 상기 통신부를 통해 검색시간 및 검색위치 정보를 포함하는 요청 메시지가 수신되면, 상기 저장부에 저장된 영상 중에서 상기 검색시간 및 검색위치와 일치하는 촬영시간 및 촬영위치에 대응하여 저장된 선택영상을 검색하는 영상 검색부;When the request message including the search time and the search position information is received from the central server through the communication unit, the selected image stored in correspondence with the search time and the photographing position corresponding to the search time and the search position among the images stored in the storage unit. Image search unit for searching for; 사전에 등록된 사용자에게 상기 선택영상의 전송 여부를 승인받기 위한 질의 신호를 출력하고, 사용자로부터 상기 선택영상의 전송 여부에 대한 응답 신호를 입력받는 사용자 인터페이스부; 및A user interface unit for outputting a query signal for receiving approval of whether to transmit the selected image to a user registered in advance and receiving a response signal for transmitting the selected image from a user; And 상기 사용자 인터페이스부를 통해 상기 선택영상의 전송을 승인하는 내용의 응답 신호가 입력되면 상기 통신부를 통해 상기 선택영상을 포함하는 응답 메시지를 상기 중앙서버로 전송하는 응답 전송부;를 포함하는 것을 특징으로 하는 영상 전송장치.And a response transmitter configured to transmit a response message including the selected image to the central server through the communication unit, when a response signal for approving the transmission of the selected image is input through the user interface unit. Video transmitter. 제 1항에 있어서,The method of claim 1, 상기 저장부에 저장된 영상 중에서 상기 중앙서버로 전송된 영상에 대응하여 전송 기록이 저장되며,Among the images stored in the storage unit, a transmission record is stored corresponding to the image transmitted to the central server. 상기 영상 검색부는 상기 전송 기록이 저장되어 있지 않은 영상 중에서 상기 선택영상을 검색하는 것을 특징으로 하는 영상 전송장치.And the image search unit searches for the selected image among images in which the transmission record is not stored. 제 1항 또는 제 2항에 있어서,The method according to claim 1 or 2, 상기 영상 검색부는 상기 통신부를 통해 상기 중앙서버로 영상의 전송 여부에 대한 질의 메시지를 전송하며, 상기 중앙서버로부터 상기 질의 메시지에 대응하여 전송된 요청 메시지를 기초로 상기 선택영상을 검색하는 것을 특징으로 하는 영상 전송장치.The image retrieval unit transmits a query message regarding whether to transmit an image to the central server through the communication unit, and searches for the selected image based on the request message transmitted in response to the query message from the central server. Video transmission device. 제 3항에 있어서,The method of claim 3, wherein 상기 질의 메시지는 사전에 설정된 시간 간격 또는 상기 차량의 시동이 켜질 때마다 상기 중앙서버로 전송되는 것을 특징으로 하는 영상 전송장치.And the query message is transmitted to the central server at a predetermined time interval or whenever the vehicle is turned on. 제 1항 또는 제 2항에 있어서,The method according to claim 1 or 2, 상기 응답 전송부는 상기 선택영상이 검색되지 않는 경우 및 상기 사용자로부터 상기 선택영상의 전송을 거절하는 내용의 응답 신호가 입력되는 경우에 상기 선택영상이 포함되지 않은 응답 메시지를 상기 중앙서버로 전송하는 것을 특징으로 하는 영상 전송장치.The response transmitting unit transmits a response message not including the selection image to the central server when the selection image is not searched and when a response signal indicating that the transmission of the selection image is rejected from the user is input. Video transmission device characterized in that. 제 1항 또는 제 2항에 있어서,The method according to claim 1 or 2, 상기 사용자 인터페이스부는 상기 질의 신호를 디스플레이 장치를 통한 영상 신호 또는 스피커를 통한 음향 신호의 형태로 출력하며, 상기 사용자로부터의 응답 신호는 입력버튼을 통해 입력받는 것을 특징으로 하는 영상 전송장치.The user interface unit outputs the query signal in the form of an image signal through a display device or an audio signal through a speaker, and the response signal from the user is input via the input button. (a) 차량으로부터 촬영된 영상을 수집하는 중앙서버로부터 검색시간 및 검색위치 정보를 포함하는 요청 메시지를 수신하는 단계;(a) receiving a request message including search time and search location information from a central server that collects images captured by the vehicle; (b) 상기 영상 및 상기 영상이 촬영된 촬영시간 및 촬영위치 정보가 저장된 저장부로부터 상기 검색시간 및 검색위치와 일치하는 촬영시간 및 촬영위치에 대응하여 저장된 선택영상을 검색하는 단계;(b) retrieving the stored selected image corresponding to the retrieval time and retrieval position corresponding to the retrieval time and retrieval position from a storage unit in which the image and the retrieval time and retrieval location information where the image is taken are stored; (c) 사전에 등록된 사용자에게 상기 선택영상의 전송 여부를 승인받기 위한 질의 신호를 출력하는 단계;(c) outputting an inquiry signal for receiving approval whether to transmit the selected image to a user registered in advance; (d) 상기 사용자로부터 상기 선택영상의 전송 여부에 대한 응답 신호를 입력받는 단계; 및(d) receiving a response signal for transmitting the selected image from the user; And (e) 상기 (d) 단계에서 상기 사용자로부터 상기 선택영상의 전송을 승인하는 내용의 응답 신호가 입력되면 상기 선택영상을 포함하는 응답 메시지를 상기 중앙서버로 전송하는 단계;를 포함하는 것을 특징으로 하는 영상 전송방법.and (e) transmitting a response message including the selection image to the central server when a response signal indicating the transmission of the selection image is input from the user in step (d). Video transmission method. 제 7항에 있어서,The method of claim 7, wherein 상기 저장부에 저장된 영상 중에서 상기 중앙서버로 전송된 영상에 대응하여 전송 기록이 저장되며,Among the images stored in the storage unit, a transmission record is stored corresponding to the image transmitted to the central server. 상기 (b) 단계에서, 상기 전송 기록이 저장되어 있지 않은 영상 중에서 상기 선택영상을 검색하는 것을 특징으로 하는 영상 전송방법.In the step (b), the image transmission method, characterized in that for searching for the selected image from the image is not stored in the transmission record. 제 7항 또는 제 8항에 있어서,The method according to claim 7 or 8, 상기 (a) 단계 이전에,Before step (a), (f) 상기 중앙서버로 영상의 전송 여부에 대한 질의 메시지를 전송하는 단계를 더 포함하며,(f) transmitting a query message as to whether the image is transmitted to the central server; 상기 (b) 단계에서, 상기 중앙서버로부터 상기 질의 메시지에 대응하여 전송된 요청 메시지를 기초로 상기 선택영상을 검색하는 것을 특징으로 하는 영상 전송방법.In the step (b), the image transmission method, characterized in that for searching for the selected image based on the request message transmitted in response to the query message from the central server. 제 9항에 있어서,The method of claim 9, 상기 질의 메시지는 사전에 설정된 시간 간격 또는 상기 차량의 시동이 켜질 때마다 상기 중앙서버로 전송되는 것을 특징으로 하는 영상 전송방법.And the query message is transmitted to the central server at a predetermined time interval or whenever the vehicle is turned on. 제 7항 또는 제 8항에 있어서,The method according to claim 7 or 8, 상기 (e) 단계에서, 상기 (b) 단계에서 선택영상이 검색되지 않는 경우 및 상기 (d) 단계에서 상기 사용자로부터 상기 선택영상의 전송을 거절하는 내용의 응답 신호가 입력되는 경우에 상기 선택영상이 포함되지 않은 응답 메시지를 상기 중앙서버로 전송하는 것을 특징으로 하는 영상 전송방법.In step (e), when the selection image is not retrieved in step (b) and when the response signal indicating that the transmission of the selection image is rejected from the user in step (d) is input, the selection image The video transmission method, characterized in that for transmitting a response message not included in the central server. 제 7항 또는 제 8항에 있어서,The method according to claim 7 or 8, 상기 질의 신호는 디스플레이 장치를 통한 영상 신호 또는 스피커를 통한 음향 신호의 형태로 출력되며, 상기 사용자로부터의 응답 신호는 입력버튼을 통해 입력받는 것을 특징으로 하는 영상 전송방법.The query signal is output in the form of an image signal through a display device or an audio signal through a speaker, and the response signal from the user is received via the input button. 제 7항 또는 제 8항에 기재된 영상 전송방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing the image transmission method according to claim 7 or 8.
KR1020090094296A 2009-10-05 2009-10-05 Collecting Method of Video Data Car Blackbox KR101035488B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090094296A KR101035488B1 (en) 2009-10-05 2009-10-05 Collecting Method of Video Data Car Blackbox
PCT/KR2010/003031 WO2011043531A1 (en) 2009-10-05 2010-05-13 Image transmission apparatus and method of black box for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090094296A KR101035488B1 (en) 2009-10-05 2009-10-05 Collecting Method of Video Data Car Blackbox

Publications (2)

Publication Number Publication Date
KR20110037047A KR20110037047A (en) 2011-04-13
KR101035488B1 true KR101035488B1 (en) 2011-05-20

Family

ID=43856967

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090094296A KR101035488B1 (en) 2009-10-05 2009-10-05 Collecting Method of Video Data Car Blackbox

Country Status (2)

Country Link
KR (1) KR101035488B1 (en)
WO (1) WO2011043531A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101261521B1 (en) 2011-08-10 2013-05-06 새론정보통신 주식회사 Field Image Analysis System and Method therefor
KR101358756B1 (en) 2012-03-07 2014-02-10 (주) 세인 Black box for vehicle, surveillance camera apparatus and method for processing traffic accident video using network of the same
KR20140055175A (en) * 2012-10-30 2014-05-09 에스케이텔레콤 주식회사 Method and apparatus for sharing picture in the system
KR101401771B1 (en) 2012-07-11 2014-05-30 안성호 System and method for supplying recording vehicle based information

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101395246B1 (en) * 2012-05-16 2014-05-15 (주)이지펙스 Terminal and Method for transmitting Image Data
KR102129048B1 (en) * 2013-04-29 2020-07-01 팅크웨어(주) Image-processing Apparatus for Car and Method of Processing Data Using The Same
WO2017047922A1 (en) * 2015-09-16 2017-03-23 한양대학교 에리카산학협력단 Method and apparatus for verifying time and location of vehicle camera image data while ensuring anonymity of owner
KR101736007B1 (en) 2015-09-16 2017-05-15 한양대학교 에리카산학협력단 Method and apparatus for verifying location and time of in-vehicle dashcam videos under owners' anonymity
KR102006080B1 (en) * 2016-12-12 2019-07-31 건국대학교 산학협력단 Method of providing video of black box and apparatuses performing the same
FR3106919B1 (en) * 2020-02-03 2022-03-04 Psa Automobiles Sa VEHICLE WITH ANALYSIS CAMERA(S) STORING GROUPS OF IMAGES IN THE PRESENCE OF DETECTED EVENTS

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000069245A (en) * 1996-12-02 2000-11-25 리차드 씨. 워커 Secure communication and control system for monitoring, recording, reporting and/or restricting unauthorized use of vehicle
KR20010072931A (en) * 1998-08-26 2001-07-31 스튜어트 알. 수터, 스티븐 베네티아너, 피터 존 기딩스 Therapies for Treating Pulmonary Diseases
KR20050085982A (en) * 1997-08-01 2005-08-29 아메리칸 캘카어 인코포레이티드 Centralized control and management system for automobiles
KR100875302B1 (en) * 2007-02-13 2008-12-24 (주)유비트 Vehicle black box device for storing accident data and its processing method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002521856A (en) * 1998-07-16 2002-07-16 テラビーム・コーポレーション Optical communication system for transmitting and receiving data through free space

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000069245A (en) * 1996-12-02 2000-11-25 리차드 씨. 워커 Secure communication and control system for monitoring, recording, reporting and/or restricting unauthorized use of vehicle
KR20050085982A (en) * 1997-08-01 2005-08-29 아메리칸 캘카어 인코포레이티드 Centralized control and management system for automobiles
KR20010072931A (en) * 1998-08-26 2001-07-31 스튜어트 알. 수터, 스티븐 베네티아너, 피터 존 기딩스 Therapies for Treating Pulmonary Diseases
KR100875302B1 (en) * 2007-02-13 2008-12-24 (주)유비트 Vehicle black box device for storing accident data and its processing method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101261521B1 (en) 2011-08-10 2013-05-06 새론정보통신 주식회사 Field Image Analysis System and Method therefor
KR101358756B1 (en) 2012-03-07 2014-02-10 (주) 세인 Black box for vehicle, surveillance camera apparatus and method for processing traffic accident video using network of the same
KR101401771B1 (en) 2012-07-11 2014-05-30 안성호 System and method for supplying recording vehicle based information
KR20140055175A (en) * 2012-10-30 2014-05-09 에스케이텔레콤 주식회사 Method and apparatus for sharing picture in the system
KR102054930B1 (en) * 2012-10-30 2019-12-11 에스케이텔레콤 주식회사 Method and apparatus for sharing picture in the system

Also Published As

Publication number Publication date
KR20110037047A (en) 2011-04-13
WO2011043531A1 (en) 2011-04-14

Similar Documents

Publication Publication Date Title
KR101035488B1 (en) Collecting Method of Video Data Car Blackbox
KR101783982B1 (en) Integration Control System and Method Using Surveillance Camera for Vehicle
US8125530B2 (en) Information recording system, information recording device, information recording method, and information collecting program
US7254482B2 (en) Vehicle information recording system
US9240079B2 (en) Triggering a specialized data collection mode
US7133661B2 (en) Emergency information notifying system, and apparatus, method and moving object utilizing the emergency information notifying system
CN108711202B (en) Traffic accident rescue system based on big data
JP2006350520A (en) Peripheral information collection system
CN104730494A (en) Mobile Gunshot Detection
KR101430155B1 (en) Vehicle accident management system and method
KR20100073893A (en) Black box for a car, method and system for manegenet traffic accident using the same
KR101267549B1 (en) Driving-management system and its method of electric vehicle
JP2009020774A (en) Information transmission method, information reception method, information transmission/reception method, information transmitter-receiver, and information gathering system
JPWO2020031924A1 (en) Information processing equipment, terminal equipment, information processing methods and information processing programs
CN107547617B (en) Traffic accident information collection method and device
CN108922166B (en) Traffic accident rescue method based on big data
KR101394201B1 (en) Traffic violation enforcement system using cctv camera mounted on bus
KR101519973B1 (en) System and Method for Managing Integrated Image of Vehicle Blackbox
TW201741898A (en) System and method for UBI or fleet management by utilizing cloud driving video recording information
JP7146371B2 (en) VIDEO INFORMATION SHARING DEVICE, VIDEO INFORMATION SHARING SYSTEM AND VIDEO INFORMATION SHARING METHOD
WO2015050413A1 (en) Image data of vehicle black box and gis interworking service method
KR20130103876A (en) System for retrieving data in blackbox
KR101515944B1 (en) System and method for protecting citizens safety using black-box
KR20130057265A (en) A system for providing video images of a smartphone black-box and the method thereof
JP2003252152A (en) Vehicle information recording system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140318

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170510

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180613

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190416

Year of fee payment: 9