KR101665232B1 - 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법 - Google Patents

블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법 Download PDF

Info

Publication number
KR101665232B1
KR101665232B1 KR1020150016004A KR20150016004A KR101665232B1 KR 101665232 B1 KR101665232 B1 KR 101665232B1 KR 1020150016004 A KR1020150016004 A KR 1020150016004A KR 20150016004 A KR20150016004 A KR 20150016004A KR 101665232 B1 KR101665232 B1 KR 101665232B1
Authority
KR
South Korea
Prior art keywords
image
extracted
acceleration
black box
box system
Prior art date
Application number
KR1020150016004A
Other languages
English (en)
Other versions
KR20160095253A (ko
Inventor
박지훈
양진영
최상길
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020150016004A priority Critical patent/KR101665232B1/ko
Publication of KR20160095253A publication Critical patent/KR20160095253A/ko
Application granted granted Critical
Publication of KR101665232B1 publication Critical patent/KR101665232B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D41/00Fittings for identifying vehicles in case of collision; Fittings for marking or recording collision areas
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D9/00Recording measured values
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/0052Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes measuring forces due to impact
    • G06T7/004
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • B60Y2400/304Acceleration sensors
    • B60Y2400/3042Collision sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)

Abstract

블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법 및 장치가 제시된다. 본 발명에서 제안하는 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법은 충격 감지 센서에 의하여 충격을 감지함에 응답하여, 적어도 하나의 영상을 추출하는 단계, 상기 블랙박스 시스템의 모드가 주행 모드인 경우에, 상기 가속도 센서를 이용하여 상기 추출된 적어도 하나의 영상에 대응하는 가속도 특성을 추출하는 단계, 상기 추출된 적어도 하나의 영상이 이벤트 영상인지 여부를 판단하기 위하여 상기 추출된 가속도 특성과 미리 저장된 가속도 모델을 비교하는 단계를 포함할 수 있다.

Description

블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법{METHOD FOR DISTINGUISH WRONG ACCIDENTS VIDEO DETECTED USING ACCELERATION IN BLACK BOX}
본 발명은 블랙 박스 장치에 관한 것으로, 블랙 박스 시스템에서 잘못된 사고 영상을 구분하는 방법 및 장치에 관한 것이다.
차량에 주행 정보를 실시간으로 저장함으로써 사고 상황이나 주행 과정에서의 제반 사항들도 저장할 수 있는 블랙 박스 또는 차량용 DVR(Digital Video Recorder)의 적용 사례가 늘고 있다. 이러한 블랙박스 또는 차량용 DVR은 차량의 사고 관련 분쟁이 발생할 경우를 대비한 현시점에서 가장 적합한 증거 자료로 인식되고 있다.
차량 사고 발생시의 영상 정보를 차량 사고 발생시 바로 활용하고자 차량 내에 설치된 센서를 이용하여 차량의 충돌 정도와 가속도를 측정하고, 이에 근거하여 영상 정보와 차량의 위치 정보를 서버로 보냄으로써, 사고 차량의 상황을 즉시 알 수 있게 되었다. 블랙 박스를 통하여 차량의 충돌 정도를 파악할 수 있게 되었으나 차량의 충격은 감지되었지만 충돌은 발생하지 않는지 여부를 판단하기는 어렵다. 이에 따라, 충격 감지 센서에 의하여 감지된 영상을 통하여 잘못 인식된 사고 영상을 판단하는 기술이 제안될 필요가 있다.
본 발명이 이루고자 하는 기술적 과제는 블랙박스 시스템은 충격 감지 센서에 의하여 충격을 감지한 후, 주행 모드 및 주차 모드를 판단하고 상기 판단된 모드에 따라 잘못 인식된 이벤트 영상을 처리하는 방법 및 장치를 제공하는데 있다. 또한, 가속도 센서를 이용하여 잘못 인식된 이벤트 영상의 판단 오류를 줄이는 방법 및 장치를 제안한다.
일 측면에 있어서, 본 발명에서 제안하는 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법은 충격 감지 센서에 의하여 충격을 감지함에 응답하여, 적어도 하나의 영상을 추출하는 단계, 상기 블랙박스 시스템의 모드가 주행 모드인 경우에, 상기 가속도 센서를 이용하여 상기 추출된 적어도 하나의 영상에 대응하는 가속도 특성을 추출하는 단계, 상기 추출된 적어도 하나의 영상이 이벤트 영상인지 여부를 판단하기 위하여 상기 추출된 가속도 특성과 미리 저장된 가속도 모델을 비교하는 단계를 포함할 수 있다.
상기 추출된 적어도 하나의 영상에 대응하는 가속도 특성을 추출하는 단계는 상기 충격이 감지된 시점으로부터 일정 시간 구간 이전의 시점을 탐색하고, 상기 일정 시간 구간의 시점에 대응하는 영상에 대한 상기 가속도 특성을 추출하는 단계를 포함할 수 있다.
상기 일정 시간 구간의 시점에 대응하는 영상에 대한 상기 가속도 특성을 추출하는 단계는 상기 일정 시간 구간의 시점에 대응하는 영상의 일부 영역에 대한 가속도 특성을 추출하는 단계를 포함할 수 있다.
상기 일정 시간 구간의 시점에 대응하는 영상의 일부 영역으로부터 미리 정해진 가속도 패턴을 추출하고, 상기 미리 정해진 가속도 패턴이 추출된 상기 일정 시간 구간의 시점에 대응하는 영상의 일부 영역으로부터 미리 정해진 가속도 패턴을 탐색하는 단계를 더 포함할 수 있다.
상기 추출된 적어도 하나의 영상이 이벤트 영상인지 여부를 판단하기 위하여 상기 추출된 가속도 특성과 미리 저장된 가속도 모델을 비교하는 단계는 미리 정해진 이벤트 이미지를 포함하는 상기 미리 저장된 가속도 모델과 상기 추출된 가속도 패턴이 유사한지 비교하는 단계를 포함할 수 있다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 장치는 충격 감지 센서에 의하여 충격을 감지함에 응답하여, 적어도 하나의 영상을 추출하는 이벤트 감지부, 상기 블랙박스 시스템의 모드가 주행 모드인 경우에, 상기 가속도 센서를 이용하여 상기 추출된 적어도 하나의 영상에 대응하는 가속도 특성을 추출하는 가속도 센서, 상기 추출된 적어도 하나의 영상이 이벤트 영상인지 여부를 판단하기 위하여 상기 추출된 가속도 특성과 미리 저장된 가속도 모델을 비교하고 저장하는 저장부를 포함할 수 있다.
본 발명의 실시예들에 따르면 블랙박스 시스템은 저전력으로 동작되는 충격 감지 센서를 통하여 충격을 감지하고, 주행 모드 및 주차 모드에 따라 작동됨으로써 전력을 효율적으로 이용할 수 있다. 또한, 잘못 인식된 이벤트 영상의 판단 오류를 줄이기 위하여 이벤트에 대하여 모델링을 미리 수행하고, 해당되는 이벤트가 발생하였을 경우 미리 저장된 모델과 비교하여 잘못 인식된 이벤트 영상이 아님을 판단함으로써 판단 오류를 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 과정을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 가속도 신호 처리 과정을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 블랙박스 시스템의 주차 모드에서 사운드 패턴을 추출하는 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 블랙박스 시스템은 주차 모드에서 이벤트 영상으로부터 추출된 음향을 모델화하는 방법을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 블랙박스 시스템의 주행 모드에서 이미지 패턴을 추출하는 예를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 장치의 구성을 나타내는 도면이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 과정을 설명하기 위한 블록도이다.
블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 과정은 먼저 충격 감지 여부를 판단(110)할 수 있다. 만약 충격이 감지되지 않았을 경우, 녹화를 계속해서 수행(111)할 수 있다. 반면에, 충격이 감지되었을 경우, 블랙박스 시스템의 모드가 주행 중인지, 주차 중인지 판단(120)할 수 있다.
블랙박스 시스템의 모드가 주차 모드인 경우, 충격 감지 센서에 의하여 충격을 감지함에 응답하여, 적어도 하나의 영상을 추출하고, 상기 추출된 적어도 하나의 영상에 대응하는 사운드 특성을 추출(131)할 수 있다. 그리고, 상기 추출된 적어도 하나의 영상이 이벤트 영상인지 여부를 판단하기 위하여 상기 추출된 사운드 패턴과 미리 저장된 사운드 모델(132)을 비교할 수 있다. 이때, 로그 우도(log likelihood) 계산 기법을 이용하여 상기 미리 저장된 음향 모델과 상기 추출된 사운드 패턴이 유사한지 비교(133)할 수 있다. 그리고, 사운드 모델을 결정(134)할 수 있다.
블랙박스 시스템의 모드가 주행 모드인 경우, 충격 감지 센서에 의하여 충격을 감지함에 응답하여, 적어도 하나의 영상을 추출하고, 상기 추출된 적어도 하나의 영상에 대응하는 이미지를 흑백화(Gray)(141)할 수 있다. 그리고, 추출된 영상으로부터 모서리를 검출(Edge Detection)(142)하거나 과속 방지턱을 추출하기 위하여 영상으로부터 노란색을 검출(Yellow Pattern Detection)(143)할 수 있다. 그리고, 미리 저장된 이미지 모델과 비교하여 이미지 모델을 결정(144)할 수 있다.
또한, 블랙박스 시스템의 모드가 주차 모드인 경우, 충격 감지 센서에 의하여 충격을 감지함에 응답하여, 적어도 하나의 영상을 추출할 수 있다. 그리고, 상기 추출된 적어도 하나의 영상에 대응하는 가속도 특성을 추출하여 저역 통과 필터링(Low Pass Filtering)(151)을 수행할 수 있다. 다음으로, 가속도 센서를 이용하여 상기 추출된 적어도 하나의 영상에 대응하는 가속도 특성을 추출(152)할 수 있다. 그리고, 미리 저장된 가속도 모델과 비교하여 가속도 모델을 결정(153)할 수 있다. 이렇게 결정된 사운드 모델, 이미지 모델, 가속도 모델의 저장(160)을 수행하고, 사고 데이터베이스를 수집(170)할 수 있다. 도 2 내지 도 3을 참조하여 제안하는 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법을 더욱 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법을 설명하기 위한 흐름도이다.
블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법은 충격 감지 센서에 의하여 충격을 감지함에 응답하여, 적어도 하나의 영상을 추출하는 단계(210), 상기 블랙박스 시스템의 모드가 주행 모드인 경우에, 상기 가속도 센서를 이용하여 상기 추출된 적어도 하나의 영상에 대응하는 가속도 특성을 추출하는 단계(220), 상기 추출된 적어도 하나의 영상이 이벤트 영상인지 여부를 판단하기 위하여 상기 추출된 가속도 특성과 미리 저장된 가속도 모델을 비교하는 단계(230)를 포함할 수 있다.
단계(210)에서, 충격 감지 센서에 의하여 충격을 감지함에 응답하여, 적어도 하나의 영상을 추출할 수 있다.
단계(220)에서, 블랙박스 시스템의 모드가 주행 모드인 경우에, 상기 가속도 센서를 이용하여 상기 추출된 적어도 하나의 영상에 대응하는 가속도 특성을 추출할 수 있다.
이때, 충격이 감지된 시점으로부터 일정 시간 구간 이전의 시점을 탐색하고, 상기 일정 시간 구간의 시점에 대응하는 영상에 대한 상기 가속도 특성을 추출하는 단계를 포함할 수 있다. 상기 충격이 감지된 시점은 일정량 이상의 충격이 가해져 충격 감지 센서가 작동한 시점이다.
일정 시간 구간의 시점에 대응하는 영상에 대한 상기 가속도 특성을 추출하는 단계는 상기 일정 시간 구간의 시점에 대응하는 영상의 일부 영역에 대한 가속도 특성을 추출하는 단계를 포함할 수 있다.
그리고, 상기 일정 시간 구간의 시점에 대응하는 영상의 일부 영역으로부터 미리 정해진 가속도 패턴을 추출하고, 상기 미리 정해진 가속도 패턴이 추출된 상기 일정 시간 구간의 시점에 대응하는 영상의 일부 영역으로부터 미리 정해진 가속도 패턴을 탐색하는 단계를 더 포함할 수 있다.
단계(230)에서, 추출된 적어도 하나의 영상이 이벤트 영상인지 여부를 판단하기 위하여 상기 추출된 가속도 특성과 미리 저장된 가속도 모델을 비교할 수 있다.
이때, 미리 정해진 이벤트 이미지를 포함하는 상기 미리 저장된 가속도 모델과 상기 추출된 가속도 패턴이 유사한지 비교하는 단계를 포함할 수 있다.
제안하는 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법은 상기 블랙박스 시스템의 모드가 주행 모드인 경우에, 상기 추출된 적어도 하나의 영상에 대응하는 이미지 패턴을 추출하는 단계 및 상기 추출된 적어도 하나의 영상이 이벤트 영상인지 여부를 판단하기 위하여 상기 추출된 이미지 패턴과 미리 저장된 이미지 모델을 비교하는 단계를 더 포함할 수 있다. 그리고, 추출된 적어도 하나의 영상이 이벤트 영상인지 여부를 판단하기 위하여 상기 추출된 사운드 패턴과 미리 저장된 음향 모델을 비교하는 단계는 상기 사운드 패턴이 문 닫는 사운드, 트렁크 닫는 사운드 및 미리 정해진 이벤트 사운드 중 적어도 하나에 대한 상기 미리 저장된 음향 모델과 상기 추출된 사운드 패턴이 유사한지 비교하는 단계를 포함할 수 있다.
또한, 제안하는 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법은 상기 블랙박스 시스템의 모드가 주차 모드인 경우에, 상기 추출된 적어도 하나의 영상에 대응하는 사운드 패턴을 추출하는 단계 및 상기 추출된 적어도 하나의 영상이 이벤트 영상인지 여부를 판단하기 위하여 상기 추출된 사운드 패턴과 미리 저장된 음향 모델을 비교하는 단계를 더 포함할 수 있다. 그리고, 추출된 적어도 하나의 영상이 이벤트 영상인지 여부를 판단하기 위하여 상기 추출된 이미지 패턴과 미리 저장된 이미지 모델을 비교하는 단계는 미리 정해진 이벤트 이미지를 포함하는 상기 미리 저장된 이미지 모델과 상기 추출된 이미지 패턴이 유사한지 비교하는 단계를 포함할 수 있다.
또한, 제안하는 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법은 블랙박스 시스템의 모드가 주행 모드인지 여부를 판단하는 단계를 더 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 가속도 신호 처리 과정을 설명하기 위한 흐름도이다.
먼저 가속도 신호를 입력(310) 받으면 입력된 가속도 신호의 노이즈를 제거하기 위한 필터링(320)을 수행할 수 있다. 이때, 저역 통과 필터링(Low Pass Filtering)을 이용하여 노이즈를 제거할 수 있다. 노이즈를 제거한 가속도 신호를 이용하여 ?SD 값을 계산(330)할 수 있다. 다시 말해, 가속도 신호의 차이를 계산하기 위해 ?SD 값을 계산할 수 있다.
먼저, 수학식1을 이용하여 X축에 대한 ?SD 값을 계산할 수 있다.
ΔSD_x = x(n) ― x(n - 1) 수학식1
이후, 수학식1을 이용하여 Y축, Z축에 대한 ΔSD 값을 계산할 수 있다.
그리고, ΔSD 값이 임계값 Th_z를 초과하는지 여부를 판단(340)할 수 있다. ΔSD_z 값이 임계값 Th_z를 초과하는 경우, ΔSD_y 값이 임계값 Th_y를 초과하거나 또는 ΔSD_x 값이 임계값 Th_x를 초과하는지를 판단(341)할 수 있다. ΔSD_y 값이 임계값 Th_y를 초과하거나 또는 ΔSD_x 값이 임계값 Th_x를 초과하는 경우, TP를 감지(342)할 수 있다. 반면에 ?SD_y 값이 임계값 Th_y를 초과하지 않거나 또는 ΔSD_x 값이 임계값 Th_x를 초과하지 않는 경우, FP를 감지(343)할 수 있다.
또한, ΔSD_z 값이 임계값 Th_z를 초과하지 않는 경우, LCR을 계산(350)할 수 있다. 다시 말해, 수학식2를 이용하여 Z축 신호값에 대한 LCR을 계산할 수 있다.
Figure 112015010984406-pat00001
수학식2
여기에서 Avg 값은 현재 분석 프레임의 평균값을 나타낸다. 그리고, LCR이 Th_z를 초과하는지 판단(360)할 수 있다. LCR이 Th_z를 초과하는 경우, TP를 감지(361)할 수 있다. 반면에, LCR이 Th_z를 초과하지 않는 경우, FP를 감지(362)할 수 있다.
도 4는 본 발명의 일 실시예에 따른 블랙박스 시스템의 주차 모드에서 사운드 패턴을 추출하는 예를 나타낸 도면이다.
도 4는 주차 모드에서 사운드 패턴을 추출하기 위한 예로서, 블랙박스 시스템은 충격이 감지된 시점(421)으로부터 일정 시간 구간 이전의 시점(410)을 탐색하고, 일정 시간 구간의 시점(411)에 대응하는 사운드 패턴을 추출할 수 있다. 예를 들면, 주차 모드에서 문닫는 사운드를 추출한다고 가정하면, 블랙박스 시스템은 충격 감지 알림음(420)이 발생한 시점으로부터 약 2초 이전의 시간 구간을 탐색할 수 있고, 충격 감지 알림음(420)이 발생한 시점으로부터 약 0.5초 이전의 시점에서 발생한 문 닫는 사운드(410) 패턴을 추출할 수 있다.
일 실시예에 따른 블랙박스 시스템은 주차 모드에서 문 닫는 사운드, 트렁크 닫는 사운드 및 미리 정해진 이벤트 사운드에 대한 패턴을 추출할 수 있으며, 트렁크 닫는 사운드 및 미리 정해진 이벤트 사운드에 대한 패턴을 추출하는 방법도 설명한 바와 같이 마찬가지로 적용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 블랙박스 시스템은 주차 모드에서 이벤트 영상으로부터 추출된 음향을 모델화하는 방법을 나타낸 도면이다.
블랙박스 시스템은 주차 모드에서 충격감지 센서로부터 감지된 충격에 대하여 적어도 하나의 영상을 추출할 수 있고, 추출된 적어도 하나의 영상에 대응하는 사운드 패턴을 추출할 수 있다. 예를 들면, 주차 모드에서 문 닫는 사운드, 트렁크 닫는 사운드 및 미리 정해진 이벤트 사운드 등을 모델화할 수 있다.
블랙박스 시스템은 영상으로부터 문 닫는 사운드(Door Closing Sound)(510)를 추출하였다면, 문 닫는 사운드의 특징을 추출하고, 사전 훈련인 GMM Training을 통하여 Door-Model을 생성할 수 있다. 이때, 모델링 하기 위하여 문 닫는 사운드는 복수 개의 문 닫는 사운드로부터 각각 특징을 추출하고 GMM Training을 통하여 Door-Model을 생성할 수 있다. 각 이벤트 사운드에도 동일하게 적용될 수 있다. 마찬가지로, 블랙 박스 시스템은 주차 모드에서 충격감지 트렁크 닫는 사운드(Trunk Closing Sound)(520)를 추출할 수 있고, 트렁크 닫는 사운드의 특징을 추출하여 사전 훈련인 GMM Training을 통하여 Trunk-Model을 생성할 수 있다. 미리 정해진 이벤트 사운드(Event Sound)(530)의 경우, 복수 개의 이벤트 사운드가 있을 수 있으며, 주행 중인 차량이 주차되어 있는 차량을 들이받는 사운드, 사람이 걸어가면서 주차되어 있는 차량과 부딪히는 사운드 등과 같이 사용자 또는 관리자에 의하여 이벤트 사운드를 지정하여 각각 모델링을 수행할 수 있다.
일 실시예에 따른 블랙박스 시스템은 이벤트에 대하여 모델을 미리 저장하기 때문에 추출된 사운드 이벤트와 미리 저장된 사운드 모델을 비교함으로써 잘못 인식된 이벤트 영상의 오류를 줄일 수 있다.
도 6은 본 발명의 일 실시예에 따른 블랙박스 시스템의 주행 모드에서 이미지 패턴을 추출하는 예를 나타낸 도면이다.
블랙박스 시스템은 예를 들면, 차량이 과속 방지턱을 넘거나 싱크홀을 통과할 경우 과속 방지턱이나 싱크홀과 같은 이미지 패턴을 추출할 수 있다. 차량이 과속 방지턱을 넘었을 경우를 가정하여 설명하기로 한다. 차량이 주행 중에 과속 방지턱을 넘었다면, 블랙박스 시스템은 충격 감지 센서에 의하여 충격이 감지될 수 있고, 충격 감지 센서에 의하여 충격을 감지함에 응답하여 적어도 하나의 영상을 추출할 수 있다(610). 이때, 예를 들면, 블랙박스 시스템은 충격 감지 센서에 의하여 충격을 감지한 경우, 이미지 센서 및 3축 가속도 센서를 통하여 영상을 추출할 수 있다.
블랙박스 시스템은 충격이 감지된 시점으로부터 일정 시간 구간 이전의 시점을 탐색할 수 있고, 일정 시간 구간의 시점에 대응하는 영상에 대한 이미지 패턴을 추출할 수 있다. 이때, 일정 시간 구간의 시점에 대응하는 영상의 일부 영역(620)에 대응하는 이미지 패턴을 추출할 수 있다. 영상의 일부 영역(620)으로부터 미리 정해진 색을 추출할 수 있고, 영상의 일부 영역으로부터 미리 정해진 이미지 패턴을 탐색할 수 있다.
일 실시예에 따른 블랙박스 시스템은 영상의 일부 영역을 통하여 이미지 패턴을 추출하기 때문에 이미지 패턴을 추출하기 위한 연산량을 줄일 수 있고, 추출하고자 하지 않는 범위까지 계산되는 오류를 줄일 수 있다.
추출된 영상으로부터 과속 방지턱을 추출하기 위하여 영상으로부터 노란색을 탐색할 수 있다. 블랙박스 시스템은 충격 감지 알림음이 발생한 시점으로부터 약 10초 이전의 시간 구간을 탐색할 수 있고, 충격 감지 알림음이 발생한 시점으로부터 약 5초 이전의 시점에 대응하는 이미지 패턴을 추출할 수 있다. 이때, 차량의 주행 속도에 따라 과속 방지턱을 추출하기 위한 시점이 달라질 수 있다.
블랙박스 시스템은 노란색을 포함하고 있는 영역에 대응하는 영상에 대응하는 이미지 패턴을 추출할 수 있다. 블랙박스 시스템에서 추출된 영상은 추출하고자 하는 이미지 패턴 이외의 사물을 포함하고 있기 때문에 예를 들면, 노란색을 검출하는 알고리즘을 통하여 노란색을 포함하고 있는 면적의 넓이 또는 노란색이 표현된 빈번한 정도에 따라 노란색 패턴을 포함하고 있는 영역이 유력하게 선택될 수 있다. 블랙박스 시스템은 노란색을 포함하고 있는 일부 영역(620)으로부터 이미지 패턴을 추출할 수 있다.
블랙박스 시스템은 영상의 일부 영역으로부터 노란색을 포함하고 있는 일부 영역(620)으로부터 미리 정해진 이미지 패턴을 추출할 수 있다. 과속 방지턱은 복수 개의 수평선을 포함하고 있으므로 상기 영역이 복수 개의 수평선과 같은 패턴을 나타내고 있다면 과속 방지턱임을 판단할 수 있다. 마찬가지로 선택된 영상보다 이전의 영상 및 선택된 영상보다 이후의 영상에도 똑같이 이미지 패턴을 추출하여 판단하고, 상기 영상의 가중치 값을 계산하여 최종적으로 과속 방지턱을 판단할 수 있다.
도 7은 본 발명의 일 실시예에 따른 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 장치의 구성을 나타내는 도면이다.
블랙박스 시스템(700)은 이벤트 감지부(710), 저장부(720), 가속도 센서(730), 마이크(740), 충격 감지 센서(750) 및 카메라(760)를 포함할 수 있다.
블랙박스 시스템(700)은 잘못 인식된 이벤트 영상을 처리하기 위하여 충격 감지 센서에 의하여 충격이 감지되었을 경우, 주차 모드 또는 주행 모드를 구분하고, 상기 모드에 따라 다르게 작동될 수 있다.
이벤트 감지부(710)는 센서를 통하여 추출된 영상으로부터 미리 정해진 이벤트가 감지되었을 경우, 이벤트를 자동으로 감지할 수 있다. 다시 말해, 충격 감지 센서에 의하여 충격을 감지함에 응답하여, 적어도 하나의 영상을 추출할 수 있다. 이벤트 감지부(710)는 주차 모드인 경우, 예를 들면, 문 닫는 사운드, 트렁크 닫는 사운드, 미리 정해진 이벤트 사운드를 감지할 수 있다. 예를 들면, 주차 모드라고 가정하자. 블랙박스 시스템(700)은 충격 감지 센서에 의하여 충격을 감지할 수 있는데, 사용자가 차량의 문을 닫는 충격이었다면, 이벤트 감지부(710)에 의하여 문 닫는 이벤트가 감지될 수 있다. 또한, 사용자가 차량의 트렁크를 닫는 경우, 블랙박스 시스템(700)은 트렁크 닫는 충격을 감지할 수 있고, 이벤트 감지부(710)에 의하여 트렁크 닫는 이벤트가 감지될 수 있다.
이벤트 감지부(710)는 주행 모드인 경우, 예를 들면, 속도 방지턱, 싱크홀과 같이 미리 정해진 이벤트 이미지를 감지할 수 있다. 예를 들면, 주행 모드라고 가정하자. 블랙박스 시스템(700)은 충격 감지 센서에 의하여 충격을 감지할 수 있는데, 차량이 주행 중에 속도 방지턱을 지나가는 경우, 이벤트 감지부(710)는 속도 방지턱을 감지할 수 있다.
저장부(720)는 이벤트에 대한 영상을 저장하거나 전원이 켜있을 경우 상시적으로 영상을 저장하기 위한 것으로서, 영상뿐만 아니라 사운드도 저장할 수 있다. 저장부(720)는 이벤트 영상 저장부 및 상시 녹화부를 포함할 수 있다. 이벤트 영상 저장부는 이벤트 영상을 저장하는 공간으로, 예를 들면, 충격이 감지된 영상을 저장할 수 있다. 상시 녹화부는 이벤트 영상을 제외한 모든 영상을 저장할 수 있으며, 계속적으로 영상을 저장할 수 있다. 이때, 저장부(720)는 저장 메모리의 용량에 따라 저장된 정보가 업데이트될 수 있고, 일정 기준에 의하여 저장된 정보가 업데이트될 수 있다. 예를 들면, 한달 기준으로 6개월 이전에 저장된 내용들은 삭제될 수 있고, 사용자의 설정에 따라서 선택적으로 영상을 저장하거나 삭제할 수도 있다.
가속도 센서(730)는 블랙박스 시스템의 모드가 주행 모드인 경우에, 추출된 적어도 하나의 영상에 대응하는 가속도 특성을 추출할 수 있다. 이때, 충격이 감지된 시점으로부터 일정 시간 구간 이전의 시점을 탐색하고, 상기 일정 시간 구간의 시점에 대응하는 영상에 대한 상기 가속도 특성을 추출할 수 있다. 그리고, 일정 시간 구간의 시점에 대응하는 영상의 일부 영역에 대한 가속도 특성을 추출할 수 있다. 일정 시간 구간의 시점에 대응하는 영상의 일부 영역으로부터 미리 정해진 가속도 패턴을 추출하고, 상기 미리 정해진 가속도 패턴이 추출된 상기 일정 시간 구간의 시점에 대응하는 영상의 일부 영역으로부터 미리 정해진 가속도 패턴을 탐색할 수 있다.
마이크(740)는 사운드를 녹음하기 위한 것으로, 주차 모드에서 문 또는 트렁크를 닫는 사운드를 녹음할 수 있고, 녹음하고자 하는 이벤트 사운드를 녹음할 수 있다. 마이크(740)는 충격이 감지된 경우 충격 감지 알림음을 발생시킬 수 있다.
충격 감지 센서(750)는 충격을 감지하기 위한 센서로서, 예를 들면, G센서를 통하여 민감도를 감지할 수 있고, 3축 가속도 센서를 통하여 가속도, 진동 및 충격 등을 감지할 수 있다.
카메라(760)는 실시간으로 영상을 촬영하고 녹화하기 위한 것으로, 이벤트 영상을 촬영할 수 있다. 주행 모드일 때, 카메라(760)를 통하여 녹화된 잘못 인식된 이벤트 영상을 통하여 이미지 패턴을 추출할 수 있다. 예를 들면, 카메라는 고화질의 카메라, 1.3M 픽셀 급의 CCD 카메라와 같은 저가의 소형 카메라가 이용될 수 있으며, 휴대성을 위하여 무선 카메라로 구성될 수도 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (12)

  1. 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법에 있어서,
    블랙박스 시스템의 모드가 주행 모드인지 여부를 판단하는 단계;
    충격 감지 센서에 의하여 충격을 감지함에 응답하여, 적어도 하나의 영상을 추출하는 단계;
    상기 블랙박스 시스템의 모드가 주행 모드인 경우에, 상기 충격이 감지된 시점으로부터 일정 시간 구간 이전의 시점을 탐색하고, 상기 일정 시간 구간의 시점에 대응하는 적어도 하나의 영상에 대한 대응하는 가속도 특성을 추출하는 단계;
    상기 추출된 적어도 하나의 영상이 이벤트 영상인지 여부를 판단하기 위하여 상기 추출된 가속도 특성과 미리 저장된 가속도 모델을 비교하는 단계
    를 포함하고,
    상기 적어도 하나의 영상에 대한 상기 가속도 특성을 추출하는 단계는,
    상기 일정 시간 구간의 이전의 시점에 대응하는 적어도 하나의 영상의 일부 영역으로부터 미리 정해진 가속도 패턴을 추출하고, 상기 미리 정해진 가속도 패턴이 추출된 상기 일정 시간 구간의 시점에 대응하는 영상의 일부 영역으로부터 미리 정해진 가속도 패턴을 탐색하며, 상기 미리 정해진 가속도 패턴이 검출된 경우에, 상기 추출된 적어도 하나의 영상을 잘못 인식된 이벤트 영상으로 판단하는 단계
    를 포함하고,
    상기 블랙박스 시스템의 모드가 주행 모드인 경우에, 상기 일정 시간 구간의 시점에 대응하는 영상에 대응하는 이미지 패턴을 추출하는 단계; 및
    상기 추출된 이미지 패턴과 미리 저장된 이미지 모델을 비교하여 상기 추출된 적어도 하나의 영상이 잘못 인식된 이벤트 영상인지 여부를 판단하는 단계
    를 더 포함하고,
    상기 블랙박스 시스템의 모드가 주차 모드인 경우에, 상기 추출된 적어도 하나의 영상에 대응하는 사운드 패턴을 추출하는 단계; 및
    상기 추출된 적어도 하나의 영상이 이벤트 영상인지 여부를 판단하기 위하여 상기 추출된 사운드 패턴과 미리 저장된 음향 모델을 비교하는 단계
    를 더 포함하는 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 추출된 적어도 하나의 영상이 이벤트 영상인지 여부를 판단하기 위하여 상기 추출된 가속도 특성과 미리 저장된 가속도 모델을 비교하는 단계는,
    미리 정해진 이벤트 이미지를 포함하는 상기 미리 저장된 가속도 모델과 상기 추출된 가속도 패턴이 유사한지 비교하는 단계
    를 포함하는 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 충격이 감지된 시점은 일정량 이상의 충격이 가해져 충격 감지 센서가 작동한 시점인 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법.
  11. 제1항에 있어서,
    상기 블랙박스 시스템의 모드가 주행 모드인지 여부를 판단하는 단계를 더 포함하는 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법.
  12. 삭제
KR1020150016004A 2015-02-02 2015-02-02 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법 KR101665232B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150016004A KR101665232B1 (ko) 2015-02-02 2015-02-02 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150016004A KR101665232B1 (ko) 2015-02-02 2015-02-02 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20160095253A KR20160095253A (ko) 2016-08-11
KR101665232B1 true KR101665232B1 (ko) 2016-10-25

Family

ID=56713978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150016004A KR101665232B1 (ko) 2015-02-02 2015-02-02 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR101665232B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102613071B1 (ko) * 2016-09-30 2023-12-15 팅크웨어(주) 음향센서 및 가속도센서에 기초하여 차량의 충격을 감지하는 방법 및 장치
KR102005838B1 (ko) * 2018-01-12 2019-10-01 한국과학기술연구원 충격 알림 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428008B1 (ko) * 2013-03-07 2014-08-07 (주)디텍씨큐리티 사고 감지 기능을 구비한 블랙박스 장치 및 그 사고 감지 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428008B1 (ko) * 2013-03-07 2014-08-07 (주)디텍씨큐리티 사고 감지 기능을 구비한 블랙박스 장치 및 그 사고 감지 방법

Also Published As

Publication number Publication date
KR20160095253A (ko) 2016-08-11

Similar Documents

Publication Publication Date Title
KR101758576B1 (ko) 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법
US10528804B2 (en) Detection device, detection method, and storage medium
JP4391839B2 (ja) 撮影条件設定プログラム、撮影条件設定方法および撮影条件設定装置
JP6532106B2 (ja) 監視装置、監視方法および監視用プログラム
US8965626B2 (en) Event data recording for vehicles
KR102613071B1 (ko) 음향센서 및 가속도센서에 기초하여 차량의 충격을 감지하는 방법 및 장치
CN108009466B (zh) 行人检测方法和装置
WO2014155958A1 (ja) 対象物監視システム、対象物監視方法および監視対象抽出プログラム
JP4687506B2 (ja) オブジェクトサイズ算出装置、それを用いたオブジェクト検索装置およびオブジェクト分類装置ならびにオブジェクトサイズ算出方法
KR101611731B1 (ko) 블랙 박스에서 충격 감지 센서에 의해 감지된 잘못된 사고 영상을 구분하는 방법
KR102104548B1 (ko) 시각 감지 시스템 및 이를 이용한 시각 감지 방법
JP4858913B2 (ja) データ記憶装置、データ記憶方法、及びデータ記憶用プログラム
KR101665232B1 (ko) 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법
JP5743580B2 (ja) ドライブレコーダ装置
JP2023051757A (ja) 車両データ収集システム及びその使用方法
CN111344762B (zh) 异常检测装置和异常检测方法
CN112597924B (zh) 电动自行车轨迹追踪方法、摄像机装置和服务器
JP2018177216A (ja) 車両が自動的に再び動き出すことを可能にする装置
CN112507757B (zh) 车辆行为检测方法、装置和计算机可读介质
KR20220107920A (ko) 카메라 영상을 이용한 딥러닝 기술 기반 전방 보행자의 자세 예측 및 이를 활용한 충돌 위험도 추정 기술
KR102074902B1 (ko) 차량용 영상 기록시스템의 제어장치 및 방법
KR101604183B1 (ko) 영상 사고 기록 장치의 저장 공간에 파일을 저장하는 방법 및 시스템
JP2017091381A (ja) セキュリティ装置、及び、セキュリティシステム
KR101794456B1 (ko) 승강기에서의 접촉 행위를 탐지하는 장치 및 방법
KR101758291B1 (ko) 차량용 사고영상 기록장치의 차량 번호 인식 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant