KR20200002515A - 영상을 이용한 사고 유무 판단 방법 및 장치 - Google Patents

영상을 이용한 사고 유무 판단 방법 및 장치 Download PDF

Info

Publication number
KR20200002515A
KR20200002515A KR1020180076104A KR20180076104A KR20200002515A KR 20200002515 A KR20200002515 A KR 20200002515A KR 1020180076104 A KR1020180076104 A KR 1020180076104A KR 20180076104 A KR20180076104 A KR 20180076104A KR 20200002515 A KR20200002515 A KR 20200002515A
Authority
KR
South Korea
Prior art keywords
vehicle
image
accident
determining
driving
Prior art date
Application number
KR1020180076104A
Other languages
English (en)
Other versions
KR102094405B1 (ko
Inventor
이재민
전도용
Original Assignee
주식회사대성엘텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사대성엘텍 filed Critical 주식회사대성엘텍
Priority to KR1020180076104A priority Critical patent/KR102094405B1/ko
Publication of KR20200002515A publication Critical patent/KR20200002515A/ko
Application granted granted Critical
Publication of KR102094405B1 publication Critical patent/KR102094405B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

일 실시 예에 따른 영상을 이용한 사고 유무를 판단하는 방법에 있어서, 차량 내의 복수의 카메라들에 의해 촬영 가능한 영역을 설정하고, 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하고, 차량이 주행 또는 주차 상태인지 여부와, 존재한 객체의 유형을 기초로 사고 유무를 판단하고, 상기 판단결과에 따라 소정의 장면을 촬영한 영상을 기록함으로써, 충격 감지 센서 없이도, 사고 영상 유무를 정확하게 판단할 수 있다.

Description

영상을 이용한 사고 유무 판단 방법 및 장치{Method and apparatus for determining an accident using an image}
실시 예들은 영상을 이용한 사고 유무 판단 방법 및 장치에 관한 것이다.
자동차 산업 인프라의 발달로 자동차 사용 인구는 지속적으로 증가하고 있으며, 이에 따른 자동차 사고도 매년 증가하고 있다. 자동차 사고는 개인 및 사회의 비용손실과 즉결되므로 많은 운전자가 자동차용 블랙박스(또는 사고영상기록장치)를 구입하여 장착하고 있다. 이런 자동차용 블랙박스는 교통사고 시점의 영상을 저장 및 재생하므로 정확한 사고원인을 규명하는데 활용되고 교통사고를 예방하는 효과가 있다. 그러나 그 이면에 자동차용 블랙박스는 자동차가 운행될 때마다 영상을 촬영하고 저장되기 때문에 의도되지 않은 개인의 사생활이 노출될 수 있으며 또한 저장된 사고 영상 데이터를 의도적으로 조작하여 교통사고의 원인규명을 방해하는 문제가 발생하기도 한다.
일반적으로, 블랙박스가 사고 영상을 기록하는 방식은, 주행 중 또는 주차 중 모든 영상을 저장하는 것이 아니라, 충격감지센서에서 일정한 충격 이상을 감지한 타이밍에 상응하는 영상을 저장하는 것이다. 이 경우, 충격감지센서의 오류, 또는 사고 상황이 아닌, 예를 들면 방지 턱을 넘는 경우에도 사고로 판단하여 영상을 기록하여 많은 양의 영상들이 촬영되어 보존되었다는 문제점이 있었다. 또한, 사고 영상 또는 사고 순간을 찾아보기 위해 많은 영상을 검색해야만 한다는 문제점이 있었다.
[선행기술문헌번호]
선행 1: 한국공개특허 제2015-0146071호
선행 2: 한국공개특허 제2015-0002994호
선행 3: 한국등록특허 제10-0820459호
실시 예들은 영상을 이용한 사고 유무 판단 방법 및 장치를 제공하는 것이다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시 예에 따른 영상을 이용한 사고 유무를 판단하는 방법에 있어서, 차량 내의 복수의 카메라들에 의해 촬영 가능한 영역을 설정하는 단계; 상기 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하는 단계; 상기 차량이 주행 또는 주차 상태인지 여부와, 상기 존재한 객체의 유형을 기초로 사고 유무를 판단하는 단계; 및 상기 판단결과에 따라 소정의 장면을 촬영한 영상을 기록하는 단계를 포함한다.
상기 판단 단계는, 상기 차량이 주행 중인 경우, 상기 존재한 객체가 사람인지 인식하는 단계를 더 포함하고, 상기 존재한 객체가 사람인 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 한다.
상기 판단 단계는, 상기 차량이 주행 중이고, 상기 존재한 객체가 다른 차량인 경우, 상기 촬영한 영상을 기록하지 않고, 상기 차량 또는 다른 차량이 각각의 주행차선을 이탈하는 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 한다.
상기 판단 단계는, 상기 차량이 주차된 상태이고, 상기 존재하는 객체가 다른 차량이고, 상기 다른 차량이 이동하는 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 한다.
상기 판단 단계는, 상기 차량이 주차된 상태이고, 상기 존재하는 객체가 사람인 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 한다.
상기 영상을 이용한 사고 유무 판단 방법은 상기 기록된 영상을 표시하는 단계를 더 포함하고, 상기 표시 단계는, 상기 기록된 영상이 적어도 2개인 경우, 상기 차량에 근접한 영상의 순서로 표시하는 것을 특징으로 한다.
상기 영상을 이용한 사고 유무 판단 방법은 상기 기록된 영상을 기초로 입체 영상을 생성하는 단계를 더 포함하는 것을 특징으로 한다.
상기 영상을 이용한 사고 유무 판단 방법은 상기 기록된 영상을 삭제하는 경우, 사용자 정보를 확인하는 단계를 더 포함하는 것을 특징으로 한다.
상기 영상을 이용한 사고 유무 판단 방법은 상기 차량의 차속 정보를 기초로, 상기 설정된 촬영 가능한 영역 내의 다른 차량의 차속 정보를 계산하는 단계를 더 포함하고, 상기 기록 단계는, 상기 촬영한 영상에 부가정보로서, 상기 계산된 차속 정보를 함께 기록하는 것을 특징으로 한다.
다른 실시 예에 따른 영상을 이용한 사고 유무를 판단하는 장치에 있어서, 복수의 카메라; 메모리; 및 프로세서를 포함하고,
상기 프로세서는, 차량 내의 복수의 카메라에 의해 촬영 가능한 영역을 설정하고, 상기 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하고, 상기 차량이 주행 또는 주차 상태인지 여부와, 상기 존재한 객체의 유형을 기초로 사고 유무를 판단하고, 상기 판단결과에 따라 소정의 장면을 촬영한 영상을 상기 메모리에 기록한다.
또 다른 실시 예에 따른 상기 영상을 이용한 사고 유무 판단 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
도 1은 차량의 내부 블록 도이다.
도 2는 도 1에 도시된 차량 운전 보조 시스템(ADAS)의 블록 도이다.
도 3은 일 실시 예에 따른 영상을 이용한 사고 유무 판단 장치의 개략 도이다.
도 4는 도시된 제어부(300)의 구체적인 블록 도이다.
도 5 내지 11은 다른 실시 예에 따른 영상을 이용한 사고 유무 판단 방법을 설명하기 위한 예시 도들이다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.
본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “메커니즘”, “요소”, “수단” 및 “구성” 등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시 예에 따른 차량의 내부 블록도이다.
도 1을 참조하면, 차량(100)은, 통신부(110), 입력부(120), 센싱부(125) 메모리(130), 출력부(140), 차량 구동부(150), 차량 운전 보조 시스템(ADAS, 160), 제어부(170), 인터페이스부(180) 및 전원 공급부(190)를 포함할 수 있다.
통신부(110)는, 근거리 통신 모듈, 위치 정보 모듈, 광통신 모듈 및 V2X 통신 모듈을 포함할 수 있다.
입력부(120)는, 운전 조작 수단, 카메라, 마이크로폰 및 사용자 입력부를 포함할 수 있다.
운전 조작 수단은, 차량(100) 운전을 위한 사용자 입력을 수신한다. 운전 조작 수단은 조향 입력 수단, 쉬프트 입력 수단, 가속 입력 수단, 브레이크 입력 수단을 포함할 수 있다.
가속 입력 수단은, 사용자로부터 차량(100)의 가속을 위한 입력을 수신한다. 브레이크 입력 수단은, 사용자로부터 차량(100)의 감속을 위한 입력을 수신한다.
카메라는, 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 제어부(170)에 전달할 수 있다.
한편, 차량(100)은 차량 전방 영상을 촬영하는 전방 카메라, 차량 주변 영상을 촬영하는 어라운드 뷰 카메라 및 차량 후방 영상을 촬영하는 후방카메라를 포함할 수 있다. 각각의 카메라는 렌즈, 이미지 센서 및 프로세서를 포함할 수 있다. 프로세서는, 촬영되는 영상을 컴퓨터 처리하여, 데이터 또는 정보를 생성하고, 생성된 데이터 또는 정보를 제어부(170)에 전달할 수 있다. 카메라에 포함되는 프로세서는, 제어부(170)의 제어를 받을 수 있다.
카메라는 스테레오 카메라를 포함할 수 있다. 이 경우, 카메라의 프로세서는, 스테레오 영상에서 검출된 디스페리티(disparity) 차이를 이용하여, 오브젝트와의 거리, 영상에서 검출된 오브젝트와의 상대 속도, 복수의 오브젝트 간의 거리를 검출할 수 있다.
카메라는 TOF(Time of Flight) 카메라를 포함할 수 있다. 이 경우, 카메라는, 광원(예를 들면, 적외선 또는 레이저) 및 수신부를 포함할 수 있다. 이 경우, 카메라의 프로세서는, 광원에서 발신되는 적외선 또는 레이저가 오브젝트에 반사되어 수신될 때까지의 시간(TOF)에 기초하여 오브젝트와의 거리, 오브젝트와의 상대 속도, 복수의 오브젝트 간의 거리를 검출할 수 있다.
한편, 후방 카메라는, 후방 번호판 또는 트렁크 또는 테일 게이트 스위치 부근에 배치될 수 있으나, 후방 카메라가 배치되는 위치는 이에 제한되지 않는다.
복수의 카메라에서 촬영된 각각의 이미지는, 카메라의 프로세서에 전달되고, 프로세서는 상기 각각의 이미지를 합성하여, 차량 주변 영상을 생성할 수 있다. 이때, 차량 주변 영상은 탑뷰 이미지 또는 버드 아이 이미지로 디스플레이부를 통해 표시될 수 있다.
센싱부(125)는, 차량(100)의 각종 상황을 센싱한다. 이를 위해, 센싱부(125)는, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 레이더, 라이더 등을 포함할 수 있다.
이에 의해, 센싱부(125)는, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도, 차량 외부 조도 등에 대한 센싱 신호를 획득할 수 있다.
메모리(130)는, 제어부(170)와 전기적으로 연결된다. 메모리(130)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(130)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(130)는 제어부(170)의 처리 또는 제어를 위한 프로그램 등, 차량(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
출력부(140)는, 제어부(170)에서 처리된 정보를 출력하기 위한 것으로, 디스플레이부, 음향 출력부 및 햅틱 출력부를 포함할 수 있다.
디스플레이부는 제어부(170)에서 처리되는 정보를 표시할 수 있다. 예를 들면, 디스플레이부는 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다. 예를 들어, 디스플레이부는 현재 차량의 속도(또는 속력), 주변차량의 속도(또는 속력) 및 현재 차량과 주변차량 간의 거리 정보를 표시할 수 있다.
한편, 디스플레이부는 운전자가 운전을 함과 동시에 차량 상태 정보 또는 차량 운행 정보를 확인할 수 있도록 클러스터(cluster)를 포함할 수 있다. 클러스터는 대시보드 위에 위치할 수 있다. 이 경우, 운전자는, 시선을 차량 전방에 유지한 채로 클러스터에 표시되는 정보를 확인할 수 있다.
음향 출력부는 제어부(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부는 스피커 등을 구비할 수 있다.
차량 구동부(150)는, 차량 각종 장치의 동작을 제어할 수 있다. 차량 구동부(150)는 동력원 구동부, 조향 구동부, 브레이크 구동부, 램프 구동부, 공조 구동부, 윈도우 구동부, 에어백 구동부, 썬루프 구동부 및 서스펜션 구동부를 포함할 수 있다.
동력원 구동부는, 차량(100) 내의 동력원에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 화석 연료 기반의 엔진(미도시)이 동력원인 경우, 동력원 구동부는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부가 엔진인 경우, 제어부(170)의 제어에 따라, 엔진 출력 토크를 제한하여 차량의 속도를 제한할 수 있다.
브레이크 구동부는, 차량(100) 내의 브레이크 장치(brake apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량(100)의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량(100)의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다.
램프 구동부는, 차량 내, 외부에 배치되는 램프의 턴 온/턴 오프를 제어할 수 있다. 또한, 램프의 빛의 세기, 방향 등을 제어할 수 있다. 예를 들면, 방향 지시 램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.
제어부(170)는, 차량(100) 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(170)는 ECU(Electronic Contol Unit)로 명명될 수 있다. 상술한 사고 유무 판단 장치는 제어부(170)에 의해 구동될 수 있다.
제어부(170)는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
일 실시 예에서 제어부(170)는 차량 내의 복수의 카메라에 의해 촬영 가능한 영역을 설정하고, 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하고, 차량이 주행 또는 주차 상태인지 여부와, 존재한 객체의 유형을 기초로 사고 유무를 판단하고, 판단결과에 따라 소정의 장면을 촬영한 영상을 메모리에 기록할 수 있다. 실시 예에 따른 사고 판단 내지 사고 영상 저장은 충격 감지 센서에 의해 기록할 영상을 선택하는 것이 아니라, 영상만을 이용하고, 영상 분석 내지 객체 인식과 사고 판단 알고리즘을 적용함으로써, 센서 오작동에 의해 오인식, 잘못된 사고 영상의 저장의 단점을 극복할 수 있다.
인터페이스부(180)는, 차량(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(180)는 이동 단말기(미도시)와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 이동 단말기(미도시)와 연결할 수 있다. 이 경우, 인터페이스부(180)는 이동 단말기와 데이터를 교환할 수 있다.
전원 공급부(190)는, 제어부(170)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.
도 2는 도 1에 도시된 차량 운전 보조 시스템(ADAS)의 블록 도이다.
ADAS(200)는, 편의, 안전 제공을 위해 운전자를 보조 하는 차량 운전 보조 시스템이다.
ADAS(200)는, 자동 비상 제동 모듈(이하, AEB: Autonomous Emergency Braking)(210), 전방 충돌 회피 모듈 (이하, FCW: Foward Collision Warning)(211), 차선 이탈 경고 모듈 (이하, LDW: Lane Departure Warning)(212), 차선 유지 보조 모듈 (이하, LKA: Lane Keeping Assist)(213), 속도 지원 시스템 모듈 (이하, SAS: Speed Assist System)(214), 교통 신호 검출 모듈 (TSR: Traffic Sign Recognition)(215), 적응형 상향등 제어 모듈 (이하, HBA: High Beam Assist)(216), 사각 지대 감시 모듈 (이하, BSD: Blind Spot Detection)(217), 자동 비상 조향 모듈 (이하, AES: Autonomous Emergency Steering)(218), 커브 속도 경고 시스템 모듈 (이하, CSWS: Curve Speed Warning System)(219), 적응 순향 제어 모듈 (이하, ACC: Adaptive Cruise Control)(220), 스마트 주차 시스템 모듈 (이하, SPAS: Smart Parking Assist System)(221), 교통 정체 지원 모듈 (이하, TJA: Traffic Jam Assist)(222) 및 어라운드 뷰 모니터 모듈 (이하, AVM: Around View Monitor)(223)을 포함할 수 있다.
상기 각각의 ADAS 모듈(210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223)들은 차량 운전 보조 기능 제어를 위한 프로세서를 포함할 수 있다.
상기 각각의 ADAS 모듈(210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223)에 포함되는 프로세서는, 제어부(270)의 제어를 받을 수 있다.
상기 각각의 ADAS 모듈(210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223) 프로세서는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
AEB(210)는, 검출된 오브젝트와의 충돌을 방지하기 위해, 자동 제동을 제어하는 모듈이다. FCW(211)는, 차량 전방 오브젝트와의 충돌을 방지하기 위해, 경고가 출력되도록 제어하는 모듈이다. LDW(212)는, 주행 중 차선 이탈 방지를 위해, 경고가 출력되도록 제어하는 모듈이다. LKA(213)는, 주행 중 주행 차선 유지하도록 제어하는 모듈이다. SAS(214)는, 설정된 속도 이하로 주행하도록 제어하는 모듈이다. TSR(215)은, 주행 중 교통 신호를 감지하여 감지된 교통 신호를 기초로 정보를 제공하는 모듈이다. HBA(216)는, 주행 상황에 따라 상향등의 조사 범위 또는 조사량을 제어하는 모듈이다. BSD(217)는, 주행 중, 운전자 시야 밖의 오브젝트를 검출하고, 검출 정보를 제공하는 모듈이다. AES(218)는, 비상시 조향을 자동으로 수행하는 모듈이다. CSWS(219)는, 커브 주행시 기 설정 속도 이상으로 주행하는 경우 경로를 출력하도록 제어하는 모듈이다. ACC(220)는, 선행 차량을 추종하여 주행하도록 제어하는 모듈이다. SPAS(221)는, 주차 공간을 검출하고, 주차 공간에 주차하도록 제어하는 모듈이다. TJA(222)는, 교통 정체시 자동 운행하도록 제어하는 모듈이다. AVM(223)은, 차량 주변 영상을 제공하고, 차량 주변을 모니터링하도록 제어하는 모듈이다.
ADAS(200)는, 입력부(230) 또는 센싱부(235)에서 획득한 데이터를 기초로, 각각의 차량 운전 보조 기능을 수행하기 위한 제어 신호를 출력부(250) 또는 차량 구동부(260)에 제공할 수 있다. ADAS(200)는, 상기 제어 신호를, 출력부(250) 또는 차량 구동부(260)에 차량 내부 네트워크 통신(예를 들면, CAN)을 통해, 직접 출력할 수 있다. 또는, ADAS(200)는, 상기 제어 신호를, 제어부(270)를 거쳐, 출력부(250) 또는 차량 구동부(260)에 출력할 수 있다.
도 3은 일 실시 예에 따른 영상을 이용한 사고 유무 판단 장치의 개략 도이다.
도 3을 참조하면, 사고 유무 판단 장치는 제어부(300), 카메라(310), 메모리(320), 사용자 입력부(330) 및 표시부(340)를 포함할 수 있다. 실시 예에서, 사용자 입력부(330) 및 표시부(340)를 포함하는 것으로 설명하지만, 이러한 구성은 제외하여 구성할 수 있음은 물론이다.
제어부(300)는 차량 내의 복수의 카메라(310)에 의해 촬영 가능한 영역을 설정하고, 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하고, 차량이 주행 또는 주차 상태인지 여부와, 존재한 객체의 유형을 기초로 사고 유무를 판단하고, 판단결과에 따라 소정의 장면을 촬영한 영상을 메모리(320)에 기록할 수 있다. 여기서, 촬영 가능한 영역은 카메라(310)의 화각 범위 내에서 설정될 수 있다. 예를 들면 전후방으로 2 내지 3미터, 좌우 측으로 1미터 일 수 있으나, 그 수치에 한정되지 않고, 카메라 성능 내지 화질에 따라 다르게 설정될 수 있음은 물론이다. 차량이 주행 또는 주차 상태인지 여부, 인식된 객체 유형 등을 기초로 사고 영상 유무를 판단하는 것은 도 5 내지 11을 참조하여 후술한다.
카메라(310)는 복수 개일 수 있으며, 차량의 주위를 모두 촬영할 수 있도록, 전방, 후방, 측면 카메라들을 포함할 수 있다.
메모리(320)는 카메라(310)에서 촬영된 영상을 저장하고, 제어부(300)가 사고 영상이라고 판단한 촬영 영상이 메모리(320)에 기록된다. 촬영 영상 또는 프리뷰 영상을 저장하는 것과는 별도로, 사고 영상을 선별하여, 선별된 사고 영상이 메모리(320)에 기록될 수 있다.
사용자 입력부(330)는 사용자의 선택에 따라 촬영 영상 확인, 사고 영상 확인 등을 하기 위한 사용자 인터페이스일 수 있으며, 터치 또는 버튼 등으로 이루어질 수 있다. 또한, 사용자는 사용자 입력부(330)를 통해 사고 영상의 확인 또는 삭제할 수 있으며, 사고 영상 삭제시에는, 사용자 정보를 확인하는 인증 과정이 추가로 수행될 수 있다.
표시부(340)는 촬영된 영상을 프리뷰 영상으로 표시할 수 있다.
도 4는 도시된 제어부(300)의 구체적인 블록 도이다.
도 4를 참조하면, 제어부(300)는 영역 설정부(400), 주행 판단부(410), 객체 인식부(420), 사고 판단부(430), 영상 정렬부(440), 속도 계산부(450) 및 영상 합성부(460)를 포함한다. 여기서, 모든 구성요소를 포함하는 것으로 설명하지만, 이에 한정되지 않고, 다른 기능들을 제외하는 경우, 일부 구성요소는 제외하고 구현할 수 있음은 물론이다.
영역 설정부(400)는 차량 내의 복수의 카메라들에 의해 촬영 가능한 영역을 설정한다. 촬영 가능 영역은 차량의 전후방으로 2 내지 3미터, 좌우측으로 1미터일 수 있다. 또한, 영역 설정부(400)는 사용자 선택에 따라 변경 가능할 수 있으며, 카메라의 성능에 따라 자동으로 설정될 수 있다.
주행 판단부(410)는 차량이 주행중인지, 주차 상태인지를 판단한다. 주행 판단부(410)는 도 1에 도시된 차량 구동부(150)와 연동하여, 차량이 주행중인지, 주차 상태인지 판단할 수 있다.
객체 인식부(420)는 영역 설정부(400)에서 설정된 촬영 가능 영역 내에 존재하는 물체, 예를 들면 다른 차량, 사람 등을 인식한다. 촬영된 영상으로부터 객체를 인식하는 다양한 객체 인식 알고리즘을 이용할 수 있다.
사고 판단부(430)는 차량이 주행 도는 주차 상태인지, 영역 내에 존재하는 객체가 다른 차량인지, 사람인지에 따라 사고 영상인지 아닌지를 판단하고, 사고 영상이라고 판단한 경우, 촬영된 영상을 메모리에 기록한다. 사고 판단부(430)는 차량이 주행 중인 경우, 영역에 존재하는 객체가 사람인 경우에만 촬영된 영상을 기록한다. 예를 들면 차량이 주행 중인 경우, 주위에는 다른 차량이 존재하는 경우이므로, 차량에 대해서는 촬영된 영상을 기록하지 않는다. 하지만, 차량이 주행중인 경우, 근처에 사람이 존재한다는 것은 사고 가능성이 높다고 판단할 수 있으므로 촬영된 영상을 기록한다. 또한, 차량이 주행 중인 경우에, 주위에 다른 차량이 존재하는 경우라도, 차량 또는 다른 차량이 주행중인 차선을 이탈하는 경우에는 사고 가능성이 높다고 판단할 수 있으므로, 촬영된 영상을 기록한다. 여기서, 차선 이탈 여부는 다양한 차선 이탈 검출 알고리즘을 이용할 수 있다.
주행 판단부(410)의 판단 결과, 차량이 주차 상태인 경우에는 촬영 가능 영역내에 차량이 존재하더라도 주변 차량도 주차된 차량일 가능성이 높으므로, 촬영 영상을 기록하지 않지만, 주변 차량이 이동하는 경우, 즉 주변 차량이 주차를 위해 또는 출차를 위해 이동하는 경우에는 접촉 사고의 가능성이 높으므로 촬영된 영상을 기록한다. 또한, 촬영 가능 영역 내에 사람이 존재하는 경우, 예를 들면 차량 파손 등의 사고 가능성이 높으므로 촬영된 영상을 기록한다.
영상 정렬부(440)는 사고 판단부(430)의 판단 결과, 촬영된 영상을 기록한 사고 영상들이 다수 존재하는 경우, 차량에 근접한 영상의 순서로 정렬하여 표시부(340)에 표시할 수 있다. 따라서, 사용자는 사고 가능성이 높은 영상의 순서대로 확인할 수 있다.
속도 계산부(450)는 차량의 주행속도를 기초로 촬영 가능 영역 내의 다른 차량의 차속 정보를 계산할 수 있다. 이러한 다른 차량의 차속 정보는, 사고 영상의 부가 정보로서 함께 기록되어, 과속 여부를 판단하는 증거로서 사용할 수 있다.
영상 합성부(460)는 사고 또는 근접한 객체 영상을 기록된 영상을 합성한 입체 영상으로 생성한다. 따라서, 사고 영상에 대해 시점을 변화시켜가면서 시각을 달리하여 상세히 표시해 줄 수 있다.
도 5 내지 11은 다른 실시 예에 따른 영상을 이용한 사고 유무 판단 방법을 설명하기 위한 예시 도들이다.
도 5를 참조하면, 차량(510)이 주행 중인 경우에, 인식 가능한 영역(500) 또는 촬영 가능한 영역 내에 검출된 객체가 사람(530)인 경우에는 주행중 녹화를 하지만, 도 6에 도시된 것처럼, 다른 차량(620)만이 존재하는 경우에는 녹화를 하지 않는다.
도 7을 참조하면, 차량(710)이 주행중이고, 다른 차량(720)만이 인식 가능한 영역(700)내에 존재하지만, 차량(710)이 차선을 이탈하는 경우에는 녹화를 하고, 도 8에 도시된 것처럼, 다른 차량(820)이 차선을 이탈하는 경우에도 녹화를 한다.
도 9를 참조하면, 차량(910)이 주차상태인 경우에는 다른 차량들(920 및 930)이 인식 가능 영역(900)내에 정지한 상태인 경우에는 녹화를 하지 않지만, 도 10에 도시된 것처럼, 다른 차량(1030)이 인식 가능한 영역(1000)내에서 이동 중인 경우에는 녹화를 하고, 도 11에 도시된 것처럼, 사람(1140)이 인식 가능한 영역(1100)내에 존재하는 경우에는 녹화를 한다.
실시 예에 따른 사고 유무 판단 알고리즘을 통해, 충격 감지 센서없이도, 사고 영상 유무를 판단할 수 있으며, 사고 영상의 확인도 편리하게 수행할 수 있다.
본 실시 예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 명세서의 설명은 예시를 위한 것이며, 본 명세서의 내용이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 실시 예의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 포함되는 것으로 해석되어야 한다.

Claims (11)

  1. 영상을 이용한 사고 유무를 판단하는 방법에 있어서,
    차량 내의 복수의 카메라들에 의해 촬영 가능한 영역을 설정하는 단계;
    상기 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하는 단계;
    상기 차량이 주행 또는 주차 상태인지 여부와, 상기 존재한 객체의 유형을 기초로 사고 유무를 판단하는 단계; 및
    상기 판단결과에 따라 소정의 장면을 촬영한 영상을 기록하는 단계를 포함하는 영상을 이용한 사고 유무 판단 방법.
  2. 제 1 항에 있어서,
    상기 판단 단계는,
    상기 차량이 주행 중인 경우, 상기 존재한 객체가 사람인지 인식하는 단계를 더 포함하고,
    상기 존재한 객체가 사람인 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 하는 영상을 이용한 사고 유무 판단 방법.
  3. 제 2 항에 있어서,
    상기 판단 단계는,
    상기 차량이 주행 중이고, 상기 존재한 객체가 다른 차량인 경우, 상기 촬영한 영상을 기록하지 않고,
    상기 차량 또는 다른 차량이 각각의 주행차선을 이탈하는 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 하는 영상을 이용한 사고 유무 판단 방법.
  4. 제 3 항에 있어서,
    상기 판단 단계는,
    상기 차량이 주차된 상태이고, 상기 존재하는 객체가 다른 차량이고, 상기 다른 차량이 이동하는 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 하는 영상을 이용한 사고 유무 판단 방법.
  5. 제 4 항에 있어서,
    상기 판단 단계는,
    상기 차량이 주차된 상태이고, 상기 존재하는 객체가 사람인 경우, 상기 촬영한 영상을 기록하는 것을 특징으로 하는 영상을 이용한 사고 유무 판단 방법.
  6. 제 1 항에 있어서,
    상기 기록된 영상을 표시하는 단계를 더 포함하고,
    상기 표시 단계는,
    상기 기록된 영상이 적어도 2개인 경우, 상기 차량에 근접한 영상의 순서로 표시하는 것을 특징으로 하는 영상을 이용한 사고 유무 판단 방법.
  7. 제 1 항에 있어서,
    상기 기록된 영상을 기초로 입체 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 사고 유무 판단 방법.
  8. 제 1 항에 있어서,
    상기 기록된 영상을 삭제하는 경우, 사용자 정보를 확인하는 단계를 더 포함하는 것을 특징으로 하는 영상을 이용한 사고 유무 판단 방법.
  9. 제 1 항에 있어서,
    상기 차량의 차속 정보를 기초로, 상기 설정된 촬영 가능한 영역 내의 다른 차량의 차속 정보를 계산하는 단계를 더 포함하고,
    상기 기록 단계는,
    상기 촬영한 영상에 부가정보로서, 상기 계산된 차속 정보를 함께 기록하는 것을 특징으로 하는 영상을 이용한 사고 유무 판단 방법.
  10. 영상을 이용한 사고 유무를 판단하는 장치에 있어서,
    복수의 카메라;
    메모리; 및
    프로세서를 포함하고,
    상기 프로세서는,
    차량 내의 복수의 카메라에 의해 촬영 가능한 영역을 설정하고, 상기 설정된 촬영 가능한 영역 내에 소정의 객체가 존재하는지 판단하고, 상기 차량이 주행 또는 주차 상태인지 여부와, 상기 존재한 객체의 유형을 기초로 사고 유무를 판단하고, 상기 판단결과에 따라 소정의 장면을 촬영한 영상을 상기 메모리에 기록하는 영상을 이용한 사고 유무 판단 장치.
  11. 제 1 항 내지 제 9 항 중 어느 한 항에 따른 사고 유무 판단 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
KR1020180076104A 2018-06-29 2018-06-29 영상을 이용한 사고 유무 판단 방법 및 장치 KR102094405B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180076104A KR102094405B1 (ko) 2018-06-29 2018-06-29 영상을 이용한 사고 유무 판단 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180076104A KR102094405B1 (ko) 2018-06-29 2018-06-29 영상을 이용한 사고 유무 판단 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200002515A true KR20200002515A (ko) 2020-01-08
KR102094405B1 KR102094405B1 (ko) 2020-04-13

Family

ID=69154704

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180076104A KR102094405B1 (ko) 2018-06-29 2018-06-29 영상을 이용한 사고 유무 판단 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102094405B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220072097A (ko) * 2020-11-24 2022-06-02 한밭대학교 산학협력단 블랙박스 및 사각지대 알림 시스템
KR20220095761A (ko) * 2020-12-30 2022-07-07 아진산업(주) 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006090A (ko) * 2001-07-11 2003-01-23 엘지전자 주식회사 영상기기의 콘텐츠 이력관리 장치 및 방법
KR20150121529A (ko) * 2014-04-21 2015-10-29 주식회사 알리온 차량용 블랙박스의 충격 감지에 따른 이벤트 영상 녹화 방법 및 그 시스템
KR20170056789A (ko) * 2015-11-13 2017-05-24 (주)캠시스 블랙박스 기능을 갖는 avm 시스템 및 운용 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006090A (ko) * 2001-07-11 2003-01-23 엘지전자 주식회사 영상기기의 콘텐츠 이력관리 장치 및 방법
KR20150121529A (ko) * 2014-04-21 2015-10-29 주식회사 알리온 차량용 블랙박스의 충격 감지에 따른 이벤트 영상 녹화 방법 및 그 시스템
KR20170056789A (ko) * 2015-11-13 2017-05-24 (주)캠시스 블랙박스 기능을 갖는 avm 시스템 및 운용 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220072097A (ko) * 2020-11-24 2022-06-02 한밭대학교 산학협력단 블랙박스 및 사각지대 알림 시스템
KR20220095761A (ko) * 2020-12-30 2022-07-07 아진산업(주) 어라운드 뷰 모니터링 영상을 이용한 블랙박스 시스템

Also Published As

Publication number Publication date
KR102094405B1 (ko) 2020-04-13

Similar Documents

Publication Publication Date Title
US10737689B2 (en) Parking assistance apparatus and vehicle having the same
KR101949438B1 (ko) 차량용 디스플레이 장치 및 이를 포함하는 차량
CN107499307B (zh) 自动停车辅助装置以及包括该自动停车辅助装置的车辆
US10800428B2 (en) Vehicle driving assistance method and vehicle
CN110341695B (zh) 车辆控制装置、包括该装置的系统及其方法
US10748428B2 (en) Vehicle and control method therefor
US11084423B2 (en) Apparatus for providing around view
US20170240185A1 (en) Driver assistance apparatus and vehicle having the same
US10887568B2 (en) Image processing apparatus, and image processing method
US10703374B2 (en) Vehicle driving assisting apparatus and vehicle comprising same
CN111830859A (zh) 车辆远程指示系统
KR102331882B1 (ko) 음성 인식 기반의 차량 제어 방법 및 장치
US20210362727A1 (en) Shared vehicle management device and management method for shared vehicle
KR102094405B1 (ko) 영상을 이용한 사고 유무 판단 방법 및 장치
JP6642886B2 (ja) 車両の運転支援装置
KR20200082457A (ko) A d a s 알람 출력 제어 방법 및 장치
KR102389728B1 (ko) 차량의 복수의 카메라로부터 획득된 영상처리방법 및 장치
KR101985496B1 (ko) 차량 운전 보조장치 및 이를 포함하는 차량
KR102175793B1 (ko) 인지 장애 경고 방법 및 장치
KR102124998B1 (ko) 주행 중 a d a s 카메라의 위치 보정 방법 및 장치
KR102559534B1 (ko) 악천후에서의 차량의 주행차선 지원 방법 및 장치
KR20190079334A (ko) 후방 추돌 사고를 방지하는 장치 및 방법
KR102541416B1 (ko) 실시간 교통정보를 반영한 헤드업 디스플레이 영상 표시 방법 및 장치
KR102217973B1 (ko) 차로 가이드 장치 및 차로 가이드 방법
KR20230046799A (ko) 차량의 핸들 디스플레이의 영상 표시 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right