KR20200141793A - 자동 긴급 제동 시스템 및 그 제어방법 - Google Patents

자동 긴급 제동 시스템 및 그 제어방법 Download PDF

Info

Publication number
KR20200141793A
KR20200141793A KR1020190068776A KR20190068776A KR20200141793A KR 20200141793 A KR20200141793 A KR 20200141793A KR 1020190068776 A KR1020190068776 A KR 1020190068776A KR 20190068776 A KR20190068776 A KR 20190068776A KR 20200141793 A KR20200141793 A KR 20200141793A
Authority
KR
South Korea
Prior art keywords
child
candidate object
vehicle
feature vector
emergency braking
Prior art date
Application number
KR1020190068776A
Other languages
English (en)
Inventor
마리 산뮤가라즈
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020190068776A priority Critical patent/KR20200141793A/ko
Priority to US16/898,842 priority patent/US20200391708A1/en
Publication of KR20200141793A publication Critical patent/KR20200141793A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30—Environment conditions or position therewithin
    • B60T2210/32—Vehicle surroundings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2230/00—Monitoring, detecting special vehicle behaviour; Counteracting thereof
    • B60T2230/08—Driving in reverse
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B60Y2300/09—Taking automatic action to avoid collision, e.g. braking or steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18033—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/81—Braking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Regulating Braking Force (AREA)

Abstract

일실시예에 따른 자동 긴급 제동 시스템은 차량 후방의 영상 정보를 획득하는 후방 카메라와, 각 바퀴에 마련된 휠 브레이크에 브레이크 액압을 공급하는 유압유닛 및 후방 카메라를 통해 획득한 후방 영상 정보를 수신하고, 수신된 후방 영상 내의 지면 영역을 검출하고, 검출된 지면 영역 상에서 어린이 후보 객체를 검출하고, 검출된 어린이 후보 객체에 대해 어린이 자세 모양의 특징벡터를 판단하고, 판단된 특징벡터와 미리 설정된 특징벡터를 비교하여 어린이 후보 객체가 어린이인지를 판단하고, 어린이이면, 유압유닛을 통해 차량을 긴급 제동시키는 제어부를 포함한다.

Description

자동 긴급 제동 시스템 및 그 제어방법{AUTONOMOUS EMERGENCY BRAKING SYSTEM AND CONTROL METHOD THEREOF}
개시된 발명은 자동 긴급 제동 시스템 및 그 제어방법에 관한 것으로, 더욱 상세하게는 물체와의 충돌위험이 있을 경우 차량을 자동으로 제동시키는 자동 긴급 제동 시스템 및 그 제어방법에 관한 것이다.
운전자가 차량 후방에 보행자가 있는지 모른 채 차량을 후진시켜 보행자를 치는 사고가 발생할 수 있다.
부상 피해자 중 상당수가 어린이인 것으로 알려져 있다.
후방 카메라는 보행자와의 후진 충돌을 방지하는 데 효과적인 것으로 입증되고 있다.
그러나 단순히 운전자에게 후방 영상을 보여주기만 하는 것은 후진 중 보행자 사고를 예방하기에 완벽하지 않다. 실제로 후방 카메라를 사용할 때조차도 높은 확률로 운전자가 어린이 크기의 마네킹을 피하지 못하고 충돌을 발생시킨다는 연구결과가 있다.
또한, 전방 보행자는 주로 서 있는 자세이지만, 후방 보행자는 서 있는 자세뿐만 아니라, 앉거나 혹은 기는 자세 등의 다양한 자세를 취한다.
기존에는 전방 보행자 특히 주로 서 있는 직립 자세의 전방 보행자를 감지하는 기술에 초점을 두고 있다. 이러한 이유로 앉거나 혹은 기는 자세 등 다양한 자세의 후방 보행자의 경우 특히 어린이일 경우 감지하기 어렵다.
또한, 후방 보행자는 차량과 매우 근접한 거리에 존재하기 때문에 반응시간에 한계가 있는 운전자입장에서는 신속한 제동에 한계가 있어 후진 충돌을 방지하기 어렵다.
공개특허공보 제10-2016-0111069호(2016.09.26.공개) 공개특허공보 제10-2001-0063421호(2001.07.09.공개)
개시된 발명의 일 측면은 차량 후방의 다양한 자세의 어린이를 감지하고 어린이와의 충돌을 방지할 수 있는 자동 긴급 제동 시스템 및 그 제어방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 차량 후방의 영상 정보를 획득하는 후방 카메라; 각 바퀴에 마련된 휠 브레이크에 브레이크 액압을 공급하는 유압유닛; 및 상기 후방 카메라를 통해 획득한 후방 영상 정보를 수신하고, 상기 수신된 후방 영상 내의 지면 영역을 검출하고, 상기 검출된 지면 영역 상에서 어린이 후보 객체를 검출하고, 상기 검출된 어린이 후보 객체에 대해 어린이 자세 모양의 특징벡터를 판단하고, 상기 판단된 특징벡터와 미리 설정된 특징벡터를 비교하여 상기 어린이 후보 객체가 어린이인지를 판단하고, 어린이이면, 상기 유압유닛을 통해 차량을 긴급 제동시키는 제어부를 포함하는 자동 긴급 제동 시스템이 제공될 수 있다.
상기 제어부는 어린이의 평균 폭과 높이, 상기 검출된 지면 영역과의 연결 여부 등을 근거로 상기 어린이 후보 객체가 어린이인지를 판단할 수 있다.
상기 제어부는 앉거나 기는 자세의 어린이의 특징 벡터와 미리 설정된 특징벡터를 비교하여 상기 어린이 후보 객체가 어린이인지를 판단할 수 있다.
상기 제어부는 상기 검출된 어린이 후보 객체에 대한 에지들 가운데 수직/수평/사선 방향의 에지들을 검출하고, 상기 검출된 에지들이 형성하는 형상과, 미리 설정되는 어린이의 다양한 자세의 수직/수평/사선 방향의 기준 형상을 정렬 및 비교하여, 양 형상 사이의 유사도가 임계값 이상인 경우 상기 어린이 후보 객체를 어린이로 판단할 수 있다.
상기 제어부는 상기 판단된 어린이와 차량 간의 거리에 근거하여 상기 차량과 어린이의 충돌 가능성을 판단하고, 상기 판단결과에 기초하여 상기 차량을 긴급 제동시킬 수 있다.
본 발명의 다른 측면에 따르면, 후방 카메라를 통해 차량 후방의 영상 정보를 획득하고, 상기 획득된 후방 영상 내의 지면 영역을 검출하고, 상기 검출된 지면 영역 상에서 어린이 후보 객체를 검출하고, 상기 검출된 어린이 후보 객체에 대해 어린이 자세 모양의 특징벡터를 판단하고, 상기 판단된 특징벡터와 미리 설정된 특징벡터를 비교하여 상기 어린이 후보 객체가 어린이인지를 판단하고, 어린이이면, 차량을 긴급 제동시키는 자동 긴급 제동 시스템의 제어방법이 제공될 수 있다.
개시된 발명의 일 측면에 따르면, 차량 후방의 어린이를 보다 효과적으로 감지할 수 있고 자동 제동을 통해 어린이와의 충돌을 방지할 수 있다.
개시된 발명의 일 측면에 따르면, 어린이가 앉거나 혹은 기는 자세와 같은 다양한 자세일지라도 어린이를 감지할 수 있다.
도 1은 일실시예에 의한 자동 긴급 제동 시스템이 장착된 차량을 도시한다.
도 2는 일실시예에 의한 자동 긴급 제동 시스템의 제어블록을 도시한다.
도 3은 일실시예에 의한 자동 긴급 제동 시스템에서 후방 카메라를 통해 차량 후방의 영상을 촬영하는 것을 도시한다.
도 4 내지 도 8은 일실시예에 의한 자동 긴급 제동 시스템에서 차량 뒤에 앉아 있는 자세의 어린이를 감지하는 과정을 도시한다.
도 9는 일실시예에 의한 자동 긴급 제동 시스템에서 차량 뒤에서 기는 자세의 어린이를 감지한 것을 도시한다.
도 10은 일실시예에 의한 자동 긴급 제동 시스템의 제어방법을 도시한다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 개시된 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 ‘부, 모듈, 부재, 블록’이 하나의 구성요소로 구현되거나, 하나의 ‘부, 모듈, 부재, 블록’이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 “연결”되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 “상에”위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
일실시예에 의한 자동 긴급 제동 시스템은 차량에 장착된 카메라를 이용하여 보행자가 검출될 경우 차량이 스스로 위험을 미리 감지하고 운전자가 미처 반응하지 못했을 때 자동으로 브레이크를 제어하여 충돌을 방지하는 시스템일 수 있다.
또한, 자동 긴급 제동 시스템은 보행자와의 충돌을 방지할 수 있도록 보행자가 검출될 경우, 보행자와 상대속도 및 상대거리를 기반으로 운전자의 제동 여부에 관계없이 자동으로 급제동을 수행함으로써 보행자와의 충돌을 미연에 방지할 수 있다.
도 1은 일실시예에 의한 자동 긴급 제동 시스템이 장착된 차량을 도시하고, 도 2는 일실시예에 의한 자동 긴급 제동 시스템의 제어블록을 도시한다.
도 1 및 도 2를 참조하면, 자동 긴급 제동 시스템은 후방 카메라(10), 유압유닛(20), 제어부(30) 및 디스플레이 모듈(40)을 포함할 수 있다.
후방 카메라(10)는 루프 패널 후단 측 하면에 장착되고 리어 윈드 글라스를 통해 차체 후방을 정지화상 또는 동영상으로 촬상 가능한 카메라에 의해 구성되어 있을 수 있다. 후방 카메라(10)는 차량 후방의 캡쳐영역(C)에 어린이와 같은 보행자(P)를 캡쳐할 수 있도록 차량 후방의 영상 정보를 획득할 수 있다(도 3 참조).
후방 카메라(10)는 CCD(Charge-Coupled Device) 카메라 또는 CMOS 컬러 이미지 센서를 포함할 수 있다. 여기서 CCD 및 CMOS는 모두 카메라의 렌즈를 통해 들어온 빛을 전기 신호로 바꾸어 저장하는 센서를 의미한다. 구체적으로 CCD(Charge-Coupled Device) 카메라는 전하 결합 소자를 사용하여 영상을 전기 신호로 변환하는 장치이다. 또한, CIS(CMOS Image Sensor)는 CMOS 구조를 가진 저소비, 저전력형의 촬상소자를 의미하며, 디지털 기기의 전자 필름 역할을 수행한다. 일반적으로 CCD는 CIS보다 감도가 좋아 차량(1)에 많이 쓰이지만, 반드시 이에 한정되는 것은 아니다.
유압유닛(HU)(20)은 각 차륜(FL, RR, RL, FR)에 제동력을 부여하도록 휠 브레이크(WBfl, WBrr, WBrl, WBfr)에 브레이크 액압을 공급할 수 있다.
유압유닛(20)은 리저버의 브레이크액을 펌핑하여 각 휠 실린더(Wfr, Wrl, Wfl, Wrr) 측으로 공급하는 유압펌프와, 이 유압펌프에 접속된 모터와, 이 유압펌프에 의해 펌핑된 브레이크액을 임시 저장하는 저압 어큐뮬레이터와, 마스터 실린더로부터 공급된 브레이크액을 휠 실린더로 공급 또는 리저버로 복귀시키는 솔레노이드 밸브들을 포함할 수 있다. 이외에도 유압유닛(20)은 다양한 형태로 구현 가능하다.
제어부(30)는 프로세서(31)와 메모리(32)를 포함할 수 있다.
프로세서(31)는 브레이크 페달 센서(PS)를 통해 운전자가 브레이크 페달(BP)을 조작한 조작정보를 수신할 수 있다.
프로세서(31)는 각 차륜(FL, RR, RL, FR)에 마련되어 각 바퀴의 휠 속도를 각각 검출하는 휠 속도센서(WSfl, WSrr, WSrl, WSfr)로부터 휠 속도 정보를 수신할 수 있다. 프로세서(31)는 휠 속도센서(WSfl, WSrr, WSrl, WSfr)를 통해 검출된 각 휠 속도 정보에 따라 차량(1)의 속도를 인식할 수 있다.
프로세서(31)는 유압유닛(HU)(20)을 통해 각 차륜(FL, RR, RL, FR)에 마련된 휠 브레이크(WBfl, WBrr, WBrl, WBfr)를 작동시켜 각 차륜(FL, RR, RL, FR)를 제동킬 수 있다.
프로세서(31)는 후방 카메라(10)의 출력을 처리하고, 후방 카메라의 출력을 기초로 유압유닛(20)을 통해 차량(1)을 긴급 제동시킬 수 있다.
프로세서(31)는 후방 카메라(10)에 의해 획득된 차량 후방 영상에서 정보를 검출할 수 있다. 정보는 보행자에 대한 정보일 수 있다. 정보는 보행자 중 어린이에 대한 정보일 수 있다. 정보는 어린이의 다양한 자세 정보일 수 있다.
프로세서(31)는 후방 카메라(10)를 통해 획득된 영상 정보를 분석하여 서 있거나, 앉거나 혹은 기는 자세 등 다양한 자세의 어린이를 감지하고, 어린이가 존재할 경우, 차량을 긴급 제동시킬 수 있다.
프로세서(31)는 후방 카메라(10)를 통해 획득된 영상 정보를 분석하여 지면을 검출하고, 검출된 지면상의 물체를 검출하고, 앉거나 혹은 기는 자세 등 다양한 자세의 어린이인지를 판단하고, 어린이일 경우 차량을 긴급 제동시킬 수 있다.
프로세서(31)는 어린이와 차량 간의 거리에 근거하여 차량과 어린이의 충돌 가능성을 판단하고, 충돌 가능성이 미리 설정된 값보다 크면, 차량을 긴급 제동시킬 수 있다.
메모리(32)는 후방 카메라의 출력을 처리하기 위한 프로그램 및 데이터를 저장할 수 있고, 후방 영상에서 다양한 자세의 어린이를 감지하기 위한 프로그램 및 데이터를 저장할 수 있으며, 차량(1)을 긴급 제동시키기 위한 프로그램 및 데이터를 저장할 수 있다.
메모리(32)는 후방 카메라(10)로부터 수신된 영상데이터를 임시로 기억하고, 프로세서(31)의 영상데이터의 처리 결과를 임시로 기억할 수 있다.
메모리(32)는 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리뿐만 아니라 플래시 메모리, 롬(Read Only Memory, ROM), 이피롬(Erasable Programmable Read Only Memory: EPROM) 등의 비휘발성 메모리를 포함할 수 있다.
디스플레이 모듈(40)은 프로세서(31)에 의해 후방 카메라(10)를 통해 획득된 후방 영상을 표시할 수 있다.
디스플레이 모듈(40)은 프로세서(31)에 의해 운전자가 시각적으로 확인 가능하도록 후방 영상 내에서 어린이를 구분되게 표시할 수 있다.
도 4 내지 도 7은 일실시예에 의한 자동 긴급 제동 시스템에서 차량 뒤에 앉아 있는 자세의 어린이를 감지하는 과정을 도시한다.
도 4에 도시된 바와 같이, 프로세서(31)는 후방 카메라(10)를 통해 차량 후방 영상을 수신한다.
도 5 및 도 6에 도시된 바와 같이, 프로세서(31)는 수신된 차량 후방 영상에서 지면 영역(100)을 검출한다.
프로세서(31)는 후방 카메라(10)로부터 수신된 차량 후방 영상 내에서 에지(edge)(또는 경계선)을 검출하여 에지에 의해 구분되는 지면 영역(100)을 검출할 수 있다.
프로세서(31)는 캐니(Canny) 에지 검출 알고리즘, 라인(Line) 에지 검출 알고리즘, 라플라시안(Laplacian) 에지 검출 알고리즘 등과 같은 에지 검출 알고리즘을 이용하여 영상 내 경계선을 검출하고 지면 영역(100)을 추출할 수 있다.
프로세서(31)는 검출된 경계선에 따라 배경과 구분되는 영역을 그룹화하여 지면 영역으로 추출할 수 있다.
도 7에 도시된 바와 같이, 프로세서(31)는 지면 영역(100) 상에서 어린이 후보 객체(110)를 검출한다.
프로세서(31)는 어린이 후보 객체(110)는 동적 객체와 정적 객체를 모두 포함할 수 있다.
프로세서(31)는 배경과 객체 간의 색상 차이에 근거로 하여 어린이 후보 객체(110)를 추출할 수 있다. 프로세서(31)는 차량 후방 영상의 픽셀 값을 계산하여 유사한 색상 값을 가지는 영역을 그룹화하고 하나의 그룹을 하나의 객체로서 추출할 수 있다. 객체의 픽셀들은 서로 유사한 색상 값을 가지는 특성에 근거하여 하나의 영역으로 그룹화될 수 있다.
프로세서(31)는 수신된 후방 영상들 중에서 인접한 두 영상 프레임의 명암 변화로부터 움직임 정보를 나타내는 모션벡터를 추정하고, 추정된 모션벡터로부터 특징점이 움직인 방향 및 크기에 따라 어린이 후보 객체(110)를 검출할 수 있다.
도 8에 도시된 바와 같이, 프로세서(31)는 지면 영역(100) 상에서 검출된 어린이 후보 객체(110)로부터 어린이(111)를 검출한다.
프로세서(31)는 어린이 후보 객체(110)에 대해 어린이 자세와 관련된 특징벡터를 판단하고, 판단된 특징벡터와 미리 설정된 특징벡터를 비교하여 어린이 후보 객체(110)가 어린이(111)인지를 판단할 수 있다.
프로세서(31)는 어린이의 앉거나 기는 자세를 고려하여 어린이 후보 객체(110)의 평균 폭과 높이, 지면과의 연결 여부 등을 근거로 어린이 후보 객체(110)가 어린이(111)인지를 결정할 수 있다.
프로세서(31)는 어린이의 앉거나 기는 자세 특징 및 그 자세 크기 특징에 대응하는 어린이의 특정 특징을 바탕으로 어린이 후보 객체(110)가 어린이(111)인지를 결정할 수 있다.
프로세서(31)는 어린이 후보 객체(110)에 대한 수직 성분을 검출하고, 검출된 수직 성분과 어린이 패턴 사이의 유사도를 판단하여 어린이 후보 객체가 어린이(111)인지를 결정할 수 있다.
프로세서(31)는 어린이 후보 객체(110)에 대한 에지들 가운데 수직 방향의 에지들을 검출하고, 검출된 에지들이 형성하는 형상과, 소정의 테이블에 저장된 어린이의 다양한 자세의 수직 방향의 기준 형상을 정렬 및 비교하여, 양 형상 사이의 유사도가 임계값 이상인 경우 어린이 후보 객체(110)를 어린이(111)로 검출할 수 있다.
프로세서(31)는 어린이 후보 객체(110)에 대한 에지들 가운데 수직/수평/사선 방향의 에지들을 검출하고, 검출된 에지들이 형성하는 형상과, 소정의 테이블에 저장된 어린이의 다양한 자세의 수직/수평/사선 방향의 기준 형상을 정렬 및 비교하여, 양 형상 사이의 유사도가 임계값 이상인 경우 어린이 후보 객체(110)를 어린이(111)로 검출할 수 있다.
프로세서(31)는 어린이가 검출되면, 디스플레이 모듈(40)을 통해 후방 영상 내에서 어린이가 구분되게 표시시킬 수 있다.
일실시예에 의한 자동 긴급 제동 시스템은 어린이의 앉은 자세, 기는 자세 등 다양한 자세를 SVM(Support Vector Machine) 분류기를 이용하여 선행 학습시킨 후 후방 영상에서 어린이 후보 객체(110)가 어린이(111)인지 아닌지를 결정할 수 있다.
일실시예에 의한 자동 긴급 제동 시스템은 SVM(Support Vector Machine) 기법 이외에도 뉴럴 네트워크 (neural network) 를 이용한 식별법, Haar-like 특징을 이용한 AdaBoost 에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법, 광류 추정 알고리즘 등을 사용하여 어린이 후보 객체(110)가 어린이(111)인지 아닌지를 결정할 수 있다.
도 9는 일실시예에 의한 자동 긴급 제동 시스템에서 차량 뒤에서 기는 자세의 어린이를 감지한 것을 도시한다.
이와 같이, 차량 뒤에 어린이가 앉거나 기는 자세를 취하더라도 어린이를 검출할 수 있고, 충돌 위험이 높을 경우 차량을 긴급 제동시킴으로써 어린이와의 충돌을 방지할 수 있다.
도 10은 일실시예에 의한 자동 긴급 제동 시스템의 제어방법을 도시한다.
도 10을 참조하면, 프로세서(31)는 후방 카메라(10)로부터 차량 후방 영상을 수신한다(200).
프로세서(31)는 수신된 차량 후방 영상을 분석하여 지면 영역(100)을 검출한다(202). 프로세서(31)는 후방 카메라(10)로부터 수신된 차량 후방 영상 내에서 에지을 검출하여 에지에 의해 구분되는 지면 영역(100)을 검출할 수 있다.
프로세서(31)는 검출된 지면 영역(100)에서 어린이 후보 객체(110)를 검출한다(204). 프로세서(31)는 차량 후방 영상의 픽셀 값을 계산하여 유사한 색상 값을 가지는 하나의 영역으로 그룹화한 영역을 이용하여 어린이 후보(110)를 검출할 수 있다.
프로세서(31)는 어린이 후보 객체(110)에 대해 어린이 자세 모양의 특징벡터를 판단하고 판단된 특징벡터와 미리 설정된 특징벡터를 비교함으로써 어린이 후보 객체(110)가 어린이(111)인지를 판단한다(206). 프로세서(31)는 SVM(Support Vector Machine) 분류 식별법, 뉴럴 네트워크 (neural network) 를 이용한 식별법, Haar-like 특징을 이용한 AdaBoost 에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법, 광류 추정 알고리즘 등을 사용하여 어린이 후보 객체(110)가 어린이(111)인지 아닌지를 판단할 수 있다.
프로세서(31)는 어린이 후보 객체(110)가 어린이(111)이면, 유압유닛(20)을 통해 차량을 긴급 제동시킨다(208).
10 : 후방 카메라 20 : 유압유닛(HU)
30 : 제어부 31 : 프로세서
32 : 메모리 40 : 디스플레이 모듈

Claims (6)

  1. 차량 후방의 영상 정보를 획득하는 후방 카메라;
    각 바퀴에 마련된 휠 브레이크에 브레이크 액압을 공급하는 유압유닛; 및
    상기 후방 카메라를 통해 획득한 후방 영상 정보를 수신하고, 상기 수신된 후방 영상 내의 지면 영역을 검출하고, 상기 검출된 지면 영역 상에서 어린이 후보 객체를 검출하고, 상기 검출된 어린이 후보 객체에 대해 어린이 자세 모양의 특징벡터를 판단하고, 상기 판단된 특징벡터와 미리 설정된 특징벡터를 비교하여 상기 어린이 후보 객체가 어린이인지를 판단하고, 어린이이면, 상기 유압유닛을 통해 차량을 긴급 제동시키는 제어부를 포함하는 자동 긴급 제동 시스템.
  2. 제1항에 있어서,
    상기 제어부는 어린이의 평균 폭과 높이, 상기 검출된 지면 영역과의 연결 여부 등을 근거로 상기 어린이 후보 객체가 어린이인지를 판단하는 자동 긴급 제동 시스템.
  3. 제2항에 있어서,
    상기 제어부는 앉거나 기는 자세의 어린이의 특징 벡터와 미리 설정된 특징벡터를 비교하여 상기 어린이 후보 객체가 어린이인지를 판단하는 자동 긴급 제동 시스템.
  4. 제1항에 있어서,
    상기 제어부는 상기 검출된 어린이 후보 객체에 대한 에지들 가운데 수직/수평/사선 방향의 에지들을 검출하고, 상기 검출된 에지들이 형성하는 형상과, 미리 설정되는 어린이의 다양한 자세의 수직/수평/사선 방향의 기준 형상을 정렬 및 비교하여, 양 형상 사이의 유사도가 임계값 이상인 경우 상기 어린이 후보 객체를 어린이로 판단하는 자동 긴급 제동 시스템.
  5. 제1항에 있어서,
    상기 제어부는 상기 판단된 어린이와 차량 간의 거리에 근거하여 상기 차량과 어린이의 충돌 가능성을 판단하고, 상기 판단결과에 기초하여 상기 차량을 긴급 제동시키는 자동 긴급 제동 시스템.
  6. 후방 카메라를 통해 차량 후방의 영상 정보를 획득하고,
    상기 획득된 후방 영상 내의 지면 영역을 검출하고,
    상기 검출된 지면 영역 상에서 어린이 후보 객체를 검출하고,
    상기 검출된 어린이 후보 객체에 대해 어린이 자세 모양의 특징벡터를 판단하고,
    상기 판단된 특징벡터와 미리 설정된 특징벡터를 비교하여 상기 어린이 후보 객체가 어린이인지를 판단하고,
    어린이이면, 차량을 긴급 제동시키는 자동 긴급 제동 시스템의 제어방법.
KR1020190068776A 2019-06-11 2019-06-11 자동 긴급 제동 시스템 및 그 제어방법 KR20200141793A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190068776A KR20200141793A (ko) 2019-06-11 2019-06-11 자동 긴급 제동 시스템 및 그 제어방법
US16/898,842 US20200391708A1 (en) 2019-06-11 2020-06-11 Autonomous emergency braking system and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190068776A KR20200141793A (ko) 2019-06-11 2019-06-11 자동 긴급 제동 시스템 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20200141793A true KR20200141793A (ko) 2020-12-21

Family

ID=73746069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190068776A KR20200141793A (ko) 2019-06-11 2019-06-11 자동 긴급 제동 시스템 및 그 제어방법

Country Status (2)

Country Link
US (1) US20200391708A1 (ko)
KR (1) KR20200141793A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112590736A (zh) * 2021-01-12 2021-04-02 中国煤炭科工集团太原研究院有限公司 一种矿用防爆车辆智能主动被动联合制动系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112918470B (zh) * 2021-03-01 2022-03-04 长沙理工大学 一种保护行人的智能自动紧急制动方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010063421A (ko) 1999-12-22 2001-07-09 박종섭 차량의 후방충돌 경보장치 및 방법
KR20160111069A (ko) 2015-03-16 2016-09-26 주식회사 만도 자동 긴급 제동장치 및 그 제어방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011113077A1 (de) * 2011-09-07 2013-03-07 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung einer Durchfahrbarkeit eines Objekts für ein Fahrzeug mittels einer 3D-Kamera
JP6266238B2 (ja) * 2013-07-03 2018-01-24 クラリオン株式会社 接近物検出システム、及び車両
US9493170B2 (en) * 2014-01-29 2016-11-15 Continental Automotive Systems, Inc. Method for reducing false activations in reverse collision avoidance systems
WO2016014548A1 (en) * 2014-07-25 2016-01-28 Robert Bosch Gmbh Method for mitigating radar sensor limitations with video camera input for active braking for pedestrians
KR101569411B1 (ko) * 2015-04-01 2015-11-27 주식회사 피엘케이 테크놀로지 보행자 인식 장치 및 그 방법
US11170299B2 (en) * 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
US10949978B2 (en) * 2019-01-22 2021-03-16 Fyusion, Inc. Automatic background replacement for single-image and multi-view captures
WO2020190781A1 (en) * 2019-03-16 2020-09-24 Nvidia Corporation Leveraging multidimensional sensor data for computationally efficient object detection
RU2767955C1 (ru) * 2019-05-27 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для определения компьютером наличия динамических объектов

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010063421A (ko) 1999-12-22 2001-07-09 박종섭 차량의 후방충돌 경보장치 및 방법
KR20160111069A (ko) 2015-03-16 2016-09-26 주식회사 만도 자동 긴급 제동장치 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112590736A (zh) * 2021-01-12 2021-04-02 中国煤炭科工集团太原研究院有限公司 一种矿用防爆车辆智能主动被动联合制动系统及方法

Also Published As

Publication number Publication date
US20200391708A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
US10474909B2 (en) Vehicular vision system with image processing
US20200356788A1 (en) Trailer angle detection system using rear camera of vehicle
US10255509B2 (en) Adaptive lane marker detection for a vehicular vision system
US20190205668A1 (en) Object detecting apparatus, object detecting method, and computer program product
KR101569411B1 (ko) 보행자 인식 장치 및 그 방법
JP5690688B2 (ja) 外界認識方法，装置，および車両システム
US11648877B2 (en) Method for detecting an object via a vehicular vision system
US10783382B2 (en) Systems and methods for buffer-free lane detection
US11912199B2 (en) Trailer hitching assist system with trailer coupler detection
US10635896B2 (en) Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system and motor vehicle
TWI401473B (zh) 影像式夜間行人偵測系統及方法
US20180239972A1 (en) Vehicle vision system with enhanced traffic sign recognition
US10839236B2 (en) Vehicle exterior environment recognition apparatus
US20160180158A1 (en) Vehicle vision system with pedestrian detection
US11508156B2 (en) Vehicular vision system with enhanced range for pedestrian detection
CN110520898B (zh) 用于消除明亮区域的图像处理方法
US20200391708A1 (en) Autonomous emergency braking system and control method thereof
US20150035973A1 (en) Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle
US20190143908A1 (en) Vehicle light/display control system using camera
KR100801989B1 (ko) 번호판 인식 시스템，전처리 장치 및 방법
US11393128B2 (en) Adhered substance detection apparatus
WO2021006025A1 (ja) 物体識別装置
KR102045026B1 (ko) 차선 인식 장치 및 방법
WO2020129517A1 (ja) 画像処理装置
US20230368411A1 (en) Vehicular vision system with object detection and identification with adaptive thresholding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal