KR20210088780A - 운전자 보조 장치 및 그 방법 - Google Patents

운전자 보조 장치 및 그 방법 Download PDF

Info

Publication number
KR20210088780A
KR20210088780A KR1020200001248A KR20200001248A KR20210088780A KR 20210088780 A KR20210088780 A KR 20210088780A KR 1020200001248 A KR1020200001248 A KR 1020200001248A KR 20200001248 A KR20200001248 A KR 20200001248A KR 20210088780 A KR20210088780 A KR 20210088780A
Authority
KR
South Korea
Prior art keywords
obstacle
vehicle
collision avoidance
similarity
collision
Prior art date
Application number
KR1020200001248A
Other languages
English (en)
Inventor
전승훈
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020200001248A priority Critical patent/KR20210088780A/ko
Priority to US16/776,691 priority patent/US10906559B1/en
Priority to DE102020207928.5A priority patent/DE102020207928A1/de
Priority to CN202010594865.0A priority patent/CN113147747A/zh
Priority to US17/079,874 priority patent/US11479269B2/en
Publication of KR20210088780A publication Critical patent/KR20210088780A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G06K9/00805—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52—Radar, Lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315—Monitoring blind spots
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Abstract

차량의 주행 중 장애물 뒤에 가려져서 시야에서 사라진 보행자가 장애물을 통과하여 갑자기 등장하는 경우 발생할 수 있는 충돌을 회피하기 위한 운전자 보조 장치는, 차량에 마련되어 상기 차량 전방의 영상 데이터를 획득하는 전방 카메라; 상기 차량에 마련되어 상기 차량 주변의 레이더 데이터를 획득하는 레이더 센서; 및 상기 전방 카메라 또는 상기 레이더 센서 중 적어도 하나와 연결되어 장애물을 감지하고 상기 차량의 충돌 회피 제어를 수행하는 제어부;를 포함하고, 상기 제어부는, 상기 차량 전방의 영상 데이터 또는 상기 레이더 데이터 중 적어도 하나에 기초하여 상기 차량의 주행 차로 외부에서 횡 방향으로 접근하는 제 1 장애물을 인식하고, 상기 차량과 상기 제 1 장애물의 충돌을 회피하기 위한 충돌 회피 경로를 산출하고, 상기 산출된 충돌 회피 경로 및 상기 제 1 장애물의 정보를 저장하고, 상기 제 1 장애물과 상기 차량 사이에 위치하는 제 2 장애물에 의해 상기 제 1 장애물의 인식이 중단된 후 상기 제 2 장애물을 횡 방향으로 통과하여 접근하는 제 3 장애물이 인식되면 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성에 기초하여 상기 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행한다.

Description

운전자 보조 장치 및 그 방법{AN APPARATUS FOR ASSISTING DRIVING OF A VEHICLE AND METHOD THEREOF}
차량의 주행 중 장애물 뒤에 가려져서 시야에서 사라진 보행자가 장애물을 통과하여 갑자기 등장하는 경우 발생할 수 있는 충돌을 회피하기 위한 운전자 보조 장치 및 그 방법에 관한 것이다.
차량은 사람 또는 화물을 운송할 목적으로 차륜을 구동시켜 주행하는 기계로, 도로 위를 이동한다. 이러한 차량은 자체의 고장에 의해 사고를 발생시키거나, 운전자의 부주의, 타 차량의 과실이나 도로 상태에 의해 사고가 발생될 수 있다.
최근 운전자 부주의로 발생하는 사고를 방지하기 위하여 운전자에게 차량의 주행 정보를 전달해주고 또한 운전자의 편의를 위한 자율 주행을 위해 다양한 운전 보조 시스템(ADAS: Advanced Driver Assistance Systems)이 개발되고 있다.
차량에 탑재되는 첨단 운전자 보조 시스템의 일 예로, 긴급 제동 보조 시스템(AEB; Autonomous Emergency Braking)이 있다.
긴급 제동 보조 시스템은 차량에 마련된 카메라 또는 레이더 센서에서 획득하는 정보에 기초하여 대항 차량, 교차 차량 또는 보행자와의 충돌 위험을 판단하고 긴급 제동 및 조향 제어를 통해 충돌을 회피하도록 보조하는 시스템이다.
하지만 긴급 제동 보조 시스템은 차량에 마련된 카메라 또는 레이더 센서에서 획득하는 정보에 기초하여 충돌 위험을 판단하고, 긴급 제동 및 조향 제어를 수행하기 때문에, 장애물에 가려진 사각지대의 보행자가 차량 전방에 갑자기 나타나는 경우 충돌 회피를 위한 제동 또는 조향 시점이 늦어져 충돌을 회피하기 어렵다는 문제점이 존재한다.
개시된 발명은 장애물에 가려진 사각지대의 보행자가 차량 전방에 갑자기 나타나는 경우, 충돌을 회피하기 위한 충돌 회피 제어를 신속하고 정확하게 수행하도록 하는 운전자 보조 장치 및 그 방법을 제공한다.
상술한 목적을 달성하기 위한 일 실시예에 따른 운전자 보조 장치는, 차량에 마련되어 상기 차량 전방의 영상 데이터를 획득하는 전방 카메라; 상기 차량에 마련되어 상기 차량 주변의 레이더 데이터를 획득하는 레이더 센서; 및 상기 전방 카메라 또는 상기 레이더 센서 중 적어도 하나와 연결되어 장애물을 감지하고 상기 차량의 충돌 회피 제어를 수행하는 제어부;를 포함하고, 상기 제어부는, 상기 차량 전방의 영상 데이터 또는 상기 레이더 데이터 중 적어도 하나에 기초하여 상기 차량의 주행 차로 외부에서 횡 방향으로 접근하는 제 1 장애물을 인식하고, 상기 차량과 상기 제 1 장애물의 충돌을 회피하기 위한 충돌 회피 경로를 산출하고, 상기 산출된 충돌 회피 경로 및 상기 제 1 장애물의 정보를 저장하고, 상기 제 1 장애물과 상기 차량 사이에 위치하는 제 2 장애물에 의해 상기 제 1 장애물의 인식이 중단된 후 상기 제 2 장애물을 횡 방향으로 통과하여 접근하는 제 3 장애물을 인식하고, 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성에 기초하여 상기 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행할 수 있다.
또한, 상기 제어부는, 미리 설정된 속도 이상의 횡 방향 속도를 갖는 장애물을 상기 제 1 장애물로 인식할 수 있다.
또한, 상기 제어부는, 상기 주행 차로까지의 예상 도달 시간이 미리 설정된 시간 이하인 장애물을 상기 제 1 장애물로 인식할 수 있다.
또한, 상기 제어부는, 상기 차량의 종 방향 속도 및 상기 감지된 장애물의 종 방향 속도에 기초하여 상기 감지된 장애물과 상기 차량과의 충돌 예상 시간(Time To Collision; TTC)을 산출하고, 상기 차량과의 충돌 예상 시간이 미리 설정된 시간 이하인 장애물을 상기 제 1 장애물로 인식할 수 있다.
또한, 상기 제어부는, 상기 차량이 상기 제 2 장애물을 종 방향으로 통과할 때까지 상기 제 3 장애물이 인식되지 않으면 상기 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행하지 않을 수 있다.
또한, 상기 제어부는, 상기 저장된 제 1 장애물의 정보와 상기 인식된 제 3 장애물의 정보를 비교하여 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성을 산출할 수 있다.
또한, 상기 제어부는, 상기 제 1 장애물과 상기 제 3 장애물 각각의 횡 방향 속도, 면적 또는 색상 중 적어도 하나를 비교하여 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성을 산출할 수 있다.
또한, 상기 제어부는, 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성이 제 1 임계값 이상이면 완전 제동(full-braking)에 기초한 충돌 회피 제어를 수행할 수 있다.
또한, 상기 제어부는, 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성이 제 1 임계값 보다 작고 상기 제 1 임계값 보다 작은 제 2 임계값 이상이면 부분 제동(partial-braking)에 기초한 충돌 회피 제어를 수행할 수 있다.
또한, 상기 제어부는, 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성이 제 3 임계값 이상이면 경고 신호를 송출하기 위한 제어 신호를 생성할 수 있다.
상술한 목적을 달성하기 위한 일 실시예에 따른 운전자 보조 방법은, 차량 전방의 영상 데이터 또는 상기 차량 주변의 레이더 데이터 중 적어도 하나에 기초하여 상기 차량의 주행 차로 외부에서 횡 방향으로 접근하는 제 1 장애물을 인식하고; 상기 차량과 상기 제 1 장애물의 충돌을 회피하기 위한 충돌 회피 경로를 산출하고; 상기 산출된 충돌 회피 경로 및 상기 제 1 장애물의 정보를 저장하고; 상기 제 1 장애물과 상기 차량 사이에 위치하는 제 2 장애물에 의해 상기 제 1 장애물의 인식이 중단된 후 상기 제 2 장애물을 횡 방향으로 통과하여 접근하는 제 3 장애물을 인식하고; 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성에 기초하여 상기 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행하는 것;을 포함할 수 있다.
또한, 상기 차량의 주행 차로 외부에서 횡 방향으로 접근하는 제 1 장애물을 인식하는 것은, 미리 설정된 속도 이상의 횡 방향 속도를 갖는 장애물을 인식하는 것;을 포함할 수 있다.
또한, 상기 차량의 주행 차로 외부에서 횡 방향으로 접근하는 제 1 장애물을 인식하는 것은, 상기 주행 차로까지의 예상 도달 시간이 미리 설정된 시간 이하인 장애물을 인식하는 것;을 포함할 수 있다.
또한, 상기 차량의 주행 차로 외부에서 횡 방향으로 접근하는 제 1 장애물을 인식하는 것은, 상기 차량의 종 방향 속도 및 상기 영상 데이터 또는 상기 레이더 데이터로부터 감지된 장애물의 종 방향 속도에 기초하여 상기 감지된 장애물과 상기 차량과의 충돌 예상 시간(Time To Collision; TTC)을 산출하고; 상기 차량과의 충돌 예상 시간이 미리 설정된 시간 이하인 장애물을 인식하는 것;을 포함할 수 있다.
또한, 일 실시예에 따른 운전자 보조 방법은, 상기 차량이 상기 제 2 장애물을 종 방향으로 통과할 때까지 상기 제 3 장애물이 인식되지 않으면 상기 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행하지 않는 것;을 더 포함할 수 있다.
또한, 일 실시예에 따른 운전자 보조 방법은, 상기 저장된 제 1 장애물의 정보와 상기 인식된 제 3 장애물의 정보를 비교하여 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성을 산출하는 것;을 더 포함할 수 있다.
또한, 상기 저장된 제 1 장애물의 정보와 상기 인식된 제 3 장애물의 정보를 비교하여 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성을 산출하는 것은, 상기 제 1 장애물과 상기 제 3 장애물 각각의 횡 방향 속도, 면적 또는 색상 중 적어도 하나를 비교하여 것;을 포함할 수 있다.
또한, 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성에 기초하여 상기 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행하는 것은, 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성이 제 1 임계값 이상이면 완전 제동(full-braking)에 기초한 충돌 회피 제어를 수행하는 것;을 포함할 수 있다.
또한, 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성에 기초하여 상기 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행하는 것은, 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성이 제 1 임계값 보다 작고 상기 제 1 임계값 보다 작은 제 2 임계값 이상이면 부분 제동(partial-braking)에 기초한 충돌 회피 제어를 수행하는 것;을 포함할 수 있다.
또한, 일 실시예에 따른 운전자 보조 방법은, 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성이 제 3 임계값 이상이면 경고 신호를 송출하기 위한 제어 신호를 생성하는 것;을 더 포함할 수 있다.
사각지대에서 차로로 접근하는 보행자가 차량 전방에 갑자기 나타나는 경우, 충돌을 회피하기 위한 충돌 회피 제어를 신속하고 정확하게 수행함으로써 충돌 사고를 미연에 방지할 수 있다.
또한, 카메라 또는 레이더 센서의 시야에서 사라졌다가 갑자기 등장하는 보행자에 대한 충돌 사고를 미연에 방지할 수 있다.
도 1은 일 실시예에 따른 차량의 구성을 나타낸 블록도이다.
도 2는 일 실시예에 따른 운전자 보조 장치의 구성을 나타낸 블록도이다.
도 3은 일 실시예에 따른 운전자 보조 장치에 포함된 카메라 및 레이더의 검출 영역의 예시도이다.
도 4a 내지 도 4b는 일 실시예에 따른 전방 레이더의 횡 방향 각도 분해능을 나타낸 도면이다.
도 5a 내지 도 5b는 일 실시예에 따른 운전자 보조 방법의 제어 순서도이다.
도 6은 일 실시예에 따른 운전자 보조 장치가 제 1 장애물을 인식하는 상황을 나타낸 도면이다.
도 7은 일 실시예에 따른 운전자 보조 장치에서 제 1 장애물의 인식이 중단된 상황을 나타낸 도면이다.
도 8은 제 1 장애물의 인식이 중단된 후 제 3 장애물이 인식되지 않는 상황을 나타낸 도면이다.
도 9 내지 도 10은 제 3 장애물과 제 1 장애물의 유사성이 낮은 경우를 나타낸 도면이다.
도 11은 제 3 장애물과 제 1 장애물의 유사성이 높은 경우를 나타낸 도면이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
또한, 본 명세서에서의 '장애물'은 차량(1)과의 충돌 가능성이 있는 모든 대상체를 의미하며, 다른 차량, 보행자, 사이클리스트 등의 움직이는 대상체를 포함할 뿐 아니라, 나무, 가로등, 구조물 등의 움직이지 않는 대상체를 포함할 수 있다.
또한 본 명세서에서의 '횡 방향'은, 차량(1)의 이동 방향과 수직한 방향일 수 있으며, '종 방향'은 차량(1)의 이동 방향과 평행한 방향일 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 따른 차량의 구성을 나타낸 블록도이다. 일 실시예에 따른 차량(1)은 운전자의 운전 의지에 대응하여 주행하는 차량일 수도 있고, 목적지까지 자율적으로 주행하는 자율 주행 차량일 수도 있다.
도 1에 도시된 바와 같이, 차량(1)은 엔진(10), 변속기(20), 제동 장치(30), 및 조향 장치(40)를 포함할 수 있다.
엔진(10)은 실린더와 피스톤을 포함하며, 차량(1)이 주행하기 위한 동력을 생성할 수 있다. 변속기(20)는 복수 개의 기어들을 포함하며, 엔진(10)에 의하여 생성된 동력을 차륜까지 전달할 수 있다. 제동 장치(30)는 차륜과의 마찰을 통하여 차량(1)을 감속시키거나 차량(1)을 정지시킬 수 있다. 조향 장치(40)는 차량(1)의 주행 방향을 변경시킬 수 있다.
차량(1)은 복수 개의 전장 부품들을 포함할 수 있다. 예를 들어, 차량(1)은 엔진 관리 시스템(Engine Management System, EMS) (11)과, 변속기 제어 유닛(Transmission Control Unit, TCU) (21), 전자식 제동 제어 모듈(Electronic Brake Control Module) (31), 전자식 조향 장치(Electronic Power Steering, EPS) (41), 바디 컨트롤 모듈(Body Control Module, BCM) 및 운전자 보조 시스템(Driver Assistance System, DAS)에 포함되는 운전자 보조 장치(100)를 더 포함할 수 있다.
엔진 관리 시스템(11)은 가속 페달을 통한 운전자의 가속 의지 또는 운전자 보조 장치(100)의 요청에 응답하여 엔진(10)을 제어할 수 있다. 예를 들어, 엔진 관리 시스템(11)은 엔진(10)의 토크를 제어할 수 있다.
변속기 제어 유닛(21)은 변속 레버를 통한 운전자의 변속 명령 및/또는 차량(1)의 주행 속도에 응답하여 변속기(20)를 제어할 수 있다. 예를 들어, 변속기 제어 유닛(21)은 엔진(10)으로부터 차륜까지의 변속 비율을 조절할 수 있다.
전자식 제동 제어 모듈(31)은 제동 페달을 통한 운전자의 제동 의지 및/또는 차륜들의 슬립(slip)에 응답하여 제동 장치(30)를 제어할 수 있다. 예를 들어, 전자식 제동 제어 모듈(31)은 차량(1)의 제동 시에 감지되는 차륜의 슬립에 응답하여 차륜의 제동을 일시적으로 해제할 수 있다(Anti-lock Braking Systems, ABS).
전자식 제동 제어 모듈(31)은 차량(1)의 조향 시에 감지되는 오버스티어링(oversteering) 및/또는 언더스티어링(understeering)에 응답하여 차륜의 제동을 선택적으로 해제할 수 있다(Electronic stability control, ESC).
또한, 전자식 제동 제어 모듈(31)은 차량(1)의 구동 시에 감지되는 차륜의 슬립에 응답하여 차륜을 일시적으로 제동할 수 있다(Traction Control System, TCS).
전자식 조향 제어 장치(41)는 스티어링 휠을 통한 운전자의 조향 의지에 응답하여 운전자가 쉽게 스티어링 휠을 조작할 수 있도록 조향 장치(40)의 동작을 보조할 수 있다. 예를 들어, 전자식 조향 제어 장치(41)는 저속 주행 또는 주차 시에는 조향력을 감소시키고 고속 주행 시에는 조향력을 증가시키도록 조향 장치(40)의 동작을 보조할 수 있다.
바디 컨트롤 모듈(51)은 운전자에게 편의를 제공하거나 운전자의 안전을 보장하는 전장 부품들의 동작을 제어할 수 있다. 예를 들어, 바디 컨트롤 모듈(51)은 헤드 램프, 와이퍼, 클러스터, 다기능 스위치 및 방향 지시 램프 등을 제어할 수 있다.
운전자 보조 장치(100)는 운전자가 차량(1)을 조작(구동, 제동, 조향)하는 것을 보조할 수 있다. 예를 들어, 운전자 보조 장치(100)는 차량(1) 주변의 환경(예를 들어, 다른 차량, 보행자, 사이클리스트(cyclist), 차선, 도로 표지판 등)을 감지하고, 감지된 환경에 응답하여 차량(1)의 구동 및/또는 제동 및/또는 조향을 제어할 수 있다.
이상의 전자 부품들은 차량(1)용 통신 네트워크(NT)를 통하여 서로 통신할 수 있다. 예를 들어, 전장 부품들은 이더넷(Ethernet), 모스트(MOST, Media Oriented Systems Transport), 플렉스레이(Flexray), 캔(CAN, Controller Area Network), 린(LIN, Local Interconnect Network) 등을 통하여 데이터를 주고 받을 수 있다. 즉, 운전자 보조 장치(100)는 엔진 관리 시스템(11), 변속기 제어 유닛(21), 전자식 제동 제어 모듈(31) 및 전자식 조향 제어 장치(41)에 각각 차량(1)용 통신 네트워크(NT)를 통하여 구동 제어 신호, 제동 제어 신호 및 조향 제어 신호를 전송할 수 있다.
이하 운전자 보조 장치(100)의 자세한 구성은 도 2 내지 도 3을 참조하여 후술한다.
도 2는 일 실시예에 따른 운전자 보조 장치의 구성을 나타낸 블록도이고, 도 3은 일 실시예에 따른 운전자 보조 장치에 포함된 카메라 및 레이더의 검출 영역의 예시도이다.
일 실시예에 따른 운전자 보조 장치(100)는 장애물과의 충돌을 방지하기 위해 장애물과의 충돌에 대한 알림 정보를 출력하거나, 장애물을 회피하도록 하는 충돌 방지 장치(Collision Avoidance device)를 포함할 수 있다.
이를 위한 운전자 보조 장치(100)는 차량(1)에 마련되어 차량(1)의 전방을 향하는 시야(field of view)(110a)를 갖는 전방 카메라(110)와 차량(1)에 마련되어 차량(1) 주변의 레이더 데이터를 획득하는 레이더 센서(102)를 포함할 수 있다.
일 실시예에 따른 전방 카메라(110)는 차량(1)의 프론트 윈드 쉴드에 마련될 수 있다.
전방 카메라(110)는 차량(1)의 전방을 촬영하고, 차량(1) 전방의 영상 데이터를 획득할 수 있다. 차량(1) 전방의 영상 데이터는 차량(1) 전방에 위치하는 다른 차량, 보행자, 사이클리스트, 차선, 연석, 가드레일, 가로수 및 가로등 중 적어도 하나에 관한 위치 정보를 포함할 수 있다.
전방 카메라(110)는 복수의 렌즈들 및 이미지 센서를 포함할 수 있다. 이미지 센서는 광을 전기 신호로 변환하는 복수의 포토 다이오드들을 포함할 수 있으며, 복수의 포토 다이오드들이 2차원 매트릭스로 배치될 수 있다.
전방 카메라(110)는 제어부(140)와 전기적으로 연결될 수 있다. 예를 들어, 전방 카메라(110)는 차량(1)용 통신 네트워크(NT)를 통하여 제어부(140)와 연결되거나, 하드 와이어(hard wire)를 통하여 제어부(140)와 연결되거나, 인쇄 회로 기판(Printed Circuit Board, PCB)을 통하여 제어부(140)와 연결될 수 있다.
전방 카메라(110)는 차량(1) 전방의 영상 데이터를 제어부(140)로 전달할 수 있다.
레이더 센서(102)는 차량(1)의 전방을 향하는 시야(120a)를 갖는 전방 레이더(120)와 차량(1) 주변의 시야(131a, 132a, 133a, 134a)를 갖는 복수의 코너 레이더(130)를 포함할 수 있다. 전방 레이더(120)는 예를 들어 차량(1)의 그릴(grille) 또는 범퍼(bumper)에 설치될 수 있다.
전방 레이더(120)는 차량(1)의 전방을 향하여 송신 전파를 방사하는 송신 안테나(또는 송신 안테나 어레이)와, 장애물에 반사된 반사 전파를 수신하는 수신 안테나(또는 수신 안테나 어레이)를 포함할 수 있다.
전방 레이더(120)는 송신 안테나에 의한 송신된 송신 전파와 수신 안테나에 의하여 수신된 반사 전파로부터 전방 레이더(120) 데이터를 획득할 수 있다.
전방 레이더(120) 데이터는 차량(1) 전방에 위치하는 장애물 관한 위치 정보 및 속도 정도를 포함할 수 있다. 이 때, 장애물은 다른 차량, 보행자, 사이클리스트, 가드레일, 구조물, 가로수 및 가로등 중 적어도 하나를 포함할 수 있다.
전방 레이더(120)는 송신 전파와 반사 전파 사이의 위상 차이(또는 시간 차이)에 기초하여 장애물까지의 상대 거리를 산출하고, 송신 전파와 반사 전파 사이의 주파수 차이에 기초하여 장애물의 상대 속도를 산출할 수 있다.
전방 레이더(120)는 예를 들어 차량(1)용 통신 네트워크(NT) 또는 하드 와이어 또는 인쇄 회로 기판을 통하여 제어부(140))와 연결될 수 있다. 전방 레이더(120)는 전방 레이더(120) 데이터를 제어부(140)로 전달할 수 있다.
전방 레이더(120)의 횡 방향 분해능에 관한 설명은 도 4a 내지 도 4b를 참조하여 후술한다.
복수 개의 코너 레이더(130)는 차량(1)의 전방 우측에 설치되는 제1 코너 레이더(131)와, 차량(1)의 전방 좌측에 설치되는 제2 코너 레이더(132)와, 차량(1)의 후방 우측에 설치되는 제3 코너 레이더(133)와, 차량(1)의 후방 좌측에 설치되는 제4 코너 레이더(134)를 포함할 수 있으며, 복수 개의 코너 레이더(130)의 동작 원리는 전술한 전방 레이더(120)와의 동작 원리와 동일하다.
제1 코너 레이더(131)는 차량(1)의 전방 범퍼의 우측에 마련되어 차량(1)의 전방 우측을 향하는 감지 시야(131a)를 가질 수 있으며, 제2 코너 레이더(132)는 차량(1)의 전방 범퍼의 좌측에 마련되어 차량(1)의 전방 좌측을 향하는 감지 시야(132a)를 가질 수 있으며, 제 3 코너 레이더(133)는 차량(1)의 후방 범퍼의 우측에 마련되어 차량(1)의 후방 우측을 향하는 감지 시야(133a)를 가질 수 있으며, 제4 코너 레이더(134)는 차량(1)의 후방 범퍼의 좌측에 마련되어 차량(1)의 후방 좌측을 향하는 감지 시야(134a)를 가질 수 있다.
제1, 제2, 제3 및 제4 코너 레이더들(131, 132, 133, 134) 각각은 차량(1)용 통신 네트워크(NT) 또는 하드 와이어 또는 인쇄 회로 기판을 통하여 제어부(140)와 연결될 수 있으며, 각각 제1, 제2, 제3 및 제4 코너 레이더 데이터를 제어부(140)로 전달할 수 있다.
일 실시예에 따른 제어부(140)는 프로세서(141)와 메모리(142)를 포함할 수 있다.
프로세서(141)는 전방 카메라(110)의 전방 영상 데이터와 전방 레이더(120)의 전방 레이더(120) 데이터와 복수의 코너 레이더들(130)의 코너 레이더 데이터를 처리하고, 제동 시스템(32) 및 조향 시스템(42)을 제어하기 위한 제동 신호 및 조향 신호를 생성할 수 있다.
즉, 프로세서(141)는 전방 카메라(110) 또는 상기 레이더 센서(102) 중 적어도 하나와 연결되어 장애물을 감지하고 차량(1)의 충돌 회피 제어를 수행할 수 있다. 이 때, 충돌 회피 제어란 차량(1)의 제동 시스템(32) 및 조향 시스템(42)을 제어하기 위한 제동 신호 및 조향 신호를 생성하여 차량(1)을 제어하는 것을 의미할 수 있다.
이를 위한 프로세서(141)는 전방 카메라(110)의 전방 영상 데이터를 처리하는 이미지 시그널 프로세서 및/또는 레이더들(120, 130)의 레이더 데이터를 처리하는 디지털 시그널 프로세서 및/또는 제동 신호와 조향 신호를 생성하는 마이크로 컨트롤 유닛(Micro Control Unit, MCU)를 포함할 수 있다.
프로세서(141)는 전방 카메라(110)의 전방 영상 데이터와 전방 레이더(120)의 전방 레이더(120) 데이터에 기초하여 차량(1) 전방의 장애물들(예를 들어, 다른 차량, 보행자, 사이클리스트, 구조물 등)을 감지할 수 있다.
구체적으로, 프로세서(141)는 전방 레이더(120)의 전방 레이더(120) 데이터에 기초하여 차량(1) 전방의 장애물들의 위치 정보(거리 및 방향) 및 속도 정보(상대 속도)를 획득할 수 있다. 프로세서(141)는 전방 카메라(110)의 전방 영상 데이터에 기초하여 차량(1) 전방의 장애물들의 위치 정보(방향) 및 유형 정보(예를 들어, 장애물이 다른 차량인지, 또는 보행자인지, 또는 사이클리스트인지, 또는 연석인지, 또는 가드레일인지, 또는 가로수인지, 또는 가로등인지 등)를 획득할 수 있다.
또한, 프로세서(141)는 전방 영상 데이터에 의하여 감지된 장애물들을 전방 레이더(120) 데이터에 의한 감지된 장애물에 매칭하고, 매칭 결과에 기초하여 차량(1)의 전방 장애물들의 유형 정보와 위치 정보와 속도 정보를 획득할 수 있다.
프로세서(141)는 전방 장애물들의 유형 정보와 위치 정보와 속도 정보에 기초하여 전방 장애물과의 충돌을 회피하기 위한 충돌 회피 경로를 산출할 수 있다.
예를 들어, 프로세서(141)는 차량(1)의 주행 차로(DL) 외부에서 횡 방향으로 접근하는 제 1 장애물(ob1)을 인식하고, 차량(1)과 제 1 장애물(ob1)의 충돌을 회피하기 위한 충돌 회피 경로를 산출할 수 있다. 또한, 프로세서(141)는 제 1 장애물(ob1)과의 충돌을 회피하기 위한 충돌 회피 경로 및 제 1 장애물(ob1)의 정보를 메모리(142)에 저장하거나 저장부(150)로 전달할 수 있다.
또한, 프로세서(141)는 차량(1)과 장애물 사이의 충돌 가능성이 있으면, 경고 신호를 송출하기 위한 제어 신호를 생성하여 알림부(160)에 전달할 수 있다.
메모리(142)는 프로세서(141)가 영상 데이터를 처리하기 위한 프로그램 및/또는 데이터와, 레이더 데이터를 처리하기 위한 프로그램 및/또는 데이터와, 프로세서(141)가 제동 신호 및/또는 조향 신호를 생성하기 위한 프로그램 및/또는 데이터를 저장할 수 있다.
메모리(142)는 전방 카메라(110)로부터 수신된 영상 데이터 및/또는 레이더들(120, 130)로부터 수신된 레이더 데이터를 임시로 저장하고, 프로세서(141)의 영상 데이터 및/또는 레이더 데이터의 처리 결과를 임시로 저장할 수 있다. 예를 들어, 메모리(142)는 차량(1)의 주행 차로(DL) 외부에서 횡 방향으로 접근하는 제 1 장애물(ob1)의 정보 및 제 1 장애물(ob1)과의 충돌을 회피하기 위한 충돌 회피 경로를 임시로 저장할 수 있다.
메모리(142)는 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리뿐만 아니라 플래시 메모리, 롬(Read Only Memory, ROM), 이피롬(Erasable Programmable Read Only Memory: EPROM) 등의 비휘발성 메모리를 포함할 수 있다.
저장부(150)는 프로세서(141)로부터 제 1 장애물(ob1)과 충돌을 회피하기 위해 산출된 충돌 회피 경로 및 제 1 장애물(ob1)의 정보를 전달 받아 저장할 수 있다.
충돌 회피 경로는 구체적으로 차량(1)의 충돌 회피 제어를 수행하기 위한 제어 로직을 의미할 수 있으며, 충돌 회피를 위한 차량(1)의 조향 제어량 및 제동 제어량을 모두 포함할 수 있다.
이러한 저장부(150)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래시 메모리(142)(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.
저장부(150)는 제어부(140)와 관련하여 전술한 프로세서(141)와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서(141)와 단일 칩으로 구현될 수도 있다.
알림부(160)는 제어부(140)의 제어 신호에 대응하여 사용자에게 경고 신호를 출력할 수 있다. 이를 위한 알림부(160)는, 제어부(140)의 제어 신호에 따라 장애물과의 충돌 방지를 위한 경고음을 출력하는 스피커를 포함하는 사운드 출력부(161) 및 제어부(140)의 제어 신호에 따라 장애물과의 충돌 방지를 위한 경고 영상을 출력하는 표시부(162)를 포함할 수 있다.
이하 도 4a 내지 도 4b를 참조하여 레이더 센서(102)에 관하여 자세하게 설명한다. 도 4a 내지 도 4b는 일 실시예에 따른 전방 레이더(120)의 횡 방향 각도 분해능을 나타낸 도면이다.
전방 레이더(120), 제1, 2 코너 레이더(131, 132)는 라이다(LiDAR: Light Detection And Ranging) 센서 대비 가격이 저렴한 저가형 레이더로써, 모델 MRR-20, 모델 LRR-20 또는 모델 LRR-30의 레이더일 수 있다.
전방 레이더(120), 제1, 2 코너 레이더(131, 132)는 서로 동일한 모델의 레이더일 수도 있고, 서로 다른 모델의 레이더일 수도 있다.
아울러 전방 레이더(120)는 제1, 2 코너 레이더(131, 132) 보다 횡 방향 각도 분해능이 높은 레이더일 수 있다.
도 4a에 도시된 바와 같이, 레이더 센서(102)에 포함된 전방 레이더(120)가 모델 LRR-20의 레이더일 경우, 전방 레이더(120)는 5도 이하의 횡방향 각도 분해능을 가지는 8개의 수신 채널을 통해 200m 이상의 거리에 존재하는 장애물의 위치를 검출할 수 있다. 즉, 전방 레이더(120)는 8개의 수신 채널을 통해 정확한 장애물의 방향을 검출할 수 있다.
아울러, 전방 레이더(120)가 모델 LRR-30의 레이더일 경우, 전방 레이더(120)는 2.5도 이하의 횡방향 각도 분해능을 가질 수 있다.
도 4b에 도시된 바와 같이, 전방 레이더(120)가 모델 MRR-20의 레이더일 경우, 전방 레이더(120)는 10도 이하의 횡방향 각도 분해능을 가지는 4개의 수신 채널을 통해 160m 정도의 거리에 존재하는 장애물의 위치를 검출할 수 있다.
장애물과의 충돌 방지를 위해 제동 시스템(32)과 조향 시스템(42)을 제어하기 위한 레이더 센서(102)는, 전방 레이더(120)만을 포함하는 것도 가능하다. 이때 전방 레이더(120)는 복수 개의 수신 채널을 가질 수 있고, 복수 개의 수신 채널 중 적어도 하나의 수신 채널을 통해 수신되는 장애물의 검출 신호에 대응하는 장애물의 위치 정보를 출력할 수 있다.
여기서 복수 개의 수신 채널은, 차량(1)의 전방의 중앙을 중점으로 하여 미리 설정된 각도로 분할된 각 영역에서 장애물에 의해 반사된 전파를 각각 수신할 수 있다.
즉 전방 레이더(120)는 미리 설정된 각도 분해능을 가지는 복수 개의 수신 채널들 중 장애물이 검출된 수신 채널을 통해 장애물의 방향을 검출할 수 있다.
일 실시예에 따른 레이더 센서(102)는 라이다 센서와 대체되거나 조합될 수 있으며, 라이다 센서는 레이저 레이다(Laser Radar) 원리를 이용한 비접촉식 거리 검출 센서이다.
이하 도 5 내지 도 11을 참조하여 운전자 보조 장치(100)의 각 구성을 이용한 충돌 회피 제어 과정을 설명한다.
도 5는 일 실시예에 따른 운전자 보조 장치를 이용한 운전자 보조 방법의 제어 순서도로, 도 6 내지 도 11을 참조하여 도 5를 설명한다.
도 5를 참조하면, 전방 카메라(110)는 차량(1)의 전방 영상 데이터를 획득할 수 있고, 레이더 센서(102)는 차량(1) 주변의 레이더 데이터를 획득할 수 있으며, 제어부(140)는 차량(1)의 전방 영상 데이터 또는 차량(1) 주변의 레이더 데이터 중 적어도 하나를 전달 받을 수 있다(1000).
제어부(140)는 전달 받은 차량(1) 전방의 영상 데이터 또는 차량(1) 주변의 레이더 데이터 중 적어도 하나에 기초하여 차량(1)의 주행 차로(DL) 외부에서 횡 방향으로 접근하는 제 1 장애물(ob1)을 인식할 수 있다(1100). 이 때, 제 1 장애물(ob1)은 횡 방향으로 이동 중인 보행자, 사이클리스트 및 다른 차량을 의미할 수 있다.
구체적으로, 제어부(140)는 영상 데이터 또는 레이더 데이터 중 적어도 하나에서 감지된 장애물 중 미리 설정된 속도 이상의 횡 방향 속도를 갖는 장애물을 상기 제 1 장애물(ob1)로 인식할 수 있다. 예를 들어, 제어부(140)는 1m/s 이상의 횡 방향 속도를 갖는 장애물을 제 1 장애물(ob1)로 인식할 수 있다. 미리 설정된 속도보다 작은 횡 방향 속도를 갖는 장애물과는 충돌 가능성이 희박하기 때문이다.
또한 제어부(140)는 차량(1)이 주행 중인 주행 차로(DL)까지의 예상 도달 시간이 미리 설정된 시간 이하인 장애물을 제 1 장애물(ob1)로 인식할 수 있다. 예를 들어, 제어부(140)는 주행 차로(DL)까지의 예상 도달 시간이 5초 이내인 장애물을 제 1 장애물(ob1)로 인식할 수 있다. 미리 설정된 속도 이상의 속도를 갖고 있지만, 차량(1)의 주행 차로(DL)까지의 예상 도달 시간이 긴 장애물과는 충돌 가능성이 희박하기 때문이다.
또한 제어부(140)는 차량(1)의 종 방향 속도 및 영상 데이터 또는 레이더 데이터 중 적어도 하나에서 감지된 장애물의 종 방향 속도에 기초하여 감지된 장애물과 차량(1)과의 충돌 예상 시간(Time To Collision; TTC)을 산출하고, 차량(1)과의 충돌 예상 시간이 미리 설정된 시간 이하인 장애물을 제 1 장애물(ob1)로 인식할 수 있다. 예를 들어, 제어부(140)는 차량(1)과의 충돌 예상 시간이 5초 이내인 장애물을 제 1 장애물(ob1)로 인식할 수 있다. 종 방향을 기준으로 차량(1)과의 충돌 예상 시간이 긴 장애물과는 충돌 가능성이 희박하기 때문이다.
제어부(140)는 횡 방향으로 이동 중이며 차량(1)과의 충돌 가능성이 높은 제 1 장애물(ob1)을 정확하고 합리적으로 인식하기 위하여, 영상 데이터 또는 레이더 데이터 중 적어도 하나에서 감지된 장애물 중 미리 설정된 속도 이상의 횡 방향 속도를 갖고, 주행 차로(DL)까지의 예상 도달 시간이 미리 설정된 시간 이하이고, 차량(1)과의 충돌 예상 시간이 미리 설정된 시간 이하인 장애물만을 제 1 장애물(ob1)로 인식하여 전체적인 충돌 회피 제어의 안정성을 도모할 수 있다.
도 6에 도시된 바와 같이 제어부(140)는 영상 데이터 또는 레이더 데이터 중 적어도 하나에서 감지된 장애물(pd1, pd2, ob1, ob2) 중 미리 설정된 속도 이상의 횡 방향 속도를 갖고, 주행 차로(DL)까지의 예상 도달 시간이 미리 설정된 시간 이하이고, 차량(1)과의 충돌 예상 시간이 미리 설정된 시간 이하인 장애물(ob1)만을 제 1 장애물(ob1)로 인식할 수 있다.
이 후 제어부(140)는 차량(1)과 제 1 장애물(ob1)의 충돌을 회피하기 위한 충돌 회피 경로를 산출하고(1200), 산출된 충돌 회피 경로 및 제 1 장애물(ob1)의 정보를 저장할 수 있다(1300). 이 때, 충돌 회피 경로는 차량(1)의 충돌 회피 제어를 수행하기 위한 제어 로직을 포함할 수 있다. 또한, 제 1 장애물(ob1)의 정보는 제 1 장애물(ob1)의 횡 방향 속도, 면적 또는 색상 중 적어도 하나의 정보를 포함할 수 있다.
이 때, 제어부(140)는 충돌 회피 경로 및 제 1 장애물(ob1)의 정보를 메모리(142)에 저장하거나, 저장부(150)에 전달하여 저장할 수 있다.
일반적으로, 제어부(140)는 제 1 장애물(ob1)과 차량(1)의 충돌이 예상되면 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행할 수 있다. 다만, 차량(1)과 제 1 장애물(ob1) 간의 시야가 확보되어 있다면 보행자 등의 제 1 장애물(ob1)이 횡 방향으로의 이동을 멈춤으로써, 제 1 장애물(ob1)과 차량(1)의 충돌이 예상되지 않을 것이다.
도 7에 도시된 바와 같이 제 1 장애물(ob1)과 차량(1) 사이에 위치하여 시야를 차단하는 제 2 장애물(ob2)이 존재하는 경우, 차량(1)은 제 1 장애물(ob1)에 대한 시야를 확보하지 못하며, 제 1 장애물(ob1) 또한 차량(1)에 대한 시야를 확보하지 못하여 충돌 위험성이 증가한다. 이 때, 제 2 장애물(ob2)은 갓길에 주차된 다른 차량, 구조물, 가로수 등 차량(1)의 시야를 차단할 수 있는 모든 객체를 의미할 수 있다.
구체적으로, 차량(1) 내의 운전자뿐만 아니라 차량(1)에 마련된 전방 카메라(110)는 제 2 장애물(ob2)에 가려진 제 1 장애물(ob1)이 존재하는 영상 데이터를 획득하지 못하고, 차량(1)에 마련된 레이더 센서(102) 또한 제 2 장애물(ob2)에 반사되어 획득되는 레이더 데이터만을 획득할 수 있을 뿐, 제 1 장애물(ob1)에 반사되어 획득되는 레이더 데이터를 획득할 수 없다.
종래 도 7과 같은 경우, 차량의 충돌 회피 시스템은 제 1 장애물(ob1)을 더 이상 인식하지 못하고, 제 1 장애물(ob1)이 제 2 장애물(ob2)을 횡 방향으로 통과하여 차량의 시야에 들어온 경우 비로소 충돌 회피 시스템이 작동하게 되어 충돌 회피 제어의 제어 시점이 늦고, 부정확하다는 단점이 존재한다.
다만, 후술하여 설명할 바와 같이, 본 발명에 따르면 제어부(140)가 제 1 장애물(ob1)에 대한 충돌 회피 경로를 메모리(142)에 저장하거나, 저장부(150)에 전달하여 저장함으로써 이후 제 1 장애물(ob1)이 제 2 장애물(ob2)을 횡 방향으로 통과하여 차량(1)의 시야에 들어왔을 때 신속하고 정확하게 충돌 회피 제어를 수행할 수 있다.
또한, 제어부(140)가 제 1 장애물(ob1)의 정보를 메모리(142)에 저장하거나, 저장부(150)에 전달하여 저장하고, 횡 방향으로 통과하여 시야에 들어온 제 3 장애물(ob3)과 제 1 장애물(ob1)의 정보를 비교함으로써, 이후 충돌 회피 제어의 수행 여부에 대한 신뢰성을 확보할 수 있다.
일 실시예에 따른 제어부(140)는, 제 1 장애물(ob1)과 차량(1) 사이에 위치하는 제 2 장애물(ob2)에 의해 제 1 장애물(ob1)의 인식이 중단된 후(1310의 예) 제 2 장애물(ob2)을 횡 방향으로 통과하여 접근하는 제 3 장애물(ob3)이 인식되면(1320의 예) 제 1 장애물(ob1)과 제 3 장애물(ob3)의 유사성에 기초하여 저장부(150) 및/또는 메모리(142)에 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행할 수 있다(1400).
새롭게 인식된 제 3 장애물(ob3)은 제 1 장애물(ob1)과 동일한 장애물일 수도 있으며, 상이한 장애물일 수도 있다. 다시 말해서, 제 1 장애물(ob1), 제 3 장애물(ob3) 사이의 용어 구별은 레이더 센서(102) 및/또는 전방 카메라(110)가 장애물을 감지한 시점에 따라 구별되는 것이지, 장애물의 종류 또는 동일성 여부와는 무관하다.
또한, 제어부(140)는 제 1 장애물(ob1)과 차량(1) 사이에 위치하는 제 2 장애물(ob2)에 의해 제 1 장애물(ob1)의 인식이 중단된 후(1310의 예) 제 2 장애물(ob2)을 횡 방향으로 통과하여 접근하는 제 3 장애물(ob3)이 인식되지 않은 채로(1320의 아니오) 차량(1)이 제 2 장애물(ob2)을 종 방향으로 통과한다면, 충돌 회피 제어를 수행하지 않고 제어 과정을 종료할 수 있다(1330의 예). 차량(1)이 제 2 장애물(ob2)을 종 방향으로 통과할 때까지 제 3 장애물(ob3)이 인식되지 않는다면, 충돌 가능성이 있는 장애물이 존재하지 않는 것이므로 충돌 회피 제어를 수행할 필요가 없기 때문이다.
즉, 제어부(140)는 차량(1)이 제 2 장애물(ob2)을 종 방향으로 통과할 때까지 제 3 장애물(ob3)이 인식되지 않으면 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행하지 않을 수 있다. 예를 들어, 제어부(140)는 차량(1)의 운전석 부분이 제 2 장애물(ob2)을 완전히 통과한 것으로 판단되면 차량(1)이 제 2 장애물(ob2)을 종 방향으로 통과했다고 판단할 수 있다.
도 8에 도시된 바와 같이 차량(1)이 제 2 장애물(ob2)을 종 방향으로 통과할 때 제 2 장애물(ob2)의 뒤에서 횡 방향으로 이동하는 제 3 장애물(ob3)이 인식되지 않으면, 제어부(140)는 충돌 위험이 있었던 제 1 장애물(ob1)이 제 2 장애물(ob2) 뒤를 통과하지 않은 것으로 판단하고 충돌 회피 제어를 수행하지 않을 수 있다.
제어부(140)는 제 3 장애물(ob3)이 인식되면(1320의 예), 저장부(150) 및/또는 메모리(142)에 저장된 제 1 장애물(ob1)의 정보와 인식된 제 3 장애물(ob3)의 정보를 비교하여 제 1 장애물(ob1)과 제 3 장애물(ob3) 사이의 유사성을 산출할 수 있다.
예를 들어, 제어부(140)는 제 1 장애물(ob1)과 제 3 장애물(ob3) 각각의 횡 방향 속도, 면적 도는 색상 중 적어도 하나를 비교하여 제 1 장애물(ob1)과 제 3 장애물(ob3) 사이의 유사성을 산출할 수 있다. 이 때, 제 3 장애물(ob3)은 제 2 장애물(ob2)의 뒤쪽에서 인식된 모든 장애물을 의미할 수 있으며, 보행자, 사이클리스트 등의 움직이는 모든 대상체를 의미할 수 있다.
레이더 센서(102)에서 획득한 레이더 데이터에 기초하여 유사성을 산출하는 방법으로 각 장애물에서 반사되는 전파의 주파수 차이에 기초하여 횡 방향 속도 산출하고, 각 장애물의 횡 방향 속도를 비교하여 유사성을 산출하는 방법이 있다. 또한, 각 장애물에서 반사되는 전파의 반사율에 기초하여 각 장애물의 면적을 비교하고 유사성을 산출하는 방법이 있으나, 이에 한정되는 것은 아니다.
도 4a 내지 도 4b에서 설명한 바와 같이, 일 실시예에 따른 운전자 보조 장치(100)는 횡 방향 분해능이 향상된 레이더 센서(102)를 포함함으로써, 반사율의 세분화가 가능하여 각 장애물의 면적을 정확하게 산출할 수 있다.
전방 카메라(110)에서 획득한 전방 영상 데이터에 기초하여 유사성을 산출하는 방법으로, 각 장애물의 횡 방향 속도를 비교하는 방법, 각 장애물이 영상 데이터에서 차지하는 크기에 기초하여 각 장애물의 면적을 비교하는 방법, 각 장애물의 색상과 같은 외관을 비교하는 방법 및/또는 각 장애물의 시선을 비교하는 방법이 있으나, 이에 한정되는 것은 아니다.
도 9에 도시된 바와 같이 제 1 장애물(ob1)의 인식이 중단된 후 제 3 장애물(ob3)이 인식되면, 제어부(140)는 제 1 장애물(ob1)과 제 3 장애물(ob3)의 유사성을 비교하여 유사성에 따른 충돌 회피 제어를 수행할 수 있다.
예를 들어, 제어부(140)는 제 1 장애물(ob1)과 제 3 장애물(ob3) 사이의 유사성이 제 1 임계값 이상이면 완전 제동(full-braking)에 기초한 충돌 회피 제어를 수행할 수 있다. 완전 제동이란 제동 장치(30)의 최대 제동량의 80% 이상의 제동량으로 차량(1)을 제동시키는 것을 의미할 수 있다.
제어부(140)는 제 1 장애물(ob1)과 제 3 장애물(ob3) 사이의 유사성이 제 1 임계값 보다 작고 제 1 임계값 보다 작은 제 2 임계값 이상이면, 부분 제동(partial-braking)에 기초한 충돌 회피 제어를 수행할 수 있다. 부분 제동이란, 제동 장치(30)의 최대 제동량의 80% 미만의 제동량으로 차량(1)을 제동시키는 것을 의미할 수 있다.
또한 제어부(140)는, 제 1 장애물(ob1)과 제 3 장애물(ob3) 사이의 유사성이 제 2 임계값 보다 작은 제 3 임계값 이상이면 경고 신호를 송출하기 위한 제어 신호를 생성하여 알림부(160)에 전달할 수 있다. 즉, 유사도가 제 3 임계값 이상이면 운전자에게 충돌 위험을 공지함으로써 충돌을 방지할 수 있다.
도 9를 참조하면, 제 1 장애물(ob1)과 제 3 장애물(ob3)이 서로 상이한 종류의 장애물임을 확인할 수 있다. 즉, 제 1 장애물(ob1)은 남성 보행자이며 제 3 장애물(ob3)은 여성 보행자로 도시되어 있다. 남성 보행자와 여성 보행자의 경우 면적(크기)이 상이하고, 서로 옷을 다르게 입었다면 색상 또한 상이할 것이다. 즉, 제어부(140)는 특별한 사정이 없는 한 남성 보행자와 여성 보행자 사이의 유사성을 제 1 임계값 이하로 산출할 수 있다.
만약 여성 보행자의 횡 방향 속도가 저장된 남성 보행자의 횡 방향 속도와 유사하다면, 유사성이 제 1임계값 이상으로 산출될 수도 있다.
이 경우 제어부(140)는 저장부(150) 및/또는 메모리(142)에 저장된 충돌 회피 경로에 기초하여 완전 제동으로 충돌 회피 제어를 수행할 수 있다.
다시 말해서, 장애물의 종류가 다르더라도 유사성이 높다면 미리 저장된 충돌 회피 경로를 활용함으로써 신속하고 정확한 충돌 회피 제어를 수행할 수 있다.
도 10을 참조하면 제 1 장애물(ob1)과 제 3 장애물(ob3)이 서로 같은 종류의 장애물임을 확인할 수 있다. 즉, 제 1 장애물(ob1)은 차량(1)의 시야가 차단되기 전의 남성 보행자이며, 제 3 장애물(ob3)은 시야가 확보된 후의 동일한 남성 보행자이다.
다만, 도 10은 남성 보행자가 차량(1)의 존재를 인지하여 횡 방향 속도를 감소시키고 제 2 장애물(ob2)을 완전히 통과하지 않은 상태를 도시하고 있다.
이 경우 제 1 장애물(ob1)과 제 3 장애물(ob3)은 동일한 남성 보행자일지라도, 남성 보행자가 제 2 장애물(ob2)에 가려져서 일부만 노출됨으로써 면적이 상이하고, 횡 방향 속도 또한 상이하여 제 1 장애물(ob1)과 제 3 장애물(ob3)의 유사성이 낮게 산출될 수 있다.
도 11을 참조하면, 도 10과 마찬가지로 제 1 장애물(ob1)과 제 3 장애물(ob3)이 서로 같은 종류의 장애물임을 확인할 수 있고, 제 1 장애물(ob1)은 차량(1)의 시야가 차단되기 전의 남성 보행자이며, 제 3 장애물(ob3)은 시야가 확보된 후의 동일한 남성 보행자이다.
그러나, 도 10과 상이하게, 도 11은 남성 보행자가 차량(1)의 존재를 인지하지 못하고 횡 방향 속도를 감소시키지 않은 채 제 2 장애물(ob2)을 완전히 통과한 상태를 도시하고 있다.
이 경우 제어부(140)는 제 1 장애물(ob1)과 제 3 장애물(ob3)의 유사성을 제 1 임계값 이상으로 산출할 수 있으며, 저장부(150) 및/또는 메모리(142)에 저장된 충돌 회피 경로 및 완전 제동에 기반한 충돌 회피 제어를 수행할 수 있다.
개시된 발명의 일 실시예에 따른 운전자 보조 장치(100) 및 그 방법에 의하면, 멀리서 횡 방향으로 접근하는 보행자(혹은 사이클리스트)를 미리 인식하고 인식된 보행자에 대한 충돌 회피 경로를 미리 산출하여 저장함으로써, 보행자가 갓길에 주차된 차량이나 구조물에 가려졌다가 갑작스럽게 등장하는 경우 보행자의 유사성만을 판단하여 적절한 충돌 회피 제어를 신속하게 수행할 수 있다.
또한, 보행자의 유사성을 판단하여 유사성 별로 각기 다른 제어를 수행함으로써 불필요한 충돌 회피 제어의 작동을 방지하고, 충돌 회피 제어 시스템의 신뢰도를 확보할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리(142), 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1 : 차량 100 : 운전자 보조 장치
110 : 전방 카메라 102 : 레이더 센서
120 : 전방 레이더 130 : 코너 레이더
140 : 제어부 150 : 저장부
160 : 알림부

Claims (20)

  1. 차량에 마련되어 상기 차량 전방의 영상 데이터를 획득하는 전방 카메라;
    상기 차량에 마련되어 상기 차량 주변의 레이더 데이터를 획득하는 레이더 센서; 및
    상기 전방 카메라 또는 상기 레이더 센서 중 적어도 하나와 연결되어 장애물을 감지하고 상기 차량의 충돌 회피 제어를 수행하는 제어부;를 포함하고,
    상기 제어부는,
    상기 차량 전방의 영상 데이터 또는 상기 레이더 데이터 중 적어도 하나에 기초하여 상기 차량의 주행 차로 외부에서 횡 방향으로 접근하는 제 1 장애물을 인식하고,
    상기 차량과 상기 제 1 장애물의 충돌을 회피하기 위한 충돌 회피 경로를 산출하고,
    상기 산출된 충돌 회피 경로 및 상기 제 1 장애물의 정보를 저장하고,
    상기 제 1 장애물과 상기 차량 사이에 위치하는 제 2 장애물에 의해 상기 제 1 장애물의 인식이 중단된 후 상기 제 2 장애물을 횡 방향으로 통과하여 접근하는 제 3 장애물을 인식하고,
    상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성에 기초하여 상기 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행하는 운전자 보조 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    미리 설정된 속도 이상의 횡 방향 속도를 갖는 장애물을 상기 제 1 장애물로 인식하는 운전자 보조 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 주행 차로까지의 예상 도달 시간이 미리 설정된 시간 이하인 장애물을 상기 제 1 장애물로 인식하는 운전자 보조 장치.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 차량의 종 방향 속도 및 상기 감지된 장애물의 종 방향 속도에 기초하여 상기 감지된 장애물과 상기 차량과의 충돌 예상 시간(Time To Collision; TTC)을 산출하고, 상기 차량과의 충돌 예상 시간이 미리 설정된 시간 이하인 장애물을 상기 제 1 장애물로 인식하는 운전자 보조 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 차량이 상기 제 2 장애물을 종 방향으로 통과할 때까지 상기 제 3 장애물이 인식되지 않으면 상기 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행하지 않는 운전자 보조 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 저장된 제 1 장애물의 정보와 상기 인식된 제 3 장애물의 정보를 비교하여 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성을 산출하는 운전자 보조 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 제 1 장애물과 상기 제 3 장애물 각각의 횡 방향 속도, 면적 또는 색상 중 적어도 하나를 비교하여 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성을 산출하는 운전자 보조 장치.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성이 제 1 임계값 이상이면 완전 제동(full-braking)에 기초한 충돌 회피 제어를 수행하는 운전자 보조 장치.
  9. 제1항에 있어서,
    상기 제어부는,
    상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성이 제 1 임계값 보다 작고 상기 제 1 임계값 보다 작은 제 2 임계값 이상이면 부분 제동(partial-braking)에 기초한 충돌 회피 제어를 수행하는 운전자 보조 장치.
  10. 제1항에 있어서,
    상기 제어부는,
    상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성이 제 3 임계값 이상이면 경고 신호를 송출하기 위한 제어 신호를 생성하는 운전자 보조 장치.
  11. 차량 전방의 영상 데이터 또는 상기 차량 주변의 레이더 데이터 중 적어도 하나에 기초하여 상기 차량의 주행 차로 외부에서 횡 방향으로 접근하는 제 1 장애물을 인식하고;
    상기 차량과 상기 제 1 장애물의 충돌을 회피하기 위한 충돌 회피 경로를 산출하고;
    상기 산출된 충돌 회피 경로 및 상기 제 1 장애물의 정보를 저장하고;
    상기 제 1 장애물과 상기 차량 사이에 위치하는 제 2 장애물에 의해 상기 제 1 장애물의 인식이 중단된 후 상기 제 2 장애물을 횡 방향으로 통과하여 접근하는 제 3 장애물을 인식하고;
    상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성에 기초하여 상기 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행하는 것;을 포함하는 운전자 보조 방법.
  12. 제11항에 있어서,
    상기 차량의 주행 차로 외부에서 횡 방향으로 접근하는 제 1 장애물을 인식하는 것은,
    미리 설정된 속도 이상의 횡 방향 속도를 갖는 장애물을 인식하는 것;을 포함하는 운전자 보조 방법.
  13. 제11항에 있어서,
    상기 차량의 주행 차로 외부에서 횡 방향으로 접근하는 제 1 장애물을 인식하는 것은,
    상기 주행 차로까지의 예상 도달 시간이 미리 설정된 시간 이하인 장애물을 인식하는 것;을 포함하는 운전자 보조 방법.
  14. 제11항에 있어서,
    상기 차량의 주행 차로 외부에서 횡 방향으로 접근하는 제 1 장애물을 인식하는 것은,
    상기 차량의 종 방향 속도 및 상기 영상 데이터 또는 상기 레이더 데이터로부터 감지된 장애물의 종 방향 속도에 기초하여 상기 감지된 장애물과 상기 차량과의 충돌 예상 시간(Time To Collision; TTC)을 산출하고;
    상기 차량과의 충돌 예상 시간이 미리 설정된 시간 이하인 장애물을 인식하는 것;을 포함하는 운전자 보조 방법.
  15. 제11항에 있어서,
    상기 차량이 상기 제 2 장애물을 종 방향으로 통과할 때까지 상기 제 3 장애물이 인식되지 않으면 상기 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행하지 않는 것;을 더 포함하는 운전자 보조 방법.
  16. 제11항에 있어서,
    상기 저장된 제 1 장애물의 정보와 상기 인식된 제 3 장애물의 정보를 비교하여 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성을 산출하는 것;을 더 포함하는 운전자 보조 방법.
  17. 제16항에 있어서,
    상기 저장된 제 1 장애물의 정보와 상기 인식된 제 3 장애물의 정보를 비교하여 상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성을 산출하는 것은,
    상기 제 1 장애물과 상기 제 3 장애물 각각의 횡 방향 속도, 면적 또는 색상 중 적어도 하나를 비교하여 것;을 포함하는 운전자 보조 방법.
  18. 제11항에 있어서,
    상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성에 기초하여 상기 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행하는 것은,
    상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성이 제 1 임계값 이상이면 완전 제동(full-braking)에 기초한 충돌 회피 제어를 수행하는 것;을 포함하는 운전자 보조 방법.
  19. 제11항에 있어서,
    상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성에 기초하여 상기 저장된 충돌 회피 경로에 기반한 충돌 회피 제어를 수행하는 것은,
    상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성이 제 1 임계값 보다 작고 상기 제 1 임계값 보다 작은 제 2 임계값 이상이면 부분 제동(partial-braking)에 기초한 충돌 회피 제어를 수행하는 것;을 포함하는 운전자 보조 방법.
  20. 제1항에 있어서,
    상기 제 1 장애물과 상기 제 3 장애물 사이의 유사성이 제 3 임계값 이상이면 경고 신호를 송출하기 위한 제어 신호를 생성하는 것;을 더 포함하는 운전자 보조 방법.
KR1020200001248A 2020-01-06 2020-01-06 운전자 보조 장치 및 그 방법 KR20210088780A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200001248A KR20210088780A (ko) 2020-01-06 2020-01-06 운전자 보조 장치 및 그 방법
US16/776,691 US10906559B1 (en) 2020-01-06 2020-01-30 Apparatus for assisting driving of a vehicle and method thereof
DE102020207928.5A DE102020207928A1 (de) 2020-01-06 2020-06-25 Vorrichtung zur unterstützung des fahrens eines fahrzeugs und verfahren dafür
CN202010594865.0A CN113147747A (zh) 2020-01-06 2020-06-28 用于辅助车辆驾驶的设备及其方法
US17/079,874 US11479269B2 (en) 2020-01-06 2020-10-26 Apparatus for assisting driving of a vehicle and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200001248A KR20210088780A (ko) 2020-01-06 2020-01-06 운전자 보조 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20210088780A true KR20210088780A (ko) 2021-07-15

Family

ID=74260835

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200001248A KR20210088780A (ko) 2020-01-06 2020-01-06 운전자 보조 장치 및 그 방법

Country Status (4)

Country Link
US (2) US10906559B1 (ko)
KR (1) KR20210088780A (ko)
CN (1) CN113147747A (ko)
DE (1) DE102020207928A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7145815B2 (ja) * 2019-05-27 2022-10-03 日立Astemo株式会社 電子制御装置
KR20220010900A (ko) * 2020-07-20 2022-01-27 현대모비스 주식회사 차량용 레이더 장치 및 제어방법
JP2023000055A (ja) * 2021-06-17 2023-01-04 トヨタ自動車株式会社 情報処理装置、情報処理方法、及びプログラム
CN114802435B (zh) * 2022-06-24 2022-10-25 小米汽车科技有限公司 车辆控制方法、装置、车辆、存储介质及芯片
CN115661797B (zh) * 2022-12-06 2023-05-09 清华大学 目标跟踪方法、装置及设备
CN116127604B (zh) * 2023-02-03 2023-06-16 中汽传媒(天津)有限公司 一种汽车防撞数据处理方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3995311B2 (ja) * 1997-09-01 2007-10-24 富士通テン株式会社 車間距離制御システムにおけるターゲット認識方法
JP4163205B2 (ja) 2005-11-15 2008-10-08 三菱電機株式会社 車両衝突軽減装置
KR101141874B1 (ko) * 2008-06-04 2012-05-08 주식회사 만도 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치
DE102008062916A1 (de) * 2008-12-23 2010-06-24 Continental Safety Engineering International Gmbh Verfahren zur Ermittlung einer Kollisionswahrscheinlichkeit eines Fahrzeuges mit einem Lebewesen
JP5729416B2 (ja) * 2013-04-26 2015-06-03 株式会社デンソー 衝突判定装置、および衝突緩和装置
US9505412B2 (en) * 2013-08-02 2016-11-29 Honda Motor Co., Ltd. System and method for detection and utilization of driver distraction level
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
DE102013225778A1 (de) * 2013-12-12 2015-06-18 Robert Bosch Gmbh Verfahren und Vorrichtung zur Querführung eines Kraftfahrzeugs, insbesondere zur Ausweichunterstützung
DE102014201159A1 (de) * 2014-01-23 2015-07-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
EP3091370B1 (en) * 2015-05-05 2021-01-06 Volvo Car Corporation Method and arrangement for determining safe vehicle trajectories
JP6532786B2 (ja) * 2015-08-07 2019-06-19 株式会社日立製作所 車両走行制御装置及び速度制御方法
CN107180220B (zh) * 2016-03-11 2023-10-31 松下电器（美国）知识产权公司 危险预测方法
JP6531689B2 (ja) * 2016-03-22 2019-06-19 株式会社デンソー 移動軌跡検出装置、移動物体検出装置、移動軌跡検出方法
KR20180085532A (ko) 2017-01-19 2018-07-27 주식회사 만도 Adas를 위한 카메라 시스템과, 충돌 방지 시스템 및 방법
JP6669090B2 (ja) * 2017-01-30 2020-03-18 株式会社デンソー 車両制御装置
KR102646644B1 (ko) * 2017-03-01 2024-03-13 모빌아이 비젼 테크놀로지스 엘티디. 감지 불확실성이 있는 항법을 위한 시스템 및 방법
US10281920B2 (en) * 2017-03-07 2019-05-07 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US20180370502A1 (en) * 2017-06-27 2018-12-27 Dura Operating, Llc Method and system for autonomous emergency self-learning braking for a vehicle
US10739774B2 (en) * 2017-10-06 2020-08-11 Honda Motor Co., Ltd. Keyframe based autonomous vehicle operation
KR20190123640A (ko) * 2018-04-24 2019-11-01 현대모비스 주식회사 보행자 감지와 위험도 추정 장치 및 방법
US10564643B2 (en) * 2018-05-31 2020-02-18 Nissan North America, Inc. Time-warping for autonomous driving simulation
KR20200001248A (ko) 2018-06-27 2020-01-06 주식회사 아스플로 금속계 촉매지지체 및 그 제조방법

Also Published As

Publication number Publication date
DE102020207928A1 (de) 2021-07-08
US20210206398A1 (en) 2021-07-08
US10906559B1 (en) 2021-02-02
CN113147747A (zh) 2021-07-23
US11479269B2 (en) 2022-10-25

Similar Documents

Publication Publication Date Title
US10919525B2 (en) Advanced driver assistance system, vehicle having the same, and method of controlling the vehicle
KR102061140B1 (ko) 차로 유지 장치, 그를 가지는 차량 및 그 제어 방법
KR102588920B1 (ko) 운전자 보조 시스템, 그를 가지는 차량 및 그 제어 방법
KR20210088780A (ko) 운전자 보조 장치 및 그 방법
KR102187378B1 (ko) 충돌 방지 장치, 그를 가지는 차량 및 그 제어 방법
CN112706763A (zh) 车辆及控制该车辆的方法
US20210197824A1 (en) Advanced driver assistance system, vehicle having the same and method for controlling the vehicle
KR20200094378A (ko) 운전자 보조 시스템 및 그 제어방법
KR102440255B1 (ko) 운전자 보조 시스템 및 그 제어 방법
US20200242941A1 (en) Driver assistance system, and control method the same
KR20200095976A (ko) 운전자 보조 장치
KR20210030529A (ko) 운전자 보조 장치, 그를 가지는 차량 및 그 제어 방법
KR102356612B1 (ko) 충돌 방지 장치, 그를 가지는 차량 및 그 제어 방법
US20230140246A1 (en) Driver assistance system and driver assistance method
KR20200094629A (ko) 운전자 보조 시스템 및 그 제어 방법
KR20210130297A (ko) 운전자 보조 시스템
KR20200046611A (ko) 운전자 보조 시스템
KR102618041B1 (ko) 운전자 보조 시스템 및 그 방법
KR20220106875A (ko) 운전자 보조 시스템 및 그의 방법
WO2019181326A1 (ja) 車両走行制御装置、車両走行制御システムおよび車両走行制御方法
KR20200072908A (ko) 차량 및 그 제어 방법
KR102413484B1 (ko) 운전자 보조 시스템 및 그 방법
US11840220B2 (en) Driver assistance system and control method thereof
KR20220111851A (ko) 운전자 보조 시스템 및 운전자 보조 방법
KR20220166119A (ko) 운전자 보조 시스템 및 그 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal