KR102474726B1 - 후측방 접근차량 경고 시스템 및 방법 - Google Patents

후측방 접근차량 경고 시스템 및 방법 Download PDF

Info

Publication number
KR102474726B1
KR102474726B1 KR1020200174606A KR20200174606A KR102474726B1 KR 102474726 B1 KR102474726 B1 KR 102474726B1 KR 1020200174606 A KR1020200174606 A KR 1020200174606A KR 20200174606 A KR20200174606 A KR 20200174606A KR 102474726 B1 KR102474726 B1 KR 102474726B1
Authority
KR
South Korea
Prior art keywords
approaching vehicle
region
interest
area
vehicle
Prior art date
Application number
KR1020200174606A
Other languages
English (en)
Other versions
KR20220084780A (ko
Inventor
강동구
국민성
Original Assignee
주식회사 유라코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유라코퍼레이션 filed Critical 주식회사 유라코퍼레이션
Priority to KR1020200174606A priority Critical patent/KR102474726B1/ko
Publication of KR20220084780A publication Critical patent/KR20220084780A/ko
Priority to KR1020220163974A priority patent/KR102517862B1/ko
Application granted granted Critical
Publication of KR102474726B1 publication Critical patent/KR102474726B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • H04N5/2257
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping

Abstract

본 발명은 후측방 접근차량 경고 시스템 및 방법에 관한 것이다.
또한, 본 발명은 후방 카메라에서 촬영된 원본 영상 프레임에서 녹화 영상으로 저장할 영역을 제외한 주변 영역이 크로핑되면, 크로핑된 주변 영역의 영상을 블라인드 스팟 영상으로 수집하는 수집부와, 블라인드 스팟 영상에서 차량의 후측방에 대응하는 위치에 관심 영역을 설정하고, 해당 관심 영역 내에서 접근차량이 존재하는지 검출하며, 검출된 접근차량이 차지하는 면적의 비율에 따라 접근차량의 위험도를 분석하는 제어부와, 제어부의 제어하에 접근차량의 검출 여부와 위험도에 따른 경고 신호를 출력하는 경고 출력부를 구비함으로써, 후방 카메라의 원본 영상에서 크로핑되어 버려지는 블라인드 스팟 영상을 이용하여 후측방의 접근차량을 검출하고 위험도를 분석할 수 있다.

Description

후측방 접근차량 경고 시스템 및 방법{Side obstacle warning system and warning method thereof}
본 발명은 후측방 접근차량 경고 시스템 및 방법에 관한 것이다.
일반적으로, 차량에는 후방의 좌측면과 우측면을 포함하는 후측방에서 접근하는 접근차량의 검출을 위해 레이더 센서가 탑재되고 있다.
그러나, 종래의 레이더 센서는 접근차량의 위치나 거리에 따라 오차가 발생할 수 있는데, 예를 들어, 가드레일, 터널 벽을 포함하는 근거리 고정 장애물을 접근차량으로 오검출하기도 하고, 접근차량이 운전차 차량의 후측방에 매우 근접한 상태로 주행 또는 추월을 하거나 운전차 차량이 차로를 변경하는 상태인 경우에는 접근차량을 검출하지 못하는 문제점이 있다.
즉, 종래의 레이더 센서에만 의존해서는 차량의 후측방에 위치한 접근차량을 정확하게 검출할 수 없으므로, 이러한, 레이더 센서의 단점을 보완하여 미검출 및 오검출 비율을 줄일 수 있는 방안을 개발할 필요가 있다.
예컨대, 차량에 탑재되어 차량 후방의 장애물이나 타 차량을 촬영하기 위한 후방 카메라를 활용하는 방안을 고려해볼 수 있다. 특히, 차량에 탑재되는 후방 카메라는 약 180°의 화각을 갖지만, 실제 블랙박스 영상으로 가공되는 범위는 약 130°에 불과하며, 130°를 벗어나는 영역의 영상은 원본 영상에서 크로핑되어 버려지고 있다.
이와 같이, 원본 영상에서 크로핑되어 버려지는 영상을 블라인드 스팟(Blind Spot) 영상이라 하며, 블라인드 스팟 영상은 저용량 데이터로써 실시간으로 데이터 수집 및 다양한 영상 처리가 가능함에도 불구하고, 종래에는 블라인드 스팟 영상을 단순 제거할 뿐 레이더 센서의 단점을 보완하거나 타 차량의 검출을 위한 용도로 활용하지는 못하는 문제점이 있다.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 블라인드 스팟 영상을 이용하여 차량의 후측방에 위치한 접근차량을 검출하고 위험도를 분석할 수 있는 후측방 접근차량 경고 시스템 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 레이더 센서에서 발생하는 접근차량의 미검출 및 오검출 비율을 줄일 수 있는 후측방 접근차량 경고 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명은 후방 카메라에서 촬영된 원본 영상 프레임에서 녹화 영상으로 저장할 영역을 제외한 주변 영역이 크로핑되면, 크로핑된 주변 영역의 영상을 블라인드 스팟 영상으로 수집하는 수집부; 블라인드 스팟 영상에서 차량의 후측방에 대응하는 위치에 관심 영역을 설정하고, 해당 관심 영역 내에서 접근차량이 존재하는지 검출하며, 검출된 접근차량이 차지하는 면적의 비율에 따라 접근차량의 위험도를 분석하는 제어부; 및 상기 제어부의 제어하에, 접근차량의 검출 여부와 위험도에 따른 경고 신호를 출력하는 경고 출력부;를 포함하는 후측방 접근차량 경고 시스템을 제공한다.
바람직한 실시예에 있어서, 상기 제어부는, 블라인드 스팟 영상 내 기설정된 위치에 관심 영역을 설정하고, 설정된 관심 영역을 이진화한 후 에지 검출기를 이용하여 관심 영역 내 윤곽선을 검출하며, 윤곽선이 검출된 관심 영역을 복수 개의 분할 영역으로 분할하는 영상 처리부;를 포함한다.
바람직한 실시예에 있어서, 상기 제어부는, 관심 영역 내 윤곽선의 형태에 기반하여 접근차량의 존재를 검출하고, 각각의 분할 영역별로 접근차량이 차지하는 면적을 계산한 후, 각 분할 영역에서 접근차량이 차지하는 면적의 비율을 계산하는 접근차량 검출부;를 더 포함한다.
바람직한 실시예에 있어서, 상기 제어부는, 분할 영역들의 위치 또는 우선 순위에 따라 위험도 등급을 설정하고, 동일한 위험도 등급을 갖는 적어도 하나의 분할 영역 내에서 접근차량이 차지하는 면적의 비율과 임계치를 비교하여 접근차량의 위험도를 분석하는 위험도 분석부;를 더 포함한다.
바람직한 실시예에 있어서, 상기 위험도 분석부는, 가장 높은 위험도 등급을 갖는 적어도 하나의 분할 영역부터 순차적으로 접근차량이 차지하는 면적의 비율과 임계치를 비교하고, 접근차량이 차지하는 면적의 비율이 임계치를 초과한 분할 영역들의 위험도 등급에 따라 접근차량의 위험도를 결정한다.
바람직한 실시예에 있어서, 상기 경고 출력부는, 차량에 탑재된 사각지대 경보 시스템(Blind Spot Detection, BSD)을 대상으로 경고등 제어 및 경고음 출력을 위한 PWM(Pulse Width Modulation) 신호와 경고음 출력 신호를 경고 신호로서 출력하며, 위험도에 따라 PWM 신호의 듀티 사이클과 경고음 출력 신호의 소음 레벨(sound level)을 조절한다.
또한, 본 발명은 (1) 제어부가, 후방 카메라에서 촬영된 원본 영상 프레임에서 녹화 영상으로 저장할 영역을 제외한 주변 영역이 크로핑되고, 크로핑된 주변 영역의 영상이 블라인드 스팟 영상으로 수집되면, 상기 수집된 블라인드 스팟 영상을 수신하는 단계; (2) 상기 제어부가, 블라인드 스팟 영상에서 차량의 후측방에 대응하는 위치에 관심 영역을 설정하고, 해당 관심 영역 내에서 접근차량이 존재하는지 검출하며, 검출된 접근차량이 차지하는 면적의 비율에 따라 접근차량의 위험도를 분석하는 단계; 및 (3) 상기 제어부가, 접근차량의 검출 여부와 위험도에 따른 경고 신호를 출력하도록 제어하는 단계;를 포함하는 후측방 접근차량 경고 방법을 제공한다.
바람직한 실시예에 있어서, 상기 제 (2)단계는, (2-1) 블라인드 스팟 영상 내 기설정된 위치에 관심 영역을 설정하고, 설정된 관심 영역을 이진화한 후 에지 검출기를 이용하여 관심 영역 내 윤곽선을 검출하며, 윤곽선이 검출된 관심 영역을 복수 개의 분할 영역으로 분할하는 단계;를 포함한다.
바람직한 실시예에 있어서, 상기 제 (2)단계는, 상기 제 (2-1)단계 이후에, (2-2) 관심 영역 내 윤곽선의 형태에 기반하여 접근차량의 존재를 검출하고, 각각의 분할 영역별로 접근차량이 차지하는 면적을 계산한 후, 각 분할 영역에서 접근차량이 차지하는 면적의 비율을 계산하는 단계;를 더 포함한다.
바람직한 실시예에 있어서, 상기 제 (2)단계는, 상기 제 (2-2)단계 이후에, (2-3) 분할 영역들의 위치 또는 우선 순위에 따라 위험도 등급을 설정하고, 동일한 위험도 등급을 갖는 적어도 하나의 분할 영역 내에서 접근차량이 차지하는 면적의 비율과 임계치를 비교하여 접근차량의 위험도를 분석하는 단계;를 더 포함한다.
바람직한 실시예에 있어서, 상기 제 (2-3)단계는, 가장 높은 위험도 등급을 갖는 적어도 하나의 분할 영역부터 순차적으로 접근차량이 차지하는 면적의 비율과 임계치를 비교하고, 접근차량이 차지하는 면적의 비율이 임계치를 초과한 분할 영역들의 위험도 등급에 따라 접근차량의 위험도를 결정한다.
바람직한 실시예에 있어서, 상기 제 (3)단계는, 차량에 탑재된 사각지대 경보 시스템(Blind Spot Detection, BSD)을 대상으로 경고등 제어 및 경고음 출력을 위한 PWM(Pulse Width Modulation) 신호와 경고음 출력 신호를 경고 신호로서 출력하며, 위험도에 따라 PWM 신호의 듀티 사이클과 경고음 출력 신호의 소음 레벨(sound level)을 조절한다.
또한, 본 발명은 컴퓨터에서, 후측방 접근차량 경고 방법을 실행하도록, 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램을 제공한다.
또한, 본 발명은 프로세서; 및 상기 프로세서에 의해 실행 가능한 하나 이상의 인스트럭션을 저장하는 메모리;를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 후방 카메라에서 촬영된 원본 영상 프레임에서 녹화 영상으로 저장할 영역을 제외한 주변 영역이 크로핑되고, 크로핑된 주변 영역의 영상이 블라인드 스팟 영상으로 수집되면, 상기 수집된 블라인드 스팟 영상을 수신하고, 블라인드 스팟 영상에서 차량의 후측방에 대응하는 위치에 관심 영역을 설정하고, 해당 관심 영역 내에서 접근차량이 존재하는지 검출하며, 검출된 접근차량이 차지하는 면적의 비율에 따라 접근차량의 위험도를 분석하며, 접근차량의 검출 여부와 위험도에 따른 경고 신호를 출력하는, 후측방 접근차량 경고 시스템을 제공한다.
전술한 과제해결 수단에 의해 본 발명은 후방 카메라에서 촬영된 원본 영상 프레임에서 녹화 영상으로 저장할 영역을 제외한 주변 영역이 크로핑되면, 크로핑된 주변 영역의 영상을 블라인드 스팟 영상으로 수집하는 수집부와, 블라인드 스팟 영상에서 차량의 후측방에 대응하는 위치에 관심 영역을 설정하고, 해당 관심 영역 내에서 접근차량이 존재하는지 검출하며, 검출된 접근차량이 차지하는 면적의 비율에 따라 접근차량의 위험도를 분석하는 제어부와, 제어부의 제어하에 접근차량의 검출 여부와 위험도에 따른 경고 신호를 출력하는 경고 출력부를 구비함으로써, 후방 카메라의 원본 영상에서 크로핑되어 버려지는 블라인드 스팟 영상을 이용하여 후측방의 접근차량을 검출하고 위험도를 분석할 수 있는 효과가 있다.
또한, 본 발명은 차량에 탑재된 레이더 센서와 연동하여 접근차량의 검출 여부를 비교 판정함으로써, 접근차량의 검출 정확도를 높이고 접근차량의 미검출 및 오검출 비율을 줄일 수 있는 효과가 있다.
도 1과 도 2는 본 발명의 일실시예에 따른 후측방 접근차량 경고 시스템을 설명하기 위한 도면.
도 3은 본 발명의 일실시예에 따른 블라인드 스팟 영상과 관심 영역을 설명하기 위한 도면.
도 4는 본 발명의 일실시예에 따른 접근차량이 차지하는 면적의 비율을 계산하는 과정을 설명하기 위한 도면.
도 5는 본 발명의 일실시예에 따른 관심 영역의 분할 영역들에 설정되는 위험도 등급을 설명하기 위한 도면.
도 6은 본 발명의 일실시예에 따라 접근차량의 위험도를 결정하는 과정을 설명하기 위한 도면.
도 7은 본 발명의 일실시예에 따른 위험도에 기반한 PWM 신호의 듀티 사이클을 설명하기 위한 도면.
도 8은 본 발명의 일실시예에 따른 후측방 접근차량 경고 방법을 설명하기 위한 도면.
도 9는 본 발명의 다른 실시예에 따른 후측방 접근차량 경고 시스템을 설명하기 위한 도면.
하기의 설명에서 본 발명의 특정 상세들이 본 발명의 전반적인 이해를 제공하기 위해 나타나 있는데, 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도 1 내지 도 9를 참조하여 상세히 설명하되, 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 설명한다.
도 1과 도 2는 본 발명의 일실시예에 따른 후측방 접근차량 경고 시스템을 설명하기 위한 도면이고, 도 3은 본 발명의 일실시예에 따른 블라인드 스팟 영상과 관심 영역을 설명하기 위한 도면이며, 도 4는 본 발명의 일실시예에 따른 접근차량이 차지하는 면적의 비율을 계산하는 과정을 설명하기 위한 도면이고, 도 5는 본 발명의 일실시예에 따른 관심 영역의 분할 영역들에 설정되는 위험도 등급을 설명하기 위한 도면이며, 도 6은 본 발명의 일실시예에 따라 접근차량의 위험도를 결정하는 과정을 설명하기 위한 도면이고, 도 7은 본 발명의 일실시예에 따른 위험도에 기반한 PWM 신호의 듀티 사이클을 설명하기 위한 도면이다.
먼저, 도 1 및 도 2를 참조하면, 본 발명의 일실시예에 따른 후측방 접근차량 경고 시스템(100)은 수집부(110), 제어부(120) 및 경고 출력부(130)를 포함하여 구성된다.
이러한, 본 발명의 일실시예에 따른 후측방 접근차량 경고 시스템(100)은 차량에 탑재되는 영상기록 시스템(Drive Video Record System, DVRS, 10)에 탑재될 수 있고, 차량에 탑재되는 후방 카메라(200)로부터 블라인드 스팟 영상(B)을 수집하며, 또한, 차량에 탑재된 사각지대 경보 시스템(Blind Spot Detection, BSD, 300)을 통해 경고 신호를 출력하여 운전자에게 경고를 할 수 있다.
여기서, 전술한 후방 카메라(200)는 영상을 촬영하여 원본 영상 프레임으로 출력하는 이미지 센서부(210)와, 영상 처리를 수행하여 원본 영상 프레임에서 녹화 영상(V)으로 저장할 영역을 제외한 주변 영역을 크로핑하는 크로핑 처리부(221)가 포함된 프로세서(220)와, 녹화 영상(V)으로 저장할 영역의 영상을 영상기록 시스템(10)에 출력하는 출력부(230)와, 크로핑된 주변 영역의 영상인 블라인드 스팟 영상(B)을 임시 저장하는 임시 저장 버퍼(240)를 포함하여 구성될 수 있다.
참고로, 후방 카메라(200)에서 실제로 영상을 촬영할 수 있는 화각에 비해 녹화 영상(V)으로 가공되는 화각의 범위는 상대적으로 작으며, 예를 들어, 후방 카메라(200)의 실제 화각이 170° 내지 180°라 하더라도, 이에 비해 상대적으로 적은 120° 내지 130°의 영역만 녹화 영상(V)으로 가공되며, 120° 내지 130°를 벗어나는 주변 영역은 크로핑되어 버려지고 있는데, 이러한, 크로핑된 주변 영역의 영상을 블라인드 스팟 영상(B)이라 하며, 블라인드 스팟 영상(B)은 저용량 데이터로써 실시간으로 데이터 수집을 할 수 있고, 다양한 영상 처리 시 처리 속도가 빠른 이점이 있다.
상기 수집부(110)는 후방 카메라(200)로부터 블라인드 스팟 영상(B)을 수집한다.
이러한, 수집부(110)는 후방 카메라(200)에서 촬영된 원본 영상 프레임에서 녹화 영상(V)으로 저장할 영역을 제외한 주변 영역이 크로핑되고, 크로핑된 주변 영역의 영상인 블라인드 스팟 영상(B)이 임시 저장되면, 후방 카메라(200)에 임시 저장된 블라인드 스팟 영상(B)을 수집할 수 있다.
상기 제어부(120)는 블라인드 스팟 영상(B)에서 접근 차량을 검출하고 접근차량의 위험도를 분석한다.
구체적으로, 제어부(120)는 블라인드 스팟 영상(B)에서 차량의 후측방에 대응하는 위치에 관심 영역(R)을 설정하고, 해당 관심 영역(R) 내에서 접근차량이 존재하는지 검출하며, 검출된 접근차량이 차지하는 면적의 비율에 따라 접근차량의 위험도를 분석하는 기능을 수행할 수 있다.
이를 위한, 제어부(120)는 영상 처리부(121), 접근차량 검출부(122) 및 위험도 분석부(123)를 포함하여 구성된다.
상기 영상 처리부(121)는 블라인드 스팟 영상(B)에 대한 영상 처리를 수행한다.
예컨대, 도 3에 도시된 바와 같이, 영상 처리부(121)는 블라인드 스팟 영상(B) 내 기설정된 위치에 관심 영역(R)을 설정할 수 있다. 여기서, 녹화 영상(V)이 1920×1080의 해상도를 갖는 경우 원본 영상 프레임에서 1920×1080의 영역의 제외한 주변 영역의 영상을 블라인드 스팟 영상(B)이라 하며, 블라인드 스팟 영상(B)에서 차량의 후측방에 대응하는 하부에 관심 영역(R)이 설정된다.
또한, 관심 영역(R)의 크기를 결정하는 가로축(wr)과 세로축(hr)의 비율은 사전에 결정되어 저장될 수 있다. 아울러, 관심 영역(R)의 세로축(hr)은 블라인드 스팟 영상(B)의 세로축(1080)에 비해 25%, 30% 또는 40% 작게 설정될 수 있다.
또한, 영상 처리부(121)는 관심 영역(R)이 설정되면, 설정된 관심 영역(R)을 이진화한 후 에지 검출기를 이용하여 관심 영역(R) 내 윤곽선을 검출하고, 윤곽선이 검출된 관심 영역(R)을 복수 개의 분할 영역으로 분할할 수 있다.
여기서, 전술한 에지 검출기는 소벨마스크(Sobel Mask), 라플라시안 마스크(Laplacian Mask) 및 캐니 에지 검출기(Canny Edge Detection)를 포함하는 다양한 에지 검출기가 활용될 수 있다.
아울러, 영상 처리부(121)는 윤곽선이 검출된 관심 영역(R)을 9개의 분할 영역으로 분할하여 구분할 수 있는데, 관심 영역(R)의 분할 개수는 사전에 설정될 수 있다. 한편, 본 발명의 일실시예에서는 관심 영역(R)이 9개의 분할 영역으로 분할되는 것으로 설명하였으나, 이에 한정되는 것은 아니다.
상기 접근차량 검출부(122)는 관심 영역(R)에서 접근차량이 존재하는지 검출하고, 검출된 접근차량이 차지하는 면적의 비율을 계산한다.
이러한, 접근차량 검출부(122)는 관심 영역(R) 내 윤곽선의 형태에 기반하여 접근차량의 존재를 검출할 수 있다. 이때, 접근차량 검출부(122)에는 접근차량의 식별을 위한 윤각선 템플릿이나 차량 윤곽선 정보가 사전에 저장될 수 있다.
또한, 접근차량 검출부(122)는 윤각선 템플릿 또는 차량 윤곽선 정보와 관심 영역(R) 내 윤곽선의 형태를 비교하여, 관심 영역(R) 내 윤곽선의 형태가 차량의 윤곽선에 부합하는지 판정함으로써, 접근차량이 존재하는지 존재하지 않는지 검출할 수 있다.
아울러, 접근차량 검출부(122)는 관심 영역(R)에 접근차량이 존재하는 것으로 검출되면, 관심 영역(R) 내에 설정된 각각의 분할 영역별로 접근차량이 차지하는 면적을 계산하고, 각 분할 영역에서 접근차량이 차지하는 면적의 비율을 계산할 수 있다.
이때, 접근차량 검출부(122)는 분할 영역의 가로축에 위치하는 모든 좌표를 대상으로 각각의 좌표가 접근차량의 윤곽선에 도달하는 거리, 즉, 높이를 계산하고 계산된 높이들을 모두 합한 값으로 접근차량이 차지하는 면적을 계산한다.
예컨대, 도 4에 도시된 바와 같이, 9개의 분할 영역으로 분할된 관심 영역(R)에서, 분할 영역의 가로축과 세로축의 최소값이 h0이고, 분할 영역의 가로축의 최대값이 w0이며, 분할 영역의 세로축의 최대값이 h1인 제 2분할 영역(R2)에서 접근차량이 차지하는 면적을 계산하는 과정을 살펴보면, 제 2분할 영역(R2)의 가로축 상에 위치한 특정 좌표 wn으로부터 수직하게 연장되어 접근차량의 윤곽선이 위치하는 세로축의 좌표값인 max(x1)에 도달하는 높이를 계산하는데, 이 과정은 분할 영역의 가로축 상의 최소값인 h0부터 시작하여 분할 영역의 가로축 상의 최대값인 w0에 도달할 때까지 순차적으로 반복한 후 계산될 높이들을 모두 합하여 접근차량이 차지하는 면적을 계산할 수 있다.
또한, 접근차량 검출부(122)는 아래의 수학식 1을 이용하여 접근차량이 차지하는 면적을 계산할 수 있다.
[수학식 1]
Figure 112020135584440-pat00001
여기서, S는 접근차량이 차지하는 면적이고, wmax는 분할 영역의 가로축의 최대값이며, wmin는 분할 영역의 가로축의 최소값이고, max(x)는 가로축 상의 좌표이며, hmin는 분할 영역의 세로축의 최소값이다.
그리고, 접근차량 검출부(122)는 접근차량이 차지하는 면적을 분할 영역의 전체 면적으로 나눈 값으로 접근차량이 차지하는 면적의 비율을 계산할 수 있다.
또한, 접근차량 검출부(122)는 아래의 수학식 2를 이용하여 접근차량이 차지하는 면적의 비율을 계산할 수 있다.
[수학식 2]
Figure 112020135584440-pat00002
여기서, P는 접근차량이 차지하는 면적의 비율이고, S는 접근차량이 차지하는 면적이며, wmax는 분할 영역의 가로축의 최대값이고, wmin는 분할 영역의 가로축의 최소값이며, hmax는 분할 영역의 세로축의 최대값이고, hmin는 분할 영역의 세로축의 최소값이다.
이와 같은 계산 과정을 수행하면, 하나의 분할 영역에 대하여 접근차량이 차지하는 면적의 비율을 계산할 수 있으며, 이러한 계산 과정은 모든 분할 영역에 대해 순차적으로 수행될 수 있다.
상기 위험도 분석부(123)는 접근차량의 위험도를 분석한다.
구체적으로, 도 5에 도시된 바와 같이, 위험도 분석부(123)는 분할 영역들의 위치 또는 우선 순위에 따라 위험도 등급을 상,중,하로 설정하고, 동일한 위험도 등급을 갖는 적어도 하나의 분할 영역 내에서 접근차량이 차지하는 면적의 비율과 임계치를 비교하여 접근차량의 위험도를 분석할 수 있다.
이때, 위험도 분석부(123)는 가장 높은 위험도 등급을 갖는 적어도 하나의 분할 영역부터 순차적으로 접근차량이 차지하는 면적의 비율과 임계치를 비교하고, 접근차량이 차지하는 면적의 비율이 임계치를 초과한 분할 영역들의 위험도 등급에 따라 접근차량의 위험도를 결정할 수 있다.
예를 들어, 위험도 분석부(123)는 가장 위험한 ‘상’ 등급의 분할 영역부터 접근차량이 차지하는 면적의 비율과 임계치를 비교하고, ‘상’ 등급의 분할 영역에서 접근차량이 차지하는 면적의 비율이 임계치를 초과하면, 접근차량의 위험도를 ‘상’으로 설정한다.
또한, 위험도 분석부(123)는 가장 위험한 ‘상’ 등급의 분할 영역에서 접근차량이 차지하는 면적의 비율이 임계치 이하이면, ‘중’ 등급의 분할 영역에서 접근차량이 차지하는 면적의 비율과 임계치를 비교하고, ‘중’ 등급의 분할 영역에서 접근차량이 차지하는 면적의 비율이 임계치를 초과하면, 접근차량의 위험도를 ‘중’으로 설정한다.
또한, 위험도 분석부(123)는 ‘상’ 등급과 ‘중’ 등급의 분할 영역에서 접근차량이 차지하는 면적의 비율이 임계치 이하이면, ‘하’ 등급의 분할 영역에서 접근차량이 차지하는 면적의 비율과 임계치를 비교하고, ‘하’ 등급의 분할 영역에서 접근차량이 차지하는 면적의 비율이 임계치를 초과하면, 접근차량의 위험도를 ‘하’으로 설정하며, ‘하’ 등급의 분할 영역에서도 접근차량이 차지하는 면적의 비율이 임계치 이하인 경우에는 접근차량의 위험도를 디폴트(Default)로 설정할 수도 있다.
이와 같이, 위험도 분석부(123)에서 접근차량의 위험도를 결정하는 과정은, 관심 영역(R) 내에서 검출되는 접근차량의 윤곽선이 변화할 때마다 반복 수행되며, 동일한 위험도 등급을 갖는 분할 영역 내에서 접근차량이 차지하는 면적의 비율과 임계치를 비교한 결과에 따라 위험도가 상승하거나 감소할 수 있다.
예를 들어, 도 6에 도시된 바와 같이, 접근차량이 차선을 변경하여 차량의 우측 후방으로 이동하는 과정에서(a), 블라인드 스팟 영상(B)에 가장 먼저 설정된 관심 영역 T1은 ‘하’ 등급의 분할 영역에서 접근차량이 차지하는 면적의 비율이 15%로 계산되었고, 그 다음에 설정된 관심 영역 T3은 ‘중’ 등급의 분할 영역에서 접근차량이 차지하는 면적의 비율이 10%이고 ‘하’ 등급의 분할 영역에서는 접근차량이 차지하는 면적의 비율이 40%로 계산되었으며, 그 다음에 설정된 관심 영역 T5는 ‘상’ 등급의 분할 영역에서 접근차량이 차지하는 면적의 비율이 15%이고 ‘중’ 등급의 분할 영역에서 접근차량이 차지하는 면적의 비율이 60%이며 ‘하’ 등급의 분할 영역에서는 접근차량이 차지하는 면적의 비율이 70%로 계산되었다(b).
이때, 접근차량의 위험도 결정을 위한 임계치가 30%라고 하면, 위험도 분석부(123)는 관심 영역 T1에 대해 모든 분할 영역에서 접근차량이 차지하는 면적의 비율이 임계치 이하이므로, 접근차량의 위험도를 디폴트(Default)로 설정할 수 있다.
또한, 위험도 분석부(123)는 관심 영역 T3에 대해 ‘중’ 등급의 분할 영역에서는 접근차량이 차지하는 면적의 비율이 10%로 임계치보다 낮지만 ‘하’ 등급의 분할 영역에서 접근차량이 차지하는 면적의 비율이 임계치를 초과하는 40%이므로, 접근차량의 위험도를 ‘하’ 등급으로 설정할 수 있다.
또한, 위험도 분석부(123)는 관심 영역 T5에 대해서는 ‘상’ 등급의 분할 영역은 접근차량이 차지하는 면적의 비율이 15%로 임계치보다 낮지만 ‘중’ 등급의 분할 영역에서 접근차량이 차지하는 면적의 비율이 임계치를 초과하는 60%이므로, 접근차량의 위험도를 ‘중’ 등급으로 설정할 수 있다.
이와 같이, 접근차량이 차선을 변경하여 차량의 우측 후방으로 이동하는 과정에서 접근차량의 윤곽선이 변화할 때마다, 위험도 분석부(123)는 접근차량의 위험도를 디폴트(Default)에서 ‘하’ 등급, ‘중’ 등급으로 변경할 수 있다.
상기 경고 출력부(130)는 제어부(120)의 제어에 따라 접근차량의 검출 여부와 위험도에 따른 경고 신호를 출력한다.
이때, 경고 출력부(130)는 차량에 탑재된 사각지대 경보 시스템(300)을 대상으로 경고등 제어 및 경고음 출력을 위한 PWM(Pulse Width Modulation) 신호와 경고음 출력 신호를 경고 신호로서 출력할 수 있다.
또한, 도 7에 도시된 바와 같이, 경고 출력부(130)는 위험도에 따라 PWM 신호의 듀티 사이클과 경고음 출력 신호의 소음 레벨(sound level)을 조절할 수 있는데, 위험도 등급이 가장 위험한 ‘상’ 등급이면 PWM 신호의 듀티 사이클을 100%로 조절하고 소음 레벨은 레벨 3으로 조절하고, 위험도 등급이 ‘중’ 등급이면 PWM 신호의 듀티 사이클을 75%로 조절하고 소음 레벨은 레벨 2로 조절하며, 위험도 등급이 ‘하’ 등급이면 PWM 신호의 듀티 사이클을 50%로 조절하고 소음 레벨은 레벨 1로 조절하고, 위험도 등급이 가장 낮은 ‘디폴트(Default)’ 등급인 경우에는 PWM 신호의 듀티 사이클을 25%로 조절하고 소음 레벨은 레벨 0으로 조절할 수 있다.
즉, 경고 출력부(130)는 위험도가 높아질수록 PWM 신호의 듀티 사이클과 소음 레벨을 높이고, 위험도가 낮아지면 PWM 신호의 듀티 사이클과 소음 레벨을 낮추는 방식으로 경고 신호를 출력함으로써, 운전자가 사각지대 경보 시스템(300)에서 출력되는 경고를 통해 보다 직관적으로 접근차량에 의한 위험 상황을 인지할 수 있도록 한다.
이와 같은, 본 발명의 일실시예에 따른 후측방 접근차량 경고 시스템(100)은 후방 카메라(200)의 원본 영상에서 크로핑되어 버려지는 블라인드 스팟 영상(B)을 이용하여 후측방의 접근차량을 검출할 수 있으며, 또한, 접근차량의 위험도를 분석하여 운전자에게 경고할 수 있다.
또한, 본 발명의 일실시예에 따른 후측방 접근차량 경고 시스템(100)은 차량에 탑재된 레이더 센서와 연동하여 동작할 수도 있다. 이 경우, 레이더 센서에서 접근차량을 검출하였는지의 여부와 후측방 접근차량 경고 시스템(100)에서 접근차량을 검출하였는지의 여부를 비교 판정함으로써, 접근차량의 검출 정확도를 높이고 접근차량의 미검출 및 오검출 비율을 줄일 수 있다.
도 8은 본 발명의 일실시예에 따른 후측방 접근차량 경고 방법을 설명하기 위한 도면이다.
도 8을 참조하여, 본 발명의 일실시예에 따른 후측방 접근차량 경고 시스템에서 수행되는 후측방 접근차량 경고 방법을 설명한다.
다만, 도 8에 도시된 후측방 접근차량 경고 방법에서 수행되는 기능은 모두 도 1 내지 도 7을 참조하여 설명한 후측방 접근차량 경고 시스템에서 수행되므로, 명시적인 설명이 없어도, 도 1 내지 도 7을 참조하여 설명한 모든 기능은 본 발명의 바람직한 실시예에 따른 후측방 접근차량 경고 방법에서 수행되고, 도 7을 참조하여 설명하는 모든 기능은 본 발명의 바람직한 실시예에 따른 후측방 접근차량 경고 시스템에서 그대로 수행됨을 주의해야 한다.
먼저, 제어부(120)가 블라인드 스팟 영상을 수신한다(S100).
다만, 제어부(120)에서 블라인드 스팟 영상을 수신하기 이전에, 후방 카메라가 촬영한 원본 영상 프레임에서 녹화 영상으로 저장할 영역을 제외한 주변 영역을 크로핑하고, 크로핑한 주변 영역의 영상이 블라인드 스팟 영상로서 수집부(110)에 수집되는 과정이 수행될 수 있다. 이때, 제어부(120)는 수집부(110)로부터 블라인드 스팟 영상을 수신할 수 있다.
다음, 제어부(120)는 블라인드 스팟 영상의 소정 위치에 관심 영역을 설정하고, 해당 관심 영역 내에서 접근차량이 존재하는지 검출하며, 검출된 접근차량이 차지하는 면적의 비율에 따라 접근차량의 위험도를 분석한다(S200).
이때, 제어부(120)는 블라인드 스팟 영상 내 기설정된 위치에 관심 영역을 설정하고, 설정된 관심 영역을 이진화한 후 에지 검출기를 이용하여 관심 영역 내 윤곽선을 검출하며, 윤곽선이 검출된 관심 영역을 복수 개의 분할 영역으로 분할한다(S210).
그리고, 제어부(120)는 관심 영역 내 윤곽선의 형태에 기반하여 접근차량의 존재를 검출하고, 각각의 분할 영역별로 접근차량이 차지하는 면적을 계산한 후, 각 분할 영역에서 접근차량이 차지하는 면적의 비율을 계산할 수 있다(S220).
참고로, 제어부(120)는 전술한 수학식 1을 이용하여 접근차량이 차지하는 면적을 계산할 수 있고, 전술한 수학식 2를 이용하여 접근차량이 차지하는 면적의 비율을 계산할 수 있다.
한편, S220단계에서 접근차량이 검출되지 않으면, 제어부(120)는 전술한 S100단계를 다시 수행할 수도 있다.
또한, 제어부(120)는 분할 영역들의 위치 또는 우선 순위에 따라 위험도 등급을 설정하고, 동일한 위험도 등급을 갖는 적어도 하나의 분할 영역 내에서 접근차량이 차지하는 면적의 비율과 임계치를 비교하여 접근차량의 위험도를 분석할 수 있다(S230).
여기서, 전술한 S230단계에서 제어부(120)는, 가장 높은 위험도 등급을 갖는 적어도 하나의 분할 영역부터 순차적으로 접근차량이 차지하는 면적의 비율과 임계치를 비교하고, 접근차량이 차지하는 면적의 비율이 임계치를 초과한 분할 영역들의 위험도 등급에 따라 접근차량의 위험도를 결정할 수 있다.
그 다음에는, 제어부(120)가 접근차량의 검출 여부와 위험도에 따른 경고 신호를 출력하도록 경고 출력부(130)를 제어한다(S300).
이때, 경고 출력부(130)는 제어부(120)의 제어에 따라, 차량에 탑재된 사각지대 경보 시스템(Blind Spot Detection, BSD)을 대상으로 경고등 제어 및 경고음 출력을 위한 PWM(Pulse Width Modulation) 신호와 경고음 출력 신호를 경고 신호로서 출력하며, 위험도에 따라 PWM 신호의 듀티 사이클과 경고음 출력 신호의 소음 레벨(sound level)을 조절할 수 있다.
한편, S300단계가 수행되면, 제어부(120)는 전술한 S100단계부터 다시 반복하여 각 단계를 수행하며, 이러한 과정은 차량의 주행이 정지될 때까지 반복될 수 있다.
이와 같은, 본 발명의 일실시예에 따른 후측방 접근차량 경고 방법의 각 단계는, 후술하는 본 발명의 다른 실시예에 따른 후측방 접근차량 경고 시스템에서 설명하는 바와 같이, 프로세서가 메모리에 저장된 적어도 하나의 실행 가능한 인스트럭션 또는 적어도 하나의 실행 가능한 프로그램을 실행함으로써 구현될 수 있다.
도 9는 본 발명의 다른 실시예에 따른 후측방 접근차량 경고 시스템을 설명하기 위한 도면이다.
도 9를 참조하면, 본 발명의 다른 실시예에 따른 후측방 접근차량 경고 시스템(100)은 메모리(140)와 프로세서(150)를 포함하여 구성될 수 있다.
여기서, 본 발명의 다른 실시예에 따른 후측방 접근차량 경고 시스템(100)의 경우에도, 차량에 탑재되는 영상기록 시스템(Drive Video Record System, DVRS, 10)에 탑재될 수 있고, 후방 카메라(200)와 사각지대 경보 시스템(Blind Spot Detection, BSD, 300)에 연결될 수 있다.
아울러, 전술한 후방 카메라(200)는 전술한 도 1을 참조하여 설명한 바와 같이, 이미지 센서부(210), 크로핑 처리부(221)가 포함된 프로세서(220), 출력부(230) 및 임시 저장 버퍼(240)를 포함하여 구성될 수 있다.
상기 메모리(140)는 각종 데이터, 명령 및 정보를 저장할 수 있으며, 특히, 프로세서(150)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션)을 저장할 수 있고, 그 외에, 프로세서(150)에 의해 입력 또는 출력되는 데이터를 저장할 수도 있다.
상기 프로세서(150)는 하나 이상으로 포함될 수 있고, 메모리(140)에 저장된 하나 이상의 인스트럭션 또는 프로그램을 실행할 수 있으며, 후측방 접근차량 경고 시스템(100)의 전반적인 동작을 제어할 수도 있다.
이러한, 프로세서(150)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), ECU(Elecrtonic Control Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서로서 구성될 수 있다.
또한, 프로세서(150)는 후방 카메라(200)가 촬영한 원본 영상 프레임에서 녹화 영상으로 저장할 영역을 제외한 주변 영역을 크로핑하면, 크로핑한 주변 영역의 영상을 블라인드 스팟 영상으로 수집할 수 있다.
그리고, 프로세서(150)는 블라인드 스팟 영상에서 차량의 후측방에 대응하는 위치에 관심 영역을 설정하고, 해당 관심 영역 내에서 접근차량이 존재하는지 검출하며, 검출된 접근차량이 차지하는 면적의 비율에 따라 접근차량의 위험도를 분석할 수 있다.
구체적으로, 프로세서(150)는 블라인드 스팟 영상의 소정 위치에 관심 영역을 설정하고, 설정된 관심 영역을 이진화한 후 에지 검출기를 이용하여 관심 영역 내 윤곽선을 검출하며, 윤곽선이 검출된 관심 영역을 복수 개의 분할 영역으로 분할하고, 관심 영역 내 윤곽선의 형태에 기반하여 접근차량의 존재를 검출할 수 있다.
또한, 프로세서(150)는 각각의 분할 영역별로 접근차량이 차지하는 면적을 계산한 후 각 분할 영역에서 접근차량이 차지하는 면적의 비율을 계산하고, 분할 영역들의 위치 또는 우선 순위에 따라 설정된 위험도 등급을 기초로, 동일한 위험도 등급을 갖는 적어도 하나의 분할 영역 내에서 접근차량이 차지하는 면적의 비율과 임계치를 비교하여 접근차량의 위험도를 분석할 수 있다.
이때, 프로세서(150)는 전술한 수학식 1을 이용하여 접근차량이 차지하는 면적을 계산할 수 있고, 전술한 수학식 2를 이용하여 접근차량이 차지하는 면적의 비율을 계산할 수 있다.
아울러, 프로세서(150)는 가장 높은 위험도 등급을 갖는 분할 영역부터 순차적으로 접근차량이 차지하는 면적의 비율과 임계치를 비교하고, 접근차량이 차지하는 면적의 비율이 임계치를 초과한 분할 영역들의 위험도 등급에 따라 접근차량의 위험도를 결정할 수 있다.
이와 같은 과정을 수행하여 접근차량의 위험도가 결정되면, 프로세서(150)는 접근차량의 검출 여부와 위험도에 따른 경고 신호를 차량에 탑재된 사각지대 경보 시스템(300)에 출력한다.
이때, 프로세서(150)는 경고등 제어 및 경고음 출력을 위한 PWM(Pulse Width Modulation) 신호와 경고음 출력 신호를 경고 신호로서 출력하며, 위험도에 따라 PWM 신호의 듀티 사이클과 경고음 출력 신호의 소음 레벨(sound level)을 조절할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다.
소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독 가능한 저장 매체에 상주할 수 있다.
본 발명의 구성 요소들은 비일시적 저장매체에 저장되고, 프로세서를 포함하는 컴퓨터에서 실행될 수 있으며, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 컴퓨터 프로그램(또는 애플리케이션)으로 구현되어 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.
이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이와 같은 특정 실시예에만 한정되는 것은 아니며, 특허청구범위에 기재된 범주 내에서 적절하게 변경 가능한 것이다.
100 : 후측방 접근차량 경고 시스템
110 : 수집부
120 : 제어부
121 : 영상 처리부
122 : 접근차량 검출부
123 : 위험도 분석부
130 : 경고 출력부
140 : 메모리
150 : 프로세서

Claims (14)

  1. 후방 카메라에서 촬영된 원본 영상 프레임에서 녹화 영상으로 저장할 영역을 제외한 주변 영역이 크로핑되면, 크로핑된 주변 영역의 영상을 블라인드 스팟 영상으로 수집하는 수집부;
    블라인드 스팟 영상에서 차량의 후측방에 대응하는 위치에 관심 영역을 설정하고, 해당 관심 영역 내에서 접근차량이 존재하는지 검출하며, 검출된 접근차량이 차지하는 면적의 비율에 따라 접근차량의 위험도를 분석하는 제어부; 및
    상기 제어부의 제어하에, 접근차량의 검출 여부와 위험도에 따른 경고 신호를 출력하는 경고 출력부;를 포함하고,
    상기 제어부는,
    관심 영역을 복수 개의 분할 영역으로 분할하는 영상 처리부;
    각 분할 영역에서 접근차량이 차지하는 면적의 비율을 계산하는 접근차량 검출부; 및
    분할 영역들의 위치 또는 우선 순위에 따라 위험도 등급을 설정하고, 동일한 위험도 등급을 갖는 적어도 하나의 분할 영역 내에서 접근차량이 차지하는 면적의 비율과 임계치를 비교하여 접근차량의 위험도를 분석하는 위험도 분석부;를 포함하는 것을 특징으로 하는 후측방 접근차량 경고 시스템.
  2. 제 1항에 있어서,
    상기 영상 처리부는,
    블라인드 스팟 영상 내 기설정된 위치에 관심 영역을 설정하고, 설정된 관심 영역을 이진화한 후 에지 검출기를 이용하여 관심 영역 내 윤곽선을 검출하며, 윤곽선이 검출된 관심 영역을 복수 개의 분할 영역으로 분할하는 것을 특징으로 하는 후측방 접근차량 경고 시스템.
  3. 제 2항에 있어서,
    상기 접근차량 검출부는,
    관심 영역 내 윤곽선의 형태에 기반하여 접근차량의 존재를 검출하고, 각각의 분할 영역별로 접근차량이 차지하는 면적을 계산한 후, 각 분할 영역에서 접근차량이 차지하는 면적의 비율을 계산하는 것을 특징으로 하는 후측방 접근차량 경고 시스템.
  4. 삭제
  5. 제 1항에 있어서,
    상기 위험도 분석부는,
    가장 높은 위험도 등급을 갖는 적어도 하나의 분할 영역부터 순차적으로 접근차량이 차지하는 면적의 비율과 임계치를 비교하고, 접근차량이 차지하는 면적의 비율이 임계치를 초과한 분할 영역들의 위험도 등급에 따라 접근차량의 위험도를 결정하는 것을 특징으로 하는 후측방 접근차량 경고 시스템.
  6. 제 1항에 있어서,
    상기 경고 출력부는,
    차량에 탑재된 사각지대 경보 시스템(Blind Spot Detection, BSD)을 대상으로 경고등 제어 및 경고음 출력을 위한 PWM(Pulse Width Modulation) 신호와 경고음 출력 신호를 경고 신호로서 출력하며, 위험도에 따라 PWM 신호의 듀티 사이클과 경고음 출력 신호의 소음 레벨(sound level)을 조절하는 것을 특징으로 하는 후측방 접근차량 경고 시스템.
  7. (1) 제어부가, 후방 카메라에서 촬영된 원본 영상 프레임에서 녹화 영상으로 저장할 영역을 제외한 주변 영역이 크로핑되고, 크로핑된 주변 영역의 영상이 블라인드 스팟 영상으로 수집되면, 상기 수집된 블라인드 스팟 영상을 수신하는 단계;
    (2) 상기 제어부가, 블라인드 스팟 영상에서 차량의 후측방에 대응하는 위치에 관심 영역을 설정하고, 해당 관심 영역 내에서 접근차량이 존재하는지 검출하며, 검출된 접근차량이 차지하는 면적의 비율에 따라 접근차량의 위험도를 분석하는 단계; 및
    (3) 상기 제어부가, 접근차량의 검출 여부와 위험도에 따른 경고 신호를 출력하도록 제어하는 단계;를 포함하고,
    상기 제 (2)단계는,
    (2-1) 관심 영역을 복수 개의 분할 영역으로 분할하는 단계;
    (2-2) 각 분할 영역에서 접근차량이 차지하는 면적의 비율을 계산하는 단계; 및
    (2-3) 분할 영역들의 위치 또는 우선 순위에 따라 위험도 등급을 설정하고, 동일한 위험도 등급을 갖는 적어도 하나의 분할 영역 내에서 접근차량이 차지하는 면적의 비율과 임계치를 비교하여 접근차량의 위험도를 분석하는 단계;를 포함하는 것을 특징으로 하는 후측방 접근차량 경고 방법.
  8. 제 7항에 있어서,
    상기 제 (2-1)단계는,
    블라인드 스팟 영상 내 기설정된 위치에 관심 영역을 설정하고, 설정된 관심 영역을 이진화한 후 에지 검출기를 이용하여 관심 영역 내 윤곽선을 검출하며, 윤곽선이 검출된 관심 영역을 복수 개의 분할 영역으로 분할하는 것을 특징으로 하는 후측방 접근차량 경고 방법.
  9. 제 8항에 있어서,
    상기 제 (2-2)단계는,
    관심 영역 내 윤곽선의 형태에 기반하여 접근차량의 존재를 검출하고, 각각의 분할 영역별로 접근차량이 차지하는 면적을 계산한 후, 각 분할 영역에서 접근차량이 차지하는 면적의 비율을 계산하는 것을 특징으로 하는 후측방 접근차량 경고 방법.
  10. 삭제
  11. 제 7항에 있어서,
    상기 제 (2-3)단계는,
    가장 높은 위험도 등급을 갖는 적어도 하나의 분할 영역부터 순차적으로 접근차량이 차지하는 면적의 비율과 임계치를 비교하고, 접근차량이 차지하는 면적의 비율이 임계치를 초과한 분할 영역들의 위험도 등급에 따라 접근차량의 위험도를 결정하는 것을 특징으로 하는 후측방 접근차량 경고 방법.
  12. 제 7항에 있어서,
    상기 제 (3)단계는,
    차량에 탑재된 사각지대 경보 시스템(Blind Spot Detection, BSD)을 대상으로 경고등 제어 및 경고음 출력을 위한 PWM(Pulse Width Modulation) 신호와 경고음 출력 신호를 경고 신호로서 출력하며, 위험도에 따라 PWM 신호의 듀티 사이클과 경고음 출력 신호의 소음 레벨(sound level)을 조절하는 것을 특징으로 하는 후측방 접근차량 경고 방법.
  13. 컴퓨터에서, 제 7항, 제 8항, 제 9항, 제 11항 및 제 12항 중 어느 한 항의 후측방 접근차량 경고 방법을 실행하도록, 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램.
  14. 프로세서; 및
    상기 프로세서에 의해 실행 가능한 하나 이상의 인스트럭션을 저장하는 메모리;를 포함하고,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    후방 카메라에서 촬영된 원본 영상 프레임에서 녹화 영상으로 저장할 영역을 제외한 주변 영역이 크로핑되고, 크로핑된 주변 영역의 영상이 블라인드 스팟 영상으로 수집되면, 상기 수집된 블라인드 스팟 영상을 수신하고,
    블라인드 스팟 영상에서 차량의 후측방에 대응하는 위치에 관심 영역을 설정하고, 해당 관심 영역 내에서 접근차량이 존재하는지 검출하며, 검출된 접근차량이 차지하는 면적의 비율에 따라 접근차량의 위험도를 분석하며,
    접근차량의 검출 여부와 위험도에 따른 경고 신호를 출력하고,
    상기 프로세서는,
    관심 영역을 복수 개의 분할 영역으로 분할하고,
    각 분할 영역에서 접근차량이 차지하는 면적의 비율을 계산하며,
    분할 영역들의 위치 또는 우선 순위에 따라 위험도 등급을 설정하고, 동일한 위험도 등급을 갖는 적어도 하나의 분할 영역 내에서 접근차량이 차지하는 면적의 비율과 임계치를 비교하여 접근차량의 위험도를 분석하는, 후측방 접근차량 경고 시스템.
KR1020200174606A 2020-12-14 2020-12-14 후측방 접근차량 경고 시스템 및 방법 KR102474726B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200174606A KR102474726B1 (ko) 2020-12-14 2020-12-14 후측방 접근차량 경고 시스템 및 방법
KR1020220163974A KR102517862B1 (ko) 2020-12-14 2022-11-30 후측방 접근차량 경고 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200174606A KR102474726B1 (ko) 2020-12-14 2020-12-14 후측방 접근차량 경고 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220163974A Division KR102517862B1 (ko) 2020-12-14 2022-11-30 후측방 접근차량 경고 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220084780A KR20220084780A (ko) 2022-06-21
KR102474726B1 true KR102474726B1 (ko) 2022-12-06

Family

ID=82221457

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200174606A KR102474726B1 (ko) 2020-12-14 2020-12-14 후측방 접근차량 경고 시스템 및 방법
KR1020220163974A KR102517862B1 (ko) 2020-12-14 2022-11-30 후측방 접근차량 경고 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220163974A KR102517862B1 (ko) 2020-12-14 2022-11-30 후측방 접근차량 경고 시스템 및 방법

Country Status (1)

Country Link
KR (2) KR102474726B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018538712A (ja) 2015-09-28 2018-12-27 クゥアルコム・インコーポレイテッドQualcomm Incorporated 自動ズームを実施するためのシステムおよび方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101240469B1 (ko) * 2010-11-23 2013-03-11 현대모비스 주식회사 객체 인식 시스템, 차량용 장애물 인식 시스템 및 차량용 장애물 인식 방법
KR102409835B1 (ko) * 2018-03-13 2022-06-17 에스엘 주식회사 카메라 모니터 시스템
KR102343298B1 (ko) * 2018-07-02 2021-12-24 현대모비스 주식회사 차량의 객체 인식 장치 및 이를 포함하는 원격 주차 시스템
KR102184431B1 (ko) * 2019-02-21 2020-11-30 주식회사 와이즈오토모티브 사각 지대 탐색 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018538712A (ja) 2015-09-28 2018-12-27 クゥアルコム・インコーポレイテッドQualcomm Incorporated 自動ズームを実施するためのシステムおよび方法

Also Published As

Publication number Publication date
KR20220167257A (ko) 2022-12-20
KR102517862B1 (ko) 2023-04-04
KR20220084780A (ko) 2022-06-21

Similar Documents

Publication Publication Date Title
US9424462B2 (en) Object detection device and object detection method
EP3525132A1 (en) System and method for lane detection
US8520071B2 (en) Boundary line detection system with improved detection-performance
US8194998B2 (en) Preceding vehicle detection system
JP3780922B2 (ja) 道路白線認識装置
US7542835B2 (en) Vehicle image processing device
JP3230642B2 (ja) 先行車検出装置
CN108162858B (zh) 车载监控装置及其方法
US8643723B2 (en) Lane-marker recognition system with improved recognition-performance
KR101103526B1 (ko) 스테레오 카메라를 이용한 충돌회피 방법
EP2642364B1 (en) Method for warning the driver of a motor vehicle about the presence of an object in the surroundings of the motor vehicle, camera system and motor vehicle
EP3115966B1 (en) Object detection device, object detection method, and computer program
EP3115930A1 (en) Malfunction diagnosis apparatus
US9830518B2 (en) Lane mark recognition device
KR20140056510A (ko) 자동 노출 제어 장치 및 자동 노출 제어 방법
US11527075B2 (en) Information processing apparatus, imaging apparatus, apparatus control system, movable object, information processing method, and computer-readable recording medium
EP3584763A1 (en) Vehicle-mounted environment recognition device
KR102062579B1 (ko) 영상 보정을 통해 그림자 및 빛 반사로 훼손된 차량번호판을 인식하는 차량번호판 인식 시스템
JP2005090974A (ja) 先行車認識装置
KR102474726B1 (ko) 후측방 접근차량 경고 시스템 및 방법
US9245342B2 (en) Obstacle detection device
CN107255470B (zh) 障碍物检测装置
WO2017077261A1 (en) A monocular camera cognitive imaging system for a vehicle
EP4177694A1 (en) Obstacle detection device and obstacle detection method
KR20180081966A (ko) 차량 인식을 통한 영상 교정 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant