KR102270678B1

KR102270678B1 - Apparatus for safety-driving of vehicle

Info

Publication number: KR102270678B1
Application number: KR1020200069306A
Authority: KR
Inventors: 이성수
Original assignee: 현대모비스 주식회사
Priority date: 2015-01-13
Filing date: 2020-06-08
Publication date: 2021-06-29
Also published as: KR20200069280A

Abstract

본 발명에 따른 차량 안전 주행 장치는, 차량의 주변을 촬영하여 출력하는 카메라부; 상기 촬영된 영상을 합성하여 상기 차량의 탑뷰 영상을 출력하는 탑뷰 영상 출력부; 상기 탑뷰 영상에서 차선 특징을 고려하여 상기 차량 일 측의 차선을 출력하는 차선 검출부; 상기 카메라부가 출력한 영상에서 바퀴 모양 특징 및 비 바퀴 모양 특징을 검출하고, 검출된 바퀴 모양 특징의 평균 밝기 값과 비 바퀴 모양 특징의 평균 밝기 값을 각각 산출하며, 산출된 바퀴 모양 특징의 평균 밝기 값 및 비 바퀴 모양 특징의 평균 밝기 값에 기반하여 타 차량을 인식하는 측면 차량 검출부; 상기 검출된 타 차량의 바퀴 모양 특징을 고려하여 상기 타 차량의 존재 영역을 추정하는 타 차량 영역 추정부; 및 상기 차량이 상기 타 차량 존재 영역에 진입할 때 경고 신호를 출력하는 경고 신호 출력부를 포함할 수 있다.A vehicle safety driving apparatus according to the present invention includes: a camera unit for photographing and outputting the surroundings of a vehicle; a top-view image output unit for synthesizing the captured images and outputting a top-view image of the vehicle; a lane detection unit outputting a lane on one side of the vehicle in consideration of lane characteristics in the top view image; Detecting a wheel-shaped feature and a non-wheel-shaped feature from the image output by the camera unit, calculating an average brightness value of the detected wheel-shaped feature and an average brightness value of the non-wheel-shaped feature, respectively, and calculating the average brightness of the calculated wheel-shaped feature a side vehicle detection unit for recognizing another vehicle based on the value and the average brightness value of the non-wheel shape feature; another vehicle area estimating unit for estimating an existence area of the other vehicle in consideration of the detected wheel shape characteristics of the other vehicle; and a warning signal output unit configured to output a warning signal when the vehicle enters the other vehicle presence area.

Description

{Apparatus for safety-driving of vehicle}

본 발명은 차량 안전 주행 장치에 관한 것으로, 보다 상세하게는 차량 주변을 촬영한 영상을 합성하여 탑뷰 영상을 출력하고, 탑뷰 영상에서 차선을 검출하여 출력하고, 차량 일 측방 영상에서 바퀴 모양 특징을 검출하여 타 차량의 존재 영역을 추정하고, 차량이 타 차량의 존재 영역에 진입할 때 경고 신호를 출력하여 운전자에게 위험을 알리는 차량 안전 주행 장치에 관한 것이다.The present invention relates to a vehicle safety driving device, and more particularly, output a top-view image by synthesizing images taken around a vehicle, detecting and outputting a lane from the top-view image, and detecting a wheel shape feature from an image of one side of the vehicle The present invention relates to a vehicle safety driving device that estimates the existence area of another vehicle and outputs a warning signal when the vehicle enters the existence area of another vehicle to notify the driver of danger.

차량 간의 충돌을 막기 위한 기술로서 초음파 센서 등의 센서를 이용하여 획득한 다양한 정보를 이용하여 차량 간의 거리를 모니터링하고, 차량 간의 거리가 설정된 거리값 보다 작아질 때 운전자에게 경고하는 기술이 많은 차량에 채택되고 있다. 그러나 센서에만 의존하여 차량 간의 충돌을 방지하는 것은 다양한 운전 환경에서 차량 간의 거리를 측정하는데 어려움이 있으며, 그에 따라 부정확한 결과가 측정될 수도 있다.As a technology to prevent collisions between vehicles, a technology that monitors the distance between vehicles using various information acquired using sensors such as an ultrasonic sensor and warns the driver when the distance between vehicles becomes smaller than a set distance value is available in many vehicles. is being adopted However, it is difficult to measure the distance between vehicles in various driving environments to prevent collisions between vehicles by relying only on sensors, and accordingly, inaccurate results may be measured.

최근에는 센서 이외에 다양한 방법으로 운행 중인 차량 주변상황에 대한 정보를 획득하고, 이를 바탕으로 차량 간의 거리가 가까울 때 운전자에게 경고하여주는 기술이 연구 중에 있다.Recently, research is being conducted on a technology that acquires information about the surroundings of a vehicle in operation by various methods other than sensors, and warns the driver when the distance between vehicles is close based on this.

본 발명이 해결하고자 하는 과제는 차량 주변을 촬영한 영상을 합성하여 탑뷰 영상을 출력하고, 탑뷰 영상에서 차선을 검출하여 출력하고, 차량 일 측방 영상에서 바퀴 모양 특징을 검출하여 타 차량의 존재 영역을 추정하고, 차량이 타 차량의 존재 영역에 진입할 때 경고신호를 출력하여 운전자에게 위험을 알리는 차량 안전 주행 장치를 제공함에 있다.The problem to be solved by the present invention is to output a top-view image by synthesizing images taken around the vehicle, detect and output a lane from the top-view image, and detect a wheel shape feature from an image of one side of the vehicle to determine the existence area of another vehicle An object of the present invention is to provide a vehicle safety driving device that notifies the driver of danger by estimating and outputting a warning signal when the vehicle enters the presence area of another vehicle.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 목적을 달성하기 위한 본 발명에 따른 차량 안전 주행 장치는, 차량의 주변을 촬영하여 출력하는 카메라부; 상기 촬영된 영상을 합성하여 상기 차량의 탑뷰 영상을 출력하는 탑뷰 영상 출력부; 상기 탑뷰 영상에서 차선 특징을 고려하여 상기 차량 일 측의 차선을 출력하는 차선 검출부; 상기 카메라부가 출력한 영상에서 바퀴 모양 특징 및 비 바퀴 모양 특징을 검출하고, 검출된 바퀴 모양 특징의 평균 밝기 값과 비 바퀴 모양 특징의 평균 밝기 값을 각각 산출하며, 산출된 바퀴 모양 특징의 평균 밝기 값 및 비 바퀴 모양 특징의 평균 밝기 값에 기반하여 타 차량을 인식하는 측면 차량 검출부; 상기 검출된 타 차량의 바퀴 모양 특징을 고려하여 상기 타 차량의 존재 영역을 추정하는 타 차량 영역 추정부; 및 상기 차량이 상기 타 차량 존재 영역에 진입할 때 경고 신호를 출력하는 경고 신호 출력부를 포함할 수 있다.A vehicle safety driving apparatus according to the present invention for achieving the above object includes: a camera unit for photographing and outputting a periphery of a vehicle; a top-view image output unit for synthesizing the captured images and outputting a top-view image of the vehicle; a lane detection unit outputting a lane on one side of the vehicle in consideration of lane characteristics in the top view image; Detecting a wheel-shaped feature and a non-wheel-shaped feature from the image output by the camera unit, calculating an average brightness value of the detected wheel-shaped feature and an average brightness value of the non-wheel-shaped feature, respectively, and calculating the average brightness of the calculated wheel-shaped feature a side vehicle detection unit for recognizing another vehicle based on the value and the average brightness value of the non-wheel shape feature; another vehicle area estimating unit for estimating an existence area of the other vehicle in consideration of the detected wheel shape characteristics of the other vehicle; and a warning signal output unit configured to output a warning signal when the vehicle enters the other vehicle presence area.

상기 측면 차량 검출부는,The side vehicle detection unit,

상기 바퀴 모양 특징의 평균 밝기 값과 비 바퀴 모양 특징의 평균 밝기 값의 차이가 임계치를 초과하면, 상기 차량의 일 측방에 타 차량이 있는 것으로 인식할 수 있다.When the difference between the average brightness value of the wheel-shaped feature and the average brightness value of the non-wheel-shaped feature exceeds a threshold, it may be recognized that another vehicle is on one side of the vehicle.

상기 경고 신호를 수신하고, 운전자에게 위험을 알리는 경고부;를 더 포함할 수 있다.It may further include a warning unit that receives the warning signal and notifies the driver of the danger.

상기 차선 검출부는 상기 탑뷰 영상의 그레이스케일 영상에서 좌에서 우 방향으로 탑햇 필터를 적용하고, 최대값을 산출하여 차선 중심점을 검출할 수 있다.The lane detector may detect a center point of a lane by applying a top-hat filter from left to right in the gray-scale image of the top-view image and calculating a maximum value.

상기 차선 검출부는 상기 중심점을 기준으로 상기 중심점의 좌측 경계 및 상기 중심점의 우측 경계에 대해 최대값을 산출하여 상기 차선 좌측 특징점 및 상기 차선 우측 특징점을 산출할 수 있다.The lane detection unit may calculate a maximum value for a left boundary of the central point and a right boundary of the central point based on the central point to calculate the left feature point of the lane and the right feature point of the lane.

상기 차선 검출부는 상기 차선 좌측 특징점 및 상기 차선 우측 특징점을 기준으로 전 방사 방향으로 탐색하여 선 성분을 추출할 수 있다.The lane detector may extract a line component by searching in an all-radial direction based on the feature point on the left side of the lane and the feature point on the right side of the lane.

상기 타 차량 영역 추정부는 상기 타 차량의 상기 바퀴 모양 특징의 위치를 기준으로 설정된 장방형을 상기 타 차량 존재 영역으로 추정할 수 있다.The other vehicle area estimating unit may estimate a rectangle set based on the position of the wheel shape feature of the other vehicle as the other vehicle existence area.

본 발명의 차량 안전 주행 장치에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.According to the vehicle safety driving apparatus of the present invention, there are one or more of the following effects.

첫째,　차량 일 측방의 영상에서 바퀴 모양 특징을 검출함으로써 타 차량을 인식하는 장점이 있다.First, there is an advantage of recognizing other vehicles by detecting wheel shape features in the image of one side of the vehicle.

둘째,　하라이크 특징을 이용하여 검출된 타 차량의 바퀴 모양 특징을 고려하고, 이에 더하여 아다부스트 알고리즘을 적용함으로써 타 차량을 정확하게 인식하는 장점도 있다.Second, it also has the advantage of accurately recognizing other vehicles by considering the wheel shape characteristics of other vehicles detected using the 　Ha-like characteristics and applying the Adaboost algorithm.

셋째,　탑뷰 영상에서 타 차량의 존재 영역을 추정하고, 차량이 타 차량 존재 영역에 진입할 때 운전자에게 경고함으로써 운전자에게 화면을 보여주는 등의 정확한 경고를 하는 장점도 있다. 운전자는 화면으로 차량이 타 차량과 얼마나 가까이 있는지 인지하여 차량의 안전 운행에 크게 기여한다.Third, it also has the advantage of providing accurate warnings, such as showing the screen to the driver by estimating the existence area of another vehicle from the top view image and warning the driver when the vehicle enters the other vehicle existence area. The driver greatly contributes to the safe operation of the vehicle by recognizing how close the vehicle is to other vehicles through the screen.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명의 일실시례에 따른 안전 주행 장치의 구성을 도시한 구성도이다.
도 2는 도 2는 도 1에 도시한 일실시례에 따른 차선 검출부가 탑햇 필터(top-hat filter)를 이용하여 특징점을 산출하는 모습을 도시한 예시도이다.
도 3은 도 1에 도시한 차선 검출부가 산출한 특징점에서 선 성분을 추출하는 모습을 도시한 예시도이다.
도 4는 측면 차량 검출부가 차량 일 측방 영상에서 바퀴 모양 특징을 검출하는 것으로서, 아다부스트 알고리즘에 의해 출력된 약한 분류기(weak classifier) 및 강한 분류기(strong classifier)를 도시한 것이다.
도 5은 타 차량 영역 추정부가 차량과 일 측방의 차량 간의 거리를 구하기 위한 가상의 삼각형을 도시한 것이다.
도 6은 타 차량 영역 추정부가 타 차량 영역을 추정한 모습을 도시한 탑뷰 영상도이다.1 is a configuration diagram showing the configuration of a safe driving device according to an embodiment of the present invention.
FIG. 2 is an exemplary diagram illustrating a state in which a lane detection unit calculates a feature point using a top-hat filter according to the exemplary embodiment shown in FIG. 1 .
FIG. 3 is an exemplary diagram illustrating a state in which a line component is extracted from the feature points calculated by the lane detection unit shown in FIG. 1 .
4 is a diagram illustrating a weak classifier and a strong classifier output by the Adaboost algorithm as the side vehicle detection unit detects a wheel shape feature in an image of one side of the vehicle.
FIG. 5 illustrates a virtual triangle for the other vehicle area estimator to obtain a distance between a vehicle and a vehicle on one side.
6 is a top-view image diagram illustrating a state in which the other vehicle area estimating unit estimates the other vehicle area.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시례들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시례들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and a method of achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments make the disclosure of the present invention complete, and common knowledge in the technical field to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

이하, 본 발명의 실시례들에 의하여 안전 주행 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.Hereinafter, the present invention will be described with reference to the drawings for explaining a safe driving device according to embodiments of the present invention.

도 1은 본 발명의 일실시례에 따른 안전 주행 장치의 구성을 도시한 구성도이다. 본 발명의 일실시례에 따른 안전 주행 장치는 카메라부(100), 탑뷰 영상 출력부(200), 차선 검출부(300), 측면 차량 검출부(400), 타 차량 영역 추정부(500), 경고 신호 출력부(600) 및 경고부(700)를 포함한다.1 is a configuration diagram showing the configuration of a safe driving device according to an embodiment of the present invention. The safety driving apparatus according to an embodiment of the present invention includes a camera unit 100 , a top-view image output unit 200 , a lane detection unit 300 , a side vehicle detection unit 400 , an other vehicle area estimation unit 500 , and a warning signal. It includes an output unit 600 and a warning unit 700 .

카메라부(100)는 차량의 주변을 촬영하여 차량의 일 방향 영상을 출력한다. 카메라부(100)는 차량 일 측방에 설치된다. 카메라부(100)는 차량 일 측방을 방해 없이 촬영할 수 있는 위치에 설치된다. 카메라부(100)는 차량 주행 시 구동될 수 있다. 카메라부(100)는 별도의 스위치에 조작에 의해 구동될 수도 있다. 카메라부(100)는 차량 일 측방의 영상을 측면 차량 검출부(400)에 출력한다.The camera unit 100 outputs a unidirectional image of the vehicle by photographing the surroundings of the vehicle. The camera unit 100 is installed on one side of the vehicle. The camera unit 100 is installed at a position capable of photographing one side of the vehicle without obstruction. The camera unit 100 may be driven while driving a vehicle. The camera unit 100 may be driven by manipulation of a separate switch. The camera unit 100 outputs an image of one side of the vehicle to the side vehicle detection unit 400 .

탑뷰 영상 출력부(200)는 차량의 일 방향 영상을 합성하고 차량의 탑뷰 영상을 출력한다. 탑뷰 영상 출력부(200)는 차량의 주변을 위에서 아래로 보는 방향의 탑뷰 영상을 출력한다. 탑뷰 영상 출력부(200)는 AVM(Around View Monitoring) 시스템일 수 있다. 탑뷰 영상 출력부(200)는 차량의 전후측방 중 적어도 한 곳에 카메라를 구비한다. 탑뷰 영상 출력부(200)는 차량의 전후측방에 구비된 카메라가 차량 주변의 영상을 출력한다. 탑뷰 영상 출력부(200)는 차량 주변의 영상을 하나의 영상으로 합성하여 탑뷰 영상을 출력한다.The top-view image output unit 200 synthesizes a unidirectional image of the vehicle and outputs a top-view image of the vehicle. The top-view image output unit 200 outputs a top-view image in a direction in which the surroundings of the vehicle are viewed from top to bottom. The top view image output unit 200 may be an Around View Monitoring (AVM) system. The top view image output unit 200 includes a camera at at least one of the front and rear sides of the vehicle. The top-view image output unit 200 outputs images around the vehicle by cameras provided on the front and rear sides of the vehicle. The top-view image output unit 200 outputs a top-view image by synthesizing images around the vehicle into one image.

차선 검출부(300)는 탑뷰 영상에서 차선 특징을 고려하여 차량 일 측방의 차선을 검출한다. 차선 검출부(300)는 탑뷰 영상에서 탑햇 필터를 이용하여 차량의 좌측 및 차량의 우측에서 차선 특징을 검출한다. 차선 검출부(300)는 탑뷰 영상의 그레이스케일 영상에서 좌에서 우 방향으로 탑햇 필터를 적용하고, 최대값을 산출하여 차선 중심점을 검출한다. The lane detection unit 300 detects a lane on one side of the vehicle in consideration of lane characteristics in the top view image. The lane detection unit 300 detects lane features on the left side of the vehicle and on the right side of the vehicle by using the top hat filter in the top view image. The lane detection unit 300 applies the top hat filter from left to right in the grayscale image of the top view image, calculates the maximum value, and detects the center point of the lane.

차선 검출부(300)는 중심점을 기준으로 중심점의 좌측 경계 및 중심점의 우측 경계에 대해 최대값을 산출하여 차선의 좌측 특징점(LP) 및 우측의 특징점(RP)을 산출한다. 차선 검출부(300)가 탑햇 필터를 이용하여 특징점을 산출하는 과정은 도 2에서 추후 설명한다.The lane detection unit 300 calculates a left feature point LP and a right feature point RP of the lane by calculating maximum values for the left boundary of the central point and the right boundary of the central point based on the central point. A process in which the lane detection unit 300 calculates the feature points using the top hat filter will be described later with reference to FIG. 2 .

차선 검출부(300)는 차선 좌측 특징점 및 차선 우측의 특징점을 기준으로 전 방사 방향으로 탐색하여 선 성분을 추출한다. 차선 검출부(300)는 차선 좌측 특징점 및 차선 우측의 특징점을 기준으로 360도 방향으로 탐색하여 선 성분을 추출할 수 있다. 차선 검출부(300)가 산출한 특징점에서 선 성분을 추출하는 것은 도 3에서 추후 설명한다.The lane detection unit 300 extracts a line component by searching in an all-radial direction based on the feature point on the left side of the lane and the feature point on the right side of the lane. The lane detector 300 may extract a line component by searching in a 360-degree direction based on the feature point on the left side of the lane and the feature point on the right side of the lane. Extracting the line component from the feature point calculated by the lane detection unit 300 will be described later with reference to FIG. 3 .

도 2는 도 1에 도시한 일실시례에 따른 차선 검출부(300)가 탑햇 필터를 이용하여 특징점을 산출하는 모습을 도시한 예시도이다. 차선 검출부(200)는 탑뷰 영상에서 탑햇 필터를 이용하여 차량의 좌측 및 차량의 우측에서 차선을 검출한다. 차선 검출부(200)는 탑뷰 영상의 그레이스케일 영상에서 좌에서 우 방향으로 탑햇 필터를 적용하고, 최대값을 산출하여 차선 중심점을 검출한다. 차선 검출부(300)는 탑뷰 영상을 그레이스케일(grayscale) 영상으로 변환한다. 차선 검출부(300)는 그레이스케일 영상에서 수평방향으로 탑햇 필터를 적용한다. 차선 검출부(300) 국부 영역에서 최대값을 검출하여 차선의 중심점(CP)을 검출한다. 차선 검출부(300)는 중심점(CP)을 기준으로 차선 좌측 및 차선 우측 경계에 대해 국부 영역에서의 최대값을 검출하여 차선 좌측 특징점(LP) 및 차선 우측 특징점(RP)을 산출한다. 차선 검출부(300)가 산출하는 차선 좌측 특징점(LP) 및 차선 우측 특징점(RP)은 어두운 부분(D)과 밝은 부분(B) 사이의 경계(P)에 위치한다.FIG. 2 is an exemplary diagram illustrating a state in which the lane detection unit 300 according to the embodiment shown in FIG. 1 calculates a feature point using a top hat filter. The lane detection unit 200 detects a lane on the left side of the vehicle and on the right side of the vehicle by using the top hat filter in the top view image. The lane detector 200 applies the top hat filter from left to right in the grayscale image of the top view image, calculates a maximum value, and detects a lane center point. The lane detection unit 300 converts the top view image into a grayscale image. The lane detection unit 300 applies the top-hat filter in the horizontal direction in the grayscale image. The lane detector 300 detects the maximum value in the local area to detect the center point CP of the lane. The lane detection unit 300 calculates a left lane feature point LP and a right lane feature point RP by detecting maximum values in a local area with respect to the left and right lane boundaries based on the center point CP. The left feature point LP and the right lane feature point RP calculated by the lane detection unit 300 are located at the boundary P between the dark part D and the bright part B.

도 3은 도 1에 도시한 일실시례에 따른 차선 검출부(300)가 산출한 특징점에서 선 성분을 추출하는 모습을 도시한 예시도이다. 차선 검출부(300)는 차선 좌측 특징점(LP) 및 차선 우측 특징점(RP)을 기준으로 전 방사 방향으로 탐색하여 선 성분을 추출한다. 차선 검출부(300)는 차선 좌측 특징점(LP) 및 차선 우측 특징점(RP)을 기준으로 360도 방향으로 탐색하여 선 성분을 추출할 수 있다. 일실시례에 따 차선 검출부(300)는 도 3에서 차선 우측 특징점(RP)을 기준으로 시계 방향으로 탐색할 수도 있고, 차선 좌측 특징점(LP) 부분과 같이 차선 좌측 특징점(LP)을 기준으로 반시계 방향으로 탐색할 수도 있다. 차선 검출부(300)는 차선 우측 특징점(RP)을 기준으로 반시계 방향으로 탐색할 수도 있고, 차선 좌측 특징점(LP)을 기준으로 시계 방향으로 탐색할 수도 있다.FIG. 3 is an exemplary diagram illustrating a state in which a line component is extracted from a feature point calculated by the lane detection unit 300 according to the exemplary embodiment shown in FIG. 1 . The lane detection unit 300 extracts a line component by searching in an all-radial direction based on the feature point LP on the left side of the lane and the feature point RP on the right side of the lane. The lane detector 300 may extract a line component by searching in a 360-degree direction based on the feature point LP on the left side of the lane and the feature point RP on the right side of the lane. According to an embodiment, the lane detection unit 300 may search in a clockwise direction based on the feature point RP on the right side of the lane in FIG. 3 , and half the feature point LP on the left side of the lane like the feature point LP on the left side of the lane. You can also navigate clockwise. The lane detection unit 300 may search in a counterclockwise direction based on the feature point RP on the right side of the lane, or in a clockwise direction based on the feature point LP on the left side of the lane.

차선 검출부(300)는 추출한 선 성분의 각도 오차를 비교하여 선 성분의 유효성을 검사한다. 일실시례에 따른 차선 검출부(300)가 고려하는 각도 오차는 설정된 값이며, 5도 이내로 설정될 수 있다. 차선 검출부(300)는 선 성분의 유효성이 만족되면 차선의 중심점(CP)을 기준으로 차선 후보군을 저장한다.The lane detection unit 300 checks the validity of the line component by comparing the angle error of the extracted line component. The angle error considered by the lane detection unit 300 according to an exemplary embodiment is a set value and may be set within 5 degrees. When the validity of the line component is satisfied, the lane detection unit 300 stores the lane candidate group based on the center point CP of the lane.

도 4는 측면 차량 검출부(400)가 차량 일 측방 영상에서 바퀴 모양 특징(TF)을 검출하는 것으로서, 아다부스트 알고리즘에 의해 출력된 약한 분류기(weak classifier) 및 강한 분류기(strong classifier)를 도시한 것이다.4 shows a weak classifier and a strong classifier output by the Adaboost algorithm as the side vehicle detection unit 400 detects the wheel shape feature (TF) in the image of one side of the vehicle. .

측면 차량 검출부(400)는 차량 일 측방의 영상에서 바퀴 모양 특징(TF)을 검출하여 측면에 존재하는 타 차량의 바퀴를 인식한다. 측면 차량 검출부(400)는 카메라부(100)가 출력한 차량 일 측방의 영상을 수신한다. 측면 차량 검출부(400)는 하라이크(haar-like) 특징을 이용하여 차량 일 측방의 영상에서 바퀴 모양 특징(TF)을 검출한다. 측면 차량 검출부(400)가 이용하는 하라이크 특징은 윤곽선의 특징인 에지특징(Edge feature), 중심을 둘러싼 센터서라운드특징(Center-surround feature) 및 선의 모양을 한 라인특징(Line-feature)을 포함할 수 있다. 측면 차량 검출부(400)는 검출한 바퀴 모양 특징(TF)을 저장한다. 측면 차량 검출부(400)가 검출하려는 바퀴 모양 특징(TF)은 원형일 수 있다.The side vehicle detection unit 400 detects a wheel shape feature TF from an image of one side of the vehicle to recognize a wheel of another vehicle existing on the side of the vehicle. The side vehicle detection unit 400 receives an image of one side of the vehicle output by the camera unit 100 . The side vehicle detection unit 400 detects a wheel shape feature TF from an image of one side of the vehicle using a haar-like feature. The high-like feature used by the side vehicle detection unit 400 may include an edge feature that is a feature of an outline, a center-surround feature surrounding the center, and a line-shaped feature (Line-feature). can The side vehicle detection unit 400 stores the detected wheel shape feature TF. The wheel shape feature TF to be detected by the side vehicle detection unit 400 may be circular.

측면 차량 검출부(400)는 아다부스트(Adaboost) 알고리즘을 이용하여 차량 일 측방의 영상에서 약한 분류기(weak classifier, WC)를 검출하고 저장한다. 측면 차량 검출부(400)가 약한 분류기(WC)를 검출하는 것은 도 4(a)에 도시하였다.The side vehicle detection unit 400 detects and stores a weak classifier (WC) in an image of one side of the vehicle using an Adaboost algorithm. The detection of the weak classifier WC by the side vehicle detection unit 400 is illustrated in FIG. 4A .

측면 차량 검출부(400)는 아다부스트 알고리즘을 이용하여 차량 일 측방의 영상에서 강한 분류기(strong classifier, SC)를 검출 및 저장한다.The side vehicle detection unit 400 detects and stores a strong classifier (SC) in an image of one side of the vehicle using the Adaboost algorithm.

측면 차량 검출부(400)는 아다부스트 알고리즘을 이용하여 차량 일 측방의 영상에서 강한 분류기(SC)를 검출하여 기 저장된 강한 분류기(SC)와 일치할 때 일치하는 부분을 바퀴 모양 특징(TF)으로 검출한다.The side vehicle detection unit 400 detects the strong classifier (SC) in the image of one side of the vehicle using the Adaboost algorithm, and when it matches the pre-stored strong classifier (SC), the matching part is detected as the wheel shape feature (TF). do.

측면 차량 검출부(400)는 차량 일 측방의 영상에서 바퀴 모양 특징(TF)을 인식한다. 측면 차량 검출부(400)는 터널 진입 상황에서 바퀴 모양 특징(TF)을 검출하면 바퀴 모양 특징(TF)의 평균 밝기값을 산출한다. 측면 차량 검출부(400)는 바퀴 모양 특징(TF)을 검출하면 비 바퀴 모양 특징(NTF)의 평균 밝기값을 산출한다. 측면 차량 검출부(400)는 바퀴 모양 특징(TF)의 평균 밝기값에서 비 바퀴 모양 특징(NTF)의 평균 밝기값을 뺀 값이 설정된 임계치를 초과하면 검출된 바퀴 모양 특징(TF)을 차량 일 측방에 존재하는 차량의 바퀴로 인식한다.The side vehicle detection unit 400 recognizes a wheel shape feature TF from an image of one side of the vehicle. When the side vehicle detection unit 400 detects the wheel shape feature TF in a tunnel entry situation, it calculates an average brightness value of the wheel shape feature TF. When the side vehicle detection unit 400 detects the wheel-shaped feature TF, it calculates an average brightness value of the non-wheel-shaped feature NTF. The side vehicle detection unit 400 sets the detected wheel shape feature TF to one side of the vehicle when the value obtained by subtracting the average brightness value of the non-wheel shape feature NTF from the average brightness value of the wheel shape feature TF exceeds a set threshold. It is recognized as the wheel of the vehicle present in

도 5은 타 차량 영역 추정부(500)가 차량과 일 측방의 차량(LC) 간의 거리를 구하기 위한 가상의 삼각형을 도시한 것이다. 타 차량 영역 추정부(500)는 검출된 타 차량의 바퀴 모양 특징(TF)을 고려하여 타 차량의 존재 영역을 추정한다. 카메라부(100)는 지면에서 높이(H)에 설치된다. 카메라부(100)가 설치되는 높이(H)는 차량에 따라 변할 수 있다. 카메라부(100)가 설치되는 높이(H)는 기 설정된 값이다. 카메라부(100)와 일 측방의 차량(LC) 아래 부분의 중앙과의 각도인 카메라각도(C)는 차량 및 설정에 따라 변할 수 있다. 카메라부(100)의 수직화각(VFOV)은 카메라의 성능에 따라 변할 수 있으며, 설정에 따른 일정한 값이다.5 illustrates a virtual triangle for the other vehicle area estimator 500 to obtain a distance between the vehicle and the vehicle LC on one side. The other vehicle area estimating unit 500 estimates the existence area of the other vehicle in consideration of the detected wheel shape feature TF of the other vehicle. The camera unit 100 is installed at a height H from the ground. The height H at which the camera unit 100 is installed may vary depending on the vehicle. The height H at which the camera unit 100 is installed is a preset value. The camera angle C, which is the angle between the camera unit 100 and the center of the lower portion of the vehicle LC on one side, may vary depending on the vehicle and settings. The vertical field of view (VFOV) of the camera unit 100 may vary depending on the performance of the camera, and is a constant value according to a setting.

타 차량 영역 추정부(500)는 카메라부(100)의 카메라 파라미터를 이용하여 바퀴 모양 특징(TF)의 좌표를 산출한다. 타 차량 영역 추정부(500)는 카메라부의 조사 각도(C)와 카메라부(100)의 수직화각(VFOV)을 이용하여 일 측방의 차량(LC)의 아래 부분의 중앙을 포함하는 일 측방의 차량(LC) 아래 부분 그리고 카메라부(100)와 바퀴 모양 특징(TF)의 아래 부분이 이루는 선이 형성하는 각도(S)를 산출할 수 있다. 타 차량 영역 추정부(500)는 차량과 일 측방의 차량(LC) 사이의 거리(d)를 산출할 수 있다. 타 차량 영역 추정부(500)는 (수학식 1)에 의해 카메라부(100)와 검출된 번호판을 포함하는 사각형의 아래 부분과의 거리(Z)를 산출할 수 있다.The other vehicle area estimation unit 500 calculates the coordinates of the wheel shape feature TF by using the camera parameters of the camera unit 100 . The other vehicle area estimating unit 500 uses the irradiation angle C of the camera unit and the vertical field of view (VFOV) of the camera unit 100 to include the center of the lower part of the vehicle LC at one side. An angle S formed by a line formed by the lower portion of (LC) and the lower portion of the camera unit 100 and the wheel-shaped feature TF may be calculated. The other vehicle area estimator 500 may calculate a distance d between the vehicle and the vehicle LC on one side. The other vehicle area estimating unit 500 may calculate the distance Z between the camera unit 100 and the lower part of the rectangle including the detected license plate by (Equation 1).

타 차량 영역 추정부(500)는 차량 일 측방의 영상에서 점 P(x, y)의 좌표를 계산한다. 타 차량 영역 추정부(500)가 계산하는 점 P(x, y)는 일 측방의 차량(LC)을 포함하는 사각형에서 지면과 닿는 부분의 중앙의 좌표이다. 타 차량 영역 추정부(500)는 카메라부(100)가 촬영한 영상의 좌표계에서 XY면에 평행한 면에 X'Y' 좌표계를 설정한다. 타 차량 영역 추정부(500)는 좌표를 계산하여 검출된 바퀴 모양 특징(TF)의 좌표를 산출한다.The other vehicle area estimator 500 calculates the coordinates of the point P(x, y) in the image of one side of the vehicle. The point P(x, y) calculated by the other vehicle area estimator 500 is a coordinate of the center of a portion in contact with the ground in a quadrangle including the vehicle LC on one side. The other vehicle area estimating unit 500 sets the X'Y' coordinate system on a plane parallel to the XY plane in the coordinate system of the image captured by the camera unit 100 . The other vehicle area estimator 500 calculates the coordinates of the detected wheel shape feature TF by calculating the coordinates.

도 6은 타 차량 영역 추정부가 타 차량 영역(LCA)을 추정한 모습을 도시한 탑뷰 영상도이다. 타 차량 영역 추정부(500)는 탑뷰 영상에서 바퀴 모양 특징(TF)의 좌표를 산출한다. 타 차량 영역 추정부(500)는 탑뷰 영상에서 산출된 바퀴 모양 특징(TF)의 좌표를 중심으로 포함하는 장 방형을 타 차량 영역(LCA)으로 추정한다. 타 차량 영역 추정부(500)는 바퀴 모양 특징(TF)에서 차량이 존재하는 방향으로 설정된 길이의 가로 및 세로의 장 방형을 타 차량 영역(LCA)으로 추정할 수 있다.6 is a top-view image diagram illustrating a state in which the other vehicle area estimating unit estimates the other vehicle area (LCA). The other vehicle area estimator 500 calculates the coordinates of the wheel shape feature TF in the top view image. The other vehicle area estimating unit 500 estimates a rectangle including the coordinates of the wheel shape feature TF calculated from the top view image as the other vehicle area LCA. The other vehicle area estimating unit 500 may estimate, as the other vehicle area LCA, horizontal and vertical rectangles of lengths set in the direction in which the vehicle exists in the wheel shape feature TF.

일반적으로 소형 차량, 중형 차량 및 대형 차량으로 될수록 바퀴 사이의 길이가 증가하므로, 일실시례에 따른 타 차량 영역 추정부(500)는 검출된 두 바퀴 모양 특징(TF)의 길이를 산출하여 장방형의 가로 길이 및 세로 길이를 설정할 수 있다. 타 차량 영역 추정부(500)는 바퀴 모양 특징(TF) 간의 거리값을 고려함으로써 타 차량 영역(LCA)을 정확하게 추정할 수 있다.In general, since the length between the wheels increases as the number of small vehicles, medium vehicles, and large vehicles increases, the other vehicle area estimating unit 500 according to an embodiment calculates the length of the detected two wheel shape features (TF) to form a rectangular shape. You can set the horizontal and vertical length. The other vehicle area estimator 500 may accurately estimate the other vehicle area LCA by considering the distance value between the wheel shape features TF.

경고 신호 출력부(600)는 차량이 타 차량 존재 영역에 진입할 때 경고 신호를 경고부(700)에 출력한다. 경고 신호 출력부(600)는 탑뷰 영상에서 차량이 장 방형 안에 들어볼 때 경고 신호를 경고부(700)에 출력한다.The warning signal output unit 600 outputs a warning signal to the warning unit 700 when the vehicle enters the other vehicle presence area. The warning signal output unit 600 outputs a warning signal to the warning unit 700 when the vehicle enters the rectangle in the top view image.

경고부(700)는 경고 신호를 수신하고, 운전자에게 위험을 알린다. 경고부(700)는 탑뷰 영상에서 경고 화면을 출력하여 운전자에게 위험을 알릴 수 있다.The warning unit 700 receives the warning signal and notifies the driver of the danger. The warning unit 700 may output a warning screen from the top view image to inform the driver of the danger.

이상에서는 본 발명의 바람직한 실시례에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시례에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications may be made by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

100 : 카메라부
200 : 탑뷰 영상 출력부
300 : 차선 검출부
400 : 측면 차량 검출부
500 : 타 차량 영역 추정부
600 : 경고 신호 출력부
700 : 경고부100: camera unit
200: top view image output unit
300: lane detection unit
400: side vehicle detection unit
500: other vehicle area estimation unit
600: warning signal output unit
700: warning part

Claims

a camera unit for photographing and outputting the surroundings of the vehicle;
a top-view image output unit for synthesizing the captured images and outputting a top-view image of the vehicle;
a lane detection unit outputting a lane on one side of the vehicle in consideration of lane characteristics in the top view image;
All parts other than the part having the wheel shape feature and the part having the wheel shape feature in the image are detected in the image output by the camera unit, and the average brightness value of the detected wheel shape feature part and the wheel shape feature in the image The average brightness value of all parts other than the part is calculated, respectively, and other vehicles are recognized based on the calculated average brightness value of the wheel-shaped feature part and the average brightness value of all parts other than the part with the wheel-shaped feature in the image. side vehicle detection unit;
another vehicle area estimating unit for estimating an existence area of the other vehicle in consideration of the detected wheel shape characteristics of the other vehicle; and
and a warning signal output unit for outputting a warning signal when the vehicle enters the other vehicle presence area;
The lane detection unit detects a lane center point by applying a top hat filter from left to right in the grayscale image of the top view image, calculating a maximum value,
The lane detector calculates maximum values for a left boundary of the center point and a right boundary of the center point based on the center point to calculate the left side characteristic point and the right lane characteristic point.

The method according to claim 1,
The side vehicle detection unit,
When the difference between the average brightness value of the wheel-shaped feature part and the average brightness value of all parts other than the part with the wheel-shaped feature in the image exceeds a threshold, it is characterized in that it is recognized that there is another vehicle on one side of the vehicle vehicle safety driving device.

The method according to claim 1,
and a warning unit for receiving the warning signal and notifying the driver of a danger.

The method according to claim 1,
The lane detection unit applies a top-hat filter from left to right in the grayscale image of the top-view image, and calculates a maximum value to detect a lane center point.

5. The method according to claim 4,
The lane detector calculates maximum values for a left boundary of the center point and a right boundary of the center point based on the center point to calculate the left side characteristic point and the right lane characteristic point.

The method according to claim 1,
The lane detection unit extracts a line component by searching in a omni-radial direction based on the feature point on the left side of the lane and the feature point on the right side of the lane.

The method according to claim 1,
The other vehicle area estimating unit estimates a rectangle set based on the position of the wheel shape feature of the other vehicle as the other vehicle existence area.