KR20200069280A - Apparatus for safety-driving of vehicle - Google Patents
Apparatus for safety-driving of vehicle Download PDFInfo
- Publication number
- KR20200069280A KR20200069280A KR1020200069306A KR20200069306A KR20200069280A KR 20200069280 A KR20200069280 A KR 20200069280A KR 1020200069306 A KR1020200069306 A KR 1020200069306A KR 20200069306 A KR20200069306 A KR 20200069306A KR 20200069280 A KR20200069280 A KR 20200069280A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- lane
- feature
- wheel
- unit
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- B60W2050/14—
Abstract
Description
본 발명은 차량 안전 주행 장치에 관한 것으로, 보다 상세하게는 차량 주변을 촬영한 영상을 합성하여 탑뷰 영상을 출력하고, 탑뷰 영상에서 차선을 검출하여 출력하고, 차량 일 측방 영상에서 바퀴 모양 특징을 검출하여 타 차량의 존재 영역을 추정하고, 차량이 타 차량의 존재 영역에 진입할 때 경고 신호를 출력하여 운전자에게 위험을 알리는 차량 안전 주행 장치에 관한 것이다.The present invention relates to a vehicle safety driving device, and more specifically, synthesizes an image taken around a vehicle to output a top-view image, detects and outputs a lane from the top-view image, and detects a wheel shape feature from one side image of the vehicle. The present invention relates to a vehicle safety driving device that estimates an area of presence of another vehicle and outputs a warning signal when the vehicle enters the area of presence of another vehicle to inform a driver of danger.
차량 간의 충돌을 막기 위한 기술로서 초음파 센서 등의 센서를 이용하여 획득한 다양한 정보를 이용하여 차량 간의 거리를 모니터링하고, 차량 간의 거리가 설정된 거리값 보다 작아질 때 운전자에게 경고하는 기술이 많은 차량에 채택되고 있다. 그러나 센서에만 의존하여 차량 간의 충돌을 방지하는 것은 다양한 운전 환경에서 차량 간의 거리를 측정하는데 어려움이 있으며, 그에 따라 부정확한 결과가 측정될 수도 있다.As a technology to prevent collisions between vehicles, vehicles with many technologies that monitor distances between vehicles using various information obtained using sensors, such as ultrasonic sensors, and warn drivers when the distances between vehicles become smaller than the set distance value. Is being adopted. However, it is difficult to measure the distance between vehicles in various driving environments to prevent collision between vehicles by relying only on sensors, and accordingly, inaccurate results may be measured.
최근에는 센서 이외에 다양한 방법으로 운행 중인 차량 주변상황에 대한 정보를 획득하고, 이를 바탕으로 차량 간의 거리가 가까울 때 운전자에게 경고하여주는 기술이 연구 중에 있다.Recently, a technique of acquiring information about a vehicle's surroundings in a variety of ways other than sensors and warning a driver when the distance between the vehicles is close is being studied.
본 발명이 해결하고자 하는 과제는 차량 주변을 촬영한 영상을 합성하여 탑뷰 영상을 출력하고, 탑뷰 영상에서 차선을 검출하여 출력하고, 차량 일 측방 영상에서 바퀴 모양 특징을 검출하여 타 차량의 존재 영역을 추정하고, 차량이 타 차량의 존재 영역에 진입할 때 경고신호를 출력하여 운전자에게 위험을 알리는 차량 안전 주행 장치를 제공함에 있다.The problem to be solved by the present invention is to synthesize an image taken around a vehicle and output a top-view image, detect and output a lane from the top-view image, and detect the wheel-shaped feature from one side of the vehicle to detect the existence area of another vehicle. It is to provide a vehicle safety driving device that estimates and outputs a warning signal when a vehicle enters a vehicle presence area to inform a driver of danger.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
상기 목적을 달성하기 위한 본 발명에 따른 차량 안전 주행 장치는, 차량의 주변을 촬영하여 출력하는 카메라부; 상기 촬영된 영상을 합성하여 상기 차량의 탑뷰 영상을 출력하는 탑뷰 영상 출력부; 상기 탑뷰 영상에서 차선 특징을 고려하여 상기 차량 일 측의 차선을 출력하는 차선 검출부; 상기 카메라부가 출력한 영상에서 바퀴 모양 특징 및 비 바퀴 모양 특징을 검출하고, 검출된 바퀴 모양 특징의 평균 밝기 값과 비 바퀴 모양 특징의 평균 밝기 값을 각각 산출하며, 산출된 바퀴 모양 특징의 평균 밝기 값 및 비 바퀴 모양 특징의 평균 밝기 값에 기반하여 타 차량을 인식하는 측면 차량 검출부; 상기 검출된 타 차량의 바퀴 모양 특징을 고려하여 상기 타 차량의 존재 영역을 추정하는 타 차량 영역 추정부; 및 상기 차량이 상기 타 차량 존재 영역에 진입할 때 경고 신호를 출력하는 경고 신호 출력부를 포함할 수 있다.Vehicle safety driving device according to the present invention for achieving the above object, a camera unit for photographing and outputting the surroundings of the vehicle; A top view image output unit that synthesizes the captured image and outputs a top view image of the vehicle; A lane detector for outputting lanes on one side of the vehicle in consideration of lane characteristics in the top view image; Detecting the wheel-shaped feature and the non-wheel-shaped feature from the image output by the camera unit, calculating the average brightness value of the detected wheel-shaped feature and the average brightness value of the non-wheel-shaped feature, respectively, and calculating the average brightness of the calculated wheel-shaped feature A side vehicle detection unit recognizing another vehicle based on the value and the average brightness value of the non-wheel-shaped feature; Another vehicle area estimator for estimating the existence area of the other vehicle in consideration of the detected wheel shape characteristics of the other vehicle; And a warning signal output unit outputting a warning signal when the vehicle enters the other vehicle presence area.
상기 측면 차량 검출부는,The side vehicle detection unit,
상기 바퀴 모양 특징의 평균 밝기 값과 비 바퀴 모양 특징의 평균 밝기 값의 차이가 임계치를 초과하면, 상기 차량의 일 측방에 타 차량이 있는 것으로 인식할 수 있다.When the difference between the average brightness value of the wheel-shaped feature and the average brightness value of the non-wheel-shaped feature exceeds a threshold value, it can be recognized that there is another vehicle on one side of the vehicle.
상기 경고 신호를 수신하고, 운전자에게 위험을 알리는 경고부;를 더 포함할 수 있다.It may further include a warning unit for receiving the warning signal, and alerting the driver of the danger.
상기 차선 검출부는 상기 탑뷰 영상의 그레이스케일 영상에서 좌에서 우 방향으로 탑햇 필터를 적용하고, 최대값을 산출하여 차선 중심점을 검출할 수 있다.The lane detector may detect a lane center point by applying a top hat filter from left to right in a grayscale image of the top view image and calculating a maximum value.
상기 차선 검출부는 상기 중심점을 기준으로 상기 중심점의 좌측 경계 및 상기 중심점의 우측 경계에 대해 최대값을 산출하여 상기 차선 좌측 특징점 및 상기 차선 우측 특징점을 산출할 수 있다.The lane detecting unit may calculate the maximum value of the left boundary of the center point and the right boundary of the center point based on the center point to calculate the left feature point of the lane and the right feature point of the lane.
상기 차선 검출부는 상기 차선 좌측 특징점 및 상기 차선 우측 특징점을 기준으로 전 방사 방향으로 탐색하여 선 성분을 추출할 수 있다.The lane detector may extract a line component by searching in the entire radial direction based on the left feature point of the lane and the right feature point of the lane.
상기 타 차량 영역 추정부는 상기 타 차량의 상기 바퀴 모양 특징의 위치를 기준으로 설정된 장방형을 상기 타 차량 존재 영역으로 추정할 수 있다.The other vehicle area estimator may estimate a rectangle set based on the position of the wheel-like feature of the other vehicle as the other vehicle existence area.
본 발명의 차량 안전 주행 장치에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.According to the vehicle safety driving device of the present invention, there are one or more of the following effects.
첫째, 차량 일 측방의 영상에서 바퀴 모양 특징을 검출함으로써 타 차량을 인식하는 장점이 있다.First, there is an advantage of recognizing another vehicle by detecting a wheel-shaped feature from an image on one side of the vehicle.
둘째, 하라이크 특징을 이용하여 검출된 타 차량의 바퀴 모양 특징을 고려하고, 이에 더하여 아다부스트 알고리즘을 적용함으로써 타 차량을 정확하게 인식하는 장점도 있다.Second, there is an advantage of accurately recognizing the other vehicle by applying the Adaboost algorithm by considering the wheel shape characteristic of the other vehicle detected using the haraike feature.
셋째, 탑뷰 영상에서 타 차량의 존재 영역을 추정하고, 차량이 타 차량 존재 영역에 진입할 때 운전자에게 경고함으로써 운전자에게 화면을 보여주는 등의 정확한 경고를 하는 장점도 있다. 운전자는 화면으로 차량이 타 차량과 얼마나 가까이 있는지 인지하여 차량의 안전 운행에 크게 기여한다.Third, in the top view image, there is also an advantage of estimating the presence area of another vehicle and warning the driver when the vehicle enters the other vehicle presence area, thereby providing accurate warning such as showing a screen to the driver. The driver recognizes how close the vehicle is to other vehicles on the screen and contributes greatly to the safe driving of the vehicle.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.
도 1은 본 발명의 일실시례에 따른 안전 주행 장치의 구성을 도시한 구성도이다.
도 2는 도 2는 도 1에 도시한 일실시례에 따른 차선 검출부가 탑햇 필터(top-hat filter)를 이용하여 특징점을 산출하는 모습을 도시한 예시도이다.
도 3은 도 1에 도시한 차선 검출부가 산출한 특징점에서 선 성분을 추출하는 모습을 도시한 예시도이다.
도 4는 측면 차량 검출부가 차량 일 측방 영상에서 바퀴 모양 특징을 검출하는 것으로서, 아다부스트 알고리즘에 의해 출력된 약한 분류기(weak classifier) 및 강한 분류기(strong classifier)를 도시한 것이다.
도 5은 타 차량 영역 추정부가 차량과 일 측방의 차량 간의 거리를 구하기 위한 가상의 삼각형을 도시한 것이다.
도 6은 타 차량 영역 추정부가 타 차량 영역을 추정한 모습을 도시한 탑뷰 영상도이다.1 is a configuration diagram showing the configuration of a safety driving device according to an embodiment of the present invention.
FIG. 2 is an exemplary view illustrating a state in which the lane detector according to the exemplary embodiment illustrated in FIG. 1 calculates a feature point using a top-hat filter.
FIG. 3 is an exemplary view showing a state in which line components are extracted from the feature points calculated by the lane detector illustrated in FIG. 1.
FIG. 4 is a side vehicle detection unit detecting a wheel-like feature in a vehicle side image, and shows a weak classifier and a strong classifier output by the Adaboost algorithm.
FIG. 5 shows a virtual triangle for estimating a distance between a vehicle and a vehicle on one side of another vehicle area estimator.
6 is a top view video diagram showing a state in which another vehicle area estimator estimates another vehicle area.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시례들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시례들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and a method of achieving them will be apparent by referring to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the present embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the person having the scope of the invention, and the present invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.
이하, 본 발명의 실시례들에 의하여 안전 주행 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.Hereinafter, the present invention will be described with reference to the drawings for describing a safety driving device according to embodiments of the present invention.
도 1은 본 발명의 일실시례에 따른 안전 주행 장치의 구성을 도시한 구성도이다. 본 발명의 일실시례에 따른 안전 주행 장치는 카메라부(100), 탑뷰 영상 출력부(200), 차선 검출부(300), 측면 차량 검출부(400), 타 차량 영역 추정부(500), 경고 신호 출력부(600) 및 경고부(700)를 포함한다.1 is a configuration diagram showing the configuration of a safety driving device according to an embodiment of the present invention. The safety driving device according to an embodiment of the present invention includes a
카메라부(100)는 차량의 주변을 촬영하여 차량의 일 방향 영상을 출력한다. 카메라부(100)는 차량 일 측방에 설치된다. 카메라부(100)는 차량 일 측방을 방해 없이 촬영할 수 있는 위치에 설치된다. 카메라부(100)는 차량 주행 시 구동될 수 있다. 카메라부(100)는 별도의 스위치에 조작에 의해 구동될 수도 있다. 카메라부(100)는 차량 일 측방의 영상을 측면 차량 검출부(400)에 출력한다.The
탑뷰 영상 출력부(200)는 차량의 일 방향 영상을 합성하고 차량의 탑뷰 영상을 출력한다. 탑뷰 영상 출력부(200)는 차량의 주변을 위에서 아래로 보는 방향의 탑뷰 영상을 출력한다. 탑뷰 영상 출력부(200)는 AVM(Around View Monitoring) 시스템일 수 있다. 탑뷰 영상 출력부(200)는 차량의 전후측방 중 적어도 한 곳에 카메라를 구비한다. 탑뷰 영상 출력부(200)는 차량의 전후측방에 구비된 카메라가 차량 주변의 영상을 출력한다. 탑뷰 영상 출력부(200)는 차량 주변의 영상을 하나의 영상으로 합성하여 탑뷰 영상을 출력한다.The top view
차선 검출부(300)는 탑뷰 영상에서 차선 특징을 고려하여 차량 일 측방의 차선을 검출한다. 차선 검출부(300)는 탑뷰 영상에서 탑햇 필터를 이용하여 차량의 좌측 및 차량의 우측에서 차선 특징을 검출한다. 차선 검출부(300)는 탑뷰 영상의 그레이스케일 영상에서 좌에서 우 방향으로 탑햇 필터를 적용하고, 최대값을 산출하여 차선 중심점을 검출한다. The
차선 검출부(300)는 중심점을 기준으로 중심점의 좌측 경계 및 중심점의 우측 경계에 대해 최대값을 산출하여 차선의 좌측 특징점(LP) 및 우측의 특징점(RP)을 산출한다. 차선 검출부(300)가 탑햇 필터를 이용하여 특징점을 산출하는 과정은 도 2에서 추후 설명한다.The
차선 검출부(300)는 차선 좌측 특징점 및 차선 우측의 특징점을 기준으로 전 방사 방향으로 탐색하여 선 성분을 추출한다. 차선 검출부(300)는 차선 좌측 특징점 및 차선 우측의 특징점을 기준으로 360도 방향으로 탐색하여 선 성분을 추출할 수 있다. 차선 검출부(300)가 산출한 특징점에서 선 성분을 추출하는 것은 도 3에서 추후 설명한다.The
도 2는 도 1에 도시한 일실시례에 따른 차선 검출부(300)가 탑햇 필터를 이용하여 특징점을 산출하는 모습을 도시한 예시도이다. 차선 검출부(200)는 탑뷰 영상에서 탑햇 필터를 이용하여 차량의 좌측 및 차량의 우측에서 차선을 검출한다. 차선 검출부(200)는 탑뷰 영상의 그레이스케일 영상에서 좌에서 우 방향으로 탑햇 필터를 적용하고, 최대값을 산출하여 차선 중심점을 검출한다. 차선 검출부(300)는 탑뷰 영상을 그레이스케일(grayscale) 영상으로 변환한다. 차선 검출부(300)는 그레이스케일 영상에서 수평방향으로 탑햇 필터를 적용한다. 차선 검출부(300) 국부 영역에서 최대값을 검출하여 차선의 중심점(CP)을 검출한다. 차선 검출부(300)는 중심점(CP)을 기준으로 차선 좌측 및 차선 우측 경계에 대해 국부 영역에서의 최대값을 검출하여 차선 좌측 특징점(LP) 및 차선 우측 특징점(RP)을 산출한다. 차선 검출부(300)가 산출하는 차선 좌측 특징점(LP) 및 차선 우측 특징점(RP)은 어두운 부분(D)과 밝은 부분(B) 사이의 경계(P)에 위치한다.FIG. 2 is an exemplary view illustrating a state in which the
도 3은 도 1에 도시한 일실시례에 따른 차선 검출부(300)가 산출한 특징점에서 선 성분을 추출하는 모습을 도시한 예시도이다. 차선 검출부(300)는 차선 좌측 특징점(LP) 및 차선 우측 특징점(RP)을 기준으로 전 방사 방향으로 탐색하여 선 성분을 추출한다. 차선 검출부(300)는 차선 좌측 특징점(LP) 및 차선 우측 특징점(RP)을 기준으로 360도 방향으로 탐색하여 선 성분을 추출할 수 있다. 일실시례에 따 차선 검출부(300)는 도 3에서 차선 우측 특징점(RP)을 기준으로 시계 방향으로 탐색할 수도 있고, 차선 좌측 특징점(LP) 부분과 같이 차선 좌측 특징점(LP)을 기준으로 반시계 방향으로 탐색할 수도 있다. 차선 검출부(300)는 차선 우측 특징점(RP)을 기준으로 반시계 방향으로 탐색할 수도 있고, 차선 좌측 특징점(LP)을 기준으로 시계 방향으로 탐색할 수도 있다.FIG. 3 is an exemplary view showing a state in which line components are extracted from feature points calculated by the
차선 검출부(300)는 추출한 선 성분의 각도 오차를 비교하여 선 성분의 유효성을 검사한다. 일실시례에 따른 차선 검출부(300)가 고려하는 각도 오차는 설정된 값이며, 5도 이내로 설정될 수 있다. 차선 검출부(300)는 선 성분의 유효성이 만족되면 차선의 중심점(CP)을 기준으로 차선 후보군을 저장한다.The
도 4는 측면 차량 검출부(400)가 차량 일 측방 영상에서 바퀴 모양 특징(TF)을 검출하는 것으로서, 아다부스트 알고리즘에 의해 출력된 약한 분류기(weak classifier) 및 강한 분류기(strong classifier)를 도시한 것이다.FIG. 4 is a
측면 차량 검출부(400)는 차량 일 측방의 영상에서 바퀴 모양 특징(TF)을 검출하여 측면에 존재하는 타 차량의 바퀴를 인식한다. 측면 차량 검출부(400)는 카메라부(100)가 출력한 차량 일 측방의 영상을 수신한다. 측면 차량 검출부(400)는 하라이크(haar-like) 특징을 이용하여 차량 일 측방의 영상에서 바퀴 모양 특징(TF)을 검출한다. 측면 차량 검출부(400)가 이용하는 하라이크 특징은 윤곽선의 특징인 에지특징(Edge feature), 중심을 둘러싼 센터서라운드특징(Center-surround feature) 및 선의 모양을 한 라인특징(Line-feature)을 포함할 수 있다. 측면 차량 검출부(400)는 검출한 바퀴 모양 특징(TF)을 저장한다. 측면 차량 검출부(400)가 검출하려는 바퀴 모양 특징(TF)은 원형일 수 있다.The side
측면 차량 검출부(400)는 아다부스트(Adaboost) 알고리즘을 이용하여 차량 일 측방의 영상에서 약한 분류기(weak classifier, WC)를 검출하고 저장한다. 측면 차량 검출부(400)가 약한 분류기(WC)를 검출하는 것은 도 4(a)에 도시하였다.The side
측면 차량 검출부(400)는 아다부스트 알고리즘을 이용하여 차량 일 측방의 영상에서 강한 분류기(strong classifier, SC)를 검출 및 저장한다.The side
측면 차량 검출부(400)는 아다부스트 알고리즘을 이용하여 차량 일 측방의 영상에서 강한 분류기(SC)를 검출하여 기 저장된 강한 분류기(SC)와 일치할 때 일치하는 부분을 바퀴 모양 특징(TF)으로 검출한다.The side
측면 차량 검출부(400)는 차량 일 측방의 영상에서 바퀴 모양 특징(TF)을 인식한다. 측면 차량 검출부(400)는 터널 진입 상황에서 바퀴 모양 특징(TF)을 검출하면 바퀴 모양 특징(TF)의 평균 밝기값을 산출한다. 측면 차량 검출부(400)는 바퀴 모양 특징(TF)을 검출하면 비 바퀴 모양 특징(NTF)의 평균 밝기값을 산출한다. 측면 차량 검출부(400)는 바퀴 모양 특징(TF)의 평균 밝기값에서 비 바퀴 모양 특징(NTF)의 평균 밝기값을 뺀 값이 설정된 임계치를 초과하면 검출된 바퀴 모양 특징(TF)을 차량 일 측방에 존재하는 차량의 바퀴로 인식한다.The side
도 5은 타 차량 영역 추정부(500)가 차량과 일 측방의 차량(LC) 간의 거리를 구하기 위한 가상의 삼각형을 도시한 것이다. 타 차량 영역 추정부(500)는 검출된 타 차량의 바퀴 모양 특징(TF)을 고려하여 타 차량의 존재 영역을 추정한다. 카메라부(100)는 지면에서 높이(H)에 설치된다. 카메라부(100)가 설치되는 높이(H)는 차량에 따라 변할 수 있다. 카메라부(100)가 설치되는 높이(H)는 기 설정된 값이다. 카메라부(100)와 일 측방의 차량(LC) 아래 부분의 중앙과의 각도인 카메라각도(C)는 차량 및 설정에 따라 변할 수 있다. 카메라부(100)의 수직화각(VFOV)은 카메라의 성능에 따라 변할 수 있으며, 설정에 따른 일정한 값이다.FIG. 5 shows an imaginary triangle for the other
타 차량 영역 추정부(500)는 카메라부(100)의 카메라 파라미터를 이용하여 바퀴 모양 특징(TF)의 좌표를 산출한다. 타 차량 영역 추정부(500)는 카메라부의 조사 각도(C)와 카메라부(100)의 수직화각(VFOV)을 이용하여 일 측방의 차량(LC)의 아래 부분의 중앙을 포함하는 일 측방의 차량(LC) 아래 부분 그리고 카메라부(100)와 바퀴 모양 특징(TF)의 아래 부분이 이루는 선이 형성하는 각도(S)를 산출할 수 있다. 타 차량 영역 추정부(500)는 차량과 일 측방의 차량(LC) 사이의 거리(d)를 산출할 수 있다. 타 차량 영역 추정부(500)는 (수학식 1)에 의해 카메라부(100)와 검출된 번호판을 포함하는 사각형의 아래 부분과의 거리(Z)를 산출할 수 있다.The other
타 차량 영역 추정부(500)는 차량 일 측방의 영상에서 점 P(x, y)의 좌표를 계산한다. 타 차량 영역 추정부(500)가 계산하는 점 P(x, y)는 일 측방의 차량(LC)을 포함하는 사각형에서 지면과 닿는 부분의 중앙의 좌표이다. 타 차량 영역 추정부(500)는 카메라부(100)가 촬영한 영상의 좌표계에서 XY면에 평행한 면에 X'Y' 좌표계를 설정한다. 타 차량 영역 추정부(500)는 좌표를 계산하여 검출된 바퀴 모양 특징(TF)의 좌표를 산출한다.The other
도 6은 타 차량 영역 추정부가 타 차량 영역(LCA)을 추정한 모습을 도시한 탑뷰 영상도이다. 타 차량 영역 추정부(500)는 탑뷰 영상에서 바퀴 모양 특징(TF)의 좌표를 산출한다. 타 차량 영역 추정부(500)는 탑뷰 영상에서 산출된 바퀴 모양 특징(TF)의 좌표를 중심으로 포함하는 장 방형을 타 차량 영역(LCA)으로 추정한다. 타 차량 영역 추정부(500)는 바퀴 모양 특징(TF)에서 차량이 존재하는 방향으로 설정된 길이의 가로 및 세로의 장 방형을 타 차량 영역(LCA)으로 추정할 수 있다.FIG. 6 is a top view video diagram showing a state in which another vehicle area estimator estimates another vehicle area (LCA). The other
일반적으로 소형 차량, 중형 차량 및 대형 차량으로 될수록 바퀴 사이의 길이가 증가하므로, 일실시례에 따른 타 차량 영역 추정부(500)는 검출된 두 바퀴 모양 특징(TF)의 길이를 산출하여 장방형의 가로 길이 및 세로 길이를 설정할 수 있다. 타 차량 영역 추정부(500)는 바퀴 모양 특징(TF) 간의 거리값을 고려함으로써 타 차량 영역(LCA)을 정확하게 추정할 수 있다.In general, the smaller the vehicle, the medium vehicle, and the larger the vehicle, the longer the length between wheels is. Therefore, the other
경고 신호 출력부(600)는 차량이 타 차량 존재 영역에 진입할 때 경고 신호를 경고부(700)에 출력한다. 경고 신호 출력부(600)는 탑뷰 영상에서 차량이 장 방형 안에 들어볼 때 경고 신호를 경고부(700)에 출력한다.The warning
경고부(700)는 경고 신호를 수신하고, 운전자에게 위험을 알린다. 경고부(700)는 탑뷰 영상에서 경고 화면을 출력하여 운전자에게 위험을 알릴 수 있다.The
이상에서는 본 발명의 바람직한 실시례에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시례에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the above-described specific embodiments, and the technical field to which the present invention pertains without departing from the gist of the present invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical idea or prospect of the present invention.
100 : 카메라부
200 : 탑뷰 영상 출력부
300 : 차선 검출부
400 : 측면 차량 검출부
500 : 타 차량 영역 추정부
600 : 경고 신호 출력부
700 : 경고부100: camera unit
200: top view video output
300: lane detection unit
400: side vehicle detection unit
500: other vehicle area estimation unit
600: warning signal output
700: warning unit
Claims (7)
상기 촬영된 영상을 합성하여 상기 차량의 탑뷰 영상을 출력하는 탑뷰 영상 출력부;
상기 탑뷰 영상에서 차선 특징을 고려하여 상기 차량 일 측의 차선을 출력하는 차선 검출부;
상기 카메라부가 출력한 영상에서 바퀴 모양 특징 및 비 바퀴 모양 특징을 검출하고, 검출된 바퀴 모양 특징의 평균 밝기 값과 비 바퀴 모양 특징의 평균 밝기 값을 각각 산출하며, 산출된 바퀴 모양 특징의 평균 밝기 값 및 비 바퀴 모양 특징의 평균 밝기 값에 기반하여 타 차량을 인식하는 측면 차량 검출부;
상기 검출된 타 차량의 바퀴 모양 특징을 고려하여 상기 타 차량의 존재 영역을 추정하는 타 차량 영역 추정부; 및
상기 차량이 상기 타 차량 존재 영역에 진입할 때 경고 신호를 출력하는 경고 신호 출력부를 포함하는 차량 안전 주행 장치.A camera unit for photographing and outputting a surrounding of the vehicle;
A top view image output unit that synthesizes the captured image and outputs a top view image of the vehicle;
A lane detector for outputting lanes on one side of the vehicle in consideration of lane characteristics in the top view image;
Detecting the wheel-shaped feature and the non-wheel-shaped feature from the image output by the camera unit, calculating the average brightness value of the detected wheel-shaped feature and the average brightness value of the non-wheel-shaped feature, respectively, and calculating the average brightness of the calculated wheel-shaped feature A side vehicle detection unit recognizing another vehicle based on the value and the average brightness value of the non-wheel-shaped feature;
Another vehicle area estimator for estimating the existence area of the other vehicle in consideration of the detected wheel shape characteristics of the other vehicle; And
And a warning signal output unit configured to output a warning signal when the vehicle enters the other vehicle presence area.
상기 측면 차량 검출부는,
상기 바퀴 모양 특징의 평균 밝기 값과 비 바퀴 모양 특징의 평균 밝기 값의 차이가 임계치를 초과하면, 상기 차량의 일 측방에 타 차량이 있는 것으로 인식하는 것을 특징으로 하는 차량 안전 주행 장치.The method according to claim 1,
The side vehicle detection unit,
When the difference between the average brightness value of the wheel-shaped feature and the average brightness value of the non-wheel-shaped feature exceeds a threshold, a vehicle safety driving device is characterized in that it is recognized that there is another vehicle on one side of the vehicle.
상기 경고 신호를 수신하고, 운전자에게 위험을 알리는 경고부;를 더 포함하는 차량 안전 주행 장치.The method according to claim 1,
A vehicle safety driving device further comprising a warning unit for receiving the warning signal and notifying a danger to the driver.
상기 차선 검출부는 상기 탑뷰 영상의 그레이스케일 영상에서 좌에서 우 방향으로 탑햇 필터를 적용하고, 최대값을 산출하여 차선 중심점을 검출하는 차량 안전 주행 장치.The method according to claim 1,
The lane detecting unit applies a top hat filter from left to right in a grayscale image of the top view image, calculates a maximum value, and detects a lane center point.
상기 차선 검출부는 상기 중심점을 기준으로 상기 중심점의 좌측 경계 및 상기 중심점의 우측 경계에 대해 최대값을 산출하여 상기 차선 좌측 특징점 및 상기 차선 우측 특징점을 산출하는 차량 안전 주행 장치.The method according to claim 4,
The lane detecting unit calculates a maximum value for a left boundary of the center point and a right boundary of the center point based on the center point to calculate the left feature point of the lane and the right feature point of the lane.
상기 차선 검출부는 상기 차선 좌측 특징점 및 상기 차선 우측 특징점을 기준으로 전 방사 방향으로 탐색하여 선 성분을 추출하는 차량 안전 주행 장치.The method according to claim 5,
The lane detection unit is a vehicle safety driving device that extracts a line component by searching in a radial direction based on the left feature point of the lane and the right feature point of the lane.
상기 타 차량 영역 추정부는 상기 타 차량의 상기 바퀴 모양 특징의 위치를 기준으로 설정된 장방형을 상기 타 차량 존재 영역으로 추정하는 차량 안전 주행 장치.The method according to claim 1,
The other vehicle area estimator estimates a rectangle set based on the position of the wheel-like feature of the other vehicle as the other vehicle existence area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200069306A KR102270678B1 (en) | 2015-01-13 | 2020-06-08 | Apparatus for safety-driving of vehicle |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150006393A KR102270677B1 (en) | 2015-01-13 | 2015-01-13 | Apparatus for safety-driving of vehicle |
KR1020200069306A KR102270678B1 (en) | 2015-01-13 | 2020-06-08 | Apparatus for safety-driving of vehicle |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150006393A Division KR102270677B1 (en) | 2015-01-13 | 2015-01-13 | Apparatus for safety-driving of vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200069280A true KR20200069280A (en) | 2020-06-16 |
KR102270678B1 KR102270678B1 (en) | 2021-06-29 |
Family
ID=71141949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200069306A KR102270678B1 (en) | 2015-01-13 | 2020-06-08 | Apparatus for safety-driving of vehicle |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102270678B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120077309A (en) * | 2010-12-30 | 2012-07-10 | 주식회사 와이즈오토모티브 | Apparatus and method for displaying rear image of vehicle |
JP2012527681A (en) * | 2009-05-19 | 2012-11-08 | イメージネクスト シーオー エルティディ | Lane departure detection method and apparatus using vehicle periphery image |
KR20130045658A (en) * | 2011-10-26 | 2013-05-06 | (주)티디엘 | Vehicle distance detection method and system using vehicle shadow |
KR101288374B1 (en) * | 2012-05-18 | 2013-07-22 | (주)베라시스 | Apparatus and method for setting traffic lane for single lane street |
JP2013174998A (en) * | 2012-02-24 | 2013-09-05 | Nissan Motor Co Ltd | Vehicle detection device and vehicle detection method |
-
2020
- 2020-06-08 KR KR1020200069306A patent/KR102270678B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012527681A (en) * | 2009-05-19 | 2012-11-08 | イメージネクスト シーオー エルティディ | Lane departure detection method and apparatus using vehicle periphery image |
KR20120077309A (en) * | 2010-12-30 | 2012-07-10 | 주식회사 와이즈오토모티브 | Apparatus and method for displaying rear image of vehicle |
KR20130045658A (en) * | 2011-10-26 | 2013-05-06 | (주)티디엘 | Vehicle distance detection method and system using vehicle shadow |
JP2013174998A (en) * | 2012-02-24 | 2013-09-05 | Nissan Motor Co Ltd | Vehicle detection device and vehicle detection method |
KR101288374B1 (en) * | 2012-05-18 | 2013-07-22 | (주)베라시스 | Apparatus and method for setting traffic lane for single lane street |
Also Published As
Publication number | Publication date |
---|---|
KR102270678B1 (en) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102270677B1 (en) | Apparatus for safety-driving of vehicle | |
KR101362324B1 (en) | System and Method for Lane Departure Warning | |
CN106485233B (en) | Method and device for detecting travelable area and electronic equipment | |
JP3822515B2 (en) | Obstacle detection device and method | |
US8810653B2 (en) | Vehicle surroundings monitoring apparatus | |
US7436982B2 (en) | Vehicle surroundings monitoring apparatus | |
EP2463843A2 (en) | Method and system for forward collision warning | |
US10192444B2 (en) | Forward collision warning system and method | |
KR20160137247A (en) | Apparatus and method for providing guidance information using crosswalk recognition result | |
US11236991B2 (en) | Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle | |
Lin et al. | Lane departure and front collision warning using a single camera | |
KR101103526B1 (en) | Collision Avoidance Method Using Stereo Camera | |
US20090052742A1 (en) | Image processing apparatus and method thereof | |
KR20140076415A (en) | Apparatus and method for providing information of blind spot | |
KR20060021922A (en) | Two camera based obstacle detection method and device | |
KR20140004413A (en) | Apparatus and method for assisting safe driving | |
KR20120086577A (en) | Apparatus And Method Detecting Side Vehicle Using Camera | |
JP2012198857A (en) | Approaching object detector and approaching object detection method | |
US20120056995A1 (en) | Method and Apparatus for Stereo-Based Proximity Warning System for Vehicle Safety | |
US7885430B2 (en) | Automotive environment monitoring device, vehicle with the automotive environment monitoring device, and automotive environment monitoring program | |
JP2014146267A (en) | Pedestrian detection device and driving support device | |
Romdhane et al. | A generic obstacle detection method for collision avoidance | |
JP2011103058A (en) | Erroneous recognition prevention device | |
KR20200069280A (en) | Apparatus for safety-driving of vehicle | |
US9030560B2 (en) | Apparatus for monitoring surroundings of a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |