KR20130007243A - Method and system for warning forward collision using camera - Google Patents
Method and system for warning forward collision using camera Download PDFInfo
- Publication number
- KR20130007243A KR20130007243A KR1020110064737A KR20110064737A KR20130007243A KR 20130007243 A KR20130007243 A KR 20130007243A KR 1020110064737 A KR1020110064737 A KR 1020110064737A KR 20110064737 A KR20110064737 A KR 20110064737A KR 20130007243 A KR20130007243 A KR 20130007243A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- lane
- collision
- area
- detecting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000007781 pre-processing Methods 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 차량 카메라를 이용한 전방 충돌 경보 방법 및 시스템에 관한 것으로, 더욱 상세하게는 차선이 표시된 도로를 운전하는 차량의 전방 차량과의 거리를 자동으로 인식하여 위험 여부에 대한 경보를 내리기 위해, 차선 추출 기법, 후보 영역 검출 기법, 차량 검출 기법 및 차량 추적 기법 등을 사용하여 전방 차량과의 충돌 가능 여부를 정확히 인식하는 신뢰성이 제고된 전방 충돌 경보 방법 및 시스템에 관한 것이다.The present invention relates to a front collision warning method and system using a vehicle camera, and more particularly, in order to automatically detect a distance from a front vehicle of a vehicle driving a road marked with a lane and to warn of a danger. The present invention relates to a front collision warning method and system with improved reliability for accurately detecting whether a collision with a front vehicle is possible using an extraction technique, a candidate region detection technique, a vehicle detection technique, and a vehicle tracking technique.
전방 충돌을 경보하기 위해서는 차선, 차량의 검출 방법, 날씨 및 주야에 따른 광량 변화, 차선 중심과 카메라 광학 축 사이의 차이 등 다양한 많은 변수들이 고려되어야 하기 때문에 종래의 전방 충돌 경보 방법에서는 차량을 정확하게 인식하기가 어려웠다. In the conventional collision warning method, the vehicle is accurately recognized because many variables need to be considered, such as lanes, vehicle detection methods, changes in light quantity according to weather and day, and difference between the center of the lane and the camera optical axis. It was hard to do.
종래에는 레이저를 이용하는 방법을 일반적으로 사용하였다. 즉, 운전자에게 편의성을 제공하고 주행 안전성을 향상시키기 위한 ACC (Adaptive Cruise Control)와 FCW (Forward Collision Warning)와 같은 DAS (Driver Assistance System)이 상용화되어 있으며, 또한 복잡한 주행 상황을 고려한 TJA (Traffic Jam Assist)나 전 주행속도(Stop & Go) ACC 개발 등 활발히 연구가 진행되고 있는 실정이다. 이러한 DAS을 위해서는 강인하고 신뢰도 높은 주변 차량 검지 및 장애물 인지가 필수 핵심 요소라 할 수 있다. 현재까지는, ACC나 FCW 시스템의 경우 고속도로 환경에서 날씨에 관계없이 종방향 거리를 측정할 수 있게 하는 레이더를 기반으로 대부분 개발되어 왔다.Conventionally, the method using a laser was generally used. In other words, DAS (Driver Assistance System) such as Adaptive Cruise Control (ACC) and Forward Collision Warning (FCW) are commercially available to provide convenience to drivers and improve driving safety. Research is being actively conducted, such as the development of Assist) and Stop & Go ACC. Robust and reliable detection of nearby vehicles and obstacle recognition are essential elements for this DAS. To date, most ACC or FCW systems have been developed based on radar, which enables the measurement of longitudinal distances regardless of the weather in highway environments.
하지만, 레이더의 경우 센서 자체의 특성으로 인해 전방의 다중 차량이 근접하여 동일한 속도로 주행하는 경우 이를 구분하지 못하며, 레이더 신호의 난반사로 인해 정지된 차량을 인식하지 못하는 등 복잡한 주행 환경에서 성능이 떨어지는 문제점이 있다. 따라서 이러한 단점을 보완하기 위하여 다른 센서와의 융합을 통하여 해결하고자 하는 연구가 진행되고 있는 실정이다. However, due to the characteristics of the sensor itself, radar cannot distinguish when multiple vehicles in front of the vehicle are driving at the same speed, and performance is poor in a complex driving environment, such as failing to recognize a stationary vehicle due to the diffuse reflection of the radar signal. There is a problem. Therefore, in order to make up for the shortcomings, research is being conducted to solve the problem through fusion with other sensors.
이를 해결하기 위한 종래의 카메라를 이용한 전방 충돌 경보 방법 중 에지분포함수(EDF: Edge Distribution Function)에 기초한 전방 충돌 경보 방법은 그림자, 도로 위 글자/표시 등의 도로에서 부정확하다. 또한, 차량 범퍼 하단의 검은 색 영역을 검출하는 종래의 방법은 야간에 제대로 동작하지 않는다는 문제점이 있으므로, 이 방법들 역시 보완이 필요하다.In order to solve this problem, the front collision warning method based on the edge distribution function (EDF) among the front collision warning methods using a camera is inaccurate in roads such as shadows and letters / marks on the roads. In addition, the conventional method for detecting the black area under the vehicle bumper has a problem that it does not work properly at night, these methods also need to be supplemented.
상기한 문제점을 해결하기 위해 본 발명은, 차량 인식과 추적을 통하여 CPU의 부하를 최소화함으로써, 실시간으로 동작해야 하는 전방 충돌 시스템 성능을 최적화는 것을 목적으로 한다.In order to solve the above problems, an object of the present invention is to optimize the performance of the front collision system that must operate in real time by minimizing the CPU load through vehicle recognition and tracking.
또한, 다양한 조도 하에서나 다양한 도로 조건 하에서도 성공적으로 전방 차량을 인식할 수 있도록 하는 전방 충돌 경보 방법 및 시스템을 제공하는 것을 목적으로 한다.In addition, it is an object of the present invention to provide a front collision warning method and system that can successfully recognize the front vehicle under various illumination or under various road conditions.
본 발명의 목적에 의하면, 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 방법에 있어서, (a) 상기 차량 카메라를 이용하여 상기 차량이 진행하고 있는 차선을 검출하는 단계; (b) 상기 단계 (a)에서 검출된 상기 차선 내의 영역에서 객체의 존재 유무를 판단하여, 전방 차량이 존재할 가능성이 있는 후보 영역을 검출하는 단계; (c) 상기 단계 (b)에서 검출된 상기 후보 영역에 존재하는 전방 차량을 인식하는 단계; (d) 상기 단계 (c)에서 인식된 상기 전방 차량의 차량 하단을 검출하여 상기 전방 차량의 특징점을 설정하는 단계; 및 (e) 상기 단계 (d)에서 설정된 상기 특징점을 기설정된 주기로 추적하여, 상기 전방 차량과의 거리 및 상대 속도를 상기 기설정된 주기로 계산하고, 계산된 상기 거리 또는 상기 상대 속도에 따라 전방 충돌 경보 여부를 상기 기설정된 주기로 판단하여 전방 충돌 경보 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 방법을 제공한다.According to an object of the present invention, a method for alarming a front collision of a vehicle using a vehicle camera, the method comprising: (a) detecting a lane that the vehicle is traveling using the vehicle camera; (b) detecting a candidate area in which a vehicle ahead may exist by determining whether an object exists in the area within the lane detected in step (a); (c) recognizing a front vehicle existing in the candidate area detected in step (b); (d) detecting a vehicle lower end of the front vehicle recognized in step (c) and setting a feature point of the front vehicle; And (e) tracking the feature point set in the step (d) at a predetermined period, calculating the distance and the relative speed with the front vehicle at the predetermined period, and forward collision warning according to the calculated distance or the relative speed. It provides a method for warning the front collision of the vehicle using a vehicle camera, characterized in that it comprises the step of determining whether or not at the predetermined period whether the front collision warning process.
또한, 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템에 있어서, 상기 차량 카메라를 이용하여 상기 차량이 진행하고 있는 차선을 검출하는 차선 검출부; 상기 차선 검출부에서 검출된 상기 차선 내의 영역에서 객체의 존재 유무를 판단하여, 전방 차량이 존재할 가능성이 있는 후보 영역을 검출하는 후보 영역 검출부; 상기 후보 영역 검출부에서 검출된 상기 후보 영역에 존재하는 전방 차량을 인식하는 전방 차량 인식부; 상기 전방 차량 인식부에서 인식된 상기 전방 차량의 차량 하단을 검출하여 상기 전방 차량의 특징점을 설정하고, 상기 특징점을 기설정된 주기로 추적하는 차량 추적부; 상기 차량 추적부에서 추적된 상기 특징점을 이용하여 상기 전방 차량과의 거리 및 상대 속도를 상기 기설정된 주기로 계산하는 계산부; 및 상기 계산부에서 계산된 상기 거리 또는 상기 상대 속도에 따라 전방 충돌 경보 여부를 상기 기설정된 주기로 판단하여 전방 충돌 경보 처리를 수행하는 충돌 경보 처리부를 포함하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템을 제공한다.In addition, a system for alerting a front collision of a vehicle using a vehicle camera, the system comprising: a lane detection unit detecting a lane in which the vehicle is traveling using the vehicle camera; A candidate area detector for determining a presence or absence of an object in the area in the lane detected by the lane detection unit, and detecting a candidate area in which a vehicle ahead may exist; A front vehicle recognition unit recognizing a front vehicle existing in the candidate region detected by the candidate region detection unit; A vehicle tracking unit that detects a vehicle lower end of the front vehicle recognized by the front vehicle recognition unit, sets a feature point of the front vehicle, and tracks the feature point at a predetermined period; A calculator configured to calculate a distance and a relative speed with the vehicle in front of the vehicle using the feature points tracked by the vehicle tracker at the predetermined period; And a collision alert processor configured to determine whether the front collision alert is determined based on the distance or the relative speed calculated by the calculator at the predetermined period, and perform a front collision alert process. Provides a system for alerting forward collisions.
본 발명에 의하면, 차량 인식과 추적을 통하여 CPU의 부하를 최소화함으로써, 실시간으로 동작해야 하는 전방 충돌 시스템 성능을 최적화하여 정확한 전방 충돌을 감지할 수 있다는 효과가 있다.According to the present invention, by minimizing the CPU load through the vehicle recognition and tracking, it is possible to optimize the performance of the front collision system that must operate in real time to detect the accurate front collision.
또한, 다양한 조도 하에서나 다양한 도로 조건 하에서도 성공적으로 전방 차량을 인식할 수 있다는 효과가 있다.In addition, there is an effect that it is possible to successfully recognize the vehicle ahead under various illumination and various road conditions.
도 1은 본 발명의 바람직한 실시예에 따른 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템의 전체 구성을 나타낸 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 과정을 나타내는 순서도,
도 3은 검출된 차선 정보의 예를 나타낸 것,
도 4는 검출된 차선을 기준으로 하여 결정된 전처리 영역의 예를 나타낸 것,
도 5는 기본 영역을 전처리 영역으로 하는 예를 나타낸 것,
도 6은 모서리 검출의 예를 나타낸 것,
도 7은 도 6의 영상에서 차선 정보를 제외한 후의 영상의 예를 나타낸 것,
도 8은 도 7의 영상에 수평/수직에 대해서 각각 히스토그램을 적용한 결과의 예를 나타낸 것,
도 9는 도 8의 히스토그램의 분포를 바탕으로 차량이 있을만한 지역에 대한 후보 영역을 결정하는 것에 대한 예를 나타낸 것이다.1 is a block diagram showing the overall configuration of a system for alerting a front collision of a vehicle using a vehicle camera according to a preferred embodiment of the present invention;
2 is a flowchart illustrating a process of alerting a front collision of a vehicle using a vehicle camera according to an exemplary embodiment of the present invention.
3 illustrates an example of detected lane information;
4 shows an example of a pretreatment area determined based on the detected lanes,
5 shows an example in which the basic region is a preprocessing region,
6 shows an example of edge detection,
7 illustrates an example of an image after excluding lane information from the image of FIG. 6,
FIG. 8 illustrates an example of a result of applying a histogram to horizontal and vertical images in the image of FIG. 7,
FIG. 9 illustrates an example of determining a candidate region for a region where a vehicle may be located based on the distribution of the histogram of FIG. 8.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
도 1은 본 발명의 바람직한 실시예에 따른 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템의 전체 구성을 나타낸 블록도이다.1 is a block diagram showing the overall configuration of a system for alerting a front collision of a vehicle using a vehicle camera according to a preferred embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템은 차량용 카메라(100), 차선 검출부(110), 후보 영역 검출부(120), 전방 차량 인식부(130), 차량 추적부(140), 계산부(150) 및 충돌 경보 처리부(160) 등을 포함할 수 있다.As shown in FIG. 1, a system for warning a front collision of a vehicle using a vehicle camera according to an exemplary embodiment of the present invention includes a
본 발명의 바람직한 실시예에 따른 차선 검출부(110)는 차량 카메라(100)를 이용하여 차량이 진행하고 있는 차선을 검출한다. 한편, 본 발명의 바람직한 실시예에 따른 차선 검출부(110)는 차량 카메라(100)를 이용하여 직접 차선 정보를 검출할 수도 있고, 또는 차선 이탈 경보 시스템 등과 연동하여 차선 정보를 검출할 수도 있다.The
본 발명의 바람직한 실시예에 따른 후보 영역 검출부(120)는 차선 검출부(110)에서 검출된 차선 내의 영역에서 객체의 존재 유무를 판단하여, 전방 차량이 존재할 가능성이 있는 후보 영역을 검출한다. The candidate area detector 120 according to an exemplary embodiment of the present invention detects the presence of an object in the area in the lane detected by the
이를 위한 일실시예로, 후보 영역 검출부(120)는 차선 검출부(110)에서 차선이 검출되면 검출된 상기 차선 내의 영역을 전처리 영역으로 설정하고, 만약 차선 검출부(110)에서 차선이 검출되지 않으면 기설정된 기본 영역을 전처리 대상 영역으로 설정한 후, 상기 전처리 대상 영역에 대하여 도로면 위에 존재하는 객체를 구분하여 처리하기 위한 영상 전처리를 실시하고, 상기 영상 전처리 결과 생성된 영상을 이용하여 전방 차량이 존재할 가능성이 있는 후보 영역을 검출한다.In one embodiment, the candidate region detector 120 sets the detected area within the lane as a preprocessing area when the
여기서, 상기 기본 영역은 차량 카메라(100)를 통해 획득된 영상의 중앙부로 할 수 있고, 상기 영상 전처리는, 모서리 검출 기법을 이용하여 상기 전처리 대상 영역에 존재하는 상기 객체를 식별하고 식별된 객체 중 상기 차선 검출부에서 검출된 상기 차선을 제외하는 방식의 영상 전처리로 하는 것이 바람직하다. 이에 대한 구체적인 예시는 후술하기로 한다.Here, the basic region may be a central portion of an image acquired through the
또한, 후보 영역 검출부(120)에서의 후보 영역 검출은 차선 검출부(110)에서 검출된 차선 내의 영역의 영상에 대해서 히스토그램을 적용함으로써 히스토그램의 분포를 통해 후보 영역을 검출한다. 여기서, 만약 차선 내에 객체가 존재하지 않아 상기 후보 영역이 검출되지 않으면 전방 차량이 존재하지 않는 것으로 간주하고, 차선 검출부(110)로 신호를 보내 차선 검출부터 다시 시작하게 된다.In the candidate area detection by the candidate area detection unit 120, the candidate area is detected through the distribution of the histogram by applying the histogram to the image of the area in the lane detected by the
본 발명의 바람직한 실시예에 따른 전방 차량 인식부(130)는 상기 후보 영역 검출부(120)에서 검출된 상기 후보 영역에 존재하는 전방 차량을 인식하는 기능을 한다. 이때, 전방 차량의 인식은 전방 차량의 윤곽에 따른 모서리, 대칭성 또는 그림자 중 하나 이상을 이용하여 수행한다. 여기서, 만약 전방 차량 인식에 실패하게 되면 전방 차량이 존재하지 않는 것으로 간주하고 차선 검출부(110)로 신호를 보내 차선 검출부터 다시 시작하게 된다.The front
본 발명의 바람직한 실시예에 따른 차량 추적부(140)는 상기 전방 차량 인식부(130)에서 인식된 상기 전방 차량의 차량 하단을 검출하여 상기 전방 차량의 특징점을 설정하고, 상기 특징점을 기설정된 주기로 추적한다. 또한, 상기 차량 추적부(140)에서 추적하는 특징점은 전방 차량의 뒤 범퍼 양끝 또는 뒷바퀴 양끝으로 하는 것이 바람직하다. 여기서 만약 특징점의 추적이 실패하는 경우, 차선 검출부(110)로 신호를 보내 차선 검출부터 다시 시작하게 된다.The
본 발명의 바람직한 실시예에 따른 계산부(150)는 상기 차량 추적부(140)에서 추적된 상기 특징점을 이용하여 상기 전방 차량과의 거리 및 상대 속도를 상기 기설정된 주기로 계산한다.The calculation unit 150 according to a preferred embodiment of the present invention calculates the distance and the relative speed with the front vehicle by the predetermined period using the feature point tracked by the
본 발명의 바람직한 실시예에 따른 충돌 경보 처리부(160)는 상기 계산부(150)에서 계산된 전방 차량과의 거리 또는 상대 속도에 따라 전방 충돌 경보 여부를 상기 기설정된 주기로 판단하여 전방 충돌 경보 처리를 수행한다. The collision warning processing unit 160 according to the preferred embodiment of the present invention determines whether the front collision warning is based on the distance or the relative speed with the front vehicle calculated by the calculation unit 150 to perform the front collision warning processing. Perform.
상기 충돌 경보 처리부(160)에서는, 상기 거리가 기설정된 거리 이하인 경우에 전방 충돌 경보를 발생시킬 수 있다. 또는, 계산부(150)에서 계산된 상기 상대 속도를 이용하여 상기 전방 차량과의 추돌 예상 시간을 산출하고, 추돌 예상 시간이 기설정된 시간 이하인 경우에 전방 충돌 경보를 발생시킬 수 있다. 여기서, 추돌 예상 시간은 상대 속도 및 전방 차량과의 거리를 이용하여 산출할 수 있는데, 이에 대한 예시는 후술하기로 한다. The collision alert processor 160 may generate a front collision alert when the distance is less than or equal to a predetermined distance. Alternatively, the predicted collision time with the front vehicle may be calculated using the relative speed calculated by the calculator 150, and the front collision warning may be generated when the estimated collision time is less than or equal to a preset time. Here, the estimated collision time can be calculated using the relative speed and the distance to the vehicle ahead, an example thereof will be described later.
도 2는 본 발명의 바람직한 실시예에 따른 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 과정을 나타내는 순서도이다.2 is a flowchart illustrating a process of alerting a front collision of a vehicle using a vehicle camera according to a preferred embodiment of the present invention.
전방 차량을 검출하기 위해서는 우선 차량이 진행하고 있는 차선의 정보를 미리 알고 있는 것이 중요하므로, 본 발명의 바람직한 실시예에 따른 차선 검출부(110)에서는 차량 카메라(100)를 이용하여 차선을 검출한다(S200). 전술한 바와 같이, 차선의 검출은 차선 이탈 경보 시스템 등과 연동하여 차선 정보를 검출할 수도 있고, 또는 직접 차선 정보를 검출할 수 있는데, 주행하고 있는 차선을 알 수 있기만 하면 어떤 방법이라도 관계없다. 전방 차량은 주행하고 있는 차선 내의 영상에 있을 확률이 대단히 높으므로, 그 영상 내에서 전방 차량을 검출하는 것이 바람직하다. 도 3은 검출된 차선 정보의 예를 보인 것이며, 도 3을 참조하면 전방 차량은 검출된 차선 내에 있는 것을 확인할 수 있다.In order to detect a vehicle ahead, it is important to know in advance the information of the lane in which the vehicle is traveling. Therefore, the
다음으로, 본 발명의 바람직한 실시예에 따른 차선 검출부(110)에서 차선을 검출했는지 여부를 판단한다(S202). 도 3에서와 같이 차선이 분명하게 확인될 때에는 차선 정보를 분석할 수 있으므로 다음 단계인 전처리 영역 결정 단계(S204)로 진행할 수 있다. 그러나 차선이 심하게 훼손되거나 없는 경우에는 차선 정보를 확인할 수 없으므로, 이 경우에는 기본 영역을 전처리 영역으로 결정하는 단계(S206)를 수행하면 된다.Next, it is determined whether the
우선, 차선이 검출된 경우에는(S204), 후보 영역 검출부(120)에서는 검출된 차선을 기준으로 양쪽 차선 내의 영역을 기본적인 전처리 영역으로 결정한다. 도 4는 검출된 차선을 기준으로 하여 결정된 전처리 영역의 예를 나타낸다.First, when a lane is detected (S204), the candidate area detection unit 120 determines an area in both lanes as the basic preprocessing area based on the detected lane. 4 shows an example of a pretreatment area determined based on the detected lanes.
한편, 차선이 검출되지 않은 경우에는(S206), 영상의 정중앙부를 전처리 영역으로 간주하여 처리하도록 할 수 있다. 도 5는 이에 대한 예시를 나타낸다.On the other hand, if a lane is not detected (S206), the center portion of the image may be regarded as a preprocessing area to be processed. 5 shows an example thereof.
다음으로, 단계 S204 또는 S206에서 결정된 전처리 대상 영역에 대해서, 후보 영역 검출부(120)에서는 차량의 존재 여부 및 검출을 위하여 영상 전처리를 수행한다(S208). 여기서 전처리는, 도로면 위에 도로 이외의 타 객체가 있는지를 판단하는 것을 목적으로 한다. 보통 도로면은 회색 계열의 단색이기 때문에 도로면 위의 타객체를 구분하기 위해서는 모서리 검출 기법(Edge Detection)을 이용할 수 있다. 모서리 검출을 하게 되면 도 6과 같이 차선과 차선 내의 차량 혹은 도로면 위의 글씨/표식이 검출되게 된다. 여기서 차선 정보는 차량 인식에 방해가 되기 때문에 S200에서 검출된 차선 정보를 이용하여 상기 차선을 영상에서 제외하는 것이 성능 향상에 도움이 될 수 있다. 도 7은 도 6의 영상에서 차선 정보를 제외한 후의 영상의 예를 나타낸다. Next, the candidate region detector 120 performs image preprocessing on the preprocessing target region determined in step S204 or S206 for the presence and detection of a vehicle (S208). The preprocessing here is to determine whether there are other objects other than the road on the road surface. Since the road surface is usually a solid gray color, edge detection can be used to distinguish other objects on the road surface. When edge detection is performed, as shown in FIG. 6, letters / markings on the lane and the vehicle or the road surface are detected. Since lane information interferes with vehicle recognition, it may be helpful to improve performance by excluding the lane from the image using the lane information detected in S200. FIG. 7 illustrates an example of an image after excluding lane information from the image of FIG. 6.
전처리가 완료되면, 후보 영역 검출부(120)에서는 전처리 과정(S208)에서 검출된 영역을 토대로 전방 차량이 있을 만한 곳을 검색하여 후보 영역을 검출한다(S210). 영상에서 후보 영역이 될 수 있는 특정 영역을 찾기 위해 본 발명의 바람직한 실시예에서는 히스토그램(Histogram)을 이용할 수 있다. When the preprocessing is completed, the candidate region detection unit 120 searches for a place where the vehicle ahead is based on the region detected in the preprocessing process S208 and detects the candidate region at step S210. A histogram may be used in a preferred embodiment of the present invention to find a specific area that may be a candidate area in an image.
도 8은 도 7의 영상에 수평/수직에 대해서 각각 히스토그램을 적용한 결과이다. 도 8의 히스토그램을 참조하면, 상하/좌우로 어느 영역쯤에 객체가 존재하는지를 파악할 수 있으므로, 도 8에서 나온 히스토그램의 분포를 보고 전방 차량이 존재할 것으로 보이는 영역에 대해 후보 영역으로 결정한다. 도 9는 도 8의 히스토그램의 분포를 바탕으로 차량이 있을만한 지역에 대한 후보 영역을 결정하는 것에 대한 한 예를 나타낸다.FIG. 8 is a result of applying a histogram to the image of FIG. 7 for horizontal and vertical. Referring to the histogram of FIG. 8, it is possible to determine which region the object exists in up, down, left, and right, so that the candidate region is determined as the candidate region for the region where the front vehicle is expected to be seen based on the distribution of the histogram shown in FIG. 8. FIG. 9 illustrates an example of determining a candidate region for a region where a vehicle may be located based on the distribution of the histogram of FIG. 8.
만약, 전방 차량이 없는 경우(S212: No)에는 히스토그램 처리 결과에 별도의 히스토그램이 생성되지 않거나, 미약하게만 나타나게 된다. 이 경우에는 추적할 전방 차량이 없는 것으로 처리하고(S214), 처음 단계인 단계 S200을 다시 수행하면 된다. If there is no front vehicle (S212: No), a separate histogram is not generated in the histogram processing result or only weakly appears. In this case, it may be assumed that there is no front vehicle to be tracked (S214), and step S200, which is the first step, may be performed again.
단계 S210에서 후보 영역이 결정되면, 전방 차량 인식부(130)에서는 그 영역 내에 차량이 존재하는지 여부를 판단하기 위해 전방 차량을 인식한다(S216). 차량의 존재 여부를 판단하기 위해서는 다양한 방법론을 사용할 수 있다. When the candidate region is determined in step S210, the front
예컨대 카메라를 이용한 전방 차량 검출 연구 방법으로써, 차량의 윤곽에 기인한 에지, 대칭성 또는 그림자를 이용한 방법 등을 이용할 수 있다. 예를 들면, H. Mori와 N. M. Charkari가 제안한 그림자를 이용한 방법은 차량 하단 그림자의 명도 값은 차량 주변의 도로 명도 값보다 항상 어둡다는 이론을 근거로 차량을 검출하는 것이다. 또한, 그림자를 이용한 또 다른 방법으로는 컬러, 엔트로피 또는 에지(edge)-based module 방법 등이 있다. edge-based module 방법은 컬러와 엔트로피 방법에 비해 상대적으로 계산량이 적다는 점에서 도로 영상을 처리하는 데 효율적이라 할 수 있다. 이 방법에서는 도로 영상에서 먼저 도로를 추출함으로써 차량 하단의 그림자를 검출하기 위한 적절한 임계치(Threshold)를 결정하는 방식으로 수행된다. For example, as a method for detecting a front vehicle using a camera, a method using an edge, symmetry, or shadow due to the outline of the vehicle can be used. For example, the method using shadows proposed by H. Mori and N. M. Charkari detects a vehicle based on the theory that the brightness value of the lower shadow of the vehicle is always darker than the road brightness around the vehicle. In addition, other methods using shadows include color, entropy, or edge-based module methods. The edge-based module method is an efficient method for processing road images in that it has a relatively small amount of computation compared to the color and entropy methods. This method is performed by first extracting the road from the road image to determine an appropriate threshold for detecting shadows at the bottom of the vehicle.
본 발명의 바람직한 전방 차량 인식을 수행하기 위해서는, 전술한 방법 중 하나 또는 그 이상을 선택할 수 있으나 이에 한정되지 않으며, 후보 영역 내에서 전방 차량의 존재 여부 및 위치를 판단할 수 있기만 하면 어떠한 방식이라도 관계없다. In order to perform the preferable front vehicle recognition of the present invention, one or more of the above-described methods may be selected, but the present invention is not limited thereto, and any method may be used as long as the presence and position of the front vehicle can be determined within the candidate area. none.
만약, 전방 차량 인식에 실패한 경우(S218: No)에는 추적할 전방 차량이 없는 것으로 처리하고(S214), 처음 단계인 단계 S200을 다시 수행하면 된다. If the front vehicle recognition fails (S218: No), it is assumed that there is no front vehicle to be tracked (S214), and the first step S200 may be performed again.
단계 S216에서 전방 차량을 검출하게 되면, 전방 차량의 움직임을 지속적으로 인식하는 것이 필요하다. 차량 인식을 위한 영상 처리는 입력되는 영상 프레임 단위로 이루어진다. 통상적인 영상은 초당 30fps로 입력되므로, 이를 실시간으로 모두 인식하기에는 무리가 있다. 따라서, 한번 인식한 차량에 대해서는 다음 프레임에서 인식을 처리하는 것이 아니라, 그 차량의 움직임을 추적하는 것으로 하게 되므로, 부하가 줄어들게 된다. When the front vehicle is detected in step S216, it is necessary to continuously recognize the movement of the front vehicle. Image processing for vehicle recognition is performed on an input image frame basis. Since a typical video is input at 30fps per second, it is hard to recognize all of them in real time. Therefore, the vehicle once recognized is not processed in the next frame, but the movement of the vehicle is tracked, thereby reducing the load.
차량의 움직임을 추적하기 위해서는 차량의 특정 위치를 특징점으로 하여, 이 점을 지속적으로 추적하는 것이 바람직하다. 도 9를 참조하면, 본 발명의 바람직한 실시예에서는 차량 추적부(140)에서 이를 위해 차량의 하단을 검출한다(S220). 차량의 움직임을 가장 쉽고 확실하게 하는 위치는 차량의 뒤 범퍼 양쪽 끝쪽, 또는 뒷바퀴 양끝이므로, 주로 주간에는 바퀴 부분을, 야간에는 범퍼 부분을 검출하게 할 수 있다. 이를 검출함으로써 이후 차량 추적 단계의 특징점으로 사용할 수 있다.In order to track the movement of the vehicle, it is desirable to keep track of this point using the specific position of the vehicle as a feature point. 9, in the preferred embodiment of the present invention, the
다음으로, 차량 추적부(140)에서는 S220에서 검출한 전방 차량의 특징점을 지속적으로 추적한다(S222). 이를 위해서는 KLT(Kanade Lukas Tomosi)와 같은 특징 추적 알고리즘을 이용할 수 있다. 즉, 특징점들의 움직임을 추적함으로써 전방 차량의 위치 및 속도를 감지할 수 있게 하는 것이다. 만약, 급격한 환경 변화, 혹은 전방 차량의 차선 변경, 그림자의 변화 등으로 해당 특징점을 추적하지 못하는 경우(S224: No)가 발생하게 되면, 처음 단계인 단계 S200을 다시 수행하면 된다. Next, the
다음으로, 계산부(150)에서는 S222에서 추적한 특징점을 이용하여 전방 차량과의 거리를 계산한다. 즉, S222에서 추적한 특징점은 차량의 하단 부분인 바퀴 혹은 범퍼이기 때문에, 전방 차량과의 거리는 이 특징점까지의 거리로 간주할 수 있다. 거리 측정은 카메라 캘리브레이션 등에 의해서 계산이 가능하다.Next, the calculation unit 150 calculates the distance to the vehicle ahead using the feature points tracked in S222. That is, since the feature point tracked in S222 is a wheel or bumper that is a lower part of the vehicle, the distance to the front vehicle can be regarded as the distance to this feature point. Distance measurement can be calculated by camera calibration or the like.
다음으로, 계산부(150)에서는 S222에서 추적한 특징점을 이용하여 주행 차량과 전방 차량과의 상대속도를 계산한다(S228). 주행 차량과 전방 차량과의 상대속도란 주행 차량의 속도와 전방 차량의 속도 차를 의미하므로, 상대 속도는 현재 운행중인 차의 속도와 상대방 차량 속도와의 상관 관계를 이용하여 계산한다. 여기서 주행 속도는 주행 차량으로부터 속도 신호를 입력받거나 GPS 정보를 이용하여 처리할 수 있으며, 전방 차량의 속도는 영상에서 차량 움직임의 변화량을 이용하여 추정할 수 있다. 영상의 처리 주기는 CPU의 성능 및 개발자의 설정값에 의해서 처리가 가능하며, 최대 초당 30fps, 최소 초당 5fps 로 처리하는 것이 바람직하다. 예컨대, 초당 10fps로 추적한다고 하면, 영상 내에서 추적된 거리를 d라 했을 때, 상대속도 시속 VR = d/(10/60초*60분)의 형태로 계산할 수 있다. Next, the calculation unit 150 calculates the relative speed between the traveling vehicle and the front vehicle by using the feature point tracked in S222 (S228). Since the relative speed between the traveling vehicle and the front vehicle means the difference between the speed of the traveling vehicle and the speed of the front vehicle, the relative speed is calculated using the correlation between the speed of the currently running car and the speed of the other vehicle. Here, the driving speed may be processed by receiving a speed signal from a driving vehicle or by using GPS information, and the speed of the front vehicle may be estimated by using a change amount of vehicle movement in the image. Image processing cycle can be processed by CPU performance and developer's setting value, and it is desirable to process at maximum 30fps and minimum 5fps. For example, if the tracking speed is 10 fps per second, the relative speed per hour V R when the distance tracked in the image is d. = d / (10/60 seconds * 60 minutes).
다음으로, 충돌 경보 처리부(160)에서는 계산부(150)에서 계산된 거리 또는 상대 속도를 이용하여 충돌 경보 처리를 수행한다(S230). Next, the collision alert processor 160 performs a collision alert process using the distance or relative speed calculated by the calculator 150 (S230).
본 발명의 바람직한 실시 예에 다르면, 계산부(150)에서 계산된 상대 속도를 이용하여 TTC(Time-to-Contact)를 계산할 수 있다. 여기서 TTC는 차량 주행속도와 전방 차량과의 거리, 그리고 전방 차량의 속도 정보를 이용하여 전방 차량과의 추돌 예상 시간을 계산하는 방법론 중의 하나이다. 즉, 전방 차량과의 거리를 D, 차량 주행속도를 Vr, 계산부(150)에서 계산된 전방 차량의 속도를 Vf라 하면 추돌 예상 시간은 T = D / (Vr - Vf) 이 된다. 예로 전방 차량과의 거리가 100미터일 경우 차량의 상대속도가 36Km/h(10m/s) 차이가 나면 TTC는 10초이다. 계산된 상대속도에 따라 추돌 예상 시간이 결정되는데, 즉 전방 차량보다 주행 차량의 속도가 같거나 느리면 추돌 예상 시간은 무한대가 되고 전방 차량보다 주행 차량의 속도가 빠를수록 추돌예상시간은 짧아지게 된다.본 발명의 바람직한 실시예에서는 계산된 추돌 예상 시간이 일정 시간(예컨대 1초) 이하가 되면 경보를 할 수 있다.According to a preferred embodiment of the present invention, the time-to-contact (TTC) may be calculated using the relative speed calculated by the calculator 150. Here, TTC is one of the methodologies for calculating the estimated collision time with the front vehicle by using the vehicle driving speed, the distance between the front vehicle, and the speed information of the front vehicle. That is, if the distance to the front vehicle is D, the vehicle traveling speed is Vr, and the speed of the front vehicle calculated by the calculation unit 150 is Vf, the estimated collision time is T = D / (Vr-Vf). For example, if the distance to the front vehicle is 100 meters, the TTC is 10 seconds if the relative speed difference of the vehicle is 36 km / h (10 m / s). The predicted collision time is determined according to the calculated relative speed. That is, when the speed of the traveling vehicle is the same or slower than the vehicle ahead, the collision prediction time becomes infinite, and the faster the collision vehicle is, the shorter the predicted collision time becomes. In a preferred embodiment of the present invention, when the calculated collision prediction time is less than a predetermined time (for example, 1 second), an alarm can be issued.
또는, 계산부(150)에서 계산된 주행 차량과 전방 차량 간의 거리가 일정 거리 거리(예컨대 30m) 이하가 되면 경보를 내리도록 할 수도 있다.Alternatively, an alarm may be issued when the distance between the driving vehicle and the front vehicle calculated by the calculation unit 150 is equal to or less than a predetermined distance distance (for example, 30 m).
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 사상과 범위가 한정되는 것은 아니다. 본 발명의 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. Accordingly, the embodiments disclosed herein are intended to be illustrative rather than limiting, and the spirit and scope of the present invention are not limited by these embodiments. The scope of the present invention should be construed according to the following claims, and all the techniques within the scope of the present invention should be construed as being included in the scope of the present invention.
100: 차량용 카메라 110: 차선 검출부
120: 후보 영역 검출부 130: 전방 차량 인식부
140: 차량 추적부 150: 계산부
160: 충돌 경보 처리부100: vehicle camera 110: lane detection unit
120: candidate area detection unit 130: front vehicle recognition unit
140: vehicle tracking unit 150: calculation unit
160: collision alarm processing unit
Claims (22)
(a) 상기 차량 카메라를 이용하여 상기 차량이 진행하고 있는 차선을 검출하는 단계;
(b) 상기 단계 (a)에서 검출된 상기 차선 내의 영역에서 객체의 존재 유무를 판단하여, 전방 차량이 존재할 가능성이 있는 후보 영역을 검출하는 단계;
(c) 상기 단계 (b)에서 검출된 상기 후보 영역에 존재하는 전방 차량을 인식하는 단계;
(d) 상기 단계 (c)에서 인식된 상기 전방 차량의 차량 하단을 검출하여 상기 전방 차량의 특징점을 설정하는 단계; 및
(e) 상기 단계 (d)에서 설정된 상기 특징점을 기설정된 주기로 추적하여, 상기 전방 차량과의 거리 및 상대 속도를 상기 기설정된 주기로 계산하고, 계산된 상기 거리 또는 상기 상대 속도에 따라 전방 충돌 경보 여부를 상기 기설정된 주기로 판단하여 전방 충돌 경보 처리를 수행하는 단계
를 포함하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 방법.In the method for warning the front collision of the vehicle using the vehicle camera,
(a) detecting a lane in which the vehicle is traveling by using the vehicle camera;
(b) detecting a candidate area in which a vehicle ahead may exist by determining whether an object exists in the area within the lane detected in step (a);
(c) recognizing a front vehicle existing in the candidate area detected in step (b);
(d) detecting a vehicle lower end of the front vehicle recognized in step (c) and setting a feature point of the front vehicle; And
(e) tracking the feature point set in the step (d) at a predetermined period, calculating the distance and the relative speed with the vehicle in front of the predetermined period, and whether or not the front collision alarm is detected according to the calculated distance or the relative speed. Determining the at the predetermined period to perform a forward collision warning process
Alerting a front collision of the vehicle using a vehicle camera comprising a.
상기 단계 (b)는,
(b1) 상기 단계 (a)에서 상기 차선이 검출되면 검출된 상기 차선 내의 영역을 전처리 영역으로 설정하고, 상기 단계 (a)에서 상기 차선이 검출되지 않으면 기설정된 기본 영역을 전처리 대상 영역으로 설정하는 단계;
(b2) 상기 단계 (b1)에서 설정된 상기 전처리 대상 영역에 대하여, 도로면 위에 존재하는 객체를 구분하여 처리하기 위한 영상 전처리를 실시하는 단계; 및
(b3) 상기 단계 (b2)의 영상 전처리 결과 생성된 영상을 이용하여, 전방 차량이 존재할 가능성이 있는 후보 영역을 검출하는 단계
를 포함하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 방법.The method of claim 1,
The step (b)
(b1) setting the area within the detected lane as a preprocessing area when the lane is detected in step (a); step;
(b2) performing image preprocessing to classify and process objects existing on a road surface with respect to the preprocessing target area set in the step (b1); And
(b3) detecting a candidate area in which a vehicle ahead may exist using the image generated as a result of the image preprocessing in step (b2);
Alerting a front collision of the vehicle using a vehicle camera comprising a.
상기 단계 (b)에서 상기 차선 내에 객체가 존재하지 않아 상기 후보 영역이 검출되지 않거나, 상기 단계 (c)에서 상기 전방 차량이 인식되지 않으면, 상기 전방 차량이 존재하지 않는 것으로 간주하고, 상기 (a) 단계부터 재수행하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 방법.The method of claim 1,
If the candidate area is not detected because there is no object in the lane in step (b), or if the front vehicle is not recognized in step (c), the front vehicle is considered not to exist, and the (a Method for alerting the front of the vehicle by using a vehicle camera, characterized in that to perform again from the step).
상기 기본 영역은 상기 차량 카메라를 통해 획득된 영상의 중앙부인 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 방법.The method of claim 2,
And the basic area is a central portion of an image acquired by the vehicle camera.
상기 (b2) 단계는, 모서리 검출 기법을 이용하여 상기 전처리 대상 영역에 존재하는 상기 객체를 식별하고 식별된 객체 중 상기 (a) 단계에서 검출된 상기 차선을 제외하는 방식의 영상 전처리를 실시하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 방법.The method of claim 2,
The step (b2) may include performing image preprocessing by identifying the object existing in the preprocessing target area using an edge detection technique and excluding the lane detected in the step (a) of the identified objects. A method of alerting a front collision of a vehicle using a vehicle camera.
상기 단계 (b)는,
상기 차선 내의 영역의 영상에 대해서 히스토그램을 적용하여, 히스토그램의 분포를 이용하여 상기 후보 영역을 검출하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 방법.The method of claim 1,
The step (b)
And applying the histogram to the image of the area in the lane, and detecting the candidate area by using the histogram distribution.
상기 단계 (c)는,
상기 전방 차량의 윤곽에 따른 모서리, 대칭성 또는 그림자 중 하나 이상을 이용하여 상기 전방 차량을 인식하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 방법.The method of claim 1,
Step (c) is,
And detecting a front collision of the vehicle by using the at least one vehicle camera, wherein the front vehicle is recognized using at least one of a corner, symmetry, or a shadow according to the outline of the front vehicle.
상기 단계 (d)의 특징점은 상기 전방 차량의 뒤 범퍼 양끝 또는 뒷바퀴 양끝인 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 방법.The method of claim 1,
The characteristic point of the step (d) is a method for warning the front collision of the vehicle using a vehicle camera, characterized in that both ends of the rear bumper or the rear wheels of the front vehicle.
상기 단계 (e)에서,
상기 특징점의 추적이 실패하는 경우, 상기 (a) 단계부터 재수행하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 방법.The method of claim 1,
In the step (e)
If the tracking of the feature point fails, the method for alerting the front collision of the vehicle using the vehicle camera, characterized in that to perform again from the step (a).
상기 (e) 단계에서,
상기 거리가 기설정된 거리 이하인 경우에 상기 전방 충돌 경보를 발생시키는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 방법.The method of claim 1,
In the step (e)
And generating a front collision warning when the distance is less than or equal to a predetermined distance.
상기 단계 (e)에서,
계산된 상기 상대 속도를 이용하여 상기 전방 차량과의 추돌 예상 시간을 산출하고, 상기 추돌 예상 시간이 기설정된 시간 이하인 경우에 상기 전방 충돌 경보를 발생시키는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 방법.The method of claim 1,
In the step (e)
The predicted collision time with the front vehicle is calculated using the calculated relative speed, and the front collision warning is generated when the estimated collision time is less than or equal to a preset time. How to alarm for a crash.
상기 추돌 예상 시간은 상기 상대 속도 및 상기 전방 차량과의 거리를 이용하여 산출하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 방법.The method of claim 11,
And predicting the collision time based on the relative speed and the distance to the vehicle in front of the vehicle.
상기 차량 카메라를 이용하여 상기 차량이 진행하고 있는 차선을 검출하는 차선 검출부;
상기 차선 검출부에서 검출된 상기 차선 내의 영역에서 객체의 존재 유무를 판단하여, 전방 차량이 존재할 가능성이 있는 후보 영역을 검출하는 후보 영역 검출부;
상기 후보 영역 검출부에서 검출된 상기 후보 영역에 존재하는 전방 차량을 인식하는 전방 차량 인식부;
상기 전방 차량 인식부에서 인식된 상기 전방 차량의 차량 하단을 검출하여 상기 전방 차량의 특징점을 설정하고, 상기 특징점을 기설정된 주기로 추적하는 차량 추적부;
상기 차량 추적부에서 추적된 상기 특징점을 이용하여 상기 전방 차량과의 거리 및 상대 속도를 상기 기설정된 주기로 계산하는 계산부; 및
상기 계산부에서 계산된 상기 거리 또는 상기 상대 속도에 따라 전방 충돌 경보 여부를 상기 기설정된 주기로 판단하여 전방 충돌 경보 처리를 수행하는 충돌 경보 처리부
를 포함하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템.In the system for warning the front collision of the vehicle using the vehicle camera,
A lane detecting unit detecting a lane in which the vehicle is traveling by using the vehicle camera;
A candidate area detector for determining a presence or absence of an object in the area in the lane detected by the lane detection unit, and detecting a candidate area in which a vehicle ahead may exist;
A front vehicle recognition unit recognizing a front vehicle existing in the candidate region detected by the candidate region detection unit;
A vehicle tracking unit that detects a vehicle lower end of the front vehicle recognized by the front vehicle recognition unit, sets a feature point of the front vehicle, and tracks the feature point at a predetermined period;
A calculator configured to calculate a distance and a relative speed with the vehicle in front of the vehicle using the feature points tracked by the vehicle tracker at the predetermined period; And
A collision alert processor configured to determine whether a front collision alert is determined based on the distance or the relative speed calculated by the calculator at the predetermined period, and perform a front collision alert process.
System for alerting the front collision of the vehicle using a vehicle camera comprising a.
상기 후보 영역 검출부는,
상기 차선 검출부에서 상기 차선이 검출되면 검출된 상기 차선 내의 영역을 전처리 영역으로 설정하고, 상기 차선 검출부에서 상기 차선이 검출되지 않으면 기설정된 기본 영역을 전처리 대상 영역으로 설정하며,
상기 전처리 대상 영역에 대하여, 도로면 위에 존재하는 객체를 구분하여 처리하기 위한 영상 전처리를 실시하고,
상기 영상 전처리 결과 생성된 영상을 이용하여, 전방 차량이 존재할 가능성이 있는 후보 영역을 검출하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템.The method of claim 13,
The candidate region detection unit,
When the lane detection unit detects the lane, the area within the detected lane is set as a preprocessing area, and when the lane detection unit does not detect the lane, the preset basic area is set as a preprocessing target area.
Image preprocessing is performed to classify and process objects existing on a road surface in the preprocessing target area;
And using the image generated as a result of the image preprocessing, detecting a candidate region in which a front vehicle may exist.
상기 기본 영역은 상기 차량 카메라를 통해 획득된 영상의 중앙부인 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템.15. The method of claim 14,
And the base area is a central portion of an image acquired by the vehicle camera.
상기 영상 전처리는, 모서리 검출 기법을 이용하여 상기 전처리 대상 영역에 존재하는 상기 객체를 식별하고 식별된 객체 중 상기 차선 검출부에서 검출된 상기 차선을 제외하는 방식의 영상 전처리인 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템.15. The method of claim 14,
The image preprocessing may be an image preprocessing method of identifying the object existing in the preprocessing target area using an edge detection technique and excluding the lane detected by the lane detecting unit among the identified objects. A system that alerts you of a front collision of a vehicle.
상기 후보 영역 검출부는,
상기 차선 내의 영역의 영상에 대해서 히스토그램을 적용하여, 히스토그램의 분포를 이용하여 상기 후보 영역을 검출하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템.The method of claim 13,
The candidate region detection unit,
And a histogram is applied to the image of the area within the lane to detect the candidate area using a histogram distribution.
상기 전방 차량 인식부는,
상기 전방 차량의 윤곽에 따른 모서리, 대칭성 또는 그림자 중 하나 이상을 이용하여 상기 전방 차량을 인식하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템.The method of claim 13,
The front vehicle recognition unit,
And a vehicle camera to alert the front collision of the vehicle using at least one of a corner, symmetry, or shadow according to the contour of the front vehicle.
상기 차량 추적부에서 추적하는 특징점은 상기 전방 차량의 뒤 범퍼 양끝 또는 뒷바퀴 양끝인 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템.The method of claim 13,
And a feature point tracked by the vehicle tracker is an end of the rear bumper of the front vehicle or both ends of the rear wheel.
상기 충돌 경보 처리부에서는,
상기 거리가 기설정된 거리 이하인 경우에 상기 전방 충돌 경보를 발생시키는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템.The method of claim 13,
In the collision warning processing unit,
And a front collision alarm is generated when the distance is less than or equal to a predetermined distance.
상기 충돌 경보 처리부에서는,
상기 계산부에서 계산된 상기 상대 속도를 이용하여 상기 전방 차량과의 추돌 예상 시간을 산출하고, 상기 추돌 예상 시간이 기설정된 시간 이하인 경우에 상기 전방 충돌 경보를 발생시키는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템.The method of claim 13,
In the collision warning processing unit,
Using the vehicle camera, characterized in that for calculating the estimated collision time with the front vehicle using the relative speed calculated by the calculation unit, and generates the front collision warning when the estimated collision time is less than a predetermined time. To alert the vehicle ahead of the collision.
상기 추돌 예상 시간은 상기 상대 속도 및 상기 전방 차량과의 거리를 이용하여 산출하는 것을 특징으로 하는 차량 카메라를 이용하여 차량의 전방 충돌을 경보하는 시스템.The method of claim 21,
The collision prediction time is calculated by using the relative speed and the distance to the vehicle ahead of the vehicle warning system of the vehicle using a vehicle camera.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110064737A KR20130007243A (en) | 2011-06-30 | 2011-06-30 | Method and system for warning forward collision using camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110064737A KR20130007243A (en) | 2011-06-30 | 2011-06-30 | Method and system for warning forward collision using camera |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20130007243A true KR20130007243A (en) | 2013-01-18 |
Family
ID=47837852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110064737A KR20130007243A (en) | 2011-06-30 | 2011-06-30 | Method and system for warning forward collision using camera |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20130007243A (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101464489B1 (en) * | 2013-05-24 | 2014-11-25 | 모본주식회사 | Method and system for detecting an approaching obstacle based on image recognition |
| KR20140143986A (en) * | 2013-06-10 | 2014-12-18 | 현대모비스 주식회사 | Vehicle Controlling Method and Apparatus therefor |
| KR20150006983A (en) | 2013-07-10 | 2015-01-20 | 에스케이플래닛 주식회사 | Forward vehicle collision warning apparatus and method thereof |
| KR101526743B1 (en) * | 2013-12-17 | 2015-06-05 | 현대자동차주식회사 | Apparatus and method for warning an obstacle in rear and side of vehicle |
| KR101604447B1 (en) | 2015-05-26 | 2016-03-28 | 주식회사 피엘케이 테크놀로지 | Forward collision warning system and method |
| KR20160072658A (en) * | 2014-12-15 | 2016-06-23 | 현대자동차주식회사 | Apparatus and Method for detecting a vehicle in the blind spot |
| WO2016104831A1 (en) * | 2014-12-24 | 2016-06-30 | 전자부품연구원 | Real-time image recognition method in low specification image device |
| KR20160095877A (en) | 2015-02-04 | 2016-08-12 | 한국과학기술원 | Apparatus and method for warning vehicle collision by using mobile data and infra data |
| US9685011B2 (en) | 2013-08-23 | 2017-06-20 | Mando Corporation | Vehicle safety control apparatus and method using cameras |
| US9704062B2 (en) | 2014-08-19 | 2017-07-11 | Hyundai Motor Company | Method and apparatus for warning an obstacle of a vehicle |
| KR20180011976A (en) | 2016-07-26 | 2018-02-05 | 경성대학교 산학협력단 | Method for detecting obstacle around a roller |
| CN107891813A (en) * | 2017-10-31 | 2018-04-10 | 北京新能源汽车股份有限公司 | A kind of control method of vehicle, device and automobile |
| WO2018159989A1 (en) * | 2017-03-03 | 2018-09-07 | 삼성전자 주식회사 | Electronic device and electronic device control method |
| US10124799B2 (en) | 2013-08-12 | 2018-11-13 | Mando Corporation | Vehicle safety control apparatus and method using cameras |
| KR101958605B1 (en) * | 2018-11-30 | 2019-03-14 | 이윤기 | Forward vehicle detection apparatus and method |
| KR20190123357A (en) * | 2018-04-06 | 2019-11-01 | 현대자동차주식회사 | Vehicle and controlling method thereof |
| KR20200087381A (en) * | 2019-01-10 | 2020-07-21 | 이윤기 | Backward vehicle detection apparatus and method |
| KR102510122B1 (en) * | 2021-11-24 | 2023-03-15 | (주)카네비모빌리티 | Vision-based real-time vehicle detection, tracking method for forward collision warning and apparatus therefor |
-
2011
- 2011-06-30 KR KR1020110064737A patent/KR20130007243A/en not_active Application Discontinuation
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101464489B1 (en) * | 2013-05-24 | 2014-11-25 | 모본주식회사 | Method and system for detecting an approaching obstacle based on image recognition |
| KR20140143986A (en) * | 2013-06-10 | 2014-12-18 | 현대모비스 주식회사 | Vehicle Controlling Method and Apparatus therefor |
| KR20150006983A (en) | 2013-07-10 | 2015-01-20 | 에스케이플래닛 주식회사 | Forward vehicle collision warning apparatus and method thereof |
| US10124799B2 (en) | 2013-08-12 | 2018-11-13 | Mando Corporation | Vehicle safety control apparatus and method using cameras |
| US9685011B2 (en) | 2013-08-23 | 2017-06-20 | Mando Corporation | Vehicle safety control apparatus and method using cameras |
| KR101526743B1 (en) * | 2013-12-17 | 2015-06-05 | 현대자동차주식회사 | Apparatus and method for warning an obstacle in rear and side of vehicle |
| US9704062B2 (en) | 2014-08-19 | 2017-07-11 | Hyundai Motor Company | Method and apparatus for warning an obstacle of a vehicle |
| KR20160072658A (en) * | 2014-12-15 | 2016-06-23 | 현대자동차주식회사 | Apparatus and Method for detecting a vehicle in the blind spot |
| WO2016104831A1 (en) * | 2014-12-24 | 2016-06-30 | 전자부품연구원 | Real-time image recognition method in low specification image device |
| KR20160095877A (en) | 2015-02-04 | 2016-08-12 | 한국과학기술원 | Apparatus and method for warning vehicle collision by using mobile data and infra data |
| US10192444B2 (en) | 2015-05-26 | 2019-01-29 | Plk Technologies Co., Ltd. | Forward collision warning system and method |
| CN107750213A (en) * | 2015-05-26 | 2018-03-02 | Plk科技株式会社 | Front vehicles collision warning equipment and alarm method |
| KR101604447B1 (en) | 2015-05-26 | 2016-03-28 | 주식회사 피엘케이 테크놀로지 | Forward collision warning system and method |
| KR20180011976A (en) | 2016-07-26 | 2018-02-05 | 경성대학교 산학협력단 | Method for detecting obstacle around a roller |
| WO2018159989A1 (en) * | 2017-03-03 | 2018-09-07 | 삼성전자 주식회사 | Electronic device and electronic device control method |
| US11170231B2 (en) | 2017-03-03 | 2021-11-09 | Samsung Electronics Co., Ltd. | Electronic device and electronic device control meihod |
| CN107891813A (en) * | 2017-10-31 | 2018-04-10 | 北京新能源汽车股份有限公司 | A kind of control method of vehicle, device and automobile |
| CN107891813B (en) * | 2017-10-31 | 2020-04-24 | 北京新能源汽车股份有限公司 | Vehicle control method and device, automobile and computer readable storage medium |
| KR20190123357A (en) * | 2018-04-06 | 2019-11-01 | 현대자동차주식회사 | Vehicle and controlling method thereof |
| KR101958605B1 (en) * | 2018-11-30 | 2019-03-14 | 이윤기 | Forward vehicle detection apparatus and method |
| KR20200087381A (en) * | 2019-01-10 | 2020-07-21 | 이윤기 | Backward vehicle detection apparatus and method |
| KR102510122B1 (en) * | 2021-11-24 | 2023-03-15 | (주)카네비모빌리티 | Vision-based real-time vehicle detection, tracking method for forward collision warning and apparatus therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20130007243A (en) | Method and system for warning forward collision using camera | |
| US9524643B2 (en) | Orientation sensitive traffic collision warning system | |
| JP7121497B2 (en) | Virtual roadway generation device and method | |
| US10627228B2 (en) | Object detection device | |
| JP5971341B2 (en) | Object detection device and driving support device | |
| US9836657B2 (en) | System and method for periodic lane marker identification and tracking | |
| US11113545B2 (en) | Road detection using traffic sign information | |
| US10032085B2 (en) | Method and system to identify traffic lights by an autonomous vehicle | |
| US9583003B2 (en) | Vehicle danger notification control apparatus | |
| US8040227B2 (en) | Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device | |
| JP5664252B2 (en) | Pedestrian detection device | |
| CN110651313A (en) | Control device and control method | |
| US8994823B2 (en) | Object detection apparatus and storage medium storing object detection program | |
| CN105128836A (en) | Autonomous emergency braking system and method for recognizing pedestrian therein | |
| KR20180080391A (en) | Jaywalking pedestrian accident prevention system using v2x communication | |
| KR20140104954A (en) | Method and device for identifying a braking situation | |
| CN109017776B (en) | Driving assistance system mounted in vehicle | |
| KR20150096924A (en) | System and method for selecting far forward collision vehicle using lane expansion | |
| KR102467223B1 (en) | Apparatus and method for automatic steering control based on vehicles changing lanes | |
| CN113646221A (en) | Behavior prediction method and behavior prediction device for mobile body, and vehicle | |
| KR101628547B1 (en) | Apparatus and Method for Checking of Driving Load | |
| JP2010072947A (en) | Obstacle detection device | |
| JP4762830B2 (en) | Perimeter monitoring system | |
| JP6087240B2 (en) | Vehicle periphery monitoring device | |
| JP2010181246A (en) | Body recognizer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E601 | Decision to refuse application |