KR101684020B1 - Apparatus and Method for detecting a vehicle in the blind spot - Google Patents
Apparatus and Method for detecting a vehicle in the blind spot Download PDFInfo
- Publication number
- KR101684020B1 KR101684020B1 KR1020140180597A KR20140180597A KR101684020B1 KR 101684020 B1 KR101684020 B1 KR 101684020B1 KR 1020140180597 A KR1020140180597 A KR 1020140180597A KR 20140180597 A KR20140180597 A KR 20140180597A KR 101684020 B1 KR101684020 B1 KR 101684020B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- extracting
- spas
- image
- sensor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000007500 overflow downdraw method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 231100001261 hazardous Toxicity 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005461 lubrication Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
- B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
- B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/02—Rear-view mirror arrangements
- B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Abstract
본 발명은 후방카메라로부터 특징점을 추출하여 차량 또는 물체의 위치 및 속도를 추출하고, SPAS 센서로부터 측방 및 후방의 차량 또는 물체의 위치를 추출한 다음에 각각의 추출된 차량 또는 물체의 위치의 추정 결과를 융합하여 운전자에게 경고할 수 있는 사각 지대에 있는 차량을 검출하는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 사각 지대에 있는 차량을 검출하는 장치는 자차량의 측방 또는 후방에 위치하는 차량 또는 물체의 위치를 추출하는 후방카메라, 상기 자차량의 측방 또는 후방에 위치하는 상기 차량 또는 물체의 위치를 추출하는 SPAS 센서 및 상기 후방카메라로부터 수신된 상기 차량 또는 물체의 위치와 속도 및 상기 SPAS 센서로부터 수신된 상기 차량 또는 물체의 위치에 관한 결과값 또는 데이터를 융합하고 출력하는 제어부를 포함한다.The present invention extracts a feature point from a rear camera to extract the position and velocity of a vehicle or an object, extracts the position of a vehicle or an object on the side and rear from the SPAS sensor, and then estimates the position of the extracted vehicle or object Provided are an apparatus and method for detecting a vehicle in a blind spot that can be fused to warn the driver.
An apparatus for detecting a vehicle in a dead zone according to an embodiment of the present invention includes a rear camera for extracting a position of a vehicle or an object located on a side or a rear side of the vehicle, Or a SPAS sensor for extracting a position of an object and a control unit for fusing and outputting a result or data relating to the position and velocity of the vehicle or object received from the rear camera and the position of the vehicle or object received from the SPAS sensor .
Description
본 발명은 사각 지대에 있는 차량을 검출하는 장치 및 방법에 관한 것으로, 보다 상세하게는 후방 카메라 및 SPAS 센서를 이용하는 기술에 관한 것이다.The present invention relates to an apparatus and method for detecting a vehicle in a blind spot, and more particularly to a technique using a rear camera and a SPAS sensor.
일반적으로, 자동차(이하, 차량과 혼용함)라 함은 원동기를 사용하여 궤도 또는 가선에 의하지 않고 운전되는 운송기계로서, 그 구성으로는 엔진, 연료공급장치, 동력전달장치, 현가 및 조향장치, 제동장치, 배출장치, 공조장치, 냉각 및 윤활장치 등이 있으며, 주로 승객이나 화물의 운송을 위해 사용되고 있다.Generally, a car (hereinafter, used in combination with a vehicle) is a transportation machine that operates without using a trajectory or a curved line by using a prime mover. Examples of the transportation machine include an engine, a fuel supply device, a power transmission device, Braking devices, exhaust devices, air conditioning devices, cooling and lubrication devices, etc., which are mainly used for the transportation of passengers and cargo.
상기와 같은 차량의 주행 시 가장 중요한 것은 안전주행 및 교통사고의 예방이며, 이를 위해 차량의 자세제어, 차량구성장치들의 기능제어 등을 수행하는 다양한 보조장치 및 안전벨트, 에어백 등의 안전장치가 차량에 장착되어 있다.[0003] In order to prevent a safety driving and a traffic accident, various safety devices such as a seat belt, an airbag, and various auxiliary devices for controlling the posture of the vehicle, Respectively.
특히, 차량의 주행 중 차선 변경 시, 후방으로부터 접근하는 차량에 대한 거리 및 상대속도 등에 대한 인식의 부족으로 인하여 사고를 유발시키게 되는 바, 차량의 후방으로부터 접근하는 다른 차량을 감지하여 알려주는 후측방 경보 장치가 설치되어 있다.In particular, when the lane changes while the vehicle is running, an accident is caused by a lack of awareness of the distance to the vehicle approaching from the rear and the relative speed, etc., An alarm device is installed.
또한, 상기 후측방 경보 장치는 운전자가 사이드 미러를 통해서 관찰이 불가능한 사각지대에서 주행하는 다른 차량을 카메라로 촬영하고, 이를 영상인식 알고리즘을 통해 분석하여 차량을 감지하며, 차선 변경 시 상기와 같은 다른 차량의 존재를 운전자에게 알려주는 것이다.In addition, the rear-side warning device photographs another vehicle traveling in a dead zone where the driver can not observe through the side mirror, analyzes it through an image recognition algorithm to detect the vehicle, And informs the driver of the presence of the vehicle.
본 발명은 후방카메라로부터 특징점을 추출하여 차량 또는 물체의 위치 및 속도를 추출하고, SPAS 센서로부터 측방 및 후방의 차량 또는 물체의 위치를 추출한 다음에 각각의 추출된 차량 또는 물체의 위치의 추정 결과를 융합하여 운전자에게 경고할 수 있는 사각 지대에 있는 차량을 검출하는 장치 및 방법을 제공한다.The present invention extracts a feature point from a rear camera to extract the position and velocity of a vehicle or an object, extracts the position of a vehicle or an object on the side and rear from the SPAS sensor, and then estimates the position of the extracted vehicle or object Provided are an apparatus and method for detecting a vehicle in a blind spot that can be fused to warn the driver.
본 발명의 일실시예에 따른 사각 지대에 있는 차량을 검출하는 장치는 자차량의 측방 또는 후방에 위치하는 차량 또는 물체의 위치를 추출하는 후방카메라, 상기 자차량의 측방 또는 후방에 위치하는 상기 차량 또는 물체의 위치를 추출하는 SPAS 센서 및 상기 후방카메라로부터 수신된 상기 차량 또는 물체의 위치와 속도 및 상기 SPAS 센서로부터 수신된 상기 차량 또는 물체의 위치에 관한 결과값 또는 데이터를 융합하고 출력하는 제어부를 포함한다.An apparatus for detecting a vehicle in a dead zone according to an embodiment of the present invention includes a rear camera for extracting a position of a vehicle or an object located on a side or a rear side of the vehicle, Or a SPAS sensor for extracting a position of an object and a control unit for fusing and outputting a result or data relating to the position and velocity of the vehicle or object received from the rear camera and the position of the vehicle or object received from the SPAS sensor .
아울러, 본 발명의 일실시예에 따른 사각 지대에 있는 차량을 검출하는 방법은 후방카메라가 자차량의 측방 또는 후방에 위치하는 차량 또는 물체의 위치를 추출하는 단계, SPAS 센서가 상기 자차량의 측방 또는 후방에 위치하는 상기 차량 또는 물체의 위치를 추출하는 단계 및 제어부가 상기 후방카메라로부터 수신된 상기 차량 또는 물체의 위치와 속도 및 상기 SPAS 센서로부터 수신된 상기 차량 또는 물체의 위치에 관한 결과값 또는 데이터를 융합하고 출력하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of detecting a vehicle in a blind spot, the method comprising: extracting a position of a vehicle or an object located at a side or rear of the vehicle; Extracting a position of the vehicle or an object positioned rearward and a control unit calculating a position and a velocity of the vehicle or object received from the rear camera and a result of the position or the position of the vehicle or object received from the SPAS sensor, And fusing and outputting the data.
또한, 자차량의 측방 또는 후방에 위치하는 차량 또는 물체의 위치를 추출하는 단계는 영상을 입력 받고, 상기 영상을 변환하는 단계, 변환된 상기 영상에서 상기 차량 또는 물체가 갖는 특징점을 추출하는 단계, 이전의 상기 영상과 현재의 상기 영상 간의 상기 특징점의 변화량을 검출하고, 변화된 상기 특징점을 추출하는 단계, 상기 변화된 특징점을 수직방향으로 프로젝션하고, 상기 수직방향으로 구성된 요소만을 필터링하는 단계, 필터링된 상기 특징점에서 상기 차량 또는 물체의 경계를 추출하는 단계 및 추출된 상기 물체의 경계를 계산하여 상기 차량 또는 물체의 위치를 계산하는 단계를 포함할 수 있다.The step of extracting the position of the vehicle or the object located on the side or rear of the vehicle may include receiving the image and converting the image, extracting the characteristic points of the vehicle or the object from the converted image, Detecting a change amount of the feature point between the previous image and the current image and extracting the changed feature point; projecting the changed feature point in the vertical direction and filtering only the elements configured in the vertical direction; Extracting the boundary of the vehicle or the object at the feature point, and calculating the position of the vehicle or the object by calculating the boundary of the extracted object.
또한, 상기 자차량의 측방 또는 후방에 위치하는 상기 차량 또는 물체의 위치를 추출하는 단계는 상기 자차량의 측방에 구비된 상기 SPAS 센서가 측방 물체를 인식하는 단계, 상기 자차량의 후방에 구비된 SPAS 센서가 후방에 있는 상기 차량 또는 물체를 인식하는 단계 및 상기 자차량의 측방 또는 후방에 있는 상기 차량 또는 물체의 위치를 추출하고 저장하는 단계를 포함할 수 있다.The step of extracting the position of the vehicle or the object located on the side or rear of the child vehicle may include a step of recognizing the lateral object by the SPAS sensor provided on the side of the child vehicle, Recognizing the vehicle or object behind the SPAS sensor, and extracting and storing the position of the vehicle or object on the side or rear of the child vehicle.
또한, 상기 차량 또는 물체의 위치에 관한 결과값 또는 데이터를 융합하는 단계는 투표기반 융합방법(Fusion Method based on voting) 또는 확률기반 융합방법(Fusion Method based on Probabilistic)을 이용하여 상기 결과값 또는 데이터를 융합할 수 있다.In addition, the step of fusing the result value or the data regarding the position of the vehicle or the object may be performed by using the Fusion Method based on voting method or the Fusion Method based on Probabilistic method, Can be fused.
또한, 상기 차량 또는 물체의 위치에 관한 결과값 또는 데이터를 출력하는 단계는 HMI(Human Machine Interface)를 이용하여 출력할 수 있다.In addition, the step of outputting the result value or the data regarding the position of the vehicle or the object may be output using the HMI (Human Machine Interface).
본 기술은 운전자에게 후방카메라 및 SPAS 센서의 융합적인 추정 결과를 제공함으로써 차량의 측방 및 후방의 경고 시스템의 성능이 개선되고, 주행 또는 주차 시 운전자에게 경보를 함으로써 안전성 향상을 도모할 수 있다. This technology improves the performance of the warning system on the side and rear of the vehicle by providing the driver with a result of the fusion of the rear camera and the SPAS sensor, and can improve the safety by warning the driver when driving or parking.
아울러, 본 기술은 후방카메라 및 SPAS 센서를 이용함으로써 차량에 최소 비용을 들여 사각지대에 있는 차량 또는 물체를 검출하여 운전자에게 알릴 수 있는 경보 시스템을 구축할 수 있다. In addition, the present technology can build an alarm system that detects a vehicle or object in a dead zone by using a rear camera and a SPAS sensor to inform a driver of the vehicle at a minimum cost.
도 1은 본 발명의 일실시예에 따른 사각 지대에 있는 차량 또는 물체를 검출하는 장치에 관한 구성을 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따라 후방카메라를 이용하여 측방 또는 후방의 차량 또는 물체를 인식하여 차량 또는 물체의 위치를 추출하는 방법을 설명하는 도면이다.
도 3은 본 발명의 일실시예에 따라 SPAS 센서를 이용한 자차량의 측방 또는 후방에 있는 가드레일 또는 타차량을 검출하는 방법을 설명하는 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a view for explaining a configuration of an apparatus for detecting a vehicle or an object in a blind spot according to an embodiment of the present invention; Fig.
2 is a view for explaining a method of extracting the position of a vehicle or an object by recognizing a vehicle or an object on a side or a rear side using a rear camera according to an embodiment of the present invention.
3 is a view for explaining a method of detecting a guard rail or another vehicle on the side or rear of a vehicle using a SPAS sensor according to an embodiment of the present invention.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, It can be easily carried out. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 사각 지대에 있는 차량 또는 물체를 검출하는 장치에 관한 구성을 설명하는 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a view for explaining a configuration of an apparatus for detecting a vehicle or an object in a blind spot according to an embodiment of the present invention; Fig.
도 1을 참조하면, 사각 지대에 있는 차량을 검출하는 장치는 후방카메라(100), SPAS(Smart Parking Assist System) 센서(200) 및 제어부(300)를 포함한다. Referring to FIG. 1, an apparatus for detecting a vehicle in a blind spot includes a
후방카메라(100)는 외부 영상을 입력(S110) 받고, 외부 영상에서 특징점 추출이 가능하도록 외부 영상을 변환(S120)한다.The
그리고, 변환된 영상에서 차량 또는 물체가 갖는 특징점을 추출(S130)한 다음에 그 특징점을 이용하여 차량 또는 물체의 위치 및 속도를 추출한다(S140). 여기서, 차량 또는 물체의 속도는 차량의 속도 센서 또는 속도 제어기 등을 이용한 일반적인 방법으로 추출 가능하다.Then, the minutiae points of the vehicle or the object are extracted from the converted image (S130), and then the position and the speed of the vehicle or the object are extracted using the minutiae (S140). Here, the speed of a vehicle or an object can be extracted by a general method using a speed sensor or a speed controller of the vehicle.
SPAS 센서(200)는 초음파 센서로서 차량 내 다수 개로 구비되며, 차량의 측방 및 후방에 다수 개로 설치될 수 있다. 이러한 측방에 구비된 SPAS 센서(200)는 측방 차량 또는 물체를 인식(S210)하고, 후방 또는 후측방에 구비된 SPAS 센서(200)는 후방 또는 후측방에 있는 차량 또는 물체를 인식(S220)한다. 인식된 각각의 SPAS 센서(200)는 측방, 후방 또는 후측방 차량 또는 물체의 위치를 추출(S230, S240)하고, 각각의 차량 또는 물체의 위치를 저장한다(S250). The
제어부(300)는 후방카메라(100)로부터 수신된 차량 또는 물체의 위치와 속도 및 SPAS 센서(200)로부터 수신된 차량 또는 물체의 위치에 관한 결과값 또는 데이터를 융합(S310)하여 사각 지대에 있는 차량 또는 물체를 최종 인식(최종 검출)하여 자차량에 HMI(Human Machine Interface)로 출력(S320)하거나 경고할 수 있다.The
제어부(300)는 사각 지대에 있는 차량 또는 물체를 최종 검출하기 위하여 후방카메라(100)로부터 수신된 차량 또는 물체의 위치와 속도 및 SPAS 센서(200)로부터 수신된 물체의 위치에 관한 결과값 또는 데이터를 융합(S310)하는 방법은 투표기반 융합방법(Fusion Method based on voting)과 확률기반 융합방법(Fusion Method based on Probabilistic)을 포함할 수 있다.The
투표기반 융합방법을 이용한 차량 또는 물체를 검출하는 검출기는 각각의 센서에 대하여 검출결과 vi (i=1~k, k: 센서(측방 초음파, 후측방 초음파, 후방카메라)의 인덱스)는 -1(검출/비위험), 0(보류/미검출), 1(검출/위험)과 검출기의 성능에 따른 가중치(wi)를 가질 수 있다. 여기서, V는 투표결과로서 전체 센서에 대하여
투표결과 V값은 범위에 따라 V<Cn: 비위험, Cn ≤V<Cp: 결정 유지, V≥Cp: 위험으로 최종 경고신호를 생성할 수 있다.The V-values are V <C n : non-hazardous, C n ≤V <C p: determining maintenance, V≥C p: may generate a warning signal to a final risk.
아울러, 확률기반 융합방법에 따른 최종확률은 다음과 같다.In addition, the final probability according to probability based fusion method is as follows.
여기서, Sn은 n번째 프레임에서의 센서(영상검출결과 또는 초음파 결과)이며, Si ,n는 i 센서(i=1~k, k: 센서(측방 초음파, 후측방 초음파, 후방카메라)의 인덱스)의 인식 결과이다. Vn은 n프레임에서의 경고 여부를 나타내고, V0 :n-1은 0프레임에서 n-1프레임까지의 경고 결과들이며, Xn은 차량의 위치 및 속도이다. c는 정규화상수
도 2는 본 발명의 일실시예에 따라 후방카메라를 이용하여 측방 또는 후방의 차량 또는 물체를 인식하여 차량 또는 물체의 위치를 추출하는 방법을 설명하는 도면이다.2 is a view for explaining a method of extracting the position of a vehicle or an object by recognizing a vehicle or an object on a side or a rear side using a rear camera according to an embodiment of the present invention.
도 2를 참조하면, 후방카메라를 이용하여 측방 또는 후방의 차량 또는 물체를 인식하는 방법은 하기와 같다.Referring to FIG. 2, a method of recognizing a vehicle or an object on a side or a rear side using a rear camera is as follows.
먼저, 후방카메라로부터 영상을 입력(a)을 받아 영상변환기에서 영상 변환(b)을 실시한다. 이때, 입력된 영상은 후방카메라가 찍은 원영상으로서, 일반적인 영상이고, 변환된 영상은 탑 뷰(Top View) 영상일 수 있다.First, the image is input from the rear camera (a) and the image converter performs image conversion (b). At this time, the input image is an original image taken by the rear camera, and the converted image may be a top view image.
다음으로, 변환된 영상에서 차량 또는 물체가 갖는 특징점을 추출한다. 여기서, 특징점은 단일 특징점을 활용할 수도 있고, 복수의 특징점을 활용할 수도 있다. Next, the feature points of the vehicle or the object are extracted from the converted image. Here, the minutiae points may utilize a single minutiae point or a plurality of minutiae points.
아울러, 특징점은 변환된 영상에서 픽셀(fixel)의 차이를 나타내거나, 색(color) 또는 밝기(lightness)의 차이점을 포함할 수 있다.In addition, feature points may represent differences in fixtures in the transformed image, or may include differences in color or lightness.
다음에는, 이전 영상(이전 프레임)과 현재의 영상(현재의 프레임) 간의 특징점의 변화량을 측정 또는 검출(c)하고, 변화된 특징점을 추출(d)한다.Next, the amount of change of the feature point between the previous image (previous frame) and the current image (current frame) is measured or detected (c), and the changed feature points are extracted (d).
여기서, 변환된 영상에서 검정색은 특징점이 검출되지 않은 경우이고, 노란색은 이전 영상 또는 현재 영상에서 특징점이 동시에 검출된 경우이며, 적색 및 녹색은 이전 영상 또는 현재 영상 중 하나의 영상에서만 특징점이 검출된 경우일 수 있다. In the converted image, black is a case where no feature point is detected, yellow is a case where feature points are simultaneously detected in a previous image or a current image, and red and green are feature points detected in only one image of a previous image or a current image .
다음으로, 변화된 특징점을 수직방향으로 프로젝션(e, projection)하고, 수직 방향의 요소만을 필터링(f)한다. 여기서, 변화된 특징점을 수직방향으로 프로젝션한다는 의미는 변화된 특징점을 수직방향으로 배열 또는 정렬하는 의미와 같다.Next, the transformed feature points are projected in the vertical direction (e), and only the elements in the vertical direction are filtered (f). Here, the projection of the changed feature points in the vertical direction is the same as the meaning of arranging or aligning the changed feature points in the vertical direction.
다음에는, 필터링된 특징점에 컨백스 훌 추출(Convex Hull Extration)방법을 이용하여 차량 또는 물체의 경계를 추출(g)한다. 여기서, 컨백스 훌 추출(Convex Hull Extration)은 2차원 평면에서 주어진 점 또는 특징점들을 모두 포함하는 최소 크기의 다각형을 의미합니다. 구체적으로, 컨백스 홀 추출 방법은 일반적으로 이용하는 차량 또는 물체의 경계를 추출하는 방법으로서 자세한 설명은 생략한다.Next, the boundaries of the vehicle or the object are extracted (g) using the Convex Hull Extraction method on the filtered minutiae. Here, Convex Hull Extration refers to the minimum size polygon that contains all points or feature points in a two-dimensional plane. Specifically, the method for extracting the boundaries of a vehicle or an object to be used in general is not described in detail.
다음으로, 추출된 물체의 경계를 추정 또는 계산(h)하여 차량 또는 물체의 위치를 추출(i)한다. Next, the boundary of the extracted object is estimated or calculated (h) to extract the position of the vehicle or the object (i).
도 3은 본 발명의 일실시예에 따라 SPAS 센서를 이용한 자차량의 측방 또는 후방에 있는 가드레일 또는 타차량을 검출하는 방법을 설명하는 도면이다.3 is a view for explaining a method of detecting a guard rail or another vehicle on the side or rear of a vehicle using a SPAS sensor according to an embodiment of the present invention.
도 3의 (i)을 참조하면, 차량에 구비된 SPAS 센서를 이용하여 측방에 있는 차량 또는 물체를 검출하되, 측방에 구비된 SPAS 센서(10)는 측방에 있는 차량 또는 물체를(20) 인식한다. 이러한 SPAS 센서(10)는 측방에 있는 가드레일 또는 타차량으로부터 반사파를 수신하여 가드레일 또는 타차량의 위치를 추출한다.3 (i), a vehicle or an object on the side is detected by using a SPAS sensor provided on the vehicle, and the
도 3의 (ii)를 참조하면, 후방 또는 후측방에 구비된 SPAS 센서(10)는 후방 또는 후측방에 있는 타차량 또는 물체(30)를 인식한다. 이러한 SPAS 센서(10)는 후방 또는 후측방에 있는 가드레일 또는 타차량으로부터 반사파를 수신하여 가드레일 또는 타차량의 위치를 추출한다.Referring to FIG. 3 (ii), the
전술한 바와 같이, 본 기술은 운전자에게 후방카메라 및 SPAS 센서의 융합적인 추정 결과를 제공함으로써 차량의 측방 및 후방의 경고 시스템의 성능이 개선되고, 주행 또는 주차 시 운전자에게 경보를 함으로써 안전성 향상을 도모할 수 있다. As described above, the present technology improves the performance of the warning system on the side and rear of the vehicle by providing the driver with a fusion estimation result of the rear camera and the SPAS sensor, and improves safety by warning the driver when driving or parking can do.
아울러, 본 기술은 후방카메라 및 SPAS 센서를 이용함으로써 차량에 최소 비용을 들여 사각지대에 있는 차량 또는 물체를 검출하여 운전자에게 알릴 수 있는 경보 시스템을 구축할 수 있다. In addition, the present technology can build an alarm system that detects a vehicle or object in a dead zone by using a rear camera and a SPAS sensor to inform a driver of the vehicle at a minimum cost.
이상, 본 발명은 비록 한정된 구성과 도면에 의해 설명되었으나, 본 발명의 기술적 사상은 이러한 것에 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해, 본 발명의 기술적 사상과 하기 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형 실시가 가능할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Various modifications and variations may be made without departing from the scope of the appended claims.
Claims (6)
SPAS 센서가 상기 자차량의 측방 또는 후방에 위치하는 상기 차량 또는 물체의 위치를 추출하는 단계; 및
제어부가 상기 후방카메라로부터 수신된 상기 차량 또는 물체의 위치와 속도 및 상기 SPAS 센서로부터 수신된 상기 차량 또는 물체의 위치에 관한 결과값 또는 데이터를 융합하고 HMI(Human Machine Interface)를 이용하여 출력하는 단계
를 포함하는 것을 특징으로 하는 사각 지대에 있는 차량을 검출하는 방법.Extracting a position of a vehicle or an object whose rear camera is located on the side or rear of the vehicle;
Extracting a position of the vehicle or an object located on the side or rear of the child vehicle; And
The control unit fuses the resultant value or data concerning the position and speed of the vehicle or object received from the rear camera and the position of the vehicle or object received from the SPAS sensor and outputs it using a Human Machine Interface (HMI)
The method comprising the steps < RTI ID = 0.0 > of: < / RTI >
자차량의 측방 또는 후방에 위치하는 차량 또는 물체의 위치를 추출하는 단계는,
영상을 입력받고, 상기 영상을 변환하는 단계;
변환된 상기 영상에서 상기 차량 또는 물체가 갖는 특징점을 추출하는 단계;
이전의 상기 영상과 현재의 상기 영상 간의 상기 특징점의 변화량을 검출하고, 변화된 상기 특징점을 추출하는 단계;
상기 변화된 특징점을 수직방향으로 프로젝션하고, 상기 수직방향으로 구성된 요소만을 필터링하는 단계;
필터링된 상기 특징점에서 상기 차량 또는 물체의 경계를 추출하는 단계; 및
추출된 상기 물체의 경계를 계산하여 상기 차량 또는 물체의 위치를 계산하는 단계
를 포함하는 것을 특징으로 하는 사각 지대에 있는 차량을 검출하는 방법. The method of claim 2,
The step of extracting the position of the vehicle or the object positioned on the side or rear of the subject vehicle,
Receiving an image and converting the image;
Extracting characteristic points of the vehicle or object from the transformed image;
Detecting a change amount of the feature point between the previous image and the current image, and extracting the changed feature point;
Projecting the changed minutiae vertically and filtering only the elements configured in the vertical direction;
Extracting a boundary of the vehicle or object from the filtered feature points; And
Calculating a boundary of the extracted object to calculate a position of the vehicle or an object
The method comprising the steps < RTI ID = 0.0 > of: < / RTI >
상기 자차량의 측방 또는 후방에 위치하는 상기 차량 또는 물체의 위치를 추출하는 단계는,
상기 자차량의 측방에 구비된 상기 SPAS 센서가 측방 물체를 인식하는 단계;
상기 자차량의 후방에 구비된 SPAS 센서가 후방에 있는 상기 차량 또는 물체를 인식하는 단계; 및
상기 자차량의 측방 또는 후방에 있는 상기 차량 또는 물체의 위치를 추출하고 저장하는 단계
를 포함하는 것을 특징으로 하는 사각 지대에 있는 차량을 검출하는 방법. The method of claim 2,
Wherein the step of extracting the position of the vehicle or the object located on the side or rear of the child vehicle comprises:
Recognizing a lateral object by the SPAS sensor provided at a side of the child vehicle;
Recognizing the vehicle or object behind the SPAS sensor provided at the rear of the vehicle; And
Extracting and storing the position of the vehicle or the object on the side or rear of the child vehicle
The method comprising the steps < RTI ID = 0.0 > of: < / RTI >
상기 차량 또는 물체의 위치에 관한 결과값 또는 데이터를 융합하는 단계는,
투표기반 융합방법(Fusion Method based on voting) 또는 확률기반 융합방법(Fusion Method based on Probabilistic)을 이용하여 상기 결과값 또는 데이터를 융합하는 것을 특징으로 하는 사각 지대에 있는 차량을 검출하는 방법.The method of claim 2,
The step of fusing the result value or data relating to the position of the vehicle or the object,
Wherein said method comprises fusing said resultant value or data using a Fusion Method based on voting or a Fusion Method based on Probabilistic method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140180597A KR101684020B1 (en) | 2014-12-15 | 2014-12-15 | Apparatus and Method for detecting a vehicle in the blind spot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140180597A KR101684020B1 (en) | 2014-12-15 | 2014-12-15 | Apparatus and Method for detecting a vehicle in the blind spot |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160072658A KR20160072658A (en) | 2016-06-23 |
| KR101684020B1 true KR101684020B1 (en) | 2016-12-07 |
Family
ID=56353335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140180597A KR101684020B1 (en) | 2014-12-15 | 2014-12-15 | Apparatus and Method for detecting a vehicle in the blind spot |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101684020B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190134920A (en) | 2018-05-15 | 2019-12-05 | 연세대학교 산학협력단 | Apparatus and method for detecting object based on heterogeneous sensor |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020179808A (en) * | 2019-04-26 | 2020-11-05 | トヨタ自動車株式会社 | Vehicle control apparatus |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009188635A (en) | 2008-02-05 | 2009-08-20 | Nissan Motor Co Ltd | Vehicle peripheral image processor and vehicle peripheral condition presenting method |
| KR101316465B1 (en) * | 2012-06-29 | 2013-10-08 | 현대자동차주식회사 | System and method for preventing collision |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101180621B1 (en) * | 2006-07-06 | 2012-09-06 | 포항공과대학교 산학협력단 | Apparatus and method for detecting a vehicle |
| KR20130007243A (en) * | 2011-06-30 | 2013-01-18 | (주)베라시스 | Method and system for warning forward collision using camera |
-
2014
- 2014-12-15 KR KR1020140180597A patent/KR101684020B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009188635A (en) | 2008-02-05 | 2009-08-20 | Nissan Motor Co Ltd | Vehicle peripheral image processor and vehicle peripheral condition presenting method |
| KR101316465B1 (en) * | 2012-06-29 | 2013-10-08 | 현대자동차주식회사 | System and method for preventing collision |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190134920A (en) | 2018-05-15 | 2019-12-05 | 연세대학교 산학협력단 | Apparatus and method for detecting object based on heterogeneous sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160072658A (en) | 2016-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11461595B2 (en) | Image processing apparatus and external environment recognition apparatus | |
| US9731717B2 (en) | Driver assistance apparatus and method for operating the same | |
| US9499171B2 (en) | Driving support apparatus for vehicle | |
| US10032369B2 (en) | Vehicle vision system with traffic monitoring and alert | |
| US9493163B2 (en) | Driving support apparatus for vehicle | |
| US11834038B2 (en) | Methods and systems for providing depth maps with confidence estimates | |
| US8723660B2 (en) | Dual-vision driving safety warning device and method thereof | |
| KR101362324B1 (en) | System and Method for Lane Departure Warning | |
| CN102785661B (en) | Lane departure control system and lane departure control method | |
| KR101276871B1 (en) | Method and apparatus for collision avoidance of vehicle | |
| EP3161507B1 (en) | Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle | |
| US9704047B2 (en) | Moving object recognition apparatus | |
| US20160107643A1 (en) | Object recognition apparatus | |
| US9892644B2 (en) | Vehicle drive assist system | |
| KR102310782B1 (en) | Driver Assistance Apparatus, Vehicle Having The Same and Vehicle Safety system | |
| KR20170040604A (en) | Apparatus and method for collision avoiding using navigation information | |
| US11347233B2 (en) | Vehicle control apparatus, vehicle control system, and image sensor | |
| KR101698781B1 (en) | Driver assistance apparatus and Vehicle including the same | |
| US20160371549A1 (en) | Method and Device for Detecting Objects from Depth-Resolved Image Data | |
| KR20150096924A (en) | System and method for selecting far forward collision vehicle using lane expansion | |
| KR101748646B1 (en) | Apparatus And Method Detecting Side Vehicle Using Camera | |
| JP5077088B2 (en) | Image processing apparatus and image processing method | |
| KR101684020B1 (en) | Apparatus and Method for detecting a vehicle in the blind spot | |
| US20230005249A1 (en) | Information processing apparatus, information processing system, information processing method, and information processing program | |
| KR20160133257A (en) | Avoiding Collision Systemn using Blackbox Rear Camera for vehicle and Method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20191127 Year of fee payment: 4 |