KR20200102564A - Apparatus and method for detecting blind spot - Google Patents
Apparatus and method for detecting blind spot Download PDFInfo
- Publication number
- KR20200102564A KR20200102564A KR1020190020335A KR20190020335A KR20200102564A KR 20200102564 A KR20200102564 A KR 20200102564A KR 1020190020335 A KR1020190020335 A KR 1020190020335A KR 20190020335 A KR20190020335 A KR 20190020335A KR 20200102564 A KR20200102564 A KR 20200102564A
- Authority
- KR
- South Korea
- Prior art keywords
- corner
- feature point
- mip map
- obstacle
- tracking
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 139
- 238000003708 edge detection Methods 0.000 claims abstract description 68
- 238000012935 Averaging Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 101100149551 Dictyostelium discoideum fpaA gene Proteins 0.000 description 2
- 101100149554 Dictyostelium discoideum fpaB-2 gene Proteins 0.000 description 2
- 101100156375 Fowlpox virus (strain NVSL) VLTF2 gene Proteins 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/42—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/50—Barriers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 사각 지대 탐색 장치 및 방법에 관한 것으로, 더욱 상세하게는 차량의 사각 지대에 위치한 장애물을 검출하여 경보를 발생하는 사각 지대 탐색 장치 및 방법에 관한 것이다.The present invention relates to a blind spot search apparatus and method, and more particularly, to a blind spot search apparatus and method for generating an alarm by detecting an obstacle located in the blind spot of a vehicle.
일반적으로, 후측방 경보시스템은 차량 주행 중 후측방의 사각 지대에 장애물이 존재하거나 차선 변경 시 사각 지대의 장애물 또는 좌/우측 차선 후방으로부터 고속으로 접근하는 차량에 의해 차선 변경 시 충돌 위험이 있다고 판단될 경우, 운전자에게 경고하여 운전자의 편의성을 향상시켜주는 시스템이다. In general, the rear warning system judges that there is a risk of collision when there is an obstacle in the blind spot in the rear side while the vehicle is driving, an obstacle in the blind spot when a lane is changed, or a vehicle approaching at high speed from the rear of the left/right lane. If so, it is a system that warns the driver and improves the driver's convenience.
후측방 경보시스템은 후측방의 사각 지역에 장애물이 있을 경우에만 경고하여 차량이 많이 존재하는 지역에서 주로 사용되는 BSD(Blind Spot Detection) 장치를 포함하며, BSD 장치는 차량의 후측방의 장애물(근접 차량)을 감지하여 운전자가 이를 인지할 수 있도록 경고를 하거나 안전하게 차선을 변경할 수 있도록 보조한다.The rear side alarm system warns only when there is an obstacle in the blind area of the rear side, and includes a BSD (Blind Spot Detection) device, which is mainly used in areas where there are many vehicles. Vehicle) and warns the driver to recognize it or assists in changing lanes safely.
하지만, 종래의 BSD 장치는 카메라 이미지를 변환하는 과정에서 연산량 및 연산 시간이 증가하는 문제점이 있다.However, the conventional BSD device has a problem that the amount of calculation and the calculation time increase in the process of converting the camera image.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 후방 카메라 이미지에 대한 장애물 검출(Obstacle Detection) 및 에지 검출(Edge Detection)을 통해 사각 지대의 장애물을 검출하도록 한 사각 지대 탐색 장치 및 방법을 제공하는 것을 목적으로 한다.The present invention has been proposed to solve the above-described conventional problem, and a blind spot detection apparatus and method for detecting an obstacle in a blind spot through obstacle detection and edge detection for a rear camera image. It aims to provide.
본 발명은 후방 카메라 이미지를 MIP 맵으로 변환하고, MIP 맵에 대한 장애물 검출 알고리즘을 수행하여 장애물 검출 정확도를 높이면서 연산량 및 연산 시간을 최소화하도록 한 사각 지대 탐색 장치 및 방법을 제공하는 것을 다른 목적으로 한다. Another object of the present invention is to provide an apparatus and method for detecting a blind spot to minimize the amount of computation and computation time while increasing the obstacle detection accuracy by converting a rear camera image into a MIP map and performing an obstacle detection algorithm for the MIP map. do.
상기한 목적을 달성하기 위하여 본 발명의 실시 예에 따른 사각 지대 탐색 장치는 후방 카메라 이미지로부터 장애물을 감지하는 장애물 감지부, 후방 카메라 이미지로부터 에지를 검출하는 에지 검출부, 장애물 감지부의 장애물 검출 결과 및 에지 검출부의 에지 검출 결과를 근거로 사각 지대 내의 장애물 존재 여부를 판단하는 장애물 판단부 및 장애물 판단부에서 장애물 존재로 판단하면 BSD 경고를 발생하는 BSD 알람부를 포함하고, 장애물 감지부는 후방 카메라 이미지를 복수의 MIP 맵으로 변환하고, 특정점의 물리 좌표 기반 트래킹 및 영상 좌표 기반 트래킹을 통해 복수의 MIP 맵에서 검출된 복수의 특징점을 노면상의 특징점 및 장애물의 특징점으로 구분한다.In order to achieve the above object, the blind spot search apparatus according to an embodiment of the present invention includes an obstacle detection unit for detecting an obstacle from a rear camera image, an edge detection unit for detecting an edge from a rear camera image, an obstacle detection result and edge of the obstacle detection unit. The obstacle detection unit includes an obstacle determination unit that determines whether an obstacle exists in the blind spot based on the edge detection result of the detection unit, and a BSD alarm unit that generates a BSD warning when the obstacle determination unit determines that there is an obstacle, and the obstacle detection unit displays a plurality of rear camera images. It converts into a MIP map, and divides a plurality of feature points detected in a plurality of MIP maps into feature points on the road surface and feature points of obstacles through physical coordinate-based tracking of a specific point and image coordinate-based tracking.
장애물 감지부는 후방 카메라 이미지를 이용하여 복수의 MIP 맵을 생성하는 MIP 맵 생성 모듈을 포함하고, MIP 맵 생성 모듈은 후방 카메라 이미지를 제1 MIP 맵으로 생성하고, 제1 MIP 맵을 평균화하여 제2 MIP 맵을 생성하고, 제2 MIP 맵을 평균화하여 제3 MIP 맵을 생성할 수 있다.The obstacle detection unit includes a MIP map generation module that generates a plurality of MIP maps using the rear camera image, and the MIP map generation module generates a rear camera image as a first MIP map, and averages the first MIP map to obtain a second A third MIP map may be generated by generating the MIP map and averaging the second MIP map.
장애물 감지부는 복수의 MIP 맵으로부터 특징점을 검출하는 특징점 검출 모듈을 포함하고, 특징점 검출 모듈은 제1 MIP 맵 내지 제3 MIP 맵에서 각각 코너를 검출하고, 제1 MIP 맵 내지 제3 MIP 맵에서 중복 검출된 코너를 특징점으로 검출할 수 있다. 이때, 특징점 검출 모듈은 제2 MIP 맵에서 코너를 검출하고, 제2 MIP 맵에서 검출한 코너에 대응하는 제3 MIP 맵의 제1 코너 영역에서 코너를 검출하고, 제3 MIP 맵에서 검출한 코너에 대응하는 제1 MIP 맵의 제2 코너 영역에서 검출한 코너를 특징점으로 검출할 수도 있다. 여기서, 제1 코너 영역은 제3 MIP 맵의 일부 영역으로, 제2 MIP 맵에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역이고, 제2 코너 영역은 제1 MIP 맵의 일부 영역으로, 제3 MIP 맵에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역일 수 있다.The obstacle detection unit includes a feature point detection module that detects a feature point from a plurality of MIP maps, and the feature point detection module detects a corner in each of the first MIP map to the third MIP map, and overlaps in the first MIP map to the third MIP map. The detected corner can be detected as a feature point. At this time, the feature point detection module detects a corner in the second MIP map, detects a corner in the first corner region of the third MIP map corresponding to the corner detected in the second MIP map, and detects a corner in the third MIP map. The corner detected in the second corner region of the first MIP map corresponding to may be detected as a feature point. Here, the first corner region is a partial region of the third MIP map, and the region detected as a corner in the second MIP map is enlarged by a set range, and the second corner region is a partial region of the first MIP map, 3 It may be an area in which an area detected as a corner in the MIP map is enlarged by a set range.
장애물 감지부는 물리 좌표를 기반으로 복수의 특징점을 트래킹하는 물리 좌표 기반 추적 모듈을 포함하고, 물리 좌표 기반 추적 모듈은 차량 속도를 근거로 이전 시점의 특징점의 예상 위치를 추정하고, 현재 시점의 후방 카메라 이미지 중 예상 위치의 설정 반경 내에서 특징점이 검출되면 추적 성공으로 판단하고, 추적 성공으로 판단한 특징점을 노면상 특징점으로 설정할 수 있다.The obstacle detection unit includes a physical coordinate-based tracking module that tracks a plurality of feature points based on physical coordinates, and the physical coordinate-based tracking module estimates the predicted position of the feature point at the previous viewpoint based on the vehicle speed, and the rear camera at the current viewpoint If a feature point is detected within a set radius of an expected position in the image, it is determined as tracking success, and the feature point determined as tracking success may be set as a feature point on the road surface.
장애물 감지부는 영상 좌표를 기반으로 물리 좌표 기반 추적 모듈에서 추적에 실패한 특징점을 트래킹하는 영상 좌표 기반 추적 모듈을 더 포함하고, 영상 좌표 기반 추적 모듈은 특징점의 영상 좌표를 근거로 이전 시점의 특징점의 예상 위치를 추정하고, 현재 시점의 후방 카메라 이미지 중 예상 위치의 설정 반경 내에서 특징점이 검출되면 추적 성공으로 판단하고, 추적 성공으로 판단한 특징점을 노면상 장애물로 설정할 수 있다.The obstacle detection unit further includes an image coordinate-based tracking module for tracking a feature point that has failed to be tracked in a physical coordinate-based tracking module based on the image coordinate, and the image coordinate-based tracking module predicts a feature point at a previous viewpoint based on the image coordinates of the feature point. When a location is estimated and a feature point is detected within a set radius of an expected location among the rear camera images at the current viewpoint, it is determined as tracking success, and the feature point determined as tracking success may be set as an obstacle on the road surface.
장애물 감지부는 물리 좌표 기반 추적 및 영상 좌표 기반 추적에 실패한 특징점 중 추적 이력에 추적 성공이 존재하고, 추적 실패가 설정 횟수 이하인 특징점을 추적 실패가 설정 횟수 이상 반복될 때까지 물리 좌표 기반 추적 및 영상 좌표 기반 추적 중 적어도 하나를 반복할 수 있다.The obstacle detection unit detects the feature points in the tracking history among the feature points that have failed physical coordinate-based tracking and image coordinate-based tracking, and the tracking failure is less than the set number of times, until the tracking failure is repeated more than the set number of times, physical coordinate-based tracking and image coordinates. At least one of the base tracking may be repeated.
에지 검출부는 후방 카메라의 왜곡을 반영한 기준선 맵을 근거로 후방 카메라 이미지로부터 에지를 검출할 수 있다.The edge detector may detect an edge from the rear camera image based on the baseline map reflecting the distortion of the rear camera.
장애물 판단부는 장애물 감지부의 장애물 검출 결과 및 에지 검출부의 에지 검출 결과에 가중치를 설정하고, 가중치가 반영된 장애물 검출 결과 및 에지 검출 결과의 합산값이 임계치 이상이면 BSD 경고 발생으로 판단할 수 있다.The obstacle determination unit may set a weight to the obstacle detection result of the obstacle detection unit and the edge detection result of the edge detection unit, and determine that a BSD warning is generated when the sum of the weighted obstacle detection result and edge detection result is greater than or equal to a threshold value.
상기한 목적을 달성하기 위하여 본 발명의 실시 예에 따른 사각 지대 탐색 방법은 차량의 후방 카메라로부터 후방 카메라 이미지를 수집하는 수집 단계, 후방 카메라 이미지로부터 장애물을 검출하는 장애물 검출 단계, 후방 카메라 이미지로부터 에지를 검출하는 에지 검출 단계 및 장애물 검출 단계의 장애물 검출 결과 및 에지 검출 단계의 에지 검출 결과를 근거로 BSD 경고를 발생하는 알림 단계를 포함하고, 장애물 검출 단계는 후방 카메라 이미지를 복수의 MIP 맵으로 변환하는 MIP 변환 단계, 복수의 MIP 맵으로부터 특징점을 검출하는 특징점 검출 단계, 특징점 검출 단계에서 검출한 특징점으로부터 노면상 특징점을 검출하는 물리 좌표 기반 추적 단계 및 물리 좌표 기반 추적 단계에서 추적 실패한 특징점 중에서 장애물의 특징점을 검출하는 영상 좌표 기반 추적 단계를 포함한다.In order to achieve the above object, a blind spot search method according to an embodiment of the present invention includes a collection step of collecting a rear camera image from a rear camera of a vehicle, an obstacle detection step of detecting an obstacle from a rear camera image, and an edge from the rear camera image. And a notification step of generating a BSD warning based on the edge detection step of detecting the edge and the obstacle detection result of the obstacle detection step and the edge detection result of the edge detection step, and the obstacle detection step converts the rear camera image into a plurality of MIP maps. Among the feature points that have failed to be tracked in the MIP conversion step, the feature point detection step of detecting feature points from a plurality of MIP maps, the physical coordinate-based tracking step of detecting feature points on the road surface from the feature points detected in the feature point detection step, and the physical coordinate-based tracking step And an image coordinate-based tracking step of detecting a feature point.
MIP 변환 단계는 후방 카메라 이미지를 제1 MIP 맵으로 생성하는 단계, 제1 MIP 맵을 평균화하여 제2 MIP 맵을 생성하는 단계 및 제2 MIP 맵을 평균화하여 제3 MIP 맵을 생성하는 단계를 포함할 수 있다.The MIP conversion step includes generating a rear camera image as a first MIP map, generating a second MIP map by averaging the first MIP map, and generating a third MIP map by averaging the second MIP map. can do.
특징점 검출 단계는 제1 MIP 맵에서 코너를 검출하는 제1 코너 검출 단계, 제2 MIP 맵에서 코너를 검출하는 제2 코너 검출 단계, 제3 MIP 맵에서 코너를 검출하는 제3 코너 검출 단계 및 제1 코너 검출 단계 내지 제3 코너 검출 단계에서 중복 검출된 코너를 특징점으로 검출하는 단계를 포함할 수 있다.The feature point detection step includes a first corner detection step of detecting a corner from a first MIP map, a second corner detection step of detecting a corner from a second MIP map, a third corner detection step of detecting a corner from a third MIP map, and a third. It may include a step of detecting a corner that is redundantly detected in the first corner detection step to the third corner detection step as a feature point.
이때, 특징점 검출 단계는 제2 MIP 맵에서 코너를 검출하는 제1 코너 검출 단계, 제3 MIP 맵에서 코너를 검출하되, 제2 MIP 맵에서 검출한 코너에 대응하는 제3 MIP 맵의 제1 코너 영역에서 코너를 검출하는 제2 코너 검출 단계, 제1 MIP 맵에서 코너를 검출하되, 제3 MIP 맵에서 검출한 코너에 대응하는 제1 MIP 맵의 제2 코너 영역에서 코너를 검출하는 제3 코너 검출 단계 및 제3 코너 검출 단계에서 검출한 코너를 특징점으로 검출하는 단계를 포함할 수도 있다. 여기서, 제1 코너 영역은 제3 MIP 맵의 일부 영역으로, 제2 MIP 맵에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역이고, 제2 코너 영역은 제1 MIP 맵의 일부 영역으로, 제3 MIP 맵에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역일 수 있다.In this case, the feature point detection step is a first corner detection step of detecting a corner from the second MIP map, a corner from the third MIP map, but a first corner of the third MIP map corresponding to the corner detected from the second MIP map A second corner detection step of detecting a corner in an area, a third corner detecting a corner in the first MIP map, but detecting a corner in a second corner area of the first MIP map corresponding to the corner detected in the third MIP map It may include the step of detecting the corner detected in the detection step and the third corner detection step as a feature point. Here, the first corner region is a partial region of the third MIP map, and the region detected as a corner in the second MIP map is enlarged by a set range, and the second corner region is a partial region of the first MIP map, 3 It may be an area in which an area detected as a corner in the MIP map is enlarged by a set range.
물리 좌표 기반 추적 단계는 차량 속도를 근거로 이전 시점의 후방 카메라 이미지에서 검출한 특징점의 물리 좌표상 예상 위치를 추정하는 단계, 현재 시점의 후방 카메라 이미지에서 특징점을 검출하는 단계 및 물리 좌표상 예상 위치에서 특징점이 검출되면 추적 성공으로 판단하여 특징점을 노면상 특징점으로 설정하는 단계를 포함할 수 있다.The physical coordinate-based tracking step is a step of estimating a predicted position in physical coordinates of a feature point detected from a rear camera image of a previous point of view based on the vehicle speed, detecting a feature point from the rear camera image of the current point of view, and an expected position in physical coordinates. If the feature point is detected, determining that the tracking is successful and setting the feature point as a feature point on the road surface may be included.
영상 좌표 기반 추적 단계는 물리 좌표 기반 추적 단계에서 추적 실패한 특징점의 영상 좌표상 예상 위치를 추정하는 단계, 현재 시점의 후방 카메라 이미지에서 특징점을 검출하는 단계 및 영상 좌표상 예상 위치에서 특징점이 검출되면 추적 성공으로 판단하여 특징점을 노면상 장애물의 특징점으로 설정하는 단계를 포함할 수 있다.The image coordinate-based tracking step is a step of estimating an expected position in image coordinates of a feature point that has failed to be tracked in the physical coordinate-based tracking step, detecting a feature point in the rear camera image of the current viewpoint, and tracking when a feature point is detected in the expected position in image coordinates It may include determining success and setting the feature point as the feature point of an obstacle on the road surface.
장애물 검출 단계에서는 물리 좌표 기반 추적 단계 및 영상 좌표 기반 추적 단계에 추적에 실패한 특징점 중 추적 이력에 추적 성공이 존재하고, 추적 실패가 설정 횟수 이하인 특징점을 추적 실패가 설정 횟수 이상 반복될 때까지 물리 좌표 기반 추적 단계 및 영상 좌표 기반 추적 단계 중 적어도 하나를 반복할 수 있다.In the obstacle detection step, among the feature points that failed to be tracked in the physical coordinate-based tracking step and the image coordinate-based tracking step, tracking success exists in the tracking history, and the tracking failure is less than the set number of times, until the tracking failure is repeated more than the set number of times. At least one of the base tracking step and the image coordinate based tracking step may be repeated.
에지 검출 단계에서는 후방 카메라의 왜곡을 반영한 기준선 맵을 근거로 후방 카메라 이미지로부터 에지를 검출할 수 있다.In the edge detection step, the edge may be detected from the rear camera image based on the baseline map reflecting the distortion of the rear camera.
알림 단계는 장애물 검출 단계의 장애물 검출 결과에 가중치를 곱한 값과 에지 검출 단계에 가중치에 가중치를 곱한 값을 합산한 합산값을 산출하는 단계 및 합산값이 임계값 이상이면 BSD 경고를 발생하는 단계를 포함할 수 있다.The notification step includes calculating a sum value obtained by multiplying the weight multiplied by the weight of the obstacle detection result of the obstacle detection step and the summation of the weight multiplied by the weight of the edge detection step, and generating a BSD warning when the sum is greater than or equal to a threshold value. Can include.
본 발명에 의하면, 사각 지대 탐색 장치 및 방법은 후방 카메라 이미지에 대한 장애물 검출(Obstacle Detection) 결과 및 에지 검출(Edge Detection) 결과에 각각 가중치를 반영하여 사각 지대에 위치한 장애물을 검출함으로써, 검출 정확도를 향상시키면서 연산량 및 연산 시간을 최소화하는 효과가 있다.According to the present invention, the blind spot detection apparatus and method detects obstacles located in the blind spot by reflecting weights on the obstacle detection results and the edge detection results of the rear camera image, respectively, thereby improving detection accuracy. While improving, there is an effect of minimizing the amount of computation and computation time.
또한, 사각 지대 탐색 장치 및 방법은 장애물 검출시 후방 카메라 이미지를 3단계의 MIP 맵으로 변환하고, MIP 맵들에 모두 중첩된 코너를 특징점으로 함으로써, 검출 영역을 최소화하여 특징점 검출을 위한 연산량 및 연산 시간을 최소화하는 효과가 있다.In addition, the blind spot search apparatus and method converts the rear camera image into a 3-step MIP map when detecting an obstacle, and uses corners that are all overlapped with the MIP maps as feature points, thereby minimizing the detection area to minimize the computational amount and computation time for feature point detection. It has the effect of minimizing.
또한, 사각 지대 탐색 장치 및 방법은 조감도로 변환하지 않고, 후방 카메라 이미지로부터 직접 에지를 검출함으로써, 후방 카메라 이미지를 조감도 이미지로 변환하는 과정을 생략하여 에지 검출시 연산량 및 연산 시간을 최소화하는 효과가 있다.In addition, the blind spot search apparatus and method does not convert to a bird's eye view, but detects an edge directly from the rear camera image, thereby omitting the process of converting the rear camera image to a bird's eye view image, thereby minimizing the amount of computation and computation time during edge detection. have.
도 1 및 도 2는 본 발명의 실시 예에 따른 사각 지대 탐색 장치를 설명하기 위한 도면.
도 3은 도 2의 장애물 감지부를 설명하기 위한 도면.
도 4는 도 3의 MIP 맵 생성 모듈을 설명하기 위한 도면.
도 5 도 3의 특징점 검출 모듈을 설명하기 위한 도면.
도 6은 도 3의 물리 좌표 기반 추적 모듈을 설명하기 위한 도면.
도 7 내지 도 11은 도 2의 에지 검출부를 설명하기 위한 도면.
도 12는 본 발명의 실시 예에 따른 사각 지대 탐색 방법을 설명하기 위한 흐름도.
도 13은 도 12의 장애물 검출 단계를 설명하기 위한 흐름도.
도 14는 도 13의 물리 좌표 기반 추적 단계를 설명하기 위한 흐름도.
도 15는 도 13의 영상 좌표 기반 추적 단계를 설명하기 위한 흐름도.
도 16 및 도 17은 도 12의 에지 검출 단계를 설명하기 위한 흐름도.1 and 2 are views for explaining a blind spot search apparatus according to an embodiment of the present invention.
3 is a view for explaining the obstacle detection unit of FIG. 2.
4 is a diagram for explaining the MIP map generation module of FIG. 3.
Fig. 5 is a diagram for explaining the feature point detection module of Fig. 3;
6 is a view for explaining the tracking module based on physical coordinates of FIG. 3.
7 to 11 are views for explaining the edge detection unit of FIG. 2.
12 is a flowchart illustrating a blind spot search method according to an embodiment of the present invention.
13 is a flowchart illustrating an obstacle detection step of FIG. 12.
14 is a flowchart illustrating a physical coordinate-based tracking step of FIG. 13.
FIG. 15 is a flowchart for explaining an image coordinate-based tracking step of FIG. 13.
16 and 17 are flowcharts illustrating an edge detection step of FIG. 12.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시 예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, in order to describe in detail enough that a person having ordinary knowledge in the technical field of the present invention can easily implement the technical idea of the present invention, a most preferred embodiment of the present invention will be described with reference to the accompanying drawings. . First of all, in adding reference numerals to elements of each drawing, it should be noted that the same elements have the same numerals as possible even if they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the subject matter of the present invention, a detailed description thereof will be omitted.
이하, 본 발명의 실시 예에 따른 사각 지대 탐색 장치를 첨부된 도면을 참조하여 설명한다. 도 1 및 도 2는 본 발명의 실시 예에 따른 사각 지대 탐색 장치를 설명하기 위한 도면이다. 도 3은 도 2의 장애물 감지부를 설명하기 위한 도면이고, 도 4는 도 3의 MIP 맵 생성 모듈을 설명하기 위한 도면이고, 도 5 도 3의 특징점 검출 모듈을 설명하기 위한 도면이고, 도 6은 도 3의 물리 좌표 기반 추적 모듈을 설명하기 위한 도면이다. 도 7 내지 도 11은 도 2의 에지 검출부를 설명하기 위한 도면이다.Hereinafter, a blind spot search apparatus according to an embodiment of the present invention will be described with reference to the accompanying drawings. 1 and 2 are views for explaining a blind spot search apparatus according to an embodiment of the present invention. 3 is a diagram for explaining the obstacle detection unit of FIG. 2, FIG. 4 is a diagram for explaining the MIP map generation module of FIG. 3, and FIG. 5 is a diagram for explaining the feature point detection module of FIG. 3, and FIG. 3 is a diagram for explaining the tracking module based on physical coordinates. 7 to 11 are diagrams for explaining the edge detection unit of FIG. 2.
도 1을 참조하면, 사각 지대 탐색 장치(100)는 차량(10)에 설치된 후방 카메라(12)에서 촬영된 후방 카메라 이미지를 이용하여 차량(10)의 후측방에 형성되는 사각 지대에서 장애물(20)을 탐색한다. 이때, 사각 지대 탐색 장치(100)는 차량(10)의 후방 카메라(12)에서 촬영된 후방 카메라 이미지를 이용하여 사각 지대에 위치한 장애물(20)을 탐색한다. 사각 지대 탐색 장치(100)는 후방 카메라 이미지를 이용한 장애물 검출(Obstacle detection) 결과 및 에지 검출(Edge detection) 결과에 가중치를 부여한다. 사각 지대 탐색 장치(100)는 가중치가 반영된 장애물 검출 결과 및 에지 검출 결과의 합산 값과 임계치를 비교하여 BSD(BLIND SPOT DETECTING) 경고 발생 여부를 판단한다. 이때, 사각 지대 탐색 장치(100)는 장애물 검출 결과 및 에지 검출 결과의 합산 값이 임계치 이상이면 BSD 경고를 발생한다.Referring to FIG. 1, the blind
이를 위해, 도 2를 참조하면, 사각 지대 탐색 장치(100)는 장애물 감지부(110), 에지 검출부(130), 장애물 판단부(150) 및 BSD 알람부(170)를 포함한다.To this end, referring to FIG. 2, the blind
장애물 감지부(110)는 장애물 검출(Obstacle detection) 알고리즘을 이용한 후방 카메라 이미지의 분석을 통해 장애물(20)을 감지한다.The
일반적인 장애물 검출 알고리즘은 카메라 이미지를 조감도 이미지(Top View Image)로 변환한 후 두 시점(時點)의 조감도 이미지 사이의 차분 영상을 통해 장애물(20)을 검출한다. 이때, 일반적인 장애물 검출 알고리즘은 각 시점의 카메라 이미지를 조감도 이미지로 변환하기 때문에 연산량 및 연산 시간이 증가하게 된다.A general obstacle detection algorithm converts a camera image into a top view image and then detects the
이에, 장애물 감지부(110)는 장애물 검출 알고리즘으로 인한 연산량 및 연산 시간 증가를 최소화하기 위해서 후방 카메라 이미지를 3단계의 MIP 맵(210)으로 변환하여 장애물(20)을 감지한다. 장애물 감지부(110)는 3단계의 MIP 맵(210)으로부터 특징점을 검출하고, 특징점들에 대한 물리 좌표 기반 트래킹 및 영상 좌표 기반 트래킹을 수행한다. 장애물 감지부(110)는 특징점 트래킹을 통해 특징점들을 노면 상의 특징점 및 장애물(20)로 구분한다.Accordingly, the
이를 위해, 도 3을 참조하면, 장애물 감지부(110)는 MIP 맵 생성 모듈(112), 특징점 검출 모듈(114), 물리 좌표 기반 추적 모듈(116) 및 영상 좌표 기반 추적 모듈(118)을 포함한다.To this end, referring to FIG. 3, the
MIP 맵 생성 모듈(112)은 후방 카메라 이미지를 이용하여 MIP 맵(210)을 생성한다. MIP 맵 생성 모듈(112)은 후방 카메라 이미지를 이용하여 3단계의 MIP 맵(210)을 생성한다. 이때, MIP 맵 생성 모듈(112)은 제1 MIP 맵(212), 제2 MIP 맵(216) 및 제3 MIP 맵(216)을 생성한다. 여기서, 제1 MIP 맵(212)의 크기는 제3 MIP 맵(216)의 크기보다 크고, 제3 MIP 맵(216)의 크기는 제3 MIP 맵(216)의 크기보다 크다.The MIP
일례로, 도 4를 참조하면, MIP 맵 생성 모듈(112)은 후방 카메라 이미지를 제1 크기의 제1 MIP 맵(212), 제1 MIP 맵(212)의 절반 크기인 제3 MIP 맵(216), 제3 MIP 맵(216)의 절반 크기인 제3 MIP 맵(216)을 생성한다. 이때, MIP 맵 생성 모듈(112)은 후방 카메라 이미지 원본 크기인 640×360인 제1 MIP 맵(212)을 생성한다. MIP 맵 생성 모듈(112)은 제1 MIP 맵(212)의 4개 픽셀을 평균화(averaging)하여 320×180의 크기를 갖는 제3 MIP 맵(216)을 생성한다. MIP 맵 생성 모듈(112)은 제3 MIP 맵(216)의 4개 픽셀을 평균화하여 160×90의 크기를 갖는 제3 MIP 맵(216)을 생성한다.As an example, referring to FIG. 4, the MIP
특징점 검출 모듈(114)은 영상 특징점(keypoint) 추출 방법을 이용하여 MIP 맵(210)으로부터 코너를 검출한다. 특징점 검출 모듈(114)은 기준점을 기준으로 각 픽셀의 강도(Intensity)를 비교하는 FAST(Features from Accelerated Segment Test) 알고리즘을 이용하여 MIP 맵(210)으로부터 코너를 검출한다. 특징점 검출 모듈(114)은 FAST 9 알고리즘을 이용하여 MIP 맵(210)으로부터 코너를 검출한다. 이때, 도 5를 참조하면, 특징점 검출 모듈(114)은 제1 MIP 맵(212) 내지 제3 MIP 맵(216)으로부터 코너를 검출한다. 특징점 검출 모듈(114)은 제1 MIP 맵(212) 내지 제3 MIP 맵(216)에서 모두 중복(중첩)되는 코너를 특징점으로 검출한다. The feature
특징점 검출 모듈(114)은 제1 MIP 맵(212) 내지 제3 MIP 맵(216)에서 코너를 검출하기 때문에 연산량 및 연산 시간이 증가한다.Since the feature
이에, 특징점 검출 모듈(114)은 FAST 9 알고리즘을 이용하여 제2 MIP 맵(214)에서 코너를 검출하고, FAST 9 알고리즘을 이용하여 제3 MIP 맵(216)에서 코너를 검출한다. 이때, 특징점 검출 모듈(114)은 제3 MIP 맵(216) 중에서 제2 MIP 맵(214)에서 검출한 코너에 대응되는 제1 코너 영역에 대해서만 FAST 9 알고리즘을 이용하여 코너를 검출한다. 여기서, 제1 코너 영역은 제3 MIP 맵(216) 중에서 제3 MIP 맵(216)에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역을 의미한다.Accordingly, the feature
다음으로, 특징점 검출 모듈(114)은 제1 MIP 맵(212) 중에서 제3 MIP 맵(216)에서 검출한 코너에 대응되는 제2 코너 영역에 대해서만 FAST 9 알고리즘을 이용하여 코너를 검출하여 특징점으로 설정한다. 여기서, 제2 코너 영역은 제1 MIP 맵(212) 중에서 제3 MIP 맵(216)에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역을 의미한다. Next, the feature
이를 통해, 특징점 검출 모듈(114)은 특징점 검출을 위한 연산량 및 연산 시간을 최소화할 수 있다.Through this, the feature
물리 좌표 기반 추적 모듈(116)은 특징점 검출 모듈(114)에서 검출한 특징점들에 대해 물리 좌표를 기반으로 트래킹(Tracking)한다.The physical coordinate-based
물리 좌표 기반 추적 모듈(116)은 차량 속도를 기반으로 이전 시점(時點, 또는 이전 프레임)의 후방 카메라 이미지에서 검출한 특징점의 예상 위치를 추정한다. 이때, 물리 좌표 기반 추적 모듈(116)은 연속된 두 시점(時點)의 후방 카메라 이미지를 이용하여 검출한 차량 속도 또는 차량(10)에서 감지한 차량 속도를 이용하여 특징점의 예상 위치를 추정한다. 여기서, 예상 위치는 현재 시점(時點, 또는 현재 프레임)의 후방 카메라 이미지에서 해당 특징점의 물리 좌표 상 위치를 의미한다.The physical coordinate-based
물리 좌표 기반 추적 모듈(116)은 현재 시점(時點, 또는 현재 프레임)의 후방 카메라 이미지에서 검출된 특징점과 비교하여, 추정한 위치의 설정 반경 내에서 특징점이 검출되면 추적 성공으로 판단한다. 물리 좌표 기반 추적 모듈(116)은 추적 성공으로 판단하면 해당 특징점이 노면 상의 특징점인 것으로 추적 이력을 갱신한다.The physical coordinate-based
일례로, 도 6을 참조하면, 이전 시점(時點)의 후방 카메라 이미지에서 제1 특징점(FP1), 제2 특징점(FP2) 및 제3 특징점(FP3)이 검출된 것으로 가정한다.As an example, referring to FIG. 6, it is assumed that a first feature point FP1, a second feature point FP2, and a third feature point FP3 are detected in a rear camera image of a previous viewpoint.
물리 좌표 기반 추적 모듈(116)은 차량 속도를 기반으로 현재 시점(時點)의 후방 카메라 이미지에서 해당 특징점들의 예상 위치 영역인 제1 영역(FPA1), 제2 영역(FPA2) 및 제3 영역(FPA3)을 추정한다.Based on the vehicle speed, the
이때, 현재 시점(時點)의 후방 카메라 이미지에서 검출된 제1 특징점(FP1') 및 제2 특징점(FP2')이 각각 제1 영역(FPA1) 및 제2 영역(FPA2) 내에 위치하므로, 물리 좌표 기반 추적 모듈(116)은 제1 특징점(FP1, FP1') 및 제2 특징점(FP2. FP2')을 노면 상의 특징점으로 검출한다. At this time, since the first feature point FP1' and the second feature point FP2' detected in the rear camera image at the current viewpoint are located in the first area FPA1 and the second area FPA2, respectively, the physical coordinates The
한편, 현재 시점(時點)의 후방 카메라 이미지에서 검출된 제3 특징점(FP3')이 제3 영역(FPA3) 내에서 추적되지 않으므로, 물리 좌표 기반 추적 모듈(116)은 제3 특징점(FP3, FP3')의 추적 실패로 판단한다.On the other hand, since the third feature point FP3' detected in the rear camera image at the current viewpoint is not tracked within the third area FPA3, the physical coordinate-based
영상 좌표 기반 추적 모듈(118)은 물리 좌표 기반 추적 모듈(116)에서 추적 실패로 판단한 특징점들에 대해 영상 좌표를 기반으로 트래킹한다.The image coordinate-based
영상 좌표 기반 추적 모듈(118)은 영상 좌표를 기반으로 이전 시점(時點, 또는 이전 프레임)의 후방 카메라 이미지에서 검출한 특징점의 예상 위치를 추정한다. 여기서, 예상 위치는 현재 시점(時點, 또는 현재 프레임)의 후방 카메라 이미지에서 해당 특징점의 영상 좌표상 위치를 의미한다. The image coordinate-based
영상 좌표 기반 추적 모듈(118)은 현재 시점(時點, 또는 현재 프레임)의 후방 카메라 이미지에서 검출된 특징점과 비교하여, 추정한 위치의 설정 반경 내에서 특징점이 검출되면 추적 성공으로 판단한다. 영상 좌표 기반 추적 모듈(118)은 추적 성공으로 판단하면 해당 특징점이 노면 상의 장애물(20)인 것으로 추적 이력을 갱신한다.The image coordinate-based
이때, 물리 좌표 기반 추적 모듈(116) 및 영상 좌표 기반 추적 모듈(118)에서 모두 추적 실패로 판단한 경우 일시적인 검출 오류일 수 있는 상태일 수 있으므로, 물리 좌표 기반 추적 모듈(116) 및 영상 좌표 기반 추적 모듈(118)은 추적 실패가 설정 횟수 이상 반복될 때까지 해당 특징점을 트래킹한다.At this time, if both the physical coordinate-based
에지 검출부(130)는 에지 검출(Edge detection) 알고리즘을 이용한 후방 카메라 이미지 분석을 통해 에지(Edge)를 감지한다. 이때, 에지 검출부(130)는 차량(10)의 후방에 대응되는 영역을 제외한 나머지 영역을 경고 영역으로 설정하고, 후방 카메라 이미지 중 경고 영역 내에서 에지를 검출한다.The
일례로, 도 7을 참조하면, 에지 검출부(130)는 차량(10)의 후방 양측면에 경고 영역을 설정한다. 즉, 에지 검출부(130)는 차량(10)의 측면 및 후방에서 대략 1.5m 정도 이격된 위치에서 대략 가로 3.3m 및 세로 8m 정도의 영역을 경고 영역으로 설정한다. 이때, 에지 검출부(130)는 차량(10)의 좌측 후방 및 우측 후방에 각각 경고 영역을 설정한다. As an example, referring to FIG. 7, the
에지 검출부(130)는 후방 카메라 이미지를 조감도 이미지로 변환한다. 에지 검출부(130)는 지면과 수직을 이루는 장애물(20)을 조감도 이미지로 변환하는 과정에서 후방 카메라(12)의 위치를 중심으로 방사형 에지를 가진다는 점을 근거로 조감도 이미지로부터 에지를 검출한다.The
에지 검출부(130)는 조감도 이미지에 복수의 방사형 기준선을 일정 간격으로 표시한다. 이때, 도 8을 참조하면, 에지 검출부(130)는 후방 카메라(12)의 위치를 중심으로 복수의 방사형 기준선을 표시한다. 에지 검출부(130)는 인접한 두 방사형 기준선 상의 픽셀들 사이의 강도(Intensity) 차이가 존재하면 두 방사형 기준선 사이에 특정 경계면이 존재하는 것으로 판단하여 에지를 검출한다. 에지 검출부(130)는 방사형 기준선에 위치한 복수의 픽셀들 중에서 경고 영역 내에 위치한 복수의 픽셀들만을 대상으로 할 수 있다.The
일례로, 도 9를 참조하면, 에지 검출부(130)는 하기의 수학식 1을 통해 두 방사형 기준선 사이의 에지 점수를 산출한다.As an example, referring to FIG. 9, the
여기서, score는 에지 점수를 의미하고, pi 및 qi는 두 기준선에 위치한 픽셀의 강도(Intensity)를 의미한다.Here, score means an edge score, and pi and qi mean intensity of pixels located on two baselines.
에지 검출부(130)는 산출한 에지 점수(score)가 임계치 이상이면 에지로 판단하고, 경고 영역 내에서 하나 이상의 에지가 검출되면 차량(10)으로 판단한다. 이때, 임계치는 방사형 기준선 상의 픽셀 수의 35% 이상으로 설정될 수 있다.If the calculated edge score is equal to or greater than the threshold value, the
이때, 에지 검출을 위해 후방 카메라 이미지를 조감도 이미지로 변환하기 때문에 연산량 및 연산 시간이 증가하기 때문에, 에지 검출부(130)는 연산량 및 연산 시간을 최소화하기 위해 후방 카메라 이미지로부터 에지를 검출한다.At this time, since the rear camera image is converted into a bird's eye view image for edge detection, the computational amount and computation time increase, so the
에지 검출부(130)는 후방 카메라 이미지에 기준선 맵을 중첩시키고, 상술한 에지 검출 방식에서 후방 카메라 이미지의 왜곡을 보정하는 전처리 과정을 제외한 알고리즘을 통해 후방 카메라 이미지로부터 에지를 검출한다. 여기서, 왜곡을 보정하는 전처리 과정은 후방 카메라 이미지를 조감도 이미지로 변환하는 과정을 포함한다.The
이를 위해, 에지 검출부(130)는 조감도 이미지에 적용되는 복수의 방사형 기준선을 역변환한 기준선 맵을 생성한다. 에지 검출부(130)는 복수의 방사형 기준선들 중 조감도 이미지의 경고 영역 내에 위치한 선들을 역변환하여 후방 카메라 이미지의 왜곡이 반영된 복수의 기준선들을 생성하고, 이들을 기준선 맵으로 저장한다. 여기서, 역변환은 조감도 이미지에 왜곡을 반영하여 후방 카메라 이미지로 변화하는 과정을 의미한다.To this end, the
도 10을 참조하면, 기준선 맵(220)은 왜곡이 존재하는 후방 카메라 이미지로부터 에지를 검출하기 위해 사용되는 기준선들의 조합이다. 기준선 맵(220)은 광각인 후방 카메라(12)로 인한 후방 카메라 이미지의 왜곡을 복수의 방사형 기준선에 적용하여 생성된 복수의 기준선들을 포함한다. 이때, 기준선 맵(220)에 포함된 복수의 기준선들은 후방 카메라 이미지의 경고 영역 내에 배치된다.Referring to FIG. 10, the
도 11을 참조하면, 에지 검출부(130)는 기준선 맵(220)을 후방 카메라 이미지상의 경고 영역에 중첩하여 배치한다. 에지 검출부(130)는 기준선 맵(220) 중에서 인접한 두 기준선의 픽셀들 사이의 강도(Intensity) 차이가 존재하면 두 기준선 사이에 특정 경계면이 존재하는 것으로 판단하여 에지로 검출한다.Referring to FIG. 11, the
이때, 에지 검출부(130)는 상술한 수학식 1을 이용해 에지 점수를 산출한다. 에지 검출부(130)는 산출한 에지 점수(score)가 임계치 이상이면 에지로 판단하고, 경고 영역 내에서 하나 이상의 에지가 검출되면 차량(10)으로 판단한다. 이때, 임계치는 방사형 기준선 상의 픽셀 수의 35% 이상으로 설정될 수 있다.At this time, the
장애물 판단부(150)는 장애물 검출 결과 및 에지 검출 결과를 근거로 BSD 경고 발생 여부를 판단한다. 장애물 판단부(150)는 장애물 감지부의 장애물 검출 결과 및 에지 검출부(130)의 에지 검출 결과에 가중치를 설정한다. 장애물 판단부(150)는 가중치가 반영된 장애물 검출 결과 및 에지 검출 결과의 합산 값을 임계치와 비교하여 BSD 경고 발생 여부를 판단한다. 이때, 장애물 판단부(150)는 합산 값이 임계치 이상이면 BSD 경고 발생으로 판단한다.The
BSD 알람부(170)는 장애물 판단부(150)에서 BSD 경고 발생으로 판단하면, 차량(10)에 설치된 사이드미러에 설치된 BSD 경고등, 차량(10) 내의 디스플레이, 스피커 등을 통해 BSD 경고를 발생한다.When the
이하, 본 발명의 실시 예에 따른 사각 지대 탐색 방법을 첨부된 도면을 참조하여 설명한다. 도 12는 본 발명의 실시 예에 따른 사각 지대 탐색 방법을 설명하기 위한 흐름도이다. 도 13은 도 12의 장애물 검출 단계를 설명하기 위한 흐름도이고, 도 14는 도 13의 물리 좌표 기반 추적 단계를 설명하기 위한 흐름도이고, 도 15는 도 13의 영상 좌표 기반 추적 단계를 설명하기 위한 흐름도이다. 도 16 및 도 17은 도 12의 에지 검출 단계를 설명하기 위한 흐름도이다.Hereinafter, a blind spot search method according to an embodiment of the present invention will be described with reference to the accompanying drawings. 12 is a flowchart illustrating a blind spot search method according to an embodiment of the present invention. FIG. 13 is a flowchart illustrating an obstacle detection step of FIG. 12, FIG. 14 is a flowchart illustrating a physical coordinate-based tracking step of FIG. 13, and FIG. 15 is a flowchart illustrating an image coordinate-based tracking step of FIG. 13 to be. 16 and 17 are flowcharts illustrating an edge detection step of FIG. 12.
사각 지대 탐색 장치(100)는 차량(10)의 후방 카메라(12)에서 촬영한 후방 카메라 이미지를 수집한다(S100). 사각 지대 탐색 장치(100)는 설정 주기 간격으로 후방 카메라 이미지를 수집한다.The blind
사각 지대 탐색 장치(100)는 후방 카메라 이미지로부터 장애물(20)을 검출한다(S200). 즉, 사각 지대 탐색 장치(100)는 장애물 검출(Obstacle detection) 알고리즘을 이용한 후방 카메라 이미지의 분석을 통해 장애물(20)을 검출한다. 이때, 사각 지대 탐색 장치(100)는 장애물 검출 알고리즘으로 인한 연산량 및 연산 시간 증가를 최소화하기 위해서 후방 카메라 이미지를 3단계의 MIP 맵(210)으로 변환하여 장애물(20)을 감지한다. 사각 지대 탐색 장치(100)는 3단계의 MIP 맵(210)으로부터 특징점을 검출하고, 특징점들에 대한 물리 좌표 기반 트래킹 및 영상 좌표 기반 트래킹을 수행한다. 사각 지대 탐색 장치(100)는 특징점 트래킹을 통해 특징점들을 노면 상의 특징점 및 장애물(20)로 구분한다.The blind
도 13을 참조하면, 사각 지대 탐색 장치(100)는 후방 카메라 이미지를 이용하여 3단계의 MIP 맵(210)을 생성한다(S220). 즉, 사각 지대 탐색 장치(100)는 후방 카메라 이미지를 제1 MIP 맵(212)으로 생성한다. 사각 지대 탐색 장치(100)는 제1 MIP 맵(212)에서 인접한 4개의 픽셀을 평균화(Averaging)하여 제3 MIP 맵(216)을 생성한다. 사각 지대 탐색 장치(100)는 제3 MIP 맵(216)에서 인접한 4개의 픽셀을 평균화하여 제3 MIP 맵(216)을 생성한다. 이를 통해, 사각 지대 탐색 장치(100)는 후방 카메라 이미지의 원본 크기인 640×360의 크기를 갖는 제1 MIP 맵(212), 제1 MIP 맵(212)보다 작은 320×180의 크기를 갖는 제3 MIP 맵(216), 및 제3 MIP 맵(216)보다 작은 160×90의 크기를 갖는 제3 MIP 맵(216)을 생성한다.Referring to FIG. 13, the blind
사각 지대 탐색 장치(100)는 MIP 맵(210)으로부터 특징점을 검출한다(S240). 즉, 사각 지대 탐색 장치(100)는 제1 MIP 맵(212) 내지 제3 MIP 맵(216)에서 각각 코너를 검출한다. 사각 지대 탐색 장치(100)는 검출한 코너들 중에서 제1 MIP 맵(212) 내지 제3 MIP 맵(216)에서 모두 중복되는 코너를 특징점으로 검출한다.The blind
이때, 사각 지대 탐색 장치(100)는 제1 MIP 맵(212) 내지 제3 MIP 맵(216)에서 코너를 검출하기 때문에 연산량 및 연산 시간이 증가한다.At this time, since the blind
코너 검출로 인한 연산량 및 연산 시간의 증가를 최소화하기 위해서, 사각 지대 탐색 장치(100)는 FAST 9 알고리즘을 이용하여 제3 MIP 맵(216)에서 코너를 검출하고, FAST 9 알고리즘을 이용하여 제3 MIP 맵(216)에서 코너를 검출한다. 이때, 사각 지대 탐색 장치(100)는 제3 MIP 맵(216) 중에서 제3 MIP 맵(216)에서 검출한 코너에 대응되는 제1 코너 영역에 대해서만 FAST 9 알고리즘을 이용하여 코너를 검출한다. 여기서, 제1 코너 영역은 제3 MIP 맵(216) 중에서 제3 MIP 맵(216)에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역을 의미한다.In order to minimize the increase in computational amount and computation time due to corner detection, the blind
사각 지대 탐색 장치(100)는 제1 MIP 맵(212) 중에서 제3 MIP 맵(216)에서 검출한 코너에 대응되는 제2 코너 영역에 대해서만 FAST 9 알고리즘을 이용하여 코너를 검출하여 특징점으로 설정한다. 여기서, 제2 코너 영역은 제1 MIP 맵(212) 중에서 제3 MIP 맵(216)에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역을 의미한다. The blind
한편, 사각 지대 탐색 장치(100)는 제3 MIP 맵(216) 및 제3 MIP 맵(216)에서 코너를 검출하고, 제1 MIP 맵(212) 중에서 제3 MIP 맵(216) 및 제3 MIP 맵(216)에서 중복되는 코너에 대응되는 코너 영역에 대해서만 코너를 검출할 수도 있다.On the other hand, the blind
사각 지대 탐색 장치(100)는 물리 좌표 기반 추적을 통해 S240 단계에서 검출한 특징점들로부터 노면 상 특징점을 검출한다(S260). 도 14를 참조하면, 사각 지대 탐색 장치(100)는 차량 속도를 기반으로 이전 시점(時點, 또는 이전 프레임)의 후방 카메라 이미지에서 검출한 특징점의 예상 위치를 추정한다(S261). 즉, 사각 지대 탐색 장치(100)는 이전 프레임에서 검출한 특징점의 물리 좌표상 위치와, 차량 속도를 이용하여 특징점의 예상 위치를 추정한다. 여기서, 예상 위치는 현재 시점(時點, 또는 현재 프레임)의 후방 카메라 이미지에서 해당 특징점의 물리 좌표상 위치를 의미한다. The blind
사각 지대 탐색 장치(100)는 S261 단계에서 추정한 예상 위치를 근거로 현재 시점(時點, 또는 현재 프레임)의 후방 카메라 이미지에서 특징점을 추적한다(S262). 즉, 현재 프레임의 후방 카메라 이미지 중 예상 위치의 설정 반경 내에서 특징점의 존재 여부를 추적한다.The blind
추정한 예상 위치의 설정 반경 내에서 특징점이 검출되어 추적 성공으로 판단하면(S263; 예), 사각 지대 탐색 장치(100)는 해당 특징점이 노면 상의 특징점인 것으로 추적 이력을 갱신한다(S264). 이때, 사각 지대 탐색 장치(100)는 추적에 실패한 특징점에 대해 영상 좌표 기반 추적을 수행한다.If a feature point is detected within the set radius of the estimated predicted position and it is determined that tracking is successful (S263; Yes), the blind
사각 지대 탐색 장치(100)는 영상 좌표 기반 추적을 통해 S260 단계에서 추적에 실패한 특징점들 중에서 장애물(20)에 대응되는 특징점을 검출한다(S280). The blind
일례로, 도 15를 참조하면, 사각 지대 탐색 장치(100)는 이전 시점(時點, 또는 이전 프레임)의 후방 카메라 이미지에서 검출한 특징점의 영상 좌표상 예상 위치를 추정한다(S281).As an example, referring to FIG. 15, the blind
사각 지대 탐색 장치(100)는 S281 단계에서 추정한 예상 위치를 근거로 현재 시점(時點, 또는 현재 프레임)의 후방 카메라 이미지에서 특징점을 추적한다(S282). 즉, 현재 프레임의 후방 카메라 이미지 중 예상 위치의 설정 반경 내에서 특징점의 존재 여부를 추적한다.The blind
추정한 예상 위치의 설정 반경 내에서 특징점이 검출되어 추적 성공으로 판단하면(S283; 예), 사각 지대 탐색 장치(100)는 해당 특징점이 장애물(20)의 특징점인 것으로 추적 이력을 갱신한다(S284).If a feature point is detected within the set radius of the estimated predicted position and it is determined that tracking is successful (S283; Yes), the blind
이때, 추적 실패로 판단한 경우 일시적인 검출 오류일 수 있는 상태일 수 있다. 이에, 추적 이력에서 추적 성공이 존재하고, 추적 실패가 설정 횟수 이하이면(S285; 예), 사각 지대 탐색 장치(100)는 상술한 S260 단계 및 S280 단계를 반복 수행하여, 추적 실패가 설정 횟수 이상 반복될 때까지 해당 특징점을 트래킹한다.In this case, when it is determined that the tracking failure is performed, it may be a state that may be a temporary detection error. Accordingly, if there is a tracking success in the tracking history and the tracking failure is less than the set number of times (S285; Yes), the blind
사각 지대 탐색 장치(100)는 에지 검출(Edge Detection) 알고리즘을 이용하여 후방 카메라 이미지로부터 에지를 검출한다(S300).The blind
일례로, 도 16을 참조하면, 사각 지대 탐색 장치(100)는 후방 카메라 이미지를 조감도 이미지로 변환한다(S321). 즉, 사각 지대 탐색 장치(100)는 후방 카메라 이미지의 왜곡을 보정하여 조감도 이미지로 변환한다.As an example, referring to FIG. 16, the blind
사각 지대 탐색 장치(100)는 조감도 이미지에 복수의 방사형 기준선을 일정 간격으로 표시한다(S322). 이때, 사각 지대 탐색 장치(100)는 후방 카메라(12)의 위치를 중심으로 복수의 방사형 기준선을 표시한다.The blind
사각 지대 탐색 장치(100)는 인접한 두 방사형 기준선들의 에지 점수를 산출한다(S323). 즉, 사각 지대 탐색 장치(100)는 인접한 두 방사형 기준선 상의 픽셀들 사이의 강도(Intensity)를 이용하여 에지 점수를 산출한다. (수학식 1 참조) 이때, 사각 지대 탐색 장치(100)는 방사형 기준선에 위치한 복수의 픽셀들 중에서 경고 영역 내에 위치함 복수의 픽셀들만을 대상으로 에지 점수를 산출할 수 있다.The blind
S323 단계에서 산출한 에지 점수가 임계치 이상이면(S324; 예), 사각 지대 탐색 장치(100)는 두 방사형 기준선 사이에 에지가 존재하는 것으로 판단하여 에지를 검출한다(S325). 이때, 임계치는 방사형 기준선 상의 픽셀 수의 35% 이상으로 설정될 수 있다.If the edge score calculated in step S323 is greater than or equal to the threshold (S324; Yes), the blind
사각 지대 탐색 장치(100)는 모든 방사형 기준선들에서 에지 검출이 완료되면 경고 영역 내의 장애물(20) 존재 여부를 판단한다. 경고 영역 내에서 하나 이상의 에지가 검출되면(S326; 예), 사각 지대 탐색 장치(100)는 경고 영역 내에 장애물(20; 즉 차량(10))이 존재하는 것으로 판단한다(S327). 이때, 사각 지대 탐색 장치(100)는 장애물(20) 존재를 의미하는 Flag를 증가시킨다.When edge detection is completed in all radial reference lines, the blind
다른 일례로, 도 17을 참조하면, 사각 지대 탐색 장치(100)는 조감도 이미지 변환을 생략하고, 후방 카메라 이미지로부터 직접 에지를 검출할 수도 있다.As another example, referring to FIG. 17, the blind
사각 지대 탐색 장치(100)는 후방 카메라 이미지에 기준선 맵(220)을 표시한다(S341). 이때, 기준선 맵(220)은 왜곡이 존재하는 후방 카메라 이미지로부터 에지를 검출하기 위해 사용되는 기준선들의 조합이다. 기준선 맵(220)은 광각인 후방 카메라(12)로 인한 후방 카메라 이미지의 왜곡을 복수의 방사형 기준선에 적용하여 생성된 복수의 기준선들을 포함한다. 이때, 기준선 맵(220)에 포함된 복수의 기준선들은 후방 카메라 이미지의 경고 영역 내에 배치된다.The blind
사각 지대 탐색 장치(100)는 기준선 맵(220)의 두 기준선의 에지 점수를 산출한다(S342). 즉, 사각 지대 탐색 장치(100)는 기준선 맵(220)의 기준선들 중 인접한 두 기준선 상의 픽셀들 사이의 강도(Intensity)를 이용하여 에지 점수를 산출한다. (수학식 1 참조)The blind
S342 단계에서 산출한 에지 점수가 임계치 이상이면(S343; 예), 사각 지대 탐색 장치(100)는 두 기준선 사이에 에지가 존재하는 것으로 판단하여 에지를 검출한다(S344). 이때, 임계치는 방사형 기준선 상의 픽셀 수의 35% 이상으로 설정될 수 있다.If the edge score calculated in step S342 is greater than or equal to the threshold value (S343; Yes), the blind
사각 지대 탐색 장치(100)는 기준선 맵(220)에 포함된 모든 기준선들에서 에지 검출이 완료되면 경고 영역 내의 장애물(20) 존재 여부를 판단한다. 이때, 경고 영역 내에서 하나 이상의 에지가 검출되면(S345; 예), 사각 지대 탐색 장치(100)는 경고 영역 내에 장애물(20)이 존재하는 것으로 판단한다(S346). 이때, 사각 지대 탐색 장치(100)는 장애물(20) 존재를 의미하는 Flag를 증가시킨다.When edge detection is completed in all of the reference lines included in the
사각 지대 탐색 장치(100)는 장애물 검출 결과 및 에지 검출 결과의 합산값을 산출한다(S400). 이때, 사각 지대 탐색 장치(100)는 S200 단계의 장애물 검출 결과 및 S300 단계의 에지 검출 결과 각각에 대응하는 가중치를 설정하고, 장애물 검출 결과에 가중치를 곱한 값과, 에지 검출 결과에 가중치를 곱한 값을 합산하여 합산값을 산출한다.The blind
사각 지대 탐색 장치(100)는 S400 단계에서 산출한 합산값과 임계치를 비교하여 BSD 경고 발생 여부를 판단한다. 이때, S400 단계에서 산출한 합산값이 임계치 이상이면 BSD 경고 발생으로 판단하면(S500; 예), 사각 지대 탐색 장치(100)는 BSD 경고를 발생한다(S600). 이때, 사각 지대 탐색 장치(100)는 차량(10)에 설치된 사이드미러에 설치된 BSD 경고등, 차량(10) 내의 디스플레이, 스피커 등을 통해 BSD 경고를 발생하여 운전자에게 사각 지대에 장애물(20)이 존재함을 알린다.The blind
상술한 바와 같이, 사각 지대 탐색 장치 및 방법은 후방 카메라 이미지에 대한 장애물 검출(Obstacle Detection) 결과 및 에지 검출(Edge Detection) 결과에 각각 가중치를 반영하여 사각 지대에 위치한 장애물을 검출함으로써, 검출 정확도를 향상시키면서 연산량 및 연산 시간을 최소화하는 효과가 있다.As described above, the blind spot detection apparatus and method detects obstacles located in the blind spot by reflecting weights on the obstacle detection results and the edge detection results of the rear camera image, respectively, to improve detection accuracy. While improving, there is an effect of minimizing the amount of computation and computation time.
또한, 사각 지대 탐색 장치 및 방법은 장애물 검출시 후방 카메라 이미지를 3단계의 MIP 맵으로 변환하고, MIP 맵들에 모두 중첩된 코너를 특징점으로 함으로써, 검출 영역을 최소화하여 특징점 검출을 위한 연산량 및 연산 시간을 최소화하는 효과가 있다.In addition, the blind spot search apparatus and method converts the rear camera image into a 3-step MIP map when detecting an obstacle, and uses corners that are all overlapped with the MIP maps as feature points, thereby minimizing the detection area to minimize the computational amount and computation time for feature point detection. It has the effect of minimizing.
또한, 사각 지대 탐색 장치 및 방법은 조감도로 변환하지 않고, 후방 카메라 이미지로부터 직접 에지를 검출함으로써, 후방 카메라 이미지를 조감도 이미지로 변환하는 과정을 생략하여 에지 검출시 연산량 및 연산 시간을 최소화하는 효과가 있다.In addition, the blind spot search apparatus and method does not convert to a bird's eye view, but detects an edge directly from the rear camera image, thereby omitting the process of converting the rear camera image to a bird's eye view image, thereby minimizing the amount of computation and computation time during edge detection. have.
이상에서 본 발명에 따른 바람직한 실시 예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형 예 및 수정 예를 실시할 수 있을 것으로 이해된다.Although the preferred embodiments according to the present invention have been described above, various modifications are possible, and those of ordinary skill in the art can make various modifications and modifications without departing from the scope of the claims of the present invention. It is understood that it can be done.
100: 사각 지대 탐색 장치
110: 장애물 감지부
112: MIP 맵 생성 모듈
114: 특징점 검출 모듈
116: 물리 좌표 기반 추적 모듈
118: 영상 좌표 기반 추적 모듈
130: 에지 검출부
150: 장애물 판단부
170: BSD 알람부100: blind spot search device 110: obstacle detection unit
112: MIP map generation module 114: feature point detection module
116: physical coordinate-based tracking module 118: image coordinate-based tracking module
130: edge detection unit 150: obstacle determination unit
170: BSD alarm unit
Claims (20)
상기 후방 카메라 이미지로부터 에지를 검출하는 에지 검출부;
상기 장애물 감지부의 장애물 검출 결과 및 상기 에지 검출부의 에지 검출 결과를 근거로 사각 지대 내의 장애물 존재 여부를 판단하는 장애물 판단부; 및
상기 장애물 판단부에서 장애물 존재로 판단하면 BSD 경고를 발생하는 BSD 알람부를 포함하고,
상기 장애물 감지부는 상기 후방 카메라 이미지를 복수의 MIP 맵으로 변환하고, 특정점의 물리 좌표 기반 트래킹 및 영상 좌표 기반 트래킹을 통해 상기 복수의 MIP 맵에서 검출된 복수의 특징점을 노면상의 특징점 및 장애물의 특징점으로 구분하는 사각 지대 탐색 장치.An obstacle detection unit for detecting an obstacle from the rear camera image;
An edge detector for detecting an edge from the rear camera image;
An obstacle determination unit that determines whether an obstacle exists in the blind spot based on the obstacle detection result of the obstacle detection unit and the edge detection result of the edge detection unit; And
Includes a BSD alarm unit that generates a BSD warning when the obstacle determination unit determines that there is an obstacle,
The obstacle detection unit converts the rear camera image into a plurality of MIP maps, and converts a plurality of feature points detected from the plurality of MIP maps through physical coordinate-based tracking and image coordinate-based tracking of a specific point on the road surface and feature points of the obstacle. Blind spot search device separated by.
상기 장애물 감지부는 상기 후방 카메라 이미지를 이용하여 복수의 MIP 맵을 생성하는 MIP 맵 생성 모듈을 포함하고,
상기 MIP 맵 생성 모듈은 상기 후방 카메라 이미지를 제1 MIP 맵으로 생성하고, 상기 제1 MIP 맵을 평균화하여 제2 MIP 맵을 생성하고, 상기 제2 MIP 맵을 평균화하여 제3 MIP 맵을 생성하는 사각 지대 탐색 장치.The method of claim 1,
The obstacle detection unit includes a MIP map generation module for generating a plurality of MIP maps using the rear camera image,
The MIP map generating module generates a second MIP map by generating the rear camera image as a first MIP map, averaging the first MIP map, and generating a third MIP map by averaging the second MIP map. Blind spot navigation device.
상기 장애물 감지부는 상기 복수의 MIP 맵으로부터 특징점을 검출하는 특징점 검출 모듈을 포함하고,
상기 특징점 검출 모듈은 상기 제1 MIP 맵 내지 상기 제3 MIP 맵에서 각각 코너를 검출하고, 상기 제1 MIP 맵 내지 상기 제3 MIP 맵에서 중복 검출된 코너를 특징점으로 검출하는 사각 지대 탐색 장치.The method of claim 2,
The obstacle detection unit includes a feature point detection module for detecting feature points from the plurality of MIP maps,
The feature point detection module detects corners in the first MIP map to the third MIP map, respectively, and detects corners duplicated in the first MIP map to the third MIP map as feature points.
상기 장애물 감지부는 상기 복수의 MIP 맵으로부터 특징점을 검출하는 특징점 검출 모듈을 포함하고,
상기 특징점 검출 모듈은,
상기 제2 MIP 맵에서 코너를 검출하고,
상기 제2 MIP 맵에서 검출한 코너에 대응하는 상기 제3 MIP 맵의 제1 코너 영역에서 코너를 검출하고,
상기 제3 MIP 맵에서 검출한 코너에 대응하는 상기 제1 MIP 맵의 제2 코너 영역에서 검출한 코너를 특징점으로 검출하는 사각 지대 탐색 장치.The method of claim 2,
The obstacle detection unit includes a feature point detection module for detecting feature points from the plurality of MIP maps,
The feature point detection module,
Detecting a corner in the second MIP map,
A corner is detected in the first corner area of the third MIP map corresponding to the corner detected in the second MIP map,
A blind spot search apparatus for detecting a corner detected in a second corner area of the first MIP map corresponding to a corner detected in the third MIP map as a feature point.
상기 제1 코너 영역은 상기 제3 MIP 맵의 일부 영역으로, 상기 제2 MIP 맵에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역이고,
상기 제2 코너 영역은 상기 제1 MIP 맵의 일부 영역으로, 상기 제3 MIP 맵에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역인 사각 지대 탐색 장치.The method of claim 4,
The first corner area is a partial area of the third MIP map, and is an area in which an area detected as a corner in the second MIP map is enlarged by a set range,
The second corner area is a partial area of the first MIP map, and the area detected as a corner in the third MIP map is enlarged by a set range.
상기 장애물 감지부는 물리 좌표를 기반으로 상기 복수의 특징점을 트래킹하는 물리 좌표 기반 추적 모듈을 포함하고,
상기 물리 좌표 기반 추적 모듈은,
차량 속도를 근거로 이전 시점의 특징점의 예상 위치를 추정하고, 현재 시점의 후방 카메라 이미지 중 상기 예상 위치의 설정 반경 내에서 특징점이 검출되면 추적 성공으로 판단하고, 추적 성공으로 판단한 특징점을 노면상 특징점으로 설정하는 사각 지대 탐색 장치.The method of claim 1,
The obstacle detection unit includes a physical coordinate-based tracking module for tracking the plurality of feature points based on physical coordinates,
The physical coordinate-based tracking module,
Based on the vehicle speed, the predicted position of the feature point at the previous point of view is estimated, and if a feature point is detected within the set radius of the predicted position among the rear camera images of the current point of view, it is judged as a success of tracking, and the feature point determined as tracking success is a feature point on the road surface. Blind spot navigation device to set.
상기 장애물 감지부는 영상 좌표를 기반으로 상기 물리 좌표 기반 추적 모듈에서 추적에 실패한 특징점을 트래킹하는 영상 좌표 기반 추적 모듈을 더 포함하고,
상기 영상 좌표 기반 추적 모듈은,
특징점의 영상 좌표를 근거로 이전 시점의 특징점의 예상 위치를 추정하고, 현재 시점의 후방 카메라 이미지 중 상기 예상 위치의 설정 반경 내에서 특징점이 검출되면 추적 성공으로 판단하고, 추적 성공으로 판단한 특징점을 노면상 장애물로 설정하는 사각 지대 탐색 장치.The method of claim 6,
The obstacle detection unit further includes an image coordinate based tracking module for tracking a feature point that has failed to be tracked in the physical coordinate based tracking module based on the image coordinate,
The image coordinate-based tracking module,
Based on the image coordinates of the feature point, the predicted position of the feature point at the previous point of view is estimated, and if a feature point is detected within the set radius of the predicted position among the rear camera images of the current point of view, it is judged as tracking success, and the feature point determined as tracking success is road surface Blind spot search device to set as a phase obstacle.
상기 장애물 감지부는,
물리 좌표 기반 추적 및 영상 좌표 기반 추적에 실패한 특징점 중 추적 이력에 추적 성공이 존재하고, 추적 실패가 설정 횟수 이하인 특징점을 추적 실패가 설정 횟수 이상 반복될 때까지 물리 좌표 기반 추적 및 영상 좌표 기반 추적 중 적어도 하나를 반복하는 사각 지대 탐색 장치.The method of claim 1,
The obstacle detection unit,
Among the feature points that failed physical coordinate-based tracking and image coordinate-based tracking, tracking success exists in the tracking history, and the feature point whose tracking failure is less than the set number of times is being tracked based on physical coordinates and image coordinates until the tracking failure repeats more than the set number of times. A blind spot search device that repeats at least one.
상기 에지 검출부는 후방 카메라의 왜곡을 반영한 기준선 맵을 근거로 상기 후방 카메라 이미지로부터 에지를 검출하는 사각 지대 탐색 장치.The method of claim 1,
The edge detection unit detects an edge from the rear camera image based on a baseline map reflecting the distortion of the rear camera.
상기 장애물 판단부는,
상기 장애물 감지부의 장애물 검출 결과 및 상기 에지 검출부의 에지 검출 결과에 가중치를 설정하고, 가중치가 반영된 장애물 검출 결과 및 에지 검출 결과의 합산값이 임계치 이상이면 BSD 경고 발생으로 판단하는 사각 지대 탐색 장치.The method of claim 1,
The obstacle determination unit,
A blind spot search apparatus configured to set a weight to the obstacle detection result of the obstacle detection unit and the edge detection result of the edge detection unit, and determine that a BSD warning occurs when the sum of the obstacle detection result and the edge detection result reflecting the weight is greater than or equal to a threshold.
차량의 후방 카메라로부터 후방 카메라 이미지를 수집하는 수집 단계;
상기 후방 카메라 이미지로부터 장애물을 검출하는 장애물 검출 단계;
상기 후방 카메라 이미지로부터 에지를 검출하는 에지 검출 단계; 및
상기 장애물 검출 단계의 장애물 검출 결과 및 상기 에지 검출 단계의 에지 검출 결과를 근거로 BSD 경고를 발생하는 알림 단계를 포함하고,
상기 장애물 검출 단계는,
상기 후방 카메라 이미지를 복수의 MIP 맵으로 변환하는 MIP 변환 단계;
상기 복수의 MIP 맵으로부터 특징점을 검출하는 특징점 검출 단계;
상기 특징점 검출 단계에서 검출한 특징점으로부터 노면상 특징점을 검출하는 물리 좌표 기반 추적 단계; 및
상기 물리 좌표 기반 추적 단계에서 추적 실패한 특징점 중에서 장애물의 특징점을 검출하는 영상 좌표 기반 추적 단계를 포함하는 사각 지대 탐색 방법.In the blind spot search method using the blind spot search device,
A collecting step of collecting a rear camera image from a rear camera of the vehicle;
An obstacle detection step of detecting an obstacle from the rear camera image;
An edge detection step of detecting an edge from the rear camera image; And
A notification step of generating a BSD warning based on the obstacle detection result of the obstacle detection step and the edge detection result of the edge detection step,
The obstacle detection step,
MIP conversion step of converting the rear camera image into a plurality of MIP maps;
A feature point detection step of detecting feature points from the plurality of MIP maps;
A physical coordinate-based tracking step of detecting a feature point on the road surface from the feature point detected in the feature point detection step; And
And an image coordinate-based tracking step of detecting a feature point of an obstacle among feature points that have failed to be tracked in the physical coordinate-based tracking step.
상기 MIP 변환 단계는,
상기 후방 카메라 이미지를 제1 MIP 맵으로 생성하는 단계;
상기 제1 MIP 맵을 평균화하여 제2 MIP 맵을 생성하는 단계; 및
상기 제2 MIP 맵을 평균화하여 제3 MIP 맵을 생성하는 단계를 포함하는 사각 지대 탐색 방법.The method of claim 11,
The MIP conversion step,
Generating the rear camera image as a first MIP map;
Generating a second MIP map by averaging the first MIP map; And
And generating a third MIP map by averaging the second MIP map.
상기 특징점 검출 단계는,
상기 제1 MIP 맵에서 코너를 검출하는 제1 코너 검출 단계;
상기 제2 MIP 맵에서 코너를 검출하는 제2 코너 검출 단계;
상기 제3 MIP 맵에서 코너를 검출하는 제3 코너 검출 단계; 및
상기 제1 코너 검출 단계 내지 상기 제3 코너 검출 단계에서 중복 검출된 코너를 특징점으로 검출하는 단계를 포함하는 사각 지대 탐색 방법.The method of claim 12,
The feature point detection step,
A first corner detection step of detecting a corner in the first MIP map;
A second corner detection step of detecting a corner in the second MIP map;
A third corner detection step of detecting a corner in the third MIP map; And
And detecting a corner that has been redundantly detected in the first corner detection step to the third corner detection step as a feature point.
상기 특징점 검출 단계는,
상기 제2 MIP 맵에서 코너를 검출하는 제1 코너 검출 단계;
상기 제3 MIP 맵에서 코너를 검출하되, 상기 제2 MIP 맵에서 검출한 코너에 대응하는 상기 제3 MIP 맵의 제1 코너 영역에서 코너를 검출하는 제2 코너 검출 단계;
상기 제1 MIP 맵에서 코너를 검출하되, 상기 제3 MIP 맵에서 검출한 코너에 대응하는 상기 제1 MIP 맵의 제2 코너 영역에서 코너를 검출하는 제3 코너 검출 단계; 및
상기 제3 코너 검출 단계에서 검출한 코너를 특징점으로 검출하는 단계를 포함하는 사각 지대 탐색 방법.The method of claim 12,
The feature point detection step,
A first corner detection step of detecting a corner in the second MIP map;
A second corner detection step of detecting a corner in the third MIP map, and detecting a corner in a first corner region of the third MIP map corresponding to the corner detected in the second MIP map;
A third corner detection step of detecting a corner in the first MIP map, and detecting a corner in a second corner area of the first MIP map corresponding to the corner detected in the third MIP map; And
And detecting the corner detected in the third corner detection step as a feature point.
상기 제1 코너 영역은 상기 제3 MIP 맵의 일부 영역으로, 상기 제2 MIP 맵에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역이고,
상기 제2 코너 영역은 상기 제1 MIP 맵의 일부 영역으로, 상기 제3 MIP 맵에서 코너로 검출된 영역을 설정 범위만큼 확대한 영역인 사각 지대 탐색 방법.The method of claim 14,
The first corner area is a partial area of the third MIP map, and is an area in which an area detected as a corner in the second MIP map is enlarged by a set range,
The second corner area is a partial area of the first MIP map, and the area detected as a corner in the third MIP map is enlarged by a set range.
상기 물리 좌표 기반 추적 단계는,
차량 속도를 근거로 이전 시점의 후방 카메라 이미지에서 검출한 특징점의 물리 좌표상 예상 위치를 추정하는 단계;
현재 시점의 후방 카메라 이미지에서 특징점을 검출하는 단계; 및
상기 물리 좌표상 예상 위치에서 특징점이 검출되면 추적 성공으로 판단하여 상기 특징점을 노면상 특징점으로 설정하는 단계를 포함하는 사각 지대 탐색 방법.The method of claim 11,
The physical coordinate-based tracking step,
Estimating a predicted position in physical coordinates of a feature point detected from a rear camera image of a previous viewpoint based on the vehicle speed;
Detecting a feature point in a rear camera image of a current viewpoint; And
And when a feature point is detected in the predicted position on the physical coordinates, determining that tracking is successful, and setting the feature point as a feature point on the road surface.
상기 영상 좌표 기반 추적 단계는,
상기 물리 좌표 기반 추적 단계에서 추적 실패한 특징점의 영상 좌표상 예상 위치를 추정하는 단계;
현재 시점의 후방 카메라 이미지에서 특징점을 검출하는 단계; 및
상기 영상 좌표상 예상 위치에서 특징점이 검출되면 추적 성공으로 판단하여 상기 특징점을 노면상 장애물의 특징점으로 설정하는 단계를 포함하는 사각 지대 탐색 방법.The method of claim 11,
The image coordinate-based tracking step,
Estimating a predicted position in image coordinates of a feature point that has failed to be tracked in the physical coordinate-based tracking step;
Detecting a feature point in a rear camera image of a current viewpoint; And
And setting the feature point as a feature point of an obstacle on the road surface when a feature point is detected in the predicted position on the image coordinates, determining that tracking is successful.
상기 장애물 검출 단계에서는
상기 물리 좌표 기반 추적 단계 및 상기 영상 좌표 기반 추적 단계에 추적에 실패한 특징점 중 추적 이력에 추적 성공이 존재하고, 추적 실패가 설정 횟수 이하인 특징점을 추적 실패가 설정 횟수 이상 반복될 때까지 상기 물리 좌표 기반 추적 단계 및 상기 영상 좌표 기반 추적 단계 중 적어도 하나를 반복하는 사각 지대 탐색 방법.The method of claim 11,
In the obstacle detection step
Among the feature points that fail to track in the physical coordinate-based tracking step and the image coordinate-based tracking step, tracking success exists in the tracking history, and the tracking failure is less than a set number of times, until the tracking failure is repeated more than a set number of times. A blind spot search method for repeating at least one of a tracking step and the image coordinate-based tracking step.
상기 에지 검출 단계에서는 후방 카메라의 왜곡을 반영한 기준선 맵을 근거로 상기 후방 카메라 이미지로부터 에지를 검출하는 사각 지대 탐색 방법.The method of claim 11,
In the edge detection step, a blind spot search method for detecting an edge from the rear camera image based on a baseline map reflecting the distortion of the rear camera.
상기 알림 단계는,
상기 장애물 검출 단계의 장애물 검출 결과에 가중치를 곱한 값과 상기 에지 검출 단계에 가중치에 가중치를 곱한 값을 합산한 합산값을 산출하는 단계; 및
상기 합산값이 임계값 이상이면 BSD 경고를 발생하는 단계를 포함하는 사각 지대 탐색 방법.The method of claim 11,
The notification step,
Calculating a sum value obtained by summing a value obtained by multiplying an obstacle detection result in the obstacle detection step by a weight and a value obtained by multiplying a weight by a weight in the edge detection step; And
And generating a BSD warning if the sum is equal to or greater than a threshold value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190020335A KR102184418B1 (en) | 2019-02-21 | 2019-02-21 | Apparatus and method for detecting blind spot |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190020335A KR102184418B1 (en) | 2019-02-21 | 2019-02-21 | Apparatus and method for detecting blind spot |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200102564A true KR20200102564A (en) | 2020-09-01 |
KR102184418B1 KR102184418B1 (en) | 2020-12-01 |
Family
ID=72450847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190020335A KR102184418B1 (en) | 2019-02-21 | 2019-02-21 | Apparatus and method for detecting blind spot |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102184418B1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220036392A (en) | 2020-09-14 | 2022-03-23 | 주식회사 옐로나이프 | The Method and Apparatus for Preventing Accident in Children's Safety Zone |
KR102454599B1 (en) * | 2021-05-26 | 2022-10-17 | 포티투닷 주식회사 | Method and apparatus for determining the position of an object on a lane map |
WO2022250480A1 (en) * | 2021-05-26 | 2022-12-01 | 포티투닷 주식회사 | Method and device for determining location of object in lane map |
CN116863439A (en) * | 2023-06-01 | 2023-10-10 | 中国航空油料集团有限公司 | Method, device and system for predicting dead zone of aviation oil filling vehicle and aviation oil filling vehicle |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120076999A (en) * | 2010-12-30 | 2012-07-10 | 주식회사 와이즈오토모티브 | Apparatus and method for measurementing distance of vehicle |
JP2015143946A (en) * | 2014-01-31 | 2015-08-06 | 富士通株式会社 | Moving object detection and tracking apparatus, moving object detection and tracking system, moving object detection and tracking method and program |
KR101745015B1 (en) | 2011-11-29 | 2017-06-08 | 현대자동차주식회사 | Apparatus and method for controlling obstacle sensing zone |
JP2017529517A (en) * | 2014-06-27 | 2017-10-05 | コノート、エレクトロニクス、リミテッドConnaught Electronics Ltd. | Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car |
KR20180040183A (en) * | 2016-10-11 | 2018-04-20 | 주식회사 피엘케이 테크놀로지 | Moving objects collision warning apparatus and method for large vehicle |
JP2019016116A (en) * | 2017-07-05 | 2019-01-31 | クラリオン株式会社 | Outside recognition device for vehicle |
-
2019
- 2019-02-21 KR KR1020190020335A patent/KR102184418B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120076999A (en) * | 2010-12-30 | 2012-07-10 | 주식회사 와이즈오토모티브 | Apparatus and method for measurementing distance of vehicle |
KR101745015B1 (en) | 2011-11-29 | 2017-06-08 | 현대자동차주식회사 | Apparatus and method for controlling obstacle sensing zone |
JP2015143946A (en) * | 2014-01-31 | 2015-08-06 | 富士通株式会社 | Moving object detection and tracking apparatus, moving object detection and tracking system, moving object detection and tracking method and program |
JP2017529517A (en) * | 2014-06-27 | 2017-10-05 | コノート、エレクトロニクス、リミテッドConnaught Electronics Ltd. | Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car |
KR20180040183A (en) * | 2016-10-11 | 2018-04-20 | 주식회사 피엘케이 테크놀로지 | Moving objects collision warning apparatus and method for large vehicle |
JP2019016116A (en) * | 2017-07-05 | 2019-01-31 | クラリオン株式会社 | Outside recognition device for vehicle |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220036392A (en) | 2020-09-14 | 2022-03-23 | 주식회사 옐로나이프 | The Method and Apparatus for Preventing Accident in Children's Safety Zone |
KR102454599B1 (en) * | 2021-05-26 | 2022-10-17 | 포티투닷 주식회사 | Method and apparatus for determining the position of an object on a lane map |
WO2022250480A1 (en) * | 2021-05-26 | 2022-12-01 | 포티투닷 주식회사 | Method and device for determining location of object in lane map |
KR20220159868A (en) * | 2021-05-26 | 2022-12-05 | 포티투닷 주식회사 | Method and apparatus for performing lane fitting |
CN116863439A (en) * | 2023-06-01 | 2023-10-10 | 中国航空油料集团有限公司 | Method, device and system for predicting dead zone of aviation oil filling vehicle and aviation oil filling vehicle |
CN116863439B (en) * | 2023-06-01 | 2024-01-30 | 中国航空油料集团有限公司 | Method, device and system for predicting dead zone of aviation oil filling vehicle and aviation oil filling vehicle |
Also Published As
Publication number | Publication date |
---|---|
KR102184418B1 (en) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102184418B1 (en) | Apparatus and method for detecting blind spot | |
US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
US11763571B2 (en) | Monocular cued detection of three-dimensional structures from depth images | |
EP3007099B1 (en) | Image recognition system for a vehicle and corresponding method | |
Zhao et al. | A novel multi-lane detection and tracking system | |
EP3576008B1 (en) | Image based lane marking classification | |
US7327855B1 (en) | Vision-based highway overhead structure detection system | |
KR101188588B1 (en) | Monocular Motion Stereo-Based Free Parking Space Detection Apparatus and Method | |
JP3367170B2 (en) | Obstacle detection device | |
US8670592B2 (en) | Clear path detection using segmentation-based method | |
EP3403216B1 (en) | Systems and methods for augmenting upright object detection | |
EP1391845B1 (en) | Image based object detection apparatus and method | |
JP2008219063A (en) | Apparatus and method for monitoring vehicle's surrounding | |
CN103123687A (en) | Fast obstacle detection | |
CN107004250B (en) | Image generation device and image generation method | |
KR20180092765A (en) | Apparatus and method for identifying lanes by using top view image | |
Labayrade et al. | A reliable and robust lane detection system based on the parallel use of three algorithms for driving safety assistance | |
KR102184431B1 (en) | Apparatus and method for detecting blind spot | |
KR20180047149A (en) | Apparatus and method for risk alarming of collision | |
KR20190134303A (en) | Apparatus and method for image recognition | |
US11257375B2 (en) | Method and system for detecting objects in a vehicle blind spot | |
JP2023511454A (en) | Debris detection in vehicle lanes | |
Kim et al. | An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing | |
RU2768692C1 (en) | Vehicle traffic control method and traffic control device | |
US20240153106A1 (en) | Object tracking device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |