KR20190060341A - Radar-camera fusion system and target detecting method using the same - Google Patents

Radar-camera fusion system and target detecting method using the same Download PDF

Info

Publication number
KR20190060341A
KR20190060341A KR1020170158437A KR20170158437A KR20190060341A KR 20190060341 A KR20190060341 A KR 20190060341A KR 1020170158437 A KR1020170158437 A KR 1020170158437A KR 20170158437 A KR20170158437 A KR 20170158437A KR 20190060341 A KR20190060341 A KR 20190060341A
Authority
KR
South Korea
Prior art keywords
target
distance
radar
predicted
processing unit
Prior art date
Application number
KR1020170158437A
Other languages
Korean (ko)
Other versions
KR102042438B1 (en
Inventor
현유진
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020170158437A priority Critical patent/KR102042438B1/en
Publication of KR20190060341A publication Critical patent/KR20190060341A/en
Application granted granted Critical
Publication of KR102042438B1 publication Critical patent/KR102042438B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

According to the present invention, a radar and camera fusion system and a target detection method using the same comprises of: a radar processing unit which combines an angle prediction value fed back by an image processing unit with an angle prediction value of a target of first prediction information pre-predicted in a previous time interval for the current time interval, and performs a modification calculation, combines the modified first prediction information with first detection information to provide estimation information on the distance, velocity, and angle of the target with the minimum error, when obtaining the first detection information on the target in the current time interval from a signal received by a radar; and the image processing unit for setting a region of interest in an image on the basis of the received estimation information, combines a distance prediction value fed back by the radar processing unit with a y-axis distance prediction value of the target of second prediction information pre-predicted in the previous time interval for the current time interval and performs a modification calculation, combines the modified second prediction information with second detection information to provide estimation information on the x-axis distance, y-axis distance, and velocity of the target with the minimum error, when obtaining the second detection information on the target in the current time interval in the region of interest. Thus, the object recognition rate as well as the detection performance of the target can be increased by fusing the advantages of the radar and the camera.

Description

레이더 및 카메라 융합 시스템 및 그것을 이용한 타겟 탐지 방법{Radar-camera fusion system and target detecting method using the same}[Technical Field] The present invention relates to a radar-camera fusion system and a target detection method using the same,

본 발명은 레이더 및 카메라 융합 시스템 및 그것을 이용한 타겟 탐지 방법에 관한 것으로서, 보다 상세하게는 레이더와 카메라의 장점을 융합하여 타겟 탐지 성능을 높일 수 있는 레이더 및 카메라 융합 시스템 및 그것을 이용한 타겟 탐지 방법에 관한 것이다.The present invention relates to a radar and camera convergence system and a target detection method using the same, and more particularly, to a radar and camera convergence system capable of enhancing target detection performance by combining merits of a radar and a camera, and a target detection method using the system will be.

현재 지능형 자동차에서 가장 중요한 요소 중 하나는 외부 환경을 인식하는 센서이며, 그 중에서 주로 카메라 센서(이하, 카메라)와 레이더 센서(이하, 레이더)가 사용된다.One of the most important elements in the current intelligent automobile is a sensor recognizing the external environment, and a camera sensor (hereinafter, camera) and a radar sensor (hereinafter, radar) are mainly used.

카메라는 사물의 이미지를 기반으로 객체를 탐지하기 때문에 사람의 눈과 흡사하다는 장점이 있지만, 조명 및 날씨 등의 외부 환경에 민감하다. 아울러, 카메라는 원근법에 의해 거리를 추정하므로 거리(y축상 위치)의 정확도가 떨어진다. 더욱이, 프레임의 시간 차이에 따른 거리 변화량을 이용하여 속도를 추정하다 보니, 비록 칼만 필터와 같은 정교한 추적 필터(Tracking filter)를 사용한다고 해도 한계가 있다.Because cameras detect objects based on images of objects, they have the advantage of being similar to human eyes, but are sensitive to external environments such as lighting and weather. In addition, the camera estimates the distance by perspective, which reduces the accuracy of the distance (position on the y-axis). Further, when estimating the velocity using the distance variation due to the time difference of the frame, it is difficult to use a sophisticated tracking filter such as a Kalman filter.

이처럼 카메라는 타겟의 거리(y축상 위치) 및 속도 검출의 정확도가 떨어지는 단점이 있다. 그럼에도 불구하고, 특징(feature) 형태로 주변 환경이 센싱되기 때문에, 타겟의 횡방향 거리(x축상 위치) 또는 타겟의 각도 위치를 레이더 보다 정확하게 탐지할 수 있는 이점이 있다.As described above, the camera is disadvantageous in that the distance of the target (position on the y-axis) and the accuracy of the speed detection are poor. Nevertheless, there is an advantage that the lateral distance (position on the x-axis) or the angular position of the target can be detected more accurately than the radar because the surrounding environment is sensed in feature form.

도 1은 일반적인 카메라 기반의 객체 탐지 기술을 설명하는 도면이다. 1 is a diagram illustrating a general camera-based object detection technique.

도 1에 나타낸 것과 같이, 카메라 기반의 객체 탐지 시스템은 객체 탐지단(10), 객체 추적단(20), 객체 인식단(30)을 포함하여, 카메라 기반의 객체 탐지/추적/인식을 수행한다.As shown in FIG. 1, a camera-based object detection system performs camera-based object detection / tracking / recognition including an object detection unit 10, an object tracking unit 20, and an object recognition unit 30 .

객체 탐지단(10)은 카메라의 수신 영상으로부터 객체의 탐지 정보(X-거리, Y-거리)를 획득하여 객체 추적단(20)에 제공하며, 영상으로부터 관심 영역의 이미지를 추출하여 객체 인식단(30)에 제공한다.The object detection unit 10 obtains the detection information (X-distance, Y-distance) of the object from the received image of the camera and provides it to the object tracking unit 20, extracts the image of the region of interest from the image, (30).

객체 추적단(20)은 객체 탐지단(10)이 보낸 탐지 정보를 이용하여 관심 객체가 움직이는 경로를 찾아내며, 객체 탐지단(10)이 보낸 탐지 정보의 오차를 최소화하는 부분으로, 오차가 최소화된 최종 정보(X-거리, Y-거리, 속도)를 출력한다. The object tracking unit 20 detects the moving path of the object of interest using the detection information sent from the object detection unit 10 and minimizes the error of the detection information sent from the object detection unit 10, (X-distance, Y-distance, speed).

객체 인식단(30)은 객체 탐지단(10)으로부터 입력된 관심 객체 이미지를 이용하여 객체의 종류(보행자, 차량, 이륜차 등)을 인식한다.The object recognition unit 30 recognizes the object type (pedestrian, vehicle, two-wheeled vehicle, etc.) using the object image of interest input from the object detection unit 10. [

객체 탐지단(10) 내 관심 영역 검색기(11)는 이미지 내 관심 객체의 위치를 파악하기 위해 이미지 전체를 스캔한다. 관심 객체 추출기(12)는 스캔 결과 관심 객체가 위치한 관심 영역을 추출하여 제공하고, 관심 객체 거리 계산기(13)는 관심 영역 내 관심 객체의 위치 정보(X-거리, Y-거리)를 추출하여 객체 추적단(20)에 전달한다.The region of interest detector 11 in the object detection unit 10 scans the entire image to locate the object of interest in the image. The interest object extractor 12 extracts and provides a region of interest in which the interested object is located, and the region of interest calculator 13 extracts the location information (X-distance, Y-distance) To the tracking stage 20.

객체 추적단(20) 내 연관 결합기(21)는 이전 프레임에서 미리 계산해 둔 현재 프레임의 타겟에 대한 예측 정보(X-거리, Y-거리, 속도)와 현재 객체 탐지단(10)으로부터 입력받은 탐지 정보를 페어링(Pairing) 한다. 여기서, 최초 탐지 타겟에 대한 탐지 정보는 기 설정된 예측 초기값과 페어링하도록 한다.The association combiner 21 in the object tracking unit 20 calculates prediction information (X-distance, Y-distance, velocity) about the target of the current frame that has been calculated in the previous frame and detection Pair the information. Here, the detection information on the initial detection target is paired with a predetermined initial prediction value.

추적 필터(22)는 다음 프레임을 위하여, 현재 프레임에서 타겟의 예측 정보(X-거리, Y-거리, 속도)를 미리 계산해 두고 이를 한프레임 지연기(23)로 보낸다. 아울러, 추적 필터(22)는 연관 결합기(21)에서 페어링된 정보인 현재 프레임의 탐지 정보와 예측 정보를 조합하여, 오차가 최소화된 객체 추정 정보(X-거리, Y-거리, 속도)를 출력한다. The tracking filter 22 calculates the prediction information (X-distance, Y-distance, speed) of the target in the current frame in advance for the next frame and sends it to the one-frame retarder 23. In addition, the tracking filter 22 combines the detection information and the prediction information of the current frame, which is the information paired in the associative combiner 21, and outputs object estimation information (X-distance, Y-distance, speed) do.

한프레임 지연기(23)는 추적 필터(22)가 '현재 프레임'에 미리 계산해둔 '다음 프레임'의 타겟 예측 정보를 '현재 프레임'보다 한프레임 지연시켜 연관 결합기(21)로 제공한다. 이에 따라, 추적 필터(22)가 '현재 프레임'에 미리 계산해 둔 '다음 프레임'의 타겟 예측 정보가 '다음 프레임'에 입력되는 탐지 정보와 페어링 될 수 있도록 한다.The one frame delay unit 23 delays the target prediction information of the 'next frame' previously calculated by the tracking filter 22 in the 'current frame' by one frame delayed from the 'current frame' to the associative combiner 21. This allows the tracking filter 22 to pair the target prediction information of the 'next frame' previously calculated in the 'current frame' with the detection information input in the 'next frame'.

객체 인식단(30) 내 특징 벡터 추출기(31)는 관심 영역에서 특징벡터를 추출하고, 객체 분류기(32)는 현재 프레임에서 추출된 특징 벡터를 특징 벡터 DB(33) 내 정보와 비교하여 객체의 종류(사람, 차량 등)를 확정하여 출력한다.The feature vector extractor 31 in the object recognition unit 30 extracts a feature vector from the region of interest and the object classifier 32 compares the feature vector extracted in the current frame with the information in the feature vector DB 33, The type (person, vehicle, etc.) is confirmed and output.

카메라 센서와는 달리, 레이더 센서는 송신 신호가 타겟에서 반사되어 도착한 시간 차를 기반으로 타겟의 거리 값을 획득하므로, 다른 센서들보다 높은 거리 정확도를 가진다. 또한, 레이더는 카메라보다 외부 환경에 강인하고, 타겟의 거리와 속도를 정확하게 탐지할 수 있는 장점이있다.Unlike the camera sensor, the radar sensor acquires the distance value of the target based on the time difference when the transmitted signal is reflected from the target, so it has higher distance accuracy than other sensors. In addition, the radar is robust to the external environment than the camera, and has the advantage of accurately detecting the distance and speed of the target.

그러나, 레이더는 타겟의 각도 탐지 성능이 떨어지고, 횡방향으로 이동하는 타겟을 탐지하는데 어려움이 존재한다. 레이더 역시 각도 정보의 오차를 향상 시키기 위해 칼만 필터와 같은 추적 필터를 사용하지만, 물리적인 한계에 오차가 많을 수 밖에 없다. 아울러, 타겟의 종류를 분류하는 인식률도 매우 낮으므로, 타겟 종류별 맞춤형 알고리즘을 사용해야 한다. However, the radar has poor angular detection performance of the target, and there is a difficulty in detecting the target moving in the lateral direction. The radar also uses a tracking filter like the Kalman filter to improve the error of the angular information, but there is a lot of error in the physical limit. In addition, since the recognition rate for classifying the target type is very low, it is necessary to use a custom algorithm for each target type.

도 2는 일반적인 레이더 기반의 객체 탐지 기술을 설명하는 도면이다. 2 is a diagram illustrating a general radar-based object detection technique.

도 2에 나타낸 것과 같이, 레이더 기반의 객체 탐지 시스템은 객체 탐지단(40), 객체 추적단(50)을 포함하여, 레이더 기반의 객체 탐지/추적을 수행한다.As shown in FIG. 2, a radar-based object detection system includes an object detection stage 40 and an object tracking stage 50 to perform radar-based object detection / tracking.

객체 탐지단(40)은 레이더 수신 신호로부터 객체의 탐지 정보(거리, 각도, 속도)를 추출하여 객체 추적단(50)에 제공한다. 객체 추적단(50)은 객체 탐지단(40)이 보낸 탐지 정보를 이용하여 관심 객체가 움직이는 경로를 찾아내며, 객체 탐지단(40)이 보낸 탐지 정보의 오차를 최소화하는 부분으로, 오차가 최소화된 최종 정보(거리, 각도, 속도)를 출력한다. The object detection unit 40 extracts detection information (distances, angles, and velocities) of the object from the radar received signals and provides the information to the object tracking unit 50. The object tracking unit 50 detects the moving path of the object of interest using the detection information sent by the object detection unit 40 and minimizes the error of the detection information sent by the object detection unit 40. The object tracking unit 50 minimizes the error (Distances, angles, and speeds).

객체 탐지단(40) 내 3D 맵 생성기(41)는 수신 신호의 푸리에 변환 및 디지털 빔포밍을 통해, 거리-주파수 스펙트럼, 도플러 스펙트럼, 각도 스펙트럼을 생성한다. 객체 여부 판단기(42)는 3D 맵으로부터 기준 신호 크기 이상인 셀들의 정보로부터 객체의 탐지 정보(거리, 속도, 각도)를 추출하여 객체 추적단(50)에 전달한다. 기준 신호 생성기(43)는 객체를 탐지하기 위한 신호 크기인 기준 신호를 생성하는 부분이다.The 3D map generator 41 in the object detection stage 40 generates the distance-frequency spectrum, the Doppler spectrum, and the angle spectrum through the Fourier transform and the digital beamforming of the received signal. The object existence determiner 42 extracts detection information (distance, speed, and angle) of the object from the information of cells having a reference signal size or more from the 3D map and transmits the detection information to the object tracking unit 50. The reference signal generator 43 generates a reference signal, which is a signal size for detecting an object.

객체 추적단(50) 내 연관 결합기(51)는 이전 프레임에서 미리 계산해 둔 현재 프레임의 타겟에 대한 예측 정보(거리, 각도, 속도)와 현재 객체 탐지단(40)으로부터 입력받은 탐지 정보를 페어링(Pairing) 한다. 이때, 최초 탐지 타겟에 대한 탐지 정보는 기 설정된 예측 초기값과 페어링하도록 한다.The associative combiner 51 in the object tracking stage 50 performs a pairing of the prediction information (distances, angles, and velocities) for the target of the current frame that has been previously calculated in the previous frame and the detection information input from the current object detection stage 40 Pairing. At this time, the detection information for the initial detection target is paired with a predetermined initial prediction value.

추적 필터(52)는 다음 프레임을 위하여, 현재 프레임에서 타겟의 예측 정보(거리, 각도, 속도)를 미리 계산해 두고 이를 한프레임 지연기(53)로 보낸다. 아울러, 추적 필터(52)는 연관 결합기(51)에서 페어링된 정보인 현재 프레임의 탐지 정보와 예측 정보를 조합하여, 오차가 최소화된 객체 추정 정보(거리, 각도, 속도)를 출력한다.The tracking filter 52 calculates the prediction information (distance, angle, speed) of the target in the current frame in advance for the next frame and sends it to the one-frame delay unit 53. In addition, the tracking filter 52 combines the detection information and the prediction information of the current frame, which is the information paired in the associative combiner 51, and outputs object estimation information (distance, angle, speed) with minimized error.

한프레임 지연기(53)는 추적 필터(52)가 '현재 프레임'에 미리 계산해둔 '다음 프레임'의 타겟 예측 정보를 '현재 프레임'보다 한프레임 지연시켜 연관 결합기(51)로 제공한다. 이에 따라, 추적 필터(52)가 '현재 프레임'에 미리 계산해 둔 '다음 프레임'의 타겟 예측 정보가 '다음 프레임'에 입력되는 탐지 정보와 페어링 될 수 있도록 한다.The one-frame delay 53 provides the target predictive information of the 'next frame' previously calculated by the tracking filter 52 to the 'current frame', to the associated combiner 51 after one frame delay from the 'current frame'. This allows the tracking filter 52 to pair the target prediction information of the 'next frame' previously calculated in the 'current frame' with the detection information input in the 'next frame'.

현재 카메라와 레이더 센서의 장점을 부각시키고 단점을 극복하기 위해 센서 융합이 각광을 받고 있다. 대표적인 방법은 레이더 처리단으로부터 추출된 관심 객체 정보(거리, 속도, 각도)를 영상 처리단으로 입력하고, 영상 처리단은 입력받은 관심 객체 정보를 이용하여 전체 이미지에서 해당 관심 객체의 영역만 잘라서 신호 처리를 진행한다.In order to overcome the disadvantages of cameras and radar sensors, sensor fusion is getting popular. A typical method is to input information of interest (distance, velocity, angle) extracted from the radar processing unit to the image processing unit, and the image processing unit cuts only the region of the interested object in the entire image using the inputted interest object information, The process proceeds.

하지만, 여전히 레이더 센서는 객체의 각도 정보를 부정확하게 제공하기 때문에, 영상 처리단에서 이를 이용하여 관심 범위를 정할 경우 오차가 발생할 수 밖에 없으며, 영상 센서 역시 여전히 객체의 거리와 속도 정보를 부정확하게 추출하는 문제가 있다. 아울러, 레이더 센서는 객체의 종류를 여전히 알 수 없기 때문에 맞춤형 알고리즘도 적용할 수가 없다. However, since the radar sensor still provides the angle information of the object inaccurately, an error occurs when the range of interest is determined by using the image processing unit, and the image sensor is still incorrectly extracting the distance and velocity information of the object There is a problem. In addition, custom algorithms can not be applied because radar sensors still do not know the type of object.

본 발명의 배경이 되는 기술은 한국등록특허 제1030317호(2011.04.19 공고)에 개시되어 있다.The technology of the background of the present invention is disclosed in Korean Patent No. 1030317 (published on April 19, 2011).

본 발명은, 레이더와 카메라의 장점을 융합하여 타겟 탐지 성능을 높일 수 있는 레이더 및 카메라 융합 시스템 및 그것을 이용한 타겟 탐지 방법을 제공하는데 목적이 있다.An object of the present invention is to provide a radar and camera convergence system capable of enhancing target detection performance by blending the merits of a radar and a camera, and a target detection method using the same.

본 발명은, 레이더의 수신 신호로부터 현재 시간구간의 타겟의 거리, 속도, 각도를 포함한 제1 탐지 정보를 획득하면, 이전 시간구간에 기 예측한 현재 시간구간에 대한 제1 예측 정보인 타겟의 거리, 속도, 각도 예측값 중 각도 예측값을 영상 처리단이 피드백한 각도 예측값과 조합하여 수정 연산하고, 상기 제1 탐지 정보 및 수정한 제1 예측 정보를 조합하여 오차가 최소화된 타겟의 거리, 속도, 각도의 추정 정보를 제공하는 레이더 처리단, 및 상기 제공받은 추정 정보를 기초로 카메라의 영상 내 관심 영역을 설정하고, 상기 관심 영역 내에서 현재 시간구간의 타겟의 x축, y축 거리를 포함한 제2 탐지 정보를 획득하면, 이전 시간구간에 기 예측한 현재 시간구간에 대한 제2 예측 정보인 타겟의 x축, y축 거리, 속도 예측값 중 y축 거리 예측값을 상기 레이더 처리단이 피드백한 거리 예측값과 조합하여 수정 연산하고, 상기 제2 탐지 정보 및 수정한 제2 예측 정보를 조합하여 오차가 최소화된 타겟의 x축, y축 거리, 속도의 추정 정보를 최종 추정하여 출력하는 영상 처리단을 포함하는 레이더 및 카메라 융합 시스템을 제공한다.In the present invention, when the first detection information including the distance, velocity, and angle of the target of the current time interval is obtained from the received signal of the radar, the first detection information including the target distance A velocity, and an angle of a target with an error minimized by combining the first detection information and the corrected first prediction information, And a second processing unit for setting a region of interest in the image of the camera based on the provided estimation information, and a second region including a x-axis and a y-axis distance of a target of a current time region in the region of interest, When the detection information is obtained, the y-axis distance predicted value among the x-axis, y-axis distance, and velocity estimation value of the target, which is the second prediction information for the current time interval predicted in the previous time interval, Estimating the estimated information of the x-axis, y-axis distance, and velocity of the target whose error is minimized by combining the second detection information and the corrected second prediction information, And a radar and a camera convergence system including an image processing stage for outputting images.

또한, 상기 레이저 처리단은, 상기 각도 예측값을 수정 연산 시, 상기 이전 시간구간에 기 예측한 현재 시간구간의 각도 예측값보다 상기 영상 처리단이 상기 이전 시간구간에 기 예측하여 피드백한 각도 예측값에 더욱 높은 가중치를 부여할 수 있다.The laser processing unit may further include an angular prediction value feedback unit that predicts the angular prediction value of the current time interval predicted by the image processing unit in the previous time interval, A high weight can be given.

또한, 상기 영상 처리단이 피드백한 각도 예측값은, 상기 영상 처리단이 상기 이전 시간구간에 기 예측한 타겟의 x축 거리 예측값을 타겟의 각도 값으로 변환하여 피드백한 값일 수 있다.The angle prediction value fed back by the image processing unit may be a value obtained by converting the predicted value of the x-axis distance of the target estimated by the image processing unit in the previous time interval into an angle value of the target and feeding back the angle value.

또한, 상기 영상 처리단은, 상기 y축 거리 예측값을 수정 연산 시, 상기 이전 시간구간에 기 예측한 현재 시간구간의 y축 거리 예측값보다 상기 레이더 처리단이 상기 이전 시간구간에 기 예측하여 피드백한 거리 예측값에 더욱 높은 가중치를 부여할 수 있다.Also, the image processing unit estimates the y-axis distance in the previous time period based on the y-axis distance predicted value, and estimates the y-axis distance in the previous time period based on the y- A higher weight can be given to the distance prediction value.

또한, 상기 레이더 처리단이 피드백한 거리 예측값은, 상기 레이더 처리단이 상기 이전 시간구간에 기 예측한 타겟의 예측 거리를 타겟의 y축 상의 거리 값으로 변환하여 피드백한 값일 수 있다.The distance predicted value fed back by the radar processing unit may be a value obtained by converting the predicted distance of the target estimated by the radar processing unit in the previous time interval into the distance value on the y axis of the target.

또한, 상기 영상 처리단은, 상기 y축 거리 예측값을 수정 연산 시, 타겟의 속도 예측값을 추가로 수정 연산하되, 상기 영상 처리단이 기 예측한 현재 시간구간의 속도 예측값보다 상기 레이더 처리단이 기 예측하여 피드백한 속도 예측값에 더욱 높은 가중치를 부여할 수 있다.In addition, the image processing unit may perform a correction operation of the target velocity estimation value during the correction operation of the y-axis distance prediction value, wherein the radar processing unit estimates the y- A higher weight value can be given to the speed predicted value that is predicted and fed back.

또한, 상기 레이더 처리단은, 상기 레이더의 수신 신호가 기준 레벨 이상인 위치에 타겟이 존재하는 것으로 판단하여 해당 타겟에 대한 제1 탐지 정보를 획득하고, 상기 기준 레벨은, 상기 타겟의 종류에 따라 달리 설정되되, 상기 타겟이 사람인 경우 차량인 경우보다 낮은 레벨로 설정될 수 있다.The radar processing unit may determine that a target exists at a position where the received signal of the radar is greater than or equal to a reference level to acquire first detection information for the target, But may be set to a lower level than when the target is a person if the target is a person.

또한, 상기 영상 처리단은, 상기 관심 영역 내 상기 타겟의 특징 정보를 기초로 상기 타겟의 종류를 인식하고, 상기 인식한 타겟의 종류에 관한 정보를 상기 레이더 처리단에 제공할 수 있다.The image processing unit may recognize the type of the target based on the feature information of the target in the area of interest and provide the radar processing unit with information on the type of the recognized target.

그리고, 본 발명은, 레이더 및 카메라 융합 시스템을 이용한 타겟 탐지 방법에 있어서, 레이저 처리단은 레이더의 수신 신호로부터 현재 시간구간의 타겟의 거리, 속도, 각도를 포함한 제1 탐지 정보를 획득하고, 영상 처리단은 카메라의 영상 내 관심 영역에서 현재 시간구간의 타겟의 x축, y축 거리를 포함한 제2 탐지 정보를 획득하는 단계와, 상기 레이저 처리단은 이전 시간구간에 기 예측한 현재 시간구간에 대한 제1 예측 정보인 타겟의 거리, 속도, 각도 예측값 중 각도 예측값을 상기 영상 처리단이 이전 시간구간에 기 예측하여 피드백한 각도 예측값과 조합하여 수정 연산하고, 상기 영상 처리단은 이전 시간구간에 기 예측한 현재 시간구간에 대한 제2 예측 정보인 타겟의 x축, y축 거리, 속도 예측값 중 y축 거리 예측값을 상기 레이더 처리단이 이전 시간구간에 기 예측하여 피드백한 거리 예측값과 조합하여 수정 연산하는 단계, 및 상기 레이저 처리단은 상기 제1 탐지 정보 및 수정한 제1 예측 정보를 조합하여 오차가 최소화된 타겟의 거리, 속도, 각도의 추정 정보를 상기 영상 처리단에 제공하고, 상기 영상 처리단은 상기 제2 탐지 정보 및 수정한 제2 예측 정보를 조합하여 오차가 최소화된 타겟의 x축, y축 거리, 속도의 추정 정보를 최종 추정하여 출력하는 단계를 포함하며, 상기 영상 처리단은 상기 제공받은 추정 정보를 기초로 상기 영상 내 상기 관심 영역을 설정하는 타겟 탐지 방법을 제공한다.According to another aspect of the present invention, there is provided a target detection method using a radar and a camera fusion system, wherein the laser processing end obtains first detection information including a distance, a speed, and an angle of a target of a current time interval from a received signal of the radar, The processing step includes obtaining second detection information including an x-axis and a y-axis distance of a target of a current time interval in a region of interest in the image of the camera, and the laser processing step includes: And an angular prediction value of the target distance, velocity, and angular prediction value, which is the first prediction information for the image processing unit, in combination with the angular prediction value predicted by the image processing unit in the previous time interval and fed back, The y-axis distance predicted value among the x-axis, y-axis distance, and speed predicted value of the target, which is the second predictive information about the predicted current time interval, A step of performing a correction operation in combination with a distance predicted value that is predicted and fed back in a time interval, and the laser processing stage combines the first detection information and the corrected first prediction information to calculate a distance, And the image processing unit combines the second detection information and the corrected second prediction information to obtain estimation information of the x-axis, y-axis distance, and velocity of the target with the minimum error, Estimating and outputting the estimated region information, and the image processing unit provides the target detection method for setting the region of interest in the image based on the provided estimated information.

본 발명에 따른 레이더 및 카메라 융합 시스템에 따르면, 레이더와 카메라의 장점을 융합하여 타겟의 탐지 성능은 물론 객체 인식률을 높일 수 있는 효과를 제공한다.According to the radar and camera fusion system of the present invention, the merits of the radar and the camera are fused to provide an effect of increasing the object recognition rate as well as the detection performance of the target.

도 1은 일반적인 카메라 기반의 객체 탐지 기술을 설명하는 도면이다.
도 2는 일반적인 레이더 기반의 객체 탐지 기술을 설명하는 도면이다.
도 3은 본 발명의 실시예에 따른 레이더 및 카메라 융합 기반의 타겟 탐지 기술의 개념을 설명하는 도면이다.
도 4는 본 발명의 실시예에 따른 레이더 및 카메라 융합 시스템의 구성을 나타낸 도면이다.
도 5는 도 4의 시스템을 이용한 타겟 탐지 방법을 설명하는 도면이다.1 is a diagram illustrating a general camera-based object detection technique.
2 is a diagram illustrating a general radar-based object detection technique.
3 is a view for explaining the concept of a target detection technique based on a radar and a camera fusion according to an embodiment of the present invention.
4 is a diagram illustrating a configuration of a radar and a camera fusion system according to an embodiment of the present invention.
5 is a view for explaining a target detection method using the system of FIG.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.

도 3은 본 발명의 실시예에 따른 레이더 및 카메라 융합 기반의 타겟 탐지 기술의 개념을 설명하는 도면이다. 3 is a view for explaining the concept of a target detection technique based on a radar and a camera fusion according to an embodiment of the present invention.

이러한 도 3은 본 발명의 실시예에 따른 시스템을 장착한 차량이 레이더와 카메라 센서의 탐지 정보를 융합한 결과를 기초로, 상대 차량(타겟)의 거리 및 각도 위치를 정확도 있게 탐지하는 모습을 나타낸다.3 shows a state in which the vehicle equipped with the system according to the embodiment of the present invention accurately detects the distance and the angular position of the opponent vehicle (target) based on the result of fusion of the detection information of the radar and the camera sensor .

도 3에서 카메라 센서에 의한 시각 오차 범위(vision error bounds)를 보면, 카메라 센서는 타겟의 횡방향 위치(각도)를 정확하게 추정하는 반면, 거리 오차가 매우 큰 것을 확인할 수 있다. 이처럼, 카메라 센서(이하, 카메라)는 타겟의 횡방향 위치(각도) 탐지 성능은 우수하지만, 거리와 속도 탐지 성능이 낮다.In FIG. 3, when the vision error bounds of the camera sensor is observed, the camera sensor accurately estimates the lateral position (angle) of the target while the distance error is very large. As described above, the camera sensor (hereinafter referred to as a camera) is excellent in detecting the lateral position (angle) of the target, but has low distance and speed detection performance.

레이더 센서의 레이더 오차 범위(radar error bounds)를 보면, 레이더 센서는 타겟의 거리(떨어진 반경)를 정확하게 추정하는 반면, 횡방향 위치(각도)의 추정 오차가 매우 큰 것을 알 수 있다.It can be seen from the radar error bounds of the radar sensor that the radar sensor accurately estimates the distance of the target (the radial distance), while the estimation error of the lateral position (angle) is very large.

이처럼, 레이더 센서(이하, 레이더)는 타겟의 거리 및 속도 탐지 성능은 우수하지만, 각도(횡방향 위치) 탐지 성능이 매우 낮다. 물론 이외에도, 레이더 센서는 객체의 종류(예를 들어, 보행자, 차량, 오토바이)를 분류하는 성능도 매우 낮은 편이다. As described above, the radar sensor (hereinafter, radar) has excellent distance and speed detection performance of the target, but has a very low detection performance in angle (lateral position). Of course, radar sensors also have very low performance in classifying objects (eg, pedestrians, vehicles, motorcycles).

이하의 본 발명의 실시예는 상술한 바와 같은 레이더 및 카메라가 가진 장점을 상호 융합하여 타겟의 탐지 성능은 물론 객체 분류 성능까지 높일 수 있는 기법을 제안한다.The following embodiments of the present invention propose a technique capable of enhancing not only the detection performance but also the object classification performance of the target by mutually fusing the merits of the radar and the camera as described above.

도 4는 본 발명의 실시예에 따른 레이더 및 카메라 융합 시스템의 구성을 나타낸 도면이다.4 is a diagram illustrating a configuration of a radar and a camera fusion system according to an embodiment of the present invention.

본 발명의 실시예에 따른 레이더 및 카메라 융합 시스템(1000)은 크게 레이더 처리단(100) 및 영상 처리단(200)을 포함한다.A radar and camera fusion system 1000 according to an embodiment of the present invention roughly includes a radar processing unit 100 and an image processing unit 200. [

레이더 처리단(100)은 레이더의 수신 신호로부터 타겟의 탐지 정보(거리, 각도, 속도)를 획득한 후 추적 필터(Tracking filter)를 사용하여 탐지 정보의 오차를 최소화한다. 레이더 처리단(100)은 오차가 최소화된 정보인 타겟의 추정 정보(거리, 각도, 속도)를 출력하여 영상 처리단(200)에 제공한다.The radar processing unit 100 obtains target detection information (distance, angle, speed) from the received signal of the radar and then uses a tracking filter to minimize the error of the detection information. The radar processing unit 100 outputs the estimated information (distance, angle, speed) of the target, which is the information with minimized error, and provides it to the image processing unit 200.

영상 처리단(200)은 제공받은 추정 정보를 기초로 영상 내 감시 대상이 되는 관심 영역을 설정하거나 실시간 수정한다. 그리고, 영상 처리단(200)은 영상 내 관심 영역에서 타겟의 탐지 정보(X-거리, Y-거리)를 획득하면 추적 필터를 사용하여 탐지 정보의 오차를 최소화한 후 오차가 최소화된 정보인 타겟의 추정 정보(X-거리, Y-거리, 속도)를 최종 출력한다. 여기서, X-거리는 X축 방향의 거리(이하, X축 거리)나 좌표를 의미하고, Y-거리는 Y축 방향의 거리(이하, Y축 거리)를 의미한다The image processing unit 200 sets an interest area to be monitored in the image or corrects it in real time based on the provided estimation information. The image processing unit 200 obtains the detection information (X-distance, Y-distance) of the target in the region of interest in the image, minimizes the error of the detection information using the tracking filter, (X-distance, Y-distance, speed) of the image data. Here, the X-distance means the distance in the X-axis direction (hereinafter referred to as X-axis distance) and the coordinates, and the Y-distance means the distance in the Y-axis direction

물론, 영상 처리단(200)은 관심 영역 내 타겟의 특징 정보를 추출하고 추출한 특징 정보를 기초로 타겟의 종류(예를 들어, 사람, 차량)를 분류하여 객체 분류 정보를 추가로 최종 출력한다. 이때, 객체 분류 정보는 레이더 처리단(100)으로 전달되어 레이더 처리단(100)에서 타겟의 존재 여부를 판단하기 위한 기준 레벨을 결정하는데 사용될 수 있다.Of course, the image processing unit 200 extracts the feature information of the target in the ROI, classifies the target type (e.g., person, vehicle) based on the extracted feature information, and finally outputs the object classification information. At this time, the object classification information is transmitted to the radar processing unit 100, and can be used to determine a reference level for determining whether the target exists in the radar processing unit 100.

레이더 처리단(100) 및 영상 처리단(200) 각각은 레이더의 수신 신호와 및 영상 신호로부터 각각 획득한 탐지 정보의 오차를 최소화하기 위하여 내부적으로 추적 필터를 사용하고 있다. Each of the radar processing unit 100 and the image processing unit 200 internally uses a tracking filter to minimize the error of the detection signal obtained from the received signal and the video signal of the radar.

추적 필터는 현재 획득한 타겟의 탐지 정보와 이전에 미리 계산(예측) 해둔 현재 값인 타겟의 예측 정보를 조합하여 타겟의 추정 정보를 제공한다. 쉽게 말해서, 추적 필터는 현재 측정치와 예측치의 조합을 통해 현재 측정치가 가진 오차를 보정하여 출력하는 개념에 해당한다. 이때, 추적 필터는 칼만 필터 등을 사용할 수 있다. The tracking filter provides the estimation information of the target by combining the detection information of the currently acquired target with the prediction information of the target which is a previously calculated (presently predicted) current value. In other words, the tracking filter corresponds to the concept of correcting the error of the current measurement value through a combination of the current measurement value and the prediction value. At this time, the tracking filter can use a Kalman filter or the like.

추적 필터를 사용하여 측정치의 오차를 보정하고 타겟을 실시간 추적하는 기술은 기 공지된 기법에 해당하므로 이에 관한 더욱 상세한 설명은 생략한다.The technique of correcting the error of the measurement value using the tracking filter and real-time tracking of the target corresponds to the known technique, so that a detailed description thereof will be omitted.

레이더 처리단(100)은 현재 타겟의 탐지 정보에 대해 추적 필터 적용 시, 자신이 이전에 미리 예측해둔 타겟의 예측 정보 중 거리와 속도 예측값은 그대로 사용하되, '각도 예측값'은 영상 처리단(200)에서 기 예측하여 피드백한 각도 예측값과 조합하여 사용한다.When the tracking filter is applied to the current detection information of the target, the radar processing unit 100 uses the distance and velocity estimation values of the prediction information of the target previously predicted by the radar processing unit 100 as it is, ) And used in combination with the feedback angle predicted value.

레이더 처리단(100)의 탐지 정보와 그 예측 정보는 레이더 기반의 정보이므로 타겟의 각도에 대한 탐지 및 예측 정확도가 낮다. 이 때문에, 타겟의 각도(횡방향 위치; X-거리)에 대한 탐지/예측 정확도가 높은 영상 처리단(200)에서 제공한 예측치를 자신의 예측치와 조합하여 각도 정확도를 높인다. 이때, 자신의 예측치보다 상대측(영상 처리단)의 예측치에 더욱 높은 가중치를 두어 정확도와 신뢰성을 더욱 높인다.Since the detection information and the prediction information of the radar processing unit 100 are radar-based information, the detection and prediction accuracy of the angle of the target is low. Therefore, the accuracy of the angle is increased by combining the predictive value provided by the image processing stage 200 having a high detection / prediction accuracy with respect to the target angle (lateral position: X-distance) with its own predicted value. At this time, a higher weight is assigned to the predicted value of the other side (image processing end) than its own predicted value, thereby further improving the accuracy and reliability.

반대로, 영상 처리단(200)은 현재 타겟의 탐지 정보에 대해 추적 필터 적용 시, 자신이 이전에 미리 예측해둔 타겟의 예측 정보 중 X-거리 예측값은 그대로 사용하되, 'Y-거리 예측값' 및 '속도 예측 값'은 레이더 처리단(100)에서 기 예측하여 피드백한 거리 예측값 및 속도 예측값과 각각 조합하여 사용한다.In contrast, when applying the tracking filter to the current detection information of the target, the image processing unit 200 uses the X-distance predicted value of the prediction information of the target previously predicted by itself, Speed predicted value " is used in combination with the distance predicted value and the speed predicted value that are predicted and fed back in the radar processing stage 100, respectively.

영상 처리단(200)의 탐지 정보와 그 예측 정보는 카메라 영상 기반의 정보이므로 타겟의 Y-거리에 대한 탐지 및 예측 정확도가 낮다. 이 때문에, 타겟의 거리에 대한 탐지/예측 정확도가 높은 레이더 처리단(100)에서 제공한 거리 예측치를 자신의 예측치와 조합하여 Y-거리 정확도를 높인다. 이때, 자신의 예측치보다 상대측(레이더 처리단)의 예측치에 더욱 높은 가중치를 두어 정확도와 신뢰성을 더욱 높인다.Since the detection information and the prediction information of the image processing unit 200 are information based on the camera image, the detection and prediction accuracy of the Y-distance of the target is low. Therefore, the distance predicted value provided by the radar processing stage 100 having a high detection / prediction accuracy with respect to the distance of the target is combined with its own predicted value to increase the Y-distance accuracy. At this time, a higher weight is assigned to the predicted value of the other side (radar processing end) than the predicted value of the other side, thereby further improving the accuracy and reliability.

이때, 영상 처리단(200)과 레이더 처리단(100) 간에는 사용되는 좌표계 또는 기준 위치가 상이하므로 상대측 처리단에 정보를 보낼 때는 좌표 변환 과정이 수반될 수 있음은 자명하다.At this time, since the coordinate system or the reference position used is different between the image processing stage 200 and the radar processing stage 100, it is obvious that a coordinate conversion process may be involved in transmitting information to the other processing stage.

이하에서는 도 4에 도시된 내용을 기초로, 본 발명의 실시예를 더욱 상세히 설명한다. Hereinafter, an embodiment of the present invention will be described in more detail based on the contents shown in FIG.

도 4를 참조하면, 레이더 처리단(100)은 객체 탐지단(110) 및 객체 추적단(120)을 포함하여, 레이더 기반의 객체 탐지/추적을 수행한다.4, the radar processing stage 100 includes an object detection stage 110 and an object tracking stage 120 to perform radar-based object detection / tracking.

레이더 처리단(100)은 레이더의 수신 신호로부터 현재 시간구간의 타겟의 제1 탐지 정보(거리, 속도, 각도)를 획득하면, 이전 시간구간에 기 예측한 현재 시간구간에 대한 제1 예측 정보(거리, 속도, 각도의 예측값) 중 '각도 예측값'을 영상 처리단이 피드백한 각도 예측값과 조합하여 수정 연산한다.When the radar processing unit 100 obtains the first detection information (distance, velocity, and angle) of the target of the current time interval from the received signal of the radar, the radar processing unit 100 obtains first prediction information The predicted value of the distance, the velocity and the angle) is combined with the angle predicted value fed back by the image processing unit and corrected.

그리고, 레이더 처리단(100)은 수정한 제1 예측 정보 및 제1 탐지 정보를 추적 필터에서 조합하여 오차가 최소화된 타겟의 추정 정보(거리, 속도, 각도)를 출력한다. 이때, 타겟의 추정 정보 즉, 추정 위치는 영상 처리단(200)으로 제공되어 영상 내 탐지 대상 영역인 관심 영역을 지정하는데 사용될 수 있다.Then, the radar processing unit 100 outputs the estimated information (distance, velocity, and angle) of the target in which the error is minimized by combining the corrected first prediction information and the first detection information in the tracking filter. In this case, the estimated information of the target, that is, the estimated position may be provided to the image processing unit 200 and used to designate a region of interest as a detection target region in the image.

레이더 처리단(100)의 구성을 좀더 상세히 설명하면 다음과 같다. The configuration of the radar processing unit 100 will be described in more detail as follows.

우선, 객체 탐지단(110)은 레이더 수신 신호로부터 타겟의 탐지 정보(거리, 속도, 각도)를 검출하여 객체 추적단(120)에 제공한다. First, the object detection unit 110 detects the detection information (distance, velocity, angle) of the target from the radar received signal and provides it to the object tracking unit 120.

구체적으로, 객체 탐지단(110) 내 3D 맵 생성기(111)는 레이더 수신 신호의 푸리에 변환과 디지털 빔포밍을 통해, 거리-주파수 스펙트럼, 도플러 스펙트럼, 각도 스펙트럼을 생성한다. 디지털 빔포밍을 통한 스펙트럼 생성은 기 공지된 기법에 해당하므로 상세한 설명은 생략한다.Specifically, the 3D map generator 111 in the object detection stage 110 generates the distance-frequency spectrum, the Doppler spectrum, and the angle spectrum through the Fourier transform of the radar received signal and the digital beamforming. Spectrum generation through digital beamforming corresponds to a well-known technique, and a detailed description thereof will be omitted.

객체 여부 판단기(112)는 3D 맵으로부터 기준 신호 크기(기준 레벨) 이상인 셀들의 정보를 추출하고 추출한 정보로부터 타겟의 제1 탐지 정보(거리, 속도, 각도)를 획득하여 객체 추적단(50)에 전달한다.The object existence determiner 112 extracts information of cells having a reference signal size (reference level) or more from the 3D map and obtains first detection information (distance, speed, angle) of the target from the extracted information, .

즉, 객체 여부 판단기(112)는 레이더의 수신 신호가 기준 레벨 이상인 위치에 타겟이 존재하는 것으로 판단하여 해당 타겟에 대한 현재 시간구간의 제1 탐지 정보(거리, 속도, 각도)를 획득한다. That is, the object existence determiner 112 determines that the target exists at a position where the reception signal of the radar is equal to or higher than the reference level, and acquires the first detection information (distance, velocity, angle) of the current time interval with respect to the target.

기준 신호크기 생성기(113)는 객체를 탐지하기 위한 기준 신호 크기인 기준 레벨을 생성한다. 여기서 타겟(객체)의 종류에 따라 기준 레벨이 달리 설정될 수 있는데, 타겟이 사람인 경우에는 차량일 때보다 낮은 레벨로 설정될 수 있다. 동일 거리 대비 사람의 경우 차량에 비해 송신 신호에 대한 반사율이 낮기 때문에, 탐지 전력의 기준점 역시 낮아야 탐지 확률과 정확도를 높일 수 있다. The reference signal size generator 113 generates a reference level which is a reference signal size for detecting an object. Here, the reference level may be set differently depending on the type of the target (object). If the target is a person, the level may be set to a lower level than when the vehicle is a vehicle. Since the reflectance for the transmission signal is lower than that for the vehicle in the case of the same distance, the detection point and the reference point of the detection power can be increased to improve the detection probability and accuracy.

기준 신호크기 생성기(113)는 영상 처리단(200)이 인식한 타겟의 종류를 수신하여 이를 기초로 타겟의 종류에 대응하여 기준 레벨을 설정할 수 있다. The reference signal size generator 113 receives the type of the target recognized by the image processing unit 200 and can set a reference level corresponding to the type of the target based on the received type.

또한, 기준 신호크기 생성기(113)는 영상 처리단(200)의 한프레임 지연기(124)로부터 이번 시간구간에 타겟이 위치할 거리와 각도에 대한 예측값을 피드백 받아 이를 기초로 객체가 위치할 가능성이 있는 예측 지점(거리, 각도)에 대해 객체의 종류 별로 신호 레벨의 기준을 다르게 계산할 수 있다. 동일 객체라도 거리에 따라 반사율이 다를 수 있으므로 거리 별 기준 레벨을 달리 계산할 수 있다.The reference signal size generator 113 receives the predicted value of the distance and angle at which the target is to be positioned in the current time interval from the one frame delay unit 124 of the image processing unit 200, The signal level can be calculated differently for each type of object with respect to the predicted point (distance, angle). Even if the same object has different reflectance depending on the distance, the reference level can be calculated differently for each distance.

다음, 객체 추적단(120)은 객체 탐지단(110)이 보낸 제1 탐지 정보를 이용하여 추적 필터를 통해 타겟이 움직이는 경로를 예측해 내며, 또한 객체 탐지단(110)이 보낸 현재의 제1 탐지 정보와 이전에 예측한 제1 예측 정보를 조합하여 타겟의 추정 정보(거리, 각도, 속도)를 출력하고, 이를 영상 처리단(200) 내 관심 영역 검색기(211)로 제공한다.Next, the object tracking unit 120 predicts the path through which the target moves through the tracking filter using the first detection information sent by the object detection unit 110, and also detects the current first detection (Distances, angles, and velocities) of the target and outputs the estimated information (distances, angles, and velocities) of the target by combining the information with the previously predicted first prediction information and provides it to the region of interest searching unit 211 in the image processing unit 200.

구체적으로, 예측치 합치기(121)는 이전 시간구간에 추적 필터(123)가 미리 계산(예측)해 둔 현재 시간구간에 대한 타겟의 제1 예측 정보(거리, 각도, 속도의 예측값) 중에 각도 예측값을, 영상 처리단(200)의 추적 필터(223)가 이전 시간구간에 미리 계산(예측)하여 피드백한 각도 예측값과 조합하여, 각도 예측값을 수정 연산한다. Concretely, the predictive value adder 121 calculates an angular predicted value (a predicted value of a distance, an angle, and a velocity) of the target with respect to the current time interval previously calculated (predicted) by the tracking filter 123 in the previous time interval , The tracking filter 223 of the image processing stage 200 combines with the angular prediction value that is calculated (predicted) in advance in the previous time interval and corrects the angle prediction value.

이때, 영상 처리단(200)이 피드백한 각도 예측값에 더 높은 가중치가 부여된다. 예를 들어, 레이더 처리단(100)의 각도 예측값에는 0.3의 가중치를 곱하고, 영상 처리단(200)이 피드백한 각도 예측값에는 0.7의 가중치를 곱한 후에 서로 합산하여, 수정 각도 예측치를 얻는다.At this time, the angular prediction value fed back by the image processing unit 200 is given a higher weight. For example, the angular prediction value of the radar processing stage 100 is multiplied by a weight of 0.3, the angular prediction value fed back by the image processing stage 200 is multiplied by a weight of 0.7, and then added to each other to obtain a correction angle prediction value.

여기서, 영상 처리단(200)은 이전 시간구간에 기 예측한 타겟의 x축 거리(x-거리) 예측값을 타겟의 각도 값으로 변환하여 레이더 처리단(100)으로 피드백할 수 있다. 이는 영상 처리단(200) 내 좌표 변환부(225)에서 수행된다. 영상 처리단(200)에서 얻은 타겟의 횡방향 거리 값 즉, x-거리 값은 타겟의 각도와 연관되므로, 각도 단위로 쉽게 변환될 수 있다.Here, the image processing unit 200 may convert the x-axis distance (x-distance) predicted value of the target predicted in the previous time period to the angle value of the target, and feed back to the radar processing unit 100. This is performed in the coordinate transformation unit 225 in the image processing stage 200. Since the lateral distance value of the target obtained at the image processing stage 200, i.e., the x-distance value, is related to the angle of the target, it can be easily converted into an angle unit.

이와 같이, 예측치 합치기(121)는 제1 예측 정보 중 각도 예측값을 수정하고, 수정된 각도 예측값이 반영된 제1 예측 정보(이하, 수정된 제1 예측 정보)를 연관 결합기(122)에 제공한다.In this way, the predictive value combining unit 121 corrects the angular predicted value of the first predictive information, and provides the first predictive information (hereinafter referred to as corrected first predictive information) reflecting the corrected angular predictive value to the associative combiner 122.

연관 결합기(122)는 수정된 제1 예측 정보(거리, 각도, 속도의 예측값)와 현재 객체 탐지단(110)으로부터 입력받은 타겟의 제1 탐지 정보(거리, 각도, 속도)를 페어링(Pairing) 한다. 이때, 최초 탐지 타겟에 대한 탐지 정보는 기 설정된 예측 초기값과 페어링하면 된다.The association combiner 122 performs pairing of the first detection information (distance, angle, velocity) of the target input from the current object detection terminal 110 with the modified first prediction information (estimated value of distance, do. At this time, the detection information on the initial detection target may be paired with a predetermined initial prediction value.

추적 필터(123)는 우선 다음 시간구간을 위해, 현재 시간구간에서 타겟의 예측정보를 미리 계산한 다음, 이를 한프레임 지연기(124)로 전달한다. 즉, 현재 입력된 측정치를 이용하여 다음에 측정될 예측치를 얻어내고, 해당 예측치가 다음에 적용될 수 있도록 한프레임 지연기(124)로 보낸다. 이러한 동작은 이전 시간구간에도 동일한 원리로 수행하였음은 자명하다.The tracking filter 123 firstly calculates the prediction information of the target in the current time interval for the next time interval and then transmits it to the one frame delay unit 124. [ That is, a predicted value to be measured next is obtained using the currently inputted measurement value, and the predicted value is sent to a frame delay unit 124 so that the predicted value can be applied next. It is obvious that this operation is performed on the same principle in the previous time period.

아울러, 추적 필터(123)는 연관 결합기(122)에서 페어링해서 보낸 현재 시간구간의 제1 탐지 정보 및 수정된 제1 예측 정보를 조합하여, 오차가 최소화된 현재 시간구간의 타겟의 추정 정보(거리, 각도, 속도)를 출력한다.In addition, the tracking filter 123 combines the first detection information of the current time interval and the first prediction information, which are paired with each other in the associative combiner 122, and the estimated information of the target of the current time interval in which the error is minimized , Angle, and speed).

관심 범위 지정기(126)는 최종적으로 추정된 타겟의 거리와 각도를 기초로 영상 처리단(200)의 수신 영상 내 적용되는 관심 영역의 X,Y 범위를 설정할 수 있다. 예를 들어, 타겟의 추정 위치를 중심으로 하는 관심 영역의 X,Y 크기를 결정하여 영상 처리단(200) 내 관심 영역 검색기(211)로 전달할 수 있다. 여기서 물론, 관심 범위 지정기(126)는 영상 처리단(200) 내 포함될 수도 있다.The interest range assigning unit 126 may set the X and Y ranges of the ROIs applied in the received image of the image processing unit 200 based on the distance and angle of the finally estimated target. For example, the X and Y sizes of the ROI centered on the estimated position of the target may be determined and transmitted to the ROI detector 211 in the image processing unit 200. Of course, the interest range assigning unit 126 may be included in the image processing unit 200 as well.

한프레임 지연기(124)는 추적 필터(123)가 현재 시간구간에 계산한 다음 시간구간의 타겟 예측 정보를 한타임 지연시켜 예측치 합치기(121)로 제공한다. 이에 따라, 추적 필터(123)가 '현재 시간구간'에 계산해 둔 '다음 시간구간'의 타겟 예측치가 '다음 시간구간'에 입력되는 타겟 측정치와 또다시 페어링 될 수 있게 된다. The one-frame delay unit 124 provides target prediction information of the next time interval calculated by the tracking filter 123 in the current time interval to the predictive value combining unit 121 in a delayed manner. Accordingly, the target prediction value of the 'next time interval' calculated by the tracking filter 123 in the 'current time interval' can be paired again with the target measurement value input in the 'next time interval'.

즉, 한프레임 지연기(124)는 추적 필터(123)가 이전 시간구간에 미리 계산(예측)해둔 현재 시간구간의 타겟 예측정보(제1 예측 정보)를 한 타임 지연시켜 영상 처리단(200)에 제공한다. 이때, 제1 예측 정보 중 각도 예측값을 제외한 거리 및 속도 예측값을 영상 처리단(200) 내의 예측치 합치기(221)로 피드백한다.That is, the one-frame delay unit 124 delays the target prediction information (first prediction information) of the current time interval, which is previously calculated (predicted) by the tracking filter 123, . At this time, the distance and speed predicted values excluding the angular predicted values of the first predictive information are fed back to the predictive value combining unit 221 in the image processing unit 200. [

이때, 좌표 변화부(125)는 이전 시간구간에 기 예측된 타겟의 거리 예측값을 타겟의 Y-거리(y축 거리) 값으로 변환하여 영상 처리단(200)으로 피드백할 수 있다. 레이더 처리단(100)에서 얻은 타겟의 거리 예측값은 영상 내에 사용되는 Y축상의 거리로 쉽게 변환될 수 있다.At this time, the coordinate change unit 125 may convert the predicted distance value of the target predicted in the previous time interval into the Y-distance (y-axis distance) value of the target and feed back the value to the image processing unit 200. The predicted distance value of the target obtained from the radar processing stage 100 can be easily converted into the distance on the Y axis used in the image.

다음은 영상 처리단(200)의 구성을 상세히 설명한다. Next, the configuration of the image processing unit 200 will be described in detail.

우선, 객체 탐지단(210)은 카메라의 수신 영상으로부터 객체의 탐지 정보(X-거리,Y-거리)를 획득하여 객체 추적단(220)에 제공하며, 영상 내 관심 영역의 이미지를 추출하여 객체 인식단(230)에 제공한다.First, the object detection unit 210 obtains object detection information (X-distance, Y-distance) from the received image of the camera and provides it to the object tracking unit 220, extracts the image of the region of interest in the image, To the recognition stage 230.

객체 탐지단(210) 내 관심 영역 검색기(211)는 레이더 처리단(100)에서 제공한 추정 정보를 기초로 카메라의 영상 내 관심 영역을 설정한다. 이처럼, 관심 영역을 선정하여 감시할 경우 이미지 전체를 스캔할 필요가 없어진다. 또한, 레이더 처리단(100)는 거리 탐지의 정확도가 높기 때문에, 영상 처리단(200)에서 관심 객체가 없는 영역을 감시하는 오류를 줄일 수 있다.The region of interest detector 211 in the object detection unit 210 sets the region of interest in the image of the camera based on the estimation information provided by the radar processing unit 100. In this way, when an area of interest is selected and monitored, the entire image need not be scanned. In addition, since the radar processing unit 100 has high accuracy of distance detection, it is possible to reduce an error in monitoring an area where there is no object of interest in the image processing unit 200. [

관심 객체 추출기(212)는 설정된 관심 영역을 추출하여 객체 인식단(230) 및 관심 객체 거리 계산기(213)로 제공한다. 관심 객체 거리 계산기(213)는 관심 영역 내에서 현재 시간구간의 타겟의 제2 탐지 정보(X-거리, Y-거리)를 획득하여 객체 추적단(220)에 전달한다.The interested object extractor 212 extracts the set region of interest and provides it to the object recognition unit 230 and the object distance calculator 213. The object distance calculator 213 obtains the second detection information (X-distance, Y-distance) of the target of the current time interval in the ROI, and transfers it to the object tracking unit 220.

다음, 객체 추적단(220)은 객체 탐지단(210)이 보낸 제2 탐지 정보를 이용하여 타겟이 움직이는 경로를 예측해 내며, 또한 객체 탐지단(210)이 보낸 현재의 제2 탐지 정보와, 이전에 예측한 제2 예측 정보를 이용하여 타겟의 추정 정보(X-거리, Y-거리, 속도)를 최종 출력한다.Next, the object tracking unit 220 estimates a path through which the target moves using the second detection information sent from the object detection unit 210, and also detects the current second detection information sent from the object detection unit 210, (X-distance, Y-distance, speed) of the target using the second predictive information predicted in the second embodiment.

구체적으로, 예측치 합치기(221)는 이전 시간구간에 추적 필터(223)가 미리 계산(예측)해 둔 현재 시간구간에 대한 타겟의 제2 예측 정보(X-거리, Y-거리, 속도의 예측값) 중에 'Y-거리 예측값'(y축 거리 예측값)을, 레이더 처리단(100)의 추적 필터(123)가 이전 시간구간에 미리 계산(예측)하여 피드백한 거리 예측값과 조합하여, 거리 예측값을 수정 연산한다. Specifically, the predictive value combining unit 221 obtains the second predictive information (X-distance, Y-distance, velocity predicted value) of the target with respect to the current time interval that the tracking filter 223 previously calculated (predicted) (Predicted y-axis distance) of the y-axis is combined with the distance predicted value previously calculated (predicted) in the previous time interval by the tracking filter 123 of the radar processing stage 100 and the distance prediction value is corrected .

이때, 레이더 처리단(100)이 피드백한 거리 예측값에 더 높은 가중치가 부여된다. 예를 들어, 영상 처리단(200)의 y축 거리 예측값에는 0.3의 가중치를 곱하고, 레이더 처리단(100)이 피드백한 거리 예측값에는 0.7의 가중치를 곱한 후에 서로 합산하여, 수정된 y축 거리 예측치를 얻는다.At this time, a higher weight value is given to the distance predicted value fed back by the radar processing stage 100. For example, the y-axis distance predicted value of the image processing unit 200 is multiplied by a weight of 0.3, the distance predicted value fed back by the radar processing unit 100 is multiplied by a weight of 0.7, .

여기서, 레이더 처리단(100)은 이전 시간구간에 기 예측한 타겟의 예측 거리를 타겟의 y축 상의 거리(Y-거리) 값으로 변환하여 영상 처리단(200)으로 피드백할 수 있다. 이는 레이더 처리단(100) 내 좌표 변환부(125)에서 수행된다. Here, the radar processing unit 100 may convert the predicted distance of the target predicted in the previous time interval into the distance (Y-distance) on the y-axis of the target and feed back the value to the image processing unit 200. This is performed in the coordinate transforming unit 125 in the radar processing stage 100.

물론, 상술한 동작은 속도 값에 대해서도 수행할 수 있다. 즉, 예측치 합치기(221)는 현재 시간구간에 대한 타겟의 속도 예측값을, 레이더 처리단(100)이 이전 시간구간에 미리 계산(예측)하여 피드백한 속도 예측값과 조합하여, 속도 예측값을 수정 연산할 수 있다. 이에 따라, y축 거리 예측치 및 속도 예측치가 모두 수정될 수 있다.Of course, the above-described operation can also be performed on the speed value. That is, the predictive value combining unit 221 corrects (predicts) the velocity estimated value of the target for the current time interval with the velocity predicted value that was previously calculated (predicted) by the radar processing unit 100 in the previous time interval . Accordingly, both the y-axis distance prediction value and the velocity prediction value can be modified.

이와 같이, 예측치 합치기(221)는 제2 예측 정보 중 y축 거리 예측값과 속도 예측값을 수정하고, 수정된 예측값이 모두 반영된 제2 예측 정보(이하, 수정된 제2 예측 정보)를 연관 결합기(222)에 제공한다.In this way, the predictive value combining unit 221 modifies the y-axis distance predicted value and the velocity predicted value of the second predictive information, and outputs second predictive information (hereinafter referred to as corrected second predictive information) ).

연관 결합기(222)는 수정된 제2 예측 정보(X-거리, Y-거리, 속도의 예측값)와 현재 객체 탐지단(210)으로부터 입력받은 타겟의 제2 탐지 정보(X-거리, Y-거리)를 페어링(Pairing) 한다. 이때, 최초 탐지 타겟에 대한 탐지 정보는 기 설정된 예측 초기값과 페어링하면 된다.The associative combiner 222 receives the second detection information (the X-distance, the Y-distance, and the velocity) of the target input from the current object detection terminal 210, ) Are paired. At this time, the detection information on the initial detection target may be paired with a predetermined initial prediction value.

추적 필터(223)는 우선 다음 시간구간을 위하여 현재 시간구간에서 타겟의 예측정보를 미리 계산한 다음, 이를 한프레임 지연기(224)로 전달한다. 즉, 현재 입력된 측정치를 이용하여 다음에 측정될 예측치를 얻어내고, 해당 예측치가 다음에 적용될 수 있도록 한프레임 지연기(224)로 보낸다. 이러한 동작은 이전 시간구간에도 동일한 원리로 수행하였음은 자명하다.The tracking filter 223 firstly calculates the prediction information of the target in the current time interval for the next time interval and then transmits it to the one frame delay 224. That is, the predicted value to be measured next is obtained using the currently inputted measurement value, and the predicted value is sent to the one-frame delay unit 224 so that the predicted value can be applied next. It is obvious that this operation is performed on the same principle in the previous time period.

아울러, 추적 필터(223)는 연관 결합기(222)에서 페어링해서 보낸 현재 시간구간의 제2 탐지 정보 및 수정된 제2 예측 정보를 조합하여, 오차가 최소화된 현재 시간구간의 타겟의 추정 정보(X-거리, Y-거리, 속도)를 최종적으로 출력한다. In addition, the tracking filter 223 combines the second detection information of the current time interval paired with the associated combiner 222 and the corrected second prediction information, and obtains estimation information of the target of the current time interval with the error minimized (X - distance, Y-distance, speed).

한프레임 지연기(224)는 추적 필터(223)가 현재 시간구간에 계산한 다음 시간구간의 타겟 예측 정보를 한타임 지연시켜 예측치 합치기(221)로 제공한다. 이에 따라, 추적 필터(223)가 '현재 시간구간'에 계산해 둔 '다음 시간구간'의 타겟 예측치가 '다음 시간구간'에 입력되는 타겟 측정치와 또다시 페어링 될 수 있게 된다. The one-frame delay 224 delays the target prediction information of the next time interval calculated by the tracking filter 223 in the current time interval and provides the target prediction information to the predictive combining unit 221. Accordingly, the target prediction value of the 'next time interval' calculated by the tracking filter 223 in the 'current time interval' can be paired again with the target measurement value input in the 'next time interval'.

즉, 한프레임 지연기(224)는 추적 필터(223)가 이전 시간구간에 미리 계산(예측)해둔 현재 시간구간의 타겟 예측정보(제2 예측 정보)를 한 타임 지연시켜 영상 처리단(200)에 제공한다. 이때, 제2 예측 정보 중 Y축 거리(Y-거리) 및 속도 예측값을 제외한 x축 거리(X-거리) 예측값을 레이더 처리단(100) 내의 예측치 합치기(121)로 피드백하여 제공한다. 이때, 좌표 변화부(225)는 x축 거리(X-거리) 예측값을 그에 대응하는 각도 값으로 변환하여 피드백할 수 있다. That is, the one-frame delay unit 224 delays the target prediction information (the second prediction information) of the current time interval, which is previously calculated (predicted) by the tracking filter 223, . At this time, the x-axis distance (X-distance) prediction value excluding the Y-axis distance (Y-distance) and the speed prediction value among the second prediction information is fed back to the prediction value combining unit 121 in the radar processing stage 100 to provide it. At this time, the coordinate change unit 225 may convert the x-axis distance (X-distance) predicted value into an angular value corresponding to the x-axis distance (X-distance)

다음, 객체 인식단(230)은 객체 탐지단(210)으로부터 입력된 관심 객체 이미지를 이용하여 객체의 종류(보행자, 차량, 이륜차 등)을 인식한다.Next, the object recognition unit 230 recognizes the object type (pedestrian, vehicle, two-wheeled vehicle, etc.) using the object image of interest input from the object detection unit 210.

객체 인식단(230) 내 특징 벡터 추출기(231)는 관심 영역에서 특징 벡터를 추출하고, 객체 분류기(232)는 현재 추출된 특징 벡터를 특징 벡터 DB2(33) 내 정보와 비교하여, 객체의 종류(사람, 차량 등)를 확정 분류하고 이를 레이더 처리단(100) 내 객체 탐지단(110)으로 피드백한다. 물론, 객체 인식단(230)에 의한 객체 분류 결과는 객체 추적단(220)에 의한 객체의 추정 정보와 함께 최종 출력될 수 있다.The feature vector extractor 231 in the object recognition stage 230 extracts a feature vector from the region of interest and the object classifier 232 compares the currently extracted feature vector with the information in the feature vector DB2 33, (Such as a person, a vehicle, etc.), and feeds the classified information to the object detection unit 110 in the radar processing unit 100. Of course, the object classification result by the object recognition unit 230 may be finally output together with the object estimation information by the object tracking unit 220.

이상과 같은 본 발명의 실시예는 각 처리단 사이에 상호 피드백한 정보를 기초로 예측 값을 수정하고 보완하는 동작을 실시간 반복하는 것을 통하여, 타겟의 거리, 속도, 각도를 정확하게 추정할 수 있으며 객체 분류 효율 역시 높일 수 있다. In the embodiment of the present invention as described above, the distance, speed, and angle of the target can be accurately estimated through real-time repetition of operations for correcting and correcting predicted values based on mutually fed back information between respective processing stages, Sorting efficiency can also be increased.

도 5는 도 4의 시스템을 이용한 타겟 탐지 방법을 설명하는 도면이다.5 is a view for explaining a target detection method using the system of FIG.

먼저, 레이저 처리단(100)은 레이더의 수신 신호로부터 현재 시간구간의 타겟의 거리, 속도, 각도를 포함한 제1 탐지 정보를 획득하고, 영상 처리단(20)은 카메라의 영상 내 관심 영역에서 현재 시간구간의 타겟의 x축, y축 거리를 포함한 제2 탐지 정보를 획득한다(S510).First, the laser processing stage 100 acquires first detection information including the distance, velocity, and angle of the target of the current time interval from the received signal of the radar, and the image processing stage 20 acquires first detection information The second detection information including the x-axis and y-axis distances of the target of the time interval is obtained (S510).

그리고, 레이저 처리단(100)은 이전 시간구간에 기 예측한 현재 시간구간에 대한 제1 예측 정보(타겟의 거리, 속도, 각도 예측값) 중 각도 예측값을 영상 처리단이 이전 시간구간에 기 예측하여 피드백한 각도 예측값과 조합하여 수정 연산한다(S520). 또한, 영상 처리단(200)은 이전 시간구간에 기 예측한 현재 시간구간에 대한 제2 예측 정보(타겟의 x축, y축 거리, 속도 예측값) 중 y축 거리 예측값을 레이더 처리단(100)이 이전 시간구간에 기 예측하여 피드백한 거리 예측값과 조합하여 수정 연산한다(S530). 물론 S520과 S530 단계는 실시간으로 거의 동시적으로 이루어질 수 있다.The laser processing unit 100 estimates an angular prediction value of the first prediction information (target distance, velocity, and angle predicted value) of the current time interval predicted in the previous time interval in the previous time interval And combined with the feedback angle prediction value (S520). Also, the image processing unit 200 calculates the y-axis distance predicted value among the second prediction information (x-axis, y-axis distance, and speed predicted value) of the current time interval predicted in the previous time interval, Is combined with the distance predicted value predicted and fed back in the previous time interval (S530). Of course, steps S520 and S530 can be performed almost simultaneously in real time.

이후, 레이저 처리단(100)은 제1 탐지 정보 및 수정한 제1 예측 정보를 조합하여 오차가 최소화된 타겟의 추정 정보(거리, 속도, 각도)를 영상 처리단(200)에 제공하며, 영상 처리단(200)은 제2 탐지 정보 및 수정한 제2 예측 정보를 조합하여 오차가 최소화된 타겟의 추정 정보(x축 거리, y축 거리, 속도)를 최종 추정하여 출력한다(S540). 이 과정에서 영상 처리단(200)에 제공된 초기 추정 정보에 따라 영상 내 관심 영역이 실시간으로 설정될 수 있다.Then, the laser processing unit 100 provides estimation information (distances, velocities, and angles) of the target with a minimum error to the image processing unit 200 by combining the first detection information and the corrected first prediction information, The processing unit 200 finally estimates and outputs the estimation information (x-axis distance, y-axis distance, speed) of the target in which the error is minimized by combining the second detection information and the corrected second prediction information at step S540. In this process, the region of interest in the image may be set in real time according to the initial estimation information provided to the image processing unit 200.

이상과 같은 본 발명에 따른 레이더 및 카메라 융합 시스템에 따르면, 레이더와 카메라의 장점을 융합하여 타겟의 탐지 성능은 물론 객체 인식률을 높일 수 있는 이점이 있다.According to the radar and camera convergence system of the present invention as described above, there is an advantage that the object recognition rate as well as the detection performance of the target can be increased by fusing the advantages of the radar and the camera.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

100: 레이더 처리단 110: 객체 탐지단
111: 3D 생성기 112: 객체 여부 판단기
113: 기준 신호크기 생성기 120,220: 객체 추적단
121,221: 예측치 합치기 122,222: 연관 결합기
123,223: 추적 필터 124,224: 한프레임 지연기
125,225: 좌표 변환부 126: 관심 범위 지정기
210: 객체 탐지단 211: 관심 영역 검색기
212: 관심객체 추출기 213: 관심객체 거리 계산기100: Radar processing unit 110: Object detection unit
111: 3D generator 112: object determination unit
113: Reference signal size generator 120, 220: Object tracking stage
121,221: Combining predictions 122,222: Associative combiner
123,223: Trace filter 124,224: one frame delay
125, 225: Coordinate transformation unit 126: Interest range designator
210: object detection module 211: region of interest detector
212: Interest object extractor 213: Interest object distance calculator

Claims (16)

레이더의 수신 신호로부터 현재 시간구간의 타겟의 거리, 속도, 각도를 포함한 제1 탐지 정보를 획득하면, 이전 시간구간에 기 예측한 현재 시간구간에 대한 제1 예측 정보인 타겟의 거리, 속도, 각도 예측값 중 각도 예측값을 영상 처리단이 피드백한 각도 예측값과 조합하여 수정 연산하고, 상기 제1 탐지 정보 및 수정한 제1 예측 정보를 조합하여 오차가 최소화된 타겟의 거리, 속도, 각도의 추정 정보를 제공하는 레이더 처리단; 및
상기 제공받은 추정 정보를 기초로 카메라의 영상 내 관심 영역을 설정하고, 상기 관심 영역 내에서 현재 시간구간의 타겟의 x축, y축 거리를 포함한 제2 탐지 정보를 획득하면, 이전 시간구간에 기 예측한 현재 시간구간에 대한 제2 예측 정보인 타겟의 x축, y축 거리, 속도 예측값 중 y축 거리 예측값을 상기 레이더 처리단이 피드백한 거리 예측값과 조합하여 수정 연산하고, 상기 제2 탐지 정보 및 수정한 제2 예측 정보를 조합하여 오차가 최소화된 타겟의 x축, y축 거리, 속도의 추정 정보를 최종 추정하여 출력하는 영상 처리단
을 포함하는 레이더 및 카메라 융합 시스템.When the first detection information including the distance, velocity, and angle of the target of the current time interval is obtained from the received signal of the radar, the distance, velocity, and angle of the target, which are first prediction information on the current time interval predicted in the previous time interval, And estimating the distance, velocity, and angle of the target with the minimum error by combining the first detection information and the corrected first prediction information with the angle prediction value fed back by the image processing unit Providing radar processing unit; And
The second detection information including the x-axis and y-axis distances of the target of the current time interval in the ROI is set in the camera image based on the provided estimation information, The y-axis distance predicted value among the x-axis, y-axis distance, and speed predicted value of the target, which is the second predicted information about the predicted current time interval, with the distance predicted value fed back by the radar processing unit, Estimating information of the x-axis, y-axis distance, and velocity of the target whose error is minimized by combining the corrected second prediction information,
The radar and camera fusion system. 청구항 1에 있어서,
상기 레이저 처리단은,
상기 각도 예측값을 수정 연산 시, 상기 이전 시간구간에 기 예측한 현재 시간구간의 각도 예측값보다 상기 영상 처리단이 상기 이전 시간구간에 기 예측하여 피드백한 각도 예측값에 더욱 높은 가중치를 부여하는 레이더 및 카메라 융합 시스템.The method according to claim 1,
The laser processing stage includes:
A radar and a camera for giving a higher weight to an angular prediction value predicted by the image processing unit in the previous time interval and fed back from the angular prediction value of the current time interval predicted in the previous time interval at the time of correcting the angular prediction value, Fusion system. 청구항 1 또는 청구항 2에 있어서,
상기 영상 처리단이 피드백한 각도 예측값은,
상기 영상 처리단이 상기 이전 시간구간에 기 예측한 타겟의 x축 거리 예측값을 타겟의 각도 값으로 변환하여 피드백한 값인 레이더 및 카메라 융합 시스템.The method according to claim 1 or 2,
The angle prediction value fed back by the image processing unit
Wherein the predicted value of the x-axis distance of the target estimated by the image processing unit in the previous time period is converted into an angle value of the target and fed back. 청구항 1에 있어서,
상기 영상 처리단은,
상기 y축 거리 예측값을 수정 연산 시, 상기 이전 시간구간에 기 예측한 현재 시간구간의 y축 거리 예측값보다 상기 레이더 처리단이 상기 이전 시간구간에 기 예측하여 피드백한 거리 예측값에 더욱 높은 가중치를 부여하는 레이더 및 카메라 융합 시스템.The method according to claim 1,
Wherein the image processing stage comprises:
Axis distance predicted value is corrected, a higher weight value is given to the distance predicted value that the radar processing unit predicts in the previous time interval than the y-axis distance predicted value of the current time interval predicted in the previous time interval, Radar and camera fusion system. 청구항 1 또는 청구항 4에 있어서,
상기 레이더 처리단이 피드백한 거리 예측값은,
상기 레이더 처리단이 상기 이전 시간구간에 기 예측한 타겟의 예측 거리를 타겟의 y축 상의 거리 값으로 변환하여 피드백한 값인 레이더 및 카메라 융합 시스템.The method according to claim 1 or 4,
The distance predicted value fed back by the radar processing unit,
Wherein the predicted distance of the target predicted by the radar processing unit in the previous time period is converted into a distance value on the y-axis of the target and is a feedback value. 청구항 4에 있어서,
상기 영상 처리단은,
상기 y축 거리 예측값을 수정 연산 시, 타겟의 속도 예측값을 추가로 수정 연산하되, 상기 영상 처리단이 기 예측한 현재 시간구간의 속도 예측값보다 상기 레이더 처리단이 기 예측하여 피드백한 속도 예측값에 더욱 높은 가중치를 부여하는 레이더 및 카메라 융합 시스템.The method of claim 4,
Wherein the image processing stage comprises:
Axis distance predicted value is corrected, the speed prediction value of the target is further corrected, and the speed prediction value predicted by the radar processing unit by the radar processing unit more than the speed predicted value of the current time interval predicted by the image processing unit A radar and camera fusion system that gives high weights. 청구항 1에 있어서,
상기 레이더 처리단은,
상기 레이더의 수신 신호가 기준 레벨 이상인 위치에 타겟이 존재하는 것으로 판단하여 해당 타겟에 대한 제1 탐지 정보를 획득하고,
상기 기준 레벨은,
상기 타겟의 종류에 따라 달리 설정되되, 상기 타겟이 사람인 경우 차량인 경우보다 낮은 레벨로 설정되는 레이더 및 카메라 융합 시스템.The method according to claim 1,
The radar processing stage includes:
Determining that a target exists at a position where the received signal of the radar is equal to or higher than a reference level, acquiring first detection information on the target,
The reference level,
And is set differently depending on the type of the target, and is set to a level lower than that when the target is a person. 청구항 7에 있어서,
상기 영상 처리단은,
상기 관심 영역 내 상기 타겟의 특징 정보를 기초로 상기 타겟의 종류를 인식하고, 상기 인식한 타겟의 종류에 관한 정보를 상기 레이더 처리단에 제공하는 레이더 및 카메라 융합 시스템.The method of claim 7,
Wherein the image processing stage comprises:
Recognizes the type of the target based on the feature information of the target in the ROI, and provides information about the recognized type of the target to the radar processing unit. 레이더 및 카메라 융합 시스템을 이용한 타겟 탐지 방법에 있어서,
레이저 처리단은 레이더의 수신 신호로부터 현재 시간구간의 타겟의 거리, 속도, 각도를 포함한 제1 탐지 정보를 획득하고, 영상 처리단은 카메라의 영상 내 관심 영역에서 현재 시간구간의 타겟의 x축, y축 거리를 포함한 제2 탐지 정보를 획득하는 단계;
상기 레이저 처리단은 이전 시간구간에 기 예측한 현재 시간구간에 대한 제1 예측 정보인 타겟의 거리, 속도, 각도 예측값 중 각도 예측값을 상기 영상 처리단이 이전 시간구간에 기 예측하여 피드백한 각도 예측값과 조합하여 수정 연산하고, 상기 영상 처리단은 이전 시간구간에 기 예측한 현재 시간구간에 대한 제2 예측 정보인 타겟의 x축, y축 거리, 속도 예측값 중 y축 거리 예측값을 상기 레이더 처리단이 이전 시간구간에 기 예측하여 피드백한 거리 예측값과 조합하여 수정 연산하는 단계; 및
상기 레이저 처리단은 상기 제1 탐지 정보 및 수정한 제1 예측 정보를 조합하여 오차가 최소화된 타겟의 거리, 속도, 각도의 추정 정보를 상기 영상 처리단에 제공하고, 상기 영상 처리단은 상기 제2 탐지 정보 및 수정한 제2 예측 정보를 조합하여 오차가 최소화된 타겟의 x축, y축 거리, 속도의 추정 정보를 최종 추정하여 출력하는 단계를 포함하며,
상기 영상 처리단은 상기 레이저 처리단으로부터 제공받은 추정 정보를 기초로 상기 영상 내 상기 관심 영역을 설정하는 타겟 탐지 방법.A target detection method using a radar and a camera fusion system,
The laser processing end acquires first detection information including the distance, velocity, and angle of the target in the current time interval from the received signal of the radar, and the image processing end acquires first detection information including the x- obtaining second detection information including a y-axis distance;
The laser processing end estimates the angular predicted value among the distance, velocity, and angular predicted value of the target, which is the first predictive information about the current time interval predicted in the previous time period, And the image processing unit adjusts the y-axis distance prediction value among the x-axis, y-axis distance, and speed estimation value of the target, which is the second prediction information for the current time interval predicted in the previous time interval, Performing a correction operation in combination with a distance prediction value predicted and fed back in the previous time interval; And
Wherein the laser processing end provides estimation information of a distance, a velocity, and an angle of a target whose error is minimized by combining the first detection information and the modified first prediction information to the image processing end, 2 detection information and the corrected second prediction information to finally estimate and output estimated information of the x-axis, y-axis distance, and velocity of the target with the minimum error,
Wherein the image processing unit sets the ROI in the image based on the estimation information provided from the laser processing unit. 청구항 9에 있어서,
상기 레이저 처리단은,
상기 각도 예측값을 수정 연산 시, 상기 이전 시간구간에 기 예측한 현재 시간구간의 각도 예측값보다 상기 영상 처리단이 상기 이전 시간구간에 기 예측하여 피드백한 각도 예측값에 더욱 높은 가중치를 부여하는 타겟 탐지 방법.The method of claim 9,
The laser processing stage includes:
A target detection method for giving a higher weight to an angular prediction value predicted by the image processing unit in the previous time interval and fed back from an angular prediction value of a current time interval predicted in the previous time interval, . 청구항 9 또는 청구항 10에 있어서,
상기 영상 처리단이 피드백한 각도 예측값은,
상기 영상 처리단이 상기 이전 시간구간에 기 예측한 타겟의 x축 거리 예측값을 타겟의 각도 값으로 변환하여 피드백한 값인 타겟 탐지 방법.The method according to claim 9 or 10,
The angle prediction value fed back by the image processing unit
Wherein the predicted value of the x-axis distance of the target estimated by the image processing unit in the previous time interval is converted into an angle value of the target and fed back. 청구항 9에 있어서,
상기 영상 처리단은,
상기 y축 거리 예측값을 수정 연산 시, 상기 이전 시간구간에 기 예측한 현재 시간구간의 y축 거리 예측값보다 상기 레이더 처리단이 상기 이전 시간구간에 기 예측하여 피드백한 거리 예측값에 더욱 높은 가중치를 부여하는 타겟 탐지 방법.The method of claim 9,
Wherein the image processing stage comprises:
Axis distance predicted value is corrected, a higher weight value is given to the distance predicted value that the radar processing unit predicts in the previous time interval than the y-axis distance predicted value of the current time interval predicted in the previous time interval, Target detection method. 청구항 9 또는 청구항 12에 있어서,
상기 레이더 처리단이 피드백한 거리 예측값은,
상기 레이더 처리단이 상기 이전 시간구간에 기 예측한 타겟의 예측 거리를 타겟의 y축 상의 거리 값으로 변환하여 피드백한 값인 타겟 탐지 방법.The method according to claim 9 or 12,
The distance predicted value fed back by the radar processing unit,
Wherein the predicted distance of the target estimated by the radar processing unit in the previous time period is converted into a distance value on the y-axis of the target and fed back. 청구항 12에 있어서,
상기 영상 처리단은,
상기 y축 거리 예측값을 수정 연산 시, 타겟의 속도 예측값을 추가로 수정 연산하되, 상기 영상 처리단이 기 예측한 현재 시간구간의 속도 예측값보다 상기 레이더 처리단이 기 예측하여 피드백한 속도 예측값에 더욱 높은 가중치를 부여하는 타겟 탐지 방법.The method of claim 12,
Wherein the image processing stage comprises:
Axis distance predicted value is corrected, the speed prediction value of the target is further corrected, and the speed prediction value predicted by the radar processing unit by the radar processing unit more than the speed predicted value of the current time interval predicted by the image processing unit A target detection method that gives a high weight. 청구항 9에 있어서,
상기 레이더 처리단은,
상기 제1 탐지 정보의 획득 시, 상기 레이더의 수신 신호가 기준 레벨 이상인 위치에 타겟이 존재하는 것으로 판단하여 해당 타겟에 대한 제1 탐지 정보를 획득하고,
상기 기준 레벨은,
상기 타겟의 종류에 따라 달리 설정되되, 상기 타겟이 사람인 경우 차량인 경우보다 낮은 레벨로 설정되는 타겟 탐지 방법. The method of claim 9,
The radar processing stage includes:
When acquiring the first detection information, determining that a target exists at a position where the reception signal of the radar is higher than a reference level, acquires first detection information on the target,
The reference level,
Wherein the target is set to a level lower than that of the vehicle when the target is a person. 청구항 15에 있어서,
상기 영상 처리단은,
상기 관심 영역 내 상기 타겟의 특징 정보를 기초로 상기 타겟의 종류를 인식하고, 상기 인식한 타겟의 종류에 관한 정보를 상기 레이더 처리단에 제공하는 타겟 탐지 방법.16. The method of claim 15,
Wherein the image processing stage comprises:
Recognizing the type of the target on the basis of the feature information of the target in the area of interest and providing information on the type of the recognized target to the radar processing unit.
KR1020170158437A 2017-11-24 2017-11-24 Radar-camera fusion system and target detecting method using the same KR102042438B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170158437A KR102042438B1 (en) 2017-11-24 2017-11-24 Radar-camera fusion system and target detecting method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170158437A KR102042438B1 (en) 2017-11-24 2017-11-24 Radar-camera fusion system and target detecting method using the same

Publications (2)

Publication Number Publication Date
KR20190060341A true KR20190060341A (en) 2019-06-03
KR102042438B1 KR102042438B1 (en) 2019-11-27

Family

ID=66849331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170158437A KR102042438B1 (en) 2017-11-24 2017-11-24 Radar-camera fusion system and target detecting method using the same

Country Status (1)

Country Link
KR (1) KR102042438B1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110794405A (en) * 2019-10-18 2020-02-14 北京全路通信信号研究设计院集团有限公司 Target detection method and system based on camera and radar fusion
CN111144315A (en) * 2019-12-27 2020-05-12 北京三快在线科技有限公司 Target detection method and device, electronic equipment and readable storage medium
KR102120812B1 (en) * 2018-12-17 2020-06-09 재단법인대구경북과학기술원 Target recognition and classification system based on probability fusion of camera-radar and method thereof
KR20210011585A (en) * 2019-07-23 2021-02-02 충북대학교 산학협력단 Method and Apparatus for Tracking Vehicle Location Using Extended Kalman Filter
CN113505732A (en) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 Visual target determination method and device, storage medium and electronic device
CN113568522A (en) * 2021-06-21 2021-10-29 海南雷影信息技术有限公司 Radar touch point fusion filtering method and system, electronic equipment and storage medium
KR102363691B1 (en) * 2021-05-07 2022-02-17 (주)뉴빌리티 Velocity estimation method of object for autonomous driving and apparatus
CN115151836A (en) * 2020-02-27 2022-10-04 宝马汽车股份有限公司 Method for detecting a moving object in the surroundings of a vehicle and motor vehicle
CN115331191A (en) * 2022-10-13 2022-11-11 深圳市镭神智能系统有限公司 Vehicle type recognition method, device, system and storage medium
CN116338608A (en) * 2023-05-22 2023-06-27 亿慧云智能科技（深圳）股份有限公司 Method, device, equipment and storage medium for adjusting detection angle of microwave radar
CN117554953A (en) * 2023-11-17 2024-02-13 乾元科学研究院 Control method and system of flying target prevention and control system
CN118628881A (en) * 2024-08-09 2024-09-10 纽劢科技(上海)有限公司 Fusion method of vision camera and millimeter wave radar tracking target

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111252082B (en) * 2020-01-20 2022-03-08 浙江吉利汽车研究院有限公司 Driving early warning method and device and storage medium
KR102168753B1 (en) * 2020-03-17 2020-10-22 한국과학기술원 Electronic device for obtaining three-dimension object based on camera and radar sensor fusion, and operaing method thereof
KR102485191B1 (en) 2022-04-14 2023-01-04 주식회사 엠지브이보안시스템 Object detection system that interworks with radar-based IP web cameras

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015221642A (en) * 2014-05-23 2015-12-10 本田技研工業株式会社 Object recognition device
KR101702581B1 (en) * 2015-12-15 2017-02-03 국방과학연구소 An apparatus for processing a radar scan image and method therfor
KR101704635B1 (en) * 2015-12-14 2017-02-08 현대오트론 주식회사 Method and apparatus for detecting target using radar and image raster data
KR20170081523A (en) * 2016-01-04 2017-07-12 한국전자통신연구원 Advanced driver assisted system and method for processing information in the system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015221642A (en) * 2014-05-23 2015-12-10 本田技研工業株式会社 Object recognition device
KR101704635B1 (en) * 2015-12-14 2017-02-08 현대오트론 주식회사 Method and apparatus for detecting target using radar and image raster data
KR101702581B1 (en) * 2015-12-15 2017-02-03 국방과학연구소 An apparatus for processing a radar scan image and method therfor
KR20170081523A (en) * 2016-01-04 2017-07-12 한국전자통신연구원 Advanced driver assisted system and method for processing information in the system

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102120812B1 (en) * 2018-12-17 2020-06-09 재단법인대구경북과학기술원 Target recognition and classification system based on probability fusion of camera-radar and method thereof
KR20210011585A (en) * 2019-07-23 2021-02-02 충북대학교 산학협력단 Method and Apparatus for Tracking Vehicle Location Using Extended Kalman Filter
CN110794405A (en) * 2019-10-18 2020-02-14 北京全路通信信号研究设计院集团有限公司 Target detection method and system based on camera and radar fusion
CN110794405B (en) * 2019-10-18 2022-06-10 北京全路通信信号研究设计院集团有限公司 Target detection method and system based on camera and radar fusion
CN111144315A (en) * 2019-12-27 2020-05-12 北京三快在线科技有限公司 Target detection method and device, electronic equipment and readable storage medium
CN115151836A (en) * 2020-02-27 2022-10-04 宝马汽车股份有限公司 Method for detecting a moving object in the surroundings of a vehicle and motor vehicle
KR102363691B1 (en) * 2021-05-07 2022-02-17 (주)뉴빌리티 Velocity estimation method of object for autonomous driving and apparatus
CN113568522B (en) * 2021-06-21 2024-03-19 海南雷影信息技术有限公司 Radar touch point fusion filtering method, system, electronic equipment and storage medium
CN113568522A (en) * 2021-06-21 2021-10-29 海南雷影信息技术有限公司 Radar touch point fusion filtering method and system, electronic equipment and storage medium
CN113505732A (en) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 Visual target determination method and device, storage medium and electronic device
CN115331191B (en) * 2022-10-13 2022-12-13 深圳市镭神智能系统有限公司 Vehicle type recognition method, device, system and storage medium
CN115331191A (en) * 2022-10-13 2022-11-11 深圳市镭神智能系统有限公司 Vehicle type recognition method, device, system and storage medium
CN116338608A (en) * 2023-05-22 2023-06-27 亿慧云智能科技（深圳）股份有限公司 Method, device, equipment and storage medium for adjusting detection angle of microwave radar
CN116338608B (en) * 2023-05-22 2023-07-28 亿慧云智能科技（深圳）股份有限公司 Method, device, equipment and storage medium for adjusting detection angle of microwave radar
CN117554953A (en) * 2023-11-17 2024-02-13 乾元科学研究院 Control method and system of flying target prevention and control system
CN118628881A (en) * 2024-08-09 2024-09-10 纽劢科技(上海)有限公司 Fusion method of vision camera and millimeter wave radar tracking target

Also Published As

Publication number Publication date
KR102042438B1 (en) 2019-11-27

Similar Documents

Publication Publication Date Title
KR102042438B1 (en) Radar-camera fusion system and target detecting method using the same
KR101787996B1 (en) Apparatus of estimating traffic lane in vehicle, control method of thereof
EP3208635B1 (en) Vision algorithm performance using low level sensor fusion
US9352690B2 (en) Apparatus and method for detecting obstacle adaptively to vehicle speed
US10279809B2 (en) Travelled-route selecting apparatus and method
US20190001978A1 (en) Vehicle control method and apparatus
US10074021B2 (en) Object detection apparatus, object detection method, and program
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
WO2017057058A1 (en) Information processing device, information processing method, and program
US10366295B2 (en) Object recognition apparatus
WO2012172870A1 (en) Distance measurement device and environment map generation apparatus
US9123251B2 (en) Image system for automotive safety applications
KR102214848B1 (en) Lidar system for object recognition using background estimation technique
JP2017102838A (en) Database construction system for article recognition algorism machine-learning
JP2004037239A (en) Identical object judging method and system, and misregistration correcting method and system
US20150092988A1 (en) Object detection system
US10793145B2 (en) Object recognition device, object recognition method, and vehicle control system
JP2019194614A (en) On-vehicle radar device, area detection device and area detection method
JP5698618B2 (en) Absolute speed estimation device
US11782145B1 (en) 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor
JP2003217099A (en) On-vehicle surrounding monitoring device
US20210383134A1 (en) Advanced driver assist system and method of detecting object in the same
KR101704635B1 (en) Method and apparatus for detecting target using radar and image raster data
US11017274B2 (en) Information processing system and information processing method
KR20150142542A (en) Intergrated sensor system of the vehicles

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant