KR102456151B1 - Sensor fusion system based on radar and camera and method of calculating the location of nearby vehicles - Google Patents
Sensor fusion system based on radar and camera and method of calculating the location of nearby vehicles Download PDFInfo
- Publication number
- KR102456151B1 KR102456151B1 KR1020220002998A KR20220002998A KR102456151B1 KR 102456151 B1 KR102456151 B1 KR 102456151B1 KR 1020220002998 A KR1020220002998 A KR 1020220002998A KR 20220002998 A KR20220002998 A KR 20220002998A KR 102456151 B1 KR102456151 B1 KR 102456151B1
- Authority
- KR
- South Korea
- Prior art keywords
- target
- radar
- cost function
- calculating
- sensor fusion
- Prior art date
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 118
- 238000005259 measurement Methods 0.000 claims abstract description 75
- 230000006870 function Effects 0.000 claims description 117
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 230000008685 targeting Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000010420 art technique Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
- G01S13/536—Discriminating between fixed and moving objects or between objects moving at different speeds using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/35—Details of non-pulse systems
- G01S7/352—Receivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0083—Setting, resetting, calibration
-
- B60W2420/42—
-
- B60W2420/52—
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 레이더 및 카메라 기반의 센서 퓨전 시스템 및 주변 차량의 위치 산출 방법에 관한 기술이다. The present radar and camera-based sensor fusion system and a method for calculating the position of surrounding vehicles are related.
레이더(RADAR, Radio Detection And Ranging)는 물체의 위치, 방향을 탐지하고, 해당 물체와의 거리, 속도 등을 측정을 가능하게 한다. 레이더는 전파를 이용한 주변 환경 탐지 등에 많이 활용되고 있으나, 차량용 레이더의 경우 낮은 각도 인지 성능으로 인해 객체가 종류에 상관없이 하나의 점으로 탐지되므로 레이더 만으로 그 객체의 종류를 구별하는데 한계가 있을 수 있다.Radar (Radio Detection And Ranging) detects the position and direction of an object, and makes it possible to measure the distance and speed of the object. Radar is widely used for detecting the surrounding environment using radio waves, but in the case of vehicle radar, due to low angle recognition performance, an object is detected as a single point regardless of type, so there may be a limitation in distinguishing the type of object only by radar. .
또한, 최근 딥러닝 기술이 발달하면서 차량내 다수의 카메라를 통해 주변 환경을 인식하고 이를 기초로 차량의 주행 경로를 생성하는 자율주행 기술이 크게 급부상하고 있다. 다만, 도로 교통 환경 내에서 발생할 수 있는 여러 상황들이 가변적이고, 주변 환경을 실시간으로 인지 후 판단해야 하기 때문에 자율 주행 관련하여 아직까지도 여러 난제들이 많이 있을 수 있다. 한편, 여러 개의 센서들을 융합하여 주변 환경을 파악하기 위한 센서 퓨전 기술도 많이 각광받고 있다. In addition, with the recent development of deep learning technology, autonomous driving technology that recognizes the surrounding environment through multiple cameras in the vehicle and creates a driving route for the vehicle based on this is rapidly emerging. However, since various situations that can occur within the road traffic environment are variable, and the surrounding environment must be recognized and judged in real time, there may still be many difficulties related to autonomous driving. On the other hand, sensor fusion technology for detecting the surrounding environment by fusion of several sensors is also in the spotlight.
본 개시는 레이더 및 카메라를 포함하는 센서 퓨전 시스템 및 센서 퓨전 시스템을 이용하여 주변 차량의 위치를 산출하는 방법을 제공하는데 있다. An object of the present disclosure is to provide a sensor fusion system including a radar and a camera, and a method for calculating a position of a surrounding vehicle using the sensor fusion system.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.
본 개시의 제1 측면은, 주변 차량의 위치를 산출하는 방법에 있어서, 레이더를 통해 감지되는 복수개의 레이더 측정 포인트들로부터 주변 차량으로 추정되는 타겟에 대한 위치 정보를 산출하는 제1 방법; 카메라 및 레이더간 센서 퓨전 영상에 포함된 주변 차량을 타겟으로 인식하고, 상기 타겟에 대한 위치 정보를 트래킹하는 제2 방법; 제1 방법 및 제2 방법 중 적어도 하나에 기초하여 추정되거나 인식된 각각의 타겟에 대해 타겟의 중심점을 이용하여 비용 함수를 산출하는 단계; 및 상기 산출한 각각의 타겟에 대한 비용 함수를 비교하여 최적의 비용 함수값을 선택하고, 상기 선택된 비용 함수를 기초로 타겟에 대한 위치 정보를 산출하는 단계;를 포함할 수 있다. A first aspect of the present disclosure provides a method of calculating a location of a surrounding vehicle, the method comprising: a first method of calculating location information on a target estimated as a surrounding vehicle from a plurality of radar measurement points sensed through a radar; a second method of recognizing a surrounding vehicle included in a sensor fusion image between a camera and a radar as a target, and tracking location information about the target; calculating a cost function using a center point of the target for each target estimated or recognized based on at least one of the first method and the second method; and selecting an optimal cost function value by comparing the calculated cost functions for each target, and calculating location information about the target based on the selected cost function.
상기 제1 방법은, 레이더에서 전파를 방사하고, 객체에 반사되어 입사되는 반사파들을 감지함으로써 복수개의 레이더 측정 포인트들을 획득하는 단계; 타겟 검출 확률에 기반하여 상기 복수개의 레이더 측정 포인트들을 소정의 그룹으로 클러스터링하는 단계; 연속적으로 획득되는 복수개의 레이더 측정 포인트들을 이용하여 상기 클러스터링된 그룹을 업데이트함으로써 연속성을 유지하는 클러스터링된 그룹을 주변 차량으로 추정하는 단계;를 포함할 수 있다. The first method includes: emitting radio waves from a radar, and acquiring a plurality of radar measurement points by detecting reflected waves that are reflected and incident on an object; clustering the plurality of radar measurement points into a predetermined group based on a target detection probability; and estimating the clustered group maintaining continuity as surrounding vehicles by updating the clustered group using a plurality of continuously acquired radar measurement points.
상기 제2 방법은, 상기 센서 퓨전 영상에 객체 인식 알고리즘을 적용하여 주변 차량을 검출하는 단계; 상기 검출한 주변 차량 영역에 대한 바인딩 박스를 설정하고, 상기 바인딩 박스가 설정된 영역을 타겟으로, 상기 타겟에 대한 위치 정보를 트래킹하는 단계;를 포함할 수 있다.The second method may include detecting a surrounding vehicle by applying an object recognition algorithm to the sensor fusion image; setting a binding box for the detected surrounding vehicle area, and tracking the location information on the target using the area in which the binding box is set as a target.
상기 타겟에 대한 위치 정보를 트래킹하는 단계는, 상기 센서 퓨전 영상 중 이전의 이미지 프레임과 현재 이미지 프레임을 비교함으로써 상기 타겟의 실시간 위치 변화를 반영한 타겟에 대한 연속적인 위치 정보를 산출하는 단계일 수 있다. The step of tracking the location information on the target may be a step of calculating continuous location information on the target reflecting real-time location change of the target by comparing a previous image frame and a current image frame in the sensor fusion image. .
상기 비용 함수를 산출하는 단계는, 상기 제1 방법에 의해 추정된 타겟의 횡방향 중심점에 수직한 가상선을 기준으로, 상기 가상선과 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제1 비용 함수를 계산하는 단계; 상기 제2 방법에 의해 인식된 주변 차량을 타겟으로 하여 각 타겟에 설정된 바인딩 박스의 중심점을 관통하는 차량의 헤딩 방향(Yaw)에 상응하는 가상선을 기준으로, 상기 가상선과 상기 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제2 비용 함수를 계산하는 단계; 상기 제1 비용 함수와 상기 제2 비용 함수를 비교하여 최소의 비용 함수값을 가지는 타겟을 선택하는 단계;를 포함할 수 있다. The calculating of the cost function may include a first cost function obtained by summing horizontal distances between the virtual line and a plurality of radar measurement points based on an imaginary line perpendicular to the lateral center point of the target estimated by the first method. calculating ; Based on the virtual line corresponding to the heading direction (Yaw) of the vehicle passing through the center point of the binding box set in each target by targeting the surrounding vehicle recognized by the second method, the virtual line and the plurality of radar measurement points calculating a second cost function summing the horizontal distances between them; and selecting a target having a minimum cost function value by comparing the first cost function with the second cost function.
상기 비용 함수를 산출하는 단계는, 이전에 결정된 타겟의 위치 정보를 누적함으로써 소정의 커브 곡선을 산출하는 단계; 상기 커브 곡선 및 차량의 이동 가능 영역을 고려한 현재 시점의 타겟의 위치 정보를 예상하는 단계; 상기 예상되는 타겟의 중심점을 관통하는 차량의 헤딩 방향(Yaw)에 상응하는 가상선을 기준으로, 상기 가상선과 상기 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제3 비용 함수를 계산하는 단계를 더 포함할 수 있다. Calculating the cost function may include calculating a predetermined curve curve by accumulating previously determined target location information; estimating the location information of the target at the current time in consideration of the curve curve and the movable area of the vehicle; Calculating a third cost function summing the horizontal distance between the virtual line and the plurality of radar measurement points based on the virtual line corresponding to the heading direction (Yaw) of the vehicle passing through the expected center point of the target may include more.
본 개시의 제2 측면은, 레이더 및 카메라 기반의 센서 퓨전 시스템에 있어서, 주변에 전파를 방사하고, 객체에 반사되어 입사되는 반사파들을 감지함으로써 객체와의 횡방향 거리 정보를 산출하는 레이더; 차량의 전방, 후방, 측면 중 적어도 하나의 위치에 탑재되고, 촬영 영상을 획득하여 프로세서에 전달하는 카메라; 상기 레이더 및 카메라를 캘리브레이션하고, 상기 레이더로부터 획득한 객체와의 횡방향 거리 정보 및 상기 촬영 영상을 정합함으로써 센서 퓨전 영상을 생성하고, 레이더 측정 포인트들 및 상기 센서 퓨전 영상을 해석함으로써 주변 차량의 위치를 산출하는, 프로세서;를 포함할 수 있다. A second aspect of the present disclosure provides a sensor fusion system based on a radar and a camera, comprising: a radar emitting radio waves to the surroundings and calculating lateral distance information with an object by detecting reflected waves that are reflected and incident on the object; a camera mounted on at least one of the front, rear, and side of the vehicle, the camera acquires the captured image and transmits it to the processor; The radar and the camera are calibrated, the sensor fusion image is generated by matching the lateral distance information with the object acquired from the radar and the captured image, and the location of the surrounding vehicle by analyzing the radar measurement points and the sensor fusion image It may include a processor, which calculates .
상기 프로세서가 주변 차량의 위치를 산출하는 것은, 레이더를 통해 감지되는 복수개의 레이더 측정 포인트들로부터 주변 차량으로 추정되는 타겟에 대한 위치 정보를 산출하는 제1 방법; 카메라 및 레이더간 센서 퓨전 영상에 포함된 주변 차량을 타겟으로 인식하고, 상기 타겟에 대한 위치 정보를 트래킹하는 제2 방법; 제1 방법 및 제2 방법 중 적어도 하나에 기초하여 추정되거나 인식된 각각의 타겟에 대해 타겟의 중심점을 이용하여 비용 함수를 산출하는 단계; 및 상기 산출한 각각의 타겟에 대한 비용 함수를 비교하여 최적의 비용 함수값을 선택하고, 상기 선택된 비용 함수를 기초로 타겟에 대한 위치 정보를 산출하는 단계;를 포함할 수 있다. Calculating the location of the surrounding vehicle by the processor may include: a first method of calculating location information on a target estimated to be a surrounding vehicle from a plurality of radar measurement points sensed through a radar; a second method of recognizing a surrounding vehicle included in a sensor fusion image between a camera and a radar as a target, and tracking location information about the target; calculating a cost function using a center point of the target for each target estimated or recognized based on at least one of the first method and the second method; and selecting an optimal cost function value by comparing the calculated cost functions for each target, and calculating location information about the target based on the selected cost function.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another system, and a computer-readable recording medium storing a computer program for executing the method may be further provided.
본 발명의 일 실시 예에 따르면 레이더와 카메라에 의해 수집된 정보를 가공하여 높은 수준의 정밀도를 가지는 위치 추적이 가능하기 때문에, 주변 차랑 인식을 위한 고가, 고정밀 장비를 대체할 수 있다.According to an embodiment of the present invention, since location tracking with a high level of precision is possible by processing the information collected by the radar and the camera, it can replace expensive, high-precision equipment for recognizing a nearby vehicle.
본 발명의 일 실시 예에 따르는 센서 퓨전 시스템(100)은 여러 방법에 의해 산출된 비용 함수를 비교 분석함으로써, 각각 하나의 방법으로만 주변 차량을 측위했을 때 보다 더 높은 정확도를 가지고 주변 차량의 현재 위치를 실시간 트래킹할 수 있다.The
도 1은 도로 환경에서 차량이 카메라 및 레이더를 이용해 주변 차량을 인식하는 것을 설명하기 위한 예시적인 도면이다.
도 2는 본 발명의 일 실시 예에 따른 센서 퓨전 시스템에 관한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 센서 퓨전 시스템(100)에서 주변 차량의 위치를 산출하는 방법에 관한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따라 여러 방법을 통해 비용 함수를 산출하는 것을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시 예에 따른 각 단계 별 사용하는 좌표계를 비교 설명하기 위한 예시적인 도면이다.
도 6a 내지 도 6b는 레이더를 통해 획득한 레이더 측정 포인트들 및 타겟 추적 알고리즘에 기초하여 추정된 타겟의 위치 정보를 예시적으로 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따라 카메라를 통해 주변 차량의 위치 정보를 획득하는 것을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 제1 비용 함수 산출 방법을 설명하기 위한 예시적인 도면이다.
도 9는 본 발명의 다른 실시 예에 따른 제2 비용 함수 산출 방법을 설명하기 위한 예시적인 도면이다.
도 10 내지 도 11은 과거의 타겟 위치 정보로부터 현재 시점의 타겟 위치 정보를 예측하는 것을 설명하기 위한 예시적인 도면이다. 1 is an exemplary diagram for explaining that a vehicle recognizes a surrounding vehicle using a camera and a radar in a road environment.
2 is a block diagram of a sensor fusion system according to an embodiment of the present invention.
3 is a flowchart illustrating a method of calculating the location of a nearby vehicle in the
4 is an exemplary diagram for explaining calculating a cost function through various methods according to an embodiment of the present invention.
5 is an exemplary diagram for comparing and explaining a coordinate system used for each step according to an embodiment of the present invention.
6A to 6B are diagrams exemplarily illustrating location information of a target estimated based on radar measurement points acquired through a radar and a target tracking algorithm.
7 is a view for explaining obtaining location information of a surrounding vehicle through a camera according to an embodiment of the present invention.
8 is an exemplary view for explaining a method of calculating a first cost function according to an embodiment of the present invention.
9 is an exemplary view for explaining a method of calculating a second cost function according to another embodiment of the present invention.
10 to 11 are exemplary diagrams for explaining prediction of target location information of a current view from past target location information.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Advantages and features of the present invention, and a method for achieving them will become apparent with reference to the detailed description in conjunction with the accompanying drawings. However, it should be understood that the present invention is not limited to the embodiments presented below, but may be implemented in a variety of different forms, and includes all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. . The embodiments presented below are provided to complete the disclosure of the present invention, and to completely inform those of ordinary skill in the art to the scope of the present invention. In describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It is to be understood that this does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다."매커니즘", "요소", "수단" 및 "구성"등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로써 한정되는 것은 아니다.Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and/or software configurations that perform specific functions. For example, the functional blocks of the present disclosure may be implemented by one or more microprocessors, or by circuit configurations for a given function. Also, for example, the functional blocks of the present disclosure may be implemented in various programming or scripting languages. The functional blocks may be implemented as an algorithm running on one or more processors. Further, the present disclosure may employ prior art techniques for electronic configuration, signal processing, and/or data processing, etc. Terms such as "mechanism", "element", "means" and "configuration" will be used broadly. and is not limited to mechanical and physical configurations.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어 질 수 있다.In addition, the connecting lines or connecting members between the components shown in the drawings only exemplify functional connections and/or physical or circuit connections. In an actual device, a connection between components may be represented by various functional connections, physical connections, or circuit connections that are replaceable or added.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.Hereinafter, the present disclosure will be described in detail with reference to the accompanying drawings.
도 1은 도로 환경에서 차량이 카메라 및 레이더를 이용해 주변 차량을 인식하는 것을 설명하기 위한 예시적인 도면이다. 1 is an exemplary diagram for explaining that a vehicle recognizes a surrounding vehicle using a camera and a radar in a road environment.
도 1을 참고하면, 차량(10)에 탑재될 수 있는 센서 퓨전 시스템은 다양한 센서를 통해 인지된 외부 환경 정보와 차량 자체 정보를 기반으로 차량 주변의 상황들을 파악할 수 있다. 일 예로, 레이더는 조명 및 날씨와 같은 외부 환경에 비교적 강인하며, 거리 및 속도를 물리적으로 직접 획득할 수 있어 차량과 차량간 거리 정보의 획득이 용이하다. 또한, 레이더는 객체의 도플러 성분을 추출할 수 있어 정지한 객체와 이동하는 객체를 구분할 수 있고, 이러한 도플러 스펙트럼을 객체의 인지 또는 분류에 활용할 수 있다. Referring to FIG. 1 , a sensor fusion system that may be mounted on a
또한, 차량(10)에 탑재되는 카메라는 주변 환경을 실시간으로 촬영하고, 촬영 영상 내 포함된 객체를 피쳐(feature) 형태로 인지함으로써 다양한 형상과 모양을 가지는 객체의 종류를 구별할 수 있다.In addition, the camera mounted on the
도 1을 참고하면, 센서 퓨전 시스템은 차량(10)에 탑재된 레이더가 주변을 향해 전파를 방사하고, 주변 차량(15)에 반사되는 반사파(26, 27, 28)를 수신함으로써 레이더 측정 포인트들을 획득할 수 있다. 이때 획득한 레이더 측정 포인트들은, 차량용 레이더의 타겟 추적 알고리즘에 기초하여 차량(10)에 필요한 소정의 정보, 예를 들어 차량(10)과 주변 차량(15) 사이의 횡방향 거리 정보, 주변 차량(15)의 상대 속도 등을 산출할 수 있다. Referring to FIG. 1 , in the sensor fusion system, the radar mounted on the
또한, 센서 퓨전 시스템에서, 차량(10)에 탑재된 카메라는 촬영 영상(30)을 획득할 수 있다. 일 예로, 센서 퓨전 시스템은 촬영 영상(30)으로부터 피처 클래스(feature class)를 추출하여, 촬영 영상(30) 내 몇 대의 차량이 있는지 파악하고, 차량별 바인딩 박스를 설정해 놓음으로써 타겟이 되는 주변 차량의 실시간 추적(tracking)을 수행할 수 있다. Also, in the sensor fusion system, the camera mounted on the
또한, 센서 퓨전 시스템은 레이더 및 카메라에서 획득한 정보들을 동일 좌표계 상에서 융합 함으로써 차량(10)의 근처에 위치해 있는 주변 차량(15)과의 횡방향 거리 정보, x축 및 y축을 포함하는 좌표 정보, 또는 해당 좌표 정보를 글로벌 좌표계(x, y, z)로 변환한 데이터들을 획득할 수 있다. In addition, the sensor fusion system fuses the information acquired from the radar and the camera on the same coordinate system, so that the lateral distance information with the surrounding
본 발명의 일 실시 예에 따르면, 센서 퓨전 시스템은 레이더 및 카메라가 획득한 촬영 영상을 매핑함으로써 센서 퓨전 영상을 생성하고, 레이더 측정 포인트들에 대한 해석을 여러 버전으로 수행함으로써 타겟의 위치 정보를 보다 더 정밀하게 측위할 수 있다. According to an embodiment of the present invention, the sensor fusion system generates a sensor fusion image by mapping the captured image acquired by the radar and the camera, and analyzes the radar measurement points in multiple versions to view the location information of the target. More precise positioning is possible.
도 2는 본 발명의 일 실시 예에 따른 센서 퓨전 시스템(100)에 관한 블록도이다. 일 예에 따르면, 센서 퓨전 시스템(100)은 레이더(110), 카메라(120), 프로세서(130)를 포함할 수 있다. 2 is a block diagram of a
레이더(110)는 주변에 전파를 방사하고, 객체에 반사되어 입사되는 반사파들을 감지함으로써 객체와의 횡방향 거리 정보를 산출할 수 있다. 이때, 레이더(110)는 안테나, 송수신단, 신호처리단을 통해 차량의 상태 정보를 판단할 수 있다. 일 예로, 레이더(110)는 송신 안테나와 다수의 수신 안테나를 이용하여 객체별 거리, 각도, 속도를 탐지할 수 있다. 여기서, 레이더(110)는 비교적 외부 환경에 강인하고, 전파의 왕복 시간으로 정확한 거리를 탐지할 수 있다. 또한, 레이더(110)는 객체들로부터 반사된 도플러 주파수를 이용하여 주변 차량의 속도 정보를 직접적으로 획득할 수 있다. 다만, 레이더(110)의 각도 탐지 성능이 낮아서 모든 객체가 하나의 포인트로 인지될 수 있으며, 이에 따라 레이더(110)를 통해 획득한 정보들 중 주변 차량을 인식하기 위한 별도의 프로세스가 필요할 수 있다. The
카메라(120)는 차량의 전방, 후방, 측면 중 적어도 하나의 위치에 탑재되고, 촬영 영상을 획득하여 프로세서에 전달할 수 있다. 여기서, 카메라(120)는 촬영 영상으로부터 형상 그룹(feature class)을 추출하여 추출한 형상 그룹에 바인딩 박스를 설정하고, 실시간 객체 인식 결과 업데이트를 통해 해당 객체에 대한 트래킹 정보를 획득할 수 있다. The
프로세서는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 저장 매체 또는 통신 모듈에 의해 프로세서로 제공될 수 있다. 예를 들어 프로세서는 저장 매체와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.The processor may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. Instructions may be provided to the processor by a storage medium or a communication module. For example, the processor may be configured to execute instructions received according to program code stored in a recording device such as a storage medium.
프로세서(130)는 레이더(110) 및 카메라(120)를 캘리브레이션하고, 상기 레이더로부터 획득한 객체와의 횡방향 거리 정보 및 상기 촬영 영상을 정합함으로써 센서 퓨전 영상을 생성하고, 레이더 측정 포인트들 및 센서 퓨전 영상을 해석함으로써 촬영 영상에 포함된 주변 차량의 위치를 산출할 수 있다. The
한편 본 발명의 일 실시 예에 따른 센서 퓨전 시스템(100)은 다수의 레이더(110), 카메라(120)등을 포함하여 각각의 레이더(110) 및 각각의 카메라(120)의 설치 위치에 기반하여 캘리브레이션 적용 후 일대 다 관계의 매핑이 가능하다. Meanwhile, the
일 예로, 프로세서(130)는 레이더(110)에서 획득한 정보를 카메라 좌표계로 투영하여 카메라가 촬영한 2D 영상에 레이더(110)로부터 획득한 차량과, 주변 차량 사이의 횡방향 거리 정보를 매핑할 수 있다. As an example, the
또한, 프로세서(130)는 레이더를 통해 감지되는 복수개의 레이더 측정 포인트들로부터 주변 차량으로 추정되는 타겟에 대한 위치 정보를 산출하는 제1 방법, 카메라 및 레이더간 센서 퓨전 영상에 포함된 주변 차량을 타겟으로 인식하고, 상기 타겟에 대한 위치 정보를 트래킹하는 제2 방법을 통해 각각 주변 차량의 위치 정보를 산출할 수 있다.In addition, the
일 예로, 프로세서(130)는 레이더에서 전파를 방사하고, 객체에 반사되어 입사되는 반사파들을 감지함으로써 복수개의 레이더 측정 포인트들을 획득하고, 타겟 검출 확률에 기반하여 상기 복수개의 레이더 측정 포인트들을 소정의 그룹으로 클러스터링하고, 연속적으로 획득되는 복수개의 레이더 측정 포인트들을 이용하여 상기 클러스터링된 그룹을 업데이트함으로써 연속성을 유지하는 클러스터링된 그룹을 주변 차량으로 추정하는 제1 방법을 수행할 수 있다. As an example, the
다른 예로, 프로세서(130)는 상기 센서 퓨전 영상에 객체 인식 알고리즘을 적용하여 주변 차량을 검출하고, 상기 검출한 주변 차량 영역에 대한 바인딩 박스를 설정하고, 상기 바인딩 박스가 설정된 영역을 타겟으로, 상기 타겟에 대한 위치 정보를 트래킹하는 제2 방법을 수행할 수 있다. As another example, the
여기서, 프로세서(130)는 상기 센서 퓨전 영상 중 이전의 이미지 프레임과 현재 이미지 프레임을 비교함으로써 상기 타겟의 실시간 위치 변화를 반영한 타겟에 대한 연속적인 위치 정보를 산출함으로써 상기 타겟에 대한 위치 정보를 트래킹할 수 있다.Here, the
프로세서(130)은 단지 하나의 방법에 의해 주변 차량의 위치를 대략적으로 추정하는 것이 아니라 여러 개의 방법을 비교 분석하여 최적의 차량 위치 정보를 선택함으로써 주변 차량에 대한 고정밀 측위가 가능하다. The
프로세서(130)는 제1 방법 및 제2 방법 중 적어도 하나에 기초하여 추정되거나 인식된 각각의 타겟에 대해 타겟의 중심점을 이용하여 비용 함수를 산출할 수 있다.The
예를 들어, 프로세서(130)는 상기 제1 방법에 의해 추정된 타겟의 횡방향 중심점에 수직한 가상선을 기준으로, 상기 가상선과 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제1 비용 함수를 계산하고, 상기 제2 방법에 의해 인식된 주변 차량 각각을 타겟으로, 각 타겟에 대해 설정된 바인딩 박스의 중심점을 관통하는 차량의 헤딩 방향(Yaw)에 상응하는 가상선을 기준으로, 상기 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제2 비용 함수를 계산하고, 상기 제1 비용 함수와 상기 제2 비용 함수를 비교하여 최소의 비용 함수값을 가지는 타겟을 선택함으로써 비용 함수를 산출할 수 있다. 이때, 프로세서(130)는 상기 산출한 각각의 타겟에 대한 비용 함수를 비교하여 최적의 비용 함수값을 선택하고, 상기 선택된 비용 함수를 기초로 타겟에 대한 위치 정보를 산출할 수 있다.For example, the
한편, 프로세서(130)는 이전에 결정된 타겟의 위치 정보를 누적함으로써 소정의 커브 곡선을 산출하고, 상기 커브 곡선 및 차량의 이동 가능 영역을 고려한 현재 시점의 타겟의 위치 정보를 예상하고, 상기 예상되는 타겟의 중심점을 관통하는 차량의 헤딩 방향(Yaw)에 상응하는 가상선을 기준으로, 상기 가상선과 상기 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제3 비용 함수를 계산할 수 있다. 이때, 프로세서(130)는 상기 제3 비용 함수를 더 고려하여, 제1 비용 함수, 제2 비용 함수, 제3 비용 함수 중 최소의 값을 가지는 비용 함수를 최적의 비용 함수로 선택할 수 있다. On the other hand, the
도 3은 본 발명의 일 실시 예에 따른 센서 퓨전 시스템(100)에서 주변 차량의 위치를 산출하는 방법에 관한 흐름도이다. 3 is a flowchart illustrating a method of calculating the location of a nearby vehicle in the
단계 S110에서, 센서 퓨전 시스템(100)은 레이더를 통해 감지되는 복수개의 레이더 측정 포인트들로부터 주변 차량으로 추정되는 타겟에 대한 위치 정보를 산출하는 제1 방법을 수행할 수 있다. 예를 들어, 레이더를 통해 수신되는 반사파 자체만으로는 타겟이 특정 위치에 존재한다는 것을 파악할 수는 있지만, 해당 위치에 어떤 타겟이 있는지를 판별할 수 없다. 그러나, 복수개의 레이더 측정 포인터들이 있다면, 아래와 같은 제1 방법에 의해 주변 차량으로 추정되는 타겟에 대한 정확한 위치 정보를 추정할 수 있다. 이때, 레이더 측정 포인터들은 2축 좌표계 상에서 레이더가 포함된 차량과 주변 차량간 종방향, 횡방향 정보를 포함하는 정확한 좌표값을 추정할 수 있다. In operation S110 , the
예를 들어, 레이더(110)에 기반한 타겟 추적 알고리즘은 칼만 필터, 확장 칼만 필터(Extended Kalman Filter), PDAF(probabilistic data-association filter), IPDAF(Integrated probabilistic data-association filter), LM-IPDAF(Linear Multi-target IPDAF), JPDAF(joint probabilistic data-association filtter), CFAR(Constant false alarm rate) 와 같은 필터 또는 위치 추적 알고리즘을 통해 타겟의 현재 및 과거 경로를 이용하여 미래 경로를 추정할 수 있다.For example, the target tracking algorithm based on the
본 발명의 일 실시 예에 따르면, 상기 기재한 필터 또는 위치 추적 알고리즘 중 어떠한 방법을 사용하여도 무방하며, 종래 기술들을 보완하여 레이더와 카메라만으로 자율주행 차량에 요구되는 높은 수준의 정밀한 주변 차량의 위치 산출을 가능하게 한다. 본 발명에 따르면 레이더와 카메라에 의해 수집된 정보를 가공하여 높은 수준의 정밀도를 가지는 위치 추적이 가능하기 때문에, 주변 차랑 인식을 위한 고가, 고정밀 장비를 대체할 수 있다. 레이더를 이용한 측위 기술은 여러 개가 있을 수 있지만, 그 중 하나에 관하여 아래와 같은 실시 예를 설명한다.According to an embodiment of the present invention, any method of the above-described filter or position tracking algorithm may be used, and the high level of precision required for an autonomous vehicle by a radar and a camera only by supplementing the prior art techniques make the output possible. According to the present invention, since location tracking with a high level of precision is possible by processing the information collected by the radar and the camera, it can replace expensive, high-precision equipment for recognizing a nearby vehicle. Although there may be several positioning techniques using radar, the following embodiment will be described with respect to one of them.
일 예로, 센서 퓨전 시스템(100)은 제1 방법을 통해 주변 차량으로 추정되는 타겟에 대한 위치 정보를 산출할 수 있고, 여기서 제1 방법은 레이더에서 전파를 방사하고, 객체에 반사되어 입사되는 반사파들을 감지함으로써 복수개의 레이더 측정 포인트들을 획득하는 단계, 타겟 검출 확률에 기반하여 상기 복수개의 레이더 측정 포인트들을 소정의 그룹으로 클러스터링하는 단계, 연속적으로 획득되는 복수개의 레이더 측정 포인트들을 이용하여 상기 클러스터링된 그룹을 업데이트함으로써 연속성을 유지하는 클러스터링된 그룹을 주변 차량으로 추정하는 단계를 포함할 수 있다. For example, the
일 예로, 센서 퓨전 시스템(100)은 타겟 추적 기술을 통해 현재 시점 t를 기준으로 소정의 시간 이전인 t-1, t-2, … 시간에 획득한 타겟에 대한 위치 정보를 이용하여 타겟의 위치 정보를 트래킹 할 수 있다. 이때, 타겟은 3차원 좌표계에서 소정의 볼륨을 가지는 실물이지만, 레이더를 통해 획득되는 레이더 측정 포인트들은 2축 좌표계 상의 소정의 포인트들로 획득될 수 있다. 여기서, 센서 퓨전 시스템(100)은 선형 모델 판정법(residual sum)을 통해 타겟으로 추정되는 소정의 영역을 클러스터링 하고, 클러스터링된 영역에 대한 예측(prediction), 보정(correction)을 반복적으로 수행하여 연속성을 가지는 클러스터링 영역을 구분할 수 있다. As an example, the
또한, 센서 퓨전 시스템(100)에서 레이더를 통해 획득된 정보는 차량과 타겟과의 거리(횡방향 거리 정보), 타겟의 속도 정보를 포함할 수 있고, 클러스터링 영역 중 한 지점을 타겟의 위치 정보로 추정할 수 있다. 여기서 타겟은 주로 주변에 위치한 차량이 될 수 있으며, 센서 퓨전 시스템(100)은 멀티 객체 추적 기술을 통해 레이더를 이용해 차량 주변에 위치한 주변 차량들 각각의 위치 정보 및 이동 속도 정보를 획득할 수 있다. In addition, the information obtained through the radar in the
단계 S120에서, 센서 퓨전 시스템(100)은 카메라 및 레이더간 센서 퓨전 영상에 포함된 주변 차량을 타겟으로 인식하고, 상기 타겟에 대한 위치 정보를 트래킹하는 제2 방법을 수행할 수 있다. 예를 들어, 센서 퓨전 영상은 레이더에서 획득한 차량과 차량간 횡방향 거리 정보를 카메라가 촬영한 2차원 좌표계 상의 영상과 매핑한 영상일 수 있다. 한편, 센서 퓨전 영상은 자율주행 차량을 위해 글로벌 좌표계로 변환되거나, 해당 좌표계에 소정의 데이터를 추가적으로 확장 기재할 수 있는 어노테이션 정보 등이 추가될 수 있다. In step S120 , the
일 예로, 센서 퓨전 시스템(100)에서 상기 제2 방법은, 센서 퓨전 시스템(100)이 상기 센서 퓨전 영상에 객체 인식 알고리즘을 적용하여 주변 차량을 검출하는 단계, 상기 검출한 주변 차량 영역에 대한 바인딩 박스를 설정하고, 상기 바인딩 박스가 설정된 영역을 타겟으로, 상기 타겟에 대한 위치 정보를 트래킹하는 단계를 포함할 수 있다. 여기서, 센서 퓨전 시스템(100)이 타겟에 대한 위치 정보를 트래킹하는 단계는, 상기 센서 퓨전 영상 중 이전의 이미지 프레임과 현재 이미지 프레임을 비교함으로써 상기 타겟의 실시간 위치 변화를 반영한 타겟에 대한 연속적인 위치 정보를 산출하는 단계일 수 있다. As an example, the second method in the
단계 S130에서, 센서 퓨전 시스템(100)은 제1 방법 및 제2 방법 중 적어도 하나에 기초하여 추정되거나 인식된 각각의 타겟에 대해 타겟의 중심점을 이용하여 비용 함수를 산출할 수 있다. 예를 들어, 센서 퓨전 시스템(100)이 레이더 및 카메라 중 어느 하나를 이용하여 획득한 정보들을 기초로, 주변 차량의 위치 정보를 산출하는 방법은 여러 개가 있을 수 있다. 센서 퓨전 시스템(100)은 고정밀 측위를 위해, 여러개의 방법을 적용했을 때 주변 차량의 위치 정보를 산출하고, 이에 대한 비용 함수 산출하여 각 방법의 효용을 비교 분석할 수 있다. 예를 들어, 센서 퓨전 시스템(100)은 복수개의 방법 간 비교를 위해 아래와 같은 비용 함수 산출을 수행할 수 있다.In operation S130 , the
일 예로, 센서 퓨전 시스템(100)은 제1 방법에 의해 추정된 타겟의 횡방향 중심점에 수직한 가상선을 기준으로, 가상선과 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제1 비용 함수를 계산할 수 있다. 예를 들어, 레이더 측정 포인트들이 복수개 획득되고, 제1 방법을 통해 클러스팅된 소정의 영역 내에서 각 레이저 측정 포인트들간 위치 비교를 위해, 타겟의 횡방향 중심점에 수직한 종방향 가상선과 각 레이더 측정 포인트들 간 수평 거리를 산출할 수 있다. 이때, 센서 퓨전 시스템(100)은 복수개의 레이더 측정 포인트들의 수평 거리를 합산하여, 상기 종방향 가상선을 기준으로 얼마나 많은 레이더 측정 포인트들이 밀집해 있는지 지표를 비용 함수로 산출할 수 있다. As an example, the
다른 예로, 센서 퓨전 시스템(100)은 제2 방법에 의해 인식된 주변 차량 각각을 타겟으로, 각 타겟에 대해 설정된 바인딩 박스의 중심점을 관통하는 차량의 헤딩 방향(Yaw)에 상응하는 가상선을 기준으로, 상기 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제2 비용 함수를 계산할 수 있다. 상기 차량의 헤딩 방향(Yaw)에 상응하는 가상선과 전술한 종방향 가상선은 각 지칭하는 명칭은 다르지만, 센서 퓨전 시스템(100)에서 각 방법이 설정하는 타겟의 중심점을 지나는 가상선이라는 점에서 공통될 수 있다. As another example, the
또 다른 예로, 센서 퓨전 시스템(100)은 이전에 결정된 타겟의 위치 정보를 누적함으로써 소정의 커브 곡선을 산출하는 단계, 상기 커브 곡선 및 차량의 이동 가능 영역을 고려한 현재 시점의 타겟의 위치 정보를 예상하는 단계, 상기 예상되는 타겟의 중심점을 관통하는 차량의 헤딩 방향(Yaw)에 상응하는 가상선을 기준으로, 상기 가상선과 상기 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제3 비용 함수를 계산하는 단계를 포함할 수 있다. As another example, the
일 예로, 센서 퓨전 시스템(100)은 X축으로 촬영 영상의 프레임 시점(t, t-1, t-2, … )을, Y축으로 횡방향 거리 정보를 플롯하여, 하나의 타겟에 대해 과거의 기록으로부터 소정의 커브 곡선에 상응하는 현재 시간 t에서의 타겟의 횡방향 거리 정보를 추정할 수 있다. 다만, 이때 주변 차량의 주행 차선 정보를 고려하여 해당 주변 차량이 직진하는지, 또는 좌회전/우회전, 또는 차선 변경 등을 수행하는지 트래킹 결과를 고려하여 상기 소정의 커브 곡선의 정도를 조정할 수 있다. 예를 들어, 센서 퓨전 시스템(100)은 과거 t-n번째 프레임으로부터 t-1번째 프레임까지 누적된 횡방향 거리 정보를, 주변 차량의 왼쪽 차선(1차로), 해당 차선(2차로), 오른쪽 차선(3차로) 구간에 대해 누적된 횡방향 거리 정보를 이용하여 예측되는 커브 곡선의 예측 값을 통해 현재 시점 t번째 프레임에서의 3개의 예측 프레임(1차로, 2차로, 3차로)을 획득할 수 있다. As an example, the
전술한 바와 같이 과거의 기록으로부터 t번째 프레임에 대해 예측되는 횡방향 거리 정보는, 만일 해당 주변 차량이 차선을 변경하는 경우에도 해당 차량의 횡방향 거리 정보를 더욱 잘 트래킹 할 수 있게 하고, 과거의 기록들이 실시간으로 업데이트되면서 정밀한 수준의 연속적인 위치 정보 트래킹이 가능하다. 즉, 본 발명에 따른 주변 차량 위치 방법이 주변 차량에 대한 실시간 트래킹을 지향하는 만큼, 주변 차량이 차선을 변경하고 있는 해당 순간에도 정밀한 위치 정보 트래킹이 가능하다. As described above, the lateral distance information predicted for the t-th frame from the past record enables better tracking of the lateral distance information of the corresponding vehicle even if the corresponding neighboring vehicle changes lanes, and Records are updated in real time, enabling a precise level of continuous location tracking. That is, as the surrounding vehicle location method according to the present invention aims for real-time tracking of the surrounding vehicle, accurate location information tracking is possible even at the moment when the surrounding vehicle changes lanes.
단계 S140에서, 센서 퓨전 시스템(100)은 산출한 각각의 타겟에 대한 비용 함수를 비교 선택하고 상기 선택된 타겟에 대해 횡방향 거리 정보를 포함하는 위치 정보를 산출할 수 있다. 일 예로, 센서 퓨전 시스템(100)은 다양한 방법을 통해 복수개의 비용 함수를 산출할 수 있다. 이때, 센서 퓨전 시스템은 여러 개의 비용 함수를 비교하여 최적의 비용 함수를 선택하고 이에 기초하여 선택된 타겟의 위치 정보를 산출할 수 있다. In step S140 , the
예를 들어, 센서 퓨전 시스템(100)은 제1 비용 함수와 상기 제2 비용 함수를 비교하여 최소의 비용 함수값을 가지는 타겟을 선택하고, 해당 타겟에 대한 위치 정보를 산출할 수 있다. 다른 예로 센서 퓨전 시스템(100)은 제1 비용 함수 내지 제3 비용 함수를 산출한 경우, 이를 기초로 최소의 비용 함수값을 가지는 타겟을 선택하고, 해당 타겟에 대한 위치 정보를 산출할 수 있다. 이때 각 타겟의 위치 정보에는 레이더를 통해 획득한 횡방향 거리 정보가 포함될 수 있다. For example, the
전술한 바와 같이 센서 퓨전 시스템(100)은 여러 방법에 의해 산출된 비용 함수를 비교 분석함으로써, 각각 하나의 방법으로만 주변 차량을 측위했을 때 보다 더 높은 정확도를 가지고 주변 차량의 현재 위치를 실시간 트래킹할 수 있다. As described above, the
도 4는 본 발명의 일 실시 예에 따라 여러 방법을 통해 비용 함수를 산출하는 것을 설명하기 위한 예시적인 도면이다. 4 is an exemplary diagram for explaining calculating a cost function through various methods according to an embodiment of the present invention.
도 4를 참고하면, 센서 퓨전 시스템(100)은 카메라(200)를 통해 촬영 영상(210, 220, 230)을 획득할 수 있다. 여기서, 카메라(200)는 차량 내 전방, 후방, 측면 중 어느 하나 이상의 지점에 탑재될 수 있으며, 복수개의 카메라에 대한 캘리브레이션 과정을 거쳐 카메라에서 촬영 영상(210, 220, 230)을 획득할 수 있다. Referring to FIG. 4 , the
한편, 센서 퓨전 시스템(100)은 레이더(310)를 통해 전파를 소정의 영역에 방사하고, 이때 객체로부터 반사되어 되돌아오는 반사파를 수집할 수 있다(320). 이때, 수집된 반사파로부터 획득된 정보를 레이더 측정 포인트라 부를 수 있다. 레이더 측정 포인트는 객체가 있을 것으로 추정되는 좌표, 차량과 객체 사이의 횡방향 거리 정보, 객체의 속도 정보 등을 포함할 수 있다.Meanwhile, the
또한, 센서 퓨전 시스템(100)은 레이더(310)를 통해 획득한 레이더 측정 포인트들에 대해 소정의 프로세싱을 거쳐 타겟을 주변 차량으로 인식하거나, 주변 차량의 정확한 위치 정보를 산출하는 과정을 수행할 수 있다. In addition, the
한편, 센서 퓨전 시스템(100)은 카메라(200)와 레이더(310)에서 획득한 각 촬영 영상(210, 220, 230)과, 레이더 측정 포인트(320)를 동일 좌표계 상에 매핑한 센서 퓨전 영상을 획득할 수 있다(330). 이때, 센서 퓨전 영상은 영상 좌표계인 2차원 좌표계에 레이더 측정 포인트들로부터 가공 처리된 차량과 주변 차량간 횡방향 거리 정보 등을 포함할 수 있다. On the other hand, the
센서 퓨전 시스템(100)은 여러 방법을 통해 주변 차량의 위치 정보를 산출하고, 각 방법을 비교 분석하기 위한 비용 함수를 산출할 수 있다. 일 예로, 센서 퓨전 시스템(100)은 레이더(110)의 타겟 추적 알고리즘에 기초하여 레이더 측정 포인트(320)들을 기초로 타겟의 위치 정보를 추정하고, 상기 레이더 측정 포인트들을 이용하여 소정의 프로세스에 따라 제1 비용 함수를 산출할 수 있다(340). The
다른 예로, 센서 퓨전 시스템(100)은 획득한 센서 퓨전 영상을 해석하여, 촬영 영상으로부터 추출한 타겟에 대한 바인딩 박스와, 해당 바인딩 박스 주변의 레이더 측정 포인트들을 이용하여 소정의 프로세스에 따라 제2 비용 함수를 산출할 수 있다(350).As another example, the
센서 퓨전 시스템(100)은 제1 비용 함수와, 제2 비용 함수를 비교하여 최소 비용 함수값을 선택함으로써, 제1 방법 또는 제2 방법에 의한 주변 차랑 위치 정보 측위 값 중 한 측위값을 최적의 주변 차량 위치 정보로 결정할 수 있다. The
한편, 다른 실시 예에 따르면, 전술한 과정을 거쳐 결정된 최적의 주변 차량 위치 정보는 다음 프레임에서의 주변 차량 위치 정보 결정시, 과거의 데이터로부터 새로운 예측값을 생성하고, 소정의 프로세스에 따라 상기 생성한 예측값에 대한 제3 비용 함수를 산출함으로써 상기 제1 비용 함수, 제2 비용 함수와 비교 예를 더 생성할 수 있다. Meanwhile, according to another embodiment, the optimal surrounding vehicle location information determined through the above-described process generates a new predicted value from past data when determining the surrounding vehicle location information in the next frame, and generates the generated information according to a predetermined process. By calculating the third cost function for the predicted value, the first cost function, the second cost function, and the comparative example may be further generated.
예를 들어, 센서 퓨전 시스템(100)은 과거(t-1, t-2, t-3, ??) 프레임에서의 최적의 값으로 결정된 주변 차량 위치 정보를 과거 데이터로써 누적하고, 이로부터 현재 프레임(t)에서의 주변 차량 위치 예측값을 생성할 수 있다.이때, 센서 퓨전 시스템(100)은 보다 정확한 측위를 위해 상기 주변 차량이 1차로 내지 3차로 사이의 차선 변경 가능성을 더 고려하여 현재 프레임(t)에 대해 세 개의 시뮬레이션 값을 더 예측할 수 있다. 이에 관한 내용은 추후 도 10a 내지 10c를 통해 후술하여 설명한다. For example, the
한편, 센서 퓨전 시스템(100)은 제1 비용 함수, 제2 비용 함수, 제3 비용 함수 중 최소 비용 함수값을 가지는 적어도 하나의 비용 함수를 선택하고, 선택된 방법으로 측위된 값을 최적의 주변 차량 위치 정보로 결정할 수 있다(380). Meanwhile, the
도 5는 본 발명의 일 실시 예에 따른 각 단계 별 사용하는 좌표계를 비교 설명하기 위한 예시적인 도면이다. 본 발명의 일 실시 예에 따르면, 센서 퓨전 시스템(100) 내 포함된 각 센서(레이더, 카메라 등) 들은 각각 별도의 좌표계를 기초로 데이터를 수집하므로 이를 하나의 센서 퓨전 영상으로 매핑하거나 글로벌 좌표계로 변환하는 과정이 필요할 수 있다. 5 is an exemplary diagram for comparing and explaining a coordinate system used for each step according to an embodiment of the present invention. According to an embodiment of the present invention, since each sensor (radar, camera, etc.) included in the
도 5를 참고하면, 레이더 좌표계(400)는 레이더가 탑재된 차량(10)을 기준으로 주변 차량(15)과 상대적인 좌표로 직교 좌표계(rectangular coordinated system)인 x축, y축 좌표계가 사용될 수 있다. 도 5를 참고하면, 주변 차량(15)는 차량(10)에서 바라 봤을때 상대적인 좌표값(x,y)로 표시될 수 있다. 이때, 횡방향 거리 정보는 상기 좌표값(x,y)을 기초로 차량(10)과 주변 차량(15)간 직선 거리 정보로 계산될 수 있다. Referring to FIG. 5 , the radar coordinate
도 5를 참고하면, 카메라 좌표계(410)는 데카르트 좌표계(Cartesian coordinate system, 410)를 사용하여 x축 내지 z 축의 3축 좌표계를 사용하지만, 카메라로부터 촬영된 영상은 이미지 평면(Image plane, 425) 상의 픽셀 좌표계(420) 를 사용하여 기록될 수 있다. 이에 따르면, 카메라가 촬영한 촬영 영상 만으로는 차량과 주변 차량과의 횡방향 거리 정보를 명확하게 알 수 없으나, 본 발명의 일 실시 예에 따른 센서 퓨전 시스템(100)은 레이더를 통해 획득한 횡방향 거리 정보를 상기 촬영 영상에 매핑함으로써 2D 좌표 이외에 횡방향 거리 정보를 더 포함하는 센서 퓨전 영상을 생성할 수 있다. Referring to FIG. 5 , the camera coordinate
한편, 위와 같이 센싱 퓨전 시스템(100)에서 획득한 정보 들은, 차량의 진행 방향(x축), 차량 진행 방향에 수직한 방향(y축), 차량의 헤드 방향(z축)을 가지는 글로벌 좌표계(430)로 변환될 수 있다. On the other hand, the information obtained from the
도 6a 내지 도 6b는 레이더를 통해 획득한 레이더 측정 포인트들 및 타겟 추적 알고리즘에 기초하여 추정된 타겟의 위치 정보를 예시적으로 나타내는 도면이다. 6A to 6B are diagrams exemplarily illustrating location information of a target estimated based on radar measurement points acquired through a radar and a target tracking algorithm.
일 예에 따르면, 레이더에서 객체로부터 반사되어 온 반사파들을 수집하고, 이를 영상 평면(image plane) 상에서 대응시키면 도 6a와 같은 도면이 나타날 수 있다. 레이더 측정 포인트들(501~508)은 특정 위치에 어떠한 객체가 있다는 것을 알려주는 지표가 될 수 있다. According to an example, when the radar collects reflected waves reflected from an object and corresponds them on an image plane, a view as shown in FIG. 6A may appear. The radar measurement points 501 to 508 may be indicators indicating that there is an object at a specific location.
센서 퓨전 시스템(100)이 복수개의 레이더 측정 포인트들(501~508)을 획득하면, 타겟이 존재할 확률을 기초로 소정의 클러스터링을 통해 타겟의 위치 정보를 추정하여 클러스터링 영역(500)을 설정할 수 있다. 센서 퓨전 시스템(100)은 클러스터링 영역(500)에 대해 소정의 기간 동안 예측과 보정을 통한 클러스터링 영역 업데이트를 통해 클러스터링 영역(500)을 타 영역과 구별할 수 있다. 이때, 클러스터링 영역은 도 5와 같이 직사각형 바인딩 박스가 아닌 원, 타원, 또는 불규칙한 영역을 가지는 소정의 영역이 될 수도 있다. When the
도 6a를 참고하면 센서 퓨전 시스템(100)은 소정의 타겟 추적 알고리즘에 기초하여 타겟의 위치를 추정(550)할 수 있다. 관련하여 타겟 추적 알고리즘에 관하여 이하 도 6b을 통해 설명한다. Referring to FIG. 6A , the
도 6b는 본 발명의 일 실시 예에 따라 레이더의 타겟 추적 알고리즘을 설명하는 예시적인 도면이다. 6B is an exemplary diagram for explaining a target tracking algorithm of a radar according to an embodiment of the present invention.
일 예로, 추정 알고리즘에서 추정하고자 하는 대상을 타겟(target)이라 할 수 있고, 타겟의 상태 벡터인 X는 상대위치, 상대 속도, 상대 가속도로 구성된 상태 변수이다. 여기서, 센서 퓨전 시스템(100)은 선행 차량의 과거 상태 벡터로부터 선행 차량의 현재 상태 벡터를 예측(Predict)하고, 상기 선행 차량으로부터 반사되어 입사되는 레이더 측정 포인트들을 이용하여 선행 차량의 상태 벡터를 갱신(Update)하는 동역학 모델을 이용하여 타겟을 추적할 수 있다.For example, a target to be estimated in the estimation algorithm may be referred to as a target, and X, which is a state vector of the target, is a state variable composed of a relative position, a relative velocity, and a relative acceleration. Here, the
도 6b를 참고하면, 센서 퓨전 시스템(100)은 소정의 타겟 추적 알고리즘에 기초하여 선행 차량의 상태 벡터 예측값(600)를 예측할 수 있다. 여기서, 센서 퓨전 시스템(100)은 상태 벡터 예측값(600) 주변 소정의 거리에 일정한 확률로 계산된 게이트(gate, 650)을 설정하고, 상기 게이트(650)내 들어온 레이더 측정 포인트들(610, 620)을 갱신에 이용할 수 있다. 일 예로, 센서 퓨전 시스템(100)은 칼만 필터(Kalman filter)를 이용하여 게이트(650) 영역을 필터링하여, 측정 레이더 포인트 z1(k)(610)과, 다른 측정 레이더 포인트 z2(k)(620)을 해당 예측값(600)의 갱신에 사용할 수 있다.일 실시 예에 따르면 센서 퓨전 시스템(100)은 상태 공간(state space)에서의 이산시간 동역학 모델을 이용하여 선행 차량의 상태 변수 예측값을 산출할 수 있다. 일 예로 센서 퓨전 시스템은 선행 차량의 k-1번째 주기의 상태 벡터(600) X(k-1)와, 예측 오차 공분산(the error covariance), 필터의 게인(Kk, gain)을 산출하고, 레이더 측정 포인트 z1(k)(610) 및 z2(k)(620)을 통해 선행 차량의 상태 변수를 갱신함으로써 오차를 보정한 현재 시점의 선행 차량의 상태 벡터 예측값 X(k|k-1)을 산출할 수 있다. Referring to FIG. 6B , the
한편, 센서 퓨전 시스템(100)은 선행 차량의 상태 벡터 예측값(600)을 타겟 검출 확률로 나타낼 수 있으며, 타겟 검출 확률에 기초한 선형 모델 판별법(Residual Sum)을 이용하여 타겟의 위치 정보를 추정할 수 있다. On the other hand, the
이때, 센서 퓨전 시스템(100)은 주변에 복수개의 차량들이 있는 경우 각 타겟 별로 위치 정보를 추적하는 멀티 추적을 수행할 수 있다. In this case, the
도 7은 본 발명의 일 실시 예에 따라 카메라를 통해 주변 차량의 위치 정보를 획득하는 것을 설명하기 위한 도면이다. 도 7을 참고하면, 차량 내 다수의 카메라가 탑재될 수 있으며, 각 카메라의 위치에 따라 다수의 촬영 영상(710, 720, 730)이 획득될 수 있다. 일 예로, 센서 퓨전 시스템(100)은 다수의 카메라에 대해 캘리브레이션을 통해 차량내 각 카메라의 위치를 파악하고, 각각의 카메라가 촬영한 영상(710, 720, 730) 중 포함된 객체를 인식할 수 있다. 7 is a view for explaining obtaining location information of a surrounding vehicle through a camera according to an embodiment of the present invention. Referring to FIG. 7 , a plurality of cameras may be mounted in a vehicle, and a plurality of captured
도 7을 참고하면, 차량에 탑재된 카메라를 통해 다수의 시점의 촬영 영상(710, 720, 730)이 획득될 수 있다. 일 예로, 센서 퓨전 시스템(100)은 영상 해석 알고리즘에 기초하여 각 영상에 포함된 객체들을 피처 클래스(feature class)를 통해 분류하고, 이를 기초로 주변 차량들을 인식할 수 있다. Referring to FIG. 7 , captured
일 예로, 센서 퓨전 시스템(100)은 전방 좌측 영상(Front Left image, 710), 전방 중앙 영상(Front Central image, 720), 전방 우측 영상(Front Right image, 730)에 포함된 주변 차량들을 인식하고, 이를 바인딩 박스 형태로 촬영 영상 내 중첩적으로 표시할 수 있다. For example, the
도 8은 제1 방법, 도 9는 제2 방법에 의해 획득한 레이더 측정 포인트들을 해석하고, 이를 기초로 비용 함수를 산출하는 것을 설명하는 일 예이다. 도 8 및 도 9를 참고하면, 레이더 측정 포인트들이 동일하다(r01~r06, R01~R06). 그러나, 본 발명의 일 실시 예에 따르면, 타겟의 중심점을 포함하는 보다 정밀한 위치 정보 획득을 위해, 상기 레이더 측정 포인트들을 각각 다른 방법에 기초하여 해석할 수 있다. FIG. 8 is an example of analyzing radar measurement points obtained by the first method and FIG. 9 is an example of calculating a cost function based on the analysis points. 8 and 9 , the radar measurement points are the same (r01 to r06, R01 to R06). However, according to an embodiment of the present invention, in order to obtain more precise location information including the center point of the target, the radar measurement points may be analyzed based on different methods.
도 8은 본 발명의 일 실시 예에 따른 제1 비용 함수 산출 방법을 설명하기 위한 예시적인 도면이다. 센서 퓨전 시스템(100)은 레이더 측정 포인트들(r01~r06)로부터 주변 차량으로 추정되는 타겟의 위치 정보를 직접 산출하는 제1 방법과, 제 1방법에 의해 추정된 타겟의 횡방향 중심점에 수직한 가상선을 기준으로 가상선과 복수의 레이더 측정 포인트들 사이 수평 거리를 합산한 제1 비용 함수를 계산할 수 있다. 8 is an exemplary view for explaining a method of calculating a first cost function according to an embodiment of the present invention. The
제1 비용 함수: -----------------------------------수학식 (1)First cost function: -----------------------------------Equation (1)
복수개의 레이더 측정 포인트들 중 만일 도 8과 같이 약 6개의 레이더 측정 포인트들을 선택하면, 이때 제1 비용함수는 가상선(850)과 각 레이더 측정 포인트들 간 수평 거리인 d01 + d02 + d03 + d04 + d05 + d06으로 계산될 수 있다. Among the plurality of radar measurement points, if about 6 radar measurement points are selected as shown in FIG. 8 , then the first cost function is d01 + d02 + d03 + d04 which is the horizontal distance between the
도 9는 본 발명의 다른 실시 예에 따른 제2 비용 함수 산출 방법을 설명하기 위한 예시적인 도면이다. 센서 퓨전 시스템(100)은 센서 퓨전 영상으로부터 객체 인식을 통해 주변 차량을 인식하고, 상기 주변 차량에 대한 바인딩 박스(900)를 설정할 수 있다. 이때, 센서 퓨전 시스템(100)은 상기 바인딩 박스(900)의 중심점을 관통하는 차량의 헤딩 방향(Yaw)에 상응하는 가상선(950)과, 상기 가상선(950)과 레이더 측정 포인트들(R01~R06)까지의 수평 거리의 합을 제2 비용 함수로 계산할 수 있다. 9 is an exemplary view for explaining a method of calculating a second cost function according to another embodiment of the present invention. The
제2 비용 함수: -------------------------------------수학식(2) A second cost function: -------------------------------------Equation (2)
복수개의 레이더 측정 포인트들 중 만일 도 9와 같이 약 6개의 레이더 측정 포인트들을 선택하면, 이때 제2 비용함수는 가상선(950)과 각 레이더 측정 포인트들 간 수평 거리인 D01 + D02 + D03 + D04 + D05 + D06으로 계산될 수 있다. Among the plurality of radar measurement points, if about 6 radar measurement points are selected as shown in FIG. 9 , then the second cost function is D01 + D02 + D03 + D04 which is the horizontal distance between the
도 8과 도 9를 비교하여 보면, 센서 퓨전 시스템(100)이 각 방법에서 설정한 타겟의 중심점 및 이에 수직한 가상선(또는 차량의 헤딩 방향에 상응하는 가상선)이 다르게 적용되었으므로 이를 기준으로 산출된 비용 함수는 상이할 수 있다. 이때, 각 방법에 의해 산출한 비용 함수를 비교하면, 비교 함수가 최소 값을 가지는 경우 보다 더 많은 레이더 측정 포인트들이 상기 가상선으로부터 더 가까운 거리에 분포되어 있음을 알 수 있다. 이를 기초로, 센서 퓨전 시스템(100)은 최소값을 가지는 비교 함수의 기초가 되는 타겟의 중심점을 기준으로 타겟에 대한 정확한 위치 정보를 산출할 수 있다. 8 and 9, since the center point of the target set by the
도 10 내지 도 11은 과거의 타겟 위치 정보로부터 현재 시점의 타겟 위치 정보를 예측하는 것을 설명하기 위한 예시적인 도면이다. 10 to 11 are exemplary diagrams for explaining prediction of target location information of a current view from past target location information.
도 10은 센서 퓨전 시스템(100)이 탑재된 차량(10)의 t번째 프레임(현재)과, t-1번째 프레임에서의 위치와, 이때 주변 차량(15)이 각 시점(t, t-1, t-2, ??)에서의 위치 정보를 동일 평면 상에 예시적으로 도시해 놓았다. 이에 따르면, 주변 차량(15)는 t-2번째 프레임에서 2차로를 주행하다가 t-1 번째 프레임에서 차선 변경을 시도하여 t번째 프레임에서는 1차로로 차선을 변경하였다. 즉, 도로 주행 환경에서 주변 차량(15)도 동적으로 가변하는 위치 정보를 가지기 때문에 해당 주변 차량(15)의 움직임에 대한 예측값을 산출할 수 있다면 예측값에 기초하여 보다 더 빠르고 정밀한 위치 정보를 산출할 수 있다. 10 is a t-th frame (current) of the
또한, 차량(10)내 센서 퓨전 시스템(100)은 t번째 프레임에서 차량(10)과 주변 차량(15)간 횡방향 거리 정보 Rt, t-1번째 프레임에서 차량(10)과 주변 차량(15)간 횡방향 거리 정보 R(t-1)을 산출할 수 있다. In addition, the
도 11은 과거의 타겟 위치 정보로부터 현재의 타겟 위치 정보를 예측하는 것을 설명하기 위한 그래프이다. 이때, 과거의 타겟 위치 정보는 전술한 여러 개의 방법들 중 최적의 비용 함수를 가지는 방법에 의해 측위된 주변 차량의 위치 정보일 수 있다. 11 is a graph for explaining prediction of current target location information from past target location information. In this case, the past target location information may be location information of a nearby vehicle located by a method having an optimal cost function among the above-described several methods.
센서 퓨전 시스템(100)은 이전에 결정된 타겟의 위치 정보를 누적함으로써 소정의 커브 곡선을 산출할 수 있다. 이때에도 주변 차량인 타겟은 언제든 이동이 가능하기 때문에 차량이 이동할 수 있는 경로, 예를 들어 주변 차량의 t-1번째 프레임의 위치를 2차로라고 가정하고, 주변 차량이 1차로로 이동할 확률 또는 3차로로 이동할 확률 등에 기초하여 여러 버전의 시뮬레이션이 수행될 수 있다. The
도 11을 참고하면, 시간 축에 대응하는 이미지 프레임(Image Frame)을 x축으로, 횡방향 거리 정보를 y축으로 설정한 2차원 그래프에 대해 각각 주변 차량이 직진 차로(2차로)를 유지하는 경우(1020), 1차로로 이동하는 경우(1010), 3차로로 이동하는 경우(1030) 등에 따라 주변 차량의 현재 시점(t)에서의 예측값이 달라질 수 있다. 센서 퓨전 시스템(100)은 상기 커브 곡선 및 차량의 이동 가능 영역을 고려한 현재 시점의 타겟의 위치 정보를 예상하는 횡방향 거리 정보를 산출할 수 있다. Referring to FIG. 11 , for a two-dimensional graph in which an image frame corresponding to the time axis is set as the x-axis and lateral distance information is set as the y-axis, the surrounding vehicles maintain a straight lane (two lanes), respectively. The predicted value at the current time t of the surrounding vehicle may vary depending on the
한편, 센서 퓨전 시스템(100)은 상기 예상되는 타겟의 중심점을 관통하는 차량의 헤딩 방향(Yaw)에 상응하는 가상선을 기준으로, 상기 가상선과 상기 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제3 비용 함수를 계산하는 단계를 더 포함할 수 있다. 만일 센서 퓨전 시스템(100)이 도 11과 같이 주변 차량의 차선 변경 가능성을 고려하여 3개의 시뮬레이션을 수행했다면, 위와 같이 세 가지 버전의 제3 비용 함수가 더 계산될 수 있다. 이 경우 센서 퓨전 시스템(100)은 제1 비용 함수, 제2 비용함수, 세 개의 제3 비용 함수를 비교하여 총 5개의 비용 함수 중 최소의 비용 함수값을 가지는 비용 함수를 선택하고, 해당 방법에 기초하여 산출한 주변 차량의 위치 정보를 최종 위치 정보로 결정할 수 있다. On the other hand, the
본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.Embodiments according to the present invention may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded in a computer-readable medium. In this case, the medium includes a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM and DVD, a magneto-optical medium such as a floppy disk, and a ROM. , RAM, flash memory, and the like, hardware devices specially configured to store and execute program instructions.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be specially designed and configured for the present invention, or may be known and used by those skilled in the computer software field. Examples of the computer program may include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
일 실시 예에 따르면, 본 개시의 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to an embodiment, the method according to various embodiments of the present disclosure may be provided by being included in a computer program product. Computer program products may be traded between sellers and buyers as commodities. The computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store™) or between two user devices. It can be distributed directly or online (eg, downloaded or uploaded). In the case of online distribution, at least a portion of the computer program product may be temporarily stored or temporarily created in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.The steps constituting the method according to the present invention may be performed in an appropriate order, unless the order is explicitly stated or there is no description to the contrary. The present invention is not necessarily limited to the order in which the steps are described. The use of all examples or exemplary terms (eg, etc.) in the present invention is merely for the purpose of describing the present invention in detail, and the scope of the present invention is limited by the examples or exemplary terms unless defined by the claims. it's not going to be In addition, those skilled in the art will appreciate that various modifications, combinations, and changes may be made in accordance with design conditions and factors within the scope of the appended claims or their equivalents.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the spirit of the present invention is not limited to the scope of the scope of the present invention. will be said to belong to
10: 차량
15: 주변 차량
100: 센서 퓨전 시스템
110: 레이더
120: 카메라
130: 프로세서10: vehicle
15: surrounding vehicles
100: sensor fusion system
110: radar
120: camera
130: processor
Claims (9)
레이더를 통해 감지되는 복수개의 레이더 측정 포인트들로부터 주변 차량으로 추정되는 타겟에 대한 위치 정보를 산출하는 제1 방법;
카메라 및 레이더간 센서 퓨전 영상에 포함된 주변 차량을 타겟으로 인식하고, 상기 타겟에 대한 위치 정보를 트래킹하는 제2 방법;
제1 방법 및 제2 방법 중 적어도 하나에 기초하여 추정되거나 인식된 각각의 타겟에 대해 타겟의 중심점을 이용하여 비용 함수를 산출하는 단계; 및
상기 산출한 각각의 타겟에 대한 비용 함수를 비교하여 최적의 비용 함수값을 선택하고, 상기 선택된 비용 함수를 기초로 타겟에 대한 위치 정보를 산출하는 단계;를 포함하고,
상기 비용 함수를 산출하는 단계는,
상기 제1 방법에 의해 추정된 타겟의 횡방향 중심점에 수직한 가상선을 기준으로, 상기 가상선과 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제1 비용 함수를 계산하는 단계;
상기 제2 방법에 의해 인식된 주변 차량을 타겟으로 하여 각 타겟에 설정된 바인딩 박스의 중심점을 관통하는 차량의 헤딩 방향(Yaw)에 상응하는 가상선을 기준으로, 상기 가상선과 상기 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제2 비용 함수를 계산하는 단계; 및
상기 제1 비용 함수와 상기 제2 비용 함수를 비교하여 최소의 비용 함수값을 가지는 타겟을 선택하는 단계;를 포함하는, 방법. In the method of calculating the position of the surrounding vehicle,
a first method of calculating location information on a target estimated as a nearby vehicle from a plurality of radar measurement points sensed through a radar;
a second method of recognizing a surrounding vehicle included in a sensor fusion image between a camera and a radar as a target, and tracking location information about the target;
calculating a cost function using a center point of the target for each target estimated or recognized based on at least one of the first method and the second method; and
Comparing the calculated cost functions for each target, selecting an optimal cost function value, and calculating location information on the target based on the selected cost function;
Calculating the cost function comprises:
calculating a first cost function summing the horizontal distances between the virtual line and the plurality of radar measurement points based on an imaginary line perpendicular to the lateral center point of the target estimated by the first method;
Based on the virtual line corresponding to the heading direction (Yaw) of the vehicle passing through the center point of the binding box set in each target by targeting the surrounding vehicle recognized by the second method, the virtual line and the plurality of radar measurement points calculating a second cost function summing the horizontal distances between them; and
comparing the first cost function and the second cost function to select a target having a minimum cost function value.
상기 제1 방법은,
레이더에서 전파를 방사하고, 객체에 반사되어 입사되는 반사파들을 감지함으로써 복수개의 레이더 측정 포인트들을 획득하는 단계;
타겟 검출 확률에 기반하여 상기 복수개의 레이더 측정 포인트들을 소정의 그룹으로 클러스터링하는 단계;
연속적으로 획득되는 복수개의 레이더 측정 포인트들을 이용하여 상기 클러스터링된 그룹을 업데이트함으로써 연속성을 유지하는 클러스터링된 그룹을 주변 차량으로 추정하는 단계;를 포함하는, 방법. The method of claim 1,
The first method is
acquiring a plurality of radar measurement points by emitting radio waves from the radar and detecting reflected waves that are reflected and incident on an object;
clustering the plurality of radar measurement points into a predetermined group based on a target detection probability;
estimating the clustered group maintaining continuity as surrounding vehicles by updating the clustered group using a plurality of continuously acquired radar measurement points.
상기 제2 방법은,
상기 센서 퓨전 영상에 객체 인식 알고리즘을 적용하여 주변 차량을 검출하는 단계;
상기 주변 차량 영역에 대한 바인딩 박스를 설정하고, 상기 바인딩 박스가 설정된 영역을 타겟으로, 상기 타겟에 대한 위치 정보를 트래킹하는 단계;를 포함하는, 방법.According to claim 1,
The second method is
detecting a surrounding vehicle by applying an object recognition algorithm to the sensor fusion image;
Setting a binding box for the surrounding vehicle area, and tracking the location information on the target with the area in which the binding box is set as a target;
상기 타겟에 대한 위치 정보를 트래킹하는 단계는,
상기 센서 퓨전 영상 중 이전의 이미지 프레임과 현재 이미지 프레임을 비교함으로써 상기 타겟의 실시간 위치 변화를 반영한 타겟에 대한 연속적인 위치 정보를 산출하는 단계인, 방법.4. The method of claim 3,
The step of tracking the location information for the target,
Comparing a previous image frame and a current image frame among the sensor fusion image, calculating continuous position information about the target reflecting the real-time position change of the target, the method.
상기 비용 함수를 산출하는 단계는,
이전에 결정된 타겟의 위치 정보를 누적함으로써 소정의 커브 곡선을 산출하는 단계;
상기 커브 곡선 및 차량의 이동 가능 영역을 고려한 현재 시점의 타겟의 위치 정보를 예상하는 단계;
예상되는 타겟의 중심점을 관통하는 차량의 헤딩 방향(Yaw)에 상응하는 가상선을 기준으로, 상기 가상선과 상기 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제3 비용 함수를 계산하는 단계를 더 포함하는, 방법. The method of claim 1,
Calculating the cost function comprises:
calculating a predetermined curve curve by accumulating previously determined target position information;
estimating the location information of the target at the current time in consideration of the curve curve and the movable area of the vehicle;
Based on the virtual line corresponding to the heading direction (Yaw) of the vehicle passing through the expected center point of the target, calculating a third cost function summing the horizontal distance between the virtual line and the plurality of radar measurement points further Including method.
주변에 전파를 방사하고, 객체에 반사되어 입사되는 반사파들을 감지함으로써 객체와의 횡방향 거리 정보를 산출하는 레이더;
차량의 전방, 후방, 측면 중 적어도 하나의 위치에 탑재되고, 촬영 영상을 획득하여 프로세서에 전달하는 카메라;
상기 레이더 및 카메라를 캘리브레이션하고,
상기 레이더로부터 획득한 객체와의 횡방향 거리 정보 및 상기 촬영 영상을 정합함으로써 센서 퓨전 영상을 생성하고,
레이더 측정 포인트들 및 상기 센서 퓨전 영상을 해석함으로써 주변 차량의 위치를 산출하는, 프로세서;를 포함하는, 센서 퓨전 시스템In the radar and camera-based sensor fusion system,
a radar that emits radio waves to the surroundings and detects reflected waves that are reflected and incident on the object, thereby calculating lateral distance information with the object;
a camera mounted on at least one of the front, rear, and side of the vehicle, the camera acquires the captured image and transmits it to the processor;
calibrate the radar and camera;
generating a sensor fusion image by matching the lateral distance information with the object acquired from the radar and the captured image,
A processor that calculates a location of a nearby vehicle by analyzing the radar measurement points and the sensor fusion image; including a sensor fusion system
상기 프로세서가 주변 차량의 위치를 산출하는 것은,
레이더를 통해 감지되는 복수개의 레이더 측정 포인트들로부터 주변 차량으로 추정되는 타겟에 대한 위치 정보를 산출하는 제1 방법;
카메라 및 레이더간 센서 퓨전 영상에 포함된 주변 차량을 타겟으로 인식하고, 상기 타겟에 대한 위치 정보를 트래킹하는 제2 방법;
제1 방법 및 제2 방법 중 적어도 하나에 기초하여 추정되거나 인식된 각각의 타겟에 대해 타겟의 중심점을 이용하여 비용 함수를 산출하고,
상기 산출한 각각의 타겟에 대한 비용 함수를 비교하여 최적의 비용 함수값을 선택하고, 상기 선택된 비용 함수를 기초로 타겟에 대한 위치 정보를 산출하는 것을 포함하고,
상기 비용 함수를 산출하는 것은,
상기 제1 방법에 의해 추정된 타겟의 횡방향 중심점에 수직한 가상선을 기준으로, 상기 가상선과 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제1 비용 함수를 계산하고,
상기 제2 방법에 의해 인식된 주변 차량을 타겟으로 하여 각 타겟에 설정된 바인딩 박스의 중심점을 관통하는 차량의 헤딩 방향(Yaw)에 상응하는 가상선을 기준으로, 상기 가상선과 상기 복수개의 레이더 측정 포인트들 사이 수평 거리를 합산한 제2 비용 함수를 계산하고,
상기 제1 비용 함수와 상기 제2 비용 함수를 비교하여 최소의 비용 함수값을 가지는 타겟을 선택하는 것을 포함하는, 센서 퓨전 시스템.8. The method of claim 7,
Calculating the location of the surrounding vehicle by the processor,
a first method of calculating location information on a target estimated as a nearby vehicle from a plurality of radar measurement points sensed through a radar;
a second method of recognizing a surrounding vehicle included in a sensor fusion image between a camera and a radar as a target, and tracking location information about the target;
calculating a cost function using the center point of the target for each target estimated or recognized based on at least one of the first method and the second method;
Comparing the calculated cost functions for each target, selecting an optimal cost function value, and calculating location information about the target based on the selected cost function,
Calculating the cost function is
Based on an imaginary line perpendicular to the lateral center point of the target estimated by the first method, calculate a first cost function summing the horizontal distance between the imaginary line and a plurality of radar measurement points,
Based on the virtual line corresponding to the heading direction (Yaw) of the vehicle passing through the center point of the binding box set in each target by targeting the surrounding vehicle recognized by the second method, the virtual line and the plurality of radar measurement points Calculate a second cost function summing the horizontal distances between the
and selecting a target having a minimum cost function value by comparing the first cost function and the second cost function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220002998A KR102456151B1 (en) | 2022-01-07 | 2022-01-07 | Sensor fusion system based on radar and camera and method of calculating the location of nearby vehicles |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220002998A KR102456151B1 (en) | 2022-01-07 | 2022-01-07 | Sensor fusion system based on radar and camera and method of calculating the location of nearby vehicles |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102456151B1 true KR102456151B1 (en) | 2022-10-20 |
Family
ID=83804940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220002998A KR102456151B1 (en) | 2022-01-07 | 2022-01-07 | Sensor fusion system based on radar and camera and method of calculating the location of nearby vehicles |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102456151B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117636671A (en) * | 2024-01-24 | 2024-03-01 | 四川君迪能源科技有限公司 | Cooperation scheduling method and system for intelligent vehicle meeting of rural roads |
KR102672321B1 (en) * | 2023-10-26 | 2024-06-07 | (주)이씨스 | Sensor fusion system and method using multiple radars and cameras |
KR102672315B1 (en) * | 2023-10-26 | 2024-06-07 | (주)이씨스 | System and method for calculating the location of surrounding objects based on sensor fusion |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140114594A (en) * | 2013-03-19 | 2014-09-29 | 주식회사 일리시스 | Auto-Camera Calibration Method Based on Human Object Tracking |
KR20190053612A (en) * | 2017-11-10 | 2019-05-20 | 현대오트론 주식회사 | Apparatus for tracking vehicle and operating method thereof |
KR20210029927A (en) * | 2019-09-09 | 2021-03-17 | 주식회사 만도 | RaDAR apparatus, recognizing target Method of RaDAR apparatus, and system for controlling vehicle including it |
KR20210122101A (en) * | 2020-03-31 | 2021-10-08 | 주식회사 비트센싱 | Radar apparatus and method for classifying object |
-
2022
- 2022-01-07 KR KR1020220002998A patent/KR102456151B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140114594A (en) * | 2013-03-19 | 2014-09-29 | 주식회사 일리시스 | Auto-Camera Calibration Method Based on Human Object Tracking |
KR20190053612A (en) * | 2017-11-10 | 2019-05-20 | 현대오트론 주식회사 | Apparatus for tracking vehicle and operating method thereof |
KR20210029927A (en) * | 2019-09-09 | 2021-03-17 | 주식회사 만도 | RaDAR apparatus, recognizing target Method of RaDAR apparatus, and system for controlling vehicle including it |
KR20210122101A (en) * | 2020-03-31 | 2021-10-08 | 주식회사 비트센싱 | Radar apparatus and method for classifying object |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102672321B1 (en) * | 2023-10-26 | 2024-06-07 | (주)이씨스 | Sensor fusion system and method using multiple radars and cameras |
KR102672315B1 (en) * | 2023-10-26 | 2024-06-07 | (주)이씨스 | System and method for calculating the location of surrounding objects based on sensor fusion |
CN117636671A (en) * | 2024-01-24 | 2024-03-01 | 四川君迪能源科技有限公司 | Cooperation scheduling method and system for intelligent vehicle meeting of rural roads |
CN117636671B (en) * | 2024-01-24 | 2024-04-30 | 四川君迪能源科技有限公司 | Cooperation scheduling method and system for intelligent vehicle meeting of rural roads |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102456151B1 (en) | Sensor fusion system based on radar and camera and method of calculating the location of nearby vehicles | |
KR102338370B1 (en) | Vehicle and sensing device of utilizing spatial information acquired using sensor, and server for the same | |
Barth et al. | Estimating the driving state of oncoming vehicles from a moving platform using stereo vision | |
Rodríguez Flórez et al. | Multi-modal object detection and localization for high integrity driving assistance | |
KR102151814B1 (en) | Method and Apparatus for Vehicle Detection Using Ladar Sensor and Camera | |
KR101882483B1 (en) | Apparatus and method for detecting obstacle by unmanned surface vessel | |
EP3851870A1 (en) | Method for determining position data and/or motion data of a vehicle | |
US11958480B2 (en) | Electronic control device and operation method | |
Muresan et al. | Multi-object tracking of 3D cuboids using aggregated features | |
JPWO2012086821A1 (en) | Positioning device and positioning method | |
EP1649334A1 (en) | Sensing apparatus for vehicles | |
US20230236038A1 (en) | Position estimation method, position estimation device, and position estimation program | |
JP6589410B2 (en) | Map generating apparatus and program | |
KR20190051601A (en) | Apparatus and method for associating sensor data of vehicle | |
CN114002667A (en) | Multi-neighbor extended target tracking algorithm based on random matrix method | |
CN116681730A (en) | Target tracking method, device, computer equipment and storage medium | |
Muresan et al. | Multimodal sparse LIDAR object tracking in clutter | |
JP5168134B2 (en) | ENVIRONMENTAL MAP GENERATION PROGRAM, ENVIRONMENTAL MAP GENERATION METHOD, AND MOBILE ROBOT | |
CN113160280B (en) | Dynamic multi-target tracking method based on laser radar | |
US11288554B2 (en) | Determination method and determination device | |
Diaz-Ruiz et al. | Vision-only 3d tracking for self-driving cars | |
Christiansen et al. | Monocular vehicle distance sensor using HOG and Kalman tracking | |
KR102618680B1 (en) | Real-time 3D object detection and tracking system using visual and LiDAR | |
CN114119465B (en) | Point cloud data processing method and device | |
US20230103178A1 (en) | Systems and methods for onboard analysis of sensor data for sensor fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |