KR20140078436A - Sensor fusion system and method thereof - Google Patents
Sensor fusion system and method thereof Download PDFInfo
- Publication number
- KR20140078436A KR20140078436A KR1020120147794A KR20120147794A KR20140078436A KR 20140078436 A KR20140078436 A KR 20140078436A KR 1020120147794 A KR1020120147794 A KR 1020120147794A KR 20120147794 A KR20120147794 A KR 20120147794A KR 20140078436 A KR20140078436 A KR 20140078436A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- night
- gate
- data
- information
- Prior art date
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims description 10
- 238000004513 sizing Methods 0.000 claims description 8
- 238000007500 overflow downdraw method Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/408—
Abstract
Description
본 발명은 센서 퓨전 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 주야간 카메라 인식 특성을 고려한 센서 퓨전 시스템 및 그 방법에 관한 것이다. BACKGROUND OF THE
일반적으로 차량에는 운전자 및 탑승자 보호와 운행 보조 및 승차감의 향상을 위한 다양한 시스템들이 탑재되고 있으며, 이러한 시스템들은 다양한 센서 및 정보통신기술을 활용하여 개량 발전되고 있다.Generally, various systems are installed in the vehicle for protecting the driver and passengers, improving the driving assistance and ride comfort, and these systems are being improved by utilizing various sensors and information communication technologies.
그 중에서도 카메라를 통한 영상 센서를 이용하여 차선을 인식하고 자동 조향을 행하는 기술이 실용화되고 있는데, 일반적으로 자동차에 구비되는 영상 인식 처리장치는 운행되는 도로 차선의 영상 정보와 후속 주행하는 자동차에 관한 영상 정보 및 좌우 차선의 영상 정보를 검출한 후 표시수단을 통해 디스플레이 하여 운전자에게 편리한 차선의 인식과 운행되는 도로의 상황 및 주변 차량의 운행 정보를 제공하는 것이다.In particular, a technology for recognizing lanes and performing automatic steering by using an image sensor through a camera has been put into practical use. In general, an image recognition processing apparatus provided in an automobile is provided with image information of a running lane and images Information on the left and right lanes, and displays the information on the display means through the display means, thereby providing convenient lane recognition for the driver, and information on the state of the road and the driving information of the surrounding vehicles.
또한, 최근에는 상기 영상 센서 및 레이더를 통해 수집된 영상 정보 및 레이더 정보를 융합하여 필요한 정보를 추출해서 사용할 수 있는 센서 퓨전 시스템이 개발되고 있다.In recent years, a sensor fusion system capable of extracting necessary information by fusing image information and radar information collected through the image sensor and radar has been developed.
센서 퓨전 시스템은 카메라를 이용하여 차선정보를 인식하고 차량의 자동 조향을 제어하는 자율주행시스템이나 차량의 스마트 크루즈 컨트롤 기능을 제공하기 위해 사용되고 있으나 카메라를 통한 정보인식에 한계가 있어 그 안정성을 위한 연구가 요구된다.The sensor fusion system is used to provide autonomous navigation system that recognizes lane information by using camera and automatic steering of vehicle or smart cruise control function of vehicle, but there is limit to information recognition through camera, Is required.
도 1은 종래의 승용차에 장착된 센서 퓨전 시스템에서 주간 및 야간 퓨전 성능을 각각 나타낸다.Figure 1 shows the daytime and nighttime fusion performance in a sensor fusion system mounted on a conventional passenger car.
첨부된 도 1을 참조하면, 종래에는 카메라의 주/야간 인식성능이 다름에도 하나의 퓨전로직을 적용하여 야간 주행 시 카메라와 레이더간의 거리차이 때문에 퓨전성능이 급격히 저하되는 문제점이 있다. 즉, 기존의 센서퓨전 시스템은 카메라와 레이더의 정보를 단순히 이용하여 레이더/카메라의 단점을 보완한 시스템으로써 주/야간 인식성능에 대한 개선 방안이 절실히 요구된다.Referring to FIG. 1, there is a problem that the fusion performance is rapidly deteriorated due to the difference in distance between the camera and the radar during nighttime driving, by applying one fusion logic even when the camera has different day / night recognition performance. In other words, the existing sensor fusion system is a system that compensates the shortcomings of radar / camera by simply using the information of camera and radar, and thus there is a desperate need to improve the performance of day / night recognition.
한편, 특허문헌 미국등록특허 제6,590,521호에는 레이더, 이미지센서 및 컨트롤러를 포함하는 물체 인식 시스템을 개시하고 있으나, 마찬가지로 주야간 인식성능 저하에 대한 해결책을 제시하지 못하는 문제점이 있다.On the other hand, US Patent No. 6,590,521 discloses an object recognition system including a radar, an image sensor, and a controller, but has a problem in that it can not provide a solution against deterioration in day / night recognition performance.
본 발명의 실시 예는 기존 카메라의 야간의 선행 차량 인식성능이 저하됨에 따라 주야를 구분하여 퓨전 로직에 적용하는 센서 퓨전 시스템 및 그 방법을 제공하고자 한다. The embodiment of the present invention is to provide a sensor fusion system and method in which night and night are distinguished and applied to fusion logic as the performance of recognition of the preceding vehicle at night is lowered.
본 발명의 일 측면에 따르면, 주야간 카메라 인식 특성을 고려한 센서 퓨전 시스템은, 레이더를 통해 측정되는 전방의 추정 차선정보와 선행 차량과의 거리, 상대 속도, 차량 타입 데이터 중 적어도 하나를 포함하는 레이더 데이터를 측정하는 레이더부; 차량의 전방에 설치된 카메라를 통해 획득된 영상 이미지 프로세싱을 기반으로 전방 물체 및 차선 정보를 포함하는 카메라 데이터를 측정하는 카메라 센서부; 외부로부터 수광 되는 빛의 밝기를 측정하는 자동 광측 센서; 상기 카메라 내 주야 판단 정보와 상기 빛 밝기 정보를 취합하여 주간 또는 야간임을 판단하는 주야 판단부; 및 야간으로 판단된 경우 야간의 카메라 인식 특성을 고려하여 주간용 게이트를 세로 길이 방향으로 증대된 야간용 게이트로 보정하고 상기 레이더 데이터 및 상기 카메라 데이터의 데이터 어소세이션(Data Association)을 수행하는 데이터 상관부를 포함한다.According to one aspect of the present invention, a sensor fusion system that takes into consideration the day / night camera recognition characteristics is provided with a radar system including at least one of radar data including at least one of the estimated lane information ahead of the radar, A radar unit for measuring the radar unit; A camera sensor unit for measuring camera data including forward object and lane information based on image image processing obtained through a camera installed in front of the vehicle; An automatic light-side sensor for measuring the brightness of light received from the outside; A day / night judging unit for judging whether the day / night judging information and the light brightness information are collected by the camera, And data for performing data association of the camera data and the radar data by correcting the daytime gate to the nighttime gate that has been increased in the longitudinal direction in consideration of the camera recognition characteristics at night when it is determined to be the nighttime And a correlation unit.
또한, 상기 주야 판단부는, 상기 카메라 내 주야 판단 정보와 상기 빛 밝기 정보가 모두 야간인 경우 야간으로 판단하는 논리 회로를 포함할 수 있다.In addition, the day / night determining unit may include a logic circuit for determining whether the camera day / night judgment information and the light brightness information are all at night, at night.
또한, 상기 데이터 상관부는, 주야간 구분에 따른 주간용 게이트와 상기 주간용 게이트에 비해 증대된 야간용 게이트로 구분하여 상기 데이터 어소세이션을 수행하는 차량 데이터 퓨전 모듈; 상기 레이더부의 추정 차선 정보 및 상기 카메라 센서부의 차선 정보를 융합하여 전방의 양측 차선 상태를 인식하는 차선 데이터 퓨전 모듈; 및 야간에 상기 차량 데이터 퓨전 모듈에서 사이즈가 증대된 야간용 게이트를 이용하여 레이저 인식결과와 카메라 인식결과간의 상관성을 부여하여 선행 차량 정보를 측정하는 제어 모듈을 포함할 수 있다.The data correlation unit may further include a vehicle data fusion module that performs the data association by dividing the daytime gate into a daytime gate and the nighttime gate that is increased compared to the daytime gate; A lane data fusion module that fuses the estimated lane information of the radar unit and the lane information of the camera sensor unit to recognize a front lane of each lane; And a control module for measuring the preceding vehicle information by giving a correlation between the laser recognition result and the camera recognition result using the nighttime gate having a size increased in the vehicle data fusion module at night.
또한, 상기 레이더부는, 측정된 물체에 가속도가 있는 경우 선행차량으로 파악하되 상기 선행차량을 승용차, 트럭 및 버스 중 적어도 하나의 차량 타입으로 판단할 수 있다.The radar unit may determine the preceding vehicle as at least one vehicle type of a passenger car, a truck, and a bus if the measured object has acceleration.
또한, 상기 차량 데이터 퓨전 모듈은, 상기 야간용 게이트를 야간의 카메라 인식 특성에 따른 상기 차량 타입 별로 더 구분하여 게이트 리사이징을 수행할 수 있다.In addition, the vehicle data fusion module can further perform gate re-sizing by further dividing the nighttime gates according to the vehicle type according to nighttime camera recognition characteristics.
또한, 상기 차량 데이터 퓨전 모듈은, 상기 야간용 게이트를 야간의 카메라 인식 특성에 따른 소정 단위의 거리 별로 더 구분하여 게이트 리사이징을 수행할 수 있다.In addition, the vehicle data fusion module may perform gate re-sizing by further dividing the night gates by a predetermined unit distance according to camera recognition characteristics at night.
한편, 본 발명의 실시 예에 따른, 차량의 센서 퓨전 시스템의 주야간 카메라 인식 특성을 고려한 센서 퓨전 방법은, a) 레이더 측정 결과에 따른 카메라 측정 결과와 카메라 측정 결과를 시간 축에 따라 동기화하는 단계; b) 주야 판단결과에 따라서 야간인 경우 상기 카메라의 인식특성을 이용하여 주간용 게이트를 세로 길이 방향으로 증대된 야간용 게이트로 보정하는 단계; c) 야간 게이트웨이를 이용하여 레이저 인식결과와 카메라 인식결과간의 상관성을 부여하는 데이터 어소세이션을 수행하여 선행 차량 정보를 측정하는 단계; 및 d) 상기 선행 차량 정보에 차선정보를 반영하여 상기 선행 차량의 위치 및 이동 정보를 추적하는 단계를 포함한다.Meanwhile, a sensor fusion method considering a day / night camera recognition characteristic of a sensor fusion system of a vehicle according to an embodiment of the present invention includes: a) synchronizing a camera measurement result and a camera measurement result according to a radar measurement result along a time axis; b) correcting the daytime gate to a nighttime gate that has been increased in the longitudinal direction by using the recognition characteristics of the camera in the nighttime according to the result of the day / night judgment; c) measuring a preceding vehicle information by performing a data association which gives a correlation between a laser recognition result and a camera recognition result using a night gateway; And d) tracking the position and movement information of the preceding vehicle by reflecting lane information on the preceding vehicle information.
또한, 상기 b) 단계는, 상기 카메라 내 주야 판단 정보와 외부로부터 수광 되는 빛의 밝기를 취합하여 주간 또는 야간임을 판단하는 단계를 포함할 수 있다.In addition, the step b) may include determining whether the day / night determination information in the camera and the brightness of light received from the outside are daytime or nighttime.
또한, 상기 c) 단계와 d) 단계 사이에는, 레이더부 및 카메라 센서부로부터 각각 획득된 추정 차선 정보 및 차선 정보를 융합하여 전방의 양측 차선의 폭, 차선에서 차량의 횡방향 위치, 양측 차선까지의 거리, 차선의 형태 및 도로의 곡률 반경 중 적어도 하나를 포함하는 상기 차선 정보를 인식하는 단계를 포함할 수 있다.Between the steps c) and d), the estimated lane information and the lane information obtained respectively from the radar unit and the camera sensor unit are fused so that the width of both lanes in front, the lateral position of the vehicle in the lane, The lane information including at least one of the distance of the lane, the shape of the lane, and the radius of curvature of the road.
또한, 상기 b) 단계는, 상기 야간용 게이트를 야간의 카메라 인식 특성에 따른 상기 차량 타입 별 또는 선행 차량과의 거리 별로 더 구분하여 보정하는 단계를 포함할 수 있다.The step b) may further include correcting the night gates by further distinguishing the night gates by the vehicle type or the distance from the preceding vehicle according to the camera recognition characteristics at night.
본 발명의 실시 예들은 주간 및 야간으로 구분된 게이트 사이즈를 퓨전 로직에 적용하여 레이더 및 카메라 데이터에 대한 데이터 어소세이션을 수행함으로써 야간의 차량 선행차량 인식 성능을 향상시킬 수 있는 효과가 있다.The embodiments of the present invention have an effect of improving the recognition performance of the vehicle ahead vehicle by performing the data association for the radar and the camera data by applying the gate size classified into the daytime and the nighttime to the fusion logic.
그리고, 야간의 카메라 인식 특성에 따른 선행 차량 타입 또는 선행 차량과의 거리를 더 반영하여 게이트 사이즈를 차량 타입에 맞게 가변하고 그에 따른 카메라 데이터가 데이터 어소세이션에 배제되는 것을 방지할 수 있는 효과가 있다.The effect of changing the gate size according to the vehicle type and thus preventing the camera data from being excluded in the data association is further reflected by further reflecting the distance from the preceding vehicle type or the preceding vehicle depending on the camera recognition characteristic at night have.
도 1은 종래의 승용차에 장착된 센서 퓨전 시스템에서 주간 및 야간 퓨전 성능을 각각 나타낸다.
도 2는 기존의 차량의 유형별 카메라의 주야간 인식 특성을 나타낸다.
도 3은 본 발명의 실시 예에 따른 주야간 카메라 인식 특성을 고려한 센서 퓨전 시스템을 나타낸 블록도이다.
도 4는 본 발명의 실시 예에 따른 주/야간을 구분하여 게이트 사이즈를 보정한 상태를 나타낸다.
도 5는 본 발명의 실시 예에 센서 퓨전 시스템의 주야 구분에 따른 센서 퓨전 방법을 나타낸다.
도 6은 본 발명의 실시 예에 따른 대상물 타입별 게이트 리사이징 방법을 나타낸다.
도 7은 본 발명의 실시 예에 따른 물체 인지 거리에 따른 게이트 리사이징 방법을 나타낸다.Figure 1 shows the daytime and nighttime fusion performance in a sensor fusion system mounted on a conventional passenger car.
FIG. 2 shows day and night recognition characteristics of a conventional camera according to the type of the vehicle.
FIG. 3 is a block diagram illustrating a sensor fusion system in consideration of day / night camera recognition characteristics according to an embodiment of the present invention.
4 shows a state in which the gate size is corrected by dividing the main / night according to the embodiment of the present invention.
5 shows a sensor fusion method according to the night and day division of the sensor fusion system in the embodiment of the present invention.
FIG. 6 illustrates a method of gate-by-object re-sizing according to an embodiment of the present invention.
FIG. 7 illustrates a gate re-sizing method according to an object distance according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, "" module," and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.
이제 본 발명의 실시 예에 따른 주야간 카메라 인식 특성을 고려한 센서 퓨전 시스템에 대하여 도면을 참조로 하여 상세하게 설명한다.Now, a sensor fusion system in consideration of day / night camera recognition characteristics according to an embodiment of the present invention will be described in detail with reference to the drawings.
도 2는 기존의 차량의 유형별 카메라의 주야간 인식 특성을 나타낸다.FIG. 2 shows day and night recognition characteristics of a conventional camera according to the type of the vehicle.
첨부된 도 2를 참조하면, 승용차, 트럭 및 버스(특수차량)에 대한 주간 및 야간의 카메라와 레이더간 측정거리오차를 그래프로 보여준다.Referring to FIG. 2 of the accompanying drawings, graphs of measurement distances between camera and radar for daytime and nighttime for passenger cars, trucks, and buses (special vehicles) are shown.
승용차의 경우 A 및 A'를 비교 했을 때, 야간이 되면 카메라에서 측정한 거리가 더 커지는 경항(즉, + 방향의 차이가 커짐)을 알 수 있다.When comparing A and A 'for a car, it can be seen that the distance measured by the camera becomes larger at nighttime (ie, the difference in the + direction becomes larger).
트럭의 경우 B 및 B'를 비교했을 때, 야간이 되면 카메라에서 측정한 거리가 매우 부정확해지는 경향(즉, +, - 방향 차이가 모두 발생)을 알 수 있다.When comparing trucks B and B ', it can be seen that the distance measured by the camera at night becomes very inaccurate (ie, all + and - direction differences occur).
버스/특수 차량의 경우 C 및 C'를 비교했을 때, 야간이 되면 카메라에서 측정한 거리가 더 작아지는 경향(즉, - 방향의 차이가 커짐)을 알 수 있다.In the case of buses / special vehicles, when comparing C and C ', it can be seen that the distance measured by the camera becomes smaller at nighttime (ie, the difference in the - direction becomes larger).
이러한 결과로 볼 때, 기존의 카메라의 야간 차량인식성능이 저하됨에 따라 본 발명에서는 주야를 구분하여 퓨전 로직을 적용한 차량의 센서 퓨전 시스템을 제안 한다.As a result, in the present invention, the sensor fusion system of a vehicle applying the Fusion logic by dividing the day and night is proposed.
한편, 도 3은 본 발명의 실시 예에 따른 주야간 카메라 인식 특성을 고려한 센서 퓨전 시스템을 나타낸 블록도이다.3 is a block diagram illustrating a sensor fusion system in consideration of day / night camera recognition characteristics according to an embodiment of the present invention.
첨부된 도 3을 참조하면, 본 발명의 실시 예에 따른 센서 퓨전 시스템(100)은 레이더부(Radar/Lidar)(110), 카메라 센서부(120), 오토 라이트 센서(Auto-Light Sensor)(130), 주야 판단부(140) 및 데이터 상관부(150)를 포함한다.3, the
레이더부(110)는 전파 또는 레이저를 통해 실시간으로 측정되는 전방의 추정 차선정보와 선행 차량과의 거리, 상대 속도, 차량 타입 데이터 중 적어도 하나를 포함하는 레이더 데이터를 측정하여 데이터 상관부(150)로 전달한다. The
카메라 센서부(120)는 차량의 전방에 설치된 카메라를 통해 획득된 영상 이미지 프로세싱을 기반으로 선행 차량 정보 및 차선 정보를 포함하는 카메라 데이터를 데이터 상관부(150)로 전달한다.The
또한, 카메라 센서부(120)는 카메라 내부의 주/야 판단 정보를 주야 판단부(140)로 전달한다.In addition, the
자동 광측 센서(Auto-Light Sensor)(130)는 외부로부터 수광 되는 빛의 밝기를 측정하여 빛 밝기 정보를 주야 판단부(140)로 전달한다.The auto-
주야 판단부(140)는 카메라 센서부(120)에서 수신되는 주/야 판단 정보와 자동 광측 센서(130)에서 수신되는 빛 밝기 정보를 취합하여 현재 주간 또는 야간임을 판단한다. The day / night determiner 140 determines whether the day / night judgment information received from the
예컨대, 주야 판단부(140)는 카메라 센서부(120) 및 자동 광측 센서(130)로부터 각각 수신되는 두 정보가 모두 야간인 경우만 주간에서 야간으로 판단(변경)하는 논리 회로를 포함한다. 반대로, 상기 두 정보가 모두 주간인 경우에는 주간으로 변경할 수 있다. For example, the day / night determiner 140 includes a logic circuit that determines (changes) from day to night only when both pieces of information received from the
이는, 여명기나 날씨가 매우 흐린날에 판단오류가 발생될 수 있으므로 주간인 상태에서 어느 하나의 정보가 입력되더라도 주간 상태를 유지하고 두 정보가 모두 야간으로 확인될 때만 야간으로 판단할 수 있다.This is because a judgment error may occur on the day when the weather is very cloudy, so that even if any information is inputted during the daytime, the daytime state can be maintained and the nighttime can be determined only when both information are confirmed at night.
데이터 상관부(150)는 레이더부(110), 카메라 센서부(120) 및 주야 판단부(140)로부터 수집되는 각종 센서 데이터를 융합 처리 하기 위한 차량 데이터 퓨전 모듈(151), 차선 데이터 퓨전 모듈(152) 및 목표 선택 모듈(153)을 포함한다.The
차량 데이터 퓨전 모듈(151)은 레이더부(110) 및 카메라 센서부(120)로부터 각각 수집된 레이더 데이터와 카메라 데이터를 수신하면 각 데이터에 상관성을 부여하는 데이터 어소세이션(Data Association)을 수행하여 선행 차량과의 거리를 추정하고 그에 따른 선행 차량을 추적할 수 있다. 이 때, 상기 선행차량은 레이터를 통해 반사되는 물체의 가속도를 유무를 통해 판단할 수 있으며 가속도가 없는 물체는 고정물체로 판단된다.When the vehicle
특히, 본 발명의 실시 예에 따른 차량 데이터 퓨전 모듈(151)은 주야 판단 결과를 이용하여 레이더 데이터 및 카메라 데이터에 대한 데이터 어소세이션(Data Association)을 수행하기 위한 게이트 사이즈(Size)를 주야간 및 대상물의 정보(예; 차량 유형)에 따라 보정 하는 것을 특징으로 한다.Particularly, the vehicle
도 4는 본 발명의 실시 예에 따른 주/야간을 구분하여 게이트 사이즈를 보정한 상태를 나타낸다.4 shows a state in which the gate size is corrected by dividing the main / night according to the embodiment of the present invention.
첨부된 도 4를 참조하면, 본 발명의 실시 예에 따른 차량 데이터 퓨전 모듈(151)은 기존에 상용되었던 게이트를 주간용 게이트로 정의하고, 상기 주간용 게이트를 카메라 인식특성으로 고려하여 세로 길이방향으로 연장시킨 것을 야간용 게이트로 정의한다.4, the vehicle
여기서, 상기 게이트 사이즈는 레이더 데이터를 토대로 물체의 위치에 생성되는 일정 크기(Size)의 가상 영역으로써, 기존에는 주/야의 구분 없이 하나의 게이트(주간용 게이트)를 사용함으로써 야간에 발생되는 레이더 데이터와 카메라 데이터의 오차에 따른 선행차량 인식의 문제가 존재하였다.Here, the gate size is a virtual area of a predetermined size generated at the position of an object based on radar data. In the past, one gate (daytime gate) There is a problem of recognition of the preceding vehicle due to the error between the data and the camera data.
즉, 상기 도 4의 주간일 때(A)와 같이 주간용 게이트 내에 레이더 인식 결과와 카메라 인식결과가 모두 존재하여야만 데이터 어소세이션(Data Association)을 수행하였다. 반면, 야간일 때(B)와 같이 카메라 인식결과가 주간용 게이트 내 존재하지 않으면 카메라 인식결과를 배제하고 레이더 인식결과만 활용하여 야간의 선행 차량에 대한 인식률이 떨어지는 문제가 존재하였다.That is, the data association is performed only when both the radar recognition result and the camera recognition result are present in the daytime gate as shown in (A) of FIG. On the other hand, when the camera recognition result is not present in the daytime gate as in (B) at night, there is a problem that the recognition rate of the preceding vehicle at night is lowered by excluding the camera recognition result and utilizing only the radar recognition result.
따라서, 차량 데이터 퓨전 모듈(151)은 상기 도 2를 통해 설명된 카메라의 인식특성을 이용하여 데이터 어소세이션시 게이트 사이즈를 세로 길이 방향으로 증대하여 보정된 크기의 게이트를 야간용 게이트로 정의하고 야간일 때(B) 활용할 수 있다.Accordingly, the vehicle
차선 데이터 퓨전 모듈(152)은 레이더부(110) 및 카메라 센서부(120)로부터 각각 획득된 추정 차선 정보 및 차선 정보를 융합하여 전방의 양측 차선 상태를 인식한다.The lane
예컨대, 레인 데이터 퓨전 모듈(152)은 전방의 양측 차선의 폭, 차선에서 차량의 횡방향 위치, 양측 차선까지의 거리, 차선의 형태 및 도로의 곡률 반경 중 적어도 하나를 인식할 수 있다. For example, the lane
제어 모듈(153)은 주야 판단 결과에 따라 야간에는 차량 데이터 퓨전 모듈(151)에서 사이즈가 증대된 야간용 게이트를 이용하여 레이저 인식결과와 카메라 인식결과간의 상관성을 부여하여 선행 차량 정보를 측정한다. 그리고, 레인 데이터 퓨전 모듈(152)에서 처리된 차선정보를 반영하여 선행 차량의 위치 및 이동 정보(방향, 속도 등)를 추적할 수 있다.The
이상에서 설명된 본 발명의 실시 예에 따른 센서 퓨전 시스템의 주야 구분에 따른 센서 퓨전 방법을 간단히 정리아래와 같다.The sensor fusion method according to the day and night division of the sensor fusion system according to the embodiment of the present invention described above will be briefly described below.
한편, 도 5는 본 발명의 실시 예에 센서 퓨전 시스템의 주야 구분에 따른 센서 퓨전 방법을 나타낸다.Meanwhile, FIG. 5 shows a sensor fusion method according to the night and day division of the sensor fusion system according to the embodiment of the present invention.
첨부된 도 5를 참조하면, 본 발명의 실시 예에 따른 센서 퓨전 시스템(100)은 레이더 측정 결과에 따른 카메라 측정 결과와 카메라 측정 결과를 시간 축에 따라 동기화한다(S11). 5, the
그리고, 센서 퓨전 시스템(100)은 주야 판단결과에 따라서 야간인 경우 카메라의 인식특성을 이용하여 주간용 게이트를 세로 길이 방향으로 증대된 야간용 게이트로 보정한다(S12).The
센서 퓨전 시스템(100)은 주야 판단 결과에 따라 야간으로 판단되는 경우 사이즈가 증대된 상기 야간용 게이트를 이용하여 레이저 인식결과와 카메라 인식결과간의 상관성을 부여하는 데이터 어소세이션을 수행하여 선행 차량 정보를 측정한다(S13).The
그리고, 센서 퓨전 시스템(100)은 상기 선행 차량 정보에 레인 데이터 퓨전 모듈(152)에서 처리된 차선정보를 반영하여 선행 차량의 위치 및 이동 정보를 추적할 수 있다(S14).The
이와 같이 본 발명의 실시 예에 따르면, 주간 및 야간으로 구분된 게이트 사이즈를 퓨전 로직에 적용하여 레이더 및 카메라 데이터에 대한 데이터 어소세이션을 수행함으로써 야간의 차량 선행차량 인식 성능을 향상시킬 수 있는 효과가 있다.As described above, according to the embodiment of the present invention, by applying the gate size classified into the daytime and the nighttime to the fusion logic, data association is performed with respect to the radar and the camera data, .
이상에서는 본 발명의 실시 예에 대하여 설명하였으나, 본 발명은 상기한 실시 예에만 한정되는 것은 아니며 그 외의 다양한 변경 및 추가 기능이 가능하다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary,
예컨대, 상기 도 4을 통해 설명된 본 발명의 실시 예에서는 주/야간 구분에 따른 주간용 게이트와 야간용 게이트로 구분하여 데이터 어소세이션을 수행하는 것으로 설명하였으나 이에 한정되지 않으며, 여기에 대상물인 차량의 타입 별로 더 구분하여 게이트 리사이징(Gate Resizing)을 수행할 수 있다.For example, in the embodiment of the present invention described above with reference to FIG. 4, data association is performed by dividing into a daytime gate and a nighttime gate according to the day / night division, but the present invention is not limited thereto, It is possible to perform gate resizing by dividing the vehicle type further.
도 6은 본 발명의 실시 예에 따른 대상물 타입별 게이트 리사이징 방법을 나타낸다.FIG. 6 illustrates a method of gate-by-object re-sizing according to an embodiment of the present invention.
첨부된 도 6을 참조하면, 본 발명의 실시 예에 따르면, 앞에서 설명한 주/야간 구분 게이트 사이즈 적용 외에 야간에 트럭/버스등의 인식결과와 승용차의 인식결과에서 선행차량과의 거리차이가 남에 기인하여 야간용 게이트 사이즈 결정 후 추가로 차량의 타입에 따른 게이트 사이즈를 증대하여 데이터 어소세이션을 수할 수 있다.Referring to FIG. 6, according to the embodiment of the present invention, in addition to the application of the main / night division gate size described above, the recognition result of the truck / bus at night and the difference in distance between the recognition result of the passenger car and the preceding vehicle The data size can be increased by increasing the gate size according to the vehicle type after determining the gate size for the night.
즉, 도 6과 같이 야간 승용차 게이트 사이즈를 기준으로 야간 트럭 게이트 사이즈는 하측 방향으로 일정 길이 더 연장하고, 야간 특수트럭이나 버스의 게이트 사이즈는 트럭 게이트 사이즈에서 중심을 일정 하측방향으로 이동시켜 게이트 리사이징을 수행할 수 있다.In other words, as shown in FIG. 6, the night truck gate size is extended by a certain length in the lower direction based on the night passenger car gate size, and the gate size of the night special truck or bus is shifted in the downward direction from the truck gate size, Can be performed.
따라서, 야간의 카메라 인식 특성에 따른 선행 차량 타입을 더 반영하여 게이트 사이즈를 차량 타입에 맞게 가변하고 그에 따른 카메라 데이터가 데이터 어소세이션에 배제되는 것을 방지할 수 있는 효과가 있다.Therefore, it is possible to further change the gate size according to the vehicle type by reflecting the preceding vehicle type according to the camera recognition characteristic at night, and to prevent the camera data from being excluded in the data association.
또한, 도 7은 본 발명의 실시 예에 따른 물체 인지 거리에 따른 게이트 리사이징 방법을 나타낸다.FIG. 7 illustrates a gate re-sizing method according to an object distance according to an embodiment of the present invention.
첨부된 도 7을 참조하면 본 발명의 실시 예에 따라 야간의 승용차 게이트 사이즈를 50m 단위로 구분하여 상측(+)과 하측(-) 방향을 10m 단위로 가변하는 로직을 추가할 수 도 있다.Referring to FIG. 7, according to an embodiment of the present invention, it is also possible to divide the gate size of a passenger car at night into 50m units, and to add logic that varies the upper (+) and lower (-) directions in units of 10m.
따라서, 그리고, 야간의 카메라 인식 특성에 따른 선행 차량 타입 또는 선행 차량과의 거리를 더 반영하여 게이트 사이즈를 차량 타입에 맞게 가변하고 그에 따른 카메라 데이터가 데이터 어소세이션에 배제되는 것을 방지할 수 있는 효과가 있다.Therefore, it is possible to further change the gate size according to the vehicle type and to prevent the camera data from being excluded in the data association, further reflecting the preceding vehicle type or the distance from the preceding vehicle depending on the camera recognition characteristic at night It is effective.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiments of the present invention are not limited to the above-described apparatuses and / or methods, but may be implemented through a program for realizing functions corresponding to the configuration of the embodiment of the present invention, a recording medium on which the program is recorded And such an embodiment can be easily implemented by those skilled in the art from the description of the embodiments described above.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.
100: 센서 퓨전 시스템 110: 레이더부
120: 카메라 센서부 130: 자동 광측 센서
140: 주야 판단부 150: 데이터 상관부
151: 차량 데이터 퓨전 모듈 152: 차선 데이터 퓨전 모듈
153: 제어 모듈100: sensor fusion system 110: radar unit
120: camera sensor unit 130: automatic light sensor
140: Day / Night Judgment Unit 150: Data Correlation Unit
151: vehicle data fusion module 152: lane data fusion module
153: Control module
Claims (10)
차량의 전방에 설치된 카메라를 통해 획득된 영상 이미지 프로세싱을 기반으로 전방 물체 및 차선 정보를 포함하는 카메라 데이터를 측정하는 카메라 센서부;
외부로부터 수광 되는 빛의 밝기를 측정하는 자동 광측 센서;
상기 카메라 내 주야 판단 정보와 상기 빛 밝기 정보를 취합하여 주간 또는 야간임을 판단하는 주야 판단부; 및
야간으로 판단된 경우 야간의 카메라 인식 특성을 고려하여 주간용 게이트를 세로 길이 방향으로 증대된 야간용 게이트로 보정하고 상기 레이더 데이터 및 상기 카메라 데이터의 데이터 어소세이션(Data Association)을 수행하는 데이터 상관부를 포함하는 센서 퓨전 시스템.A radar unit for measuring radar data including at least one of a distance between a preceding vehicle, a relative speed, and vehicle type data, which is estimated through a radar;
A camera sensor unit for measuring camera data including forward object and lane information based on image image processing obtained through a camera installed in front of the vehicle;
An automatic light-side sensor for measuring the brightness of light received from the outside;
A day / night judging unit for judging whether the day / night judging information and the light brightness information are collected by the camera, And
And a data correlation unit for correcting the daytime gate to a gate for nighttime that has been increased in the longitudinal direction in consideration of the camera recognition characteristic at night when the determination is made at night and performing data association of the camera data with the radar data, Sensor fusion system.
상기 주야 판단부는,
상기 카메라 내 주야 판단 정보와 상기 빛 밝기 정보가 모두 야간인 경우 야간으로 판단하는 논리 회로를 포함하는 것을 특징으로 하는 센서 퓨전 시스템.The method according to claim 1,
The day /
And a logic circuit for determining that the camera is in the nighttime when both the day / night determining information and the light brightness information in the camera are at night.
상기 데이터 상관부는,
주야간 구분에 따른 주간용 게이트와 상기 주간용 게이트에 비해 증대된 야간용 게이트로 구분하여 상기 데이터 어소세이션을 수행하는 차량 데이터 퓨전 모듈;
상기 레이더부의 추정 차선 정보 및 상기 카메라 센서부의 차선 정보를 융합하여 전방의 양측 차선 상태를 인식하는 차선 데이터 퓨전 모듈; 및
야간에 상기 차량 데이터 퓨전 모듈에서 사이즈가 증대된 야간용 게이트를 이용하여 레이저 인식결과와 카메라 인식결과간의 상관성을 부여하여 선행 차량 정보를 측정하는 제어 모듈을 포함하는 센서 퓨전 시스템.The method according to claim 1,
Wherein the data correlator comprises:
A vehicle data fusion module for performing the data association by dividing the daytime gate into a daytime gate and the nighttime gate that is increased compared to the daytime gate;
A lane data fusion module that fuses the estimated lane information of the radar unit and the lane information of the camera sensor unit to recognize a front lane of each lane; And
And a control module that measures the preceding vehicle information by giving a correlation between the laser recognition result and the camera recognition result by using the nighttime gate whose size is increased in the vehicle data fusion module at night.
상기 레이더부는,
측정된 물체에 가속도가 있는 경우 선행차량으로 파악하되 상기 선행차량을 승용차, 트럭 및 버스 중 적어도 하나의 차량 타입으로 판단하는 것을 특징으로 하는 센서 퓨전 시스템.The method of claim 3,
The radar unit includes:
If the measured object has an acceleration, it is determined that the preceding vehicle is a preceding vehicle, and the preceding vehicle is determined to be at least one vehicle type of a passenger car, a truck, and a bus.
상기 차량 데이터 퓨전 모듈은,
상기 야간용 게이트를 야간의 카메라 인식 특성에 따른 상기 차량 타입 별로 더 구분하여 게이트 리사이징을 수행하는 것을 특징으로 하는 센서 퓨전 시스템.5. The method of claim 4,
The vehicle data fusion module comprising:
Wherein the nighttime gate is divided into the nighttime gates according to the nighttime camera recognition characteristics, and gate re-sizing is performed.
상기 차량 데이터 퓨전 모듈은,
상기 야간용 게이트를 야간의 카메라 인식 특성에 따른 소정 단위의 거리 별로 더 구분하여 게이트 리사이징을 수행하는 것을 특징으로 하는 센서 퓨전 시스템.5. The method of claim 4,
The vehicle data fusion module comprising:
Wherein the nighttime gate is further classified by a predetermined unit distance according to camera recognition characteristics at night to perform gate re-sizing.
a) 레이더 측정 결과에 따른 카메라 측정 결과와 카메라 측정 결과를 시간 축에 따라 동기화하는 단계;
b) 주야 판단결과에 따라서 야간인 경우 상기 카메라의 인식특성을 이용하여 주간용 게이트를 세로 길이 방향으로 증대된 야간용 게이트로 보정하는 단계;
c) 야간 게이트웨이를 이용하여 레이저 인식결과와 카메라 인식결과간의 상관성을 부여하는 데이터 어소세이션을 수행하여 선행 차량 정보를 측정하는 단계; 및
d) 상기 선행 차량 정보에 차선정보를 반영하여 상기 선행 차량의 위치 및 이동 정보를 추적하는 단계를 포함하는 센서 퓨전 방법.A sensor fusion method in consideration of day / night camera recognition characteristics of a sensor fusion system of a vehicle,
a) synchronizing a camera measurement result and a camera measurement result according to a radar measurement result along a time axis;
b) correcting the daytime gate to a nighttime gate that has been increased in the longitudinal direction by using the recognition characteristics of the camera in the nighttime according to the result of the day / night judgment;
c) measuring a preceding vehicle information by performing a data association which gives a correlation between a laser recognition result and a camera recognition result using a night gateway; And
and d) tracking the position and movement information of the preceding vehicle by reflecting lane information on the preceding vehicle information.
상기 b) 단계는,
상기 카메라 내 주야 판단 정보와 외부로부터 수광 되는 빛의 밝기를 취합하여 주간 또는 야간임을 판단하는 단계를 포함하는 센서 퓨전 방법.8. The method of claim 7,
The step b)
And determining whether the day / night determination information in the camera and the brightness of light received from the outside are collected to be a daytime or a nighttime.
상기 c) 단계와 d) 단계 사이에는,
레이더부 및 카메라 센서부로부터 각각 획득된 추정 차선 정보 및 차선 정보를 융합하여 전방의 양측 차선의 폭, 차선에서 차량의 횡방향 위치, 양측 차선까지의 거리, 차선의 형태 및 도로의 곡률 반경 중 적어도 하나를 포함하는 상기 차선 정보를 인식하는 단계를 포함하는 센서 퓨전 방법.8. The method of claim 7,
Between the step c) and the step d)
The estimated lane information and the lane information obtained respectively from the radar unit and the camera sensor unit are fused to calculate the width of the front lane side lane, the lateral position of the vehicle in the lane, the distance from the lane to both lanes, the shape of the lane, And recognizing the lane information including the one lane information.
상기 b) 단계는,
상기 야간용 게이트를 야간의 카메라 인식 특성에 따른 상기 차량 타입 별 또는 선행 차량과의 거리 별로 더 구분하여 보정하는 단계를 포함하는 센서 퓨전 방법.
8. The method of claim 7,
The step b)
And further correcting the nighttime gate by further dividing the nighttime gate by the vehicle type or the distance from the preceding vehicle according to the nighttime camera recognition characteristic.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120147794A KR101927162B1 (en) | 2012-12-17 | 2012-12-17 | Sensor fusion system and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120147794A KR101927162B1 (en) | 2012-12-17 | 2012-12-17 | Sensor fusion system and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140078436A true KR20140078436A (en) | 2014-06-25 |
| KR101927162B1 KR101927162B1 (en) | 2018-12-10 |
Family
ID=51130050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120147794A KR101927162B1 (en) | 2012-12-17 | 2012-12-17 | Sensor fusion system and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101927162B1 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105301585A (en) * | 2015-11-02 | 2016-02-03 | 小米科技有限责任公司 | Information display method and device |
| US9360328B2 (en) | 2014-09-02 | 2016-06-07 | Hyundai Motor Company | Apparatus and method for recognizing driving environment for autonomous vehicle |
| KR101714233B1 (en) | 2015-10-06 | 2017-03-08 | 현대자동차주식회사 | Apparatus for detecting objects on the road and method thereof |
| KR20170116305A (en) * | 2016-04-08 | 2017-10-19 | 한국전자통신연구원 | Objects recognition device for co-pilot vehicle based on tracking information from different multiple sensors |
| KR20180015018A (en) | 2016-08-02 | 2018-02-12 | 국민대학교산학협력단 | Method for estimating road line information |
| WO2019127227A1 (en) * | 2017-12-28 | 2019-07-04 | Intel Corporation | Vehicle sensor fusion |
| KR20200005863A (en) * | 2018-07-09 | 2020-01-17 | 현대모비스 주식회사 | Apparatus and method for tracking target using vehicle radar |
| KR20200052589A (en) * | 2018-11-07 | 2020-05-15 | 현대자동차주식회사 | Apparatus and method for removing misrecognition of front vehicle and vehicle including the same |
| CN112162252A (en) * | 2020-09-25 | 2021-01-01 | 南昌航空大学 | Data calibration method for millimeter wave radar and visible light sensor |
| KR102264152B1 (en) * | 2021-03-10 | 2021-06-14 | (주)넥스트박스 | Method and system for ground truth auto labeling advanced sensor data and image by camera |
| CN113227834A (en) * | 2019-02-06 | 2021-08-06 | 宝马股份公司 | Method and device for sensor data fusion of a vehicle |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220095661A (en) | 2020-12-30 | 2022-07-07 | 현대자동차주식회사 | An apparatus and method for generating the sensor fusion track |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000184368A (en) * | 1998-12-14 | 2000-06-30 | Matsushita Electric Ind Co Ltd | On-vehicle camera system displaying sensor signal superimposed on video signal |
| JP2003337172A (en) * | 2002-05-17 | 2003-11-28 | Mitsubishi Heavy Ind Ltd | Laser radar monitoring system |
| JP2005208011A (en) * | 2004-01-26 | 2005-08-04 | Mitsubishi Heavy Ind Ltd | System and method for monitoring |
| JP2010198428A (en) * | 2009-02-26 | 2010-09-09 | Alpine Electronics Inc | On-vehicle system |
-
2012
- 2012-12-17 KR KR1020120147794A patent/KR101927162B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000184368A (en) * | 1998-12-14 | 2000-06-30 | Matsushita Electric Ind Co Ltd | On-vehicle camera system displaying sensor signal superimposed on video signal |
| JP2003337172A (en) * | 2002-05-17 | 2003-11-28 | Mitsubishi Heavy Ind Ltd | Laser radar monitoring system |
| JP2005208011A (en) * | 2004-01-26 | 2005-08-04 | Mitsubishi Heavy Ind Ltd | System and method for monitoring |
| JP2010198428A (en) * | 2009-02-26 | 2010-09-09 | Alpine Electronics Inc | On-vehicle system |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9360328B2 (en) | 2014-09-02 | 2016-06-07 | Hyundai Motor Company | Apparatus and method for recognizing driving environment for autonomous vehicle |
| KR101714233B1 (en) | 2015-10-06 | 2017-03-08 | 현대자동차주식회사 | Apparatus for detecting objects on the road and method thereof |
| CN105301585A (en) * | 2015-11-02 | 2016-02-03 | 小米科技有限责任公司 | Information display method and device |
| KR20170116305A (en) * | 2016-04-08 | 2017-10-19 | 한국전자통신연구원 | Objects recognition device for co-pilot vehicle based on tracking information from different multiple sensors |
| KR20180015018A (en) | 2016-08-02 | 2018-02-12 | 국민대학교산학협력단 | Method for estimating road line information |
| US11585920B2 (en) | 2017-12-28 | 2023-02-21 | Intel Corporation | Vehicle sensor fusion |
| WO2019127227A1 (en) * | 2017-12-28 | 2019-07-04 | Intel Corporation | Vehicle sensor fusion |
| KR20200005863A (en) * | 2018-07-09 | 2020-01-17 | 현대모비스 주식회사 | Apparatus and method for tracking target using vehicle radar |
| KR20200052589A (en) * | 2018-11-07 | 2020-05-15 | 현대자동차주식회사 | Apparatus and method for removing misrecognition of front vehicle and vehicle including the same |
| CN113227834A (en) * | 2019-02-06 | 2021-08-06 | 宝马股份公司 | Method and device for sensor data fusion of a vehicle |
| CN112162252A (en) * | 2020-09-25 | 2021-01-01 | 南昌航空大学 | Data calibration method for millimeter wave radar and visible light sensor |
| CN112162252B (en) * | 2020-09-25 | 2023-07-18 | 南昌航空大学 | Data calibration method for millimeter wave radar and visible light sensor |
| KR102264152B1 (en) * | 2021-03-10 | 2021-06-14 | (주)넥스트박스 | Method and system for ground truth auto labeling advanced sensor data and image by camera |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101927162B1 (en) | 2018-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101927162B1 (en) | Sensor fusion system and method thereof | |
| EP3678113B1 (en) | Travel control method and travel control device for driving-assist vehicle | |
| EP3678110B1 (en) | Method for correcting positional error and device for correcting positional error in a drive-assisted vehicle | |
| CN101326511B (en) | Method for detecting or predicting vehicle cut-ins | |
| US10293690B2 (en) | Vehicle information projecting system and vehicle information projecting method | |
| CN106652557B (en) | Method and system for predicting driving path of neighboring vehicle | |
| JP7205154B2 (en) | Display device | |
| EP3339124B1 (en) | Autonomous driving system | |
| JP5453048B2 (en) | Vehicle driving support control device | |
| JP3912416B2 (en) | Vehicle departure prevention control device | |
| US10967864B2 (en) | Vehicle control device | |
| US20200231170A1 (en) | Method and control device for monitoring the blind spot of a two-wheeled vehicle | |
| KR102464607B1 (en) | Vehicle and controlling method thereof | |
| CN110799403B (en) | Vehicle control device | |
| US20140177243A1 (en) | Apparatus and method for controlling head lamp of vehicle | |
| CN112046481B (en) | Automatic driving device and method | |
| EP3127104A1 (en) | Method and system to assess the risk of change of traffic lane during the driving of a leading vehicle on a roadway with at least two neighbouring traffic lanes method and system to assess the risk of change of traffic lane during the driving of a leading vehicle on a roadway with at least two neighbouring traffic lanes | |
| CN111376901B (en) | Vehicle control method and device and vehicle | |
| US11433888B2 (en) | Driving support system | |
| US11919519B2 (en) | Method and device for operating an assistance system of a vehicle, and a vehicle | |
| KR102298869B1 (en) | Apparatus for preventing car collision and method thereof | |
| US20220371595A1 (en) | Control system and control method for detection and reaction of a zipper process for a motor vehicle | |
| WO2021209403A1 (en) | Detection of obstacles in a curved road | |
| US20200174134A1 (en) | Object recognition via indirect signal reflection | |
| JP6750012B2 (en) | Vehicle position control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |