KR102672321B1 - 복수의 레이더 및 카메라를 이용한 센서 융합 시스템 및 방법 - Google Patents

복수의 레이더 및 카메라를 이용한 센서 융합 시스템 및 방법 Download PDF

Info

Publication number
KR102672321B1
KR102672321B1 KR1020230144874A KR20230144874A KR102672321B1 KR 102672321 B1 KR102672321 B1 KR 102672321B1 KR 1020230144874 A KR1020230144874 A KR 1020230144874A KR 20230144874 A KR20230144874 A KR 20230144874A KR 102672321 B1 KR102672321 B1 KR 102672321B1
Authority
KR
South Korea
Prior art keywords
objects
sensor fusion
radars
processor
cameras
Prior art date
Application number
KR1020230144874A
Other languages
English (en)
Inventor
윤태민
투브신바야르 찬살냠
김동규
Original Assignee
(주)이씨스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이씨스 filed Critical (주)이씨스
Priority to KR1020230144874A priority Critical patent/KR102672321B1/ko
Application granted granted Critical
Publication of KR102672321B1 publication Critical patent/KR102672321B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G05D2201/0212—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량에 설치된 복수의 차량용 레이더 및 카메라를 통해 수집되는 데이터들을 융합할 수 있는 시스템 및 방법이 제공된다. 본 발명의 실시예에 따른 복수의 레이더 및 카메라를 이용한 센서 융합 시스템은, 주변 객체에 대한 인식 데이터를 수집하는 복수의 레이더; 주변 객체에 대한 이미지 데이터를 수집하는 복수의 카메라; 및 동일한 방향에 설치된 레이더와 카메라를 하나의 그룹으로 매칭하고, 각각의 그룹으로 매칭된 레이더와 카메라를 통해 수집된 인식 데이터와 이미지 데이터를 융합하여, 주변 객체를 인식하고, 그룹별 주변 객체의 인식 결과를 통합하여 주변 객체에 대한 통합 정보를 생성하는 프로세서;를 포함한다. 이에 의해, 차량에 설치된 복수의 레이더 및 카메라를 통해 수집되는 데이터들을 융합할 수 있으며, 나아가, 복수의 레이더 및 카메라를 통해 주변 객체를 인식하는 경우, 중복 검출되는 객체를 제거하여, 감지(인식) 정확도를 향상시킬 수 있다.

Description

복수의 레이더 및 카메라를 이용한 센서 융합 시스템 및 방법{Sensor fusion system and method using multiple radars and cameras}
본 발명은 복수의 레이더 및 카메라를 이용한 센서 융합 시스템 및 방법에 관한 것으로, 더욱 상세하게는 차량에 설치된 복수의 차량용 레이더 및 카메라를 통해 수집되는 데이터들을 융합할 수 있는 시스템 및 방법에 관한 것이다.
레이더(RADAR, Radio Detection And Ranging)는 물체의 위치, 방향을 탐지하고, 해당 물체와의 거리, 속도 등을 측정을 가능하게 한다. 레이더는 전파를 이용한 주변 환경 탐지 등에 많이 활용되고 있으나, 차량용 레이더의 경우 낮은 각도 인지 성능으로 인해 객체가 종류에 상관없이 하나의 점으로 탐지되므로 레이더 만으로 그 객체의 종류를 구별하는데 한계가 있을 수 있다.
한편, 최근 딥러닝 기술이 발달하면서 차량내 다수의 카메라를 통해 주변 환경을 인식하고 이를 기초로 차량의 주행 경로를 생성하는 자율주행 기술이 크게 급부상하고 있다.
또한, 여러 개의 센서들을 융합하여 주변 환경을 파악하기 위한 센서 퓨전 기술도 많이 각광받고 있다.
따라서, 차량용 레이더와 차량내 복수의 카메라를 통해 주변 객체를 인식하고, 인식된 주변 객체의 위치를 판별하기 위한 방안의 모색이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 차량에 설치된 복수의 레이더 및 카메라를 통해 수집되는 데이터들을 융합할 수 있는 시스템 및 방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 복수의 레이더 및 카메라를 통해 주변 객체를 인식하는 경우, 중복 검출되는 객체를 제거하여, 감지(인식) 정확도를 향상시킬 수 있는 시스템 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 복수의 레이더 및 카메라를 이용한 센서 융합 시스템은, 주변 객체에 대한 인식 데이터를 수집하는 복수의 레이더; 주변 객체에 대한 이미지 데이터를 수집하는 복수의 카메라; 및 동일한 방향에 설치된 레이더와 카메라를 하나의 그룹으로 매칭하고, 각각의 그룹으로 매칭된 레이더와 카메라를 통해 수집된 인식 데이터와 이미지 데이터를 융합하여, 주변 객체를 인식하고, 그룹별 주변 객체의 인식 결과를 통합하여 주변 객체에 대한 통합 정보를 생성하는 프로세서;를 포함한다.
그리고 레이더는, 차량의 우측 및 좌측에 각각 설치되는 한쌍의 측방 레이더와 차량의 전방에 설치되는 전방 레이더를 포함하고, 카메라는, 차량의 우측 및 좌측에 각각 설치되는 한쌍의 측방 카메라와 차량의 전방에 설치되는 전방 카메라를 포함할 수 있다.
또한, 프로세서는, 동일한 방향에 설치된 레이더와 카메라를 통해 수집되는 인식 데이터와 이미지 데이터를 융합하여 객체의 위치 좌표값이 포함되는 센서 융합 정보를 생성할 수 있다.
그리고 프로세서는, 센서 융합 정보를 생성하는 경우, 인식 데이터를 이미지 포인트로 변환하고, 이미지 데이터 내에서 객체를 식별하여 산출되는 객체 추적 결과(객체 인식 파라미터)에 이미지 포인트를 반영하여, 센서 융합 정보를 생성할 수 있다.
또한, 프로세서는, 우측에 설치되는 측방 레이더 및 측방 카메라를 통해 수집된 데이터들을 기반으로 생성된 제1 센서 융합 정보, 좌측에 설치되는 측방 레이더 및 측방 카메라를 통해 수집된 데이터들을 기반으로 생성된 제2 센서 융합 정보 및 전방 레이더 및 전방 카메라를 통해 수집된 데이터들을 기반으로 생성된 제3 센서 융합 정보를 통합하여 주변 객체에 대한 통합 정보를 생성할 수 있다.
그리고 프로세서는, 생성된 제1 내지 제3 센서 융합 정보를 통합하여 주변 객체에 대한 통합 정보를 생성하는 과정에서, 각각의 센서 융합 정보 내 중복되는 객체(동일한 객체)가 존재하는지 여부를 판단하고, 중복되는 객체가 존재하는 경우, 중복되는 객체를 제거하는 작업을 수행할 수 있다.
또한, 프로세서는, 중복되는 객체가 존재하는지 여부를 판단하는 경우, 생성된 제1 내지 제3 센서 융합 정보를 통합하여 객체 인식 파라미터가 유사한 객체들을 검출하고, 유사한 객체들이 검출되면, 중복되는 객체를 제거하는 작업을 수행하기 위해, 검출된 객체들의 객체 인식 파라미터의 평균값을 산출하여, 검출된 객체들을 대표하는 대표 객체의 파라미터로 지정하며, 대표 객체의 파라미터가 지정되면, 지정된 대표 객체의 파라미터를 객체 인식의 결과에 반영하고, 검출된 객체들의 객체 인식 파라미터를 제거할 수 있다.
그리고 프로세서는, 제1 내지 제3 센서 융합 정보를 통합하는 경우, 각각의 융합 정보에 포함된 주변 객체의 위치 좌표값들을 통합하여, 주변 객체들의 위치 좌표값들이 반영된 통합 정보를 생성할 수 있다.
또한, 프로세서는, 통합 정보가 생성되면, 생성된 통합 정보를 별도로 마련되어, 차량의 자율 주행 기능 또는 주행 보조 기능을 제공하는 관제 시스템에 전달할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 복수의 레이더 및 카메라를 이용한 센서 융합 방법은, 프로세서가, 복수의 레이더와 복수의 카메라를 설치되는 방향을 기준으로 분할하여, 동일한 방향에 설치된 레이더와 카메라가 하나의 그룹으로 매칭되도록 하는 단계; 각각의 그룹으로 매칭된 레이더와 카메라를 통해 주변 객체에 대한 인식 데이터 및 이미지 데이터를 수집하는 단계; 프로세서가, 수집된 인식 데이터와 이미지 데이터를 융합하여, 주변 객체를 인식하는 단계; 및 프로세서가, 그룹별 주변 객체의 인식 결과를 통합하여 주변 객체에 대한 통합 정보를 생성하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 차량에 설치된 복수의 레이더 및 카메라를 통해 수집되는 데이터들을 융합할 수 있으며, 나아가, 복수의 레이더 및 카메라를 통해 주변 객체를 인식하는 경우, 중복 검출되는 객체를 제거하여, 감지(인식) 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 복수의 레이더 및 카메라를 이용한 센서 융합 시스템의 구성 설명에 제공된 도면,
도 2는 본 발명의 일 실시예에 따른 복수의 레이더 및 카메라를 이용한 센서 융합 방법의 설명에 제공된 흐름도,
도 3은, 본 발명의 일 실시예에 따른 시스템을 이용하여 통합 정보를 생성하는 과정의 더욱 상세한 설명에 제공된 흐름도,
도 4는, 본 발명의 일 실시예에 따른 시스템을 이용하여 중복 검출되는 객체를 제거하는 과정의 설명에 제공된 흐름도, 그리고
도 5는, 상기 도 4에 도시된 중복 검출되는 객체를 제거하는 과정의 더욱 상세한 설명에 제공된 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 복수의 레이더 및 카메라를 이용한 센서 융합 시스템의 구성 설명에 제공된 도면이다.
본 실시예에 따른 복수의 레이더 및 카메라를 이용한 센서 융합 시스템(이하에서는 '시스템'으로 총칭하기로 함)은, 차량에 설치된 복수의 레이더 및 카메라를 통해 수집되는 데이터들을 융합하여, 주변 객체를 인식하고, 인식된 주변 객체의 위치를 판별하며, 중복 검출되는 객체를 제거할 수 있다.
이를 위해, 시스템은, 레이더(110), 카메라(120), 프로세서(130) 및 저장부(140)를 포함할 수 있다.
레이더(110)는, 차량에 설치되어, 주변 객체에 대한 인식 데이터를 수집하는 차량용 레이더(110)로 구현될 수 있다.
카메라(120)는, 차량에 설치되어, 주변 객체에 대한 이미지 데이터를 수집할 수 있다.
여기서, 레이더(110) 및 카메라(120)는 복수로 마련될 수 있으며, 동일한 방향에 설치되는 레이더(110)와 카메라(120)는 프로세서(130)에 의해 하나의 그룹으로 매칭될 수 있다.
예를 들면, 레이더(110)는, 차량의 우측 및 좌측에 각각 설치되는 한쌍의 측방 레이더(우측방 레이더(110a) 및 좌측방 레이더(110b))와 차량의 전방에 설치되는 전방 레이더(110c)를 포함할 수 있다.
또한, 카메라(120)는, 차량의 우측 및 좌측에 각각 설치되는 한쌍의 측방 카메라(우측방 카메라(120a) 및 좌측방 카메라(120b))와 차량의 전방에 설치되는 전방 카메라(120c)를 포함할 수 있다.
저장부(140)는, 레이더(110) 및 카메라(120)로부터 수집되는 데이터들과 프로세서(130)가 동작함에 있어 필요한 프로그램 및 데이터를 저장할 수 있는 저장매체이다.
프로세서(130)는, 동일한 방향에 설치된 레이더와 카메라를 하나의 그룹으로 매칭하고, 각각의 그룹으로 매칭된 레이더와 카메라를 통해 수집된 인식 데이터와 이미지 데이터를 융합하여, 주변 객체를 인식하고, 그룹별 주변 객체의 인식 결과를 통합하여 주변 객체에 대한 통합 정보를 생성할 수 있다.
또한, 프로세서(130)는, 복수의 레이더(110) 및 카메라(120)를 통해 주변 객체를 인식하는 경우, 중복 검출되는 객체를 제거할 수 있다.
도 2는 본 발명의 일 실시예에 따른 복수의 레이더 및 카메라를 이용한 센서 융합 방법의 설명에 제공된 흐름도이다.
본 실시예에 따른 복수의 레이더 및 카메라를 이용한 센서 융합 방법은, 도 1을 참조하여 전술한 시스템에 의해 실행될 수 있다.
도 2를 참조하면, 프로세서(130)가, 복수의 레이더와 복수의 카메라를 설치되는 방향을 기준으로 분할하여, 동일한 방향에 설치된 레이더와 카메라가 하나의 그룹으로 매칭되도록 하고(S210), 이후, 각각의 그룹으로 매칭된 레이더와 카메라를 통해 주변 객체에 대한 인식 데이터 및 이미지 데이터를 수집할 수 있다(S220).
프로세서(130)는 그룹별로 수집된 인식 데이터와 이미지 데이터를 융합하여, 그룹별로 주변 객체를 인식하고(S230), 그룹별 주변 객체의 인식 결과를 통합하여 주변 객체에 대한 통합 정보를 생성할 수 있다(S240).
즉, 프로세서(130)는 그룹별로 주변 객체를 인식하여, 그룹별로 센서 융합 정보를 생성하고, 그룹별로 생성된 각각의 센서 융합 정보를 통합하여 인식되는 각각의 객체의 위치 좌표값(객체 인식 파라미터)이 모두 포함되는 통합 정보를 생성할 수 있다.
이때, 생성된 주변 객체에 대한 통합 정보는, 각각의 융합 정보에 포함된 주변 객체의 위치 좌표값들이 통합되어, 주변 객체들의 위치 좌표값들이 반영되는 정보이며, 통합 정보가 생성되면, 프로세서(130)에 의해, 차량의 자율 주행 기능 또는 주행 보조 기능을 제공하는 관제 시스템(별도 마련)으로 전달될 수 있다.
도 3은, 본 발명의 일 실시예에 따른 시스템을 이용하여 통합 정보를 생성하는 과정의 더욱 상세한 설명에 제공된 흐름도이다.
도 3을 참조하면, 프로세서(130)는, 동일한 방향에 설치된 레이더와 카메라가 하나의 그룹으로 매칭시킨 다음, 복수의 레이더를 통해 개별적으로 수집되는 인식 데이터와 복수의 카메라를 통해 개별적으로 수집되는 이미지 데이터가 전달되면, 동일한 방향에 설치된 레이더와 카메라를 통해 수집되는 인식 데이터와 이미지 데이터를 융합하여 센서 융합 정보를 생성할 수 있다.
구체적으로, 복수의 레이더(ex. 우측방 레이더(110a), 좌측방 레이더(110b) 및 전방 레이더(110c))와 복수의 카메라(ex. 우측방 카메라(120a), 좌측방 카메라(120b) 및 전방 카메라(120c))는, 주변 객체에 대한 인식 데이터 및 이미지 데이터를 각각 수집하여(S310), 프로세서(130)에 전달할 수 있다.
프로세서(130)는, 복수의 레이더를 통해 개별적으로 수집되는 인식 데이터와 복수의 카메라를 통해 개별적으로 수집되는 이미지 데이터를 그룹별로 융합하여(S320), 객체의 위치 좌표값이 포함되는 센서 융합 정보를 생성할 수 있다.
이때, 프로세서(130)는, 그룹별로 각각의 레이더(110)를 통해 수집되는 인식 데이터를 이미지 포인트로 변환하고, 각각의 카메라(120)를 통해 수집되는 이미지 데이터 내에서 객체를 식별할 수 있다.
예를 들면, 프로세서(130)는, 그룹별로 객체를 식별하는 경우, 이미지 데이터 내에서 객체를 인식하고, 인식된 객체를 추적하여, 이미지 데이터 기반의 객체 추적 결과를 그룹별로 산출할 수 있다.
그리고 프로세서(130)는, 그룹별로 이미지 데이터 기반의 객체 추적 결과에 변환된 이미지 포인트가 포함되는지 여부를 판단하여, 산출되는 객체 추적 결과에 이미지 포인트가 포함되는 경우, 그룹별로 산출되는 객체 추적 결과에 이미지 포인트를 반영하여, 객체의 위치 좌표값(객체 인식 파라미터)이 포함되는 그룹별 센서 융합 정보를 생성할 수 있다.
그리고 프로세서(130)는, 각각의 센서 융합 정보에 포함된 주변 객체의 위치 좌표값 통합하여(S330), 통합 정보를 생성할 수 있다(S340).
즉, 프로세서(130)는, 우측에 설치되는 측방 레이더 및 측방 카메라를 통해 수집된 데이터들을 기반으로 생성된 제1 센서 융합 정보, 좌측에 설치되는 측방 레이더 및 측방 카메라를 통해 수집된 데이터들을 기반으로 생성된 제2 센서 융합 정보 및 전방 레이더(110c) 및 전방 카메라(120c)를 통해 수집된 데이터들을 기반으로 생성된 제3 센서 융합 정보를 통합하여 주변 객체에 대한 통합 정보를 생성할 수 있다.
도 4는, 본 발명의 일 실시예에 따른 시스템을 이용하여 중복 검출되는 객체를 제거하는 과정의 설명에 제공된 흐름도이다.
도 4를 참조하면, 복수의 레이더(ex. 우측방 레이더(110a), 좌측방 레이더(110b) 및 전방 레이더(110c))와 복수의 카메라(ex. 우측방 카메라(120a), 좌측방 카메라(120b) 및 전방 카메라(120c))는, 주변 객체에 대한 인식 데이터 및 이미지 데이터를 각각 수집하여(S410), 프로세서(130)에 전달할 수 있다.
프로세서(130)는, 복수의 레이더를 통해 개별적으로 수집되는 인식 데이터와 복수의 카메라를 통해 개별적으로 수집되는 이미지 데이터를 그룹별로 융합하여(S420), 그룹별로 주변 객체를 인식하여, 그룹별로 복수의 센서 융합 정보를 생성할 수 있다.
또한, 프로세서(130)는, 생성된 복수의 센서 융합 정보를 통합하는 과정에서 중복되는 객체를 제거하는 작업을 수행할 수 있다.
예를 들면, 프로세서(130)는, 복수의 센서 융합 정보(ex. 제1 내지 제3 센서 융합 정보)가 생성되면, 생성된 복수의 센서 융합 정보를 통합하여 주변 객체에 대한 통합 정보를 생성하는 과정에서, 각각의 센서 융합 정보 내 중복되는 객체(동일한 객체)가 존재하는지 여부를 판단하고(S430), 중복되는 객체가 존재하는 경우(S430-Yes), 중복되는 객체를 제거하는 작업을 수행할 수 있다(S440).
그리고 프로세서(130)는, 중복 객체가 제거된 정보들을 통합하여, 주변 객체에 대한 통합 정보를 생성할 수 있다(S450).
도 5는, 상기 도 4에 도시된 중복 검출되는 객체를 제거하는 과정의 더욱 상세한 설명에 제공된 흐름도이다.
도 5를 참조하면, 프로세서(130)는, 복수의 센서 융합 정보(ex. 제1 센서 융합 정보 내지 제3 센서 융합 정보)가 생성되면(S510), 복수의 센서 융합 정보를 통합하여 객체 인식 파라미터가 유사한 객체들을 검출하고(S520), 유사한 객체들이 검출되면, 검출된 객체들의 객체 인식 파라미터의 평균값을 산출하여, 검출된 객체들을 대표하는 대표 객체의 파라미터로 지정할 수 있다(S530).
또한, 프로세서(130)는, 대표 객체의 파라미터가 지정되면, 지정된 대표 객체의 파라미터를 객체 인식의 결과에 반영하고, 검출된 객체들의 객체 인식 파라미터를 제거할 수 있다(S540).
그리고 프로세서(130)는, 주변 객체에 대한 통합 정보가 생성될 때마다, 현재 위치가 판별된 객체에 대한 정보를 주변 객체 정보 리스트에 저장하고, 저장되는 주변 객체 정보 리스트를 별도로 마련되어 차량의 자율 주행 기능 또는 주행 보조 기능을 제공하는 관제 시스템에 전달할 수 있다.
여기서, 프로세서(130)는, 그룹별로 복수의 센서 융합 정보가 생성되면, 복수의 센서 융합 정보를 통합하여 주변 객체에 대한 통합 정보를 생성하는 과정에서 중복되는 객체를 제거하는 작업을 수행한 이후, 생성되는 통합 정보를 주변 객체 정보 리스트에 저장할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 레이더
120 : 카메라
130 : 프로세서
140 : 저장부

Claims (10)

  1. 주변 객체에 대한 인식 데이터를 수집하는 복수의 레이더;
    주변 객체에 대한 이미지 데이터를 수집하는 복수의 카메라; 및
    동일한 방향에 설치된 레이더와 카메라를 하나의 그룹으로 매칭하고, 각각의 그룹으로 매칭된 레이더와 카메라를 통해 수집된 인식 데이터와 이미지 데이터를 융합하여, 주변 객체를 인식하고, 그룹별 주변 객체의 인식 결과를 통합하여 주변 객체에 대한 통합 정보를 생성하는 프로세서;를 포함하며,
    레이더는,
    차량의 우측 및 좌측에 각각 설치되는 한쌍의 측방 레이더와 차량의 전방에 설치되는 전방 레이더를 포함하고,
    카메라는,
    차량의 우측 및 좌측에 각각 설치되는 한쌍의 측방 카메라와 차량의 전방에 설치되는 전방 카메라를 포함하며,
    프로세서는,
    동일한 방향에 설치된 레이더와 카메라를 통해 수집되는 인식 데이터와 이미지 데이터를 융합하여 객체의 위치 좌표값이 포함되는 센서 융합 정보를 생성하고,
    프로세서는,
    센서 융합 정보를 생성하는 경우, 인식 데이터를 이미지 포인트로 변환하고, 이미지 데이터 내에서 객체를 식별하여 산출되는 객체 추적 결과(객체 인식 파라미터)에 이미지 포인트를 반영하여, 센서 융합 정보를 생성하며,
    프로세서는,
    우측에 설치되는 측방 레이더 및 측방 카메라를 통해 수집된 데이터들을 기반으로 생성된 제1 센서 융합 정보, 좌측에 설치되는 측방 레이더 및 측방 카메라를 통해 수집된 데이터들을 기반으로 생성된 제2 센서 융합 정보 및 전방 레이더 및 전방 카메라를 통해 수집된 데이터들을 기반으로 생성된 제3 센서 융합 정보를 통합하여 주변 객체에 대한 통합 정보를 생성하고,
    프로세서는,
    생성된 제1 내지 제3 센서 융합 정보를 통합하여 주변 객체에 대한 통합 정보를 생성하는 과정에서, 각각의 센서 융합 정보 내 중복되는 객체(동일한 객체)가 존재하는지 여부를 판단하고, 중복되는 객체가 존재하는 경우, 중복되는 객체를 제거하는 작업을 수행하며,
    프로세서는,
    중복되는 객체가 존재하는지 여부를 판단하는 경우, 생성된 제1 내지 제3 센서 융합 정보를 통합하여 객체 인식 파라미터가 유사한 객체들을 검출하고,
    유사한 객체들이 검출되면, 중복되는 객체를 제거하는 작업을 수행하기 위해, 검출된 객체들의 객체 인식 파라미터의 평균값을 산출하여, 검출된 객체들을 대표하는 대표 객체의 파라미터로 지정하며,
    대표 객체의 파라미터가 지정되면, 지정된 대표 객체의 파라미터를 객체 인식의 결과에 반영하고, 검출된 객체들의 객체 인식 파라미터를 제거하고,
    프로세서는,
    제1 내지 제3 센서 융합 정보를 통합하는 경우, 각각의 융합 정보에 포함된 주변 객체의 위치 좌표값들을 통합하여, 주변 객체들의 위치 좌표값들이 반영된 통합 정보를 생성하는 것을 특징으로 하는 복수의 레이더 및 카메라를 이용한 센서 융합 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 청구항 1에 있어서,
    프로세서는,
    통합 정보가 생성되면, 생성된 통합 정보를 별도로 마련되어, 차량의 자율 주행 기능 또는 주행 보조 기능을 제공하는 관제 시스템에 전달하는 것을 특징으로 하는 복수의 레이더 및 카메라를 이용한 센서 융합 시스템.
  10. 프로세서가, 복수의 레이더와 복수의 카메라를 설치되는 방향을 기준으로 분할하여, 동일한 방향에 설치된 레이더와 카메라가 하나의 그룹으로 매칭되도록 하는 단계;
    각각의 그룹으로 매칭된 레이더와 카메라를 통해 주변 객체에 대한 인식 데이터 및 이미지 데이터를 수집하는 단계;
    프로세서가, 수집된 인식 데이터와 이미지 데이터를 융합하여, 주변 객체를 인식하는 단계; 및
    프로세서가, 그룹별 주변 객체의 인식 결과를 통합하여 주변 객체에 대한 통합 정보를 생성하는 단계;를 포함하며,
    레이더는,
    차량의 우측 및 좌측에 각각 설치되는 한쌍의 측방 레이더와 차량의 전방에 설치되는 전방 레이더를 포함하고,
    카메라는,
    차량의 우측 및 좌측에 각각 설치되는 한쌍의 측방 카메라와 차량의 전방에 설치되는 전방 카메라를 포함하며,
    프로세서는,
    동일한 방향에 설치된 레이더와 카메라를 통해 수집되는 인식 데이터와 이미지 데이터를 융합하여 객체의 위치 좌표값이 포함되는 센서 융합 정보를 생성하고,
    프로세서는,
    센서 융합 정보를 생성하는 경우, 인식 데이터를 이미지 포인트로 변환하고, 이미지 데이터 내에서 객체를 식별하여 산출되는 객체 추적 결과(객체 인식 파라미터)에 이미지 포인트를 반영하여, 센서 융합 정보를 생성하며,
    프로세서는,
    우측에 설치되는 측방 레이더 및 측방 카메라를 통해 수집된 데이터들을 기반으로 생성된 제1 센서 융합 정보, 좌측에 설치되는 측방 레이더 및 측방 카메라를 통해 수집된 데이터들을 기반으로 생성된 제2 센서 융합 정보 및 전방 레이더 및 전방 카메라를 통해 수집된 데이터들을 기반으로 생성된 제3 센서 융합 정보를 통합하여 주변 객체에 대한 통합 정보를 생성하고,
    프로세서는,
    생성된 제1 내지 제3 센서 융합 정보를 통합하여 주변 객체에 대한 통합 정보를 생성하는 과정에서, 각각의 센서 융합 정보 내 중복되는 객체(동일한 객체)가 존재하는지 여부를 판단하고, 중복되는 객체가 존재하는 경우, 중복되는 객체를 제거하는 작업을 수행하며,
    프로세서는,
    중복되는 객체가 존재하는지 여부를 판단하는 경우, 생성된 제1 내지 제3 센서 융합 정보를 통합하여 객체 인식 파라미터가 유사한 객체들을 검출하고,
    유사한 객체들이 검출되면, 중복되는 객체를 제거하는 작업을 수행하기 위해, 검출된 객체들의 객체 인식 파라미터의 평균값을 산출하여, 검출된 객체들을 대표하는 대표 객체의 파라미터로 지정하며,
    대표 객체의 파라미터가 지정되면, 지정된 대표 객체의 파라미터를 객체 인식의 결과에 반영하고, 검출된 객체들의 객체 인식 파라미터를 제거하고,
    프로세서는,
    제1 내지 제3 센서 융합 정보를 통합하는 경우, 각각의 융합 정보에 포함된 주변 객체의 위치 좌표값들을 통합하여, 주변 객체들의 위치 좌표값들이 반영된 통합 정보를 생성하는 것을 특징으로 하는 복수의 레이더 및 카메라를 이용한 센서 융합 방법.
KR1020230144874A 2023-10-26 2023-10-26 복수의 레이더 및 카메라를 이용한 센서 융합 시스템 및 방법 KR102672321B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230144874A KR102672321B1 (ko) 2023-10-26 2023-10-26 복수의 레이더 및 카메라를 이용한 센서 융합 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230144874A KR102672321B1 (ko) 2023-10-26 2023-10-26 복수의 레이더 및 카메라를 이용한 센서 융합 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102672321B1 true KR102672321B1 (ko) 2024-06-07

Family

ID=91480771

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230144874A KR102672321B1 (ko) 2023-10-26 2023-10-26 복수의 레이더 및 카메라를 이용한 센서 융합 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102672321B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200040404A (ko) * 2018-10-10 2020-04-20 주식회사 만도 차량용 레이더 장치 및 그 제어 방법
JP2022087821A (ja) * 2020-12-01 2022-06-13 富士通株式会社 データ融合方法及び装置
KR102456151B1 (ko) * 2022-01-07 2022-10-20 포티투닷 주식회사 레이더 및 카메라 기반의 센서 퓨전 시스템 및 주변 차량의 위치 산출 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200040404A (ko) * 2018-10-10 2020-04-20 주식회사 만도 차량용 레이더 장치 및 그 제어 방법
JP2022087821A (ja) * 2020-12-01 2022-06-13 富士通株式会社 データ融合方法及び装置
KR102456151B1 (ko) * 2022-01-07 2022-10-20 포티투닷 주식회사 레이더 및 카메라 기반의 센서 퓨전 시스템 및 주변 차량의 위치 산출 방법

Similar Documents

Publication Publication Date Title
KR102061522B1 (ko) 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
CN109059902A (zh) 相对位姿确定方法、装置、设备和介质
JP2019149150A (ja) 点群データを処理するための方法及び装置
JP6543066B2 (ja) 機械学習装置
EP3719697B1 (en) Method and device for determining whether a hand cooperates with a manual steering element of a vehicle
CN110866544B (zh) 传感器数据的融合方法、装置及存储介质
KR102013781B1 (ko) 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치
GB2544627A (en) Self-recognition of autonomous vehicles in mirrored or reflective surfaces
US11748593B2 (en) Sensor fusion target prediction device and method for vehicles and vehicle including the device
CN113763430B (zh) 检测移动目标的方法、装置和计算机可读存储介质
CN111796286A (zh) 一种制动等级的评估方法、装置、车辆和存储介质
CN109635861A (zh) 一种数据融合方法、装置、电子设备及存储介质
CN112313536A (zh) 物体状态获取方法、可移动平台及存储介质
CN114296095A (zh) 自动驾驶车辆的有效目标提取方法、装置、车辆及介质
CN114675295A (zh) 一种障碍物判定的方法、装置、设备及存储介质
CN114894193A (zh) 无人驾驶汽车的路径规划方法、装置、电子设备及介质
KR102138681B1 (ko) 이종 센서를 기반으로 객체를 검출하는 객체 검출 장치 및 방법
KR102672321B1 (ko) 복수의 레이더 및 카메라를 이용한 센서 융합 시스템 및 방법
KR102672315B1 (ko) 센서 융합 기반으로 주변 객체의 위치를 판별하는 시스템 및 방법
CN115908498B (zh) 一种基于类别最优匹配的多目标跟踪方法及装置
US11679771B2 (en) Vehicle event identification
CN113183982A (zh) 车辆的行驶路线的生成方法及装置、自动驾驶车辆
JP7489231B2 (ja) 物体検知装置
US20230050013A1 (en) Object detection method and object tracking device using lidar sensor
KR101927634B1 (ko) 환경 요소를 제거하기 위한 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant