KR20230173401A - 차량에서의 센서 퓨전 방법 및 시스템 - Google Patents

차량에서의 센서 퓨전 방법 및 시스템 Download PDF

Info

Publication number
KR20230173401A
KR20230173401A KR1020220074112A KR20220074112A KR20230173401A KR 20230173401 A KR20230173401 A KR 20230173401A KR 1020220074112 A KR1020220074112 A KR 1020220074112A KR 20220074112 A KR20220074112 A KR 20220074112A KR 20230173401 A KR20230173401 A KR 20230173401A
Authority
KR
South Korea
Prior art keywords
track
sensor fusion
point data
vehicle
value
Prior art date
Application number
KR1020220074112A
Other languages
English (en)
Inventor
윤보영
이남형
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020220074112A priority Critical patent/KR20230173401A/ko
Priority to US17/954,835 priority patent/US20230410489A1/en
Publication of KR20230173401A publication Critical patent/KR20230173401A/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량에서의 센서 퓨전 방법은, 차량의 서라운드 뷰 모니터링 카메라를 통해 획득된 데이터를 기초로, 타겟 차량에 대한 트랙을 생성하고 상기 차량의 주변 객체에 대한 복수 개의 제1 포인트 데이터를 획득하며; 상기 복수 개의 제1 포인트 데이터 중에서 상기 트랙과 연관된 복수 개의 제2 포인트 데이터를 식별하며; 상기 복수 개의 제2 포인트 데이터를 이용하여, 상기 타겟 차량에 대해 생성된 센서 퓨전 트랙을 업데이트하는 것을 포함할 수 있다.

Description

차량에서의 센서 퓨전 방법 및 시스템{METHOD AND SYSTEM FOR SENSOR FUSION IN VEHICEL}
본 개시는 차량에서의 센서 퓨전 방법 및 시스템에 관한 것이다.
차량의 자율 주행 제어는, 인식 단계, 판단 단계, 및 제어 단계를 통해 수행될 수 있으며, 자율 주행 제어의 인식 단계에서는 센서 퓨전(sensor fusion) 로직이 수행될 수 있다.
센서 퓨전 로직은, 차량의 주변 상황을 인지하기 위해 차량에 장착된 복수 개의 센싱 장치, 예를 들어, 전측방 라이다, 전측방 레이더, 후측방 레이더 및/또는 서라운드 뷰 모니터링 카메라(예: 광각 카메라)에서 획득한 데이터를 융합하는 것이다.
종래에는, 차량의 측방, 즉, 차량의 전방 코너 라이다(FCL; front corner lidar) 경계 영역에서, 전방 코너 라이다를 통해 생성한 트랙(FCL 트랙이라고도 함)의 불안정성이 높기 때문에, 차량이, FCL 트랙을 기초로 예측한 타겟 차량의 헤딩의 부정확한 문제가 있어왔다.
또한, 종래에는 차량의 측방 및/또는 측후방에 위치한 타겟 차량이 저속 또는 정지 상태인 경우, 코너 레이더(CR; corner radar)를 통해 생성한 트랙(CR 트랙이라고도 함)의 불안정성이 높으며, 이에 따라, 차량이 CR 트랙을 기초로 예측한 타겟 차량의 위치 및 헤딩의 정확도가 낮은 문제가 있어왔다.
또한, 종래에는 차량이 서라운드 뷰 모니터링 카메라의 근접 차량 감지(NVD; near vehicle detection) 기능을 통해 생성된 트랙(NVD 트랙이라고도 함)을 기초로, 차량의 측방 및/또는 측후방에 위치한 타겟 차량의 위치, 속도 및/또는 헤딩을 예측하는 경우, 예측된 타겟 차량의 위치, 속도 및/또는 헤딩의 정확도가 낮아서, 타겟 차량의 예측에 NVD 트랙을 적용하기가 어려웠다.
본 개시는, 차량의 센싱 장치를 통해 인식한 주변 객체의 정보에 대한 정확도를 향상시킬 수 있는 차량에서의 센서 퓨전 방법 및 시스템을 제공할 수 있다.
예를 들어, 차량에서의 센서 퓨전 방법 및 시스템은, 종래에 차량의 측방 또는 측후방에 타겟 차량이 위치하는 경우, 차량이, 타겟 차량이 차량의 주행 중인 차로에 침범한 것으로 오인식하는 문제를 해결할 수 있는 기술을 제공할 수 있다.
또한, 차량에서의 센서 퓨전 방법 및 시스템은, 서라운드 뷰 모니터링 카메라의 근접 차량 감지(NVD; near vehicle detection) 기능을 통해 생성된 트랙을 타겟 차량의 예측에 효율적으로 활용할 수 있는 새로운 기술을 제공할 수 있다.
본 개시의 일 측면에 따르면, 차량에서의 센서 퓨전 방법은, 차량의 서라운드 뷰 모니터링 카메라를 통해 획득된 데이터를 기초로, 타겟 차량에 대한 트랙을 생성하고 상기 차량의 주변 객체에 대한 복수 개의 제1 포인트 데이터를 획득하며; 상기 복수 개의 제1 포인트 데이터 중에서 상기 트랙과 연관된 복수 개의 제2 포인트 데이터를 식별하며; 상기 복수 개의 제2 포인트 데이터를 이용하여, 상기 타겟 차량에 대해 생성된 센서 퓨전 트랙을 업데이트하는 것을 포함할 수 있다.
상기 센서 퓨전 트랙은, 상기 차량의 센싱 장치를 통해 획득된 센서 데이터를 기초로 상기 타겟 차량에 대해 미리 생성된 것일 수 있다.
상기 타겟 차량은, 상기 차량의 측방 또는 측후방에 위치할 수 있다.
상기 복수 개의 제2 포인트 데이터를 식별하는 것은, 상기 트랙의 너비 및 길이를 기초로, 상기 트랙의 중심점에서 상기 트랙의 어느 한 모서리까지의 거리 값을 산출하고, 상기 거리 값을 기초로, 상기 복수 개의 제1 포인트 데이터 중에서 상기 트랙과 연관된 상기 복수 개의 제2 포인트 데이터를 식별하는 것을 포함할 수 있다.
상기 복수 개의 제2 포인트 데이터를 식별하는 것은, 상기 거리 값을 반경으로 결정하고, 상기 복수 개의 제1 포인트 데이터 중에서 상기 트랙의 중심점으로부터 상기 반경 사이에 위치하는 상기 복수 개의 제2 포인트 데이터를 식별하는 것을 포함할 수 있다.
상기 센서 퓨전 방법은, 상기 차량에서의 지정된 위치를 원점으로 하는 차량 좌표계에서, X축과 상기 원점에서부터 상기 복수 개의 제2 포인트 데이터 각각을 연결하는 직선이 이루는 각도를 기초로, 상기 복수 개의 제2 포인트 데이터 중 제1 위치의 포인트 데이터 및 제2 위치의 포인트 데이터를 선택하는 것을 더 포함하며, 상기 센서 퓨전 트랙을 업데이트하는 것은, 상기 제1 위치 및 상기 제2 위치의 정보에 기초하여 상기 센서 퓨전 트랙의 위치 정보를 업데이트 하는 것을 포함할 수 있다.
상기 제1 위치의 포인트 데이터는, 상기 복수 개의 제2 포인트 데이터 중 상기 각도가 가장 작은 값을 갖는 포인트 데이터를 포함하고, 상기 제2 위치의 포인트 데이터는, 상기 복수 개의 제2 포인트 데이터 중 상기 각도가 가장 큰 값을 갖는 포인트 데이터를 포함할 수 있다.
상기 센서 퓨전 트랙의 위치 정보를 업데이트 하는 것은, 상기 제1 위치와 상기 제2 위치를 연결하는 직선을 나타내는 2차원 방정식을 생성하며, 상기 센서 퓨전 트랙의 모서리들 중 제1 모서리의 제1 좌표 값을 식별하며, 상기 2차원 방정식 및 상기 제1 좌표 값을 기초로, 상기 타겟 차량의 모서리들 중 상기 제1 모서리에 대응하는 모서리의 제2 좌표 값을 결정하고 상기 타겟 차량의 뒷범퍼 중점의 위치에 대응되는 제3 좌표 값을 산출하여, 상기 센서 퓨전 트랙의 위치 정보를 업데이트 하는 것을 포함할 수 있다.
상기 제1 모서리는, 상기 센서 퓨전 트랙의 모서리들 중 상기 센서 퓨전 트랙의 중심을 기준으로 우측 하단에 위치한 모서리, 상기 센서 퓨전 트랙의 중심을 기준으로 좌측 하단에 위치한 모서리 또는 상기 제1 위치와 상기 제2 위치를 연결하는 직선과 최단거리에 위치한 모서리를 포함할 수 있다.
상기 센서 퓨전 트랙의 위치 정보를 업데이트 하는 것은, 상기 제1 위치와 상기 제2 위치를 연결하는 직선에서, 상기 제1 좌표 값의 Y축 좌표 값과 동일한 Y축 좌표 값을 갖는 상기 제2 좌표 값을 식별하며, 상기 제1 위치와 상기 제2 위치를 연결하는 직선의 기울기를 기초로, 상기 센서 퓨전 트랙의 업데이트될 헤딩 각도를 산출하며, 상기 트랙의 너비의 절반 값 및 상기 산출된 헤딩 각도를 기초로, 상기 제3 좌표 값을 산출하는 것을 포함할 수 있다.
상기 헤딩 각도는, 상기 2차원 방정식의 기울기 값을 아크탄젠트 함수의 변수로 적용하여 산출되며, 상기 제3 좌표 값의 X축 값은, 상기 헤딩 각도를 사인 함수의 변수로 적용하여 산출된 값, 상기 제2 좌표 값의 X축 값 및 상기 트랙의 너비의 절반 값을 기초로 산출되며, 상기 제3 좌표 값의 Y축 값은, 상기 헤딩 각도를 코사인 함수의 변수로 적용하여 산출된 값, 상기 제2 좌표 값의 Y축 값 및 상기 트랙의 너비의 절반 값을 기초로 산출될 수 있다.
본 개시의 일 측면에 따른 차량에서의 센서 퓨전 시스템은, 차량의 센싱 장치로부터 데이터를 수신하는 인터페이스; 타겟 차량에 대해 생성된 센서 퓨전 트랙의 데이터를 저장하는 메모리; 및 상기 인터페이스 및 상기 메모리와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 인터페이스를 통해 수신된 상기 차량의 서라운드 뷰 모니터링 카메라의 데이터를 기초로, 상기 타겟 차량에 대한 트랙을 생성하고 상기 차량의 주변 객체에 대한 복수 개의 제1 포인트 데이터를 획득하며, 상기 복수 개의 제1 포인트 데이터 중에서 상기 트랙과 연관된 복수 개의 제2 포인트 데이터를 식별하며, 상기 복수 개의 제2 포인트 데이터를 이용하여, 상기 메모리에 저장된 상기 센서 퓨전 트랙을 업데이트하는 것을 포함할 수 있다.
상기 타겟 차량은, 상기 차량의 측방 또는 측후방에 위치할 수 있다.
상기 프로세서는, 상기 트랙의 너비 및 길이를 기초로, 상기 트랙의 중심점에서 상기 트랙의 어느 한 모서리까지의 거리 값을 산출하고, 상기 거리 값을 기초로, 상기 복수 개의 제1 포인트 데이터 중에서 상기 트랙과 연관된 상기 복수 개의 제2 포인트 데이터를 식별하는 것을 포함할 수 있다.
상기 프로세서는, 상기 거리 값을 반경으로 결정하고, 상기 복수 개의 제1 포인트 데이터 중에서 상기 트랙의 중심점으로부터 상기 반경 사이에 위치하는 상기 복수 개의 제2 포인트 데이터를 식별하는 것을 포함할 수 있다.
상기 프로세서는, 상기 차량에서의 지정된 위치를 원점으로 하는 차량 좌표계에서, X축과 상기 원점에서부터 상기 복수 개의 제2 포인트 데이터 각각을 연결하는 직선이 이루는 각도를 기초로, 상기 복수 개의 제2 포인트 데이터 중 제1 위치의 포인트 데이터 및 제2 위치의 포인트 데이터를 선택하며, 상기 제1 위치 및 상기 제2 위치의 정보에 기초하여 상기 센서 퓨전 트랙의 위치 정보를 업데이트 하는 것을 포함할 수 있다.
상기 제1 위치의 포인트 데이터는, 상기 복수 개의 제2 포인트 데이터 중 상기 각도가 가장 작은 값을 갖는 포인트 데이터를 포함하고, 상기 제2 위치의 포인트 데이터는, 상기 복수 개의 제2 포인트 데이터 중 상기 각도가 가장 큰 값을 갖는 포인트 데이터를 포함할 수 있다.
상기 프로세서는, 상기 제1 위치와 상기 제2 위치를 연결하는 직선을 나타내는 2차원 방정식을 생성하며, 상기 센서 퓨전 트랙의 모서리들 중 제1 모서리의 제1 좌표 값을 식별하며, 상기 2차원 방정식 및 상기 제1 좌표 값을 기초로, 상기 타겟 차량의 모서리들 중 상기 제1 모서리에 대응하는 모서리의 제2 좌표 값을 결정하고 상기 타겟 차량의 뒷범퍼 중점의 위치에 대응되는 제3 좌표 값을 산출하여, 상기 센서 퓨전 트랙의 위치 정보를 업데이트 하는 것을 포함할 수 있다.
상기 프로세서는, 상기 제1 위치와 상기 제2 위치를 연결하는 직선에서, 상기 제1 좌표 값의 Y축 좌표 값과 동일한 Y축 좌표 값을 갖는 상기 제2 좌표 값을 식별하며, 상기 제1 위치와 상기 제2 위치를 연결하는 직선의 기울기를 기초로, 상기 센서 퓨전 트랙의 업데이트될 헤딩 각도를 산출하며, 상기 트랙의 너비의 절반 값 및 상기 산출된 헤딩 각도를 기초로, 상기 제3 좌표 값을 산출하는 것을 포함할 수 있다.
상기 헤딩 각도는, 상기 2차원 방정식의 기울기 값을 아크탄젠트 함수의 변수로 적용하여 산출되며, 상기 제3 좌표 값의 X축 값은, 상기 헤딩 각도를 사인 함수의 변수로 적용하여 산출된 값, 상기 제2 좌표 값의 X축 값 및 상기 트랙의 너비의 절반 값을 기초로 산출되며, 상기 제3 좌표 값의 Y축 값은, 상기 헤딩 각도를 코사인 함수의 변수로 적용하여 산출된 값, 상기 제2 좌표 값의 Y축 값 및 상기 트랙의 너비의 절반 값을 기초로 산출될 수 있다.
본 개시의 차량에서의 센서 퓨전 방법 및 시스템은, 종래에 차량의 측방 또는 측후방에 타겟 차량이 위치하는 경우, 차량이, 차량의 주행 중인 차로에 타겟 차량이 침범한 것으로 오인식하는 문제를 해결할 수 있는 기술을 제공할 수 있다.
본 개시의 차량에서의 센서 퓨전 방법 및 시스템은, 서라운드 뷰 모니터링 카메라의 근접 차량 감지(NVD; near vehicle detection) 기능을 통해 생성된 트랙을 타겟 차량의 예측에 효율적으로 활용할 수 있는 새로운 기술을 제공할 수 있다.
도 1은 종래의 차량이 타겟 차량의 정보를 오인식하는 예를 나타낸 도면이다.
도 2는 일 실시예에 따른 차량 및 차량의 센서 퓨전 시스템의 블록도이다.
도 3은 일 실시예에 따른 서라운드 뷰 모니터링 카메라가 획득할 수 있는 이미지 데이터의 영역의 범위를 나타낸 도면이다.
도 4는 일 실시예에 따른 센서 퓨전 시스템에 활용되는 데이터를 나타낸 도면이다.
도 5는 일 실시예에 따른 센서 퓨전 시스템의 동작을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따른 센서 퓨전 시스템의 동작을 설명하기 위한 흐름도이다.
도 7a 내지 도 7c는 일 실시예에 따른 센서 퓨전 시스템의 동작을 설명하기 위한 도면이다.
도 8 및 도 9는 종래의 센서 퓨전 로직과 본 개시의 실시예에 따른 센서 퓨전 로직을 적용하였을 때 인식된 타겟 차량의 정보를 비교하기 위한 도면이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 장치'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부, 모듈, 장치'가 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 장치'가 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 스텝들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 스텝들의 순서를 설명하는 것이 아니며, 각 스텝들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
도 1은 종래의 차량이 타겟 차량의 정보를 오인식하는 예를 나타낸 도면이다.
도 1의 (a)를 참조하면, 차량(1)의 측방에 타겟 차량(11)이 위치하는 경우, 종래의 차량(1)은, 전방 코너 라이다(FCL; front corner lidar)(미도시) 및 코너 레이더(CR; corner radar)(미도시)를 통해 획득된 데이터를 기초로, 도 1의 (a)와 같이 FCL 트랙 및 CR 트랙을 생성해 왔다.
도 1의 (a)를 참조하면, FCL 트랙은, 실제 타겟 차량(11)의 주행 정보와는 다르게, 타겟 차량(11)의 헤딩이, 차량(1)이 주행하는 차로의 방향을 향하는 것을 나타내는 것으로 형성되었다. 또한, CR 트랙의 일부분은, 실제 타겟 차량(11)의 주행 정보와는 다르게, 차량(1)이 주행하는 차로와 겹쳐지도록 형성되었다.
도 1의 (b)를 참조하면, 차량(1)의 후측방에 타겟 차량(11)이 위치하는 경우, 종래의 차량(1)은 코너 레이더(미도시)를 통해 1의 (b)와 같은 CR 트랙을 생성하고 광각 카메라(미도시)의 근접 차량 감지(NVD; near vehicle detection) 기능을 통해 도 1의 (b)와 같은 NVD 트랙을 생성해 왔다.
도 1의 (b)를 참조하면, CR 트랙의 일부분이, 실제와는 타겟 차량(11)의 주행 정보와는 다르게, 차량(1)이 주행하는 차로와 겹쳐지도록 형성되었다. 또한, NVD 트랙은, 실제 타겟 차량(11)의 주행 정보와는 다르게, 타겟 차량(11)의 헤딩이 차량(1)이 주행하는 차로의 방향을 향하며, 차량(1)이 주행하는 차로와 일부가 겹쳐지도록 형성되었다.
도 1의 (a) 및 (b)와 같이, 종래에는, 차량의 측방 또는 측후방에 다른 차량, 즉, 타겟 차량이 위치한 상태에서, 차량의 센서 퓨전 시스템이, 전방 코너 라이다를 통해 생성된 트랙, 코너 레이더(예: 전측방 코너 레이더 및/또는 후측방 코너 레이더)를 통해 생성된 트랙 및/또는 광각 카메라의 근접 차량 감지 기능을 통해 생성된 트랙의 물리 정보를 사용하여 센서 퓨전 트랙을 생성하는 경우, 타겟 차량이 차량의 주행 중인 차로를 침범하는 것으로 오인식하는 문제가 발생해 왔다.
본 개시의 실시예는, 도 1에 도시된 것과 같은 종래의 오인식 문제를 해결하기 위해, 서라운드 뷰 모니터링 카메라(또는 광각 카메라라고도 함)를 통해 타겟 차량에 대한 공간 점유 정보를 포인트 데이터로 출력하여, 포인트 데이터를 이용한 센서 퓨전 방법 및 시스템을 제공하기 위한 것이다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시 예들에 대해 설명한다.
도 2는 일 실시예에 따른 차량 및 차량의 센서 퓨전 시스템의 블록도이다.
도 3은 일 실시예에 따른 서라운드 뷰 모니터링 카메라가 획득할 수 있는 이미지 데이터의 영역의 범위를 나타낸 도면이다.
도 4는 일 실시예에 따른 센서 퓨전 시스템에 활용되는 데이터를 나타낸 도면이다.
도 2를 참조하면, 차량(2)은 센싱 장치(20), 센서 퓨전 시스템(200) 및 차량 제어 장치(2000)를 포함할 수 있다.
센싱 장치(20)는 차량(2)의 주변에 위치한 객체에 대한 정보, 예를 들어, 타겟 차량에 대한 정보를 획득할 수 있는 하나 이상의 장치를 포함할 수 있다.
센싱 장치(20)는 전측방 라이다(21), 레이더(23), 서라운드 뷰 모니터링 카메라(25) 및/또는 리어 사이드 뷰 카메라(27) 등을 포함할 수 있다.
전측방 라이다(21)는 차량(2)의 전측방을 스캔하며 객체를 감지할 수 있다.
레이더(23)는 차량(2)의 주변 객체를 감지할 수 있다.
예를 들어, 레이더(23)는, 차량(2)의 전방에 설치되는 전방 레이더(미도시), 차량(2)의 전방 우측에 설치되는 제1 코너 레이더(미도시), 전방 좌측에 설치되는 제2 코너 레이더(미도시), 후방 우측에 설치되는 제3 코너 레이더(미도시) 및/또는 후방 좌측에 설치되는 제4 코너 레이더(미도시) 등을 포함하여, 차량(1)의 전방, 전방 우측, 전방 좌측, 후방 우측 및/또는 우방 좌측 등을 향하는 감지 시야를 가질 수 있다.
서라운드 뷰 모니터링 카메라(25)는 차량(2)의 주변의 이미지 데이터를 획득하여, 차량(2)의 주변을 모니터링할 수 있다.
예를 들어, 서라운드 뷰 모니터링 카메라(25)는 광각 카메라, 전방 카메라, 우측방 카메라 및/또는 좌측방 카메라 등을 포함할 수 있다.
예를 들어, 서라운드 뷰 모니터링 카메라(25)가 획득할 수 있는 이미지 데이터의 영역의 범위는, 도 3에 도시된 관심 영역들을 포함할 수 있다.
도 3을 참조하면, 서라운드 뷰 모니터링 카메라(25)가 획득할 수 있는 이미지 데이터의 영역의 범위는, 차량(2)에서의 지정된 위치를 원점으로 하는 차량 좌표계(X-Y 좌표계)에서, 좌측 관심 영역(L; Left ROI), 우측 관심 영역(R: Right ROI) 및/또는 전방 관심 영역(F; Front ROI)을 포함할 수 있다.
리어 사이드 뷰 카메라(25)는 차량(2)의 후방의 이미지 데이터를 획득하여, 차량(2)의 후방을 모니터링할 수 있다.
센서 퓨전 시스템(200)은, 센싱 장치(20)로부터 수신된 데이터를 기초로, 하나 이상의 객체, 예를 들어, 하나 이상의 타겟 차량 각각에 대한 센서 퓨전 트랙을 생성하고, 생성된 센서 퓨전 트랙을 업데이트할 수 있다.
센서 퓨전 시스템(200)은 인터페이스(210), 메모리(230) 및 프로세서(250)를 포함할 수 있다.
인터페이스(210)는 차량(2)의 다른 장치 또는 사용자로부터 입력된 명령 또는 데이터를 센서 퓨전 시스템(200)의 다른 구성 요소에 전달하거나 센서 퓨전 시스템(200)의 다른 구성 요소로부터 수신된 명령 또는 데이터를 차량(2)의 다른 장치로 출력할 수 있다.
인터페이스(210)는 통신 모듈(미도시)을 포함하여, 센싱 장치(20) 및/또는 제어 장치(2000)와 통신할 수 있다.
예를 들어, 통신 모듈은 유선 통신 모듈(예: 전력선 통신 모듈) 및/또는 무선 통신 모듈(예: 셀룰러 통신 모듈, 와이파이 통신 모듈, 근거리 무선 통신 모듈, 및/또는 GNSS(global navigation satellite system) 통신 모듈)을 포함할 수 있다. 또한, 통신 모듈은 차량용 통신 네트워크를 통해, 차량(2)의 장치들 간의 통신, 예를 들어, CAN(controller area network) 통신 및/또는 LIN(local interconnect network) 통신을 할 수 있는 통신 모듈을 포함할 수 있다.
메모리(230)는 센서 퓨전 시스템(200)의 적어도 하나의 구성 요소에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어 프로그램 및 이와 관련된 명령에 대한 입력 데이터 및/또는 출력 데이터를 저장할 수 있다.
메모리(230)는 센싱 장치(20)로부터 수신된 데이터, 프로세서(250)에 의해 획득된 데이터, 프로세서(250)에 의해 출력되는 데이터(예: 센서 퓨전 트랙 데이터 등) 등을 저장할 수 있다. 또한, 메모리(230)는 센서 퓨전을 실행하기 위한 알고리즘 등을 저장할 수 있다.
예를 들어, 메모리(230)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및/또는 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 및/또는 RAM(Random Access Memory)과 같은 휘발성 메모리를 포함할 수 있다.
프로세서(250)는, 인터페이스(210)를 통해 센싱 장치(20)로부터 수신된 데이터를 기초로, 센서 퓨전 동작을 수행하고, 센서 퓨전 동작의 수행에 따른 결과 데이터가 인터페이스(210)를 통해 차량(2)의 제어 장치(2000)에 제공되도록 할 수 있다.
프로세서(250)는 인터페이스(210)를 통해 수신된 센싱 장치(20)의 데이터를 기초로 타겟 차량에 대한 센서 퓨전 트랙을 생성할 수 있으며, 메모리(230)에 센서 퓨전 트랙을 저장할 수 있다.
프로세서(250)는 종래의 센서 퓨전 트랙의 생성 기술을 통해, 1차적으로 타겟 차량에 대한 센서 퓨전 트랙을 생성할 수 있다.
또한, 프로세서(250)는 타겟 차량에 대해 생성된 센서 퓨전 트랙, 특히, 차량(2)의 측방 또는 측후방에 위치하는 타겟 차량에 대한 센서 퓨전 트랙의 정확도를 향상시키기 위해, 추가 동작을 수행하여, 1차적으로 생성된 타겟 차량에 대한 센서 퓨전 트랙을 업데이트할 수 있다.
예를 들어, 프로세서(250)는, 타겟 차량에 대한 센서 퓨전 트랙의 정확도를 향상시키기 위해, 차량(2)의 주변에 위치한 타겟 차량과 연관된 포인트 데이터를 추출할 수 있다. 프로세서(250)는 추출된 포인트 데이터를 이용하여, 타겟 차량에 대해 생성된 센서 퓨전 트랙을 쉬프트 보정하는 방식으로, 타겟 차량에 대해 생성된 센서 퓨전 트랙을 업데이트할 수 있다.
예를 들어, 프로세서(250)는, 센서 퓨전 트랙의 생성 및 업데이트를 위해, 도 4에 도시된, 데이터, 즉, 센서 퓨전 트랙 데이터(41), 전측방 라이다(21)로부터 수신된 전측방 라이다 데이터(43), 서라운드 뷰 모니터링 카메라를 이용하여 획득한 주변 차량 검출 데이터(45) 및/또는 리어 사이드 뷰 카메라(27)로부터 수신된 리어 사이드 뷰 카메라 데이터(47)를 활용할 수 있다.
도 2를 다시 참조하면, 프로세서(250)는 전처리부(251), 제1 트래킹부(253), 어소시에이션부(255), 제2 트래킹부(257) 및/또는 트랙 메니지먼트부(259)를 포함할 수 있다.
전처리부(251)는 센싱 장치(20)로부터 데이터를 수신하고, 센싱 장치(20)로부터 수신된 데이터에 대해 시간 및/또는 공간 동기화를 수행할 수 있다.
전처리부(251)은 유효성 검증(validity check)을 통해 센서 퓨전에 활용하기 적합한 센서 트랙을 필터링할 수 있다.
전처리부(251)는 유효성 검증 단계에서, 차량(2)의 주변에 위치한 타겟 차량과 연관된 포인트 데이터를 추출할 수 있다.
제1 트래킹부(253)(또는 트랙 예측부라고도 함)는, 차량(2)의 주변에 위치하는 각 객체의 센서 트랙을 예측할 수 있다. 센서 트랙은 객체의 외곽에 피팅되는 박스 형태일 수 있으며, 객체는 차량의 주변에 위치하는 타겟 차량을 포함할 수 있다.
어소시에이션부(255)는 이전 프레임의 센서 퓨전 트랙의 데이터(또는 센서 트랙의 데이터라고도 함)와 현재 프레임의 센서 트랙의 데이터 사이의 연관성을 판단할 수 있다.
어소시에이션부(255)는 센서 퓨전 트랙의 물리 값에 대해서, 특정 센서의 물리 값을 결정하는 데이터 변환(data conversion)을 수행할 수 있다. 여기에서의 물리 값은 특정 센서의 정보를 100% 적용한 것이거나 또는 가중치를 이용한 이종 센서 정보를 같이 적용한 것일 수 있다.
제2 트래킹부(257)(트랙 보정부라고도 함)는 어소시에이션부(255)의 연관성 판단 결과에 기초하여 객체의 센서 퓨전 트랙을 생성 및/또는 보정할 수 있다.
트랙 매니지먼트부(259)는 센서 퓨전 트랙의 업데이트를 관리할 수 있다. 트랙 매니지먼트부(259)는 트랙 쉬프트 기능을 포함하며, 타겟 차량의 센서 퓨전 트랙의 물리 값을 쉬프트 보정, 즉, 센서 퓨전 트랙을 업데이트하는 역할을 할 수 있다.
도 2를 다시 참조하면, 제어 장치(2000)(제어 회로 또는 프로세서라고도 함)는 차량(2)의 적어도 하나의 다른 장치를 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다.
제어 장치(2000)는 차량(2)의 자율 주행을 제어할 수 있다. 예를 들어, 제어 장치(2000)는 센서 퓨전 시스템(2000)으로부터 출력된 데이터, 예를 들어, 타겟 차량에 대해 생성된 센서 퓨전 트랙을 기초로, 차량(2)의 주행을 제어할 수 있다.
제어 장치(2000)는 차량(2)의 동력 계통을 제어하는 제어 장치(ECU; electronic control unit)를 포함할 수 있다. 제어 장치(2000)는 프로세서와 메모리를 포함할 수 있다.
도 5는 일 실시예에 따른 센서 퓨전 시스템(200)(및/또는 프로세서(250))의 동작을 설명하기 위한 흐름도이다.
도 5를 참조하면, 차량(2)의 센서 퓨전 시스템(200)은, 서라운드 뷰 모니터링 카메라(25)를 통해 획득된 데이터를 기초로, 타겟 차량에 대한 트랙을 생성하고 차량(1)의 주변 객체에 대한 복수 개의 제1 포인트 데이터를 획득할 수 있다(502).
예를 들어, 타겟 차량은, 차량(2)의 측방 또는 측후방에 위치한 것일 수 있다.
예를 들어, 서라운드 뷰 모니터링 카메라(25)를 통해 획득된 데이터를 기초로 생성되는 트랙은, 해당 객체, 즉, 타겟 차량에 대해 트래킹한 이후에 인식된 정보라 할 수 있다.
예를 들어, 복수 개의 제1 포인트 데이터는, 해당 객체가 해당 위치의 공간을 점유하는 것을 나타내는 것으로, 해당 객체의 외곽선에 대해 미리 지정된 간격으로 포인트로 출력되는 포인트 데이트일 수 있다.
센서 퓨전 시스템(200)은, 복수 개의 제1 포인트 데이터 중에서 타겟 차량에 대한 트랙과 연관된 복수 개의 제2 포인트 데이터를 식별할 수 있다(504).
예를 들어, 복수 개의 제2 포인트 데이터는, 복수 개의 제1 포인트 데이터 중에서, 타겟 차량에 대한 트랙과 미리 지정된 범위 이내에 위치한 포인트 데이터를 포함할 수 있다. 이에 따라, 타겟 차량이 미인식되는 경우, 복수 개의 제2 포인트 데이터는 출력될 수 없게 된다.
복수 개의 제2 포인트 데이터를 식별하는 세부 실시예는 도 6 및 도 7a를 참조하여 후술하였다.
센서 퓨전 시스템(200)은, 복수 개의 제2 포인트 데이터를 이용하여, 타겟 차량에 대해 생성된 센서 퓨전 트랙을 업데이트할 수 있다(506).
예를 들어, 타겟 차량에 대해 생성된 센서 퓨전 트랙은, 종래의 센서 퓨전 로직을 이용하여 차량(2)의 센싱 장치(20)의 센서를 통해 획득된 센서 데이터를 기초로 미리 생성된 것일 수 있다.
센서 퓨전 시스템(200)은 미리 생성된 센서 퓨전 트랙의 정확도를 향상시키기 위해, 복수 개의 제2 포인트 데이터에 포함된 두 개의 포인트 데이터를 선택하고, 선택된 두 개의 포인트 데이터를 연결하는 직선을 기초로 미리 생성된 센서 퓨전 트랙을 쉬프트하는 방식으로, 센서 퓨전 트랙의 위치 정보를 업데이트할 수 있다.
센서 퓨전 트랙을 쉬프트하는 방식으로 센서 퓨전 트랙의 위치 정보를 업데이트하는 세부 실시예는 도 6, 도 7b 및 도 7c를 참조하여 후술하였다.
도 6은 일 실시예에 따른 센서 퓨전 시스템(200)(및/또는 프로세서(250))의 동작을 설명하기 위한 흐름도이다.
도 7a 내지 도 7c는 일 실시예에 따른 센서 퓨전 시스템(200)(및/또는 프로세서(250))의 동작을 설명하기 위한 도면이다.
도 6을 참조하면, 센서 퓨전 시스템(200)은 차량(2)의 센싱 장치(20)를 통해 획득된 센서 데이터를 기초로 타겟 차량에 대한 센서 퓨전 트랙을 생성할 수 있다(601).
예를 들어, 센서 퓨전 시스템(200)은, 센싱 장치(20)의 센서 데이터를 기초로, 차량(2)의 주변에 위치한 타겟 차량을 검출하고, 검출한 타겟 차량의 복수 개의 센서 트랙들을 예측할 수 있다. 또한, 센서 퓨전 시스템(200)은 예측된 복수 개의 센서 트랙들 간의 거리와 중첩 범위를 이용하여 가중치를 달리함으로써 동일 객체인지를 식별하고, 동일 객체인 것으로 식별된 센서 트랙들을 융합하여 센서 퓨전 트랙을 생성할 수 있다.
도 7a를 참조하면, 타겟 차량(3, 4)은, 차량(2)의 측방 또는 측후방에 위치할 수 있다.
센서 퓨전 시스템(200)은 서라운드 뷰 모니터링 카메라(25)를 통해 획득된 데이터를 기초로 타겟 차량에 대한 트랙을 생성하고 차량의 주변 객체에 대한 복수 개의 제1 포인트 데이터를 획득할 수 있다(603).
도 7a를 참조하면, 센서 퓨전 시스템(200)은, 서라운드 뷰 모니터링 카메라(25)를 통해 획득된 데이터(또는 이미지 데이터라고도 함)를 기초로, 제1 타겟 차량(3) 및 제2 타겟 차량(4) 각각에 대한 트랙(NVD(near vehicle detection) 트랙)을 생성할 수 있다. 또한, 센서 퓨전 시스템(200)은 서라운드 뷰 모니터링 카메라(25)를 통해 획득된 데이터를 기초로, 차량(2)의 주변 객체에 대한 복수 개의 제1 포인트 데이터를 획득할 수 있다.
예를 들어, 복수 개의 제1 포인트 데이터는, 해당 객체가 해당 위치의 공간을 점유하는 것을 나타내는 것으로, 해당 객체의 외곽선에 대해 미리 지정된 간격으로 포인트로 출력되는 포인트 데이트일 수 있다.
센서 퓨전 시스템(200)은 타겟 차량에 대한 트랙의 너비 및 길이를 기초로 트랙의 중심점에서 어느 한 모서리까지의 거리를 나타내는 임계 값을 산출할 수 있다(605).
도 7a를 참조하면, 센서 퓨전 시스템(200)은, 각 타겟 차량(3, 4) 의 트랙(NVD 트랙)의 너비 및 길이 식별할 수 있으며, 다음의 수학식 1을 통해, 각 트랙(NVD 트랙)의 중심점에서 어느 한 모서리까지의 거리를 나타내는 임계 값, 즉, 거리 값(Gate 거리라고도 함)을 산출할 수 있다.
[수학식 1]
(Value: 거리 값, Width: 트랙(NVD 트랙)의 너비, Length: 트랙(NVD 트랙)의 길이, N: 미리 지정된 값(예: 0.3 등 사용자 설정에 따라 다양하게 변경 가능함))
예를 들어, 각 타겟 차량(3, 4)의 너비 및 길이는 미리 지정(예: 너비 2m, 길이: 5m)될 수 있다.
한편, 각 트랙(NVD 트랙)의 중심점에서 어느 한 모서리까지의 거리를 나타내는 임계 값, 즉, 거리 값의 경우, 사용자 설정에 따라 변경될 수 있다.
센서 퓨전 시스템(200)은 산출된 임계 값을 기초로 복수 개의 제1 포인트 데이터 중 타겟 차량에 대한 트랙과 연관된 두 개의 포인트 데이터를 선택할 수 있다(607).
도 7b를 참조하면, 센서 퓨전 시스템(200)은 각 타겟 차량(3, 4)에 대한 트랙(NVD 트랙)의 너비 및 길이를 기초로 트랙(NVD 트랙)의 중심점에서 어느 한 모서리까지의 거리를 나타내는 임계 값, 즉, 거리 값을 반경으로 결정할 수 있다.
또한, 도 7b를 참조하면, 센서 퓨전 시스템(200)은 복수 개의 제1 포인트 데이터 중에서 각 타겟 차량(3, 4)에 대한 트랙(NVD 트랙)의 중심점으로부터 반경 내에 위치하는 복수 개의 제2 포인트 데이터를 식별할 수 있다.
또한, 도 7b를 참조하면, 센서 퓨전 시스템(200)은 차량(2)에서의 지정된 위치를 원점으로 하는 차량 좌표계에서, 원점으로부터 복수 개의 제2 포인트 데이터 각각을 연결하는 직선과 X축이 이루는 각도(각도의 절대 값)를 기초로, 복수 개의 제2 포인트 데이터 중 제1 위치의 포인트 데이터(ref1) 및 제2 위치의 포인트 데이터(ref2)를 선택할 수 있다.
예를 들어, 센서 퓨전 시스템(200)은 복수 개의 제2 포인트 데이터 중 상기 각도가 가장 작은 값을 갖는 포인트 데이터(ref1)를 선택하고, 복수 개의 제2 포인트 데이터 중 상기 각도가 가장 큰 값을 갖는 포인트 데이터(ref2)를 선택할 수 있다.
센서 퓨전 시스템(200)은 두 개의 포인트 데이터의 위치를 연결하는 직선을 나타내는 2차원 방정식을 생성할 수 있다(609).
센서 퓨전 시스템(200)은 제1 위치의 포인트 데이터(ref1)의 좌표 값 및 제2 위치의 포인트 데이터(ref2)의 좌표 값을 기초로, 다음과 같은 2차원 방정식을 생성할 수 있다.
(Ashift = yref1-yref2, Bshift=xref2-xref1, Cshift=xref1×yref2 - yref1×xref2)
(yref1: 제1 위치의 포인트 데이터(ref1)의 Y축 좌표 값, yref2: 제2 위치의 포인트 데이터(ref2)의 Y축 좌표 값, xref1: 제1 위치의 포인트 데이터(ref1)의 X축 좌표 값, xref2: 제2 위치의 포인트 데이터(ref2)의 X축 좌표 값)
센서 퓨전 시스템(200)은 2차원 방정식을 기초로 센서 퓨전 트랙의 위치 정보를 업데이트할 수 있다(611).
도 7c를 참조하면, 센서 퓨전 시스템(200)은 601 동작에 따라 미리 생성된 센서 트랙의 모서리들 중 제1 모서리의 제1 좌표 값(P1)을 식별할 수 있다.
예를 들어, 센서 퓨전 시스템(200)은, 미리 생성된 센서 퓨전 트랙의 모서리들 중에서, 센서 퓨전 트랙의 중심을 기준으로 우측 하단에 위치한 모서리, 센서 퓨전 트랙의 중심을 기준으로 좌측 하단에 위치한 모서리 또는 제1 위치의 포인트 데이터(ref1)와 제2 위치의 포인트 데이터(ref2)를 연결하는 직선(Line)과 최단거리에 위치한 모서리를 제1 모서리로 결정할 수 있다.
센서 퓨전 시스템(200)은 2차원 방정식 및 제1 좌표 값(P1)을 기초로, 타겟 차량(3, 4)의 모서리들 중 제1 모서리에 대응하는 모서리의 제2 좌표 값을 결정하고 타겟 차량(3, 4)의 뒷범퍼 중점의 위치에 대응되는 제3 좌표 값(P3)을 산출하여, 기존의 센서 퓨전 트랙의 위치 정보를 업데이트할 수 있다.
예를 들어, 센서 퓨전 시스템(200)은 제1 위치의 포인트 데이터(ref1)와 제2 위치의 포인트 데이터(ref 2)를 연결하는 직선(Line)에서, 제1 좌표 값(P1)의 Y축 좌표 값과 동일한 Y축 좌표 값을 갖는 제2 좌표 값(P2)를 식별할 수 있다.
예를 들어, 센서 퓨전 시스템(200)은 다음의 수학식 2를 통해, 제2 좌표 값(P2)을 산출할 수 있다.
[수학식 2]
(xp2: P2의 x축 좌표 값, xp1: p1의 x축 좌표 값, yp2: p2의 y축 좌표 값, Ashift = yref1-yref2, Bshift=xref2-xref1, Cshift=xref1×yref2 - yref1×xref2)
또한, 센서 퓨전 시스템(200)은 직선(Line)의 기울기를 기초로, 업데이트될 센서 퓨전 트랙의 헤딩 각도를 산출하고, 트랙(NVD 트랙)의 너비의 절반 값 및 산출된 헤딩 각도를 기초로, 제3 좌표 값(P3)을 산출할 수 있다.
예를 들어, 센서 퓨전 시스템(200)은 2차원 방정식의 기울기 값을 아크탄젠트 함수의 변수로 적용하여 헤딩 각도를 산출할 수 있다. 또한, 센서 퓨전 시스템(200)은 헤딩 각도를 사인 함수의 변수로 적용하여 산출된 값, 제2 좌표 값의 X축 값 및 트랙(NVD 트랙)의 너비의 절반 값을 기초로 제3 좌표 값의 X축 값을 산출할 수 있다. 또한, 센서 퓨전 시스템(200)은 헤딩 각도를 코사인 함수의 변수로 적용하여 산출된 값, 제2 좌표 값의 Y축 값 및 트랙(NVD 트랙)의 너비의 절반 값을 기초로 제3 좌표 값의 Y축 값을 산출할 수 있다.
예를 들어, 센서 퓨전 시스템(200)은 다음의 수학식 3을 기초로, 제3 좌표 값을 산출할 수 있다.
[수학식 3]
(xp3: P3의 x축 좌표 값, yp3: P3의 y축 좌표 값, W: 트랙(NVD 트랙)의 너비, , Ashift = yref1-yref2, Bshift=xref2-xref1)
센서 퓨전 시스템(200)은 상술한 동작들을 통해, 센서 퓨전 트랙의 위치를 쉬프트, 즉, 업데이트할 수 있다. 예를 들어, 센서 퓨전 시스템(200)은, 미리 생성된 센서 퓨전 트랙의 제1 모서리에 대응되는 타겟 차량(3, 4)의 모서리의 좌표 값을 제2 좌표 값으로 하고, 타겟 차량(3, 4)의 뒷범퍼 중점의 위치에 대응되는 제3 좌표 값(P3)을 적용하여, 미리 생성된 센서 퓨전 트랙의 위치 정보를 업데이트할 수 있다.
한편, 상술한 도 6의 실시예에 추가로, 센서 퓨전 시스템(200)은, 상술한 603 동작 이전에, 타겟 차량이 차량(2)의 측방 또는 측후방에 위치하는지 여부를 판단하고, 타겟 차량이 차량(2)의 측방 또는 측후방에 위치하는 것으로 판단된 경우, 센서 퓨전 시스템(200)이 603 동작을 수행할 수도 있다.
도 8 및 도 9는 종래의 센서 퓨전 로직과 본 개시의 실시예에 따른 센서 퓨전 로직을 적용하였을 때 인식된 타겟 차량의 정보를 비교하기 위한 도면이다.
도 8을 참조하면, 타겟 차량(8)이 차량(1, 2)의 측방에 위치(예: 차량(1, 2)이 주행하는 차로의 좌측 차로에 위치)하는 경우, 종래의 센서 퓨전 시스템은 도 8의 (a)와 같은 결과를 출력할 수 있으며, 본 개시의 실시예에 따른 센서 퓨전 시스템(200)은 도 8의 (b)와 같은 결과를 출력할 수 있다.
도 8의 (a)를 참조하면, 종래의 센서 퓨전 시스템은, 타겟 차량(8)의 횡 위치 정보 및 헤딩 앵글 정보의 부정확으로, 타겟 차량(8)이 차량(1)의 차선을 침범하는 형태의 센서 퓨전 트랙을 생성함을 확인할 수 있다. 예를 들어, 종래의 전측방 라이다를 통해 생성된 트랙, 코너 레이더를 통해 생성된 트랙, 서라운드 뷰 모니터링 카메라의 근거리 차량 검출 기능을 통해 생성된 트랙 및 센서 퓨전 트랙, 모두, 타겟 차량(8)이 차량(2)의 차선을 침범하는 형태로 생성될 수 있다.
도 8의 (b)를 참조하면, 본 개시의 실시예에 따른 센서 퓨전 시스템(200)은, 센서 퓨전 트랙의 업데이트, 즉, 센서 퓨전 트랙의 쉬프트 보정에 따라, 타겟 차량(8)이 차량(2)의 차선을 침범하지 않는 형태의 센서 퓨전 트랙을 생성함을 확인할 수 있다. 예를 들어, 전측방 라이다(21)를 통해 생성된 트랙, 코너 레이더(23)를 통해 생성된 트랙 및 서라운드 뷰 모니터링 카메라(25)의 근거리 차량 검출 기능을 통해 생성된 트랙은 타겟 차량(8)이 차선을 침범하는 형태이긴 하지만, 본 개시의 실시예에 따라 업데이트된 센서 퓨전 트랙은, 타겟 차량(8)이 차량(2)의 차선을 침범하지 않는 형태로 생성될 수 있다.
도 9을 참조하면, 타겟 차량(9)이 차량(1, 2)의 측후방에 위치(예: 차량(1, 2)이 주행하는 차로의 좌측 차로의 후방에 위치)하는 경우, 종래의 센서 퓨전 시스템은 도 9의 (a)와 같은 결과를 출력할 수 있으며, 본 개시의 실시예에 따른 센서 퓨전 시스템(200)은 도 9의 (b)와 같은 결과를 출력할 수 있다.
도 9의 (a)를 참조하면, 종래의 센서 퓨전 시스템은, 타겟 차량(9)의 횡 위치 정보 및 헤딩 앵글 정보의 부정확으로, 타겟 차량(9)이 차량(1)의 차선을 침범하는 형태의 센서 트랙을 생성함을 확인할 수 있다. 예를 들어, 종래의 코너 레이더를 통해 생성된 트랙 및 서라운드 뷰 모니터링 카메라의 근거리 차량 검출 기능을 통해 생성된 트랙, 모두, 타겟 차량(9)이 차량(2)의 차선을 침범하는 형태로 생성될 수 있다.
도 9의 (b)를 참조하면, 본 개시의 실시예에 따른 센서 퓨전 시스템(200)은, 센서 퓨전 트랙의 업데이트, 즉, 센서 퓨전 트랙의 쉬프트 보정에 따라, 타겟 차량(9)이 차량(2)의 차선을 침범하지 않는 형태의 센서 퓨전 트랙을 생성함을 확인할 수 있다. 예를 들어, 코너 레이더(23)를 통해 생성된 트랙 및 서라운드 뷰 모니터링 카메라(25)의 근거리 차량 검출 기능을 통해 생성된 트랙은 타겟 차량(8)이 차선을 침범하는 형태이긴 하지만, 본 개시의 실시예에 따라 생성된 센서 퓨전 트랙은, 타겟 차량(9)이 차량(2)의 차선을 침범하지 않는 형태로 생성될 수 있다.
상술한 실시예들에 따르면, 본 개시의 센서 퓨전 시스템(200)은, 차량(2)의 측방 또는 측후방에 타겟 차량이 위치하는 경우, 종래에 센서 퓨전 시스템이, 타겟 차량의 실제 주행 상황에 정확하게 매칭되지 않게 생성하였던 센서 퓨전 트랙을 업데이트하여, 센서 퓨전 트랙의 정확성을 향상시킬 수 있다. 이에 따라, 차량(2)의 측방 또는 측후방에 타겟 차량이 위치하는 경우, 차량(2)이 타겟 차량이 차량(2)의 주행 중인 차로에 침범한 것으로 오인식하는 문제를 해결할 수 있으며, 차량(2)의 주행 제어의 정확성을 향상시킬 수 있다.
상술한 실시 예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시 예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시 예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시 예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시 예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (20)

  1. 차량의 서라운드 뷰 모니터링 카메라를 통해 획득된 데이터를 기초로, 타겟 차량에 대한 트랙을 생성하고 상기 차량의 주변 객체에 대한 복수 개의 제1 포인트 데이터를 획득하며;
    상기 복수 개의 제1 포인트 데이터 중에서 상기 트랙과 연관된 복수 개의 제2 포인트 데이터를 식별하며;
    상기 복수 개의 제2 포인트 데이터를 이용하여, 상기 타겟 차량에 대해 생성된 센서 퓨전 트랙을 업데이트하는 것을 포함하는,
    차량에서의 센서 퓨전 방법.
  2. 제 1항에 있어서,
    상기 센서 퓨전 트랙은,
    상기 차량의 센싱 장치를 통해 획득된 센서 데이터를 기초로 상기 타겟 차량에 대해 미리 생성된,
    차량에서의 센서 퓨전 방법.
  3. 제 1항에 있어서,
    상기 타겟 차량은,
    상기 차량의 측방 또는 측후방에 위치하는,
    차량에서의 센서 퓨전 방법.
  4. 제 3항에 있어서,
    상기 복수 개의 제2 포인트 데이터를 식별하는 것은,
    상기 트랙의 너비 및 길이를 기초로, 상기 트랙의 중심점에서 상기 트랙의 어느 한 모서리까지의 거리 값을 산출하고,
    상기 거리 값을 기초로, 상기 복수 개의 제1 포인트 데이터 중에서 상기 트랙과 연관된 상기 복수 개의 제2 포인트 데이터를 식별하는 것을 포함하는,
    차량에서의 센서 퓨전 방법.
  5. 제 4항에 있어서, 상기 복수 개의 제2 포인트 데이터를 식별하는 것은,
    상기 거리 값을 반경으로 결정하고, 상기 복수 개의 제1 포인트 데이터 중에서 상기 트랙의 중심점으로부터 상기 반경 사이에 위치하는 상기 복수 개의 제2 포인트 데이터를 식별하는 것을 포함하는,
    차량에서의 센서 퓨전 방법.
  6. 제 3항에 있어서,
    상기 센서 퓨전 방법은,
    상기 차량에서의 지정된 위치를 원점으로 하는 차량 좌표계에서, X축과 상기 원점에서부터 상기 복수 개의 제2 포인트 데이터 각각을 연결하는 직선이 이루는 각도를 기초로, 상기 복수 개의 제2 포인트 데이터 중 제1 위치의 포인트 데이터 및 제2 위치의 포인트 데이터를 선택하는 것을 더 포함하며,
    상기 센서 퓨전 트랙을 업데이트하는 것은,
    상기 제1 위치 및 상기 제2 위치의 정보에 기초하여 상기 센서 퓨전 트랙의 위치 정보를 업데이트 하는 것을 포함하는,
    차량에서의 센서 퓨전 방법.
  7. 제 6항에 있어서,
    상기 제1 위치의 포인트 데이터는, 상기 복수 개의 제2 포인트 데이터 중 상기 각도가 가장 작은 값을 갖는 포인트 데이터를 포함하고,
    상기 제2 위치의 포인트 데이터는, 상기 복수 개의 제2 포인트 데이터 중 상기 각도가 가장 큰 값을 갖는 포인트 데이터를 포함하는,
    차량에서의 센서 퓨전 방법.
  8. 제 6항에 있어서,
    상기 센서 퓨전 트랙의 위치 정보를 업데이트 하는 것은,
    상기 제1 위치와 상기 제2 위치를 연결하는 직선을 나타내는 2차원 방정식을 생성하며,
    상기 센서 퓨전 트랙의 모서리들 중 제1 모서리의 제1 좌표 값을 식별하며,
    상기 2차원 방정식 및 상기 제1 좌표 값을 기초로, 상기 타겟 차량의 모서리들 중 상기 제1 모서리에 대응하는 모서리의 제2 좌표 값을 결정하고 상기 타겟 차량의 뒷범퍼 중점의 위치에 대응되는 제3 좌표 값을 산출하여, 상기 센서 퓨전 트랙의 위치 정보를 업데이트 하는 것을 포함하는,
    차량에서의 센서 퓨전 방법.
  9. 제 8항에 있어서,
    상기 제1 모서리는,
    상기 센서 퓨전 트랙의 모서리들 중 상기 센서 퓨전 트랙의 중심을 기준으로 우측 하단에 위치한 모서리, 상기 센서 퓨전 트랙의 중심을 기준으로 좌측 하단에 위치한 모서리 또는 상기 제1 위치와 상기 제2 위치를 연결하는 직선과 최단거리에 위치한 모서리를 포함하는,
    차량에서의 센서 퓨전 방법.
  10. 제 8항에 있어서,
    상기 센서 퓨전 트랙의 위치 정보를 업데이트 하는 것은,
    상기 제1 위치와 상기 제2 위치를 연결하는 직선에서, 상기 제1 좌표 값의 Y축 좌표 값과 동일한 Y축 좌표 값을 갖는 상기 제2 좌표 값을 식별하며,
    상기 제1 위치와 상기 제2 위치를 연결하는 직선의 기울기를 기초로, 상기 센서 퓨전 트랙의 업데이트될 헤딩 각도를 산출하며,
    상기 트랙의 너비의 절반 값 및 상기 산출된 헤딩 각도를 기초로, 상기 제3 좌표 값을 산출하는 것을 포함하는,
    차량에서의 센서 퓨전 방법.
  11. 제 10항에 있어서,
    상기 헤딩 각도는,
    상기 2차원 방정식의 기울기 값을 아크탄젠트 함수의 변수로 적용하여 산출되며,
    상기 제3 좌표 값의 X축 값은,
    상기 헤딩 각도를 사인 함수의 변수로 적용하여 산출된 값, 상기 제2 좌표 값의 X축 값 및 상기 트랙의 너비의 절반 값을 기초로 산출되며,
    상기 제3 좌표 값의 Y축 값은,
    상기 헤딩 각도를 코사인 함수의 변수로 적용하여 산출된 값, 상기 제2 좌표 값의 Y축 값 및 상기 트랙의 너비의 절반 값을 기초로 산출되는,
    차량에서의 센서 퓨전 방법.
  12. 차량의 센싱 장치로부터 데이터를 수신하는 인터페이스;
    타겟 차량에 대해 생성된 센서 퓨전 트랙의 데이터를 저장하는 메모리; 및
    상기 인터페이스 및 상기 메모리와 전기적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 인터페이스를 통해 수신된 상기 차량의 서라운드 뷰 모니터링 카메라의 데이터를 기초로, 상기 타겟 차량에 대한 트랙을 생성하고 상기 차량의 주변 객체에 대한 복수 개의 제1 포인트 데이터를 획득하며,
    상기 복수 개의 제1 포인트 데이터 중에서 상기 트랙과 연관된 복수 개의 제2 포인트 데이터를 식별하며,
    상기 복수 개의 제2 포인트 데이터를 이용하여, 상기 센서 퓨전 트랙을 업데이트하는 것을 포함하는,
    차량에서의 센서 퓨전 시스템.
  13. 제 12항에 있어서,
    상기 타겟 차량은,
    상기 차량의 측방 또는 측후방에 위치하는,
    차량에서의 센서 퓨전 시스템.
  14. 제 13항에 있어서,
    상기 프로세서는,
    상기 트랙의 너비 및 길이를 기초로, 상기 트랙의 중심점에서 상기 트랙의 어느 한 모서리까지의 거리 값을 산출하고,
    상기 거리 값을 기초로, 상기 복수 개의 제1 포인트 데이터 중에서 상기 트랙과 연관된 상기 복수 개의 제2 포인트 데이터를 식별하는 것을 포함하는,
    차량에서의 센서 퓨전 시스템.
  15. 제 14항에 있어서, 상기 프로세서는,
    상기 거리 값을 반경으로 결정하고, 상기 복수 개의 제1 포인트 데이터 중에서 상기 트랙의 중심점으로부터 상기 반경 사이에 위치하는 상기 복수 개의 제2 포인트 데이터를 식별하는 것을 포함하는,
    차량에서의 센서 퓨전 시스템.
  16. 제 13항에 있어서,
    상기 프로세서는,
    상기 차량에서의 지정된 위치를 원점으로 하는 차량 좌표계에서, X축과 상기 원점에서부터 상기 복수 개의 제2 포인트 데이터 각각을 연결하는 직선이 이루는 각도를 기초로, 상기 복수 개의 제2 포인트 데이터 중 제1 위치의 포인트 데이터 및 제2 위치의 포인트 데이터를 선택하며,
    상기 제1 위치 및 상기 제2 위치의 정보에 기초하여 상기 센서 퓨전 트랙의 위치 정보를 업데이트 하는 것을 포함하는,
    차량에서의 센서 퓨전 시스템.
  17. 제 16항에 있어서,
    상기 제1 위치의 포인트 데이터는, 상기 복수 개의 제2 포인트 데이터 중 상기 각도가 가장 작은 값을 갖는 포인트 데이터를 포함하고,
    상기 제2 위치의 포인트 데이터는, 상기 복수 개의 제2 포인트 데이터 중 상기 각도가 가장 큰 값을 갖는 포인트 데이터를 포함하는,
    차량에서의 센서 퓨전 시스템.
  18. 제 16항에 있어서,
    상기 프로세서는,
    상기 제1 위치와 상기 제2 위치를 연결하는 직선을 나타내는 2차원 방정식을 생성하며,
    상기 센서 퓨전 트랙의 모서리들 중 제1 모서리의 제1 좌표 값을 식별하며,
    상기 2차원 방정식 및 상기 제1 좌표 값을 기초로, 상기 타겟 차량의 모서리들 중 상기 제1 모서리에 대응하는 모서리의 제2 좌표 값을 결정하고 상기 타겟 차량의 뒷범퍼 중점의 위치에 대응되는 제3 좌표 값을 산출하여, 상기 센서 퓨전 트랙의 위치 정보를 업데이트 하는 것을 포함하는,
    차량에서의 센서 퓨전 시스템.
  19. 제 18항에 있어서,
    상기 프로세서는,
    상기 제1 위치와 상기 제2 위치를 연결하는 직선에서, 상기 제1 좌표 값의 Y축 좌표 값과 동일한 Y축 좌표 값을 갖는 상기 제2 좌표 값을 식별하며,
    상기 제1 위치와 상기 제2 위치를 연결하는 직선의 기울기를 기초로, 상기 센서 퓨전 트랙의 업데이트될 헤딩 각도를 산출하며,
    상기 트랙의 너비의 절반 값 및 상기 산출된 헤딩 각도를 기초로, 상기 제3 좌표 값을 산출하는 것을 포함하는,
    차량에서의 센서 퓨전 시스템.
  20. 제 19항에 있어서,
    상기 헤딩 각도는,
    상기 2차원 방정식의 기울기 값을 아크탄젠트 함수의 변수로 적용하여 산출되며,
    상기 제3 좌표 값의 X축 값은,
    상기 헤딩 각도를 사인 함수의 변수로 적용하여 산출된 값, 상기 제2 좌표 값의 X축 값 및 상기 트랙의 너비의 절반 값을 기초로 산출되며,
    상기 제3 좌표 값의 Y축 값은,
    상기 헤딩 각도를 코사인 함수의 변수로 적용하여 산출된 값, 상기 제2 좌표 값의 Y축 값 및 상기 트랙의 너비의 절반 값을 기초로 산출되는,
    차량에서의 센서 퓨전 시스템.
KR1020220074112A 2022-06-17 2022-06-17 차량에서의 센서 퓨전 방법 및 시스템 KR20230173401A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220074112A KR20230173401A (ko) 2022-06-17 2022-06-17 차량에서의 센서 퓨전 방법 및 시스템
US17/954,835 US20230410489A1 (en) 2022-06-17 2022-09-28 Method and system for sensor fusion in vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220074112A KR20230173401A (ko) 2022-06-17 2022-06-17 차량에서의 센서 퓨전 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20230173401A true KR20230173401A (ko) 2023-12-27

Family

ID=89169237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220074112A KR20230173401A (ko) 2022-06-17 2022-06-17 차량에서의 센서 퓨전 방법 및 시스템

Country Status (2)

Country Link
US (1) US20230410489A1 (ko)
KR (1) KR20230173401A (ko)

Also Published As

Publication number Publication date
US20230410489A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
US11703876B2 (en) Autonomous driving system
US10741079B2 (en) Route prediction system
US8615109B2 (en) Moving object trajectory estimating device
US9129523B2 (en) Method and system for obstacle detection for vehicles using planar sensor data
US10493987B2 (en) Target-lane relationship recognition apparatus
CN104865579A (zh) 具有判断检测对象运动状况的功能的车载障碍物检测装置
KR102371616B1 (ko) 차량의 센서 데이터 연계 장치 및 방법
US20170177955A1 (en) Image processing device, device control system, and computer-readable storage medium
JP7156394B2 (ja) 他車動作予測方法及び他車動作予測装置
WO2016117602A1 (ja) 車両制御装置及び車両制御方法
CN103781685A (zh) 车辆用自主行驶控制系统
KR102126670B1 (ko) 검출 영역을 최적화하는 장애물 추적 장치 및 방법
EP1649334A1 (en) Sensing apparatus for vehicles
KR20190045220A (ko) 자기 위치 추정 방법 및 자기 위치 추정 장치
US11840234B1 (en) Merge handling based on merge intentions over time
CN110929475B (zh) 对象的雷达简档的注释
KR20230173401A (ko) 차량에서의 센서 퓨전 방법 및 시스템
KR20200133856A (ko) 자율 주행 장치 및 방법
JP6804268B2 (ja) 駐車制御装置の姿勢推定方法、及び姿勢推定装置
JP6756507B2 (ja) 環境認識装置
JP6735801B2 (ja) 物体認識装置およびこれを用いた車両制御装置並びに物体認識方法およびこれを用いた車両制御方法
JP6976050B2 (ja) 駐車制御装置の姿勢推定方法、及び姿勢推定装置
CN111295566B (zh) 物体识别装置及物体识别方法
CN111231959A (zh) 车辆及控制车辆的方法
JP7401273B2 (ja) 移動体の制御装置及び方法