KR20220143404A - 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 - Google Patents

센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR20220143404A
KR20220143404A KR1020210049879A KR20210049879A KR20220143404A KR 20220143404 A KR20220143404 A KR 20220143404A KR 1020210049879 A KR1020210049879 A KR 1020210049879A KR 20210049879 A KR20210049879 A KR 20210049879A KR 20220143404 A KR20220143404 A KR 20220143404A
Authority
KR
South Korea
Prior art keywords
information
vehicle
fusion
sensor fusion
shared
Prior art date
Application number
KR1020210049879A
Other languages
English (en)
Inventor
이우영
조수민
김수민
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020210049879A priority Critical patent/KR20220143404A/ko
Priority to US17/686,972 priority patent/US20220332327A1/en
Priority to CN202210395062.1A priority patent/CN115221937A/zh
Publication of KR20220143404A publication Critical patent/KR20220143404A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057—Frequency analysis, spectral techniques or transforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

실시 예의 센서 정보 융합 방법은, 주변차량에서 생성한 공유 센서 퓨전 정보를 수신하여, 공유 센서 퓨전 정보의 신뢰성을 추정하는 단계 및 추정된 신뢰성에 기반하여, 자차에서 생성한 자차 센서 퓨전 정보와 공유 센서 퓨전 정보를 이용하여 자차 또는 상기 주변차량 중 적어도 하나의 주변에 위치한 객체의 퓨전 트랙 정보를 생성하는 단계를 포함한다.

Description

센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체{Method and apparatus for fusing sensor information, and recording medium for recording program performing the method}
실시 예는 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체에 관한 것이다.
차량의 정확한 위치 찾기, 정밀 측위 기술 및 디지털 맵 기술과, 운전자의 운행 상태를 체크해 주는 첨단 운전자 보조 시스템(Advanced Driving Assistant System: ADAS) 등에서 센서 융합 기술이 이용되고 있다.
센서 융합 기술은 차량에 장착된 복수의 센서 예를 들어 전방 레이더(RaDAR: Radio Detecting And Ranging), 전방 카메라, 측방 레이더 등에서 센싱된 정보를 융합하는 기술로서, 자차 주변의 상황을 신뢰도 높게 인지할 수 있도록 할 수 있다. 예를 들어, 자율 주행 레벨이 증가함에 따라, 높은 신뢰성과 정확성을 갖는 센서 정보 융합 기술이 요구되고 있다.
실시 예는 개선된 성능을 갖는 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체를 제공한다.
실시 예에서 해결하고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제는 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시 예에 의한 센서 정보 융합 방법은, 센서 정보 융합 방법 주변차량에서 생성한 공유 센서 퓨전 정보를 수신하여, 상기 공유 센서 퓨전 정보의 신뢰성을 추정하는 단계; 및 상기 추정된 신뢰성에 기반하여, 자차에서 생성한 자차 센서 퓨전 정보와 상기 공유 센서 퓨전 정보를 이용하여 상기 자차 또는 상기 주변차량 중 적어도 하나의 주변에 위치한 객체의 퓨전 트랙 정보를 생성하는 단계를 포함할 수 있다.
예를 들어, 상기 센서 정보 융합 방법은, 상기 공유 센서 퓨전 정보를 수신하여 자차 좌표계로 변환하는 단계를 더 포함할 수 있다.
예를 들어, 상기 자차 좌표계로 변환하는 단계는 상기 자차 기준으로 상기 주변차량의 상대적인 위치와 상대적인 속도를 산출하는 단계; 및 상기 상대적인 위치와 상기 상대적인 속도를 이용하여, 상기 공유 센서 퓨전 정보의 기준 위치를 상기 자차의 기준 위치로 변환하는 단계를 포함할 수 있다.
예를 들어, 상기 센서 정보 융합 방법은, 상기 공유 센서 퓨전 정보와 상기 자차 센서 퓨전 정보가 동일한 객체에 대한 정보인가를 검사하는 단계를 더 포함할 수 있다.
예를 들어, 상기 공유 센서 퓨전 정보와 상기 자차 센서 퓨전 정보가 동일한 객체에 대한 정보일 경우, 상기 공유 센서 퓨전 정보의 상기 신뢰성을 추정할 수 있다.
예를 들어, 상기 동일한 객체의 여부를 검사하는 단계는 상기 공유 센서 퓨전 정보에 속하는 공유 센싱 트랙 박스와 상기 자차 센서 퓨전 정보에 속하는 자차 센싱 트랙 박스가 서로 중첩하면, 상기 공유 센서 퓨전 정보가 상기 자차 센서 퓨전 정보와 동일한 객체에 대한 정보를 갖는 1차 후보인 것으로 선정하는 단계를 포함할 수 있다.
예를 들어, 상기 동일한 객체의 여부를 검사하는 단계는 상기 1차 후보로서 선정된 공유 센서 퓨전 정보에 포함된 속도 정보와 상기 자차 센서 퓨전 정보에 포함된 속도 정보를 이용하여, 상기 자차 센서 퓨전 정보와 동일한 객체에 대한 정보를 갖는 상기 공유 센서 퓨전 정보의 2차 후보를 선정하는 단계를 더 포함할 수 있다.
예를 들어, 상기 동일한 객체의 여부를 검사하는 단계는 상기 1차 후보로서 선정된 공유 센서 퓨전 정보에 포함된 상기 객체의 이동 경로 히스토리와 상기 자차 센서 퓨전 정보에 포함된 상기 객체의 이동 경로 히스토리의 유사성을 이용하여, 상기 자차 센서 퓨전 정보와 동일한 객체에 대한 정보를 갖는 상기 공유 센서 퓨전 정보의 3차 후보를 선정하는 단계를 더 포함할 수 있다.
예를 들어, 상기 신뢰성을 추정하는 단계는 상기 공유 센서 퓨전 정보에 포함된 제1 정보 또는 상기 공유 센서 퓨전 정보를 이용하여 생성한 제2 정보 중 적어도 하나를 이용하여 상기 신뢰성을 추정할 수 있다.
예를 들어, 상기 신뢰성을 추정하는 단계는 상기 공유 센서 퓨전 정보에 포함된 트랙의 존속 기간을 구하는 단계; 상기 공유 센서 퓨전 정보를 이용하여 상기 주변차량에서 센싱한 객체의 위치 또는 상기 주변차량에 장착된 센서들의 조합 중 적어도 하나에 상응하는 신뢰값을 구하는 단계; 상기 자차 센서 퓨전 정보와 상기 공유 센서 퓨전 정보의 절대 속도의 유사성을 구하는 단계; 상기 공유 센서 퓨전 정보가 상기 1차 후보, 상기 2차 후보 및 상기 3차 후보 중 후보로 선정된 차수를 확인하는 단계; 및 상기 존속 기간, 상기 신뢰값, 상기 절대 속도의 유사성 또는 상기 차수 중 적어도 하나를 이용하여 상기 추정된 신뢰도를 산출하는 단계를 포함할 수 있다.
예를 들어, 상기 공유 센서 퓨전 정보가 상기 1차 후보, 상기 2차 후보 및 상기 3차 후보 중 어느 후보로도 선정되지 않았을 때, 상기 신뢰도에 디폴트를 부여할 수 있다.
예를 들어, 상기 퓨전 트랙 정보를 생성하는 단계는 상기 공유 센싱 트랙 박스와 상기 자차 센싱 트랙 박스가 중첩되는 영역을 형성하는 단계; 및 상기 영역의 기학적인 2차원 평면 형상을 사각형의 형상으로 변환하고, 변화된 사각형 형상을 상기 퓨전 트랙 정보의 퓨전 트랙 박스로서 결정하는 단계를 포함할 수 있다.
예를 들어, 상기 센서 정보 융합 방법은, 상기 공유 센서 퓨전 정보 및 상기 자체 센서 퓨전 정보를 이용하여 상기 퓨전 트랙 정보의 부가 정보를 보상하는 단계를 더 포함할 수 있다.
예를 들어, 상기 부가 정보는 상기 객체의 종류; 상기 객체의 이동 방향; 또는 상기 객체가 이동 및 고정을 나타내는 정보 중 적어도 하나를 포함할 수 있다.
다른 실시 예에 의한 센서 정보 융합 장치는, 주변차량에서 생성한 공유 센서 퓨전 정보를 수신하여, 상기 공유 센서 퓨전 정보의 신뢰성을 추정하는 신뢰성 추정부; 및 상기 추정된 신뢰성에 기반하여, 자차에서 생성한 자차 센서 퓨전 정보와 상기 공유 센서 퓨전 정보를 이용하여 상기 자차 또는 상기 주변차량 중 적어도 하나의 주변에 위치한 객체의 퓨전 트랙 정보를 생성하는 퓨전 정보 생성부를 포함할 수 있다.
예를 들어, 상기 센서 정보 융합 장치는, 상기 주변차량과 통신하며, 상기 공유 센서 퓨전 정보를 수신하는 통신부; 및 상기 수신된 공유 센서 퓨전 정보를 자차 좌표계로 변환하는 좌표 변환부를 더 포함할 수 있다.
예를 들어, 상기 센서 정보 융합 장치는, 상기 자차 좌표계로 변환된 공유 센서 퓨전 정보와 상기 자차 센서 퓨전 정보가 동일한 객체에 대한 정보인가를 검사하는 동일 객체 검사부를 더 포함할 수 있다.
예를 들어, 상기 센서 정보 융합 장치는, 상기 공유 센서 퓨전 정보와 상기 자체 센서 퓨전 정보를 이용하여 상기 퓨전 트랙 정보의 부가 정보를 보상하는 부가 정보 보상부를 더 포함할 수 있다.
또 다른 실시 예에 의하면, 센서 정보 융합 방법을 실행하기 위한 프로그램을 기록한 기록 매체는, 주변차량에서 생성한 공유 센서 퓨전 정보를 수신하여, 상기 공유 센서 퓨전 정보의 신뢰성을 추정하는 기능; 및 상기 추정된 신뢰성에 기반하여, 자차에서 생성한 자차 센서 퓨전 정보와 상기 공유 센서 퓨전 정보를 이용하여 상기 자차 또는 상기 주변차량 중 적어도 하나의 주변에 위치한 객체의 퓨전 트랙 정보를 생성하는 기능을 구현하는 프로그램을 기록하고, 컴퓨터로 읽혀질 수 있다.
예를 들어, 상기 기록 매체는 상기 공유 센서 퓨전 정보를 수신하여 자차 좌표계로 변환하는 기능; 상기 공유 센서 퓨전 정보와 상기 자차 센서 퓨전 정보가 동일한 객체에 대한 정보인가를 검사하는 기능; 또는 상기 공유 센서 퓨전 정보와 상기 자체 센서 퓨전 정보 각각의 부가 정보를 이용하여 상기 퓨전 트랙 정보를 보상하는 기능 중 적어도 하나를 더 구현하는 프로그램을 기록하고, 컴퓨터로 읽혀질 수 있다.
실시 예에 따른 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체는 주변차량에서 생성된 공유 센서 퓨전 정보와 자차에섯 생성된 자차 센서 퓨전 정보를 융합함으로서 생성되는 퓨전 트랙 정보의 신뢰도를 향상시킬 수 있고, 주변차량에 의해 가려지지 않은 영역뿐만 아니라, 주변차량(12, 14, 16)에 의해 가려진 인식이 제한되었던 영역을 인식할 수 있고, 자차에 장착된 센서가 고장나더라도 주변차량의 도움으로 고장난 센서로 인해 주변 물체 추정 성능 열화 문제를 극복할 수 있고, 주변차량의 도움으로 자차의 주변의 객체를 인식할 수 있으므로, 자차에 장착되는 센서의 개수를 줄일 수도 있다.
또한, 본 실시 예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과는 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 실시 예에 의한 센서 정보 융합 방법을 설명하기 위한 플로우차트이다.
도 2는 실시 예에 의한 차량의 블록도이다.
도 3은 도 1에 도시된 제120 단계의 실시 예에 의한 플로우차트이다.
도 4a 내지 도 4c는 도 1에 도시된 제130 단계의 이해를 돕기 위한 도면이다.
도 5는 도 1에 도시된 제140 단계의 실시 예를 설명하기 위한 플로우차트이다.
도 6은 도 1에 도시된 제150 단계의 실시 예를 설명하기 위한 플로우차트이다.
도 7은 도 6에 도시된 제150A 단계의 이해를 돕기 위한 도면이다.
도 8은 제1 비교 예에 의한 센서 정보 융합 방법을 설명하기 위한 도면이다.
도 9는 제2 비교예에 의한 센서 정보 융합 방법을 설명하기 위한 도면이다.
도 10은 실시 예에 의한 센서 정보 융합 방법의 이해를 돕기 위한 도면이다.
이하, 본 발명을 구체적으로 설명하기 위해 실시 예를 들어 설명하고, 발명에 대한 이해를 돕기 위해 첨부도면을 참조하여 상세하게 설명하기로 한다. 그러나, 본 발명에 따른 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상술하는 실시 예들에 한정되는 것으로 해석되지 않아야 한다. 본 발명의 실시 예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다.
본 실시 예의 설명에 있어서, 각 구성요소(element)의 "상(위) 또는 하(아래)(on or under)"에 형성되는 것으로 기재되는 경우에 있어, 상(위) 또는 하(아래)(on or under)는 두 개의 구성요소(element)가 서로 직접(directly)접촉되거나 하나 이상의 다른 구성요소(element)가 상기 두 구성요소(element) 사이에 배치되어(indirectly) 형성되는 것을 모두 포함한다.
또한 "상(위)" 또는 "하(아래)(on or under)"로 표현되는 경우 하나의 구성요소(element)를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
또한, 이하에서 이용되는 "제1" 및 "제2," "상/상부/위" 및 "하/하부/아래" 등과 같은 관계적 용어들은, 그런 실체 또는 요소들 간의 어떠한 물리적 또는 논리적 관계 또는 순서를 반드시 요구하거나 내포하지는 않으면서, 어느 한 실체 또는 요소를 다른 실체 또는 요소와 구별하기 위해서 이용될 수도 있다.
이하, 실시 예에 의한 센서 정보 융합 방법(100)을 첨부된 도면을 참조하여 다음과 같이 설명한다. 편의상, 데카르트 좌표계(x축, y축, z축)를 이용하여 센서 정보 융합 방법(100)을 설명하지만, 다른 좌표계에 의해서도 이를 설명할 수 있음은 물론이다.
도 1은 실시 예에 의한 센서 정보 융합 방법(100)을 설명하기 위한 플로우차트이고, 도 2는 실시 예에 의한 차량(200)의 블록도이다.
도 2에 도시된 차량(200)(이하, ‘자차’라 한다)은 자차 정보 취득부(210) 및 센서 정보 융합 장치(220)를 포함할 수 있다.
도 1에 도시된 센서 정보 융합 방법(100)을 설명하기에 앞서, 도 2에 도시된 차량(200)의 구성 및 동작에 대해 다음과 같이 설명한다.
자차 정보 취득부(210)는 자차(200)에 장착되어 각종 정보를 취득하는 역할을 수행하며, 센싱부(212) 및 자차 GPS 제공부(214)를 포함할 수 있다.
센싱부(212)는 차량(200)의 주변에 위치한 장애물, 예를 들어, 선행 차량을 탐지하고, 해당 장애물의 거리 및/또는 상대 속도를 측정하는 하나 이상의 센서를 포함할 수 있다.
센싱부(212)는 차량(200)의 외부에 존재하는 객체를 감지하기 위해 제1 내지 제M 센서(S1, S2, … 및 SM)를 포함할 수 있으며, 객체의 위치, 객체의 속도, 객체의 이동 방향 및/또는 객체의 종류(예: 차량, 보행자, 자전거 또는 모터사이클 등)에 대한 정보를 획득할 수 있다. 여기서, M은 1이상의 양의 정수이다.
제1 내지 제M 센서(S1, S2, … 및 SM) 각각은 초음파 센서, 레이더(RaDAR: Radio Detecting And Ranging), 카메라, 레이저 스캐너 및/또는 코너 레이더, 라이다(LIDAR: Light Detection and Ranging), 가속도 센서, 요레이트 센서, 토크 측정 센서 및/또는 휠스피드 센서, 조향각 센서 등을 포함할 수 있다.
실시 예에 따른 센서 정보 융합 장치(220)는 차량(200)의 내부에 구현될 수 있다. 이때, 센서 정보 융합 장치(220)는 차량(200)의 내부 제어 유닛들(미도시)과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량(200)의 제어 유닛들과 연결될 수도 있다.
센서 정보 융합 장치(220)는 메모리와 각 동작을 처리하는 프로세서를 포함하는 독립적인 하드웨어 장치 형태로 구현될 수 있으며, 마이크로프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.
예를 들어, 센싱 정보 융합 장치(220)는 통신부(222) 및 프로세서(processor)(224)를 포함할 수 있다.
통신부(222)는 무선 또는 유선 연결을 통해 신호를 송신 및 수신하기 위해 다양한 전자 회로로 구현되는 하드웨어 장치로서, 차량 내 네트워크 통신 기술, 차량 외부의 서버, 인프라, 다른 차량('타차’또는 ‘주변 차량')(300) 등과 무선 인터넷 접속 또는 근거리 통신(Short Range Communication) 기술을 이용하여 V2X(예를 들어, V2V 또는 V2I) 통신을 수행할 수 있다. 여기서, 차량 내 네트워크 통신 기술로는 CAN(Controller Area Network) 통신, LIN(Local Interconnect Network) 통신, 플렉스레이(Flex-Ray) 통신 등이 있으며 이를 통해 차량 내 통신을 수행할 수 있다. 또한, 무선 통신 기술로는 무선 인터넷 기술로서 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), 와이파이(Wi-Fi), 와이맥스(World Interoperability for Microwave Access, Wimax) 등이 포함될 수 있다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선통신(Infrared Data Association, IrDA) 등이 포함될 수 있다.
통신부(222)는 자차(200)에 장착된 센싱부(212) 내의 센서들(S1 내지 SM)로부터 센싱된 결과를 수신할 수 있다. 통신부(222)에서 수신한 센싱된 결과는 객체를 센싱한 센서 퓨전 정보(이하, ‘자차 센서 퓨전 정보’라 한다)를 포함할 수 있다.
또한, 도 2에 도시된 타차(300)는 제1 내지 제N 타차(310, 320, … 및 330)를 포함할 수 있다. 여기서, N은 1이상의 양의 정수이다. 제1 내지 제N 타차(310 내지 330) 각각(즉, 제n 타차)은 제n 공유 센서 퓨전 정보 생성부 및 제n GPS 제공부를 포함할 수 있다. 즉, 도 2에 도시된 바와 같이, 제M 타차(330)는 제N 공유 센서 퓨전 정보 생성부(332) 및 제N GPS 제공부(334)를 포함할 수 있다.
제n 공유 센서 퓨전 정보 생성부는 제n 타차에 장착된 센싱부(미도시)에서 객체에 대해 센싱된 결과물인 센서 퓨전 정보(이하, ‘공유 센서 퓨전 정보’라 한다)을 생성한다. 제n 타차에 장착된 센싱부는 자차(200)에 장착된 센싱부(212)와 마찬가지로 적어도 하나의 센서(S1 내지 SM)를 포함할 수 있다. 제n GPS 제공부는 제n 차량의 위치 및 속도에 대한 GPS 정보를 제공할 수 있다.
또한, 센싱 정보 융합 장치(220)는 저장부(226)를 더 포함할 수 있다. 저장부(226)는 센싱부(212)의 센싱 결과, 프로세서(224)에 의해 획득된 데이터, 프로세서(224)가 동작하는데 필요한 데이터 및/또는 알고리즘 등이 저장될 수 있다.
일 예로서, 저장부(226)는 자차(200)나 타차(300)에 장착된 카메라, 라이다, 레이더 등의 센서에 의해 획득된 센싱 정보 등이 저장될 수 있고, 후술되는 룩업테이블(LUT:Loop up table)을 포함할 수 있다.
저장부(226)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드(Secure Digital Card) 또는 XD 카드(eXtream Digital Card)) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 기록 매체(storage medium)를 포함할 수 있다.
또한, 비록 도시되지 않았지만, 센싱 정보 융합 장치(220)는 인터페이스부를 더 포함할 수 있다.
인터페이스부는 사용자로부터의 제어 명령을 입력 받기 위한 입력수단과 차량(200)의 동작 상태 및 결과 등을 출력하는 출력수단을 포함할 수 있다. 여기서, 입력수단은 키 버튼을 포함할 수 있으며, 마우스, 조이스틱, 조그셔틀, 스타일러스 펜 등을 포함할 수도 있다. 또한, 입력수단은 디스플레이 상에 구현되는 소프트 키를 포함할 수도 있다.
출력수단은 디스플레이 및 스피커와 같은 음성출력수단을 포함할 수도 있다. 이때, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력수단과 출력수단이 통합된 형태로 구현될 수 있다. 일 예로 출력수단은 센싱부(212)에 의해 센싱된 정보를 출력하거나, 센서 정보 융합 장치(220)에 의해 융합된 센서 정보를 출력할 수 있다.
이때, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.
프로세서(224)는 통신부(222), 저장부(226), 인터페이스부 등과 전기적으로 연결될 수 있고, 각 구성들을 전기적으로 제어할 수 있으며, 소프트웨어의 명령을 실행하는 전기 회로가 될 수 있으며, 이에 의해 후술하는 다양한 데이터 처리 및 계산을 수행할 수 있다. 프로세서(224)는 예를 들어, 자차(200)에 탑재되는 ECU(electronic control unit), MCU(Micro Controller Unit) 또는 다른 하위 제어기일 수 있다.
한편, 설명의 편의상, 도 1에 도시된 센서 정보 융합 방법(100)은 도 2에 도시된 센서 정보 융합 장치(220)에서 수행되는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면, 도 1에 도시된 센서 정보 융합 방법(100)은 도 2에 도시된 센서 정보 융합 장치(220)와 다른 구성을 갖는 센서 정보 융합 장치에서 수행될 수도 있다. 또한, 도 2에 도시된 센서 정보 융합 장치(220)는 도 1에 도시된 센서 정보 융합 방법(100)을 수행하는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면, 도 2에 도시된 센서 정보 융합 장치(220)는 도 1에 도시된 센서 정보 융합 방법(100)과 다른 구성을 갖는 센서 정보 융합 방법을 수행할 수도 있다.
다시, 도 1을 참조하면, 실시 예에 의한 센서 정보 융합 방법(100)은 먼저, 타차(300)에서 생성되어 송신된 공유 센서 퓨전 정보를 수신한다(제110 단계). 이를 위해, 도 2에 도시된 통신부(222)는 제1 내지 제M 타차(310 내지 330)와 각각 통신하고, 제1 내지 제M 타차(310 내지 330) 각각에서 생성된 공유 센서 퓨전 정보를 수신할 수 있다.
설명의 편의상, 도 1에 도시된 센서 정보 융합 방법(100)의 제120 내지 제160 단계는 도 2에 도시된 센서 정보 융합 장치(220)의 프로세서(224)에서 수행될 수 있으나, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면, 도 1에 도시된 제120 내지 제160 단계는 프로세서(224)가 아닌 별도의 블록에서 수행될 수도 있다. 즉, 다른 실시 예에 의하면, 도 1에 도시된 제120 내지 제160 단계를 수행하기 위해, 센서 정보 융합 장치(220)는 좌표 변환부(241), 동일 객체 검사부(243), 신뢰성 추정부(245), 퓨전 정보 생성부(247) 및 부가 정보 보상부(249)를 포함할 수 있다.
제110 단계 후에, 수신한 공유 센서 퓨전 정보를 자차 좌표계로 변환한다(제120 단계). 이를 위해, 좌표 변환부(241)는 통신부(222)에서 수신된 공유 센서 퓨전 정보를 자차 좌표계로 변환하고, 변환된 공유 센서 퓨전 정보를 동일 객체 검사부(243), 신뢰성 추출부(245), 퓨전 정보 생성부(247) 또는 부가 정보 보상부(249) 중 적어도 한 곳으로 출력할 수 있다.
도 3은 도 1에 도시된 제120 단계의 실시 예(120A)에 의한 플로우차트를 나타낸다.
제110 단계 후에, 자차(200) 기준으로 타차(300)의 상대적인 위치와 상대적인 속도를 산출한다(제122 단계). 이를 위해, 통신부(222)는 자차 GPS 제공부(214)로부터 제공되며 자차(200)의 위치와 속도에 대한 정보를 포함하는 GPS 정보를 수신하여 좌표 변환부(241)로 출력하고, 제1 내지 제N 타차(310 내지 330) 각각의 제n GPS 제공부(예를 들어, 334)로부터 타차(310 내지 330)의 위치와 속도에 대한 정보를 포함하는 GPS 정보를 수신하여 좌표 변환부(241)로 출력할 수 있다. 이후, 좌표 변환부(241)는 자차의 GPS 정보와 타차의 GPS 정보를 이용하여, 자차(200)를 기준으로 타차(300)의 상대적인 위치와 상대적인 속도를 산출한다.
제122 단계 후에, 상대적인 위치와 상대적인 속도를 이용하여, 공유 센서 퓨전 정보의 기준 위치를 자차(200)의 기준 위치로 변환한다(제124 단계). 이를 위해, 좌표 변환부(241)는 자차(200)를 기준으로하는 타차(300)의 상대적인 위치와 상대적인 속도를 이용하여, 통신부(222)에서 수신된 공유 센서 퓨전 정보의 기준 위치를 자차(200)의 기준 위치로 변환할 수 있다.
다시, 도 1을 참조하면, 제120 단계 후에, 공유 센서 퓨전 정보와 자차 센서 퓨전 정보가 동일한 객체에 대한 정보인가를 검사한다(제130 단계). 이를 위해, 동일 객체 검사부(243)는 좌표 변환부(241)에서 자차 좌표계로 변환된 공유 센서 퓨전 정보와 통신부(222)로부터 제공되는 자차 센서 퓨전 정보를 받고, 공유 센서 퓨전 정보와 자차 센서 퓨전 정보가 동일한 객체에 대한 정보인가를 검사하며, 검사된 결과를 신뢰성 추정부(246)로 출력할 수 있다.
도 4a 내지 도 4c는 도 1에 도시된 제130 단계의 이해를 돕기 위한 도면으로서, CAS는 후보로 선정된 공유 센서 퓨전 정보를 나타내고, 참조부호 ‘10’은 자차(200)를 나타내고, FA는 자차 센서 퓨전 정보를 나타내고, FB1, FB2 및 FB3는 제1 내지 제3 공유 센서 퓨전 정보를 각각 나타낸다.
이해를 돕기 위해, 도 4a 내지 도 4c에서, 제1 내지 제3 공유 센서 퓨전 정보가 통신부(222)에서 수신되어, 좌표 변환부(241)에서 자차 죄표계로 변환된다고 가정하였다. 그러나, 하기의 설명은 공유 센서 퓨전 정보가 2개이거나 4개 이상인 경우에도 적용될 수 있다. 예를 들어, 제1 내지 제3 공유 센서 퓨전 정보는 제1 내지 제N 타차(310 내지 330) 중 적어도 한 곳에서 생성될 수 있다.
제130 단계를 수행하기 위해, 제1 내지 제3 공유 센서 퓨전 정보(FB1, FB2, FB3) 각각으로부터 구할 수 있는 센싱 트랙 박스(이하, ‘공유 센싱 트랙 박스’라 한다)와 자차 센서 퓨전 정보(FA)로부터 구할 수 있는 센싱 트랙 박스(이하, ‘자차 센싱 트랙 박스’라 한다)가 서로 중첩하는가를 검사한다. 여기서, 공유 센싱 트랙 박스 및 자차 센싱 트랙 박스 각각은 센싱한 객체의 헤딩, 폭 정보 및 길이 정보를 포함할 수 있다.
차량마다 출력 기준점 및 헤딩 각도의 정의가 다를 경우, 공유 센서 퓨전 정보가 자차 센서 퓨전 정보와 동일한 객체에 대한 정보인가를 점대점(Point-to-Point) 매칭으로 판단하기 어려울 수 있다. 또한, 차량별로 출력 기준점이 다양하여 공유 센서 퓨전 정보가 자차 센서 퓨전 정보와 동일한 객체에 대한 정보인가를 검사하기 어려울 수 있다. 예를 들어, 차량의 출력 기준점은 점 후방 범퍼 중앙점일 수도 있고, 객체의 중앙점일 수도 있고, 자차와 가장 가까운 점일 수도 있다. 그러나, 공유 센싱 트랙 박스와 자차 센싱 트랙 박스가 서로 중첩하는가를 검사할 경우, 이러한 문제점이 해소될 수 있다.
자차 센싱 트랙 박스와 중첩하는 공유 센싱 트랙 박스를 갖는 공유 센서 퓨전 정보는 자차 센서 퓨전 정보와 동일한 객체에 대한 정보를 갖는 1차 후보인 것으로 선정된다. 예를 들어, 도 4a에 도시된 바와 같이, 제1 내지 제3 공유 센서 퓨전 정보(FB1, FB2, FB3) 각각의 공유 센싱 트랙 박스가 자차 센싱 트랙 박스와 모두 중첩될 경우, 제1 내지 제3 공유 센서 퓨전 정보(FB1, FB2, FB3)가 모두 1차 후보로서 선정될 수 있다.
이후, 제130 단계에서, 1차 후보로서 선정된 공유 센서 퓨전 정보에 포함된 속도 정보와 자차 센서 퓨전 정보에 포함된 속도 정보를 이용하여, 자차 센서 퓨전 정보와 동일한 객체에 대한 정보를 갖는 공유 센서 퓨전 정보를 2차 후보로서 선정한다. 예를 들어, 다음 수학식 1과 같은 조건을 만족하는 공유 센서 퓨전 정보를 2차 후보로서 선정할 수 있다.
Figure pat00001
여기서, VxA는 자차 센서 퓨전 정보에 포함된 x축 방향의 속도를 나타내고, VyA는 자차 센서 퓨전 정보에 포함된 y축 방향의 속도를 나타내고, VxB는 1차 후보로서 선정된 공유 센서 퓨전 정보 각각에 포함된 x축 방향의 속도를 나타내고, VyB는 1차 후보로서 선정된 공유 센서 퓨전 정보 각각에 포함된 y축 방향의 속도를 나타내고, VxT는 x축 방향 속도의 임계값을 나타내고, VyT는 y축 방향의 속도를 나타낸다. 예를 들어, 도 4b에 도시된 화살표는 1차 후보로서 선정된 제1 내지 제3 공유 센서 퓨전 정보(FB1, FB2, FB3)의 진행 방향을 나타낸다.
이후, 제130 단계에서, 1차 후보로서 선정된 공유 센서 퓨전 정보에 포함된 객체의 이동 경로 히스토리(history)와 자차 센서 퓨전 정보에 포함된 객체의 이동 경로 히스토리의 유사성을 검사하고, 검사된 결과를 이용하여 자차 센서 퓨전 정보와 동일한 객체에 대한 정보를 갖는 공유 센서 퓨전 정보의 3차 후보를 선정한다. 예를 들어, 도 4c를 참조하면, 제1 및 제2 공유 센서 퓨전 정보(FB1 및 FB2)에 포함된 객체의 이동 경로 히스토리는 자차 센서 퓨전 정보(FA)에 포함된 객체의 이동 경로 히스토리와 유사성을 갖지만, 제3 공유 센서 퓨전 정보(FB3)에 포함된 객체의 이동 경로 히스토리는 자차 센서 퓨전 정보(FA)에 포함된 객체의 이동 경로 히스토리와 유사성을 갖지 않음을 알 수 있다. 따라서, 제1 및 제2 공유 센서 퓨전 정보(FB1 및 FB2)가 3차 후보로서 선정될 수 있다.
일 실시 예에 의하면, 1차 후보 내지 3차 후보로 모두 선정된 공유 센서 퓨전 정보만이 자차 센서 퓨전 정보와 동일한 객체에 대한 정보인 것으로 결정할 수 있다.
다른 실시 예에 의하면, 3차 후보로 선정되지 않았지만 1차 후보 및 2차 후보로 선정된 공유 센서 퓨전 정보도 자차 센서 퓨전 정보와 동일한 객체에 대한 정보인 것으로 결정할 수 있다.
또 다른 실시 예에 의하면, 2차 후보로 선정되지 않았지만 1차 후보 및 3차 후보로 선정된 공유 센서 퓨전 정보도 자차 센서 퓨전 정보와 동일한 객체에 대한 정보인 것으로 결정할 수 있다.
다시, 도 1을 참조하면, 타차(300)에서 생성한 공유 센서 퓨전 정보의 신뢰성을 추정한다(제140 단계). 이를 위해, 신뢰성 추정부(245)는 좌표 변환부(241)에서 변환된 좌표를 갖는 공유 센서 퓨전 정보의 신뢰성을 추정하고, 추정된 신뢰성을 퓨전 정보 생성부(247)로 출력할 수 있다. 이러한 동작을 수행하기 위해, 신뢰성 추정부(245)는 자차 센서 퓨전 정보를 통신부(222)를 경유하여 받고, 공유 센서 퓨전 정보를 좌표 변환부(241)로부터 받고, 동일 객체 검사부(243)에서 검사된 결과를 받을 수도 있다.
일 실시 예에 의하면, 도 1에 도시된 바와 같이 공유 센서 퓨전 정보와 자차 센서 퓨전 정보가 동일한 객체에 대한 정보일 경우에만 제140 단계가 수행될 수 있다.
다른 실시 예에 의하면, 도 1에 도시된 바와 달리, 공유 센서 퓨전 정보와 자차 센서 퓨전 정보가 동일한 객체에 대한 정보가 아닐 경우에도 제140 단계가 수행될 수 있다.
만일, 도 1에 도시된 바와 같이 제140 단계가 수행될 경우, 자차 센서 퓨전 정보와 동일한 객체에 대한 정보가 아닌 공유 센서 퓨전 정보에 대해서는 제140 내지 제160 단계가 수행되지 않으므로, 실시 예에 의한 센서 정보 융합 방법(100)을 수행하는 시간을 단축시킬 수 있다.
도 5는 도 1에 도시된 제140 단계의 실시 예(140A)를 설명하기 위한 플로우차트이다.
공유 센서 퓨전 정보에 포함된 트랙의 존속 기간을 구할 수 있다(제141 단계). 여기서, 트랙의 존속 기간은 공유 센서 퓨전 정보에 포함되는 정보일 수 있다. 트랙이 오래 존속될수록 실제로 객체가 있을 확률은 증가하여 신뢰도가 향상될 수 있다.
제141 단계 후에, 타차(300)에서 센싱한 객체의 위치 또는 타차(300)에 장착된 센서들의 조합 중 적어도 하나에 상응하는 신뢰값을 구할 수 있다(제143 단계). 타차(300)에서 센싱한 객체의 위치 또는 타차(300)에 장착된 센서들의 조합 중 적어도 하나에 상응하는 신뢰값은 실험적으로 미리 구하여 룩 업 테이블(LUT:Look Up Table)에 저장할 수 있다. 타차(300)에서 센싱한 객체의 위치 또는 타차(300)에 장착된 센서들의 조합 중 적어도 하나는 공유 센서 퓨전 정보를 이용하여 구할 수 있다.
센서가 많이 융합될 수록 정보 신뢰도가 증가하는 경향이 있으나, 객체의 위치에 따라 특정 센서들의 조합은 신뢰도를 오히려 악화시킬 수도 있다. 따라서, 객체의 위치와 객체를 센싱한 센서들의 조합을 고려하여 신뢰도를 평가할 수 있다.
만일, 공유 센서 퓨전 정보가 K개의 센서로부터 획득한 센싱된 결과를 융합하여 타차(300)에서 획득된 경우, K개의 센서의 조합과 객체의 위치에 해당하는 신뢰값은 다음 수학식 2와 같이 표현될 수 있으며, LUT에 저장될 수 있다.
Figure pat00002
수학식 2는 자차(200)를 기준으로 객체의 위치가 pm만큼 이격되고, K개의 센서의 조합에 해당하여 LUT에 저장된 신뢰값을 의미한다.
예를 들어, 타차(300)에 장착된 전방 레이더의 시야각(FoV: Field Of View))이 180m이고, 타차(300)에 장착된 전방 카메라의 시야각이 90m이고, 타차(300)에 장착된 측방레이더의 시야각이 80m라고 하자. 이때, 공유 센서 퓨전 정보를 분석한 결과, 타차(300)에서 센싱된 객체의 위치가 자차를 기준으로 80m에 위치한 것으로 인식될 때, 공유 센서 퓨전 정보가 전방 레이더와 전방 카메라의 조합 또는 전방 레이더와 측방 레이더의 조합으로 획득된 경우의 신뢰값은 공유 센서 퓨전 정보가 전방 카메라와 측방 레이더의 조합으로 획득된 경우의 신뢰값보다 더 큰 값으로 실허적으로 구해져서 LUT에 미리 저장될 수 있다.
제143 단계 후에, 자차 센서 퓨전 정보와 공유 센서 퓨전 정보의 절대 속도의 유사성을 구한다(제145 단계). 속도는 전파의 도플러효과를 이용하여 레이더에서 측정 가능한 정보이므로, 자차 센서 퓨전 정보와 공유 센서 퓨전 정보의 절대 속도의 유사성을 검사함으로써 신뢰도를 추정할 수 있다. 스마트 크루즈 제어(SCC:Smart Cruise Control) 기능을 갖는 차량의 대부분은 레이더를 장착하기 때문에 속도를 측정할 수 있어, 신뢰성 추정부(245)는 제145 단계를 수행할 수 있다.
제145 단계 후에, 공유 센서 퓨전 정보가 1차 후보, 2차 후보 및 3차 후보 중 어느 후보로 선정된 차수를 확인한다(제147 단계). 예를 들어, 1차 내지 3차 후보 중 후보로 선정된 횟수가 많은 공유 센서 퓨전 정보일수록 신뢰도가 높다고 볼 수 있다.
도 5의 경우 제141 내지 제147 단계의 순서로 순차적으로 수행되는 것으로 예시되어 있지만, 실시 예는 이에 국한되지 않는다. 즉, 제141 내지 제147 단계는 순서에 상관없이 수행될 수 있다.
제147 단계 후에, 존속 기간, 신뢰값, 절대 속도의 유사성 또는 차수 중 적어도 하나를 이용하여 추정된 신뢰도를 산출한다(제149 단계). 예를 들어, 다음 수학식 3과 같이 공유 센서 퓨전 정보의 신뢰도를 산출할 수 있다.
Figure pat00003
여기서, RL은 추정된 신뢰도를 나타내고, count는 존속 기간을 나타내고, VS(FA, FBi)는 자차 센서 퓨전 정보(FA)와 제i 공유 센서 퓨전 정보 간의 절대 속도의 유사성을 나타낸다. 예를 들어, 도 4a 내지 도 4c에 도시된 바와 같이 공유 센서 퓨전 정보가 3개일 경우, i는 1, 2 또는 3의 값을 갖는다. TN은 선정된 차수의 개수를 나타내며, 1차 내지 3차 중 하나의 차수로만 선정(TN=1)된 공유 센서 퓨전 정보보다 더 많은 차수 예를 들어, 1차 차수와 2차 차수로 선정(TN=2)되거나, 1차 차수와 3차 차수로 선정(TN=2)되거나, 1차, 2차 및 3차 후보로 모두 선정(TN=3)된 공유 센서 퓨전 정보의 신뢰도가 더 높다. α, β, γ 및 δ는 신뢰성(RL)을 추정하기 위한 존속 기간, 신뢰값, 절대 속도의 유사성 및 차수 각각의 계수를 나타낸다.
만일, 도 1에 도시된 바와 달리, 공유 센서 퓨전 정보와 자차 센서 퓨전 정보가 동일한 객체에 대한 정보가 아닐 경우에도 제140 단계가 수행될 경우, 즉, 공유 센서 퓨전 정보가 1차 후보, 2차 후보 및 3차 후보 중 어느 후보로도 선정되지 않았을 때, 제147 단계에서 확인된 차수의 신뢰도 즉, 수학식 3의 TN에 디폴트(default)를 부여할 수 있다.
또한, 공유 센서 퓨전 정보에 포함된 제1 정보 또는 공유 센서 퓨전 정보를 이용하여 생성한 제2 정보 중 적어도 하나를 이용하여, 공유 센서 퓨전 정보의 신뢰성을 추정할 수 있다. 여기서, 제1 정보는 전술한 트랙의 존속 기간에 해당하고, 제2 정보는 전술한 신뢰값, 절대 속도의 유사성 또는 차수 중 적어도 하나에 해당할 수 있다.
다시, 도 1을 참조하면, 제140 단계 후에, 추정된 신뢰성에 기반하여, 자차 센서 퓨전 정보와 공유 센서 퓨전 정보를 이용하여 자차 또는 상기 타차 중 적어도 하나의 주변에 위치한 객체의 퓨전 트랙 정보를 생성한다(제150 단계). 이를 위해, 퓨전 정보 생성부(247)는 신뢰성 추정부(245)로부터 받은 추정된 신뢰성에 기반하여, 자차(200)에서 생성한 자차 센서 퓨전 정보와 타차(300)에서 생성한 공유 센서 퓨전 정보를 이용하여 자차(200) 또는 타차(300) 중 적어도 하나의 주변에 위치한 객체의 퓨전 트랙 정보를 생성하고, 생성된 퓨전 트랙 정보를 출력한다. 이를 위해, 통신부(222)로부터 퓨전 정보 생성부(247)로 자치 센서 퓨전 정보가 제공되고, 좌표 변환부(241)로부터 퓨전 정보 생성부(247)로 공유 센서 퓨전 정보가 제공될 수 있다.
예를 들어, 임계값 이상의 신뢰도를 갖는다고 추정된 공유 센서 퓨전 정보와 자차 센서 퓨전 정보를 이용하여 직사각형 박스 형상으로 객체의 형상을 추정하여, 퓨전 트랙 정보를 생성할 수 있다. 이때, 직사각형 박스의 위치가 추정된 형상을 갖는 객체의 위치에 해당하고 직사각형 박스의 크기 즉, 폭 및 길이가 추정된 형상을 갖는 객체의 폭 및 길이에 각각 해당할 수 있다.
도 6은 도 1에 도시된 제150 단계의 실시 예(150A)를 설명하기 위한 플로우차트이다.
도 7은 도 6에 도시된 제150A 단계의 이해를 돕기 위한 도면이다. 여기서, FOA는 시야각을 나타내고, ‘10’은 자차를 나타낸다.
제140 단계 후에, 공유 센싱 트랙 박스와 자차 센싱 트랙 박스가 중첩되는 영역을 형성한다(제151 단계). 예를 들어, 도 7을 참조하면, 공유 센싱 트랙 박스와 자차 센싱 트랙 박스가 중첩되는 영역(‘A’로 표기됨)(BoS1)을 그리드(grid) 상에 형성할 수 있다.
제151 단계 후에, 영역, BoS2)의 기학적인 2차원 평면 형상을 사각형의 형상으로 변환하고, 변화된 사각형 형상을 퓨전 트랙 정보의 퓨전 트랙 박스로서 결정한다(제153 단계). 도 7을 참조하면, 영역(‘A’)의 기학적인 2차원 평면 형상(BoS1, BoS2)을 사각형의 형상(Bos3)으로 변환하고, 사각형 형상(BoS3)을 퓨전 트랙 박스로서 결정한다.
다시, 도 1을 참조하면, 제150 단계 후에, 공유 센서 퓨전 정보 및 자체 센서 퓨전 정보를 이용하여, 퓨전 트랙 정보의 부가 정보를 보상한다(제160 단계). 이를 위해, 부가 정보 보상부(249)는 공유 센서 퓨전 정보와 자체 센서 퓨전 정보를 이용하여 퓨전 트랙 정보의 부가 정보를 보상하고, 보상된 결과를 출력단자 OUT를 통해 출력한다. 여기서, 부가 정보는 객체의 종류, 객체의 이동 방향 또는 객체가 이동 및 고정을 나타내는 정보 중 적어도 하나를 포함할 수 있으며, 저장부(226)에 저장될 수 있다. 또한, 저장부(226)는 출력단자 OUT를 통해 출력되는 보상된 부가 정보를 저장할 수도 있다.
실시 예에 의하면, 동일 객체에 대해 획득된 공유 센서 퓨전 정보와 자차 센서 퓨전 정보 각각에 포함된 부가 정보들의 개수를 비교하여, 더 많은 개수의 부가 정보를 이용하여 퓨전 트랙 정보의 부가 정보를 보상할 수 있다. 예를 들어, 복수의 공유 센서 퓨전 정보의 부가 정보가 객체의 종류를 차량으로 나타내고, 하나의 자차 센서 퓨전 정보의 부가 정보가 객체의 종류를 보행자로 나타낼 때, 객체의 종류를 차량으로 나타내는 부가 정보가 복수개인 반면 객체의 종류를 보행자로 나타내는 부가 정부가 단수 개이므로, 객체의 종류를 차량으로 인식하여, 퓨전 트랙 정보의 부가 정보를 보상할 수 있다.
실시 예에 의한 센서 정보 융합 방법(100)에서 제160 단계는 생략될 수도 있다.
한편, 센서 정보 융합 방법을 실행하기 위한 프로그램을 기록한 기록 매체는, 타차에서 생성한 공유 센서 퓨전 정보를 수신하여, 공유 센서 퓨전 정보의 신뢰성을 추정하는 기능 및 추정된 신뢰성에 기반하여, 자차에서 생성한 자차 센서 퓨전 정보와 공유 센서 퓨전 정보를 이용하여 상기 자차 또는 상기 타차 중 적어도 하나의 주변에 위치한 객체의 퓨전 트랙 정보를 생성하는 기능을 구현하는 프로그램을 기록하고, 컴퓨터는 기록 매체를 읽을 수 있다.
또한, 기록 매체는 공유 센서 퓨전 정보를 수신하여 자차 좌표계로 변환하는 기능, 공유 센서 퓨전 정보와 자차 센서 퓨전 정보가 동일한 객체에 대한 정보인가를 검사하는 기능 또는 공유 센서 퓨전 정보와 자체 센서 퓨전 정보 각각의 부가 정보를 이용하여 퓨전 트랙 정보를 보상하는 기능 중 적어도 하나를 더 구현하는 프로그램을 기록하고, 컴퓨터는 기록 매체를 읽을 수 있다.
컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 센서 정보 융합 방법(100)을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이하, 제1 및 제2 비교 예 및 실시 예에 의한 센서 정보 융합 방법을 첨부된 도면을 참조하여 다음과 같이 설명한다.
도 8은 제1 비교 예에 의한 센서 정보 융합 방법을 설명하기 위한 도면이다.
제1 비교 예에 의한 센서 정보 융합 방법의 경우, 자차(10)에 장착된 이종 센서에 의해 객체를 인식하고자 할 경우, 인식 영역은 자차(10)에 장착된 센서가 검출하는 영역에 국한된다. 이와 같이, 자차(10)의 센서에 의해 인식 가능한 영역이 매우 제한적이다.
예를 들어, 도 8을 참조하면, 자차(10)에 장착된 센서는 다른 물체에 의해 가려지지 않은 객체(12, 14, 16)를 센싱할 수 있으나, 다른 물체(12, 14, 16)에 의해 가려진 객체(20, 22, 24, 26)를 센싱할 수 없다. 따라서, 자차(10)의 센싱 영역(SEA)은 매우 제한된다. 이 경우, 선행 차량(12, 14, 16)이 갑자기 정지할 경우, 선행 차량(12, 14, 16)에 의해 가려진 차량(20, 22, 24, 26)의 검출 지연으로 인하여 안전거리를 유지하기 어려워 사고로 이어질 수 있다. 또한, 자차(10)에 장착된 복수의 센서 중 일부가 고장날 경우, 자차(10)의 주변에 위치한 객체에 대해 오인식 또는 미인식 확률이 증가하여, 객체에 대한 정보를 인식하는 신뢰성이 하락할 수 있다. 예를 들어, 자차(10)에 카메라와 레이더가 장착되어 있는 상태에서 카메라가 고장날 경우, 레이더만으로 보행자를 인식하기 어려울 수 있어, 객체의 횡 방향의 위치를 정확하게 파악할 수 없게 된다.
도 9는 제2 비교예에 의한 센서 정보 융합 방법을 설명하기 위한 도면이다.
제2 비교예의 경우, 자차(10)가 다른 차량(12, 14, 16)에 의해 가려진 차량(20, 22, 24, 26)을 인식할 수 없기 때문에, 선행하는 차량(12, 14, 16) 중 하나의 차량(예를 들어, 14)으로부터 가려진 차량(20, 22, 24, 26)에 대한 정보를 받을 수도 있다. 그러나, 이 경우, 차량별 센서의 구성이 상이하고, 센서 정보 융합 시스템의 차이로 센서 퓨전 정보가 상이하여, 차량(14)에서 자차(10)로 제공된 정보의 신뢰성을 판단하기 어려운 문제점이 있다.
도 10은 실시 예에 의한 센서 정보 융합 방법의 이해를 돕기 위한 도면이다.
도 10에 도시된 자차(10)는 도 2에 도시된 자차(10)에 해당하고, 차량(12 내지 26)은 도 2에 도시된 타차(300)에 해당한다.
차량에 따라 센서 퓨전 트랙 정보의 신뢰도를 선정하는 기준이 다르거나 신뢰도를 제공하지 않을 수도 있다. 즉, 차량에 따라, 1차원 거리(Euclidean)에 대한 신뢰도를 제공할 수도 있고 2차원 위치에 대한 신뢰도를 출력할 수도 있다. 또한, 신뢰도를 표시하는 단위와 정밀도가 서로 다를 수도 있다. 즉, 공유 센서 퓨전 정보 중 하나는 신뢰도를 0 내지 10으로 표기하고, 공유 센서 퓨전 정보 중 다른 하나는 신뢰도를 0 내지 100으로 표기할 수도 있다.
따라서, 이를 고려하여, 실시 예의 경우, 자차와 타차의 센서 퓨전 정보의 형태가 다르다고 하더라도, 센서 퓨전에서 반드시 존재하는 정보 즉, 전술한 존속 기간, 신뢰값, 절대 속도의 유사성 또는 차수 중 적어도 하나를 이용하여 공유 공유 센서 퓨전 정보의 신뢰도를 추정하고, 추정된 신뢰도를 바탕으로 공유 센서 퓨전 정보와 자차 센서 퓨전 정보를 융합함으로서 생성되는 퓨전 트랙 정보의 신뢰도를 향상시킬 수 있다.
도 10에 도시된 자차(10)는 다른 차량에 의해 가려지지 않은 영역(SEA)을 센싱할 수 있을 뿐만 아니라, 다른 차량(12, 14, 16)에 의해 가려진 영역(SEB 내지 SEH)에 대한 정보도 인식할 수 있다. 즉, 자차(10)는 타차(12)에 의해 센싱되는 영역(SEB, SEC, SEF)에 대한 공유 센서 퓨전 정보를 타차(12)로부터 전송받고, 타차(14)에 의해 센싱되는 영역(SED, SEE, SEF)에 대한 공유 센서 퓨전 정보를 타차(14)로부터 전송받고, 차량(16)에 의해 센싱되는 영역(SEG, SEH)에 대한 공유 센서 퓨전 정보를 타차(16)로부터 전송받고, 이러한 공유 센서 퓨전 정보를 자차 센서 퓨전 정보와 융합할 수 있다. 따라서, 도 10에 도시된 바와 같이 타차(12, 14, 16)에 의해 가려져서 인식이 제한되었던 영역(SEB 내지 SHE)을 인식할 수 있다.
또한, 자차(10)에 장착된 센서가 고장나더라도 타차의 도움으로 고장난 센서로 인해 주변 물체 추정 성능 열화 문제를 극복할 수 있고, 타차의 도움으로 자차의 주변의 객체를 인식할 수 있으므로, 자차(10)에 장착되는 센서의 개수를 줄일 수도 있다.
전술한 여러 개의 실시 예는 서로 조합될 수 없다고 특별히 언급되지 않는 한, 서로 조합할 수 있다.
또한, 여러 개의 실시 예 중 어느 하나의 실시 예에 대한 설명에서 누락된 부분은 특별히 언급되지 않는 한, 다른 실시 예에 대한 설명이 적용될 수 있다.
이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 주변차량에서 생성한 공유 센서 퓨전 정보를 수신하여, 상기 공유 센서 퓨전 정보의 신뢰성을 추정하는 단계; 및
    상기 추정된 신뢰성에 기반하여, 자차에서 생성한 자차 센서 퓨전 정보와 상기 공유 센서 퓨전 정보를 이용하여 상기 자차 또는 상기 주변차량 중 적어도 하나의 주변에 위치한 객체의 퓨전 트랙 정보를 생성하는 단계를 포함하는 센서 정보 융합 방법.
  2. 제1 항에 있어서,
    상기 공유 센서 퓨전 정보를 수신하여 자차 좌표계로 변환하는 단계를 더 포함하는 센서 정보 융합 방법.
  3. 제2 항에 있어서, 상기 자차 좌표계로 변환하는 단계는
    상기 자차 기준으로 상기 주변차량의 상대적인 위치와 상대적인 속도를 산출하는 단계; 및
    상기 상대적인 위치와 상기 상대적인 속도를 이용하여, 상기 공유 센서 퓨전 정보의 기준 위치를 상기 자차의 기준 위치로 변환하는 단계를 포함하는 센서 정보 융합 방법.
  4. 제1 항에 있어서,
    상기 공유 센서 퓨전 정보와 상기 자차 센서 퓨전 정보가 동일한 객체에 대한 정보인가를 검사하는 단계를 더 포함하는 센서 정보 융합 방법.
  5. 제4 항에 있어서,
    상기 공유 센서 퓨전 정보와 상기 자차 센서 퓨전 정보가 동일한 객체에 대한 정보일 경우, 상기 공유 센서 퓨전 정보의 상기 신뢰성을 추정하는 센서 정보 융합 방법.
  6. 제4 항에 있어서, 상기 동일한 객체의 여부를 검사하는 단계는
    상기 공유 센서 퓨전 정보에 속하는 공유 센싱 트랙 박스와 상기 자차 센서 퓨전 정보에 속하는 자차 센싱 트랙 박스가 서로 중첩하면, 상기 공유 센서 퓨전 정보가 상기 자차 센서 퓨전 정보와 동일한 객체에 대한 정보를 갖는 1차 후보인 것으로 선정하는 단계를 포함하는 센서 정보 융합 방법.
  7. 제6 항에 있어서, 상기 동일한 객체의 여부를 검사하는 단계는
    상기 1차 후보로서 선정된 공유 센서 퓨전 정보에 포함된 속도 정보와 상기 자차 센서 퓨전 정보에 포함된 속도 정보를 이용하여, 상기 자차 센서 퓨전 정보와 동일한 객체에 대한 정보를 갖는 상기 공유 센서 퓨전 정보의 2차 후보를 선정하는 단계를 더 포함하는 센서 정보 융합 방법.
  8. 제6 항 또는 제7 항에 있어서, 상기 동일한 객체의 여부를 검사하는 단계는
    상기 1차 후보로서 선정된 공유 센서 퓨전 정보에 포함된 상기 객체의 이동 경로 히스토리와 상기 자차 센서 퓨전 정보에 포함된 상기 객체의 이동 경로 히스토리의 유사성을 이용하여, 상기 자차 센서 퓨전 정보와 동일한 객체에 대한 정보를 갖는 상기 공유 센서 퓨전 정보의 3차 후보를 선정하는 단계를 더 포함하는 센서 정보 융합 방법.
  9. 제8 항에 있어서, 상기 신뢰성을 추정하는 단계는
    상기 공유 센서 퓨전 정보에 포함된 제1 정보 또는 상기 공유 센서 퓨전 정보를 이용하여 생성한 제2 정보 중 적어도 하나를 이용하여 상기 신뢰성을 추정하는 센서 정보 융합 방법.
  10. 제8 항에 있어서, 상기 신뢰성을 추정하는 단계는
    상기 공유 센서 퓨전 정보에 포함된 트랙의 존속 기간을 구하는 단계;
    상기 공유 센서 퓨전 정보를 이용하여 상기 주변차량에서 센싱한 객체의 위치 또는 상기 주변차량에 장착된 센서들의 조합 중 적어도 하나에 상응하는 신뢰값을 구하는 단계;
    상기 자차 센서 퓨전 정보와 상기 공유 센서 퓨전 정보의 절대 속도의 유사성을 구하는 단계;
    상기 공유 센서 퓨전 정보가 상기 1차 후보, 상기 2차 후보 및 상기 3차 후보 중 후보로 선정된 차수를 확인하는 단계; 및
    상기 존속 기간, 상기 신뢰값, 상기 절대 속도의 유사성 또는 상기 차수 중 적어도 하나를 이용하여 상기 추정된 신뢰도를 산출하는 단계를 포함하는 센서 정보 융합 방법.
  11. 제10 항에 있어서, 상기 공유 센서 퓨전 정보가 상기 1차 후보, 상기 2차 후보 및 상기 3차 후보 중 어느 후보로도 선정되지 않았을 때, 상기 신뢰도에 디폴트를 부여하는 센서 정보 융합 방법.
  12. 제6 항에 있어서, 상기 퓨전 트랙 정보를 생성하는 단계는
    상기 공유 센싱 트랙 박스와 상기 자차 센싱 트랙 박스가 중첩되는 영역을 형성하는 단계; 및
    상기 영역의 기학적인 2차원 평면 형상을 사각형의 형상으로 변환하고, 변화된 사각형 형상을 상기 퓨전 트랙 정보의 퓨전 트랙 박스로서 결정하는 단계를 포함하는 센서 정보 융합 방법.
  13. 제1 항에 있어서,
    상기 공유 센서 퓨전 정보 및 상기 자체 센서 퓨전 정보를 이용하여 상기 퓨전 트랙 정보의 부가 정보를 보상하는 단계를 더 포함하는 센서 정보 융합 방법.
  14. 제13 항에 있어서, 상기 부가 정보는
    상기 객체의 종류;
    상기 객체의 이동 방향; 또는
    상기 객체가 이동 및 고정을 나타내는 정보 중 적어도 하나를 포함하는 센서 정보 융합 방법.
  15. 주변차량에서 생성한 공유 센서 퓨전 정보를 수신하여, 상기 공유 센서 퓨전 정보의 신뢰성을 추정하는 신뢰성 추정부; 및
    상기 추정된 신뢰성에 기반하여, 자차에서 생성한 자차 센서 퓨전 정보와 상기 공유 센서 퓨전 정보를 이용하여 상기 자차 또는 상기 주변차량 중 적어도 하나의 주변에 위치한 객체의 퓨전 트랙 정보를 생성하는 퓨전 정보 생성부를 포함하는 센서 정보 융합 장치.
  16. 제15 항에 있어서,
    상기 주변차량과 통신하며, 상기 공유 센서 퓨전 정보를 수신하는 통신부; 및
    상기 수신된 공유 센서 퓨전 정보를 자차 좌표계로 변환하는 좌표 변환부를 더 포함하는 센서 정보 융합 장치.
  17. 제16 항에 있어서,
    상기 자차 좌표계로 변환된 공유 센서 퓨전 정보와 상기 자차 센서 퓨전 정보가 동일한 객체에 대한 정보인가를 검사하는 동일 객체 검사부를 더 포함하는 센서 정보 융합 장치.
  18. 제15 항에 있어서,
    상기 공유 센서 퓨전 정보와 상기 자체 센서 퓨전 정보를 이용하여 상기 퓨전 트랙 정보의 부가 정보를 보상하는 부가 정보 보상부를 더 포함하는 센서 정보 융합 장치.
  19. 센서 정보 융합 방법을 실행하기 위한 프로그램을 기록한 기록 매체에 있어서,
    주변차량에서 생성한 공유 센서 퓨전 정보를 수신하여, 상기 공유 센서 퓨전 정보의 신뢰성을 추정하는 기능; 및
    상기 추정된 신뢰성에 기반하여, 자차에서 생성한 자차 센서 퓨전 정보와 상기 공유 센서 퓨전 정보를 이용하여 상기 자차 또는 상기 주변차량 중 적어도 하나의 주변에 위치한 객체의 퓨전 트랙 정보를 생성하는 기능을 구현하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  20. 제19 항에 있어서, 상기 기록 매체는
    상기 공유 센서 퓨전 정보를 수신하여 자차 좌표계로 변환하는 기능;
    상기 공유 센서 퓨전 정보와 상기 자차 센서 퓨전 정보가 동일한 객체에 대한 정보인가를 검사하는 기능; 또는
    상기 공유 센서 퓨전 정보와 상기 자체 센서 퓨전 정보 각각의 부가 정보를 이용하여 상기 퓨전 트랙 정보를 보상하는 기능 중 적어도 하나를 더 구현하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020210049879A 2021-04-16 2021-04-16 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 KR20220143404A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210049879A KR20220143404A (ko) 2021-04-16 2021-04-16 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
US17/686,972 US20220332327A1 (en) 2021-04-16 2022-03-04 Method and Apparatus for Fusing Sensor Information and Recording Medium Storing Program to Execute the Method
CN202210395062.1A CN115221937A (zh) 2021-04-16 2022-04-15 传感器信息融合方法和设备以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210049879A KR20220143404A (ko) 2021-04-16 2021-04-16 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체

Publications (1)

Publication Number Publication Date
KR20220143404A true KR20220143404A (ko) 2022-10-25

Family

ID=83603241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210049879A KR20220143404A (ko) 2021-04-16 2021-04-16 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체

Country Status (3)

Country Link
US (1) US20220332327A1 (ko)
KR (1) KR20220143404A (ko)
CN (1) CN115221937A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102586666B1 (ko) * 2023-04-21 2023-10-10 한국전자기술연구원 V2x 통신 환경에서 센서 데이터 및 객체 인식 결과 공유를 통한 도로 상황 판단 방법
CN117268424A (zh) * 2023-11-21 2023-12-22 湖南仕博测试技术有限公司 一种多传感器融合的自动驾驶寻线方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102586666B1 (ko) * 2023-04-21 2023-10-10 한국전자기술연구원 V2x 통신 환경에서 센서 데이터 및 객체 인식 결과 공유를 통한 도로 상황 판단 방법
CN117268424A (zh) * 2023-11-21 2023-12-22 湖南仕博测试技术有限公司 一种多传感器融合的自动驾驶寻线方法及装置
CN117268424B (zh) * 2023-11-21 2024-02-09 湖南仕博测试技术有限公司 一种多传感器融合的自动驾驶寻线方法及装置

Also Published As

Publication number Publication date
CN115221937A (zh) 2022-10-21
US20220332327A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
US9273971B2 (en) Apparatus and method for detecting traffic lane using wireless communication
US11860640B2 (en) Signal processing device and signal processing method, program, and mobile body
US11543532B2 (en) Signal processing apparatus, signal processing method, program, and mobile object for map generation baded on LiDAR and image processing
US10922561B2 (en) Object recognition device and vehicle travel control system
US11250288B2 (en) Information processing apparatus and information processing method using correlation between attributes
KR20210135389A (ko) 장애물 인식 장치, 그를 포함하는 차량 시스템 및 그 방법
US20210387616A1 (en) In-vehicle sensor system
KR20220143404A (ko) 센서 정보 융합 방법 및 장치와 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
US20210048312A1 (en) Electronic device for generating map data and operation method thereof
CN114266282A (zh) 用于自动标记雷达数据的方法和系统
US11904853B2 (en) Apparatus for preventing vehicle collision and method thereof
US11954918B2 (en) Object detection device, object detection method, and storage medium
KR20210124602A (ko) 차량의 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
JP6631796B2 (ja) 移動物体検出装置、プログラムおよび記録媒体
EP4020111B1 (en) Vehicle localisation
KR20210150926A (ko) 혼잡 교통 상황에서 저속 타겟 물체를 검출할 수 있는 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
US20220410929A1 (en) Autonomous vehicle, control system for remotely controlling the same, and method thereof
US20220075053A1 (en) Method and apparatus for sensor data fusion for a vehicle
US11981343B2 (en) Autonomous vehicle, control system for remotely controlling the same, and method thereof
US20220414151A1 (en) Method for Operating a Surroundings Sensing Device with Grid-Based Evaluation and with Fusion, and Surroundings Sensing Device
KR20230093834A (ko) 자율 주행 차량, 그와 정보를 공유하는 관제 시스템 및 그 방법
JP5644673B2 (ja) 周辺監視装置および周辺監視方法、並びに運転支援装置
US20230138530A1 (en) Autonomous vehicle, control system for remotely controlling the same, and method thereof
US20220413494A1 (en) Autonomous vehicle, control system for remotely controlling the same, and method thereof
KR20230118744A (ko) 자율 주행 차량 및 그를 원격 제어하는 방법

Legal Events

Date Code Title Description
A201 Request for examination