KR20210029684A - 복수의 이종 센서의 융합을 위한 데이터 처리 시스템 및 방법 - Google Patents

복수의 이종 센서의 융합을 위한 데이터 처리 시스템 및 방법 Download PDF

Info

Publication number
KR20210029684A
KR20210029684A KR1020200112791A KR20200112791A KR20210029684A KR 20210029684 A KR20210029684 A KR 20210029684A KR 1020200112791 A KR1020200112791 A KR 1020200112791A KR 20200112791 A KR20200112791 A KR 20200112791A KR 20210029684 A KR20210029684 A KR 20210029684A
Authority
KR
South Korea
Prior art keywords
sensing signal
sensor
time
sensors
vehicle
Prior art date
Application number
KR1020200112791A
Other languages
English (en)
Other versions
KR102340830B1 (ko
Inventor
백두산
허우솔
Original Assignee
주식회사 토르드라이브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토르드라이브 filed Critical 주식회사 토르드라이브
Publication of KR20210029684A publication Critical patent/KR20210029684A/ko
Application granted granted Critical
Publication of KR102340830B1 publication Critical patent/KR102340830B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/62—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/90—Single sensor for two or more measurements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

복수의 이종 센서의 융합을 위한 데이터 처리 시스템 및 방법이 제공된다. 본 발명의 일 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템 및 방법은 Origin Time Shifting(OTS)와 Tracklet Movement Compensation(TMC)을 수행하여 제1 통합 센싱 신호와 제2 센싱 신호가 동기화될 수 있다. 즉, 데이터 취득 시점에 별도의 트리거를 통한 동기화없이도 데이터의 후처리를 통해 이종 센서 사이의 시간 동기화가 가능하다. 또한, 본 발명의 일 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템은 제1 센싱 신호에 포함된 직접 간섭 및 간접 간섭에 의한 노이즈 포인트를 제거하여 보다 정확한 센싱 신호 데이터를 제공할 수 있다.

Description

복수의 이종 센서의 융합을 위한 데이터 처리 시스템 및 방법{Method and system for data processing for the fusion of multiple heterogeneous sensors}
본 발명은 자율 주행 차량 시스템에 적용되는 복수의 이종 센서의 데이터 처리 시스템 및 방법에 관한 것으로, 보다 구체적으로 취득 시점 및 센싱 신호 취득 방식 중 적어도 하나가 상이한 이종 센서들 사이의 융합을 위한 데이터 처리 및 센서 간의 간섭을 제거할 수 있는 데이터 처리를 제공하는 시스템 및 방법에 관한 것이다.
자율 주행 차량 시스템 및 ADAS 시스템에는 주행중인 자동차의 위치 정보를 획득하고, 주변 환경에 대한 정보를 획득하기 위해 복수의 이종 센서가 사용된다. 이러한 복수의 이종 센서에는 스테레오 카메라, 3D-라이다, IMU, DGPS 등이 있을 수 있다. 다른 종류의 여러 센서를 사용하는 경우, 단일 센서를 사용할 때 발생하지 않는 문제가 발생할 수 있다.
예를 들어, 복수의 센서의 사용시 서로 간의 신호의 간섭이 발생할 수 있다. 또한, 주변 환경에 대한 정보를 취득하는 시간은 센서의 종류마다 상이할 수 있다. 따라서, 다른 종류의 센서를 동시에 적용하여 주변 환경의 정보를 취득하기 위해서, 각 센서의 취득 시점의 동기화가 필요하다. 각 센서의 취득 시점을 하드웨어적인 방법으로 동기화하는 방법, 예를 들어, 트리거링을 통해 정보의 취득 시점을 동기화하는 방법은 센서의 종류에 따른 구동 방식, 구조적인 차이 등에 따라 정확한 동기화가 수행되기 어렵다. 따라서, 취득 시점이 상이한 복수의 센서들 사이의 융합을 위한 데이터 처리 및 센서 간의 간섭을 제거할 수 있는 데이터 처리를 제공하는 시스템 및 방법이 요구되고 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 구체적으로, 취득 시점 및 센싱 신호 취득 방식 중 적어도 하나가 상이한 이종 센서들 사이의 융합을 위한 데이터 처리 및 센서 간의 간섭을 제거할 수 있는 데이터 처리를 제공하는 시스템 및 방법을 제공한다.
본 발명의 일 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템은 제1 취득 시간 동안 차량 주변 환경을 감지한 제1 센싱 신호를 각각 생성하는 복수의 제1 센서로, 상기 제1 센싱 신호는 상기 차량 주변 환경의 3차원 공간 위치에 대한 정보를 포함하는 복수의 포인트로 구성되는, 복수의 제1 센서; 상기 제1 센서와 상이한 센서로서, 상기 차량 주변 환경을 감지하여 제2 센싱 신호를 생성하는 제2 센서; 상기 복수의 제1 센서에서 제공된 복수의 상기 제1 센싱 신호의 취득 시점을 상기 제1 취득 시간 내의 제1 시점으로 특정하고, 상기 특정된 제1 시점을 기준으로 상기 복수의 포인트의 위치를 조정하는 보정된 복수의 제1 센싱 신호를 생성하며, 상기 보정된 복수의 제1 센싱 신호를 통합하여 제1 통합 센싱 신호를 생성하는 통합 포인트 클라우드 생성 유닛을 포함하는 포인트 클라우드 생성 모듈; 상기 제1 통합 센싱 신호를 기초로 상기 차량 주변의 객체들의 움직임을 추적한 트랙렛 정보를 생성하는 트래킹 모듈; 및 상기 제1 센싱 신호의 취득 시점을 상기 제1 시점에서 상기 제2 센싱 신호의 취득 시점으로 동기화하는 OTS 유닛; 및 상기 트랙렛 정보에 따라 상기 제1 센싱 신호에서 차량 주변의 객체들의 움직임을 보상하는 TMC 유닛을 포함하는 시간 동기화 모듈을 포함한다.
본 발명의 다른 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 방법은 복수의 제1 센서가, 제1 취득 시간 동안 차량 주변 환경을 감지한 제1 센싱 신호를 각각 생성하는 단계로, 상기 제1 센싱 신호는 상기 차량 주변 환경의 3차원 공간 위치에 대한 정보를 포함하는 복수의 포인트로 구성되는, 생성하는 단계; 상기 제1 센서와 상이한 제2 센서가, 상기 차량 주변 환경을 감지하여 제2 센싱 신호를 생성하는 단계; 포인트 클라우드 생성 모듈이, 상기 복수의 제1 센서에서 제공된 복수의 상기 제1 센싱 신호의 취득 시점을 상기 제1 취득 시간 내의 제1 시점으로 특정하고, 상기 특정된 제1 시점을 기준으로 상기 복수의 포인트의 위치를 조정하는 보정된 복수의 제1 센싱 신호를 생성하는 단계; 상기 포인트 클라우드 생성 모듈이, 상기 보정된 복수의 제1 센싱 신호를 통합하여 제1 통합 센싱 신호를 생성하는 단계; 트래킹 모듈이, 상기 제1 통합 센싱 신호를 기초로 상기 차량 주변의 객체들의 움직임을 추적한 트랙렛 정보를 생성하는 단계; 시간 동기화 모듈이, 상기 제1 센싱 신호의 취득 시점을 상기 제1 시점에서 상기 제2 센싱 신호의 취득 시점으로 동기화하는 단계; 및 상기 시간 동기화 모듈이, 상기 트랙렛 정보에 따라 상기 제1 센싱 신호에서 차량 주변의 객체들의 움직임을 보상하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 저장 매체는 컴퓨터 판독 가능 명령을 저장하는 적어도 하나의 비 일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 판독 가능 명령이 단계들을 수행하도록 하며, 상기 단계들은: 복수의 제1 센서가, 제1 취득 시간 동안 차량 주변 환경을 감지한 제1 센싱 신호를 각각 생성하는 단계로, 상기 제1 센싱 신호는 상기 차량 주변 환경의 3차원 공간 위치에 대한 정보를 포함하는 복수의 포인트로 구성되는, 생성하는 단계; 상기 제1 센서와 상이한 종류의 제2 센서가, 상기 차량 주변 환경을 감지하여 제2 센싱 신호를 생성하는 단계; 포인트 클라우드 생성 모듈이, 상기 복수의 제1 센서에서 제공된 복수의 상기 제1 센싱 신호의 취득 시점을 상기 제1 취득 시간 내의 제1 시점으로 특정하고, 상기 특정된 제1 시점을 기준으로 상기 복수의 포인트의 위치를 조정하는 보정된 복수의 제1 센싱 신호를 생성하는 단계; 상기 포인트 클라우드 생성 모듈이, 상기 보정된 복수의 제1 센싱 신호를 통합하여 제1 통합 센싱 신호를 생성하는 단계; 트래킹 모듈이, 상기 제1 통합 센싱 신호를 기초로 상기 차량 주변의 객체들의 움직임을 추적한 트랙렛 정보를 생성하는 단계; 시간 동기화 모듈이, 상기 제1 센싱 신호의 취득 시점을 상기 제1 시점에서 상기 제2 센싱 신호의 취득 시점으로 동기화하는 단계; 및 상기 시간 동기화 모듈이, 상기 트랙렛 정보에 따라 상기 제1 센싱 신호에서 차량 주변의 객체들의 움직임을 보상하는 단계를 포함한다.
본 발명의 일 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템 및 방법은 Origin Time Shifting(OTS)와 Tracklet Movement Compensation(TMC)을 수행하여 제1 통합 센싱 신호와 제2 센싱 신호를 동기화할 수 있다. 따라서, 제1 통합 센싱 신호와 제2 센싱 신호는 싱크가 어긋나지 않고 정확히 융합될 수 있다. 즉, 데이터 취득 시점에 별도의 트리거를 통한 동기화없이도 데이터의 후처리를 통해 이종 센서 사이의 시간 동기화가 가능하다.
또한, 본 발명의 일 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템은 제1 센싱 신호에 포함된 직접 간섭 및 간접 간섭에 의한 노이즈 포인트를 제거할 수 있다. 이에 따라, 보다 정확한 센싱 신호 데이터를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템이 적용되는 자율 주행 차량을 개략적으로 도시한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템에 신호를 제공하는 제1 센서 및 제2 센서를 개략적으로 도시한 예시도이다.
도 3은 제1 센서와 제2 센서의 센싱 시간을 도시한 그래프이다.
도 4는 복수의 제1 센서 사이에 발생하는 직접 간섭을 설명하기 위한 예시도이다.
도 5a 내지 도 5c는 복수의 제1 센서 사이에 발생하는 간접 간섭을 설명하기 위한 예시도이다.
도 6은 Origin Time Shifting과 Tracklet Movement Compensation의 개념을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템의 구성을 나타내는 블록도이다.
도 8은 도 7의 시스템의 포인트 클라우드 생성 모듈을 구성을 나타내는 블록도이다.
도 9은 도 7의 시스템의 시간 동기화 모듈의 구성을 나타내는 블록도이다.
도 10은 Origin Time Shifting을 통해 보정된 포인트 클라우드를 나타내는 예시적인 그림이다.
도 11는 Tracklet Movement Compensation을 통해 보정된 포인트 클라우드를 나타내는 예시적인 그림이다.
도 12는 본 발명의 다른 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 방법의 순서도이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 인지할 수 있다. 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
도 1은 본 발명의 일 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템이 적용되는 자율 주행 차량을 개략적으로 도시한 예시도이다. 도 2는 본 발명의 일 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템에 신호를 제공하는 제1 센서 및 제2 센서를 개략적으로 도시한 예시도이다. 도 3은 제1 센서와 제2 센서의 센싱 시간을 도시한 그래프이다. 도 4는 복수의 제1 센서 사이에 발생하는 직접 간섭을 설명하기 위한 예시도이다. 도 5a 내지 도 5c는 복수의 제1 센서 사이에 발생하는 간접 간섭을 설명하기 위한 예시도이다. 도 6은 Origin Time Shifting과 Tracklet Movement Compensation의 개념을 설명하기 위한 예시도이다. 도 7은 본 발명의 일 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템의 구성을 나타내는 블록도이다. 도 8은 도 7의 시스템의 포인트 클라우드 생성 모듈을 구성을 나타내는 블록도이다. 도 9은 도 7의 시스템의 시간 동기화 모듈의 구성을 나타내는 블록도이다. 도 10은 Origin Time Shifting을 통해 보정된 포인트 클라우드를 나타내는 예시적인 그림이다. 도 11는 Tracklet Movement Compensation을 통해 보정된 포인트 클라우드를 나타내는 예시적인 그림이다.
도 1 내지 도 11을 참조하면, 본 발명의 일 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템(10)은 제1 센서(101), 제2 센서(102), 포인트 클라우드 생성 모듈(103), 트래킹 모듈(104), 시간 동기화 모듈(105), 및 위치 센서(106)를 포함한다.
본 발명의 일 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템(10)은 자율 주행 시스템의 서라운드 센싱을 위한 데이터 처리 시스템이다. 복수의 이종 센서의 융합을 위한 데이터 처리 시스템은 서라운드 센싱을 위해 적어도 두 종류 이상의 다른 종류의 센서들(제1 센서, 제2 센서)로부터 제공된 신호를 융합하는 데이터 처리 시스템을 제공한다.
구체적으로, 본 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템(10)은 제1 센서(101)로부터 제공된 제1 센싱 신호와 상기 제1 센서(101)와 상이한 종류의 제2 센서(102)로부터 제공된 제2 센싱 신호를 융합할 수 있다. 여기서 신호의 융합은 각 센서로부터 취득된 데이터의 시점을 동기화하는 것을 의미할 수 있다.
여기서 제1 센서(101)와 제2 센서(102)는 제1 센싱 신호의 취득 시점과 제2 센싱 신호의 취득 시점이 상이할 수 있다. 또한, 제1 센서(101)와 제2 센서(102)는 제1 센싱 신호를 취득하는 방식과 제2 센싱 신호의 취득하는 방식이 상이할 수 있다. 즉, 제1 센서(101)와 제2 센서(102)는 취득 시점 및 센싱 신호 취득 방식 중 적어도 하나가 상이할 수 있다.
예시적으로, 제1 센서(101)는 전자기파를 이용한 센싱 방식 또는 레이저를 이용한 센싱 방식일 수 있고, 제2 센서(102)는 빛을 이용한 센싱 방식일 수 있다. 도 1 및 도 2에 도시된 바와 같이, 제1 센서(101, first sensor)는 라이다(LiDAR)일 수 있고, 제2 센서(102, second sensor)는 카메라(Camera)일 수 있다. 라이다는 일정 속도로 회전하면서 차량의 주변의 환경에 대한 제1 센싱 신호를 제1 취득 시간 동안 취득한다. 카메라는 정해진 각도의 필드 오브 뷰(Field of View, FoV)를 가진다. 카메라는 차량의 특정 위치에 고정되어 정해진 범위 및 거리 영역에 해당하는 매우 짧은 시간인 제2 취득 시간 동안에 촬영, 제2 센싱 신호를 취득한다. 제1 센서(101)의 제1 센싱 신호의 취득 시간과 제2 센서(102)의 제2 센싱 신호의 취득 시간은 상이할 수 있다. 예시적으로, 제1 센서(101)가 제1 센싱 신호를 취득하기 위해 필요한 제1 취득 시간은 제2 센서(102)가 제2 센싱 신호를 취득하기 위해 필요한 제2 취득 시간은 상대적으로 더 길 수 있다. 제1 센서(101)는 자율 주행 차량에 복수개로 위치할 수 있으며, 제2 센서(102) 또한 복수개로 위치할 수 있다.
다만, 이에 한정되는 것은 아니며, 제1 센서(101)와 제2 센서(102)는 다른 유형의 라이다로 구성될 수 있다. 예시적으로, 제1 센서(101)는 회전형 라이다, 제2 센서(102)는 플래쉬 라이다로 구성되어 제1 선서(101)와 제2 센서(102)의 제1 센싱 신호와 제2 센싱 신호의 취득 시점이 상이할 수 있다. 또한, 제1 센서(101) 및 제2 센서(102)는 센싱 시점이 상이한 플래쉬 라이다로 구성되어 제1 선서(101)와 제2 센서(102)의 제1 센싱 신호와 제2 센싱 신호의 취득 시점이 상이할 수 있다. 여기서, 적어도 제1 센싱 신호는 차량 주변 환경의 3차원 공간 위치에 대한 정보를 포함하는 복수의 포인트로 구성될 수 있으며, 제1 센싱 신호는 제2 센싱 신호의 취득 시점을 기준으로 복수의 포인트의 위치가 보정될 수 있다. 또한, 복수개의 제1 센서(101) 사이에서 발생하는 간섭을 효과적으로 제거할 수 있다. 또한, 본 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템(10)은 위치 센서(106)로부터 차량의 속도 정보를 수신하며, 차량의 속도 정보를 활용하여 제1 센싱 신호와 제2 센싱 신호의 시간을 동기화한다. 여기서, 위치 센서(106)는 관성측정유닛(Inertial Measurement Unit; IMU)일 수 있으나, 이에 한정되는 것은 아니다.
본 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 시스템(10)은, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 복수의 이종 센서의 융합을 위한 데이터 처리 시스템 및 이에 포함된 각 모듈(module)은, 특정 형식 및 내용의 데이터를 전자통신 방식으로 주고받기 위한 장치 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "서버(server)", "시스템", "장치" 또는 "단말" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
또한, 복수의 이종 센서의 융합을 위한 데이터 처리 시스템(10)을 구성하는 각각의 모듈은 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 포인트 클라우드 생성 모듈(103), 트래킹 모듈(104) 및 시간 동기화 모듈(105)은 서로 구분되는 블록으로 도시되나, 이는 복수의 이종 센서의 융합을 위한 데이터 처리 시스템을 구성하는 장치를 해당 장치에 의해 실행되는 동작에 의해 단지 기능적으로 구분한 것이다. 따라서, 실시예에 따라서는 포인트 클라우드 생성 모듈(103), 트래킹 모듈(104) 및 시간 동기화 모듈(105)은 일부 또는 전부가 동일한 하나의 장치 내에 집적화될 수 있고, 하나 이상이 다른 부와 물리적으로 구분되는 별개의 장치로 구현될 수도 있으며, 분산 컴퓨팅 환경 하에서 서로 통신 가능하게 연결된 컴포넌트들일 수도 있다.
포인트 클라우드 생성 모듈(103)은 제1 센서(101, first sensor)로부터 제1 센싱 신호(first sensing signal)를 수신한다. 또한, 포인트 클라우드 생성 모듈(103)은 위치 센서(106)로부터 차량의 속도 정보를 수신할 수 있다.
제1 센싱 신호는 제1 센서(101)가 제1 취득 시간(first acquisition time period)동안 차량 주변을 센싱하여 취득한 신호이다. 제1 센서(101)는 차량 주변의 환경을 감지하기 위해 제1 신호를 차량 주변에 방출하며, 차량 주변의 환경에서 반사되어 돌아오는 제1 신호의 시간을 측정함으로써, 반사 지점의 공간 위치와 관련된 제1 센싱 신호를 생성한다. 제1 센싱 신호는 복수의 반사 지점로부터 제공된 복수의 포인트 정보로 구성된 포인트 클라우드일 수 있다. 상기 포인트는 차량 주변의 3차원 공간의 일 지점에 대응한다. 여기서, 제1 취득 시간은 미리 설정된 소정의 시간 구간을 의미한다. 제1 센서(101)는 도 3에 도시된 바와 같이, 제1 시점(t1)부터 제4 시점(t4)에 해당하는 기간인 제1 취득 시간 동안 차량 주변을 센싱하여 제1 센싱 신호를 생성한다. 제1 센서(101)는 미리 설정된 주기에 따라, 주기적으로 제1 센싱 신호를 생성할 수 있다.
도 8에 도시된 바와 같이, 제1 센서(101)는 복수개로 구성될 수 있다. 복수의 제1 센서(101a, 101b, ??, 101n)는 차량의 서로 다른 위치에 배치될 수 있다. 복수의 제1 센서(101a, 101b, ??, 101n) 각각은 제1 센싱 신호를 생성할 수 있다.
포인트 클라우드 생성 모듈(103)은 복수의 제1 센서(101a, 101b, ??, 101n) 간에 발생하는 간섭을 제거할 수 있으며, 제1 센싱 신호의 취득 시점에 따라 포인트 정보의 위치를 조정한다. 구체적으로, 포인트 클라우드 생성 모듈(103)은 간섭 필터 유닛(103A) 및 통합 포인트 클라우드 생성 유닛(103B)을 포함한다.
간섭 필터 유닛(103A)은 복수의 제1 센서(101a, 101b, ??, 101n) 사이에 발생하는 간섭을 제거할 수 있다. 간섭 필터 유닛(103A)은 복수의 제1 센서(101a, 101b, ??, 101n)에서 생성된 제1 센싱 신호 각각을 수신하고, 각각의 제1 센싱 신호에 포함된 신호 간섭에 의한 노이즈 포인트를 제거할 수 있다. 신호 간섭에 의한 노이즈가 제거된 각각의 제1 센싱 신호는 통합 포인트 클라우드 생성 유닛(103B)으로 제공된다.
여기서, 간섭은 하나의 제1 센서(101a)에서 방출된 신호가 다른 제1 센서(101b, ??, 101n)에 직접적으로 인가되어 발생하는 노이즈인 직접 간섭과 하나의 제1 센서(101a)에서 방출된 신호가 외부 물체에 반사되어 다른 제1 센서(101b, ??, 101n)로 인가되어 발생하는 노이즈인 간접 간섭을 포함한다. 간섭 필터 유닛(103A)은 직접 간섭 및 간접 간섭에 의한 노이즈 포인트를 수신된 각각의 제1 센싱 신호에서 제거할 수 있다.
간섭 필터 유닛(103A)은 복수의 제1 센서(101) 상호간에 직접 간섭이 발생할 수 있는 영역을 정의하고, 상기 영역에 포함된 포인트 클라우드의 취득 시간을 고려하여 직접 간섭을 필터링할 수 있다.
예시적으로, 도 4에 도시된 바와 같이, 두개의 제1 센서(101a), 제1 센서(101b)가 있을 때, 제1 센서(101a)와 제1 센서(101b) 사이의 특정 영역은 직접 간섭이 발생 가능한 영역으로 정의될 수 있다. 도 4의 원형 포인트(circle points)는 직접 간섭이 발생하지 않는 영역이고, 도 4의 별형 포인트(star points)는 직접 간섭이 발생 가능한 영역이다. 이러한 직접 간섭이 발생 가능한 영역에 포함되는 포인트 클라우드 집합은 다음과 같이 정의된다. 제1 센서(101a)의 local coordinate에서 제1 센서(101b)의 relative translation을 tab라고 할 때, 제1 센서(101a)에 의해 취득된 제1 센싱 신호(포인트 클라우드)의 집합(Pa)에 대해 제1 센서(101b)와 직접 간섭 가능 영역에 속하는 포인트 클라우드 서브 집합(Pab,direct)은 하기와 같은 수학식 1과 같이 정의된다.
[수학식 1]
Figure pat00001
(여기서,
Figure pat00002
,
Figure pat00003
,
Figure pat00004
,
Figure pat00005
,
Rdirect는 제1 센서를 중심으로 하는 직접 간섭 영역의 반경에 대한 파라미터이다.)
또한, 제1 센서(101b)에 의해 취득된 포인트 클라우드의 집합(Pb)에 대해 제1 센서(101a)와 직접 간섭 가능 영역에 속하는 포인트 클라우드 서브 집합(Pba,direct)도 수학식 1과 동일한 방식으로 정의될 수 있다.
여기서, 제1 센싱 신호(포인트 클라우드)의 집합(P)에 대한 평균 데이터 취득 시각의 timestamp를
Figure pat00006
라고 정의한다. 간섭 필터 유닛(103A)은 제1 센서(101a), 제1 센서(101b)로부터 계산된 상호 직접 간섭 발생 가능 영역의 Pab,direct, Pba,direct이 하기 수학식 2를 만족하는 경우, 해당 영역의 포인트 클라우드 서브 집합들을 직접 간섭에 의한 노이즈 포인트로 판단하고, 이를 제거한다.
이에 따라, 직접 간섭에 의해 발생한 포인트 클라우드 서브 집합이 제거될 수 있다.
[수학식 2]
Figure pat00007
여기서,
Figure pat00008
취득 시간 차이에 대한 파라미터 값이다.
상술한 바와 같이, 복수의 제1 센서(101a, 101b, ??, 101n)의 배치 위치에 따라 직접 간섭의 발생 가능한 영역은 정의될 수 있다. 다만, 간접 간섭은 주변 사물에 반사되어 입사되는 노이즈 신호이기 때문에 발생 가능한 영역에 대한 사전 설정이 어렵다. 따라서, 본 실시예에 따른 간섭 필터 유닛(103A)은 제1 센서(101)의 동작 특성, 예를 들어 회전 속도 또는 감지 시간 등을 고려하여, 간접 간섭이 발생 가능한 시간 구간을 설정하고, 상기 시간 구간을 만족하는 포인트 클라우드 집합 중 간접 간섭이 가능한 영역에 포함된 포인트를 노이즈로 제거할 수 있다. 즉, 미리 설정된 시간에 포함된 포인트 클라우드의 위치를 고려하여 간접 간섭을 필터링할 수 있다.
두개의 제1 센서(101a), 제1 센서(101b)가 있을 때, 제1 센서(101a)와 제1 센서(101b)로부터 각각 획득된 제1 센싱 신호(포인트 클라우드)의 집합은 각각 Pa, Pb로 정의된다. 간섭 필터 유닛(103A)은 프인트 클라우드의 취득 시간을 기준으로 각 포인트의 서브 집합을 하기 표 1과 같이 기록할 수 있다.
[표 1]
Figure pat00009
여기서, Pa, Pb에서 간접 간섭이 발생 가능한 시간을 만족하는 포인트 클라우드 서브 집합이 Pi, Pj로 각각 정의되며, 서브 집합 Pi, Pj는 하기 수학식 3을 만족한다. 그리고, 서브 집합 Pi, Pj을 association한 (Pi, Pj)의 집합인 Nab는 하기 수학식 4와 같이 정의된다.
[수학식 3]
Figure pat00010
(여기서,
Figure pat00011
는 간접 간섭이 발생 가능한 시간 차이에 대한 파라미터이다.)
[수학식 4]
Figure pat00012
예를 들어, 상기 테이블 1의 데이터에서
Figure pat00013
인 경우, Nab는 하기 수학식 5와 같이 정의된다.
[수학식 5]
Figure pat00014
두개의 제1 센서(101a), 제1 센서(101b)가 있을 때, 상기 정의된 시간대 구간에서 간접 간섭은 도 5a 내지 도 5c에 도시된 바와 같이 발생할 수 있다.
도 5a는, 제1 센서(101a)가 물체(object) 방향을 스캐닝하고 있을 때, 동시에 제1 센서(101b)가 비슷한 방향을 스캐닝하고 있는 예시적인 상황을 도시한 것으로, 간접 간섭이 발생될 수 있는 상황을 예시한 것이다. 즉, 도 5a에 도시된 바와 같이, 제1 센서(101b)에서 방출된 신호는 외부 물체에 반사될 수 있으며, 제1 센서(101a)에 입사되어 노이즈 성분이 될 수 있다.
도 5b에 도시된 바와 같이, 제1 센서(101b)에서 방출한 신호가 물체에 반사되어 제1 센서(101a)로 들어가는 신호는 제1 센서(101a)와 물체 건너편에 있는 제1 센서(101b) 간에 발생하는 직접 간섭과 유사한 형태로 표현될 수 있으며, 제1 센서(101a)에서 취득된 포인트 클라우드 중 간접 간섭이 발생 가능한 영역에 해당하는 간접 간섭 반경(R_indirect)은 직접 간섭 반경과 유사한 방식으로 정의될 수 있다. 도 5c는 제1 센서(101a)에서 취득된 포인트 클라우드 중 간접 간섭이 발생 가능한 영역에 해당하는 간접 간섭 반경(R_indirect)을 기하학적으로 도시한 것이다. 간접 간섭 반경은 다음과 같은 과정을 통해 계산될 수 있다.
제1 센서(101a)의 local coordinate에서 제1 센서(101b)의 relative translation이
Figure pat00015
이고, relative rotation matrix가
Figure pat00016
일 때, 제1 센서(101b)의 local coordinate에서의 포인트 클라우드 집합(Pb)을 6-DoF homogeneous transformation을 통해 제1 센서(101a)의 local coordinate로 mapping한 포인트 클라우드 집합(
Figure pat00017
)은 하기 수학식 6과 같이 정의된다.
[수학식 6]
Figure pat00018
상기 수학식 4에서 정의된 집합 Nab의
Figure pat00019
에서
Figure pat00020
를 제1 센서(101a)의 local coordinate로 transformation한 포인트 클라우드 서브 집합은
Figure pat00021
로 정의될 수 있다. 임의의 두점
Figure pat00022
가 있을 때, 제1 센서(101b)에 의한 간접 간섭 영역에 속하는 포인트 클라우드 서브 집합(
Figure pat00023
)은 하기 수학식 7과 같이 정의된다.
[수학식 7]
Figure pat00024
(여기서,
Figure pat00025
Figure pat00026
,
Figure pat00027
,
Figure pat00028
이다.)
Figure pat00029
는 반사 지점을 중심으로 하는 간접 간섭 영역의 반경을 최대값을 결정하는 파라미터 값이다.
간섭 필터 유닛(103A)은 상기 수학식 4에서 정의된 집합 Nab의
Figure pat00030
에서, 상기 수학식 7에 따라 간접 간섭 영역에 존재하는 것으로 결정된 포인트 클라우드 서브 집합을 제거한다. 이에 따라, 간접 간섭에 의해 발생한 포인트 클라우드 서브 집합이 제거될 수 있다.
간섭 필터 유닛(103A)은 신호 간섭에 의한 노이즈를 제거한 각각의 제1 센싱 신호를 통합 포인트 클라우드 생성 유닛(103B)으로 제공한다.
본 발명의 시스템(10)이 적용된 차량은 움직이고 있는 상태이나, 제1 센서(101)는 이러한 움직임에 대한 고려없이 센싱을 수행한다. 즉, 제1 센서(101)가 제1 취득 시간 동안 제1 센싱 신호를 생성하는 과정에서 차량은 계속해서 움직이는 상태일 수 있다. 따라서, 제1 센싱 신호를 구성하는 복수의 포인트의 위치는 이러한 차량의 움직임에 대한 보상, 특정 기준 시점으로 복수의 포인트를 조절할 필요성이 있다.
통합 포인트 클라우드 생성 유닛(103B)은 차량의 움직임에 따라 트위스트된 복수의 포인트의 위치를 특정 기준 시간에 해당하는 위치로 변경한다. 즉, 통합 포인트 클라우드 생성 유닛(103B)은 각 포인트 정보 3차원 공간 상의 위치를 상기 기준 시간에 대응하는 위치로 변경하는 언-트위스트(Untwist)를 수행한다. 여기서, 언-트위스트는 제1 센싱 신호에 복수의 포인트의 3차원 공간 상의 위치를 상기 기준 시간에 대응하는 위치로 보정하는 것을 의미한다.
기준 시간은 제1 센서(101)가 센싱을 시작한 제1 시점(t1)일 수 있으나, 이에 한정되는 것은 아니며 센싱이 완료된 제4 시점(t4)일 수도 있다. 즉, 기준 시간은 미리 설정된 소정의 시간 구간에 해당하는 제1 취득 시간의 특정 시점에 해당하는 것으로 제1 시점(t1) 또는 제4 시점(t4)에 특정되는 것은 아니다. 이하에서, 설명을 위해 제1 통합 센싱 신호의 기준 시간을 제1 시점(t1)으로 특정하도록 한다.
통합 포인트 클라우드 생성 유닛(103B)은 위치 센서(106)로부터 제공받은 차량의 속도 정보 및 위치 정보를 기초로 트위스트된 복수의 포인트 정보의 기준 시간에 해당하는 위치 정보를 추론하며, 복수의 포인트 정보의 위치를 기준 시간에 대응하는 위치로 조정한다.
통합 포인트 클라우드 생성 유닛(103B)은 복수의 제1 센서(101) 각각으로부터 제1 센싱 신호를 수신하고, 수신된 복수의 제1 센싱 신호 각각에 대한 위치 보정(언-트위스트)을 수행하여 보정된 제1 센싱 신호를 생성한다.
통합 포인트 클라우드 생성 유닛(103B)은 보정된 복수의 제1 센싱 신호를 통합하여 제1 통합 센싱 신호(Merged first sensing signal)를 생성할 수 있다. 생성된 제1 통합 센싱 신호는 종래 복수의 제1 센싱 신호에 포함된 포인트 정보가 모두 합쳐진 상태일 수 있으며, 동일한 기준 시점을 가진 신호에 해당한다. 생성된 제1 통합 센싱 신호는 트래킹 모듈(104) 및 시간 동기화 모듈(105)로 각각 제공된다.
트래킹 모듈(104)은 차량 주변의 객체들의 움직임을 추적한 트랙렛 정보(tracklet information)를 생성한다. 구체적으로, 트래킹 모듈(104)은 제1 통합 센싱 신호를 분석하고 현재의 제1 통합 센싱 신호의 분석 결과와 이전 주기의 제1 통합 센싱 신호의 분석 결과를 비교하여, 각 포인트의 속도 정보를 포함하는 트랙렛 정보를 생성할 수 있다. 트래킹 모듈(104)은 메모리를 더 포함할 수 있으며, 현재의 제1 통합 센싱 신호의 분석 결과는 메모리에 저장되어 다음 주기의 트랙렛 정보의 계산에 사용될 수 있다. 트래킹 모듈(104)에서, 제1 통합 센싱 신호는 예시적으로, 기술자 계산(descriptor) 또는 물체 탐지 방법을 통해 분석될 수 있으나, 이에 한정되는 것은 아니다.
트래킹 모듈(104)은 각 포인트별로 주변 포인트와의 관계를 나타내는 기술자(descriptor)를 계산할 수 있다. 즉, 기술자(descriptor)는 상술한 제1 통합 센싱 신호의 분석 결과에 해당할 수 있다. 트래킹 모듈(104)은 현재 제공된 제1 통합 센싱 신호의 기술자와 이전의 제1 통합 센싱 신호의 기술자를 서로 비교하여 대응되는 포인트를 찾은 후, 이동 정보를 파악하여 속도를 추정하는 포인트 단위의 트랙렛 정보를 생성할 수 있다. 여기서, 복수의 포인트는 각각이 하나의 객체로 활용되거나, 포인트를 격자화 시켜서 하나의 객체로 활용될 수도 있다.
또한, 트래킹 모듈(104)은 탐지된 물체를 기준으로 움직임을 추적할 수도 있다. 즉, 트래킹 모듈(104)은 제1 통합 센싱 신호에 포함된 포인트로부터 추적을 수행할 객체를 특정하는 작업인 물체 탐지(detection)를 먼저 수행할 수 있다. 물체 탐지(detection)는 제1 통합 센싱 신호에 포함된 다른 차량(other vehicle), 보행자(pedestrian) 등과 같이 추적을 수행할 객체를 분류하는 분류 과정(classification) 및/또는 물체를 거리 기반으로 세분화하는 세그맨테이션(segmentation) 과정을 포함하여 수행될 수 있다. 트래킹 모듈(104)은 현재 제1 통합 센싱 신호를 분석하여 탐지된 객체와 이전의 제1 통합 센싱 신호를 분석하여 탐지된 객체를 비교하여 객체들에 대한 움직임을 추적할 수 있다. 트래킹 모듈(104)은 상술한 추적을 통해 객체의 3차원 공간상 위치 및 이동 속도 정보를 포함하는 트랙렛 정보를 생성할 수 있다. 생성된 트랙렛 정보는 시간 동기화 모듈(105)에 제공될 수 있다.
시간 동기화 모듈(105)은 포인트 클라우드 생성 모듈(103)로부터 제1 통합 센싱 신호(Merged first sensing signal)를 수신하고, 제2 센서(102)로부터 제2 센싱 신호(second sensing signal)를 수신하며, 트래킹 모듈(104)로부터 트랙렛 정보(tracklet information)를 수신하고, 위치 센서(106)로부터 차량의 속도 정보(Ego vehicle's velocity)를 수신한다.
제2 센서(102)는 제1 센싱 신호와 상이한 시점에, 제2 센싱 신호를 취득할 수 있으며, 도 3에 도시된 바와 같이, 제3 시점(t3)에 제2 센싱 신호를 취득할 수 있다. 제2 센서(102)는 복수개로 구성될 수 있다. 여기서, 제2 센싱 신호는 주변 환경에 대한 이미지 신호일 수 있다. 제2 센서(102)가 제2 센싱 신호를 취득한 제3 시점(t3)과 제1 통합 센싱 신호에서 기준 시간에 해당하는 제1 시점(t1)은 서로 상이한 시점일 수 있다. 여기서, 제2 센서(102)가 제2 센싱 신호를 취득한 제3 시점(t3)은 제1 센서(101)가 제1 센싱 신호를 취득한 제1 취득 시간(t1 ~ t4) 내에 포함되는 특정 시점일 수 있으나, 이에 한정되는 것은 아니다. 몇몇 실시예에서, 제3 시점(t3)은 제1 통합 센싱 신호에서 기준 시간에 해당하는 제1 시점(t1)보다 이전 시점이거나 제3 시점(t3)보다 이후 시점일 수도 있다.
따라서, 서로 취득 시점이 상이한 제2 센싱 신호(이미지) 상에 제1 통합 센싱 신호(포인트 클라우드)를 표시하는 경우, 취득 시점이 상이하기에 정확하게 매칭되지 않을 수 있다. 또한, 제1 센서(101)가 제1 취득 시간(t1 ~ t4) 동안 제1 센싱 신호를 생성할 때, 이동하는 객체를 탐지한 시점은 제2 시점(t2)일 수 있다.
특정 시간 t에 대한 자율 주행 차량 중심 좌표계(Ego vehicle coordinate at time t)를
Figure pat00031
, 특정 시간 t에 대한 탐지된 이동하는 객체(트랙렛)의 좌표계(Tracklet coordinate at time)를
Figure pat00032
라고 정의할 때, 자율 주행 차량 중심 좌표계에서 본 트랙렛의 위치(position of tracklet at time t based on Ego vehicle coordinate at time t)는
Figure pat00033
로 정의된다.
포인트 클라우드 생성 모듈(103)을 통해 생성된 제1 통합 센싱 신호에서 각 포인트들은 기준 시간이 제1 시점(t1--)일 수 있으며, 트랙렛의 위치는
Figure pat00034
로 정의될 수 있다. 이러한 제1 통합 센싱 신호는 제3 시점(t3)에서 취득된 제2 센싱 신호와 싱크가 맞지 않은 상태의 데이터이다. 여기서, 제3 시점(t3)은 상기 제1 시점(t1--)과 가장 가까운 제2 센싱 신호의 취득 시점일 수 있다. 시간 동기화 모듈(105)은 제1 통합 센싱 신호와 제2 센싱 이미지를 동기화하기 위해 하기 Origin Time Shifting(OTS)와 Tracklet Movement Compensation(TMC)을 수행한다.
여기서, Origin Time Shifting(OTS)은 하기 수학식 8과 같이 정의될 수 있다.
[수학식 8]
Figure pat00035
즉, Origin Time Shifting(OTS)은 자율 주행 차량의 속도 보정으로, 자율 주행 차량의 움직임을 반영하여 제1 시점(t1)의 제1 통합 센싱 신호를 제3 시점(t3) 시점으로 이동시키는 것을 의미한다. 제1 통합 센싱 신호의 각 포인트는
Figure pat00036
에서 제2 센싱 신호의 취득 시점인 제3 시점(t3)에 대응하는 위치인
Figure pat00037
로 이동될 수 있다.
또한, Tracklet Movement Compensation(TMC)은 하기 수학식 9와 같이 정의될 수 있다.
[수학식 9]
Figure pat00038
Tracklet Movement Compensation(TMC)는 이동하는 객체의 움직임에 대한 보정으로, 트랙렛의 움직임을 반영하여 트랙렛의 위치를 이동시키는 보정에 해당한다. 상술한 바와 같이, 트랙렛은 제2 시점(t2)에 취득되었고, 현재 기준 시간은 제3 시점(t3)에 해당한다. 따라서, 트랙렛의 계속적인 움직임으로 인한 위치 변동을 고려한 보정이 필요하다. 즉, Tracklet Movement Compensation(TMC)은 t3-t2의 시간차만큼 트랙렛의 움직임에 대한 보정을 수행한다. OTS를 통해 자차 속도 보정을 한 트랙렛의 위치는
Figure pat00039
에서, TMC를 통해
Figure pat00040
로 보정된다.
도 9에 도시된 바와 같이, 시간 동기화 모듈(105)은 OTS 유닛(105A), 시간 차이 계산 유닛(105B), TMC 유닛(105C)을 포함한다.
OTS 유닛(105A)은 상술한 Origin Time Shifting을 수행한다. OTS 유닛(105A)은 자율 주행 차량의 움직임을 반영하여 제1 시점(t1) 시점의 제1 통합 센싱 신호를 제3 시점(t3) 시점으로 이동할 수 있다. 자율 주행 차량의 움직임은 위치 센서(106)로부터 제공된 차량의 속도, 차량의 위치에 대한 정보에 기초하여 획득될 수 있다. 제1 통합 센싱 신호의 각 포인트는
Figure pat00041
에서 제2 센싱 신호의 취득 시점인 제3 시점(t3)에 대응하는 위치인
Figure pat00042
로 이동될 수 있다. OTS는 멈춰있는 트랙렛을 자율 주행 차량이 움직이면서 취득한 데이터를 보정하는 케이스에 효과적이다. 도 10은 차량이 앞으로 움직이는 상황에서, 취득한 제1 통합 센싱 신호에 OTS를 적용한 데이터를 제2 센싱 신호와 함께 표시한 것이다.
Figure pat00043
번 트랙렛과
Figure pat00044
번 트랙렛은 정차중인 차량이다. 제1 센싱 신호 취득 도중 제2 센싱 신호가 취득되었고, 이후 제1 센서에 의해
Figure pat00045
번 트랙렛과
Figure pat00046
번 트랙렛이 차례로 취득된 상황이다. OTS 적용 이전,
Figure pat00047
번 트랙렛과
Figure pat00048
번 트랙렛은 제2 센싱 신호(이미지)보다 늦게 취득 되었고, 그 시간차만큼 차량이 앞으로 움직였기 때문에 point cloud는 이미지보다 가까이 위치한 것으로 표시된다. OTS를 통해 제1 통합 센싱 신호의 각 포인트는 제2 센싱 신호의 취득 시점에 대응하는 위치로 보정된 경우, 멈춰있는
Figure pat00049
번 트랙렛과
Figure pat00050
번 트랙렛은 이미지와 정확히 매칭된다.
시간 차이 계산 유닛(105B)은 제1 통합 센싱 신호의 각 포인트들이 취득된 시간과 제2 센싱 신호가 취득된 시간의 차이를 계산할 수 있다. 제1 센서(101)가 회전하면서 자율 주행 차량 주변을 정보를 획득하는 경우, 제1 센서(101)의 회전에 따라 센싱되는 포인트의 취득 시간은 달라질 수 있다. 제1 센싱 신호에 포함된 복수의 포인트는 취득 시점이 제1 취득 시간 내에서 각각 상이하다. 예를 들어, 도 10의
Figure pat00051
번 트랙렛과
Figure pat00052
번 트랙렛도 취득된 시간이 서로 상이하였다. 통합 포인트 클라우드 생성 유닛(103B)은 제1 통합 센싱 신호의 각 포인트들의 취득 시간을 기록할 수 있으며, 각 포인트들의 취득 시간은 제1 통합 센싱 신호에 포함되어 시간 차이 계산 유닛(105B)에 제공될 수 있다. 시간 차이 계산 유닛(105B)은 제1 통합 센싱 신호에 포함된 각 포인트들의 취득된 시간과 제2 센싱 신호가 취득된 시간의 차이(t3-t2)를 각각 계산할 수 있다. 시간 차이 계산 유닛(105B)에서 계산된 시간 차이(t3-t2)는 TMC 유닛(105C)에 제공된다.
몇몇 실시예에서, 제1 센서(101)는 회전하지 않고 자율 주행 차량 주변의 정보를 동시에 획득하는 플래쉬 타입의 라이다일 수 있다. 이러한 경우, 제1 통합 센싱 신호의 각 포인트의 취득 시간은 실질적으로 동일할 수 있다. 따라서, 제1 통합 센싱 신호의 각 포인트가 취득된 시간이 동일한 경우 각 포인트별로 제2 센싱 신호가 취득된 시간의 차이를 계산하는 과정은 생략될 수도 있다.
TMC 유닛(105C)은 상술한 Tracklet Movement Compensation(TMC)을 수행한다. TMC 유닛(105C)은 시간 차이 계산 유닛(105B)으로부터 제1 통합 센싱 신호의 각 포인트들이 취득된 시간과 제2 센싱 신호가 취득된 시간의 차이(t3-t2)를 수신하고, 트래킹 모듈(104)로부터 객체의 3차원 공간상 위치 및 이동 속도 정보를 포함하는 트랙렛 정보를 수신한다. TMC 유닛(105C)은 트랙렛의 움직임과 상기 시간 차이를 반영하여 트랙렛의 위치를 이동시키는 보정을 수행한다. 즉, 제1 통합 센싱 신호의 포인트 중 움직이는 대상에 해당하는 포인트는 이동 속도와 시간 차이를 고려하여 위치가 재조정될 수 있다. 이러한, TMC는 움직이는 트랙렛을 자율 주행 차량이 멈춘 상태에서 취득한 데이터를 보정하는 케이스에 효과적이다. 도 11의 자율 주행 차량은 멈춰있고,
Figure pat00053
번 트랙렛은 앞으로 움직이는 상황에 TMC를 적용한 예시이다. 제1 센서(라이다)에 의해
Figure pat00054
번 트랙렛이 취득되었고, 이후 제2 센싱 신호(이미지)가 취득된 상황이다. TMC를 적용하기 이전에, 제1 센서에 의해 취득된
Figure pat00055
번 트랙렛은 제2 센싱 신호보다 먼저 취득되었고, 그 시간차만큼 트랙렛이 앞으로 움직였기 때문에 도 11의 TMC 적용 이전에 도시된 바와 같이, point cloud는 이미지보다 뒤쪽에 있는 것처럼 나온다. 도 11의 TMC 적용 이후에 도시된 바와 같이, TMC를 통해 보정된 움직이는
Figure pat00056
번 트랙렛은 이미지와 정확히 매칭된다.
시간 동기화 모듈(105)은 상술한 바와 같이, Origin Time Shifting(OTS)와 Tracklet Movement Compensation(TMC)을 수행하여, 제1 통합 센싱 신호와 제2 센싱 신호를 동기화하며, 이종 센서들 사이의 융합을 위한 데이터 처리를 제공한다. 또한, 포인트 클라우드 생성 모듈(103)은 직접 간섭 및 간접 간섭에 의한 노이즈 포인트를 수신된 각각의 제1 센싱 신호에서 제거할 수 있어, 보다 정확한 센싱 데이터의 생성을 제공한다.
이하, 본 발명의 다른 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 방법에 대해 설명한다.
도 12는 본 발명의 다른 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 방법의 순서도이다. 도 12에 따른 데이터 처리 방법은 상술한 도 1 내지 도 11의 데이터 처리 시스템(10)에서 수행된다. 복수의 이종 센서의 융합을 위한 데이터 처리 시스템(10)은 제1 센서(101), 제2 센서(102), 포인트 클라우드 생성 모듈(103), 트래킹 모듈(104), 시간 동기화 모듈(105), 및 위치 센서(106)를 포함한다. 본 실시예의 설명 및 이해를 위해 도 1 내지 도 11의 데이터 처리 시스템(10)에 대한 설명이 참조될 수 있다.
먼저, 복수의 제1 센서가(101)가, 제1 취득 시간 동안 차량 주변 환경을 감지한 제1 센싱 신호를 각각 생성한다(S100).
제1 센싱 신호는 차량 주변 환경의 3차원 공간 위치에 대한 정보를 포함하는 복수의 포인트로 구성된다. 제1 센서(101)는 차량 주변의 환경을 감지하기 위해 제1 신호를 차량 주변에 방출하며, 차량 주변의 환경에서 반사되어 돌아오는 제1 신호의 시간을 측정함으로써, 반사 지점의 공간 위치와 관련된 제1 센싱 신호를 생성한다. 여기서, 제1 취득 시간은 미리 설정된 소정의 시간 구간을 의미한다. 제1 센서(101)는 도 3에 도시된 바와 같이, 제1 시점(t1)부터 제4 시점(t4)에 해당하는 기간인 제1 취득 시간 동안 차량 주변을 센싱하여 제1 센싱 신호를 생성한다.
다음으로, 제2 센서(102)가, 제2 취득 시간 동안 상기 차량 주변 환경을 감지하여 제2 센싱 신호를 생성한다(S110).
여기서 제1 센서(101)와 제2 센서(102)는 제1 센싱 신호의 취득 시점과 제2 센싱 신호의 취득 시점이 상이할 수 있다. 또한, 제1 센서(101)와 제2 센서(102)는 제1 센싱 신호를 취득하는 방식과 제2 센싱 신호의 취득하는 방식이 상이할 수 있다. 즉, 상기 제2 센서와 상기 제1 센서는 센싱 신호를 생성하는 시점 및 센싱 신호 취득 방식 중 적어도 하나가 상이할 수 있다. 예시적으로, 제1 센서(101)는 전자기파를 이용한 센싱 방식 또는 레이저를 이용한 센싱 방식일 수 있고, 제2 센서(102)는 빛을 이용한 센싱 방식일 수 있다. 제2 센서(102)는 제3 시점(t3)에 제2 센싱 신호를 취득할 수 있다. 제2 센싱 신호는 주변 환경에 대한 이미지 신호일 수 있다.
포인트 클라우드 생성 모듈(103)이, 상기 복수의 제1 센서에서 제공된 복수의 상기 제1 센싱 신호의 취득 시점을 상기 제1 취득 시간 내의 제1 시점으로 특정하고, 상기 특정된 제1 시점을 기준으로 상기 복수의 포인트의 위치를 조정하는 보정된 복수의 제1 센싱 신호를 생성한다(S120).
즉, 제1 센서(101)가 제1 취득 시간 동안 제1 센싱 신호를 생성하는 과정에서 차량은 계속해서 움직이는 상태일 수 있다. 따라서, 제1 센싱 신호를 구성하는 복수의 포인트의 위치는 이러한 차량의 움직임에 대한 보상, 특정 기준 시점으로 복수의 포인트를 조절할 필요성이 있다.
포인트 클라우드 생성 모듈(103)은 차량의 움직임에 따라 트위스트된 복수의 포인트의 위치를 특정 기준 시간에 해당하는 위치로 변경한다. 기준 시간은 제1 센서(101)가 센싱을 시작한 제1 시점(t1)일 수 있으나, 이에 한정되는 것은 아니며 센싱이 완료된 제4 시점(t4)일 수도 있다.
여기서, 상기 특정된 제1 시점을 기준으로 상기 복수의 포인트의 위치를 조정하는 보정된 복수의 제1 센싱 신호를 생성하는 단계(S120)는 위치 센서에서 제공된 차량의 속도 정보 및 위치 정보를 기초로 상기 보정된 복수의 제1 센싱 신호를 생성하는 것을 포함한다. 포인트 클라우드 생성 모듈(103)은 위치 센서(106)로부터 제공받은 차량의 속도 정보 및 위치 정보를 기초로 트위스트된 복수의 포인트 정보의 기준 시간에 해당하는 위치 정보를 추론하며, 복수의 포인트 정보의 위치를 기준 시간에 대응하는 위치로 조정한다. 포인트 클라우드 생성 모듈(103)은 복수의 제1 센서(101) 각각으로부터 제1 센싱 신호를 수신하고, 수신된 복수의 제1 센싱 신호 각각에 대한 위치 보정(언-트위스트)을 수행하여 보정된 제1 센싱 신호를 생성한다.
다음으로, 포인트 클라우드 생성 모듈이, 상기 보정된 복수의 제1 센싱 신호를 통합하여 제1 통합 센싱 신호를 생성한다(S130).
포인트 클라우드 생성 모듈(103)은 보정된 복수의 제1 센싱 신호를 통합하여 제1 통합 센싱 신호(Merged first sensing signal)를 생성할 수 있다. 생성된 제1 통합 센싱 신호는 종래 복수의 제1 센싱 신호에 포함된 포인트 정보가 모두 합쳐진 상태일 수 있으며, 동일한 기준 시점을 가진 신호에 해당한다.
트래킹 모듈(104)이, 상기 제1 통합 센싱 신호를 기초로 상기 차량 주변의 객체들의 움직임을 추적한 트랙렛 정보를 생성한다(S140).
트래킹 모듈(104)은 차량 주변의 객체들의 움직임을 추적한 트랙렛 정보(tracklet information)를 생성한다. 트래킹 모듈(104)은 제1 통합 센싱 신호를 분석하고 현재의 제1 통합 센싱 신호의 분석 결과와 이전 주기의 제1 통합 센싱 신호의 분석 결과를 비교하여, 차량 주변의 객체들의 움직임을 추적할 수 있다. 트래킹 모듈(104)은 제1 통합 센싱 신호의 분석 결과를 저장하기 위한 메모리를 더 포함할 수 있다. 트래킹 모듈(104)은 상술한 추적을 통해 객체의 3차원 공간상 위치 및 이동 속도 정보를 포함하는 트랙렛 정보를 생성할 수 있다.
시간 동기화 모듈(105)이, 상기 제1 센싱 신호의 취득 시점을 상기 제1 시점에서 상기 제2 센싱 신호의 취득 시점으로 동기화한다(S150).
시간 동기화 모듈(105)은 제1 통합 센싱 신호와 제2 센싱 이미지를 동기화하기 위해 하기 Origin Time Shifting(OTS)을 수행한다. Origin Time Shifting(OTS)은 자율 주행 차량의 속도 보정으로, 자율 주행 차량의 움직임을 반영하여 제1 시점(t1)의 제1 통합 센싱 신호를 제2 센싱 신호의 취득 시점인 제3 시점(t3) 시점으로 이동시키는 것을 의미한다.
상기 제1 센싱 신호의 취득 시점을 상기 제1 시점에서 상기 제2 센싱 신호의 취득 시점으로 동기화하는 단계(S150)는, 상기 위치 센서에서 제공된 차량의 속도 정보 및 위치 정보를 기초로 상기 제2 센싱 신호의 취득 시점을 기준으로 상기 복수의 포인트의 위치를 조정하는 것을 포함한다. 제1 통합 센싱 신호의 각 포인트는
Figure pat00057
에서 제2 센싱 신호의 취득 시점인 제3 시점(t3)에 대응하는 위치인
Figure pat00058
로 이동될 수 있다.
다음으로, 시간 동기화 모듈(105)이, 상기 트랙렛 정보에 따라 상기 제1 센싱 신호에서 차량 주변의 객체들의 움직임을 보상한다(S160).
시간 동기화 모듈(105)은 제1 통합 센싱 신호와 제2 센싱 이미지를 동기화하기 위해 Tracklet Movement Compensation(TMC)을 수행한다. Tracklet Movement Compensation(TMC)은 이동하는 객체의 움직임에 대한 보정으로, 트랙렛의 움직임을 반영하여 트랙렛의 위치를 이동시키는 보정에 해당한다. 상술한 바와 같이, 트랙렛은 제2 시점(t2)에 취득되었고, 현재 기준 시간은 제3 시점(t3)에 해당한다. 따라서, 트랙렛의 계속적인 움직임으로 인한 위치 변동을 고려한 보정이 필요하다. 즉, Tracklet Movement Compensation(TMC)은 t3-t2의 시간차만큼 트랙렛의 움직임에 대한 보정을 수행한다. OTS를 통해 OTS를 통해 자차 속도 보정을 한 트랙렛의 위치는
Figure pat00059
에서, TMC를 통해
Figure pat00060
로 보정된다.
여기서, 제1 센싱 신호에 포함된 복수의 포인트는 취득 시점이 상기 제1 취득 시간 내에서 각각 상이하며, 상기 시간 동기화 모듈(105)은 상기 복수의 포인트의 취득 시점을 기록할 수 있다.
상기 트랙렛 정보에 따라 상기 제1 센싱 신호에서 차량 주변의 객체들의 움직임을 보상하는 단계(S160)를 수행하기 이전에, 상기 시간 동기화 모듈이, 상기 복수의 포인트의 취득 시점 각각과 상기 제2 센싱 신호의 취득 시점의 시간 차이를 계산하는 단계가 더 수행될 수 있다. 즉, 트랙렛 정보에 따라 상기 제1 센싱 신호에서 차량 주변의 객체들의 움직임을 보상하는 단계(S160)는, 상기 계산된 시간 차이에 따라 상기 주변의 객체들의 움직임을 보상할 수 있다.
여기서, 본 실시예에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 방법은 복수의 제1 센서 사이에서 발생하는 간섭에 의한 노이즈를 상기 제1 센싱 신호에서 제거하는 단계를 더 포함할 수 있다.
여기서, 복수의 제1 센서 사이에서 발생하는 간섭에 의한 노이즈를 상기 제1 센싱 신호에서 제거하는 단계는, 상기 복수의 제1 센서 상호간에 직접 간섭이 발생 가능한 영역을 정의하여, 상기 영역에 포함된 복수의 포인트의 취득 시간을 고려하여 상기 영역 내의 포인트를 상기 직접 간섭을 필터링하고, 상기 복수의 제1 센서 상호간에 간접 간섭이 발생 가능한 시간을 정의하여, 상기 시간에 포함된 복수의 포인트의 위치를 고려하여 간접 간섭을 필터링하는 것을 포함한다.
이상에서 설명한 실시예들에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 복수의 이종 센서의 융합을 위한 데이터 처리 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 복수의 이종 센서의 융합을 위한 데이터 처리 시스템
101: 포인트 클라우드 생성 모듈
102: 트래킹 모듈
103: 시간 동기화 모듈

Claims (17)

  1. 제1 취득 시간 동안 차량 주변 환경을 감지한 제1 센싱 신호를 각각 생성하는 복수의 제1 센서로, 상기 제1 센싱 신호는 상기 차량 주변 환경의 3차원 공간 위치에 대한 정보를 포함하는 복수의 포인트로 구성되는, 복수의 제1 센서;
    상기 제1 센서와 상이한 센서로서, 상기 차량 주변 환경을 감지하여 제2 센싱 신호를 생성하는 제2 센서;
    상기 복수의 제1 센서에서 제공된 복수의 상기 제1 센싱 신호의 취득 시점을 상기 제1 취득 시간 내의 제1 시점으로 특정하고, 상기 특정된 제1 시점을 기준으로 상기 복수의 포인트의 위치를 조정하는 보정된 복수의 제1 센싱 신호를 생성하며, 상기 보정된 복수의 제1 센싱 신호를 통합하여 제1 통합 센싱 신호를 생성하는 통합 포인트 클라우드 생성 유닛을 포함하는 포인트 클라우드 생성 모듈;
    상기 제1 통합 센싱 신호를 기초로 상기 차량 주변의 객체들의 움직임을 추적한 트랙렛 정보를 생성하는 트래킹 모듈; 및
    상기 제1 센싱 신호의 취득 시점을 상기 제1 시점에서 상기 제2 센싱 신호의 취득 시점으로 동기화하는 OTS 유닛; 및 상기 트랙렛 정보에 따라 상기 제1 센싱 신호에서 차량 주변의 객체들의 움직임을 보상하는 TMC 유닛을 포함하는 시간 동기화 모듈을 포함하는 복수의 이종 센서의 융합을 위한 데이터 처리 시스템.
  2. 제1 항에 있어서,
    상기 포인트 클라우드 생성 모듈은 상기 복수의 제1 센서 사이에서 발생하는 간섭에 의한 노이즈를 상기 제1 센싱 신호에서 제거하는 간섭 필터 유닛을 더 포함하는 것을 특징으로 하는 복수의 이종 센서의 융합을 위한 데이터 처리 시스템.
  3. 제2 항에 있어서,
    상기 간섭 필터 유닛은,
    상기 복수의 제1 센서 상호간에 직접 간섭이 발생 가능한 영역을 정의하여, 상기 영역에 포함된 복수의 포인트의 취득 시간을 고려하여 상기 영역 내의 직접 간섭을 필터링하고,
    상기 복수의 제1 센서 상호간에 간접 간섭이 발생 가능한 시간을 정의하여, 상기 시간에 포함된 복수의 포인트의 위치를 고려하여 간접 간섭을 필터링하는 것을 특징으로 하는 복수의 이종 센서의 융합을 위한 데이터 처리 시스템.
  4. 제1 항에 있어서,
    상기 차량의 속도 정보 및 위치 정보를 취득하는 위치 센서를 더 포함하고,
    상기 통합 포인트 클라우드 생성 유닛은 상기 위치 센서에서 제공된 차량의 속도 정보 및 위치 정보를 기초로 상기 보정된 복수의 제1 센싱 신호를 생성하며,
    상기 OTS 유닛은 상기 위치 센서에서 제공된 차량의 속도 정보 및 위치 정보를 기초로 상기 제2 센싱 신호의 취득 시점을 기준으로 상기 복수의 포인트의 위치를 조정하는 것을 특징으로 하는 복수의 이종 센서의 융합을 위한 데이터 처리 시스템.
  5. 제1 항에 있어서,
    상기 제1 센싱 신호에 포함된 복수의 포인트는 취득 시점이 상기 제1 취득 시간 내에서 각각 상이하며,
    상기 시간 동기화 모듈은 상기 복수의 포인트의 취득 시점 각각과 상기 제2 센싱 신호의 취득 시점의 시간 차이를 계산하는 시간 차이 계산 유닛을 더 포함하는 것을 특징으로 하는 복수의 이종 센서의 융합을 위한 데이터 처리 시스템.
  6. 제5 항에 있어서,
    상기 TMC 유닛은 상기 시간 차이 계산 유닛에서 계산된 시간 차이에 따라 상기 주변의 객체들의 움직임을 보상하는 것을 특징으로 하는 복수의 이종 센서의 융합을 위한 데이터 처리 시스템.
  7. 제1 항에 있어서,
    상기 제2 센서와 상기 제1 센서는 센싱 신호를 취득하는 방식 및 센싱 신호를 생성하는 시점 중 적어도 하나가 상이한 것을 특징으로 하는 복수의 이종 센서의 융합을 위한 데이터 처리 시스템.
  8. 제7 항에 있어서,
    상기 제1 센서는 라이다이고, 상기 제2 센서는 카메라인 것을 특징으로 하는 복수의 이종 센서의 융합을 위한 데이터 처리 시스템.
  9. 복수의 제1 센서가, 제1 취득 시간 동안 차량 주변 환경을 감지한 제1 센싱 신호를 각각 생성하는 단계로, 상기 제1 센싱 신호는 상기 차량 주변 환경의 3차원 공간 위치에 대한 정보를 포함하는 복수의 포인트로 구성되는, 생성하는 단계;
    상기 제1 센서와 상이한 제2 센서가, 상기 차량 주변 환경을 감지하여 제2 센싱 신호를 생성하는 단계;
    포인트 클라우드 생성 모듈이, 상기 복수의 제1 센서에서 제공된 복수의 상기 제1 센싱 신호의 취득 시점을 상기 제1 취득 시간 내의 제1 시점으로 특정하고, 상기 특정된 제1 시점을 기준으로 상기 복수의 포인트의 위치를 조정하는 보정된 복수의 제1 센싱 신호를 생성하는 단계;
    상기 포인트 클라우드 생성 모듈이, 상기 보정된 복수의 제1 센싱 신호를 통합하여 제1 통합 센싱 신호를 생성하는 단계;
    트래킹 모듈이, 상기 제1 통합 센싱 신호를 기초로 상기 차량 주변의 객체들의 움직임을 추적한 트랙렛 정보를 생성하는 단계;
    시간 동기화 모듈이, 상기 제1 센싱 신호의 취득 시점을 상기 제1 시점에서 상기 제2 센싱 신호의 취득 시점으로 동기화하는 단계; 및
    상기 시간 동기화 모듈이, 상기 트랙렛 정보에 따라 상기 제1 센싱 신호에서 차량 주변의 객체들의 움직임을 보상하는 단계를 포함하는 복수의 이종 센서의 융합을 위한 데이터 처리 방법.
  10. 제9 항에 있어서,
    상기 복수의 제1 센서 사이에서 발생하는 간섭에 의한 노이즈를 상기 제1 센싱 신호에서 제거하는 단계를 더 포함하는 복수의 이종 센서의 융합을 위한 데이터 처리 방법.
  11. 제10 항에 있어서,
    상기 복수의 제1 센서 사이에서 발생하는 간섭에 의한 노이즈를 상기 제1 센싱 신호에서 제거하는 단계는,
    상기 복수의 제1 센서 상호간에 직접 간섭이 발생 가능한 영역을 정의하여, 상기 영역에 포함된 복수의 포인트의 취득 시간을 고려하여 상기 영역 내의 포인트를 상기 직접 간섭을 필터링하고,
    상기 복수의 제1 센서 상호간에 간접 간섭이 발생 가능한 시간을 정의하여, 상기 시간에 포함된 복수의 포인트의 위치를 고려하여 간접 간섭을 필터링하는 것을 포함하는 복수의 이종 센서의 융합을 위한 데이터 처리 방법.
  12. 제9 항에 있어서,
    상기 특정된 제1 시점을 기준으로 상기 복수의 포인트의 위치를 조정하는 보정된 복수의 제1 센싱 신호를 생성하는 단계는 위치 센서에서 제공된 차량의 속도 정보 및 위치 정보를 기초로 상기 보정된 복수의 제1 센싱 신호를 생성하는 것을 포함하며,
    상기 제1 센싱 신호의 취득 시점을 상기 제1 시점에서 상기 제2 센싱 신호의 취득 시점으로 동기화하는 단계는, 상기 위치 센서에서 제공된 차량의 속도 정보 및 위치 정보를 기초로 상기 제2 센싱 신호의 취득 시점을 기준으로 상기 복수의 포인트의 위치를 조정하는 것을 포함하는 복수의 이종 센서의 융합을 위한 데이터 처리 방법.
  13. 제9 항에 있어서,
    상기 제1 센싱 신호에 포함된 복수의 포인트는 취득 시점이 상기 제1 취득 시간 내에서 각각 상이하며,
    상기 시간 동기화 모듈이, 상기 복수의 포인트의 취득 시점 각각과 상기 제2 센싱 신호의 취득 시점의 시간 차이를 계산하는 단계를 더 포함하는 복수의 이종 센서의 융합을 위한 데이터 처리 방법.
  14. 제13 항에 있어서,
    상기 트랙렛 정보에 따라 상기 제1 센싱 신호에서 차량 주변의 객체들의 움직임을 보상하는 단계는, 상기 계산된 시간 차이에 따라 상기 주변의 객체들의 움직임을 보상하는 것을 포함하는 복수의 이종 센서의 융합을 위한 데이터 처리 방법.
  15. 제9 항에 있어서,
    상기 제2 센서와 상기 제1 센서는 센싱 신호를 취득하는 방식 및 센싱 신호를 생성하는 시점 중 적어도 하나가 상이한 것을 특징으로 하는 복수의 이종 센서의 융합을 위한 데이터 처리 방법.
  16. 제15 항에 있어서,
    상기 제1 센서는 라이다이고, 상기 제2 센서는 카메라인 것을 특징으로 하는 복수의 이종 센서의 융합을 위한 데이터 처리 방법.
  17. 컴퓨터 판독 가능 명령을 저장하는 적어도 하나의 비 일시적 컴퓨터 판독 가능 저장 매체로서, 상기 컴퓨터 판독 가능 명령이 단계들을 수행하도록 하며, 상기 단계들은:
    복수의 제1 센서가, 제1 취득 시간 동안 차량 주변 환경을 감지한 제1 센싱 신호를 각각 생성하는 단계로, 상기 제1 센싱 신호는 상기 차량 주변 환경의 3차원 공간 위치에 대한 정보를 포함하는 복수의 포인트로 구성되는, 생성하는 단계;
    상기 제1 센서와 상이한 종류의 제2 센서가, 상기 차량 주변 환경을 감지하여 제2 센싱 신호를 생성하는 단계;
    포인트 클라우드 생성 모듈이, 상기 복수의 제1 센서에서 제공된 복수의 상기 제1 센싱 신호의 취득 시점을 상기 제1 취득 시간 내의 제1 시점으로 특정하고, 상기 특정된 제1 시점을 기준으로 상기 복수의 포인트의 위치를 조정하는 보정된 복수의 제1 센싱 신호를 생성하는 단계;
    상기 포인트 클라우드 생성 모듈이, 상기 보정된 복수의 제1 센싱 신호를 통합하여 제1 통합 센싱 신호를 생성하는 단계;
    트래킹 모듈이, 상기 제1 통합 센싱 신호를 기초로 상기 차량 주변의 객체들의 움직임을 추적한 트랙렛 정보를 생성하는 단계;
    시간 동기화 모듈이, 상기 제1 센싱 신호의 취득 시점을 상기 제1 시점에서 상기 제2 센싱 신호의 취득 시점으로 동기화하는 단계; 및
    상기 시간 동기화 모듈이, 상기 트랙렛 정보에 따라 상기 제1 센싱 신호에서 차량 주변의 객체들의 움직임을 보상하는 단계를 포함하는, 저장 매체.
KR1020200112791A 2019-09-05 2020-09-04 복수의 이종 센서의 융합을 위한 데이터 처리 시스템 및 방법 KR102340830B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/561,882 US11287530B2 (en) 2019-09-05 2019-09-05 Data processing system and method for fusion of multiple heterogeneous sensors
US16/561,882 2019-09-05

Publications (2)

Publication Number Publication Date
KR20210029684A true KR20210029684A (ko) 2021-03-16
KR102340830B1 KR102340830B1 (ko) 2021-12-21

Family

ID=74850002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200112791A KR102340830B1 (ko) 2019-09-05 2020-09-04 복수의 이종 센서의 융합을 위한 데이터 처리 시스템 및 방법

Country Status (2)

Country Link
US (1) US11287530B2 (ko)
KR (1) KR102340830B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11733346B2 (en) * 2021-02-24 2023-08-22 Qualcomm Incorporated Assistance information to aid with cooperative radar sensing with imperfect synchronization
US11635495B1 (en) 2021-03-26 2023-04-25 Aeye, Inc. Hyper temporal lidar with controllable tilt amplitude for a variable amplitude scan mirror
US11604264B2 (en) 2021-03-26 2023-03-14 Aeye, Inc. Switchable multi-lens Lidar receiver
US11486977B2 (en) 2021-03-26 2022-11-01 Aeye, Inc. Hyper temporal lidar with pulse burst scheduling
US11686845B2 (en) 2021-03-26 2023-06-27 Aeye, Inc. Hyper temporal lidar with controllable detection intervals based on regions of interest
US11500093B2 (en) 2021-03-26 2022-11-15 Aeye, Inc. Hyper temporal lidar using multiple matched filters to determine target obliquity

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004535586A (ja) * 2001-07-17 2004-11-25 ローベルト　ボツシユ　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツング 複数の車両センサの時間的同期のための方法
KR20170124287A (ko) * 2016-05-02 2017-11-10 한국전자통신연구원 융합형 물체 감지 정보를 이용한 운전자 보조 시스템 및 방법
US20190098233A1 (en) * 2017-09-28 2019-03-28 Waymo Llc Synchronized Spinning LIDAR and Rolling Shutter Camera System
KR20190049871A (ko) * 2016-09-20 2019-05-09 이노비즈 테크놀로지스 엘티디 Lidar 시스템 및 방법
KR20190055267A (ko) * 2016-11-16 2019-05-22 웨이모 엘엘씨 라이다(lidar) 디바이스를 보호하기 위한 방법들 및 시스템들

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7042854B2 (en) * 2000-06-26 2006-05-09 Hughes Network Systems, Llc Method and apparatus for acquiring a synchronization signal
CN100525379C (zh) * 2007-11-15 2009-08-05 北京中星微电子有限公司 行同步信号的侦测方法及装置
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
KR101067768B1 (ko) * 2009-12-04 2011-09-28 (주) 알디텍 영상신호와 센서신호의 동기화 시스템 및 방법
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
US9964643B2 (en) * 2011-12-08 2018-05-08 Conduent Business Services, Llc Vehicle occupancy detection using time-of-flight sensor
CN104639206B (zh) * 2013-11-15 2017-09-15 财团法人资讯工业策进会 同步装置及其同步方法
CN105426583B (zh) * 2015-11-03 2019-11-26 国网江西省电力科学研究院 一种基于同步的同质传感器融合处理方法
EP3430427B1 (en) * 2016-03-14 2021-07-21 IMRA Europe S.A.S. Processing method of a 3d point cloud
US20170331614A1 (en) * 2016-05-12 2017-11-16 General Electric Company Systems and methods for aligning data stream signals
US10602242B2 (en) * 2017-06-14 2020-03-24 GM Global Technology Operations LLC Apparatus, method and system for multi-mode fusion processing of data of multiple different formats sensed from heterogeneous devices
US10852419B2 (en) * 2017-10-20 2020-12-01 Texas Instruments Incorporated System and method for camera radar fusion
US11397274B2 (en) * 2018-01-05 2022-07-26 SeeScan, Inc. Tracked distance measuring devices, systems, and methods
US11392805B2 (en) * 2018-06-27 2022-07-19 The Charles Stark Draper Laboratory, Inc. Compact multi-sensor fusion system with shared aperture
CN109858512B (zh) * 2018-12-10 2021-08-03 北京百度网讯科技有限公司 点云数据的处理方法、装置、设备、车辆及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004535586A (ja) * 2001-07-17 2004-11-25 ローベルト　ボツシユ　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツング 複数の車両センサの時間的同期のための方法
KR20170124287A (ko) * 2016-05-02 2017-11-10 한국전자통신연구원 융합형 물체 감지 정보를 이용한 운전자 보조 시스템 및 방법
KR20190049871A (ko) * 2016-09-20 2019-05-09 이노비즈 테크놀로지스 엘티디 Lidar 시스템 및 방법
KR20190055267A (ko) * 2016-11-16 2019-05-22 웨이모 엘엘씨 라이다(lidar) 디바이스를 보호하기 위한 방법들 및 시스템들
US20190098233A1 (en) * 2017-09-28 2019-03-28 Waymo Llc Synchronized Spinning LIDAR and Rolling Shutter Camera System

Also Published As

Publication number Publication date
KR102340830B1 (ko) 2021-12-21
US20210072390A1 (en) 2021-03-11
US11287530B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
KR102340830B1 (ko) 복수의 이종 센서의 융합을 위한 데이터 처리 시스템 및 방법
EP3622371B1 (en) Calibration of stereo cameras and handheld object
US9046364B2 (en) Distance measurement device and environment map generation apparatus
US20180308253A1 (en) Method and system for time alignment calibration, event annotation and/or database generation
CN106780601B (zh) 一种空间位置追踪方法、装置及智能设备
EP3407089B1 (en) Laser scanning system, laser scanning method, moving laser scanning system, and program
JP2020162142A (ja) ローリングシャッターを伴うステレオ支援
JP6621836B2 (ja) 光パターンの強度変動を利用した体積内の物体の深さマッピング
US8102427B2 (en) Camera egomotion estimation from an infra-red image sequence for night vision
JP2004530144A (ja) 画像情報を提供する方法
JP7164721B2 (ja) センサデータ処理方法、装置、電子機器及びシステム
US20130155226A1 (en) Object tracking system using robot and object tracking method using a robot
JP6583734B2 (ja) 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム
JP6727539B2 (ja) 距離センサ、走行体、ロボット及び３次元計測装置
GB2590117A (en) System and method for enhancing non-inertial tracking system with inertial constraints
US10991105B2 (en) Image processing device
JP2011227029A (ja) 車両の周辺監視装置
US9842400B2 (en) Method and apparatus for determining disparity
US9906775B2 (en) Device and method for multiview image calibration
JP6369897B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6299319B2 (ja) 自己位置算出装置及び自己位置算出方法
KR102543027B1 (ko) 3차원 이미지를 획득하기 위한 방법 및 장치
KR101273634B1 (ko) 모바일 기기를 이용하는 증강현실 환경에서 복수 객체 추적방법 및 이를 이용한 시스템
JP2007233487A (ja) 歩行者検出方法、装置、およびプログラム
CN116887058B (zh) 图像采集方法、装置、采集设备和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant