KR20220021041A - 연속파 라이다 센서들을 시뮬레이션하는 방법 - Google Patents

연속파 라이다 센서들을 시뮬레이션하는 방법 Download PDF

Info

Publication number
KR20220021041A
KR20220021041A KR1020227004387A KR20227004387A KR20220021041A KR 20220021041 A KR20220021041 A KR 20220021041A KR 1020227004387 A KR1020227004387 A KR 1020227004387A KR 20227004387 A KR20227004387 A KR 20227004387A KR 20220021041 A KR20220021041 A KR 20220021041A
Authority
KR
South Korea
Prior art keywords
ray
signal
rays
lidar
emission
Prior art date
Application number
KR1020227004387A
Other languages
English (en)
Other versions
KR102464236B1 (ko
Inventor
미카엘 필립스
Original Assignee
지멘스 인더스트리 소프트웨어 네덜란드 비.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 인더스트리 소프트웨어 네덜란드 비.브이. filed Critical 지멘스 인더스트리 소프트웨어 네덜란드 비.브이.
Publication of KR20220021041A publication Critical patent/KR20220021041A/ko
Application granted granted Critical
Publication of KR102464236B1 publication Critical patent/KR102464236B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/006Theoretical aspects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/30Circuit design
    • G06F30/36Circuit design at the analogue level
    • G06F30/367Design verification, e.g. using simulation, simulation program with integrated circuit emphasis [SPICE], direct methods or relaxation methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/08Probabilistic or stochastic CAD

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 연속파(CW) 광 검출 및 거리측정(lidar) 센서의 센서 데이터를 시뮬레이션하기 위한 방법에 관한 것이며, 이 방법은 : CW 신호(51)에 기초하여, 적어도 하나의 광선을 포함하는 광선 세트를 생성하는 단계, ―광선 세트 중의 각각의 광선은 방출 시작 시간(t_0) 및 방출 지속시간(T)을 가짐―; 광선 세트 중의 각각의 광선에 대해, 적어도 하나의 객체를 포함하는 시뮬레이션된 장면을 통해 광선을 전파하는 단계; 광선 세트 중의 각각의 광선에 대해, 시뮬레이션된 장면에서의 검출 위치에서 전파된 광선의 신호 기여분(71)을 계산하는 단계; CW 신호(51)와, 광선 세트 중의 광선들의 계산된 신호 기여분들의 혼합에 기초하여, 출력 신호(73)를 생성하는 단계; 및 출력 신호를 저장하는 단계와 출력하는 단계 중 적어도 하나를 포함한다. 본 발명은 CW 라이다 센서들의 완전파형 신호들에 대응하는 시뮬레이션 데이터를 제공한다. 제공된 센서 데이터는 또한, 객체 형상들 및 객체 클래스들, 및 객체 배향 등의, 추가 정보를 결정하는 것을 허용한다. 또한, 센서 데이터는, 라이다 센서 및 환경의 물리적 속성들로부터 비롯되며 라이다 빔의 다중 반사 등의 포인트-클라우드-타입 데이터에는 존재하지 않는, 실제 라이다 데이터에 존재하는 아티팩트들도 포함한다. 따라서, 센서 개발은 상기 아티팩트들도 고려함으로써 개선될 수 있다. 본 발명은, 실제 CW 라이다 센서가 작동하는 방식을 정확하게 시뮬레이션하고, 그에 따라 실제 CW 라이다 센서의 출력을 정확하게 재현한다. 현실 세계에 대해 완벽할 뿐만 아니라 정확한 제공된 고품질 데이터는 또한, 신호 처리 알고리즘 개발, 신경망 훈련, 가상 검증 등에도 높은 가치를 가질 수 있다.

Description

연속파 라이다 센서들을 시뮬레이션하는 방법
본 발명은, 연속파(CW; continuous wave) 광검출 및 거리측정(lidar; light detection and ranging) 센서의 센서 데이터를 시뮬레이션하기 위한 방법에 관한 것이다. 본 발명은 또한, CW 라이다 센서의 센서 데이터를 시뮬레이션하기 위한 디바이스에 관한 것이다.
라이다는 주변의 고해상도 3차원 표현을 제공할 수 있는 타겟까지의 거리를 측정하기 위한 레이저 기반 기술이다. 자동 운전자 지원 시스템(ADAS; automatic driver assistance system)의 Lidar 시스템 서비스 애플리케이션은, 주차 보조, 충돌 경고 및 자율 주행 응용에 이용되는 소위 환경 모델을 제공한다. 라이다 시스템은, 측지학, 지진학, 항공 레이저 폭 맵핑, ALSM, 및 레이저 고도 측정을 포함한, 광범위한 분야에서 널리 이용된다.
상이한 유형들의 라이다 센서들이 존재한다. 예를 들어, 펄스형 라이다 센서들은 짧은 레이저 펄스들을 방출하고 방출로부터 그의 라이다 센서로의 귀환까지의 레이저 펄스의 비행 시간을 측정한다. 측정된 비행 시간은 반사 타겟까지의 거리를 계산하는데 이용될 수 있다.
또 다른 유형의 라이다 센서들은 연속파(CW) 신호들을 이용한다. 이 경우, 지속적으로 광이 방출된다. 광원은, 진폭 변조된 연속파(AMCW) 방법들에서 진폭을 변조함으로써 또는 주파수 변조된 연속파(FMCW) 방법들에서 주파수를 변조함으로써 변조될 수 있다. 많은 응용에서, CW 방법들은 그들의 정확성과 견고성 때문에 펄스형 라이다 센서 방법들보다 선호된다.
많은 응용은 라이다 시스템에 의해 획득된 센서 데이터의 높은 정확도를 요구한다. 따라서 새로운 라이다 응용을 개발하는 것은, 물리적 센서들을 포함한, 라이다 센서들의 상당한 테스트를 수반할 수 있다. 생산 비용을 줄이기 위해, 개발 중인 라이다 센서들의 출력을 가능한 한 정확하게 재현할 수 있는 시뮬레이션 데이터에 대한 요구가 있다. 신호 처리 알고리즘들의 개발, 신경망 훈련, 가상 검증 등을 포함한, 많은 다른 분야들에서도 라이다 시뮬레이션 데이터가 요구된다.
펄스형 라이다 센서들을 모델링하는 라이다 센서 데이터의 제공은, A. Kim 등의, "Simulating full-waveform lidar", Proc. SPIE 7684, Laser Radar Technology and Applications XV, 2010, 및 A. Kim의 "Simulating full-waveform LIDAR", Diss. Monterey, California. Naval Postgraduate School, 2009에서 논의된다.
라이다 센서 데이터를 제공하는 알려진 방법은, 단일 시뮬레이션된 광선으로 이상적인 포인트 클라우드들을 시뮬레이션하는 것을 포함한다. 광선의 전파는, 표면과 가장 가까운 교차점까지 광선 추적을 이용하여 계산되므로, 거울 반사만 고려된다. 따라서, 광선당 하나의 거리만 계산된다. 또한, 빔당 복수의 광선은 복수의 포인트를 제공할 수 있다. 이러한 시뮬레이션들에서, 포인트 데이터만이 출력으로서 제공되지만 결과 신호에 관한 어떠한 정보도 생성되지 않는다. 대조적으로, 실제 라이다 센서들은, 시뮬레이션된 장면에서 포인트들을 생성하기 위해 처리되어야 하는 시변 전기 신호(time-varying electrical signal)를 생성한다. 시변 신호는, 객체 형상, 객체 클래스, 다중 반사 등을 포함한, 시뮬레이션된 장면에 관한 많은 추가 정보를 포함한다. 이러한 정보는, 출력으로서 포인트 클라우드들만이 제공된다면 필연적으로 상실된다.
또한, 시변 신호는, 빔 형상, 빔들 사이의 객체 움직임, 신호에 미치는 날씨 영향 등을 포함한, 라이다 센서 및 환경의 물리적 속성들로부터 발생하는 피처들을 포함한다. 이들 피처들은, 센서들 및 그들의 출력들에 기초한 알고리즘들을 개발할 때 감안되어야 하는 라이다 데이터의 아티팩트들로 이어진다.
따라서, 개발 동안에 라이다 센서들을 시뮬레이션하기에는 포인트 클라우드들이 불충분할 수 있고 더 현실적인 데이터가 요구될 수 있다.
따라서, 본 발명의 목적은 현실적인 연속파 라이다 데이터를 제공하기 위한 방법 및 디바이스를 제공하는 것이다.
이 목적은 독립항들의 주제에 의해 해결된다. 유리한 실시예들은 종속항들에 기재되어 있다.
제1 양태에 따르면, 본 발명은, 청구항 1에 기재된 연속파(CW) 광 검출 및 거리측정(light detection and ranging)(라이다) 센서의 센서 데이터를 시뮬레이션하기 위한 방법을 제공한다. 제2 양태에 따르면, 본 발명은 청구항 10에 기재된 CW 라이다 센서의 센서 데이터를 시뮬레이션하기 위한 디바이스를 제공한다. 제3 양태에 따르면, 본 발명은 청구항 14에 기재된 컴퓨터 프로그램 제품을 제공한다. 제4 양태에 따르면, 본 발명은 청구항 15에 기재된 비일시적인 컴퓨터 판독가능한 저장 매체를 제공한다.
제1 양태에 따르면, 본 발명은, 연속파(CW) 광 검출 및 거리측정(lidar; light detection and ranging) 센서의 센서 데이터를 시뮬레이션하기 위한 방법을 제공하며, 여기서 적어도 하나의 광선을 포함하는 광선 세트는 CW 신호에 기초하여 생성된다. 광선 세트 중의 각각의 광선은 방출 시작 시간과 방출 지속시간을 갖는다. 광선 세트 중의 각각의 광선에 대해, 광선은 적어도 하나의 객체를 포함하는 시뮬레이션된 장면을 통해 전파된다. 광선 세트 중의 각각의 광선에 대해, 전파된 광선의 신호 기여분은 시뮬레이션된 장면에서의 검출 위치에서 계산된다. CW 신호와 광선 세트 중의 광선들의 계산된 신호 기여분들의 혼합에 기초하여 출력 신호가 생성된다. 이 방법은 출력 신호를 저장 및/또는 출력하는 단계를 더 제공한다.
제2 양태에 따르면, 본 발명은, 처리 유닛과, 저장 유닛 및 출력 유닛 중 적어도 하나를 포함하는 CW 라이다 센서의 센서 데이터를 시뮬레이션하기 위한 디바이스를 제공한다. 처리 유닛은 CW 신호에 기초하여 적어도 하나의 광선을 포함하는 광선 세트를 생성하고, 광선 세트 중의 각각의 광선은 방출 시작 시간 및 방출 지속시간을 갖는다. 처리 유닛은, 광선 세트 중의 각각의 광선에 대해, 적어도 하나의 객체를 포함하는 시뮬레이션된 장면을 통해 광선을 전파한다. 처리 유닛은, 광선 세트 중의 각각의 광선에 대해, 시뮬레이션된 장면의 검출 위치에서 전파된 광선의 신호 기여분을 계산한다. 처리 유닛은 또한, CW 신호와, 광선 세트 중의 광선들의 계산된 신호 기여분들과의 혼합에 기초하여 출력 신호를 생성한다. 저장 유닛은 출력 신호를 저장하도록 구성되고 출력 유닛은 출력 신호를 출력하도록 구성된다.
제3 양태에 따르면, 본 발명은, 컴퓨팅 디바이스에 의해 실행될 때, 연속파 센서의 센서 데이터를 시뮬레이션하기 위한 방법을 수행하도록 구성된 실행가능한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품을 제공한다.
제4 양태에 따르면, 본 발명은, 컴퓨팅 디바이스에 의해 실행될 때, CW 라이다 센서의 센서 데이터를 시뮬레이션하기 위한 방법을 수행하도록 구성된 실행가능한 프로그램 코드를 포함하는 비일시적인 컴퓨터 판독가능한 저장 매체를 제공한다.
본 발명은 CW 라이다 센서들의 완전파형 신호들에 대응하는 시뮬레이션 데이터를 제공한다. 시뮬레이션된 장면의 "완벽한" 포인트-클라우드-타입 표현들만 제공하는 것 대신에, 전체 신호 정보가 유지된다. 따라서, 출력 신호를 포함하는 제공된 센서 데이터는 또한, 객체 형상들, 객체 클래스들, 객체 배향 등의, 추가 정보를 결정하는 것을 허용한다. 또한, 센서 데이터는, 라이다 센서 및 환경의 물리적 속성들로부터 비롯되며 라이다 빔의 다중 반사 등의 포인트-클라우드-타입 데이터에는 존재하지 않는, 실제 라이다 데이터에 존재하는 아티팩트들도 포함한다. 따라서, 센서 개발은 상기 아티팩트들도 고려함으로써 개선될 수 있다.
본 발명은, 실제 CW 라이다 센서가 작동하는 방식을 정확하게 시뮬레이션하고, 그에 따라 실제 CW 라이다 센서의 출력을 정확하게 재현한다. 현실 세계에 대해 완벽할 뿐만 아니라 정확한 제공된 고품질 데이터는 또한, 신호 처리 알고리즘 개발, 신경망 훈련, 가상 검증 등에도 높은 가치를 가질 수 있다.
이 방법의 한 실시예에 따르면, 광선 세트는 정확히 하나의 광선을 포함한다. 그러나, 광선 세트가 복수의 광선을 포함하는 것이 일반적으로 바람직하다. 예를 들어, 광선 세트는, 적어도 2개, 바람직하게는 적어도 100개, 더 바람직하게는 적어도 500개, 가장 바람직하게는 적어도 1000개의 광선을 포함할 수 있다. 광선의 상한 개수도 제한될 수 있다. 예를 들어, 광선 세트는, 최대 100,000개, 바람직하게는 최대 10,000개, 더 바람직하게는 최대 5000개, 가장 바람직하게는 최대 2000개의 광선을 포함할 수 있다.
이 방법의 바람직한 한 실시예에 따르면, 광선 세트 중의 각각의 광선은 시뮬레이션된 장면에서의 공간적 원점과 시뮬레이션된 장면에서의 방출 방향을 포함한다. 따라서, 광선들은 공간과 시간 양쪽 모두에서 샘플링된다. 공간에서의 샘플링은 방출의 공간적 원점과 방향을 결정하는 것을 포함하고, 시간에서의 샘플링은 CW 신호의 일부를 광선에 할당하는 것을 포함한다. 방출 방향은, 광선이 방출되는 방향을 나타내는, 시뮬레이션된 장면에서의 단일 벡터에 대응할 수 있다.
이 방법의 바람직한 한 실시예에 따르면, 광선을 전파하는 단계는, 광선의 공간적 원점에 기초하고, 광선의 방출 방향에 기초하고, 및 시뮬레이션된 장면에서의 객체들 상의 광선의 반사에 기초하여, 광선의 광 경로를 결정하는 단계를 포함한다. 또한, 광 경로를 따라 검출 위치까지의 광선의 처리량이 계산된다. 신호 기여분 계산은 계산된 처리량에 기초한다. 한 실시예에 따르면, 단일 반사만이 고려될 수 있다. 그러나, 일반적으로, 객체들로부터의 광선들의 다중 반사도 고려될 수 있다. 반사 횟수는 제한될 수 있다, 즉, 미리결정된 임계값보다 작은 반사 횟수만 고려된다.
이 방법의 바람직한 한 실시예에 따르면, 광선 세트 중의 각각의 광선에 대해, CW 신호와 광선의 계산된 신호 기여분의 혼합은 신호 기여분과 CW 신호 사이의 신호 오프셋에 기초한다. 신호 오프셋은 광선의 방출 시작 시간과 광선의 광 경로에 기초하여 결정된다.
이 방법의 바람직한 한 실시예에 따르면, 방출 방향은 각각의 광선에 대해 무작위로 선택된다. 광선들의 방출 방향도 균일하게 선택될 수 있다. 일반적으로, 방출 방향들은 라이다 센서에 의해 방출되는 레이저 빔의 유한한 범위를 고려하도록 선택된다. 일반적으로, 레이저 빔들은 웨이스트 w_0를 갖는 Gaussian 빔들로 기술될 수 있지만, 레이저 빔들도 임의의 형상을 가질 수 있다. 이 경우, 전체 빔의 방출 방향은, 소정의 입체각(solid angle)에 의해 기술될 수 있다. 또한, 라이다 센서의 방출 방향은 조정될 수 있다. 예를 들어, 라이다 센서는 방출된 레이저를 편향시켜 소정의 공간 영역을 스캔하도록 구성된 마이크로미러를 포함할 수 있다.
이 방법의 추가 실시예에 따르면, 광선 세트는 복수의 광선을 포함한다. 광선들의 방출 시작 시간들은 무작위로 선택된다. 방출 시간은 또한 균일하게 선택될 수 있다. 일반적으로, 광선들의 방출 시간들은 정확한 출력 신호를 생성하기 위해 모든 시점이 충분히 샘플링되도록 선택된다. 상이한 광선들의 기여분들은 중요도 샘플링 방법에 따라 가중될 수 있다. 예를 들어, 광선들의 신호 기여분들은 상이한 가중치들로 가중될 수 있다.
이 방법의 바람직한 한 실시예에 따르면, CW 신호는 주파수 변조된 연속파(FMCW) 신호이다. CW 신호는 또한, 진폭 변조된 연속파(AMCW) 신호일 수 있다.
이 방법의 바람직한 한 실시예에 따르면, 광선 세트를 생성하는 단계는, 각각의 광선에 대해, CW 신호의 일부를 광선에 할당하는 단계를 포함한다. 광선은, 방출 시작 시간에서 시작되고 방출 지속시간과 동일한 길이를 갖는 무한-시간 CW 신호의 일부에 대응한다. 즉, CW 신호는, 무한-시간 신호, 즉, 레이저가 지속적으로 방출되며, 각각의 광선은 소정의 시간 구간의 CW 신호의 한 섹션에 대응한다. 광선 진폭의 시간 의존성은 CW 신호의 대응하는 섹션의 시간 의존성과 동일하다.
이 방법의 바람직한 한 실시예에 따르면, 출력 신호를 생성하는 단계는, 광선 세트 중의 각각의 광선에 대해, CW 신호를 광선의 계산된 신호 기여분과 혼합함으로써 획득되는 혼합된 신호 기여분을 계산하는 단계를 포함한다. 또한, 출력 신호는 광선 세트 중의 모든 광선의 혼합된 신호 기여분을 더함으로써 생성된다. 따라서, 출력 신호는 모든 신호 기여분을 CW 신호와 혼합한 후에 생성된다.
디바이스의 바람직한 한 실시예에 따르면, 광선 세트는 복수의 광선을 포함하고, 처리 유닛은 무작위 또는 균일한 방식으로 광선들의 방출 시작 시간들을 결정하도록 구성된다.
디바이스의 바람직한 한 실시예에 따르면, 처리 유닛은, 각각의 광선에 대해, CW 신호의 일부를 광선에 할당함으로써 광선 세트를 생성하도록 구성된다. 광선에 할당된 CW 신호 부분은 방출 시작 시간에서 시작하여 방출 지속시간 동안 연장된다.
디바이스의 바람직한 한 실시예에 따르면, 처리 유닛은, 광선 세트 중의 각각의 광선에 대해, CW 신호를 광선의 계산된 신호 기여분과 혼합하여 혼합된 신호 기여분을 계산하고 광선 세트 중의 모든 광선의 혼합된 신호 기여분들을 더함으로써 출력 신호를 생성함으로써 출력 신호를 생성하도록 구성된다.
컴퓨팅 디바이스뿐만 아니라 시스템의 일부 또는 모든 컴포넌트는 하드웨어 및 소프트웨어 컴포넌트들을 포함할 수 있다. 하드웨어 컴포넌트들은, 마이크로제어기들, 중앙 처리 유닛(CPU)들, 그래픽 처리 유닛(GPU), 메모리 및 저장 디바이스들 중 적어도 하나를 포함할 수 있다.
본 발명이 첨부된 도면들에 도시된 예시적인 실시예들을 참조하여 더욱 상세하게 설명될 것이다.
첨부된 도면들은 본 발명의 추가 이해를 제공하기 위해 포함된 것이고 본 명세서에 통합되어 그 일부를 구성한다. 도면들은 본 발명의 실시예들을 예시하고 설명과 함께 본 발명의 원리들을 설명하는 역할을 한다.
본 발명의 다른 실시예들 및 본 발명의 많은 의도된 이점들은 이하의 상세한 설명을 참조하여 더 양호하게 이해될 것이다. 방법 단계들은 더 용이한 참조를 위해 넘버링되어 있지만, 상기 넘버링은 명시적으로 또는 묵시적으로 달리 설명되지 않는 한, 단계들이 그 순서로 수행되어야 함을 반드시 암시하는 것은 아님을 이해해야 한다. 특히, 단계들은 그의 넘버링에 의해 표시된 것과는 상이한 순서로 수행될 수도 있다. 일부 단계들은 동시에 또는 중첩 방식으로 수행될 수 있다.
도 1은 본 발명의 한 실시예에 따른 CW 라이다 센서의 센서 데이터를 시뮬레이션하기 위한 디바이스를 나타내는 블록도를 개략적으로 도시한다;
도 2는 동작 동안의 라이다 센서의 한 예시를 개략적으로 도시한다;
도 3은 광선에 할당된 섹션을 갖는 CW 신호를 개략적으로 도시한다;
도 4는 전송기로부터 수신기로 전파하는 광선들을 개략적으로 나타낸다;
도 5는 수신기로부터 전송기로 전파하는 광선들을 개략적으로 나타낸다;
도 6은 CW 신호와 광선의 신호 기여분의 혼합에 기초한 출력 신호의 생성을 개략적으로 나타낸다;
도 7은 본 발명의 한 실시예에 따른 CW 라이다 센서의 센서 데이터를 시뮬레이션하기 위한 방법의 흐름도를 도시한다;
도 8은 본 발명의 한 실시예에 따른 컴퓨터 프로그램 제품을 나타내는 블록도를 개략적으로 나타낸다;
도 9는 본 발명의 한 실시예에 따른 비일시적인 컴퓨터 판독가능한 저장 매체를 나타내는 블록도를 개략적으로 나타낸다.
도 1은 CW 라이다 센서의 센서 데이터를 시뮬레이션하기 위한 디바이스(1)를 개략적으로 나타낸다. 디바이스(1)의 상이한 컴포넌트들을 더 상세히 설명하기 전에, CW 라이다 센서의 작동 원리가 도 2를 참조하여 설명된다.
도 2에 도시된 바와 같이, 라이다 센서의 레이저는 연속파(CW) 신호(101)를 생성한다. 레이저는, 그 진폭이 시간의 함수로서 변하는 방식으로 제어된다. 이 경우, 라이다 시스템은 진폭 변조된 연속파(AMCW) 방법을 위해 배열된다. 그러나, 이하에서, 도시된 신호들은 다양한 진폭을 갖지만, 라이다 시스템은 또한, 주파수 변조된 연속파(FMCW) 방법들에서의 이용을 위해 구성될 수 있다. 이 경우, CW 신호의 주파수는 시간의 함수로서 변한다. 라이다 시스템의 전송기 Tx는 CW 신호를 방출한다. CW 신호는 장면(102) 내의 하나 이상의 객체에 의해 반사되고, 적어도 부분적으로, 라이다 시스템의 수신기(Rx)에 의해 수신된다. 수신된 신호는 라이다 시스템의 혼합 유닛(103)에 의해 원래의 CW 신호와 혼합된다. 이러한 방식으로 획득된 신호는 출력 신호(104)로서 방출된다.
이하에서, CW 라이다 센서의 센서 데이터를 시뮬레이션하기 위한 디바이스(1)의 컴포넌트들이 더 상세히 설명된다.
디바이스(1)는 외부 디바이스들로부터 데이터를 수신하고 외부 디바이스들에 데이터를 전송하도록 구성된 인터페이스(4)를 포함한다. 따라서, 인터페이스(4)는 입력 유닛과 출력 유닛 양쪽 모두로 배열될 수 있고, 정보를 또 다른 시스템(예를 들어, WLAN, Bluetooth, ZigBee, Profibus, ETHERNET 등) 또는 사용자(디스플레이, 프린터, 스피커 등)에 전달할 수 있는 임의의 종류의 포트 또는 링크 또는 인터페이스일 수 있다.
디바이스(1)는 인터페이스(4)로부터 수신된 데이터를 처리하도록 구성된 처리 유닛(2)을 더 포함한다. 처리 유닛(2)은, 마이크로제어기(μC), 집적 회로(IC), 주문형 집적 회로(ASIC), 주문형 표준 제품(ASSP), 디지털 신호 프로세서(DSP), 필드 프로그래머블 게이트 어레이(FPGA) 등의, 중앙 처리 유닛(CPU) 또는 그래픽 처리 유닛(GPU)일 수 있다.
처리 유닛(2)은, 인터페이스(4)와 통신하는 광선 세트 생성 유닛(21), 광선 세트 생성 유닛(21)과 통신하는 광선 전파 유닛(22), 광선 전파 유닛(22)과 통신하는 신호 기여분 계산 유닛(23), 및 신호 기여분 계산 유닛(23)과 통신하는 출력 신호 생성 유닛(24)을 포함한다. 모듈들(21 내지 24)은 처리 유닛(2)의 일부이거나 처리 유닛(2) 상에 또는 처리 유닛(2)과 통신 접속된 별개의 유닛 상에서 구현될 수 있다.
디바이스(1)는 신호 생성 유닛(24)과 통신하는 저장 유닛(3)을 더 포함한다. 저장 유닛(3)은, 자기 저장 디바이스 또는 메모리, 예를 들어, 자기 코어 메모리, 자기 테이프, 자기 카드, 하드 디스크 드라이브, 플로피 디스크 또는 착탈식 스토리지 등의, 데이터 스토리지이거나 이를 포함할 수 있다. 저장 유닛(3)은 또한, 광학적 스토리지 또는 메모리, 예를 들어, 홀로그래픽 메모리, 광학 테이프, 레이저 디스크, Phasewriter, Phasewriter Dual(PD), 컴팩트 디스크, CD, 디지털 비디오 디스크(DVD), 고화질 DVD(HD DVD), Blu-ray 디스크(BD), 또는 Ultra Density Optical(UDO)이거나 이를 포함할 수 있다. 저장 유닛(3)은 또한, 예를 들어 광자기 스토리지 또는 메모리, 예를 들어, MiniDisc 또는 광자기 디스크, MO-Disk, 휘발성 반도체 또는 솔리드 스테이트 메모리, 예를 들어, 랜덤 액세스 메모리(RAM), 동적 RAM(DRAM), 또는 정적 RAM(SRAM); 비휘발성 반도체/솔리드 스테이트 메모리, 예를 들어, 판독 전용 메모리(ROM), 프로그래머블 ROM(PROM), 소거가능한 PROM(EPROM), 전기적 소거가능한 EPROM(EEPROM), Flash-EEPROM, 예를 들어, USB 스틱, 강유전성 RAM(FRAM), 자기저항 RAM(MRAM) 또는 상 변화 RAM; 또는 데이터 캐리어/매체일 수 있다.
디바이스(1)는, 인터페이스(4)를 통해, 소정의 입력 파라미터들, 예를 들어, 시간 의존 CW 신호의 파형 또는 CW 신호를 기술하는 기타의 파라미터, 예를 들어, CW 신호의 위상들 또는 진폭들과 관련된 파라미터들을 수신할 수 있다. 입력 파라미터들은, 광선 생성 유닛(21)에 의해 생성될 광선들의 최대 수 또는 최소 수를 더 포함할 수 있다. 또한, 디바이스(1)는, 시뮬레이션된 장면 내의 객체들의 수, 배향 및 속성들 등의, 시뮬레이션된 장면에 관한 정보를 수신할 수 있다. 시뮬레이션된 장면은 시뮬레이션할 라이다 센서의 인공 환경에 대응한다. 라이다 센서에 의해 방출된 레이저 빔들은 시뮬레이션된 장면에 배열된 객체들에 의해 반사된다.
광선 생성 유닛(21)은, 적어도 하나, 바람직하게는 복수의 광선을 포함하는 광선 세트를 생성하도록 구성된다.
이하에서는, 복수의 광선이 생성되는 상황을 더 상세하게 설명한다. 그러나, 본 발명은 원칙적으로 단 하나의 광선만을 포함하는 광선 세트에도 적용가능하다.
광선 생성 유닛(21)은, 광선 세트 중의 각각의 광선에 대해, 방출 시작 시간, 방출 지속시간, 시뮬레이션된 장면 내의 공간적 원점, 및 방출 방향을 정의한다. 모든 광선은 동일한 공간적 원점으로부터 생략될 수 있다. 그러나, 공간적 원점은 상이한 광선들에 대해 상이할 수도 있다. 방출 시작 시간들은 무작위로 선택될 수 있다. 따라서, 광선 생성 유닛(21)은 (의사) 난수 생성기를 포함할 수 있다. 그러나, 광선 생성 유닛(21)은 또한, 결정론적 또는 미리정의된 분포에 따라 방출 시작 시간들을 선택할 수 있다.
광선 생성 유닛(21)은 CW 신호의 소정의 섹션을 각각의 광선에 할당하며, 이 섹션은 방출 시작 시간에서 시작하여 방출 지속시간 동안 연장된다.
그 다음, 광선 전파 유닛(22)은 시뮬레이션된 장면을 통해 광선 세트 중의 모든 광선을 전파한다. 광선 전파 유닛(22)은 본 기술분야에 공지된 광선 추적 방법들을 이용하도록 구성된다.
광선 추적은 컴퓨터 그래픽에서 알려진 가상 장면 내의 지오메트리를 샘플링하는 방법이다. 컴퓨터 그래픽에서, 광선 추적은, 카메라로부터 광선을 쏘고 센서 픽셀에 순간적으로 광을 축적함으로써, 즉, 유한한 전파 시간을 고려하지 않고 이미지를 생성하는데 이용된다. 대조적으로, 본 발명에 따른 광선 추적은 또한, 유한한 전파 시간을 고려한다.
각각의 광선은, 시뮬레이션된 장면 내의 가장 가까운 객체와, 현재 광선, 즉, 원래의 방출된 광선 또는 이미 산란된 광선의 교차점들을 계산함으로써 시뮬레이션된 장면을 통해 전파되고, 적절한 물리적 모델을 이용하여, 객체의 속성들에 기초하여 반사의 파라미터들을 계산한다. 각각의 광선에 대한 (아마도 복수의) 반사를 결정함으로써, 광선 전파 유닛(22)은 시뮬레이션된 장면에서 각각의 광선의 광 경로를 계산한다. 광선들의 반사는 에너지의 일부만 검출 위치에서 수신되는 추가적인 효과를 가질 수 있다. 따라서, 광선 전파 유닛(22)은, 광 경로 자체에 추가하여, 검출 위치까지의 광 경로를 따른 광선의 처리량도 계산한다.
신호 기여분 계산 유닛(23)은 시뮬레이션된 장면 내의 검출 위치에서 광선 세트 중의 각각의 전파된 광선의 신호 기여분을 계산하도록 구성된다. 신호 기여분 계산 유닛(23)은 광선의 공간적 원점으로부터 검출 위치까지 광선들의 광 경로들의 총 길이들을 계산한다. 신호 기여분 유닛(23)은, 변환 인자로서, 광의 속도 c에 기초하여, 대응하는 광 경로의 총 길이로부터, 각각의 광선에 대한 이동 시간, 즉, 전파 시간 또는 비행 시간을 추가로 계산한다.
신호 기여분 계산 유닛(23)은 광선에 할당된 CW 신호의 부분에 기초하여 각각의 광선의 신호 기여분을 계산하고, 여기서, 광선에 할당된 CW 신호의 부분은 광선에 대응하는 광 경로의 계산된 이동 시간에 따라 원래의 CW 신호에 관해 위상 시프트된다. 위상 시프트는 신호 기여분과 CW 신호 사이의 신호 오프셋으로 이어진다. 또한, 광선의 신호 기여분의 진폭은 계산된 처리량에 따라 조정될 수 있다.
출력 신호 생성 유닛(24)은, 광선 세트 중의 각각의 광선에 대해, 원래의 CW 신호를 광선의 계산된 신호 기여분과 혼합함으로써 혼합된 신호 기여분을 계산한다. 출력 신호 생성 유닛(24)은 또한, 광선 세트 중의 모든 광선의 혼합된 신호 기여분들을 더함으로써 출력 신호를 생성한다.
출력 신호 생성 유닛(24)은 인터페이스(4)를 통해 사용자에게 출력 신호를 제공하도록 구성될 수 있다. 추가적으로 또는 대안으로서, 출력 신호는 저장 유닛(3)에 저장될 수 있다.
CW 라이다 센서의 센서 데이터를 시뮬레이션하기 위한 디바이스(1)의 일부 양태가 도 3 내지 도 6을 참조하여 더 상세히 설명될 것이다.
도 3은, 광선 세트를 생성하고 CW 신호(5)를 광선들의 계산된 신호 기여분들과 혼합함으로써 출력 신호를 생성하는데 이용되는 예시적인 CW 신호(5)를 도시한다. 도 3에 나타낸 바와 같이, CW 신호의 진폭은 변조된다, 즉, CW 신호(5)는 진폭 변조된 연속파(AMCW) 신호이다. 상이한 실시예들에 따르면, CW 신호(5)는 또한 주파수 변조될 수 있다, 즉, 주파수 변조된 연속파(FMCW) 신호일 수 있다.
광선 세트 중의 예시적인 광선에 대해, 방출 시작 시간 t_0이 설정된다, 예를 들어, 미리결정된 초기 시간 0ns에 관해 측정된 46ns. 또한, 방출 시작 시간 t_0에서 시작하여 방출 종료 시간 t_1에서 끝나는 방출 지속시간(T)이 설정된다. 방출 시작 시간(t_0)과 방출 종료 시간(t_1) 사이의 CW 신호(5)의 대응하는 섹션 또는 부분이 광선에 할당된다.
도 4에 나타낸 바와 같이, 광선은 시뮬레이션된 장면 6에서의 시뮬레이션된 라이다 센서의 전송기 Tx에서 시작하여 시뮬레이션된 장면을 통해 전파될 수 있고, 전송기 Tx는 시뮬레이션된 장면 6에서 광선의 공간적 원점에 위치한다. 광선은 제1 객체(61)로부터 반사되고 제2 객체(62)로부터 더 반사되어, 시뮬레이션된 라이다 센서의 수신기(Rx)에 대응하는 검출 위치에 도달한다.
도 5에 도시된 바와 같이, 광선의 전파는 역방향으로도 수행될 수 있다. 즉, 광선은 시뮬레이션된 라이다 센서의 수신기(Rx) 위치에 있는 광선의 공간적 원점으로부터 추적될 수 있고, 처음에는 제2 객체(62)로부터 반사된 다음, 제1 객체(61)로부터 반사되어, 광선은 시뮬레이션된 장면에서 시뮬레이션된 라이다 센서의 전송기(Tx)의 위치에 대응하는 검출 위치에 도달한다.
도 6을 참조하면, 광선 세트 생성 유닛(21)은, 도 3을 참조하여 더 상세히 위에서 설명된 바와 같이, CW 신호(5)의 소정의 부분을 광선에 할당한다. 광선 전파 유닛(22)이 시뮬레이션된 장면을 통해 광선을 전파한 후, 신호 기여분 계산 유닛(23)은 광선의 대응하는 신호 기여분(71)을 계산한다. 출력 신호 생성 유닛(24)은, 검출 위치에서 광선이 수신되는 시간 t_2에서 시작하여, 광선의 신호 기여분(71)과 CW 신호의 부분(51)을 혼합하기 위한 혼합 유닛(72)을 포함한다. 시간 t_2는 광선의 방출 시작 시간과 광선의 이동 시간의 합에 대응한다. CW 신호(5)의 부분(51)은, 일반적으로, 광선에 할당된 CW 신호의 부분(방출 시작 시간에서 시작)과는 광선의 이동 시간에 대응하는 위상 시프트만큼 상이하다. 또한, 광선의 실제 신호 기여분은 또한, 광 경로를 따라 광선의 처리량에 의해 영향을 받을 수 있다.
CW 신호를 광선의 계산된 신호 기여분과 혼합함으로써, 출력 신호 생성 유닛(24)은 혼합된 신호 기여분(73)을 생성한다. 광선 세트 중의 복수의 광선에 대해, 출력 신호 생성 유닛(24)은 광선 세트 중의 모든 광선의 혼합된 신호 기여분들(73)을 더함으로써 출력 신호를 생성할 것이다.
도 7은 CW 라이다 센서의 센서 데이터를 시뮬레이션하기 위한 방법의 흐름도를 도시한다.
제1 방법 단계 S1에서, 적어도 하나의 광선, 바람직하게는 복수의 광선을 포함하는 광선 세트가 생성된다. 광선 세트 중의 광선의 수는 고정될 수 있다. 광선 세트 중의 광선 수는 무작위로 선택될 수도 있다. 광선 세트 중의 광선의 수는 미리결정된 최소 수보다 크도록 선택될 수 있다. 예를 들어, 광선 세트는, 적어도 2개, 바람직하게는 적어도 100개, 더 바람직하게는 적어도 500개, 가장 바람직하게는 적어도 1000개의 광선을 포함할 수 있다. 광선 세트 중의 광선 수는 또한, 미리결정된 최대 수보다 작도록 선택된다. 예를 들어, 광선 세트는, 최대 100,000개, 바람직하게는 최대 10,000개, 더 바람직하게는 최대 5000개, 가장 바람직하게는 최대 2000개의 광선을 포함할 수 있다.
각각의 광선에 대해, 방출 시작 시간이 어떤 미리결정된 시간 원점, 예를 들어, 0ns에 관해 결정된다. 또한, 광선의 방출 지속시간이 결정된다. 방출 지속시간은 모든 광선에 대해 동일할 수 있지만 상이한 광선들에 대해서 다를 수도 있다. 광선들의 방출 지속시간은 또한, 미리결정된 분포를 따를 수 있다. 또한, 각각의 광선에 대해, 시뮬레이션된 장면에서의 공간적 원점이 결정된다. 공간적 원점(광선의 방출 지점에 대응)은 광선 세트 중의 모든 광선에 대해 동일할 수 있다. 그러나, 상이한 광선들은 상이한 공간적 원점들을 포함할 수도 있다. 또한, 각각의 광선의 방출 방향이 결정된다.
방출 방향 및/또는 방출 시작 시간 및/또는 방출 지속시간은 무작위로 선택될 수 있거나 균일하게 선택 또는 샘플링될 수 있다. 바람직하게는, 정확한 출력 신호가 생성되는 방식으로 방출 시작 시간들이 샘플링된다. 특히, 방출 시작 시간들은 광선들에 할당된 CW 신호의 부분들이 CW 신호의 적어도 하나의 전체 위상을 커버하도록 선택된다. 각각의 광선들의 기여분들은 샘플링 이론, 예를 들어, 중요도 샘플링을 이용하여 조정될 수 있다.
방법 단계 S2에서, 광선 세트 중의 각각의 광선은 시뮬레이션된 장면을 통해 전파된다. 시뮬레이션된 장면은, 미리결정된 지오메트리 및 물리적 속성들을 갖는 복수의 객체를 포함한다. 시뮬레이션된 장면에서 객체들의 위치들 및/또는 물리적 속성들은 고정될 수 있거나 시간에 따라 변할 수 있다. 광선들의 전파는 본 기술분야에 공지된 광선 추적 알고리즘들을 이용하여 수행된다. 각각의 광선에 대해, 광선의 광 경로는, 광선의 공간적 원점, 광선의 방출 방향 및 시뮬레이션된 장면에서의 객체들 상에서의 광선의 반사들에 기초하여 결정된다. 또한, 검출 위치까지의 광 경로를 따른 광선의 처리량이 계산된다.
방법 단계 S3에서, 장면 내의 검출 위치에서의 전파된 광선의 신호 기여분이 광선 세트 중의 각각의 광선에 대해 계산된다. 신호 기여분은 계산된 처리량에 기초하여 그리고 광선의 이동 시간에 기초하여 계산된다. 광선의 이동 시간은 광선의 광 경로의 길이로부터 계산될 수 있다. 광선의 최종 이동 시간은 신호 기여분과 CW 신호 사이의 신호 오프셋으로 이어진다. 신호 오프셋은 광선의 방출 시작 시간과 광선의 광 경로를 따른 이동 시간에 기초하여 결정된다.
방법 단계 S4에서, 각각의 계산된 신호 기여분은, 대응하는 광선의 혼합된 신호 기여분을 계산하기 위해 CW 신호와 혼합된다. CW 신호를 계산된 신호 기여분과 혼합하는 것은 신호 오프셋에 기초한다. 모든 광선의 혼합된 신호 기여분이 더해져 출력 신호를 생성한다.
방법 단계 S5에서, 출력 신호는 메모리 저장 유닛(3)에 저장된다. 추가적으로 또는 대안으로서, 출력 신호는 출력 유닛(4), 예를 들어, 디스플레이 또는 프린터에 출력된다.
도 8은 실행가능한 프로그램 코드(PC)를 포함하는 컴퓨터 프로그램 제품(P)을 나타내는 블록도를 개략적으로 나타낸다. 실행가능한 프로그램 코드(PC)는, (예를 들어, 컴퓨팅 디바이스에 의해) 실행될 때, 본 발명에 따른 CW 라이다 센서의 센서 데이터를 시뮬레이션하기 위한 방법을 수행하도록 구성된다.
도 9는, (예를 들어, 컴퓨팅 디바이스에 의해) 실행될 때, 본 발명에 따른 CW 라이다 센서의 센서 데이터를 시뮬레이션하기 위한 방법을 수행하도록 구성된 실행가능한 프로그램 코드(MC)를 포함하는 비일시적인 컴퓨터 판독가능한 저장 매체(M)를 나타내는 블록도를 개략적으로 나타낸다.
CW 라이다 센서의 센서 데이터를 시뮬레이션하기 위한 디바이스의 실시예들과 관련하여 여기서 설명된 모든 유리한 옵션들, 수정의 다양성 및 전술한 사항들은, CW 라이다 센서의 센서 데이터를 시뮬레이션하기 위한 방법의 실시예들에도 동등하게 적용될 수 있으며, 그 반대의 경우도 마찬가지라는 것을 이해해야 한다.
전술된 상세한 설명에서, 다양한 피처들은 본 개시내용을 간소화할 목적으로 하나 이상의 예들에서 함께 그룹화되어 있다. 상기 설명은 예시를 위한 것이지 제한을 위한 것이 아님을 이해해야 한다. 이것은, 대안들, 수정들 및 균등물들을 포괄하기 위한 의도이다. 많은 다른 예들이 상기 명세서를 검토할 때 본 기술분야의 통상의 기술자에게 명백할 것이다.
특정한 실시예들이 여기서 예시되고 설명되었지만, 다양한 대안적 및/또는 균등한 구현들이 존재한다는 것이 본 기술분야의 통상의 기술자라면 이해할 것이다. 예시적인 실시예 또는 예시적인 실시예들은 단지 예들일 뿐이며, 어떤 식으로든, 범위, 적용가능성, 또는 구성을 제한하려는 의도가 아님을 이해해야 한다. 오히려, 전술한 요약 및 상세한 설명은 본 기술분야의 통상의 기술자에게 적어도 하나의 예시적인 실시예를 구현하기 위한 편리한 로드맵을 제공할 것이며, 첨부된 청구항들 및 그들의 법적 균등물에 나타난 범위로부터 벗어나지 않고 예시적인 실시예에서 설명된 요소들의 기능 및 배열이 다양한 변경이 이루어질 수 있다는 것을 이해해야 한다. 일반적으로, 본 출원은 여기서 논의된 특정한 실시예들의 임의의 개조 또는 변형을 포괄하고자 한다.
전술한 명세서에서 사용된 특정한 명명법은 본 발명의 철저한 이해를 제공하기 위해 사용된 것이다. 그러나, 여기서 제공된 명세서에 비추어, 본 발명을 실시하기 위해 구체적인 상세사항들은 요구되지 않는다는 것이 본 기술분야의 통상의 기술자에게는 명백할 것이다. 따라서, 본 발명의 구체적인 실시예들의 상기 설명은 예시와 설명의 목적을 위해 제공되었다. 상기 설명은 본 발명을 빠짐없이 드러내거나 본 발명을 개시된 그대로의 형태들로 제한하기 위한 것이 아니다; 명백히, 상기 교시에 비추어 많은 수정 및 변형이 가능하다. 본 발명의 원리와 그 실제적 적용을 최상으로 설명함으로써 본 기술분야의 통상의 기술자가 본 발명 및 고려중인 특정한 이용에 적합한 다양한 수정을 가한 다양한 실시예들을 최상으로 이용할 수 있도록, 실시예들이 선택되고 설명되었다. 명세서 전체에 걸쳐, 용어들 "~을 내포하는(including)" 및 "여기에서(in which)"는 각각의 용어 "~을 포함하는(comprising)" 및 "여기서(wherein)"의 평-영문 등가 표현으로서 사용된다. 게다가, 용어들 "제1", "제2", "제3" 등은 단지 라벨(label)로서 사용될 뿐이고, 그들의 대상들에 수치적 요건을 부과하거나 소정의 중요도를 설정하기 위한 의도가 아니다. 본 설명 및 청구항들의 맥락에서, 접속사 "또는"은 배타적("어느 하나")인 것이 아니라 포함적("및/또는")인 것으로서 이해되어야 한다.

Claims (15)

  1. 연속파(CW; continuous wave) 광 검출 및 거리측정(lidar; Light Detection and Ranging) 센서의 센서 데이터를 시뮬레이션하기 위한 방법으로서,
    CW 신호에 기초하여 적어도 하나의 광선을 포함하는 광선 세트를 생성하는 단계, ―상기 광선 세트 중의 각각의 광선은 방출 시작 시간(t_0) 및 방출 지속시간(T)을 가짐―;
    상기 광선 세트 중의 각각의 광선에 대해, 적어도 하나의 객체를 포함하는 시뮬레이션된 장면(6)을 통해 상기 광선을 전파하는 단계;
    상기 광선 세트 중의 각각의 광선에 대해, 상기 시뮬레이션된 장면(6)에서의 검출 위치에서 상기 전파된 광선의 신호 기여분을 계산하는 단계;
    상기 CW 신호와, 상기 광선 세트 중의 광선들의 상기 계산된 신호 기여분들을 혼합하는 것에 기초하여, 출력 신호를 생성하는 단계; 및
    상기 출력 신호를 저장하는 단계와 출력하는 단계 중 적어도 하나
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 광선 세트 중의 각각의 광선은 상기 시뮬레이션된 장면(6)에서의 공간적 원점 및 상기 시뮬레이션된 장면(6)에서의 방출 방향을 포함하는, 방법.
  3. 제2항에 있어서, 상기 광선을 전파하는 단계는,
    상기 광선의 상기 공간적 원점, 상기 광선의 상기 방출 방향 및 상기 시뮬레이션된 장면(6)에서의 객체들(61, 62) 상의 광선의 반사에 기초하여 상기 광선의 광 경로를 결정하는 단계; 및
    상기 검출 위치까지 상기 광 경로를 따른 상기 광선의 처리량을 계산하는 단계를 포함하고,
    상기 신호 기여분의 계산은 상기 계산된 처리량에 기초하는, 방법.
  4. 제2항 또는 제3항에 있어서, 상기 광선 세트 중의 각각의 광선에 대해, 상기 CW 신호와, 상기 광선의 상기 계산된 신호 기여분을 혼합하는 것은, 상기 신호 기여분과 상기 CW 신호 사이의 신호 오프셋에 기초하고, 상기 신호 오프셋은 상기 광선의 방출 시작 시간(t_0)과 상기 광선의 광 경로에 기초하여 결정되는, 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 방출 방향은 무작위로 선택되거나 균일하게 선택되는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 광선 세트는 복수의 광선을 포함하고, 상기 광선들의 방출 시작 시간들(t0)은 무작위로 선택되거나 균일하게 선택되는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 CW 신호는 주파수 변조된 연속파(FMCW) 신호 또는 진폭 변조된 연속파(AMCW) 신호인, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 광선 세트를 생성하는 단계는, 각각의 광선에 대해, 상기 CW 신호의 일부를 상기 광선에 할당하는 단계를 포함하고, 상기 CW 신호의 일부는 상기 방출 시작 시간(t0)에서 시작하고 상기 방출 지속시간(T)과 동일한 길이를 갖는, 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 출력 신호를 생성하는 단계는,
    상기 광선 세트 중의 각각의 광선에 대해, 상기 CW 신호를 상기 광선의 상기 계산된 신호 기여분과 혼합함으로써 혼합된 신호 기여분을 계산하는 단계; 및
    상기 광선 세트 중의 모든 광선의 상기 혼합된 신호 기여분들을 더함으로써 상기 출력 신호를 생성하는 단계를 포함하는, 방법.
  10. 연속파(CW) 광 검출 및 거리측정(lidar) 센서의 센서 데이터를 시뮬레이션하기 위한 디바이스(1)로서,
    - CW 신호에 기초하여 적어도 하나의 광선을 포함하는 광선 세트를 생성하고, ―상기 광선 세트 중의 각각의 광선은 방출 시작 시간(t0) 및 방출 지속시간(T)을 가짐―;
    - 상기 광선 세트 중의 각각의 광선에 대해, 적어도 하나의 객체를 포함하는 시뮬레이션된 장면(6)을 통해 상기 광선을 전파하고;
    - 상기 광선 세트 중의 각각의 광선에 대해, 상기 시뮬레이션된 장면(6)에서의 검출 위치에서 상기 전파된 광선의 신호 기여분을 계산하고;
    - 상기 CW 신호와, 상기 광선 세트 중의 광선들의 상기 계산된 신호 기여분들을 혼합하는 것에 기초하여, 출력 신호를 생성하도록 구성된 처리 유닛(2); 및
    상기 출력 신호를 저장하도록 구성된 저장 유닛(3) 및 상기 출력 신호를 출력하도록 구성된 출력 유닛(4) 중 적어도 하나
    를 포함하는 디바이스.
  11. 제10항에 있어서, 상기 광선 세트는 복수의 광선을 포함하고, 상기 처리 유닛은 무작위 또는 균일한 방식으로 상기 광선들의 방출 시작 시간들(t0)을 결정하도록 구성된, 디바이스.
  12. 제10항 또는 제11항에 있어서, 상기 처리 유닛(2)은, 각각의 광선에 대해, 상기 CW 신호의 일부를 상기 광선에 할당함으로써 상기 광선 세트를 생성하도록 구성되고, 상기 CW 신호의 일부는 상기 방출 시작 시간(t0)에서 시작하고 상기 방출 지속시간(T)과 동일한 길이를 갖는, 디바이스.
  13. 제10항 내지 제12항 중 어느 한 항에 있어서, 상기 처리 유닛(2)은,
    상기 광선 세트 중의 각각의 광선에 대해, 상기 CW 신호를 상기 광선의 상기 계산된 신호 기여분과 혼합함으로써 혼합된 신호 기여분을 계산하고;
    상기 광선 세트 중의 모든 광선의 상기 혼합된 신호 기여분들을 더함으로써 상기 출력 신호를 생성하는 것
    에 의해 상기 출력 신호를 생성하도록 구성된, 디바이스.
  14. 컴퓨터 프로그램 제품(P)으로서,
    컴퓨팅 디바이스에 의해 실행될 때, 제1항 내지 제9항 중 어느 한 항에 따른 방법을 수행하도록 구성된 실행가능한 프로그램 코드(PC)를 포함하는 컴퓨터 프로그램 제품(P).
  15. 비일시적인 컴퓨터 판독가능한 저장 매체(M)로서,
    컴퓨팅 디바이스에 의해 실행될 때, 제1항 내지 제9항 중 어느 한 항에 따른 방법을 수행하도록 구성된 실행가능한 프로그램 코드(MC)를 포함하는 비일시적인 컴퓨터 판독가능한 저장 매체(M).
KR1020227004387A 2019-07-09 2019-07-09 연속파 라이다 센서들을 시뮬레이션하는 방법 KR102464236B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/068388 WO2021004626A1 (en) 2019-07-09 2019-07-09 A method to simulate continuous wave lidar sensors

Publications (2)

Publication Number Publication Date
KR20220021041A true KR20220021041A (ko) 2022-02-21
KR102464236B1 KR102464236B1 (ko) 2022-11-07

Family

ID=67480160

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227004387A KR102464236B1 (ko) 2019-07-09 2019-07-09 연속파 라이다 센서들을 시뮬레이션하는 방법

Country Status (6)

Country Link
US (1) US11460562B2 (ko)
EP (1) EP3969936B1 (ko)
JP (1) JP7293488B2 (ko)
KR (1) KR102464236B1 (ko)
CN (1) CN114072697B (ko)
WO (1) WO2021004626A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230080540A1 (en) * 2021-09-16 2023-03-16 Aurora Operations, Inc. Lidar simulation system
CN114898037B (zh) * 2022-04-24 2023-03-10 哈尔滨方聚科技发展有限公司 激光三维动态场景建模系统及建模方法
EP4372417A1 (de) 2022-11-18 2024-05-22 Sick Ag Verfahren zur modellierung eines sensors in einer testumgebung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6039704B2 (ja) * 2007-10-09 2016-12-07 ウインダー フォトニクス エー/エスWindar Photonics A/S 半導体レーザと増幅器とに基づくコヒーレントライダーシステム
KR20170138648A (ko) * 2016-06-08 2017-12-18 엘지전자 주식회사 차량용 라이다 장치 및 차량
JP2019095218A (ja) * 2017-11-17 2019-06-20 株式会社デンソー 測距センサ

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4342514A (en) 1980-08-11 1982-08-03 The United States Of America As Represented By The Secretary Of The Army Means and method for testing laser range finders
GB2112241B (en) * 1981-12-23 1985-04-03 Detras Training Aids Ltd Pulsed laser range finder training or test device
JP2795263B2 (ja) 1996-05-31 1998-09-10 日本電気株式会社 測距シミュレータ
US5825464A (en) 1997-01-03 1998-10-20 Lockheed Corp Calibration system and method for lidar systems
WO2000019379A1 (en) 1998-09-29 2000-04-06 University College London Energy propagation modelling apparatus
JP2006039704A (ja) 2004-07-23 2006-02-09 Matsushita Electric Ind Co Ltd プレイリスト生成装置
DE102007008806C5 (de) 2006-10-27 2010-05-06 Sick Ag Optoelektronische Überwachung mit Test durch Dynamisierung
DE102007057372A1 (de) 2007-11-27 2009-05-28 Bayerische Motoren Werke Aktiengesellschaft Testsystem für Lidarsensoren
EP2133711B1 (de) 2008-06-13 2013-02-27 Siemens Aktiengesellschaft Verfahren zur Abstandsmessung und Datenübertragung in einem Dauerstrich-Radarsystem
US8228367B2 (en) 2009-04-09 2012-07-24 Telefonaktiebolaget Lm Ericsson (Publ) Three-dimensional reconstruction of scenes and objects
CN102901970A (zh) * 2012-11-08 2013-01-30 天津理工大学 一种单调制连续波激光测距装置与测距方法
CN104049259B (zh) 2014-07-01 2017-06-16 南京大学 基于虚拟仪器的激光雷达三维成像系统
US20160005209A1 (en) * 2014-07-07 2016-01-07 Karlsruher Institut für Technologie Method and system for light transport path manipulation
CN104199019A (zh) 2014-08-01 2014-12-10 中国科学院上海微系统与信息技术研究所 一种连续波探测器测试系统
CN104268323A (zh) 2014-09-17 2015-01-07 西安电子科技大学 基于光线跟踪的激光雷达场景仿真方法
US20160210775A1 (en) 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual sensor testbed
EP3260875A1 (en) 2016-06-24 2017-12-27 TASS International Software and Services B.V. An automotive testing method, system and computer program product
JP2018084545A (ja) 2016-11-25 2018-05-31 三菱重工業株式会社 模擬目標発生装置および模擬目標発生方法
DE102017110794B4 (de) 2017-05-18 2024-03-21 Konrad Gmbh Simulationsvorrichtung für ein rotierendes LiDAR-Lichtmesssystem und Verfahren
JP6809996B2 (ja) 2017-07-21 2021-01-06 三菱重工業株式会社 模擬目標発生装置および模擬目標発生方法
US11567209B2 (en) * 2018-01-23 2023-01-31 Innoviz Technologies Ltd. Distributed LIDAR systems and methods thereof
CN112236685A (zh) * 2018-04-09 2021-01-15 创新科技有限公司 具有内部光校准的激光雷达系统和方法
US11543528B2 (en) * 2018-11-30 2023-01-03 University Of South Florida System and method of dynamic light source control
CN109917402B (zh) 2019-04-11 2020-08-11 西南交通大学 一种车载激光雷达仿真模块仿真精度测定方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6039704B2 (ja) * 2007-10-09 2016-12-07 ウインダー フォトニクス エー/エスWindar Photonics A/S 半導体レーザと増幅器とに基づくコヒーレントライダーシステム
KR20170138648A (ko) * 2016-06-08 2017-12-18 엘지전자 주식회사 차량용 라이다 장치 및 차량
JP2019095218A (ja) * 2017-11-17 2019-06-20 株式会社デンソー 測距センサ

Also Published As

Publication number Publication date
US20220128673A1 (en) 2022-04-28
JP2022531627A (ja) 2022-07-07
EP3969936B1 (en) 2023-06-07
KR102464236B1 (ko) 2022-11-07
EP3969936C0 (en) 2023-06-07
JP7293488B2 (ja) 2023-06-19
CN114072697A (zh) 2022-02-18
CN114072697B (zh) 2023-03-24
EP3969936A1 (en) 2022-03-23
WO2021004626A1 (en) 2021-01-14
US11460562B2 (en) 2022-10-04

Similar Documents

Publication Publication Date Title
EP3547063B1 (en) Systems and methods for generating synthetic sensor data
Gschwandtner et al. BlenSor: Blender sensor simulation toolbox
KR102464236B1 (ko) 연속파 라이다 센서들을 시뮬레이션하는 방법
Hanke et al. Generation and validation of virtual point cloud data for automated driving systems
EP2402784A2 (en) Apparatus and method for generating depth image
CN103400003B (zh) 基于gpu编程实现激光雷达场景仿真方法
US10133834B2 (en) Method for simulating wave propagation; simulator, computer program and recording medium for implementing the method
US11846727B2 (en) System and method for emulating echo signals for a LiDAR sensor
US20190039625A1 (en) Method for modeling a motor vehicle sensor in a virtual test environment
US20210117696A1 (en) Method and device for generating training data for a recognition model for recognizing objects in sensor data of a sensor, in particular, of a vehicle, method for training and method for activating
Rossmann et al. A real-time optical sensor simulation framework for development and testing of industrial and mobile robot applications
US20190035148A1 (en) Resolution adaptive mesh that is generated using an intermediate implicit representation of a point cloud
Rosenberger et al. Analysis of real world sensor behavior for rising fidelity of physically based lidar sensor models
US20240103142A1 (en) Space measurement apparatus, method, and device, and computer-readable storage medium
CN115731350A (zh) 车辆的虚拟激光雷达的仿真方法及其装置
Jasiński A generic validation scheme for real-time capable automotive radar sensor models integrated into an autonomous driving simulator
CN117494549B (zh) 一种三维地理信息系统的信息仿真展示方法及系统
EP3637138A1 (en) Simulation of light detection and ranging beams
RU2643623C1 (ru) Устройство для моделирования комбинаций разнотипных подвижных объектов
JPWO2021004626A5 (ko)
Feilhauer et al. A real-time capable multi-sensor model to validate ADAS in a virtual environment
EP3637139A1 (en) Simulation of light detection and ranging beams
López et al. A GPU-accelerated LiDAR sensor for generating labelled datasets
JP2020143920A (ja) モデル生成装置、車両シミュレーションシステム、モデル生成方法、車両シミュレーション方法およびコンピュータプログラム
CN111316119A (zh) 雷达仿真方法及装置

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant