KR20230075882A - 가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법 - Google Patents

가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법 Download PDF

Info

Publication number
KR20230075882A
KR20230075882A KR1020210162520A KR20210162520A KR20230075882A KR 20230075882 A KR20230075882 A KR 20230075882A KR 1020210162520 A KR1020210162520 A KR 1020210162520A KR 20210162520 A KR20210162520 A KR 20210162520A KR 20230075882 A KR20230075882 A KR 20230075882A
Authority
KR
South Korea
Prior art keywords
virtual
lidar data
generating device
laser
intensity
Prior art date
Application number
KR1020210162520A
Other languages
English (en)
Inventor
정지원
홍준
이수관
Original Assignee
주식회사 모라이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모라이 filed Critical 주식회사 모라이
Priority to KR1020210162520A priority Critical patent/KR20230075882A/ko
Priority to EP22800994.0A priority patent/EP4209807A4/en
Priority to PCT/KR2022/005161 priority patent/WO2023096037A1/ko
Priority to JP2022567534A priority patent/JP2024504219A/ja
Priority to US17/992,148 priority patent/US20230161044A1/en
Publication of KR20230075882A publication Critical patent/KR20230075882A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은, 자율주행 차량의 주행을 테스트하기 위한 가상 환경을 제공하는 기술에 관한 것이다. 보다 구체적으로 본 발명은, 가상 환경 상에서 가상의 라이다 데이터를 생성하는 장치에 있어서, 실제 환경에서 주행하는 이동 수단에 설치되어 라이다 데이터를 수집하는 라이다 데이터 수집부, 상기 수집된 라이다 데이터를 저장하기 위한 데이터베이스, 가상 환경을 구축하기 위한 가상 환경 구축 엔진, 및 상기 구축된 가상 환경 상에서 가상의 이동 수단의 이동에 대응하는 가상의 라이다 데이터를 생성하는 라이다 데이터 생성부를 포함하는, 가상의 라이다 데이터 생성 장치에 관한 것이다.

Description

가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법{APPARATUS FOR GENERATING REAL-TIME LIDAR DATA IN A VIRTUAL ENVIRONMENT AND METHOD FOR CONTROLLING THE SAME}
본 발명은 가상의 라이다 데이터를 생성하는 장치 및 그것의 제어 방법에 관한 것으로, 보다 구체적으로는 가상의 환경에서 주행하는 가상의 이동 수단의 움직임에 따라 가상의 라이다 데이터를 생성하기 위한 장치 및 그것의 제어 방법에 관한 것이다.
일반적으로 자율 주행시스템은 도로맵 정보, GPS 위치정보 및 각종 센서에서 취득한 신호를 이용하여 도로상의 시작점부터 종료점까지 차량의 주행을 자동으로 제어하면서 이동시킬 수 있다.
이러한 자율 주행시스템은 다양한 돌발 상황에 대응하기 위해서 주행 중에 주변 사물들을 실시간으로 측정하여 변수가 발생하면, 변수에 적합하도록 차량의 제어를 조정한다. 즉, 위험요소를 회피하기 위한 별도의 제어 변경이 이루어진다.
이를 위해서 상기 자율 주행시스템은 인지, 판단 및 제어의 흐름에 따라 차량에 대한 자율주행을 수행하며, 상기 인지의 경우에는 차량에 탑재된 레이다(Radar), 라이다(Lidar) 및 카메라(Camera) 등의 센서를 이용하여 도로 상에 존재하는 다른 차량, 보행자 및 장애물 등의 주행환경을 인식하도록 구성된다. 판단 단계에서는 상기 인지의 단계에서 측정된 데이터들과 지도 정보를 기반으로 주행상황을 추론토록 구성되며, 상기 제어 단계는 상기 판단의 단계에서 연산 및 추론된 값을 기반으로 차량의 구성요소에 대한 제어신호를 생성하여 실제 조작이 이루어지도록 한다.
이때 자율주행 차량은 보다 많은 정보를 세밀하게 인지 및 판단하여 보다 적합한 제어가 이루어지는 방향으로 개발되고 있다. 이를 위해 종래에는 많은 변수 사이에서 정확한 판단이 도출될 수 있도록, 각 단계의 알고리즘이 진보하는 방향으로 개발이 이루어지고 있다.
차량에 각종 주행 장치 및 알고리즘이 탑재된 시스템들을 장착하여 개발된 알고리즘을 테스트해 볼 수 있으나, 대부분 차량 탑재되는 장비들이 고가이고 실제 도로에서 테스트를 하기에는 공간적 제약 문제가 존재한다.
따라서, 가상 환경에서 자율주행 차량을 정밀하게 테스트할 수 있는 시스템에 대한 개발이 요구되는 실정이다.
본 발명이 해결하고자 하는 과제는 가상 환경에서 가상의 자율주행 차량이 주행하더라도, 실제 주행에 가까운 테스트 환경을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 실제 환경에서 주행하면서 획득한 라이더 데이터를 가공하여, 가상 환경에서 가상의 라이다 데이터를 생성할 수 있는 테스트 환경을 제공하는 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 또는 다른 과제를 해결하기 위해 본 발명의 일 측면에 따르면, 가상 환경 상에서 가상의 라이다 데이터를 생성하는 장치에 있어서, 실제 환경에서 주행하는 이동 수단에 설치되어 라이다 데이터를 수집하는 라이다 데이터 수집부; 상기 수집된 라이다 데이터를 저장하기 위한 데이터베이스; 가상 환경을 구축하기 위한 가상 환경 구축 엔진; 및 상기 구축된 가상 환경 상에서 가상의 이동 수단의 이동에 대응하는 가상의 라이다 데이터를 생성하는 라이다 데이터 생성부를 포함하는, 가상의 라이다 데이터 생성 장치를 제공한다.
상기 라이다 데이터 수집부는, 레이저 발광부 및 레이저 수광부를 포함하고, 상기 수집된 라이다 데이터는, 상기 레이저 발광부를 통하여 발광된 레이더가 물체에서 반사되는 레이저의 세기 정보를 포함할 수 있다.
상기 세기 정보는, 상기 레이저가 반사되는 지점의 좌표 정보에 대응되어 저장될 수 있다.
상기 수집된 라이다 데이터에 기초하여 상기 포인트 클라우드 맵을 제작하는 포인트 클라우드 맵 제작부를 더 포함할 수 있다.
상기 포인트 클라우드 맵은, 상기 수집된 라이다 데이터가 상기 구축된 가상 환경 상의 좌표와 대응되어 저장된 데이터일 수 있다.
상기 포인트 클라우드 맵을 3차원 메쉬 맵으로 변환하는 메쉬 변환부를 더 포함할 수 있다.
상기 라이다 데이터 생성부는, 상기 변환된 3차원 메쉬의 소정 메쉬에 가상의 레이저를 조사하고, 상기 조사된 가상의 레이저에 의해 반사되는 레이저의 가상의 세기를 산출하여 상기 가상의 라이다 데이터를 생성할 수 있다.
상기 가상의 세기는, 상기 소정 메쉬를 구성하는 복수 개의 좌표의 세기 정보를 기초로 산출할 수 있다.
상기 가상의 세기는, 상기 복수 개의 좌표에 대한 세기 정보의 평균으로 산출될 수 있다.
상기 또는 다른 과제를 해결하기 위해 본 발명의 다른 측면에 따르면, 가상 환경 상에서 가상의 라이다 데이터를 생성하는 장치의 제어 방법에 있어서, 라이다 데이터 수집부가 실제 환경에서 주행하는 이동 수단에 설치되어 라이다 데이터를 수집하는 단계; 데이터베이스가 상기 수집된 라이다 데이터를 저장하는 단계; 가상 환경 구축 엔진이 가상 환경을 구축하는 단계; 및 라이다 데이터 생성부가 상기 구축된 가상 환경 상에서 가상의 이동 수단의 이동에 대응하는 가상의 라이다 데이터를 생성하는 단계를 포함하는, 가상의 라이다 데이터 생성 장치의 제어 방법을 제공한다.
상기 라이다 데이터 수집부는, 레이저 발광부 및 레이저 수광부를 포함하고, 상기 수집된 라이다 데이터는, 상기 레이저 발광부를 통하여 발광된 레이더가 물체에서 반사되는 레이저의 세기 정보를 포함할 수 있다.
상기 세기 정보는, 상기 레이저가 반사되는 지점의 좌표 정보에 대응되어 저장될 수 있다.
포인트 클라우드 맵 제작부가 상기 수집된 라이다 데이터에 기초하여 상기 포인트 클라우드 맵을 제작하는 단계를 더 포함할 수 있다.
상기 포인트 클라우드 맵은, 상기 수집된 라이다 데이터가 상기 구축된 가상 환경 상의 좌표와 대응되어 저장된 데이터일 수 있다.
메쉬 변환부가 상기 포인트 클라우드 맵을 3차원 메쉬 맵으로 변환하는 단계를 더 포함할 수 있다.
상기 가상의 라이다 데이터를 생성하는 단계는, 상기 라이다 데이터 생성부가 상기 변환된 3차원 메쉬의 소정 메쉬에 가상의 레이저를 조사하고, 상기 조사된 가상의 레이저에 의해 반사되는 레이저의 가상의 세기를 산출하여 상기 가상의 라이다 데이터를 생성할 수 있다.
상기 가상의 세기는, 상기 소정 메쉬를 구성하는 복수 개의 좌표의 세기 정보를 기초로 산출될 수 있다.
상기 가상의 세기는, 상기 복수 개의 좌표에 대한 세기 정보의 평균으로 산출될 수 있다.
본 발명에 따른 가상의 라이다 데이터 생성 장치 및 그것의 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 가상 환경에서 실제 주행에 가까운 테스트 환경을 제공할 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 가상 환경에서 자율주행 차량을 테스트하기 위한 가상의 라이다 데이터를 생성할 수 있다는 장점이 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명의 일실시예에 따른 라이다 데이터 생성 장치(100)의 개념도를 도시하는 도면이다.
도 2는 본 발명의 일실시예에 따른 포인트의 차원을 도시하는 도면이다.
도 3은 본 발명의 일실시예에 따른 가상의 라이다 데이터 생성 장치(100)의 제어 방법의 순서도를 도시한다.
도 4는 본 발명의 일실시예에 따른 3차원 메쉬 맵 변환 개념도를 도시하는 도면이다.
도 5는 본 발명의 일실시예에 따른 포인트 클라우드 맵을 3차원 메쉬 맵으로 변환한 예시를 도시한다.
도 6은 본 발명의 일실시예에 따라 메쉬의 세기값을 결정하는 개념도를 도시한다.
도 7은 본 발명의 일실시예에 따라 생성된 라이다 데이터에 기초하여 취득된 세기값을 적용한 화면이다.
도 8은 본 발명의 일실시예에 따라 생성되는 라이다 데이터를 도식화한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
라이다 데이터(LiDAR data)는 크게 거리값(Distance)과 세기값(Intensity)을 포함한다. 이때 거리값은 라이다의 중심에서 발사되는 레이저가 최초로 닿는 물체의 표면까지의 거리이며, 세기값(반사도값)은 레이저(Laser)가 물체의 표면에 반사되어 다시 라이다의 수광부로 되돌아오는 레이저의 세기를 의미한다.
이때 세기값는 기본적으론 반사 지점의 표면의 색과 재질에 따라 강도가 결정되기도 하며, 라이다의 발광부로부터 조사되는 레이저의 세기 역시 제조사별로 다르다.
하지만 공통적으로 반사 지점이 밝은 색상일수록 세기값은 높으며 어두운 색상일 수록 낮다. 또한 반사 지점의 표면이 매끈할 수록 반사가 잘 되기 때문에 세기값이 높고, 거친 표면일 수록 낮다.
예를 들어, 도료가 발라져 있기 때문에 상대적으로 매끈한 표면을 가지고 상대적으로 밝은 도로의 차선 부분에 대해서는 세기값이 상대적으로 높으며, 표면이 다소 거칠고 어두운 색상의 아스팔트 부분은 세기값이 낮아서 어두운 경향을 보인다.
이와 같이 다양한 환경 변수에 영향을 받게 되는 라이다 데이터는, 가상으로 생성하는 것이 쉽지 않다. 즉, 다양한 환경 변수를 모두 반영하기 위해서는, 많은 연산량을 필요로 하며, 실시간으로 가상의 라이다 데이터를 생성하기에는 적합하지 못하다.
따라서, 본 발명에서는, 실제 환경에서 이동 수단을 통하여 획득한 라이다 데이터를 효과적으로 가공하여, 자율주행 시뮬레이션을 위한 가상의 환경에서 가상의 라이다 데이터로 제공될 수 있는 방법을 제안한다.
도 1은 본 발명의 일실시예에 따른 라이다 데이터 생성 장치(100)의 개념도를 도시하는 도면이다.
본 발명의 일실시예에 따른 라이다 데이터 생성 장치(100)는, 라이다 데이터 수집부(101), 가상 환경 구축 엔진(102), 데이터베이스(103), 라이다 데이터 생성부(104), 센서 데이터 생성부(105), 포인트 클라우드 맵 제작부(106) 및 메쉬 맵 변환부(107) 중 적어도 하나를 포함하도록 구성된다.
도 1에 도시된 구성요소들은 라이다 데이터 생성 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 라이다 데이터 생성 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
라이다 데이터 수집부(101)는 실제 환경에서 주행하는 이동 수단(190)에 설치되어 라이다 데이터를 수집하는 구성이다. 라이다 데이터 수집부(101)는 별도의 저장소를 구비하고, 수집된 라이다 데이터를 저장할 수 있다. 또는, 유무선 통신부를 구비하고, 수집된 데이터를 유무선 통신을 통하여 데이터베이스(103)에게 제공할 수 있다.
라이다 데이터 수집부(101)는 실제 자율주행 차량에 설치되는 라이다 장치와 동일할 수 있다. 즉, 본 발명의 일실시예에서는 일반적인 라이다 장치를 통하여 수집되는 라이다 데이터를 이용하여 가상의 환경에서 사용하고자 하는 것이다.
데이터베이스(103)는 상기 수집된 라이다 데이터를 저장하는 구성이다. 이하에서 설명되는 라이다 데이터는, 가상 환경에서 사용되기 위하여 가공될 수 있는데, 데이터베이스(130)는 가공되기 전/후 라이다 데이터를 모두 저장할 수 있다.
데이터베이스(103)는 가상환경을 구축하기 위한 적어도 하나의 환경정보를 더 저장할 수 있다. 본 발명의 일실시예에 따른 환경정보란, 시뮬레이션 대상 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보, 도로정보, 주변차량정보, 주변보행자정보, 주변장애물정보, 주변 신호등 정보, 주변 표지판 정보, 이벤트정보 중 적어도 하나를 포함할 수 있다.
가상 환경 구축 엔진(102)은, 자율주행 시뮬레이션을 위한 가상의 환경을 구축한다.
가상 환경 구축 엔진(102)은 물리엔진 기반의 시뮬레이터가 내장되어 자율주행 차량에 대한 알고리즘의 검증이 가능하도록 한다. 그리고 구축된 가상환경 상에는 지형지물, 도로형태, 보행자, 자율주행 차량, 날씨 등의 데이터가 구현될 수 있으며, 낙석이나 교통사고 등의 이벤트정보 데이터 또한 발생될 수 있도록 제공될 수 있다.
또한 가상환경 상에는 다수의 다른 차량 데이터가 구현될 수 있으며, 일부 다른 차량은 입력된 주행알고리즘에 따라서 주변 환경에 따라 주행경로가 변경되도록 제공될 수 있다. 또한 다른 일부의 차량은 정해진 주행경로에 따라 주행알고리즘을 검증하도록 구성될 수도 있다.
가상 환경 구축 엔진(102)은 시뮬레이터와 연결된 출력장치를 더 포함할 수 있으며, 상기 출력장치에는 상술한 데이터들이 가시화되어 사용자가 영상으로 확인하도록 제공될 수 있다.
라이다 데이터 생성부(104)는, 상기 구축된 가상 환경 상에서 가상의 이동 수단의 이동에 대응하는 가상의 라이다 데이터를 생성한다. 즉, 마치 실제 환경에서 자율주행 차량이 이동하는 경우와 가까운 가상의 라이다 데이터를 생성한다.
센서 데이터 생성부(105)는, 상기 구축된 가상 환경 상에서 가상의 이동 수단에 구비되는 가상의 센서에 의한 가상의 센서 데이터를 생성한다. 센서부는 가상환경에서 모사된 자율주행 차량의 라이다, 레이다, GPS, 카메라 중 적어도 하나를 포함할 수 있다.
포인트 클라우드 맵 제작부(106)는, 수집된 라이다 데이터에 기초하여 포인트 클라우드 맵을 생성한다. 포인트 클라우드 맵이란, 상기 수집된 라이다 데이터가 상기 구축된 가상 환경 상의 좌표와 대응되어 저장된 데이터를 말한다.
메쉬 맵 변환부(107)는 포인트 클라우드 맵을 3차원 메쉬 맵으로 변환한다. 포인트 클라우드 맵을 구성하는 복수 개의 포인트를 연결하여, 복수 개의 메쉬로 구성하는 3차원 메쉬 맵을 형성한다.
포인트 클라우드 맵 제작부(106)는, 수집된 라이다 데이터에 기초하여, 물체에 레이저를 보내서 돌아오는 시간을 기록하고, 반사 지점까지의 거리를 계산하여 반사 지점에 대한 포인트(점)을 생성한다. 생성된 포인트는, 3차원 공간 상에서 3차원 좌표로 구성되는 좌표(위치)정보로 구성된다. 이렇게 생성된 포인트의 집합을 가상 환경의 3차원 공간 상에 배치한 것을 포인트 클라우드 맵이라 한다.
본 발명의 일실시예에 따른 포인트 클라우드 맵을 구성하는 각 포인트는, 단순하게 좌표 정보만을 포함하는 것이 아니라, 해당 좌표에서의 세기값을 더 포함하도록 제안한다.
도 2는 본 발명의 일실시예에 따른 포인트의 차원을 도시하는 도면이다.
도 2 (a)는 기존 포인트의 좌표 정보를 도시하고, 도 2 (b)는 본 발명의 일실시예에 따라 추가된 세기값 정보를 포함하는 포인트의 정보를 도시한다.
기존 포인트는 3차원 좌표 정보만을 포함하였지만, 본 발명의 일실시예에서는, 세기값에 대한 정보를 추가하여 각 포인트가 4차원 좌표 정보를 갖도록 제안하는 것이다.
이하, 도 3을 참조하여 본 발명의 일실시예에 따른 가상의 라이다 데이터 생성 장치(100)의 제어 방법을 살펴본다.
도 3은 본 발명의 일실시예에 따른 가상의 라이다 데이터 생성 장치(100)의 제어 방법의 순서도를 도시한다.
S301 단계에서 라이다 데이터 수집부(101)는 실제 환경에서 주행하면서 라이다 데이터를 수집한다. 라이다 데이터를 수집할 때, GPS 위치정보를 함께 수집할 수 있음은 자명하다.
라이다 데이터 수집부(101)는 레이저 발광부 및 레이저 수광부를 포함하고, 상기 수집된 라이다 데이터는, 상기 레이저 발광부를 통하여 발광된 레이더가 물체에서 반사되는 레이저의 세기 정보를 포함할 수 있다.
S302 단계에서 포인트 클라우드 맵 제작부(106)는 수집된 라이다 데이터에 기초하여 포인트 클라우드 맵을 제작할 수 있다.
S303 단계에서 메쉬 맵 변환부(107)는, 포인트 클라우드 맵을 3차원 메쉬 맵으로 변환시킨다.
도 4는 본 발명의 일실시예에 따른 3차원 메쉬 맵 변환 개념도를 도시하는 도면이다.
도 4 (a)를 참조하면, 포인트 클라우드 맵을 구성하는 복수 개의 포인트가 도시되어 있다. 그리고 상술한 바와 같이, 각 포인트는 3차원 좌표 정보와 함께 세기값을 포함한 총 4차원의 정보를 저장한다. 메쉬 맵 변환부(107)는, 도 4 (b)에 도시된 바와 같이, 인접한 포인트 3개를 하나의 평면으로 하는 삼각형 메쉬(401-2, ~ 402-5)를 반복적으로 생성하는 방식을 통하여 3차원 메시 맵을 생성할 수 있다.
도 5는 본 발명의 일실시예에 따른 포인트 클라우드 맵을 3차원 메쉬 맵으로 변환한 예시를 도시한다.
도시된 도면을 참조하면, 포인트 클라우드 맵을 이루고 있던 포인트들은 서로 공유하는 삼각형 메쉬들의 조합을 통하여 3차원 메쉬 맵을 형성하고 있다.
다시 도 3으로 복귀하면, S304 단계에서 가상 환경 구축 엔진(102)은, 자율주행 시뮬레이션 수행을 위한 가상 환경을 구축한다. 그리고 이어서 S305 단계에서 가상 환경 구축 엔진(102)은, 구축된 가상 환경 상에서 자율주행 차량에 대한 가상 주행을 수행한다.
S304 단계에서 구축된 가상 환경은, 도 5에서 도시된 3차원 메쉬 맵이 매핑되어 있을 것이다.
그리고 S306 단계에서 라이다 데이터 생성부(104)는, 가상 환경 상에서 주행하는 자율주행 차량이 주행함에 따라 발생하는 가상의 라이다 데이터를 생성한다. 이렇게 생성되는 가상의 라이다 데이터는, 차량에 대한 알고리즘의 검증이나 테스트를 하는데 사용(S307)될 것이다.
이를 위해서 라이다 데이터 생성부(104) 가상 환경에서 가상의 레이저를 3차원 메쉬 맵에 조사한다. 그리고 조사된 가상의 레이저가 소정 메쉬에서 반사되면, 해당 메쉬의 세기값을 읽어와 반사되는 레이저의 세기라고 가정하여 라이다 데이터를 생성한다.
즉, 실제 가상 환경에서 반사 지점의 표면 성질이나 색깔을 고려하지 않고, 메쉬의 세기값을 바로 반사된 레이저의 세기로 설정하여 라이다 데이터를 생성하는 것이다.
이하, 도 6을 참조하여 메쉬의 세기값을 결정하는 방법을 설명한다.
도 6은 본 발명의 일실시예에 따라 메쉬의 세기값을 결정하는 개념도를 도시한다.
상술한 바와 같이, 메쉬(402)란 세 개의 포인트(401-1 ~ 401-3)를 하나의 평면으로 하는 삼각형을 의미한다. 삼각형을 이루는 각 꼭지점에 세 개의 포인트가 위치하게 된다.
제 1 내지 제 3 포인트(401-1 ~ 401-3) 각각은 4차원 정보를 포함한다. 4차원 정보란, 상술한 바와 같이 3차원 위치 정보(x, y, z)와 함께 세기값(i)을 포함하는 정보이다.
본 발명의 일실시예에 따른 상기 메쉬(402)의 세기값은, 메쉬를 구성하는 제 1 내지 제 3 포인트(401-1 ~ 401-3)의 세기값(i1 ~ i3)에 기초하여 산출하도록 제안한다.
본 발명의 일실시예에 따른, 메쉬 맵 변환부(107)는, 포인트 클라우드 맵을 3차원 메쉬 맵으로 변환하는데 있어서, 제 1 내지 제 3 포인트(401-1 ~ 401-3)의 세기값(i1 ~ i3)의 평균을 메쉬(402)의 세기값(imesh)으로 설정할 수 있다. 이를 수학식으로 나타내면 아래 수학식 1과 같이 표현할 수 있다.
Figure pat00001
하지만, 본 발명은 상기 수학식 1의 방법에 한정되지 않고, 제 1 내지 제 3 포인트(401-1 ~ 401-3) 중 적어도 하나를 이용하는 방법을 모두 포함할 수 있을 것이다. 예를 들어, 제 1 내지 제 3 포인트(401-1 ~ 401-3)의 세기값(i1 ~ i3)에 최대값이나 최소값을 사용하거나, 산술 평균이 아닌 기하 평균을 이용할 수도 있을 것이다.
즉, 매쉬 맵 변환부(107)에 의해서 변환된 메쉬 각각은 자신의 세기값이 설정되어 있을 것이다. 라이다 데이터 생성부(104) 가상 환경에서 가상의 레이저를 3차원 메쉬 맵에 조사하고, 반사되는 가상 레이저의 세기가 반사되는 지점의 메쉬에 설정된 세기값으로 라이다 데이터를 생성할 수 있다.
도 7은 본 발명의 일실시예에 따라 생성된 라이다 데이터에 기초하여 취득된 세기값을 적용한 화면이다. 도 8은 본 발명의 일실시예에 따라 생성되는 라이다 데이터를 도식화한 도면이다.
도 7 및 도 8에 도시된 화면을 참조하면, 횡단보도를 이루는 도료에 의한 반사 레이저의 세기값이나 표지판에 의한 반사 레이저의 세기값이 모두 효과적으로 반영된 것을 확인할 수 있다.
이상으로 본 발명에 따른 가상의 라이다 데이터 생성 장치 및 그 제어 방법의 실시예를 설시하였으나 이는 적어도 하나의 실시예로서 설명되는 것이며, 이에 의하여 본 발명의 기술적 사상과 그 구성 및 작용이 제한되지는 아니하는 것으로, 본 발명의 기술적 사상의 범위가 도면 또는 도면을 참조한 설명에 의해 한정／제한되지는 아니하는 것이다. 또한 본 발명에서 제시된 발명의 개념과 실시예가 본 발명의 동일 목적을 수행하기 위하여 다른 구조로 수정하거나 설계하기 위한 기초로써 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에 의해 사용되어질 수 있을 것인데, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에 의한 수정 또는 변경된 등가 구조는 청구범위에서 기술되는 본 발명의 기술적 범위에 구속되는 것으로서, 청구범위에서 기술한 발명의 사상이나 범위를 벗어나지 않는 한도 내에서 다양한 변화, 치환 및 변경이 가능한 것이다.

Claims (18)

  1. 가상 환경 상에서 가상의 라이다 데이터를 생성하는 장치에 있어서,
    실제 환경에서 주행하는 이동 수단에 설치되어 라이다 데이터를 수집하는 라이다 데이터 수집부;
    상기 수집된 라이다 데이터를 저장하기 위한 데이터베이스;
    가상 환경을 구축하기 위한 가상 환경 구축 엔진; 및
    상기 구축된 가상 환경 상에서 가상의 이동 수단의 이동에 대응하는 가상의 라이다 데이터를 생성하는 라이다 데이터 생성부를 포함하는,
    가상의 라이다 데이터 생성 장치.
  2. 제 1 항에 있어서, 상기 라이다 데이터 수집부는,
    레이저 발광부 및 레이저 수광부를 포함하고,
    상기 수집된 라이다 데이터는, 상기 레이저 발광부를 통하여 발광된 레이더가 물체에서 반사되는 레이저의 세기 정보를 포함하는,
    가상의 라이다 데이터 생성 장치.
  3. 제 2 항에 있어서,
    상기 세기 정보는, 상기 레이저가 반사되는 지점의 좌표 정보에 대응되어 저장되는,
    가상의 라이다 데이터 생성 장치.
  4. 제 3 항에 있어서,
    상기 수집된 라이다 데이터에 기초하여 상기 포인트 클라우드 맵을 제작하는 포인트 클라우드 맵 제작부를 더 포함하는,
    가상의 라이다 데이터 생성 장치.
  5. 제 4 항에 있어서, 상기 포인트 클라우드 맵은,
    상기 수집된 라이다 데이터가 상기 구축된 가상 환경 상의 좌표와 대응되어 저장된 데이터인 것을 특징으로 하는,
    가상의 라이다 데이터 생성 장치.
  6. 제 5 항에 있어서,
    상기 포인트 클라우드 맵을 3차원 메쉬 맵으로 변환하는 메쉬 변환부를 더 포함하는,
    가상의 라이다 데이터 생성 장치.
  7. 제 6 항에 있어서, 상기 라이다 데이터 생성부는,
    상기 변환된 3차원 메쉬의 소정 메쉬에 가상의 레이저를 조사하고, 상기 조사된 가상의 레이저에 의해 반사되는 레이저의 가상의 세기를 산출하여 상기 가상의 라이다 데이터를 생성하는,
    가상의 라이다 데이터 생성 장치.
  8. 제 7 항에 있어서, 상기 가상의 세기는,
    상기 소정 메쉬를 구성하는 복수 개의 좌표의 세기 정보를 기초로 산출되는,
    가상의 라이다 데이터 생성 장치.
  9. 제 8 항에 있어서, 상기 가상의 세기는,
    상기 복수 개의 좌표에 대한 세기 정보의 평균으로 산출되는,
    가상의 라이다 데이터 생성 장치.
  10. 가상 환경 상에서 가상의 라이다 데이터를 생성하는 장치의 제어 방법에 있어서,
    라이다 데이터 수집부가 실제 환경에서 주행하는 이동 수단에 설치되어 라이다 데이터를 수집하는 단계;
    데이터베이스가 상기 수집된 라이다 데이터를 저장하는 단계;
    가상 환경 구축 엔진이 가상 환경을 구축하는 단계; 및
    라이다 데이터 생성부가 상기 구축된 가상 환경 상에서 가상의 이동 수단의 이동에 대응하는 가상의 라이다 데이터를 생성하는 단계를 포함하는,
    가상의 라이다 데이터 생성 장치의 제어 방법.
  11. 제 10 항에 있어서,
    상기 라이다 데이터 수집부는, 레이저 발광부 및 레이저 수광부를 포함하고,
    상기 수집된 라이다 데이터는, 상기 레이저 발광부를 통하여 발광된 레이더가 물체에서 반사되는 레이저의 세기 정보를 포함하는,
    가상의 라이다 데이터 생성 장치의 제어 방법.
  12. 제 11 항에 있어서,
    상기 세기 정보는, 상기 레이저가 반사되는 지점의 좌표 정보에 대응되어 저장되는,
    가상의 라이다 데이터 생성 장치의 제어 방법.
  13. 제 12 항에 있어서,
    포인트 클라우드 맵 제작부가 상기 수집된 라이다 데이터에 기초하여 상기 포인트 클라우드 맵을 제작하는 단계를 더 포함하는,
    가상의 라이다 데이터 생성 장치의 제어 방법.
  14. 제 13 항에 있어서, 상기 포인트 클라우드 맵은,
    상기 수집된 라이다 데이터가 상기 구축된 가상 환경 상의 좌표와 대응되어 저장된 데이터인 것을 특징으로 하는,
    가상의 라이다 데이터 생성 장치의 제어 방법.
  15. 제 14 항에 있어서,
    메쉬 변환부가 상기 포인트 클라우드 맵을 3차원 메쉬 맵으로 변환하는 단계를 더 포함하는,
    가상의 라이다 데이터 생성 장치의 제어 방법.
  16. 제 15 항에 있어서, 상기 가상의 라이다 데이터를 생성하는 단계는,
    상기 라이다 데이터 생성부가 상기 변환된 3차원 메쉬의 소정 메쉬에 가상의 레이저를 조사하고, 상기 조사된 가상의 레이저에 의해 반사되는 레이저의 가상의 세기를 산출하여 상기 가상의 라이다 데이터를 생성하는,
    가상의 라이다 데이터 생성 장치의 제어 방법.
  17. 제 16 항에 있어서, 상기 가상의 세기는,
    상기 소정 메쉬를 구성하는 복수 개의 좌표의 세기 정보를 기초로 산출되는,
    가상의 라이다 데이터 생성 장치의 제어 방법.
  18. 제 17 항에 있어서, 상기 가상의 세기는,
    상기 복수 개의 좌표에 대한 세기 정보의 평균으로 산출되는,
    가상의 라이다 데이터 생성 장치의 제어 방법.
KR1020210162520A 2021-11-23 2021-11-23 가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법 KR20230075882A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020210162520A KR20230075882A (ko) 2021-11-23 2021-11-23 가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법
EP22800994.0A EP4209807A4 (en) 2021-11-23 2022-04-08 DEVICE FOR GENERATING LIDAR DATA IN REAL TIME IN A VIRTUAL ENVIRONMENT AND METHOD FOR CONTROLLING IT
PCT/KR2022/005161 WO2023096037A1 (ko) 2021-11-23 2022-04-08 가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법
JP2022567534A JP2024504219A (ja) 2021-11-23 2022-04-08 仮想環境においてリアルタイムライダーデータを生成する装置及びその制御方法
US17/992,148 US20230161044A1 (en) 2021-11-23 2022-11-22 Apparatus for generating real-time lidar data in a virtual environment and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210162520A KR20230075882A (ko) 2021-11-23 2021-11-23 가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법

Publications (1)

Publication Number Publication Date
KR20230075882A true KR20230075882A (ko) 2023-05-31

Family

ID=86539870

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210162520A KR20230075882A (ko) 2021-11-23 2021-11-23 가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법

Country Status (2)

Country Link
KR (1) KR20230075882A (ko)
WO (1) WO2023096037A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4069926B2 (ja) * 2005-01-11 2008-04-02 株式会社Ｉｈｉ 物体検出装置
KR101572618B1 (ko) * 2014-10-16 2015-12-02 연세대학교 산학협력단 라이더 시뮬레이션 장치 및 방법
SG11201810922VA (en) * 2017-08-25 2019-03-28 Beijing Didi Infinity Technology & Development Co Ltd Methods and systems for detecting environmental information of a vehicle
KR102163389B1 (ko) * 2018-10-16 2020-10-08 에스케이텔레콤 주식회사 입체 모델 생성 방법 및 장치
KR101984762B1 (ko) * 2018-10-31 2019-06-03 주식회사 모라이 네트워크 플랫폼을 적용한 자율주행차량 시뮬레이터

Also Published As

Publication number Publication date
WO2023096037A1 (ko) 2023-06-01

Similar Documents

Publication Publication Date Title
US12020476B2 (en) Data synthesis for autonomous control systems
US11861790B2 (en) Procedural world generation using tertiary data
US11521009B2 (en) Automatically generating training data for a lidar using simulated vehicles in virtual space
US11656620B2 (en) Generating environmental parameters based on sensor data using machine learning
US11150660B1 (en) Scenario editor and simulator
US11126891B2 (en) Systems and methods for simulating sensor data using a generative model
US20200160598A1 (en) Systems and Methods for Generating Synthetic Light Detection and Ranging Data via Machine Learning
CN110987464B (zh) 一种用于车辆在环测试的传感器测试环境舱及测试方法
CN110531376A (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
US20210004608A1 (en) Vehicle image generation
CN109307869A (zh) 用于增加激光雷达探测器的视场的设备和照明装置
CN109387857A (zh) 激光雷达系统中的跨网段检测方法和设备
CN114365108A (zh) 虚拟环境下的自动驾驶车辆模拟方法
EP4209807A1 (en) Device for generating real-time lidar data in virtual environment and control method thereof
CN117521389A (zh) 一种基于车路协同感知仿真平台的车辆感知测试方法
WO2021049062A1 (ja) 認識モデル配信システム及び認識モデルの更新方法
KR20230075882A (ko) 가상 환경에서 실시간 라이다 데이터를 생성하는 장치 및 그것의 제어 방법
Kufieta et al. A virtual environment for the development and validation of highly automated driving systems
CN112639888B (zh) 程序世界生成
US20230393280A1 (en) Retrofit light detection and ranging (lidar)-based vehicle system to operate with vision-based sensor data
CN117034579A (zh) 点云数据生成方法、装置、设备及存储介质
Vijay et al. Creation and Implementation of Scenario Database for ADAS Application Verification
WO2024081373A1 (en) Generating agents relative to a simulated autonomous vehicle

Legal Events

Date Code Title Description
E902 Notification of reason for refusal