KR20220041792A - 라이다 점군 데이터 처리 방법, 장치, 기기, 저장매체 및 컴퓨터 프로그램 - Google Patents

라이다 점군 데이터 처리 방법, 장치, 기기, 저장매체 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20220041792A
KR20220041792A KR1020220032381A KR20220032381A KR20220041792A KR 20220041792 A KR20220041792 A KR 20220041792A KR 1020220032381 A KR1020220032381 A KR 1020220032381A KR 20220032381 A KR20220032381 A KR 20220032381A KR 20220041792 A KR20220041792 A KR 20220041792A
Authority
KR
South Korea
Prior art keywords
lidar
point cloud
cloud data
target
object model
Prior art date
Application number
KR1020220032381A
Other languages
English (en)
Inventor
진 팡
딩푸 저우
시빈 송
량쥔 장
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
바이두 유에스에이 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디., 바이두 유에스에이 엘엘씨 filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20220041792A publication Critical patent/KR20220041792A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 개시내용은 라이다 점군 데이터 처리 방법, 장치, 기기, 저장매체 및 컴퓨터 프로그램을 제공하며, 라이다 점군, 자율주행, 딥러닝 기술분야에 관한 것이다. 구체적인 실현방안은, 라이다 점군 데이터 중의 표적 탐지창을 이용하여, 표적 물체가 위치한 표적 위치 구역을 확정하고; 표적 위치 구역내에 위치한 표적 물체의 매개의 점을 라이다 점군 데이터에서 제거하고; 물체 모델을 표적 위치 구역에 추가하는 것이다. 본 개시내용의 실시예에서는, 표적 물체를 라이다 점군 데이터에서 제거하고, 필요한 3차원 모델을 라이다 점군 데이터 중의 표적 위치 구역에 추가하는 것을 통하여, 더욱 풍부한 라이다 점군 데이터를 획득할 수 있다.

Description

라이다 점군 데이터 처리 방법, 장치, 기기, 저장매체 및 컴퓨터 프로그램{RADAR POINT CLOUD DATA PROCESSING METHOD AND DEVICE, APPARATUS, STORAGE MEDIUM AND COMPUTER PROGRAM}
본 개시내용은 데이터 처리 기술분야에 관한 것이며, 특히 라이다 점군(radar point cloud), 자율주행, 딥러닝 기술분야에 관한 것이다.
자율주행 등 기술의 발전과 더불어, 안전면으로부터 고려하여, 라이다 설비는 이런 기술 중에서 갈수록 중요한 작용을 발휘하고 있다. 조명 조건 등에 둔감하고, 양호한 거리 감지 능력을 가지고 있기에, 라이다는 대부분 자율주행 회사에서의 기본 설치로 되고 있다. 딥러닝 기술과 3차원 기술의 발전으로 인해, 라이다 점군 데이터에 기반한 표적 탐지가 자율 주행 산업에서 인식 시스템의 주류 위치를 차지하고 있다. 그러나 현재 라이다 점군의 정경 분포는 롱테일 효과를 가지고 있으며, 대부분 데이터는 모두 흔히 보는 물체이다. 자율주행 등 응용정경을 놓고 보면, 안전성 요구가 매우 높고, 비정상 데이터 예를 들면 낮은 확률 물체, 낮은 확률 정경의 데이터에 대한 태깅량을 향상시킬 필요가 있다.
현재 업계에서의 주요한 해결책은 다음과 같은 방안을 포함한다. 즉:
첫번째: 수동 태깅은 데이터 마이닝과 결합하여, 데이터에서 비정상 데이터를 마이닝하여, 수동 태깅을 진행한다. 그런데, 데이터 마이닝 기술을 이용하면, 낮은 확률의 물체 자신이 나타나는 확률이 낮고, 최초 태깅 데이터가 극히 적기 때문에, 양호한 탐지기를 훈련해내기 어렵고, 대량의 데이터에서 정확하게 데이터를 마이닝하는 것도 매우 어렵다. 심지어 수집한 데이터에는 이런 비정상 물체가 포함되지 않을 가능성도 있기에, 마이닝 결과를 획득할 수 없을 수도 있다.
두번째: 에뮬레이터를 이용하여 시뮬레이션 데이터를 생성한다. 그런데, 에뮬레이터 자체가 코스트가 높고, 확장성도 구비하지 않기에, 실제 데이터에 비해 데이터 품질의 차이가 존재한다.
본 개시내용은 라이다 점군 데이터 처리 방법, 장치, 기기, 저장매체 및 컴퓨터 프로그램을 제공한다.
본 개시내용의 한 측면에 따르면, 라이다 점군 데이터 처리 방법을 제공하며, 해당 방법은,
라이다 점군 데이터 중의 표적 탐지창을 이용하여, 표적 물체가 위치한 표적 위치 구역을 확정하는 단계;
표적 위치 구역내에 위치한 표적 물체의 매개의 점을 라이다 점군 데이터에서 제거하는 단계; 및
물체 모델을 표적 위치 구역에 추가하여, 업데이트된 라이다 점군 데이터를 획득하는 단계를 포함한다.
본 개시내용의 다른 측면에 따르면, 라이다 점군 데이터 처리 장치를 제공하며, 해당 장치는,
라이다 점군 데이터 중의 표적 탐지창을 이용하여, 표적 물체가 위치한 표적 위치 구역을 확정하기 위한 확정 모듈;
표적 위치 구역내에 위치한 표적 물체의 매개의 점을 라이다 점군 데이터에서 제거하기 위한 제거 모듈; 및
물체 모델을 표적 위치 구역에 추가하여, 업데이트된 라이다 점군 데이터를 획득하기 위한 추가 모듈을 포함한다.
본 개시내용의 다른 측면에 따르면, 전자기기를 제공하며, 해당 기기는,
적어도 하나의 프로세서; 및
해당 적어도 하나의 프로세서와 통신 연결된 메모리를 포함하며, 여기서,
해당 메모리에는 해당 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되며, 해당 명령은 해당 적어도 하나의 프로세서에 의해 실행되어, 해당 적어도 하나의 프로세서로 하여금 본 개시내용의 임의의 하나의 실시예에서의 방법을 수행할 수 있도록 한다.
본 개시내용의 또 다른 측면에 따르면, 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체를 제공하며, 해당 컴퓨터 명령은 컴퓨터로 하여금 본 개시내용의 임의의 하나의 실시예에서의 방법을 수행하도록 한다.
본 개시내용의 다른 측면에 따르면, 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램을 제공하며, 해당 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 본 출원의 임의의 하나의 실시예 중의 방법을 실현한다.
본 개시내용의 기술에 따르면, 표적 물체를 라이다 점군 데이터에서 제거하는 것을 통하여, 필요한 3차원 모델을 라이다 점군 데이터 중의 표적 위치 구역에 추가하여, 더욱 풍부한 라이다 점군 데이터를 획득할 수 있다.
발명의 내용 부분에서 설명한 내용은 본 개시내용의 실시예의 관건적이거나 중요한 특징을 표기하기 위한 것이 아니고, 본 개시내용의 범위를 한정하기 위한 것도 아님을 이해해야 한다. 본 개시내용의 기타 특징은 아래의 명세서를 통해 더 용이하게 이해할 수 있을 것이다.
도면은 본 기술방안을 더욱 잘 이해할 수 있기 위한 것이지, 본 개시내용에 대한 한정이 아니다.
도 1은 본 개시내용의 한 실시예에 따른 라이다 점군 데이터 처리 방법의 개략적인 흐름도이다.
도 2는 본 개시내용의 다른 실시예에 따른 라이다 점군 데이터 처리 방법의 흐름도이다.
도 3은 본 개시내용의 다른 실시예에 따른 라이다 점군 데이터 처리 방법의 흐름도이다.
도 4는 본 개시내용의 한 실시예에 따른 라이다 점군 데이터 처리 장치의 블록도이다.
도 5는 본 개시내용의 다른 실시예에 따른 라이다 점군 데이터 처리 장치의 블록도이다.
도 6은 본 개시내용의 다른 실시예에 따른 라이다 점군 데이터 처리 장치의 블록도이다.
도 7은 본 개시내용의 한 응용 예시의 개략도이다.
도 8은 본 개시내용의 응용 예시 중 최초의 라이다 점군의 효과도이다.
도 9는 본 개시내용의 응용 예시 중의 새로운 라이다 점군의 효과도이다.
도 10은 본 개시내용의 실시예를 실시하기 위한 예시 전자 기기의 개략적인 블록도를 나타낸다.
이하에서는 도면과 결부하여 본 개시내용의 예시적인 실시예를 설명하되, 여기서 본 개시내용의 실시예를 포함하는 여러 가지 세부절차는 이해를 돕기 위한 것으로서, 이들은 응당 예시적인 것으로 간주해야 한다. 따라서, 해당 분야 기술자들은 여기서 설명한 실시예에 대하여 여러 가지 변화와 수정을 진행할 수 있고, 이는 본 개시내용의 범위와 정신을 벗어나지 않는다는 것을 인식하여야 한다. 마찬가지로, 명확함과 간결함을 위하여, 아래의 설명에서는 공지 기능과 구조에 대한 설명을 생략한다.
도 1은 본 개시내용의 한 실시예에 따른 라이다 점군 데이터 처리 방법의 개략적인 흐름도이다. 해당 방법은,
라이다 점군 데이터 중의 표적 탐지창을 이용하여, 표적 물체가 위치한 표적 위치 구역을 확정하는 단계(S11);
표적 위치 구역내에 위치한 표적 물체의 매개의 점을 라이다 점군 데이터에서 제거하는 단계(12); 및
물체 모델을 표적 위치 구역에 추가하여, 업데이트된 라이다 점군 데이터를 획득하는 단계(S13)을 포함할 수 있다.
예시적으로, 라이다(LiDAR) 점군 데이터는 레이더 점군, 레이저 레이더 점군, 레이저 레이더 점군 데이터 등이라고도 칭할 수 있다. 라이다 점군 데이터 중의 매개의 점은 3차원 좌표 정보를 포함하며, 예를 들면 X, Y, Z 세개의 축의 좌표를 통하여 라이다 점군 데이터 중의 매개의 점의 좌표 정보를 표시할 수 있다. 라이다 점군 데이터 중의 매개의 점은 색상 정보, 반사 강도 정보, 에코 횟수 정보 등을 포함할 수도 있다.
최초의 라이다 점군 데이터는 하나 또는 복수의 물체를 포함할 수 있다. 최초의 라이다 점군 데이터 중에서 제거해야 하는 물체를 표적 물체라고 칭할 수 있다. 매차례 최초의 라이다 점군 데이터 중에서 제거할 수 있는 표적 물체의 수량은 하나일 수도 있고 여러 개일 수도 있으며, 본 개시내용에서는 이에 대해 한정하지 않는다.
최초의 라이다 점군 데이터 중에는 태깅된 3차원 물체의 표적 탐지창이 포함될 수 있다. 해당 표적 탐지창은 수동 태깅 또는 자동 태깅에 의해 확정된 것일 수 있다. 표적 탐지창을 통하여, 표적 물체의 범위를 확정할 수 있으며, 즉 표적 물체가 위치한 표적 위치 구역을 확정할 수 있다. 표적 위치 구역내에 위치한 매개의 점에 대해, 제거 처리를 진행할 수 있다. 예를 들면, 이런 점들의 최대치를 설정하는 등 방식을 채용하여, 표적 위치 구역내에 위치한 표적 물체의 매개 점을 라이다 점군 데이터에서 제거하며, 다시 말하면 표적 물체를 라이다 점군 데이터에서 제거할 수 있다. 제거 처리 후, 표적 물체를 포함하지 않는 라이다 점군 데이터를 획득할 수 있다. 표적 물체를 포함하지 않는 라이다 점군 데이터에 사전 생성한 3차원 모델을 추가할 수 있다.
본 개시내용의 실시예에서, 표적 물체를 라이다 점군 데이터에서 제거하고, 필요한 3차원 모델을 라이다 점군 데이터 중의 표적 위치 구역에 추가하는 것을 통하여, 더욱 풍부한 라이다 점군 데이터를 획득할 수 있다. 더 나아가, 더욱 풍부한 응용정경에서의 라이다 점군 데이터의 수요를 만족하는데 유리하다.
도 2는 본 개시내용의 다른 실시예에 따른 라이다 점군 데이터 처리 방법의 흐름도이다. 해당 실시예의 라이다 점군 데이터 처리 방법은 상기 실시예의 각 단계를 포함할 수 있다. 하나의 실시방식에 있어서, 해당 표적 탐지창은 3차원 탐지창이며; 해당 표적 물체는 3차원 물체이며, 해당 물체 모델은 3차원 모델이다. 상기 실시예에서의 예시를 참조하면, 라이다 점군 데이터 중의 표적 탐지창은 3차원 좌표 정보, 깊이, 방향 등으로 표시할 수 있다. 제거해야 하는 표적 물체의 매개의 점의 위치도 3차원 좌표 정보에 통하여 표시할 수 있다. 추가해야 하는 물체 모델도 사전에 3차원 모델 생성 소프트웨어를 채용하여 제작한 3차원 모델일 수 있다. 3차원 표적 탐지창, 표적 물체 및 물체 모델을 채용하면, 더욱 진실하고 정확한 라이다 점군 데이터를 획득하는데 유리하다.
하나의 실시방식에 있어서, 단계(S12)는, 라이다 중심의 좌표 및 표적 물체의 매개 점의 좌표를 이용하여, 라이다 중심으로부터 표적 물체의 매개 점까지의 선분을 생성하는 단계(S21); 및 매개의 선분의 길이를 사전 설정한 최대치로 업데이트하는 단계(S22)을 포함한다.
예시적으로, 라이다 중심의 좌표로부터 표적 물체의 매개 점사이를 선으로 연결할 수 있으며, 이런 선의 방향은 라이다 중심으로부터 표적 물체의 점을 향할 수 있다. 라이다 중심과 매개 점사이에는 일정한 거리가 있기에, 해당 거리는 라이다 중심으로부터 매개 점사이의 연결선의 길이로 간주할 수 있다. 일반적으로, 거리가 작을수록, 연결선의 길이가 짧고; 거리가 멀수록, 연결선의 길이가 길다. 만약 이런 연결선의 길이를 어떤 최대치로 설정하면, 라이다 중심으로부터 표적 물체의 매개 점까지의 거리가 최대이며, 따라서 표적 물체가 위치한 위치를 물체가 존재하지 않는 것으로 간주할 수 있으며, 표적 물체를 라이다 점군 데이터에서 쉽게 제거할 수 있다. 해당 최대치는 부동한 응용정경에 따라 영활하게 설정할 수 있으며, 본 개시내용은 해당 최대치의 구체적인 값의 범위에 대해 한정하지 않는다.
하나의 실시방식에 있어서, 단계(S13)는 물체 모델의 매개 점의 위치와 사전 설정한 옵셋을 더하여, 물체 모델의 표적 위치 구역내에서의 위치를 확정하도록 하는 단계(S23)를 포함한다. 예를 들면, 3차원 물체 모델의 매개 점의 좌표에 사전 설정한 옵셋을 더하여, 해당 3차원 물체 모델을 표적 물체를 포함하지 않는 라이다 점군 데이터에 설치하는 것을 쉽게 실현할 수 있다. 해당 옵셋은 부동한 응용정경에 따라 영활하게 설정할 수 있으며, 본 개시내용은 해당 옵셋의 구체적인 값의 범위에 대해 한정하지 않는다.
하나의 실시방식에 있어서, 단계(S13)는, 투영 행렬을 통하여 물체 모델에 대해 렌더링을 진행하여, 물체 모델에 대응하는 깊이맵을 획득하는 단계(S24); 투영 행렬을 통하여 깊이맵을 카메라 평면에 투영하는 단계(S25); 깊이맵을 검색하여, 라이다 사선과 깊이맵의 교차점의 깊이값을 획득하는 단계(S26); 및 라이다 사선과 깊이맵의 교차점의 깊이값을 이용하여, 해당 라이다 사선에 대응하는 선분의 길이를 업데이트하여, 라이다 사선의 물체 모델의 표면에서의 교차점의 위치를 획득하도록 하는 단계(S27)을 더 포함한다.
투영 행렬은 3차원 그래프의 하나의 기본적인 행렬로서, 투영 행렬을 이용하여 3차원의 물체 모델의 각 정점들과 곱셈할 수 있어, 3차원의 물체 모델에 대해 렌더링할 수 있으며, 해당 3차원의 물체 모델에 대응하는 깊이맵을 획득할 수 있다. 예를 들면, 3차원의 물체 모델은 많은 면으로 조성될 수 있으며, 3개의 정점마다 연결하면 하나의 삼각면을 이룰 수 있으며, 3차원의 물체 모델이 소유하는 정점을 투영 행렬과 곱셈하여, 해당 3차원의 물체 모델에 대응하는 깊이맵을 획득할 수 있다. 해당 깊이맵에 다시 투영 행렬을 곱셈하면, 깊이맵을 카메라 평면에 투영할 수 있다. 모든 라이다 사선을 순회하여, 라이다 중심에서 발사하여 표적 구역 위치의 모든 점을 경과하는 라이다 사선을 획득한다. 깊이맵을 검색하여, 매개의 라이다 사선과 물체 모델의 깊이맵이 교차가 존재하는지 여부를 획득할 수 있다. 만약 교차가 존재한다면, 라이다 사선과 깊이맵의 교차점의 깊이값을 획득할 수 있다. 이런 교차점의 깊이값을 이용하여 깊이맵과 교차점이 존재하는 이런 라이다 사선에 대응하는 선분의 길이를 업데이트할 수 있다. 예를 들면, 원래 이런 라이다 사선의 길이가 최대치였는데, 이런 최대치를 대응하게 라이다 중심으로부터 매개 교차점까지의 거리로 업데이트할 수 있다. 이렇게, 투영 행렬을 통하여 물체 모델에 대해 렌더링을 진행하여, 물체 모델의 깊이맵을 획득하고, 깊이맵에서 라이다 사선과의 교차점을 검색함으로써, 깊이값을 검색하는 속도를 가속화할 수 있으며, 더욱 빠르게 라이다 사선이 3차원 물체 모델의 표면에서의 교차점의 위치를 획득할 수 있다.
하나의 실시방식에 있어서, 단계(S13)은 라이다 사선과 물체 모델의 깊이맵이 교차가 존재하지 않는 경우, 라이다 사선이 불변함을 유지하는 단계(S28)을 더 포함한다. 라이다 사선과 깊이맵이 교차가 존재하지 않으면, 라이다 사선의 길이 등의 불변함을 유지할 수 있다. 이런 경우, 표적 위치 구역에서 일부 점이 새로 추가된 물체 모델과 구분될 수 있으며, 표적 물체와 완전히 부동한 모델을 추가할 수 있다.
도 3은 본 개시내용의 다른 실시예의 라이다 점군 데이터 처리 방법의 흐름도이다. 해당 실시예의 라이다 점군 데이터 처리 방법은 상기 실시예의 각 단계를 포함할 수 있다.
하나의 실시방식에 있어서, 해당 방법은 지상 방정식을 이용하여 표적 위치 구역내의 지상에 속하는 점들에 대해 보완 처리를 진행하는 단계(S31)을 더 포함한다.
3차원의 물체 모델을 추가한 후, 라이다 점군 데이터에 있어서, 원래의 표적 물체가 위치한 표적 위치 구역에서 여전히 일부 점들이 3차원의 물체 모델에 속하지 않을 가능성이 있다. 이런 점들을 지상에 속하는 점들로 간주하고, 지상 방정식을 이용하여 이런 점들에 대해 보완 처리를 진행할 수 있다. 이러면 실제 정경에 더욱 가까운 라이다 점군 데이터를 획득할 수 있다.
이외, 만약 라이다 점군 데이터 중에 보완해야 할 기타 물체에 속하는, 예를 들면 벽면 등에 속하는 점들도 포함되어 있으면, 관련되는 보완 알고리즘을 이용하여 보완 처리를 진행할 수 있다.
하나의 실시방식에 있어서, 해당 방법은 표적 탐지창 내의 매개 점의 시맨틱 정보를 확정하는 단계(S32)을 더 포함하며, 시맨틱 정보는 해당 표적 탐지창 내의 매개 점이 표적 물체에 속하는지 여부를 포함한다.
예시적으로, 표적 탐지창 내의 매개 점의 시맨틱 정보는 이런 점들이 표적 물체에 속한다는 것을 표시할 수 있으며; 표적 탐지창밖에 위치한 매개 점의 시맨틱 정보는 이런 점들이 표적 물체에 속하지 않는다는 것을 표시할 수 있다. 구체적으로 예를 들면, 표적 물체가 차량인 경우, 표적 탐지창을 통해 확정한 표적 물체의 범위 내의 매개 점의 시맨틱 정보는 해당 점이 해당 차량에 속한다는 것을 표시할 수 있다. 표적 물체의 범위밖에 위치한 점의 시맨틱 정보는 해당 점이 해당 차량에 속하지 않는다는 것을 표시할 수 있다. 표적 탐지창 내의 매개 점의 시맨틱 정보를 확정한 후, 다시 단계(S11), 단계(S12) 및 단계(S13)을 수행한다. 예를 들면, 단계(S12)에 있어서, 이런 점들의 시맨틱 정보를 이용하여 표적 물체에 속하는 점들을 정확하게 확정할 수 있으며, 따라서 라이다 중심 및 이런 점들을 이용하여 복수의 선분들을 생성할 수 있다.
도 4는 본 개시내용의 한 실시예에 따른 라이다 점군 데이터 처리 장치의 블록도이다. 해당 장치는,
라이다 점군 데이터 중의 표적 탐지창을 이용하여, 표적 물체가 위치한 표적 위치 구역을 확정하기 위한 확정 모듈(401);
표적 위치 구역내에 위치한 표적 물체의 매개의 점을 라이다 점군 데이터에서 제거하기 위한 제거 모듈(402); 및
물체 모델을 표적 위치 구역에 추가하여, 업데이트된 라이다 점군 데이터를 획득하기 위한 추가 모듈(403)을 포함할 수 있다.
도 5는 본 개시내용의 다른 실시예에 따른 라이다 점군 데이터 처리 장치의 블록도이다. 해당 실시예의 라이다 점군 데이터 처리 장치는 상기 장치 실시예의 각 구성요소를 포함할 수 있다. 본 실시예에 있어서, 하나의 실시방식에서는 해당 표적 탐지창은 3차원 탐지창이며; 해당 표적 물체는 3차원 물체이며, 해당 물체 모델은 3차원 모델이다.
하나의 실시방식에 있어서, 제거 모듈(402)은, 라이다 중심의 좌표 및 표적 물체의 매개 점의 좌표를 이용하여, 라이다 중심으로부터 표적 물체의 매개 점까지의 선분을 생성하기 위한 선분 생성 서브 모듈(501); 및 매개의 선분의 길이를 사전 설정한 최대치로 업데이트하기 위한 업데이트 서브 모듈(502)을 포함한다.
하나의 실시방식에 있어서, 추가 모듈(403)은, 물체 모델의 매개 점의 위치와 사전 설정한 옵셋을 더하여, 물체 모델을 표적 위치 구역내의 위치에 설치하도록 하기 위한 설치 서브 모듈(503)을 포함한다.
하나의 실시방식에 있어서, 추가 모듈(403)은, 투영 행렬을 통하여 물체 모델에 대해 렌더링을 진행하여, 물체 모델에 대응하는 깊이맵을 획득하기 위한 렌더링 서브 모듈(504); 투영 행렬을 통하여 깊이맵을 카메라 평면에 투영하기 위한 투영 서브 모듈(505); 깊이맵을 검색하여, 라이다 사선과 깊이맵의 교차점의 깊이값을 획득하기 위한 검색 서브 모듈(506); 및 라이다 사선과 깊이맵의 교차점의 깊이값을 이용하여, 라이다 사선에 대응하는 선분의 길이를 업데이트하여, 라이다 사선이 물체 모델의 표면에서의 교차점의 위치를 획득하도록 하기 위한 교차점 서브 모듈(507)을 더 포함한다.
하나의 실시방식에 있어서, 추가 모듈(403)은 라이다 사선과 물체 모델의 깊이맵이 교차가 존재하지 않는 경우, 라이다 사선이 불변함을 유지하기 위한 유지 서브 모듈(508)을 더 포함한다.
도 6은 본 개시내용의 다른 실시예에 따른 라이다 점군 데이터 처리 장치의 블록도이다. 해당 실시예의 라이다 점군 데이터 처리 장치는 상기 장치 실시예의 각 구성요소를 포함할 수 있다. 본 실시예에 있어서, 하나의 실시방식에서 해당 장치는 지상 방정식을 이용하여 표적 위치 구역내의 지상에 속하는 점들에 대해 보완 처리를 진행하기 위한 보완 모듈(601)을 더 포함한다.
하나의 실시방식에 있어서, 해당 장치는 표적 탐지창 내의 매개 점의 시맨틱 정보를 확정하기 위한 시맨틱 모듈(602)을 더 포함하며, 시맨틱 정보는 해당 표적 탐지창 내의 매개 점이 표적 물체에 속하는지 여부를 포함한다.
본 개시내용의 실시예의 각 라이다 점군 데이터 처리 장치에서의 각 유닛, 모듈 및 서브 모듈의 기능은 상기 라이다 점군 데이터 처리 방법에서의 대응되는 설명을 참조할 수 있으며, 여기서 반복하여 설명하지 않는다.
본 개시내용의 실시예에 따르면, 본 개시내용은 전자기기, 판독가능한 저장매체 및 컴퓨터 프로그램 제품을 더 제공한다.
하나의 응용 예시에 있어서, 본 개시내용은 그래픽 렌더링 기술을 결합하여, 태깅된 3차원 라이다 점군에 대해 편집을 진행하여, 최초의 태깅 물체를 대체하여, 새로운 물체로 바꿀 수 있으므로, 한편으로는 나타날 확률이 낮은 물체를 증가할 수 있으며, 또 한편으로는 나타난 적이 없는 물체를 강화할 수 있으며, 동시에, 일부 자율주행에서 흔히 나타나지 않는 정경들도 증가할 수 있다.
본 개시내용은 렌더링 기술과 결부하여, 직접 최초 라이다에 대해 점군 편집을 진행하여, 태깅된 비정상 데이터를 획득한다. 이하에서는 도 7을 참조하여, 모듈과 결부하여 본 개시내용의 방안의 구체적인 흐름에 대해 소개하도록 한다.
최초 물체 편집 모듈(702):
최초의 라이다 점군(701)은, 태깅된 3차원 물체의 표적 탐지창을 구비할 수 있다. 해당 표적 탐지창은 수동 태깅 또는 자동 태깅에 의해 확정된 것일 수 있으며, 표적 탐지창의 위치는 3차원 좌표 정보를 통해 표시할 수 있다. 표적 탐지창을 통해, 표적 물체의 범위를 확정하여, 해당 범위 내의 매개 점의 시맨틱 정보를 계산해낼수 있으며, 따라서 최초의 표적 물체에 대해 편집할 수 있다. 예를 들면, 만약 표적 물체가 차량이면, 표적 탐지창을 통해 확정한 표적 물체의 범위 내의 매개 점의 시맨틱 정보는 해당 점이 해당 차량에 속한다는 것을 표시할 수 있다. 반면에 표적 물체의 범위밖에 위치한 점의 시맨틱 정보는 해당 점이 해당 차량에 속하지 않는다는 것을 표시할 수 있다. 최초의 물체 편집 모듈에 있어서, 표적 물체의 매개의 점을 순회하여, 이런 점과 라이다 중심을 복수의 선분으로 연결할 수 있다. 매개의 선분의 길이를 하나의 최대치로 업데이트한다. 예를 들면, 자율주행에서 해당 최대치는 300m일 수 있다. 이러면 물체도 맵으로부터 제거될 수 있으며, 물체가 존재하지 않는 라이다 점군(703)이라고 부를 수 있다. 본 예시에 있어서, 물체가 존재하지 않는 라이다 점군(703)은 주로 표적 물체를 제거한 라이다 점군으로서, 표적 물체를 포함하지 않는 라이다 점군이다.
3차원 렌더링 모듈(704):
3차원 렌더링 모듈에서, 물체가 존재하지 않는 라이다 점군(703)에 있어서, 3차원 모델 예를 들면 CAD포멧의 3차원 모델을 앞에서 제거한 표적 물체의 위치에 설치한다. 예를 들면, 3차원 모델 매개 점의 좌표에 어떤 사전 설정한 옵셋을 더하여, 해당 3차원 모델을 표적 물체를 제거한 위치에 설치하는 것을 실현할 수 있다.
투영 행렬을 통해 렌더링하여 3차원 모델에 대응하는 깊이맵을 획득한다. 예를 들면, 옵셋 후의 3차원 모델의 정점에 투영 행렬을 곱셈하여 해당 3차원 모델에 대응하는 깊이맵을 획득한다. 모든 라이다 사선을 순회한다.
다음, 동일한 투영 행렬을 통하여, 해당 깊이맵을 동일한 카메라 평면에 투영할 수도 있다. 예를 들면, 해당 깊이맵에 투영 행렬을 곱셈하여, 깊이맵을 카메라 평면에 투영할 수 있다.
깊이맵에서 검색을 진행하여, 만약 라이다 사선과 깊이맵의 물체와 교차가 존재하지 않으면, 라이다 사선의 불변함을 유지하고; 만약 교차가 존재하면, 사선과 깊이맵의 교차점을 계산하고, 교차점의 깊이값을 획득하여, 업데이트를 진행한다. 예를 들면, 라이다 사선에 대응하는 선분의 길이를 업데이트한다. 이렇게, 라이다 사선과 깊이맵의 교차점을 3차원 모델의 표면으로 전이할 수 있다. 예를 들면 라이다 사선의 3차원 모델 표면에서의 교차점의 좌표 위치 등 정보를 획득한다. 해당 3차원 렌더링 모듈을 통하여, 깊이값을 검색하는 속도를 가속화할 수 있다.
최종적으로, 3차원 렌더링 모듈을 통하여, 새로운 라이다 점군(705)을 획득할 수 있다. 하나의 예시적인 효과는 효과도 8과 도 9를 참조할 수 있다. 여기서, 도 8은 하나의 최초의 라이다 점군의 예시로서, 표적 물체는 차량이라고 가정하면 도 9는 편집후의 새로운 라이다 점군이다. 도 8과 도 9로부터 알수 있는 바와 같이, 라이다 점군에 대해 편집하여, 원래는 차량인 표적 물체를, 어떤 행인의 3차원 모델로 변경할 수 있으며, 라이다 점군의 차단 관계도 여전히 성립될 수 있다.
본 개시내용의 방안을 이용하면, 원래의 태깅 물체(즉 표적 물체)를 어떤 흔히 볼 수 없는 물체(각종의 3차원 모델)로 변경할 수 있으며, 따라서 대량의 비정상 유형의 태깅 데이터를 획득할 수 있다. 이런 대량의 비정상 유형의 태깅 데이터를 이용하여 자율주행 시뮬레이션을 진행하여, 자율주행의 안전성을 향상시킬 수 있다. 이런 대량의 비정상 유형의 태깅 데이터를 이용하여 신경망 훈련을 진행하면, 더욱 정확한 신경망 모델을 획득할 수 있다.
도 10은 본 개시내용의 실시예를 실현하기 위한 예시 전자기기(800)의 개략적인 블록도를 나타낸다. 전자기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크스테이션, 개인 휴대 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터 및 기타 적합한 컴퓨터와 같은 여러 가지 형식의 디지털 컴퓨터를 가리킨다. 전자기기는 개인 디지털 프로세싱, 셀룰러 폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치와 같은 여러 가지 형식의 이동장치를 나타낼 수도 있다. 본 명세서에서 나타낸 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시적인 것일 뿐이며, 본 명세서에서 설명 및/또는 요구한 본 개시내용의 구현을 한정하기 위한 것이 아니다.
도 10에 도시된 바와 같이, 전자기기(800)는 컴퓨팅 유닛(801)을 포함하며, 해당 유닛은 읽기 전용 메모리 ROM(802)에 저장된 컴퓨터 프로그램 또는 저장유닛(808)으로부터 랜덤 액세스 메모리 RAM(803)에 로딩하는 컴퓨터 프로그램에 근거하여 각종 적당한 동작과 처리를 실행할 수 있다. RAM(803)에는 전자기기(800)의 조작에 필요한 각종 프로그램 및 데이터가 저장될 수 있다. 컴퓨팅 유닛(801), ROM(802) 및 RAM(803)은 버스(804)를 통해 서로 연결되어 있다. 입력출력(I/O) 인터페이스(805)도 버스(804)에 연결되어 있다.
전자기기(800)내의 복수의 부품도 I/O 인터페이스(805)에 연결되며, 이런 부품은 예를 들면 키보드, 마우스 등 입력유닛(806); 각종 유형의 디스플레이 기기, 스피커 등 출력유닛(807); 자기 디스크, 시디롬 등 저장유닛(808); 및 네트워크 카드, 모뎀, 무선 통신 트랜시버 등 통신유닛(809)을 포함한다. 통신유닛(809)은 전자기기(800)로 하여금 예를 들면 인터넷 등의 컴퓨터 네트워크 및/또는 각종 통신 네트워크를 통하여 기타 기기들과 정보/데이터를 교환하도록 허용한다.
컴퓨팅 유닛(801)은 각종 프로세싱 및 컴퓨팅 능력을 구비한 범용 및/또는 전용 프로세싱 컴포넌트일 수 있다. 컴퓨팅 유닛(801)의 일부 예시로서, 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 각종 전용의 인공지능(AI) 컴퓨팅 칩, 각종 머신러닝 모델 알고리즘을 수행하는 컴퓨팅 유닛, 디지털 신호 프로세서(DSP), 및 임의의 적당한 프로세서, 컨트롤러, 마이크로 컨트롤러 등을 포함하지만 이에 한정되는 것이 아니다. 컴퓨팅 유닛(801)은 상기에서 설명한 각 방법과 처리를 실행하며, 예를 들면 라이다 점군 데이터 처리 방법을 실행한다. 예를 들면, 일부 실시예에서, 라이다 점군 데이터 처리 방법은 컴퓨터 소프트웨어 프로그램의 형식으로 실현되며, 유형의 형식으로 기계판독 가능한 매체, 예를 들면 저장유닛(808)에 포함되어 있다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전부가 ROM(802) 및/또는 통신유닛(809)을 거쳐 전자기기(800)에 로딩 및/또는 장착될 수 있다. 컴퓨터 프로그램이 RAM(803)에 로딩되어 컴퓨팅 유닛(801)에 의해 실행될 때, 상기에 설명한 라이다 점군 데이터 처리 방법의 하나 또는 복수의 단계를 실행할 수 있다. 예비방안으로서, 기타 실시예에서, 컴퓨팅 유닛(801)은 기타 임의의 적당한 방식(예를 들면, 펌웨어를 빌어)을 통해 라이다 점군 데이터 처리 방법을 실행하도록 설치될 수 있다.
여기서 설명하는 시스템과 기술의 여러 가지 실시방식은 디지털 전자회로 시스템, 집적회로 시스템, 필드 프로그래머블 게이트 어레이(FPGA), 전용 집적회로(ASIC), 특정 용도 표준 제품(ASSP), 시스템 온 칩(SOC), 복합 프로그래머블 논리 소자(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 실현할 수 있다. 이러한 여러 가지 실시방식은 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템에서 실행 및/또는 해석될 수 있으며, 해당 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서로서, 저장 시스템, 적어도 하나의 입력장치 및 적어도 하나의 출력장치에서 데이터와 명령을 수신할 수 있고, 데이터와 명령을 해당 저장 시스템, 해당 적어도 하나의 입력장치 및 해당 적어도 하나의 출력장치에 전송할 수 있다.
본 개시내용의 방법을 실시하기 위한 프로그램 코드는 하나 또는 복수의 프로그래밍 언어의 임의의 조합을 사용하여 작성할 수 있다. 이런 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래밍 가능 데이터 처리 장치의 프로세서 또는 컨트롤러에 제공되어, 프로그램 코드로 하여금 프로세서 또는 컨트롤러에 의해 실행될 때 흐름도 및/또는 블록도에 규정된 기능/조작을 실시할 수 있도록 한다. 프로그램 코드는 전부가 기기에서 실행될 수 있고, 일부가 기기에서 실행될 수도 있고, 또한 독립적인 소프트웨어 패키지로서 일부가 기기에서 실행되고 일부가 원격 기기에서 실행될 수 있고 또는 완전히 원격 기기 또는 서버에서 실행될 수 있다.
본 개시내용의 상하 문장에서, 기계 판독가능한 매체는 유형의 매체일 수 있으며, 해당 매체는 명령 실행 시스템, 장치 또는 기기에서 사용하기 위한 프로그램 또는 명령 실행 시스템, 장치 또는 기기와 결합하여 사용하기 위한 프로그램을 포함 또는 저장할 수 있다. 기계 판독가능한 매체는 기계판독가능한 신호매체 또는 기계판독가능한 저장매체일 수 있다. 기계판독가능한 매체는 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기, 혹은 상기 내용의 임의의 적합한 조합을 포함할 수 있으나 이에 한정되지 않는다. 기계 판독가능한 매체의 더 구체적인 예시는 하나 이상의 와이어에 기반한 전기 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기전용 메모리(ROM), 소거 프로그램 가능 읽기전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 읽기전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 상기 내용의 임의의 적합한 조합을 포함할 수 있다.
사용자와의 상호작용을 제공하기 위하여, 여기서 설명하는 시스템과 기술을 컴퓨터에서 실시할 수 있으며, 해당 컴퓨터는, 사용자에게 정보를 디스플레이하는 디스플레이 장치(예를 들어, CRT(Cathode Ray Tube, 음극선관) 또는 LCD(액정 디스플레이) 모니터); 및 키보드와 포인팅 장치(예를 들어, 마우스 또는 트랙 볼)을 구비하고, 사용자는 해당 키보드와 해당 포인팅 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 기타 유형의 장치도 사용자와의 상호작용에 사용될 수 있는 바, 예를 들면 사용자에게 제공된 피드백은 모든 형식의 감각 피드백(예를 들어, 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고; 모든 형식(소리 입력, 음성 입력 또는 촉각 입력을 포함함)에 의해 사용자로부터의 입력을 수신할 수 있다.
여기서 설명한 시스템과 기술을 백그라운드 부품을 포함하는 컴퓨팅 시스템(예를 들면, 데이터 서버), 또는 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들면, 애플리케이션 서버), 또는 프런트엔드 부품을 포함하는 컴퓨팅 시스템(예를 들면, 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비한 사용자 컴퓨터, 사용자는 해당 그래픽 사용자 인터페이스 또는 해당 네트워크 브라우저를 통해 여기서 설명한 시스템과 기술의 실시형태와 상호작용할 수 있다), 또는 이러한 백그라운드 부품, 미들웨어 부품 또는 프런트엔드 부품을 포함하는 임의의 조합의 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형식 또는 매체의 디지털 데이터 통신(예를 들면, 통신 네트워크)을 통해 시스템의 부품을 서로 연결할 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 원격으로 설치된 동시에 통신 네트워크를 통해 서로 상호작용한다. 상응하는 컴퓨터에서 운행되고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통하여 클라이언트와 서버의 관계를 발생한다.
이해해야 할 것은, 이상에서 설명한 여러 가지 형태의 프로세스를 사용하여, 단계를 다시 정렬시키고 증가 또는 삭제할 수 있다. 예를 들면, 본 개시내용에서 기재한 각 단계는 동시에 수행될 수도 있고 순차적으로 수행될 수도 있으며 상이한 순서로 수행될 수도 있는 바, 본 개시내용에서 공개한 기술방안에서 기대하는 결과를 실현할 수만 있다면, 본문은 이에 대해 한정하지 않는다.
상기 구체적인 실시방식은 본 개시내용의 보호범위에 대한 한정이 아니다. 해당 분야 기술자들은 설계 요구와 기타 요소에 근거하여 여러 가지 수정, 조합, 하위 조합과 대체를 진행할 수 있다는 것을 명백해야 한다. 본 개시내용의 정신과 원칙 내에서 진행한 그 어떤 수정, 균등한 대체와 개량은 모두 본 개시내용의 보호범위 내에 포함된다.

Claims (19)

  1. 라이다 점군 데이터(radar point cloud data) 처리 방법에 있어서,
    라이다 점군 데이터 중의 표적 탐지창을 이용하여, 표적 물체가 위치한 표적 위치 구역을 확정하는 단계;
    상기 표적 위치 구역내에 위치한 상기 표적 물체의 매개의 점을 상기 라이다 점군 데이터에서 제거하는 단계; 및
    물체 모델을 상기 표적 위치 구역에 추가하여, 업데이트된 라이다 점군 데이터를 획득하는 단계
    를 포함하는 것을 특징으로 하는 라이다 점군 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 표적 탐지창은 3차원 탐지창이며; 상기 표적 물체는 3차원 물체이며, 상기 물체 모델은 3차원 모델인 것을 특징으로 하는, 라이다 점군 데이터 처리 방법.
  3. 제1항에 있어서,
    상기 표적 위치 구역내에 위치한 상기 표적 물체의 매개의 점을 상기 라이다 점군 데이터에서 제거하는 단계는,
    라이다 중심의 좌표 및 상기 표적 물체의 매개 점의 좌표를 이용하여, 라이다 중심으로부터 상기 표적 물체의 매개 점까지의 선분을 생성하는 단계; 및
    매개의 선분의 길이를 사전 설정한 최대치로 업데이트하는 단계
    를 포함하는 것을 특징으로 하는, 라이다 점군 데이터 처리 방법.
  4. 제3항에 있어서,
    물체 모델을 상기 표적 위치 구역에 추가하는 단계는,
    상기 물체 모델의 매개 점의 위치와 사전 설정한 옵셋을 더하여, 상기 물체 모델의 표적 위치 구역내에서의 위치를 확정하도록 하는 단계를 포함하는 것을 특징으로 하는, 라이다 점군 데이터 처리 방법.
  5. 제4항에 있어서,
    물체 모델을 상기 표적 위치 구역에 추가하는 단계는,
    투영 행렬을 통하여 상기 물체 모델에 대해 렌더링을 진행하여, 상기 물체 모델에 대응하는 깊이맵을 획득하는 단계;
    상기 투영 행렬을 통하여 상기 깊이맵을 카메라 평면에 투영하는 단계;
    상기 깊이맵을 검색하여, 라이다 사선과 상기 깊이맵의 교차점의 깊이값을 획득하는 단계; 및
    상기 라이다 사선과 상기 깊이맵의 교차점의 깊이값을 이용하여, 상기 라이다 사선에 대응하는 선분의 길이를 업데이트하여, 상기 라이다 사선이 상기 물체 모델의 표면에서의 교차점의 위치를 획득하도록 하는 단계
    를 더 포함하는 것을 특징으로 하는, 라이다 점군 데이터 처리 방법.
  6. 제5항에 있어서,
    물체 모델을 상기 표적 위치 구역에 추가하는 단계는,
    상기 라이다 사선과 상기 물체 모델의 깊이맵이 교차가 존재하지 않는 경우, 상기 라이다 사선이 불변함을 유지하는 단계를 더 포함하는 것을 특징으로 하는, 라이다 점군 데이터 처리 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 방법은,
    지상 방정식을 이용하여 상기 표적 위치 구역내의 지상에 속하는 점들에 대해 보완 처리를 진행하는 단계를 더 포함하는 것을 특징으로 하는, 라이다 점군 데이터 처리 방법.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 방법은,
    표적 탐지창 내의 매개 점의 시맨틱 정보를 확정하는 단계를 더 포함하며, 상기 시맨틱 정보는 상기 표적 탐지창 내의 매개 점이 표적 물체에 속하는지 여부를 포함하는 것을 특징으로 하는, 라이다 점군 데이터 처리 방법.
  9. 라이다 점군 데이터 처리 장치로서,
    라이다 점군 데이터 중의 표적 탐지창을 이용하여, 표적 물체가 위치한 표적 위치 구역을 확정하기 위한 확정 모듈;
    상기 표적 위치 구역내에 위치한 상기 표적 물체의 매개의 점을 상기 라이다 점군 데이터에서 제거하기 위한 제거 모듈; 및
    물체 모델을 상기 표적 위치 구역에 추가하여, 업데이트된 라이다 점군 데이터를 획득하기 위한 추가 모듈
    을 포함하는 것을 특징으로 하는, 라이다 점군 데이터 처리 장치.
  10. 제9항에 있어서,
    상기 표적 탐지창은 3차원 탐지창이며; 상기 표적 물체는 3차원 물체이며, 상기 물체 모델은 3차원 모델인 것을 특징으로 하는, 라이다 점군 데이터 처리 장치.
  11. 제9항에 있어서,
    상기 제거 모듈은,
    라이다 중심의 좌표 및 상기 표적 물체의 매개 점의 좌표를 이용하여, 라이다 중심으로부터 상기 표적 물체의 매개 점까지의 선분을 생성하기 위한 선분 생성 서브 모듈; 및
    매개의 선분의 길이를 사전 설정한 최대치로 업데이트하기 위한 업데이트 서브 모듈
    을 포함하는 것을 특징으로 하는, 라이다 점군 데이터 처리 장치.
  12. 제11항에 있어서,
    상기 추가 모듈은,
    상기 물체 모델의 매개 점의 위치와 사전 설정한 옵셋을 더하여, 상기 물체 모델을 표적 위치 구역내의 위치에 설치하도록 하기 위한 설치 서브 모듈을 포함하는 것을 특징으로 하는, 라이다 점군 데이터 처리 장치.
  13. 제12항에 있어서,
    상기 추가 모듈은,
    투영 행렬을 통하여 상기 물체 모델에 대해 렌더링을 진행하여, 상기 물체 모델에 대응하는 깊이맵을 획득하기 위한 렌더링 서브 모듈;
    상기 투영 행렬을 통하여 상기 깊이맵을 카메라 평면에 투영하기 위한 투영 서브 모듈;
    상기 깊이맵을 검색하여, 라이다 사선과 상기 깊이맵의 교차점의 깊이값을 획득하기 위한 검색 서브 모듈; 및
    상기 라이다 사선과 상기 깊이맵의 교차점의 깊이값을 이용하여, 상기 라이다 사선에 대응하는 선분의 길이를 업데이트하여, 상기 라이다 사선의 상기 물체 모델의 표면에서의 교차점의 위치를 획득하도록 하기 위한 교차점 서브 모듈
    을 더 포함하는 것을 특징으로 하는, 라이다 점군 데이터 처리 장치.
  14. 제13항에 있어서,
    상기 추가 모듈은,
    상기 라이다 사선과 상기 물체 모델의 깊이맵이 교차가 존재하지 않는 경우, 상기 라이다 사선이 불변함을 유지하기 위한 유지 서브 모듈을 더 포함하는 것을 특징으로 하는, 라이다 점군 데이터 처리 장치.
  15. 제9항 내지 제13항 중 어느 한 항에 있어서,
    상기 장치는,
    지상 방정식을 이용하여 상기 표적 위치 구역내의 지상에 속하는 점들에 대해 보완 처리를 진행하기 위한 보완 모듈을 더 포함하는 것을 특징으로 하는, 라이다 점군 데이터 처리 장치.
  16. 제9항 내지 제13항 중 어느 한 항에 있어서,
    상기 장치는,
    표적 탐지창 내의 매개 점의 시맨틱 정보를 확정하기 위한 시맨틱 모듈을 더 포함하며, 상기 시맨틱 정보는 상기 표적 탐지창 내의 매개 점이 표적 물체에 속하는지 여부를 포함하는 것을 특징으로 하는, 라이다 점군 데이터 처리 장치.
  17. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결된 메모리
    를 포함하는 전자 기기로서,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제6항 중 어느 한 항의 방법을 수행할 수 있도록 하는 것을 특징으로 하는 전자기기.
  18. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체로서,
    상기 컴퓨터 명령은 컴퓨터로 하여금 제1항 내지 제6항 중 어느 한 항의 방법을 수행하도록 하는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장매체.
  19. 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 제1항 내지 제6항 중 어느 한 항의 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020220032381A 2021-05-20 2022-03-15 라이다 점군 데이터 처리 방법, 장치, 기기, 저장매체 및 컴퓨터 프로그램 KR20220041792A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/325,762 2021-05-20
US17/325,762 US11796670B2 (en) 2021-05-20 2021-05-20 Radar point cloud data processing method and device, apparatus, and storage medium

Publications (1)

Publication Number Publication Date
KR20220041792A true KR20220041792A (ko) 2022-04-01

Family

ID=77464125

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220032381A KR20220041792A (ko) 2021-05-20 2022-03-15 라이다 점군 데이터 처리 방법, 장치, 기기, 저장매체 및 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US11796670B2 (ko)
EP (1) EP4102254A1 (ko)
JP (1) JP7312866B2 (ko)
KR (1) KR20220041792A (ko)
CN (1) CN114296083A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114966604B (zh) * 2022-05-26 2024-05-03 苏州轻棹科技有限公司 一种分区点云的目标检测处理方法
CN116030103B (zh) * 2023-03-07 2024-02-27 北京百度网讯科技有限公司 确定砌筑质量的方法、装置、设备和介质
CN116467848B (zh) * 2023-03-21 2023-11-03 之江实验室 一种毫米波雷达点云仿真的方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018126228A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Sign and lane creation for high definition maps used for autonomous vehicles
CN108765487B (zh) 2018-06-04 2022-07-22 百度在线网络技术（北京）有限公司 重建三维场景的方法、装置、设备和计算机可读存储介质
CN109271893B (zh) 2018-08-30 2021-01-01 百度在线网络技术（北京）有限公司 一种仿真点云数据的生成方法、装置、设备及存储介质
CN109146938B (zh) 2018-08-30 2020-09-15 百度在线网络技术（北京）有限公司 动态障碍物的位置校准方法、装置、设备及存储介质
US10956626B2 (en) 2019-07-15 2021-03-23 Ke.Com (Beijing) Technology Co., Ltd. Artificial intelligence systems and methods for interior design
WO2021189420A1 (zh) 2020-03-27 2021-09-30 华为技术有限公司 一种数据处理方法及装置
CN112365600B (zh) 2020-11-10 2023-11-24 中山大学 一种三维物体检测方法
CN112330815B (zh) 2020-11-26 2024-05-14 北京百度网讯科技有限公司 基于障碍物融合的三维点云数据处理方法、装置和设备
CN112651881B (zh) 2020-12-30 2023-08-01 北京百度网讯科技有限公司 图像合成方法、装置、设备、存储介质以及程序产品

Also Published As

Publication number Publication date
CN114296083A (zh) 2022-04-08
US11796670B2 (en) 2023-10-24
US20210270958A1 (en) 2021-09-02
JP7312866B2 (ja) 2023-07-21
JP2022050689A (ja) 2022-03-30
EP4102254A1 (en) 2022-12-14

Similar Documents

Publication Publication Date Title
KR20220041792A (ko) 라이다 점군 데이터 처리 방법, 장치, 기기, 저장매체 및 컴퓨터 프로그램
US11840259B2 (en) Method for simulating obstacle in unmanned simulation scene
JP7258066B2 (ja) 測位方法、測位装置及び電子機器
KR20210130113A (ko) 자율 운전 시스템의 장면 복원 테스트 방법, 장치, 기기 및 프로그램
EP3904829B1 (en) Method and apparatus for generating information, device, medium and computer program product
US20220215565A1 (en) Method for generating depth map, elecronic device and storage medium
US20210333302A1 (en) Method and apparatus for processing trajectory, roadside device and cloud control platform
EP4116935A2 (en) High-definition map creation method and device, and electronic device
CN111744199B (zh) 图像处理方法及装置、计算机可读存储介质、电子设备
EP4194807A1 (en) High-precision map construction method and apparatus, electronic device, and storage medium
US20230206578A1 (en) Method for generating virtual character, electronic device and storage medium
KR20220004939A (ko) 차선 검출 방법, 장치, 전자기기, 저장 매체 및 차량
KR20220165687A (ko) 지도 데이터 처리 방법, 지도 데이터 처리 장치, 전자장비, 저장매체 및 컴퓨터 프로그램
KR20210071884A (ko) 회전 교차로 네비게이션 방법, 장치, 기기 및 저장 매체
CN114506343A (zh) 轨迹规划方法、装置、设备、存储介质及自动驾驶车辆
CN113724388A (zh) 高精地图的生成方法、装置、设备以及存储介质
US20230048643A1 (en) High-Precision Map Construction Method, Apparatus and Electronic Device
US20220392251A1 (en) Method and apparatus for generating object model, electronic device and storage medium
CN115797961A (zh) 车道线变更检测方法、装置、电子设备及存储介质
CN114564268A (zh) 一种设备管理方法、装置、电子设备和存储介质
CN114581730A (zh) 检测模型的训练方法、目标检测方法、装置、设备和介质
CN114581869A (zh) 确定目标对象位置的方法、装置、电子设备和存储介质
CN111369665A (zh) 一种基于三维建模技术的生产状态监测系统及监测方法
CN112835007B (zh) 点云数据转换方法、装置、电子设备和存储介质
CN117765346A (zh) 点云训练样本增强方法和模型训练方法及装置