KR20210093351A - 정보 보완 방법, 차선 인식 방법, 지능형 주행 방법 및 관련 제품 - Google Patents
정보 보완 방법, 차선 인식 방법, 지능형 주행 방법 및 관련 제품 Download PDFInfo
- Publication number
- KR20210093351A KR20210093351A KR1020217021148A KR20217021148A KR20210093351A KR 20210093351 A KR20210093351 A KR 20210093351A KR 1020217021148 A KR1020217021148 A KR 1020217021148A KR 20217021148 A KR20217021148 A KR 20217021148A KR 20210093351 A KR20210093351 A KR 20210093351A
- Authority
- KR
- South Korea
- Prior art keywords
- point cloud
- cloud data
- target
- frame
- reference point
- Prior art date
Links
Images
Classifications
-
- G06K9/00791—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
본 발명의 실시예는 정보 보완 방법, 차선 인식 방법, 지능형 주행 방법 및 관련 제품을 공개하였으며, 상기 정보 보완 방법은, 각 프레임에 깊이 정보와 강도 정보가 포함된 다중 프레임 포인트 클라우드 데이터를 획득하는 단계; 상기 다중 프레임 포인트 클라우드 데이터 중 기준 포인트 클라우드 데이터를 제외한 적어도 하나의 프레임의 포인트 클라우드 데이터의 깊이 정보와 강도 정보에 따라, 기준 포인트 클라우드 데이터를 보완하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 포인트 클라우드 데이터를 획득하는 단계;를 포함하며, 여기서, 상기 목표 포인트 클라우드 데이터의 깊이 정보는 상기 기준 포인트 클라우드 데이터의 깊이 정보보다 조밀하고, 또한 상기 목표 포인트 클라우드 데이터의 강도 정보는 상기 기준 포인트 클라우드 데이터의 강도 정보보다 조밀하며, 상기 기준 포인트 클라우드 데이터는 상기 다중 프레임 포인트 클라우드 데이터 중의 어느 하나의 포인트 클라우드 데이터이다.
Description
본 출원은 2019년 10월 31일 중국 특허국에 제출된, 출원번호가 201911050904.4이고, 출원의 명칭이 "정보보완 방법, 차선인식 방법, 지능형 주행 방법 및 관련 제품"인 중국 특허 출원의 우선권을 요구하며, 내용 전부를 인용을 통해 본 출원에 결합시켰다.
본 출원은 컴퓨터 비전 기술분야에 관한 것으로서, 구체적으로는 정보 보완 방법, 차선 인식 방법, 지능형 주행 방법 및 관련 제품에 관한 것이다.
현재, 목표 탐지 측면에서, 레이저 레이더(Light Detection And Ranging, 약칭: LiDAR)를 이용하여 목표물을 향해 여러 행의 스캔라인의 펄스 레이저를 투사하여, 역방향 산란 반사를 통해 목표를 측정한다. 레이저는 가시광에 속하지 않기 때문에, 설사 조명 조건이 좋지 않은 경우에도, LiDAR는 양호하게 작동할 수 있으며, 따라서, 레이저 레이더는 각종 분야에 광범위하게 응용되고 있다. 예를 들어, 무인주행 시, LiDAR를 이용하여 차선을 추출할 수 있다. 비록 LiDAR는 광선의 영향을 받지 않으나, 수직 해상도와 수평각 해상도의 제한으로 인해, LiDAR의 측정 데이터가 매우 희소하며, LiDAR의 측량 데이터를 충분히 이용하기 위해서는 먼저 측량 데이터 중 희소한 심층 정보를 조밀한 심층 정보로 보완한다. 그러나 LiDAR의 측량 데이터에는 강도 정보가 더 포함되어 있으나, 강도 신호는 목표의 표면 재질, 레이저의 입사각 방향 등 기타 요소와 관련이 있어, 강도 정보를 보완할 수 없게 만들기 때문에, 현재 LiDAR의 측량 데이터에 대한 이용률이 낮다. 강도 정보를 보완할 수 없기 때문에, 보완 후의 심층 정보만으로 차선을 인식할 경우, 환경 휘도가 깊이 정보의 획득에 영향을 미칠 수 있어 인식률이 낮고, 강건성이 떨어진다.
본 출원의 실시예는 포인트 클라우드 데이터 리소스의 이용률을 높이고 차선의 인식 정밀도를 높일 수 있는 정보 보완 방법, 차선 인식 방법, 지능형 주행 방법 및 관련 제품을 제공한다.
첫 번째 측면으로, 본 출원의 실시예는 정보 보완방법을 제공하며, 이는
각 프레임에 깊이 정보와 강도 정보가 포함된 다중 프레임 포인트 클라우드 데이터를 획득하는 단계;
상기 다중 프레임 포인트 클라우드 데이터 중 기준 포인트 클라우드 데이터를 제외한 적어도 하나의 프레임의 포인트 클라우드 데이터의 깊이 정보와 강도 정보에 따라, 기준 포인트 클라우드 데이터를 보완하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 포인트 클라우드 데이터를 획득하는 단계;를 포함하며,
여기서, 상기 목표 포인트 클라우드 데이터의 깊이 정보는 상기 기준 포인트 클라우드 데이터의 깊이 정보보다 조밀하고, 또한 상기 목표 포인트 클라우드 데이터의 강도 정보는 상기 기준 포인트 클라우드 데이터의 강도 정보보다 조밀하며, 상기 기준 포인트 클라우드 데이터는 상기 다중 프레임 포인트 클라우드 데이터 중의 어느 하나의 포인트 클라우드 데이터이다.
두 번째 측면으로, 본 출원의 실시예는 차선 인식방법을 제공하며, 이는
도로의 포인트 클라우드 데이터를 수집하는 단계;
첫 번째 측면의 상기 정보 보완방법을 이용하여, 상기 포인트 클라우드 데이터를 보완하여 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 단계;
상기 목표강도 맵에 따라 차선을 인식하여 차선 인식 결과를 획득하는 단계를 포함한다.
세 번째 측면으로, 본 출원의 실시예는 지능형 주행방법을 제공하며, 이는
지능형 주행장치 주변 장면의 포인트 클라우드 데이터를 수집하는 단계;
첫 번째 측면의 상기 정보 보완 방법을 이용하여, 상기 포인트 클라우드 데이터를 보완하여, 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 단계;
상기 목표 강도 맵에 따라 상기 주변 장면 중의 목표 대상을 인식하는 단계;
인식 결과에 따라, 상기 지능형 주행장치의 주행을 제어하는 단계를 포함한다.
네 번째 측면으로, 본 출원의 실시예는 정보 보완 장치를 제공하며, 이는
각 프레임에 깊이 정보와 강도 정보가 포함된 다중 프레임의 포인트 클라우드 데이터를 획득하기 위한 획득유닛;
상기 다중 프레임의 포인트 클라우드 데이터 중 기준 포인트 클라우드 데이터를 제외한 적어도 한 프레임의 포인트 클라우드 데이터의 깊이 정보와 강도 정보에 따라, 기준 포인트 클라우드 데이터를 보완하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 포인트 클라우드 데이터를 획득하기 위한 보완 유닛을 포함하며;
여기서, 상기 목표 포인트 클라우드 데이터의 깊이 정보는 상기 기준 포인트 클라우드 데이터의 깊이 정보보다 조밀하고, 또한 상기 목표 포인트 클라우드 데이터의 강도 정보는 상기 기준 포인트 클라우드 데이터의 강도 정보보다 조밀하며, 상기 기준 포인트 클라우드 데이터는 상기 다중 프레임 포인트 클라우드 데이터 중의 어느 하나의 포인트 클라우드 데이터이다.
다섯 번째 측면으로, 본 출원의 실시예는 차선 인식장치를 제공하며, 이는
도로의 포인트 클라우드 데이터를 수집하기 위한 수집유닛;
첫 번째 측면의 상기 정보 보완방법을 이용하여, 상기 포인트 클라우드 데이터를 보완하여 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하기 위한 보완유닛;
상기 목표 강도 맵에 따라 차선을 인식하여 차선 인식 결과를 획득하기 위한 인식유닛을 포함하는 것을 특징으로 한다.
여섯 번째 방면으로, 본 출원의 실시예는 지능형 주행장치를 제공하며, 이는
지능형 주행장치 주변 장면의 포인트 클라우드 데이터를 수집하기 위한 수집유닛;
첫 번째 측면의 상기 정보 보완방법을 이용하여, 상기 포인트 클라우드 데이터를 보완하여, 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하기 위한 보완유닛;
상기 목표 강도 맵에 따라 상기 주변 장면 중의 목표 대상을 인식하기 위한 인식유닛;
인식 결과에 따라, 상기 지능형 주행장치의 주행을 제어하기 위한 제어유닛을 포함한다.
일곱 번째 측면으로, 본 출원의 실시예는 프로세서, 메모리, 통신 인터페이스 및 하나 또는 다수의 프로그램을 포함하는 전자장치를 제공하며, 여기서, 상기 하나 또는 다수의 프로그램은 상기 메모리에 저장되고, 또한 상기 프로세서에 의해 실행되도록 설정되며, 상기 프로그램은 첫 번째 측면, 두 번째 측면 또는 세 번째 측면의 상기 방법 중의 단계를 실행하기 위한 명령을 포함한다.
여덟 번째 측면으로, 본 출원의 실시예는 컴퓨터 가독 저장매체를 제공하며, 상기 컴퓨터 가독 저장매체에 컴퓨터 프로그램이 저장되고, 컴퓨터는 상기 컴퓨터 프로그램에 의해 첫 번째 측면, 두 번째 측면 또는 세 번째 측면의 상기 방법을 실행 한다.
아홉 번째 측면으로, 본 출원의 실시예는 컴퓨터 프로그램 제품을 제공하며, 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 가독 저장매체를 포함하고, 상기 컴퓨터 가독 저장매체를 통해 컴퓨터가 첫 번째 측면, 두 번째 측면 또는 세 번째 측면의 상기 방법을 실행 한다.
본 출원의 실시예의 실시는 다음과 같은 유익한 효과를 가진다:
본 출원의 실시예에서, 포인트 클라우드 데이터 중의 깊이 정보와 강도 정보를 보완함으로써, 수집된 희소 포인트 클라우드 데이터를 조밀한 포인트 클라우드 데이터로 보완하고, 포인트 클라우드 데이터 중의 강도 정보에 대한 보완을 구현하여, 포인트 클라우드 데이터 리소스의 이용률이 향상된다.
본 출원의 실시예 중의 기술방안을 보다 명확하게 설명하기 위하여, 이하 실시예의 설명에 필요한 첨부도면에 대해 간단히 소개하며, 아래에 기재된 첨부도면은 본 출원의 일부 실시예로서, 당업계의 보통 기술자에게 있어서, 창조적인 노동을 기울이지 않는 전제하에, 이러한 도면을 근거로 다른 도면을 더 획득할 수 있음은 자명하다.
도 1은 본 출원의 실시예가 제공하는 정보 보완 방법의 흐름도이다.
도 2는 본 출원의 실시예가 제공하는 또 다른 정보 보완 방법의 흐름도이다.
도 3은 본 출원의 실시예가 제공하는 정보 보완 모델의 구조도이다.
도 4는 본 출원의 실시예가 제공하는 차선 인식 방법의 흐름도이다.
도 5는 본 출원의 실시예가 제공하는 지능형 주행 방법의 흐름도이다.
도 6은 본 출원의 실시예가 제공하는 정보 보완 장치의 구조도이다.
도 7은 본 출원의 실시예가 제공하는 차선 인식 장치의 구조도이다.
도 8은 본 출원의 실시예가 제공하는 지능형 주행 장치의 구조도이다.
도 9는 본 출원의 실시예가 제공하는 정보 보완 장치의 기능유닛 구성 블록도이다.
도 10은 본 출원의 실시예가 제공하는 차선 인식 장치의 기능 유닛 구성 블록도이다.
도 11은 본 출원의 실시예가 제공하는 지능형 주행 장치의 기능 유닛 구성 블록도이다.
도 1은 본 출원의 실시예가 제공하는 정보 보완 방법의 흐름도이다.
도 2는 본 출원의 실시예가 제공하는 또 다른 정보 보완 방법의 흐름도이다.
도 3은 본 출원의 실시예가 제공하는 정보 보완 모델의 구조도이다.
도 4는 본 출원의 실시예가 제공하는 차선 인식 방법의 흐름도이다.
도 5는 본 출원의 실시예가 제공하는 지능형 주행 방법의 흐름도이다.
도 6은 본 출원의 실시예가 제공하는 정보 보완 장치의 구조도이다.
도 7은 본 출원의 실시예가 제공하는 차선 인식 장치의 구조도이다.
도 8은 본 출원의 실시예가 제공하는 지능형 주행 장치의 구조도이다.
도 9는 본 출원의 실시예가 제공하는 정보 보완 장치의 기능유닛 구성 블록도이다.
도 10은 본 출원의 실시예가 제공하는 차선 인식 장치의 기능 유닛 구성 블록도이다.
도 11은 본 출원의 실시예가 제공하는 지능형 주행 장치의 기능 유닛 구성 블록도이다.
이하 본 출원의 실시예 중의 첨부도면을 결합하여 본 출원의 실시예 중의 기술방안에 대해 분명하고 완전하게 설명한다. 기재되는 실시예는 실시예 전체가 아니라, 본 출원의 일부 실시예임은 자명하다. 본 출원 중의 실시예에 따라, 당업계의 보통 기술자가 창조적인 노동을 기울이지 않은 전제하에 획득한 모든 다른 실시예들은 본 출원의 보호범위에 속한다.
본 출원의 명세서와 청구항 및 상기 첨부도면 중의 용어 "제1", "제2", "제3" 및 "제4" 등은 각기 다른 대상을 구별하기 위한 것이지, 특정 순서를 설명하기 위한 것이 아니다. 또한, 용어 "포함하다"와 "구비한다" 및 이들의 임의의 변형은 비배타적인 포함을 아우르고자 하는 의도이며, 예를 들어 일련의 단계 또는 유닛을 포함하는 과정, 방법, 시스템, 제품 또는 장치는 이미 열거된 단계 또는 유닛에 한정되지 않고, 열거되지 않은 단계 또는 유닛을 선택적으로 더 포함하거나, 또는 이러한 과정, 방법, 제품 또는 장치에 대한 고유의 다른 단계 또는 유닛을 선택적으로 더 포함할 수 있다.
본문에서 언급되는 "실시예"는, 실시예와 결합하여 기재되는 특정 특징, 결과 또는 특성이 본 출원의 적어도 하나의 실시예에 포함될 수 있음을 의미한다. 명세서 중의 각 위치에 상기 단어가 출현하더라도 반드시 동일한 실시예를 지칭하는 것이 아니며, 다른 실시예와 서로 배척되는 독립적이거나 또는 선택된 실시예를 지칭하는 것도 아니다. 당업자라면 본문에 기재된 실시예는 다른 실시예와 서로 결합될 수 있다는 것을 명시적 또는 암묵적으로 이해할 수 있다.
LiDAR는 목표(관찰점)로 레이저빔을 발사하고, 목표로부터 반사되어 돌아오는 에코신호를 수신하여, 에코신호를 발사신호와 비교하여 목표의 포인트 클라우드 데이터를 획득하며, 상기 포인트 클라우드 데이터에는 목표의 깊이 정보(XYZ 좌표정보), 에코 횟수, 강도 정보, RGB 화소값, 스캔 각도, 스캔 방향 등이 포함된다. LiDAR는 수직 해상도와 수평각 해상도가 제한적이어서, 포인트 클라우드 데이터가 매우 희소하다. 포인트 클라우드 데이터를 충분히 이용하기 위하여, 먼저 포인트 클라우드 데이터 중의 희소한 깊이 정보를 조밀한 깊이 정보로 보완한다. 그러나, 포인트 클라우드 데이터에는 강도 정보가 더 포함되어 있으며, 강도정보는 LiDAR의 입사각, 목표와의 거리 및 목표의 표면 재질 등 기타 요소와 관련이 있기 때문에, 강도 정보를 보완할 수 없게 만들고, 나아가 강도 정보를 이용할 수 없게 되어, LiDAR의 측정 데이터의 이용률이 낮은 결과를 초래한다. 강도 정보를 이용할 수 없기 때문에, 보완 후의 깊이 정보만으로 차선을 인식 시, 환경 휘도가 깊이 정보의 획득에 영향을 미칠 수 있기 때문에, 차선 인식률이 낮아지고, 강건성이 떨어질 수 있다. 이상의 단점을 해결하기 위하여, 본 출원의 기술방안을 특별히 제시함으로써, 포인트 클라우드 데이터의 희소한 깊이 정보와 강도 정보의 동기적인 보완을 구현하고, 차선 인식의 강건성을 향상시키고자 한다.
도 1을 참조하면, 도 1은 본 출원의 실시예가 제공하는 정보 보완 방법의 흐름도로서, 상기 방법은 이하 단계를 포함하나 이에 한정되지 않는다.
101: 다중 프레임의 포인트 클라우드 데이터를 획득하는 단계.
여기서, 상기 다중 프레임 포인트 클라우드 데이터는 연속적으로 수집하여 획득된 포인트 클라우드 데이터로서, 즉 상기 다중 프레임의 포인트 클라우드는 이웃한 포인트 클라우드 데이터일 수도 있고, 비연속적으로 수집한 포인트 클라우드 데이터일 수도 있다. 본 출원에서는 이웃한 포인트 클라우드 데이터를 예로 들어 구체적으로 설명한다.
또한, 상기 프레임 포인트 클라우드 데이터는 깊이 정보와 강도 정보를 포함한다.
102: 상기 다중 프레임 포인트 클라우드 데이터 중 기준 포인트 클라우드 데이터를 제외한 적어도 하나의 포인트 클라우드 데이터의 깊이 정보와 강도 정보에 따라, 기준 포인트 클라우드 데이터를 보완하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 포인트 클라우드 데이터를 획득하는 단계.
상기 기준 포인트 클라우드 데이터는 다중 프레임 포인트 클라우드 데이터 중의 어느 하나의 포인트 클라우드 데이터이며, 상기 적어도 하나의 포인트 클라우드 데이터는 상기 다중 프레임의 포인트 클라우드 데이터 중 상기 기준 포인트 클라우드 데이터를 제외한 포인트 클라우드 데이터 중의 모든 포인트 클라우드 데이터이거나 또는 일부 포인트 클라우드 데이터이다.
일반적으로, 상기 기준 포인트 클라우드 데이터는 상기 다중 프레임의 포인트 클라우드 데이터의 중간 위치에 놓이는 포인트 클라우드 데이터이며, 이에 따라 상기 기준 포인트 클라우드 데이터의 전후로 동일한 수량의 포인트 클라우드 데이터를 가지므로, 정보 보완을 수행 시, 기준 포인트 클라우드 데이터를 정보가 조밀한 목표 포인트 클라우드 데이터로 보완하기가 더욱 좋다.
여기서, 상기 목표 포인트 클라우드 데이터의 깊이 정보는 상기 기준 포인트 클라우드 데이터의 깊이 정보보다 조밀하고, 상기 목표 포인트 클라우드 데이터의 강도 정보는 상기 기준 포인트 클라우드 데이터의 강도 정보보다 조밀하다.
또한, 상기 목표 포인트 클라우드 데이터는 목표 깊이 맵과 목표 강도 맵을 포함한다. 목표 깊이 맵 중의 깊이 정보는 상기 기준 포인트 클라우드 데이터에 대응되는 깊이 정보보다 조밀하고, 목표 강도 맵 중의 강도 정보는 기준 포인트 클라우드 데이터에 대응되는 강도 맵 중의 강도 정보보다 조밀하다.
이하 기준 포인트 클라우드 데이터에 대해 깊이 정보와 강도 정보를 보완하는 과정을 상세히 서술한다.
도 2를 참조하면, 도 2는 본 출원의 실시예가 제공하는 또 다른 정보 보완 방법의 흐름도로서, 상기 방법은 이하 단계를 포함하나 이에 한정되지 않는다:
201: 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터의 깊이 정보를 재투영하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 깊이 맵을 획득하는 단계.
상기 포인트 클라우드 데이터 집합은 상기 적어도 한 프레임의 포인트 클라우드 데이터와 상기 기준 포인트 클라우드 데이터로 구성된다.
상기 포인트 클라우드 집합 중의 각 프레임의 포인트 클라우드 데이터에 대해 재투영을 실시하여, 각 프레임의 포인트 클라우드 데이터에 대응되는 깊이 맵과 강도 맵을 획득하며, 재투영은 종래의 기술이므로, 설명을 생략한다.
202: 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 깊이 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대해 깊이 정보 보완을 수행하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵을 획득하는 단계.
선택적으로, 레이저 레이더는 각 프레임의 포인트 클라우드 데이터를 수집 시 위치와 자세에 변화가 발생할 수 있기 때문에, 각 프레임의 포인트 클라우드 데이터를 수집 시의 레이더 좌표계는 각각 다르며, 따라서 상기 적어도 하나의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 레이더 좌표계를 획득하고, 상기 기준 포인트 클라우드 데이터에 대응되는 기준 레이더 좌표계를 획득하며; 각각의 제1 레이더 좌표계를 상기 기준 레이더 좌표계로 변환 시 대응되는 각각의 제1 변환 매트릭스를 획득하고; 각각의 제1 변환 매트릭스에 따라 상기 적어도 하나의 포인트 클라우드 데이터 중 상기 제1 변환 매트릭스와 대응되는 포인트 클라우드 데이터의 깊이 맵을 변환하며, 즉 상기 포인트 클라우드 데이터의 깊이 맵을 기준 레이더 좌표계로 변환하여, 상기 포인트 클라우드 데이터에 대응되는 제1 깊이 맵을 획득함으로써, 상기 적어도 하나의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 깊이 맵을 획득할 수 있으며; 이후, 상기 적어도 하나의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 깊이 맵을 상기 기준 포인트 클라우드 데이터에 대응되는 깊이 맵에 중첩시켜, 상기 기준 포인트 클라우드 데이터를 획득한다.
설명해두어야 할 점으로, 상기 적어도 하나의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터의 깊이 맵을 상기 기준 포인트 클라우드 데이터의 깊이 맵과 중첩시켜 새로운 깊이 맵을 획득한다. 만약 상기 적어도 하나의 포인트 클라우드 데이터 중의 i번째 프레임의 포인트 클라우드 데이터의 깊이 맵을 중첩 시, 최신 깊이 맵에 이미 상기 i번째 프레임의 포인트 클라우드 데이터 깊이 맵 중의 하나의 관측점의 깊이 정보가 포함되어 있다면, 상기 관측점의 깊이 정보의 중첩을 무시하고, 만약 상기 관측점의 깊이 정보가 포함되지 않은 경우, 상기 관측점의 깊이 정보를 최신 깊이 맵에 중첩하여 현재의 최신 깊이 맵을 획득하며, 상기 적어도 하나의 포인트 클라우드 데이터에 대응되는 모든 깊이 맵을 전부 중첩 완료하였다면, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵을 획득할 수 있다.
203: 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대해 강도 정보를 보완하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 단계.
이로써 알 수 있듯이, 본 출원의 실시예에서는 포인트 클라우드 데이터 중의 깊이 정보와 강도 정보를 보완함으로써, 수집된 희소한 포인트 클라우드 데이터를 조밀한 포인트 클라우드 데이터로 보완하며; 깊이 정보와 강도 정보를 동기적으로 보완하기 때문에, 보완 과정에서 2개의 정보 사이에 서로 참고가 되며, 나아가 정보 보완의 정확도가 향상되고, 보완의 오류를 피할 수 있으며; 또한 포인트 클라우드 데이터 중의 강도 정보에 대한 보완을 구현하여 포인트 클라우드 데이터 리소스의 이용률이 향상된다.
일부 가능한 실시방식에서, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 강도 맵에 대해 거리 보정을 실시하여 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵을 획득하고; 이후, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵에 대해 각도 보정을 실시하여 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제2 강도 맵을 획득하며; 마지막으로, 상기 적어도 하나의 프레임의 포인트 클라우드 데이터에 대응되는 제2 강도 맵과 상기 기준 포인트 클라우드 데이터에 대응되는 제2 강도 맵을 중첩하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득할 수 있다.
여기서, 상기 각 프레임의 포인트 클라우드 데이터에 대해 거리 보정과 각도 보정을 실시함에 있어서는 전후 순서가 없다. 예를 들어, 먼저 거리 보정을 실시한 다음 각도 보정을 실시할 수도 있고, 먼저 각도 보상을 실시한 후, 거리 보상을 실시할 수도 있으며, 각도 보상과 거리 보상을 동시에 실시할 수도 있다.
일부 가능한 실시방식에서, 레이저 레이더의 레이더 파라미터에 따라 거리 보정항을 획득할 수 있고; 거리 보정항(g(D))을 근거로, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵(
)을 확정한다. 여기서, 상기 거리 보정항(g(D)) 및 제1 강도 맵(
)은 공식 (1)을 만족시킨다:
각 관측점(레이저 레이더 광선이 조사되는 물체의 표면)의 강도 정보는 각 관측점과 레이저 레이더의 거리(깊이 정보)와 관련이 있기 때문에, 따라서, 각 프레임의 포인트 클라우드 데이터의 강도 맵에 대해 하나의 거리 보정항, 즉 상기 거리의 영향과 반대인 파라미터를 추가하여, 상기 거리 보정항을 통해 거리가 강도 정보에 미치는 영향을 제거한다. 예를 들어, 각 관측점의 강도 정보와 거리가 정비례 관계를 나타낸다면, 반비례를 통해 거리가 각 관측점의 강도 정보에 미치는 영향을 제거한다. 따라서, 제1 강도 맵 중 거리가 다른 관측점의 강도 정보는 거리와 무관하다.
또한, 거리 보정을 실시하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵을 획득한 후, 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵과 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 확정할 수 있다.
구체적으로 설명하면, 깊이 맵 중 각 관측점의 깊이 정보, 즉 (X, Y, Z) 좌표는 상기 관측점의 공간 위치를 나타낸다. 따라서 기준 레이더 좌표계에서, 기준 포인트 클라우드 데이터의 목표 깊이 맵 상의 각 관측점에 대해 평면 피팅을 실시하여 목표 공간 평면 및 상기 목표 공간 평면의 향방을 획득하며, 상기 목표 공간 평면의 향방에 기초하여 상기 목표 공간 평면의 법선 벡터(
)를 획득한 후, 상기 기준 포인트 클라우드 데이터의 목표 깊이 맵 중 각 관측점의 깊이 좌표(X, Y, Z)와 법선 벡터(
)에 따라, 상기 기준 포인트 클라우드 데이터의 목표 깊이 맵 중 각 관측점의 입사각을 획득하며, 이에 따라 상기 기준 포인트 클라우드 데이터의 목표 깊이 맵에 대응되는 목표 입사각 매트릭스(
)를 획득할 수 있으며, 상기 목표 입사각 매트릭스(
)가 바로 기준 포인트 클라우드 데이터의 제1 입사각 매트릭스이기도 하다.
예를 들어 설명하면, 관측점의 깊이 정보가 
이고, 법선 벡터가 
이면, 즉 상기 관측점의 입사각은 
이고, 또한 
이다.
이후, 상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터의 제1 변환 매트릭스(즉 2개의 레이더 좌표계 사이의 변환 매트릭스)에 따라 상기 목표 입사각 매트릭스를 역변환시킨다. 즉 상기 제1 변환 매트릭스에 대응되는 역매트릭스를 사용하여 상기 목표 입사각 매트릭스에 대해 역변환을 실시하여, 상기 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스를 획득하며, 이를 통해 상기 포인트 클라우드 집합 중 각 프레임의 포인트 클라우드 데이터의 제1 입사각 매트릭스를 획득할 수 있다. 상기 제1 입사각 매트릭스 중의 각 입사각은 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터를 수집 시, 레이저 레이더의 입사광선과 목표 평면의 법선 간의 협각이며, 상기 목표 평면은 상기 프레임의 포인트 클라우드 데이터에 대응되는 모든 관측점이 소재하는 공간 평면, 예를 들어 상기 목표 공간 평면이다.
또한, 각 관측점의 강도 정보는 입사각의 영향을 받을 수도 있으며, 즉 재질이 동일하고 레이저 레이더와의 거리가 동일한 관측점은, 입사각이 다를 경우, 강도 정보도 다를 수 있다.
따라서, 상기 포인트 클라우드 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스를 사용하여 상기 포인트 클라우드 집합 중 각 프레임의 포인트 클라우드 데이터의 제1 강도 맵에 대해 각도 보정을 실시하여, 상기 포인트 클라우드 집합 중 각 프레임의 포인트 클라우드 데이터의 제2 강도 맵을 획득하며, 즉 상기 제2 강도 맵에서 각도(입사각)가 강도 정보에 미치는 영향이 제거된다.
구체적으로 설명하면, 상기 포인트 클라우드 집합 중 각 프레임의 포인트 클라우드 데이터의 제1 입사각 매트릭스와 사전 설정된 구속계수를 통해, 상기 포인트 클라우드 데이터의 제1 강도 맵에 대해 각도 보정을 실시하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터의 제2 강도 맵을 획득한다. 여기서, 상기 제2 강도 맵은 공식 (2)를 만족시킨다:
각 관측점에 대응되는 강도 정보가 입사각의 코사인값과 관련이 있기 때문에, 상기 코사인값과 반대되는 방식을 통해 각 관측점의 강도 정보를 보정함으로써, 입사각이 각 관측점의 강도 정보에 미치는 영향을 제거하며, 따라서 제2 강도 맵 중 각 관측점에 대응되는 강도 정보는 상기 관측점의 표면 재질과만 관련이 있고, 거리와 각도의 영향은 더 이상 받지 않게 된다. 즉 각 관측점의 강도 정보는 상기 관측점의 반사율과만 관련이 있다.
또한, 각 프레임의 포인트 클라우드 데이터에 대응되는 제2 강도 맵을 획득한 후, 상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제2 강도 맵과 기준 포인트 클라우드 데이터에 대응되는 제2 강도 맵을 중첩하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득한다.
마찬가지로, 상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터의 제2 강도 맵을 상기 기준 포인트 클라우드 데이터에 대응되는 제2 강도 맵과 중첩시켜 최신 강도 맵을 획득한다. 상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중의 i번째 프레임의 포인트 클라우드 데이터의 제2 강도 맵을 중첩 시, 상기 최신 강도 맵에 이미 상기 i번째 프레임의 포인트 클라우드 데이터의 제2 강도 맵 중 하나의 관측점의 강도 정보가 포함되어 있다면, 즉 상기 관측점의 강도 정보의 중첩을 무시하고, 만약 상기 관측점의 강도 정보가 포함되어 있지 않다면, 상기 관측점의 강도 정보를 상기 최신 강도 맵에 중첩시켜, 현재의 최신 강도 맵을 획득하며, 상기 적어도 하나의 프레임의 포인트 클라우드 데이터에 대응되는 모든 제2 강도 맵이 전부 중첩 완료되었다면, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵(
)을 획득한다.
상기 목표 강도 맵(
) 중의 관측점은 표면 재질만 같다면, 관측점과 레이저 레이더의 거리가 얼마이든, 입사각이 얼마이든, 그 대응되는 강도 정보는 동일하다는 것을 이해할 수 있다. 그러나, 실제 수집 시, 거리가 다르고, 입사각이 다른 관측점은 강도 정보가 상이하기 때문에, 이에 대응되는 강도 정보가 다르다. 만약 강도 맵을 직접 중첩할 수 있다면, 중첩 후의 강도 맵 중 재질이 동일한 관측점이지만, 만약 레이저 레이더와의 사이의 거리가 다르고, 입사각이 다를 경우, 이들에 대응되는 강도 정보가 다르기 때문에, 이를 통해 실제 강도 맵을 획득한다. 따라서, 목표 강도 맵(
)을 획득한 후, 목표 강도 맵(
)에 대해 역정규화 처리를 수행하며, 즉 상기 목표 입사각 매트릭스 및 사전 설정된 구속계수에 따라 상기 목표 강도 맵(
)에 대해 역정규화 처리를 실시하여, 상기 기준 포인트 클라우드 데이터에 대응되는 오리지널 강도 맵(
)을 획득하며, 오리지널 강도 맵(
)은 상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터의 강도 맵과 상기 기준 포인트 클라우드 데이터의 강도 맵을 직접 중첩시켜 획득된 강도 맵에 해당한다. 여기서, 상기 오리지널 강도 맵(
)은 공식 (3)을 만족시킨다:
여기서, 
는 목표 입사각 매트릭스이고, 
는 목표 강도 맵이며, 
와 
은 사전 설정된 구속계수이다.
선택적으로, 상기 오리지널 강도 맵(
)을 획득한 후, 상기 오리지널 강도 맵(
)에 대해 가시화 프리젠테이션을 수행하여 포인트 클라우드 데이터의 강도 정보를 직접 보완한 후의 보완 결과를 표시함으로써 강도 정보의 보완을 구현할 수 있다.
일부 가능한 구현방식에서, 상기 기준 포인트 클라우드 데이터에 대한 정보 보완은 신경망을 이용하여 실행되며, 상기 신경망은 아래의 단계로 훈련시켜 획득된다:
단계 a: 샘플 포인트 클라우드 데이터에 대해 정보 보완을 수행하여, 보완 후의 샘플 포인트 클라우드 데이터를 출력하는 단계;
단계 b: 상기 보완 후의 샘플 포인트 클라우드 데이터에 따라, 상기 샘플 포인트 클라우드 데이터의 예측 목표 깊이 맵, 예측 목표 강도 맵 및 예측 오리지널 강도 맵을 획득하는 단계;
단계 c: 상기 샘플 포인트 클라우드 데이터의 라벨링된(labeled) 목표 깊이 맵, 라벨링된 목표 강도 맵과 라벨링된 오리지널 강도 맵, 및 상기 샘플 포인트 클라우드 데이터의 예측 목표 깊이 맵, 예측 목표 강도 맵 및 예측 오리지널 강도 맵에 따라 상기 신경망의 네트워크 파라미터를 조정하는 단계.
구체적으로 설명하면, 먼저 샘플 데이터의 깊이 정보 및 강도 정보 보완 결과를 획득하여, 상기 샘플 포인트 클라우드 데이터에 대응되는 목표 깊이 맵, 목표 강도 맵 및 오리지널 강도 맵, 즉 라벨링된 목표 깊이 맵, 라벨링된 목표 강도 맵과 라벨링된 오리지널 강도 맵(지도 라벨)을 획득해야 하며, 여기서, 보완 결과는 다른 방법을 이용하여 구현할 수도 있다. 이후 상기 샘플 포인트 클라우드 데이터를 초기의 신경망에 입력하여, 보완 후의 목표 깊이 맵, 목표 강도 맵 및 오리지널 강도 맵, 즉 예측 목표 강도 맵, 예측 목표 강도 맵 및 예측 오리지널 강도 맵(예측 결과)을 획득하고; 상기 예측 결과와 지도 라벨에 따라, 목표 손실값을 획득한다. 즉 상기 보완 후의 목표 깊이 맵에 대응되는 제1 손실값(상기 라벨링된 목표 깊이 맵과 상기 예측 목표 깊이 맵에 따라 확정), 목표 강도 맵에 대응되는 제2 손실값(상기 라벨링된 목표 강도 맵과 상기 예측 목표 강도 맵에 따라 확정), 및 상기 오리지널 강도 맵에 대응되는 제3 손실값(상기 라벨링된 오리지널 강도 맵과 상기 예측 오리지널 강도 맵에 따라 확정)에 따라, 목표 손실값을 획득한다. 여기서, 상기 목표 손실값은 공식 (4)를 만족시킨다:
여기서, 
는 제1 손실값이고, 
은 제2 손실값이며, 
은 제3 손실값이고, 
와 
는 사전 설정 가중계수이다.
기울기 하강법 및 상기 목표 손실을 통해 상기 초기의 신경망을 훈련시켜 상기 신경망을 획득한다.
일부 가능한 실시방식에서, 본 발명의 실시예가 제공하는 신경망의 구조는 도 3에 도시된 정보 보와 모델을 채택할 수 있다. 상기 정보 보완 모델은 멀티태스크 러닝 모델 구조이며, 상기 정보 보완 모델은 예측 네트워크 블록과 역정규화 네트워크 블록을 포함한다. 여기서,
상기 예측 네트워크 블록은 인코딩 네트워크 블록, 컨볼루션 네트워크 블록, 디코딩 네트워크 블록을 포함한다. 상기 인코딩 네트워크는 4개의 잔류 네트워크로 구성되고, 컨볼루션 네트워크 블록은 컨볼루션층과 팽창 네트워크로 구성되며, 상기 디코딩 네트워크 블록은 5개의 전치 컨볼루션 네트워크로 구성된다.
여기서, 상기 예측 네트워크 블록은, 인코딩 네트워크 블록, 컨볼루션 네트워크 블록 및 디코딩 네트워크 블록을 통해, 입력된 샘플 포인트 클라우드 데이터에 대해 정보 보완을 실시하여, 샘플 포인트 클라우드 데이터에 대응되는 예측 목표 깊이 맵(
)과 예측 목표 강도 맵(
)을 획득하기 위한 것이고;
역정규화 네트워크 블록은, 예측 목표 강도맵(
)에 대해 역정규화 처리를 실시하여, 예측 초기 강도 맵(
)을 획득하기 위한 것이며;
이후, 샘플 포인트 클라우드 데이터의 지도 정보인 목표 깊이 맵, 중간 강도 맵과 목표 강도 맵을 기초로 샘플 포인트 클라우드 데이터에 대응되는 제1 손실값, 제2 손실값 및 제3 손실값을 계산하고, 제1 손실값, 제2 손실값과 제3 손실값에 대해 가중치 처리를 실시하여 목표 손실값을 획득하며, 목표 손실값을 기초로 정보 보완 모델에 대해 최적화 훈련을 실시한다.
이로써 알 수 있듯이, 보완 모델을 통해, 포인트 클라우드 데이터 중의 깊이 정보와 강도 정보를 보완함으로써, 수집된 희소 포인트 클라우드 데이터를 조밀한 포인트 클라우드 데이터로 보완하며; 깊이 정보와 강도 정보를 동시에 보완하므로, 보완 과정에서 2개의 정보 사이에 서로 참고가 될 수 있어 정보 보완의 정확도가 향상되고, 보완의 오류를 방지할 수 있으며; 또한, 포인트 클라우드 데이터 중의 강도 정보에 대한 보완을 구현하여, 포인트 클라우드 데이터 리소스의 이용률이 향상된다.
도 4를 참조하면, 도 4는 본 출원의 실시예가 제공하는 차선 인식 방법의 흐름도로서, 상기 방법은 이하 단계를 포함하나 이에 한정되지 않는다:
401: 도로의 포인트 클라우드 데이터를 수집하는 단계.
여기서, 레이저 레이더를 통해 도로의 포인트 클라우드 데이터를 수집할 수 있다.
402: 상기 포인트 클라우드 데이터에 대해 보완을 실시하여, 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 단계.
여기서, 상기 정보 보완 방법을 이용하여 상기 포인트 클라우드 데이터에 대해 정보 보완을 실시하여, 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하며, 상기 목표 강도 맵은 거리 및 입사각이 강도 정보에 미치는 영향을 제거한 목표 강도 맵으로서, 구체적인 보완 과정은 203 중의 상기 내용을 참조하면 되므로, 설명을 생략한다.
403: 상기 목표 강도 맵에 따라 차선을 인식하여, 차선 인식 결과를 획득하는 단계.
상기 목표 강도 맵 중의 강도 정보에서 거리 및 입사각의 영향을 제거하였기 때문에, 상기 목표 강도 맵 중의 관측점의 강도 정보는 상기 관측점의 표면 재질과만 관련이 있으며, 다시 말해 상기 목표 강도 맵 중의 관측점의 강도 정보는 상기 관측점에 대응되는 재질의 표면 반사율을 반영한다. 따라서, 상기 목표 강도 중 강도 정보(표면 반사율)와 차선의 강도 정보(표면 반사율)에 대응되는 관측점을 전부 차선상의 점으로 확정하기만 하면, 상기 목표 강도 맵을 통해 차선을 인식할 수 있다.
따라서, 본 출원의 실시예에서, 보완 후의 목표 강도 맵을 이용하여 차선을 인식할 수 있다는 것을 알 수 있다. 레이저가 가시광 대역에 속하지 않기 때문에 설사 어둡거나 또는 열악한 상황에서도, 강도 정보가 조밀한 목표 강도 맵을 획득할 수 있어, 차선 인식의 안정성과 성공률이 향상된다.
도 5는 본 출원의 실시예가 제공하는 지능형 주행 방법의 흐름도로서, 상기 방법은 이하 단계를 포함하나 이에 한정되지 않는다:
501: 지능형 주행장치의 주변 장면의 포인트 클라우드 데이터를 수집하는 단계.
여기서, 상기 지능형 주행 장치는 자율주행 차량, 첨단 운전자 보조 시스템(Advanced Driving Assistant System, ADAS)이 장착된 차량, 스마트 로봇, 등등일 수 있다.
502: 상기 포인트 클라우드 데이터를 보완하여, 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 단계.
상기 정보 보완 방법을 이용하여 상기 포인트 클라우드 데이터의 강도 정보를 보완함으로써, 거리와 입사각의 영향이 제거된 목표 강도 맵을 획득하며, 구체적인 보완 과정은 203 중의 상기 내용을 참조하면 되므로, 설명을 생략한다.
503: 상기 목표 강도 맵에 따라 상기 주변 장면 중의 목표 대상을 인식하는 단계.
여기서, 상기 목표 대상은 차선, 각종 신호등, 교통표지, 장애물, 행인 또는 기타 지능형 주행장치, 및 주행 시 만날 수 있는 각종 물체일 수 있다.
구체적으로, 상기 목표 강도 맵 중 각각의 관측점의 강도 정보, 즉 각 관측점의 표면 반사율을 획득한 후, 각각의 관측점의 표면 반사율을 각종 물체에 대응되는 표면 반사율과 비교하여, 각 관측점의 물체 유형을 확정하고, 이에 따라 상기 주변 장면 중의 목표 대상을 인식한다.
504: 인식 결과에 따라, 상기 지능형 주행 장치의 주행을 제어하는 단계.
선택적으로, 인식한 상기 주변 장면 중의 목표 대상을 근거로, 경로를 계획하고, 계획된 주행 경로에 따라 지능형 장치의 주행을 자동으로 제어하며; 안내 메시지를 출력하여, 상기 안내 메시지를 통해 상기 지능형 주행 장치의 조작자에게 인식된 목표 대상을 근거로 상기 지능형 장치의 주행을 제어하도록 알릴 수 있다.
따라서, 본 출원의 실시방안에서, 수집된 포인트 클라우드 데이터를 보완하여 목표 강도 맵을 획득하는 것을 알 수 있다. 레이저가 가시광 대역에 속하지 않기 때문에 설사 어둡거나 또는 열악한 상황에서도, 강도 정보가 조밀한 목표 강도 맵을 획득할 수 있으며; 또한, 상기 목표 강도 맵의 관측점의 반사율은 거리와 입사각도의 영향을 받지 않기 때문에, 상기 목표 강도 맵에 따라 목표 대상을 인식할 경우, 목표 대상의 인식 성공률이 높아질 수 있다. 따라서, 어떠한 환경 조건에서도, 지능형 주행 장치 주변의 환경의 레이아웃을 정확하게 획득할 수 있으며, 상기 환경 레이아웃에 따라 지능형 주행장치의 주행을 제어할 수 있고, 나아가 지능형 주행 장치의 주행의 안정성이 향상된다.
도 6은 본 출원의 실시예가 제공하는 정보 보완 장치(600)의 구조도이다. 정보 보완 장치(600)는 프로세서, 메모리, 통신 인터페이스 및 하나 또는 다수의 프로그램을 포함하며, 여기서, 상기 하나 또는 다수의 프로그램은 상기 하나 또는 다수의 애플리케이션 프로그램과 다르고, 또한 상기 하나 또는 다수의 프로그램은 상기 메모리에 저장되며, 또한 상기 프로세서에 의해 실행되도록 설정되고, 상기 프로그램은 이하 단계를 실행하기 위한 명령을 포함한다:
각 프레임에 깊이 정보와 강도 정보가 포함된 다중 프레임 포인트 클라우드 데이터를 획득하는 단계;
상기 다중 프레임 포인트 클라우드 데이터 중 기준 포인트 클라우드 데이터를 제외한 적어도 하나의 프레임의 포인트 클라우드 데이터의 깊이 정보와 강도 정보에 따라, 기준 포인트 클라우드 데이터를 보완하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 포인트 클라우드 데이터를 획득하는 단계;
여기서, 상기 목표 포인트 클라우드 데이터의 깊이 정보는 상기 기준 포인트 클라우드 데이터의 깊이 정보보다 조밀하고, 또한 상기 목표 포인트 클라우드 데이터의 강도 정보는 상기 기준 포인트 클라우드 데이터의 강도 정보보다 조밀하며, 상기 기준 포인트 클라우드 데이터는 상기 다중 프레임 포인트 클라우드 데이터 중의 어느 하나의 포인트 클라우드 데이터이다.
일부 가능한 실시방식에서, 상기 다중 프레임 포인트 클라우드 데이터 중 기준 포인트 클라우드 데이터를 제외한 적어도 하나의 프레임의 포인트 클라우드 데이터의 깊이 정보와 강도 정보에 따라, 기준 포인트 클라우드 데이터를 보완하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 포인트 클라우드 데이터를 획득하는 측면에서, 상기 프로그램은 구체적으로 이하 단계의 명령을 실행하기 위한 것이다:
상기 적어도 하나의 프레임의 포인트 클라우드 데이터와 상기 기준 포인트 클라우드 데이터로 구성되는 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터의 깊이 정보를 재투영하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 깊이 맵을 획득하는 단계;
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 깊이 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대해 깊이 정보 보완을 실시하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵을 획득하는 단계;
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대해 강도 정보 보완을 실시하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 단계.
일부 가능한 실시방식에서, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 깊이 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대해 깊이 정보 보완을 실시하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵을 획득하는 측면에서, 상기 프로그램은 구체적으로 이하 단계의 명령을 실행하기 위한 것이다:
상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터의 제1 레이더 좌표계 및 상기 기준 포인트 클라우드 데이터에 대응되는 기준 레이더 좌표계를 획득하는 단계;
각각의 제1 레이더 좌표계를 상기 기준 레이더 좌표계로 변환하는 각각의 제1 변환 매트릭스를 확정하는 단계;
각각의 제1 변환 매트릭스에 따라 대응하는 프레임의 포인트 클라우드 데이터의 깊이 맵을 변환하여 제1 깊이 맵을 획득하는 단계;
상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 깊이 맵을 상기 기준 포인트 클라우드 데이터의 깊이 맵과 중첩시켜, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵을 획득하는 단계.
일부 가능한 실시방식에서, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이에 따라, 상기 기준 포인트 클라우드 데이터에 대해 강도 정보 보완을 실시하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 측면에서, 상기 프로그램은 구체적으로 이하 단계의 명령을 실행하기 위한 것이다:
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터의 강도 정보를 재투영하여, 상기 포인트 클라우드 데이터 집합 중의 각 프레임의 포인트 클라우드 데이터에 대응되는 강도 맵을 획득하는 단계;
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 강도 맵에 대해, 거리가 강도 정보에 미치는 영향을 제거하기 위한 거리 보정을 실시하여, 상기 포인트 클라우드 데이터 집합 중의 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵을 획득하는 단계;
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵과 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 확정하는 단계.
일부 가능한 실시방식에서, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 강도 맵에 대해 거리 보정을 실시하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵을 획득하는 측면에서, 상기 프로그램은 구체적으로 이하 단계의 명령을 실행하기 위한 것이다:
레이저 레이더의 레이더 파라미터에 따라, 거리 보정항을 획득하는 단계;
상기 거리 보정항에 따라, 상기 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵을 확정하는 단계.
일부 가능한 실시방식에서, 상기 목표 깊이 맵과 상기 포인트 클라우드 데이터 집합 중의 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 확정하는 측면에서, 상기 프로그램은 구체적으로 이하 단계의 명령을 실행하기 위한 것이다:
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵에 따라, 상기 포인트 클라우드 데이터 집합 중의 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스를 획득하는 단계;
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스에 따라, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵에 대해, 입사각도가 강도 정보에 미치는 영향을 제거하기 위한 각도 보정을 실시하여, 상기 포인트 클라우드 데이터 집합 중의 각 프레임의 포인트 클라우드 데이터에 대응되는 제2 강도 맵을 획득하는 단계;
상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 포인트 클라우드 데이터에 대응되는 제2 강도 맵과 상기 기준 포인트 클라우드 데이터에 대응되는 제2 강도맵을 중첩시켜, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 단계.
일부 가능한 실시방식에서, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵에 따라, 상기 포인트 클라우드 데이터 집합 중의 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스를 획득하는 측면에서, 상기 프로그램은 구체적으로 이하 단계의 명령을 실행하기 위한 것이다:
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵 중의 깊이 정보에 따라 평면 피팅을 수행하여, 목표 공간 평면을 획득하는 단계;
상기 기준 포인트 클라우드 데이터를 수집 시 레이저 레이더의 입사광선과 목표 평면의 법선 간의 협각에 따라, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵과 대응하는 목표 입사각 매트릭스를 확정하는 단계, 여기서, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵과 대응하는 목표 입사각 매트릭스는 상기 기준 포인트 클라우드 데이터의 제1 입사각 매트릭스이며;
상기 적어도 하나의 프레임의 포인트 클라우드 데이터의 제1 변환 매트릭스에 따라 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵과 대응하는 목표 입사각 매트릭스를 역변환시켜, 상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터의 제1 입사각 매트릭스를 획득하는 단계.
일부 가능한 실시방식에서, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스에 따라, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵에 대해 각도 보정을 실시하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제2 강도 맵을 획득하는 측면에서, 상기 프로그램은 구체적으로 이하 단계의 명령을 실행하기 위한 것이다:
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스, 사전 설정된 구속계수, 및 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터의 제1 강도 맵에 따라, 상기 포인트 클라우드 데이터 집합 중의 각 프레임의 포인트 클라우드 데이터에 대응되는 제2 강도 맵을 확정하는 단계.
일부 가능한 실시방식에서, 상기 프로그램은 구체적으로 이하 단계의 명령을 더 실행하기 위한 것이다:
상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵에 따라 상기 기준 포인트 클라우드 데이터에 대응되는 오리지널 강도 맵을 확정하는 단계.
일부 가능한 실시방식에서, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵에 따라 상기 기준 포인트 클라우드 데이터에 대응되는 오리지널 강도 맵을 확정하는 측면에서, 상기 프로그램은 구체적으로 이하 단계의 명령을 실행하기 위한 것이다:
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵과 대응하는 목표 입사각 매트릭스, 사전 설정된 구속계수에 따라, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 처리하여, 상기 기준 포인트 클라우드 데이터에 대응되는 오리지널 강도 맵을 확정하는 단계.
일부 가능한 실시방식에서, 정보 보완 장치는 신경망을 통해 상기 기준 포인트 클라우드를 보완하며; 상기 프로그램은 또한 이하 단계의 명령을 실행하기 위한 것이기도 하다:
샘플 포인트 클라우드 데이터에 대해 정보 보완을 실시하여, 보완 후의 샘플 포인트 클라우드 데이터를 출력하는 단계;
상기 보완 후의 샘플 포인트 클라우드 데이터에 따라, 상기 샘플 포인트 클라우드 데이터의 예측 목표 깊이 맵, 예측 목표 강도 맵 및 예측 오리지널 강도 맵을 획득하는 단계;
상기 샘플 포인트 클라우드 데이터의 라벨링된 목표 깊이 맵, 라벨링된 목표 강도 맵과 라벨링된 오리지널 강도 맵, 및 상기 샘플 포인트 클라우드 데이터의 예측 목표 깊이 맵, 예측 목표 강도 맵과 예측 오리지널 강도 맵에 따라 상기 신경망의 네트워크 파라미터를 조정하는 단계.
일부 가능한 실시방식에서, 상기 샘플 포인트 클라우드 데이터의 라벨링된 목표 깊이 맵, 라벨링된 목표 강도 맵과 라벨링된 오리지널 강도 맵, 및 상기 샘플 포인트 클라우드 데이터의 예측 목표 깊이 맵, 예측 목표 강도 맵과 예측 오리지널 강도 맵에 따라 상기 신경망의 네트워크 파라미터를 조정하는 측면에서, 상기 프로그램은 구체적으로 이하 단계의 명령을 실행하기 위한 것이다:
상기 샘플 포인트 클라우드 데이터의 라벨링된 목표 깊이 맵, 라벨링된 목표 강도 맵과 라벨링된 오리지널 강도 맵, 및 상기 샘플 포인트 클라우드 데이터의 예측 목표 깊이 맵, 예측 목표 강도 맵과 예측 오리지널 강도 맵에 따라, 제1 손실값, 제2 손실값 및 제3 손실값을 획득하는 단계; 여기서, 상기 제1 손실값은 상기 라벨링된 목표 깊이 맵과 상기 예측 목표 깊이 맵에 따라 확정되고; 상기 제2 손실값은 상기 라벨링된 목표 강도 맵과 상기 예측 목표 강도 맵에 따라 확정되며; 상기 제3 손실값은 상기 라벨링된 오리지널 강도 맵과 상기 예측 오리지널 강도 맵에 따라 확정되며;
상기 제1 손실값, 제2 손실값과 제3 손실값에 대해 가중치 처리를 실시하여, 목표 손실값을 획득하는 단계;
상기 목표 손실값에 따라 상기 신경망의 네트워크 파라미터를 조정하는 단계.
도7은 본 출원의 실시예가 제공하는 차선 인식장치(700)의 구조도이다. 차선 인식장치(700)는 프로세서, 메모리, 통신 인터페이스 및 하나 또는 다수의 프로그램을 포함하며, 여기서, 상기 하나 또는 다수의 프로그램은 상기 하나 또는 다수의 애플리케이션 프로그램과 다르고, 상기 하나 또는 다수의 프로그램은 상기 메모리에 저장되며, 또한 상기 프로세서에 의해 실행되도록 설정되며, 상기 프로그램은
도로의 포인트 클라우드 데이터를 수집하는 단계;
상기 포인트 클라우드 데이터를 보완하여, 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 단계;
상기 목표 강도 맵에 따라 차선을 인식하여, 차선 인식 결과를 획득하는 단계;를 실행하기 위한 명령을 포함한다.
도 8은 본 출원의 실시예가 제공하는 지능형 주행 장치(800)의 구조도이다. 지능형 주행 장치(800)는 프로세서, 메모리, 통신 인터페이스 및 하나 또는 다수의 프로그램을 포함하며, 여기서, 상기 하나 또는 다수의 프로그램은 상기 하나 또는 다수의 애플리케이션 프로그램과 다르고, 상기 하나 또는 다수의 프로그램은 상기 메모리에 저장되며, 또한 상기 프로세서에 의해 실행되도록 설정되며, 상기 프로그램은
주변 장면의 포인트 클라우드 데이터를 수집하는 단계;
상기 포인트 클라우드 데이터를 보완하여, 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 단계;
상기 목표 강도 맵에 따라 상기 주변 장면 중의 목표 대상을 인식하는 단계;
인식 결과에 따라 주행을 제어하는 단계;를 실행하기 위한 명령을 포함한다.
도 9는 본 출원의 실시예가 제공하는 정보 보완장치의 기능유닛 구성 블록도이다. 정보 보완장치(900)는 획득유닛(910), 보완유닛(920)을 포함하며, 여기서,
획득유닛(910)은, 각 프레임의 포인트 클라우드 데이터에 깊이 정보와 강도 정보를 포함하는 다중 프레임의 포인트 클라우드 데이터를 획득하기 위한 것이고;
보완유닛(920)은, 상기 다중 프레임의 포인트 클라우드 데이터 중 기준 포인트 클라우드 데이터를 제외한 적어도 하나의 프레임의 포인트 클라우드 데이터의 깊이 정보와 강도 정보에 따라, 기준 포인트 클라우드 데이터를 보완하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 포인트 클라우드 데이터를 획득하기 위한 것이며;
여기서, 상기 목표 포인트 클라우드 데이터의 깊이 정보는 상기 기준 포인트 클라우드 데이터의 깊이 정보보다 조밀하고, 또한 상기 목표 포인트 클라우드 데이터의 강도 정보는 상기 기준 포인트 클라우드 데이터의 강도 정보보다 조밀하며, 상기 기준 포인트 클라우드 데이터는 상기 다중 프레임의 포인트 클라우드 데이터 중 어느 하나의 프레임의 포인트 클라우드 데이터이다.
일부 가능한 실시방식에서, 보완유닛(920)은 구체적으로,
적어도 하나의 프레임의 포인트 클라우드 데이터와 상기 기준 포인트 클라우드 데이터로 구성되는 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터의 깊이 정보를 재투영하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 깊이 맵을 획득하고;
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 깊이 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대해 깊이 정보 보완을 실시하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵을 획득하며;
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대해 강도 정보 보완을 실시하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하기 위한 것이다.
일부 가능한 실시방식에서, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 깊이 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대해 깊이 정보 보완을 실시하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵을 획득하는 측면에서, 보완유닛(920)은 구체적으로,
상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터의 제1 레이더 좌표계 및 상기 기준 포인트 클라우드 데이터에 대응되는 기준 레이더 좌표계를 획득하고;
각각의 제1 레이더 좌표계를 상기 기준 레이더 좌표계로 변환하는 각각의 제1 변환 매트릭스를 확정하며;
각각의 제1 변환 매트릭스에 따라 대응되는 프레임의 포인트 클라우드 데이터의 깊이 맵을 변환하여, 제1 깊이 맵을 획득하고;
상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 깊이 맵을 상기 기준 포인트 클라우드 데이터의 깊이 맵과 중첩시켜, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵을 획득하기 위한 것이다.
일부 가능한 실시방식에서, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이에 따라, 상기 기준 포인트 클라우드 데이터에 대해 강도 정보 보완을 실시하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 측면에서, 보완유닛(920)은 구체적으로,
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터의 강도 정보를 재투영하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 강도 맵을 획득하고;
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 강도 맵에 대해, 거리가 강도 정보에 미치는 영향을 제거하기 위한 거리 보정을 실시하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵을 획득하며;
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵과 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 확정하기 위한 것이다.
일부 가능한 실시방식에서, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 강도 맵에 대해 거리 보정을 실시하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵을 획득하는 측면에서, 보완유닛(920)은 구체적으로,
레이저 레이더의 레이더 파라미터에 따라, 거리 보정항을 획득하고;
상기 거리 보정항에 따라, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵을 확정하기 위한 것이다.
일부 가능한 실시방식에서, 상기 목표 깊이 맵과 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도맵에 따라, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 확정하는 측면에서, 보완유닛(920)은 구체적으로,
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵에 따라, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스를 획득하고;
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스에 따라, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵에 대해, 입사각도가 강도 정보에 미치는 영향을 제거하기 위한 각도 보정을 실시하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제2 강도 맵을 획득하며;
상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제2 강도 맵을 상기 기준 포인트 클라우드 데이터에 대응되는 제2 강도 맵과 중첩시켜, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하기 위한 것이다.
일부 가능한 실시방식에서, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵에 따라, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스를 획득하는 측면에서, 보완유닛(920)은 구체적으로,
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵 중의 깊이 정보에 따라 평면 피팅을 실시하여, 목표 공간 평면을 획득하고;
상기 기준 포인트 클라우드 데이터를 수집 시 레이저 레이더의 입사광선과 목표 평면의 법선 간의 협각에 따라, 상기 기준 포인트 클라우드 데이터의 제1 입사각 매트릭스인 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵과 대응하는 목표 입사각 매트릭스를 확정하고,
상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터의 제1 변환 매트릭스에 따라, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이맵과 대응하는 목표 입사각 매트릭스를 역변환시켜, 상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터의 제1 입사각 매트릭스를 획득하기 위한 것이다.
일부 가능한 실시방식에서, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스에 따라, 사익 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵에 대해 각도 보정을 실시하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제2 강도 맵을 획득하는 측면에서, 보완유닛(920)은 구체적으로,
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스, 사전 설정된 구속계수, 및 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터의 제1 강도 맵에 따라, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제2 강도 맵을 확정하기 위한 것이다.
일부 가능한 실시방식에서, 보완유닛(920)은 또한, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵에 따라 상기 기준 포인트 클라우드 데이터에 대응되는 오리지널 강도 맵을 확정하기 위한 것이다.
일부 가능한 실시방식에서, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵에 따라 상기 기준 포인트 클라우드 데이터에 대응되는 오리지널 강도 맵을 확정하는 측면에서, 보완유닛(920)은 구체적으로,
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵과 대응하는 목표 입사각 매트릭스, 사전 설정된 구속계수에 따라, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 처리하여, 상기 기준 포인트 클라우드 데이터에 대응되는 오리지널 강도 맵을 확정하기 위한 것이다.
일부 가능한 실시방식에서, 상기 정보 보완 장치는 신경망을 통해 상기 기준 포인트 클라우드를 보완하고; 정보 보완장치(900)는 훈련유닛(930)을 더 포함하며, 훈련유닛(930)은
샘플 포인트 클라우드 데이터에 대해 정보 보완을 실시하여, 보완 후의 샘플 포인트 클라우드 데이터를 출력하는 단계;
상기 보완 후의 샘플 포인트 클라우드 데이터에 따라, 상기 샘플 포인트 클라우드 데이터의 예측 목표 깊이 맵, 예측 목표 강도 맵과 예측 오리지널 강도 맵을 획득하는 단계;
상기 샘플 포인트 클라우드 데이터의 라벨링된 목표 깊이맵, 라벨링된 목표 강도 맵과 라벨링된 오리지널 강도 맵, 및 상기 샘플 포인트 클라우드 데이터의 예측 목표 깊이 맵, 예측 목표 강도 맵과 예측 오리지널 강도 맵에 따라 상기 신경망의 네트워크 파라미터를 조정하는 단계; 실행하여 상기 신경망을 훈련시키기 위한 것이다.
일부 가능한 실시방식에서, 상기 샘플 포인트 클라우드 데이터의 라벨링된 목표 깊이맵, 라벨링된 목표 강도 맵과 라벨링된 오리지널 강도 맵, 및 상기 샘플 포인트 클라우드 데이터의 예측 목표 깊이 맵, 예측 목표 강도 맵과 예측 오리지널 강도 맵에 따라 상기 신경망의 네트워크 파라미터를 조정하는 측면에서, 훈련유닛(930)은 구체적으로,
상기 샘플 포인트 클라우드 데이터의 라벨링된 목표 깊이맵, 라벨링된 목표 강도 맵과 라벨링된 오리지널 강도 맵, 및 상기 샘플 포인트 클라우드 데이터의 예측 목표 깊이 맵, 예측 목표 강도 맵과 예측 오리지널 강도 맵에 따라, 제1 손실값, 제2 손실값 및 제3 손실값을 획득하고; 여기서, 상기 제1 손실값은 상기 라벨링된 목표 깊이 맵과 상기 예측 목표 깊이 맵에 따라 확정되고; 상기 제2 손실값은 상기 라벨링된 목표 강도 맵과 상기 예측 목표 강도 맵에 따라 확정되며; 상기 제3 손실값은 상기 라벨링된 오리지널 강도 맵과 상기 예측 오리지널 강도 맵에 따라 확정되며;
상기 제1 손실값, 제2 손실값과 제3 손실값에 대해 가중치 처리를 실시하여, 목표 손실값을 획득하고;
상기 목표 손실값에 따라 상기 신경망의 네트워크 파라미터를 조정하기 위한 것이다.
여기서, 훈련유닛(930)은 정보 보완 장치에 필수적인 것은 아니다.
도 10은 본 출원의 실시예가 제공하는 차선 인식 장치의 기능 유닛 구성 블록도이다. 차선 인식장치(1000)는 수집유닛(1100), 보완유닛(1200), 인식유닛(1300)을 포함하며, 여기서,
수집유닛(1100)은 도로의 포인트 클라우드 데이터를 수집하기 위한 것이고;
보완유닛(1200)은 첫 번째 측면의 상기 정보 보완 방법으로, 포인트 클라우드 데이터를 보완하여, 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하기 위한 것이며;
인식유닛(1300)은 상기 목표 강도 맵에 따라 차선을 인식하여, 차선 인식 결과를 획득하기 위한 것이다.
도 11은 본 출원의 실시예가 제공하는 지능형 주행 장치의 기능 유닛 구성 블록도이다. 지능형 주행 장치(1100)는 수집유닛(1110), 보완유닛(1120), 인식유닛(1130), 제어유닛(1140)을 포함하며, 여기서,
수집유닛(1210)은 주변 장면의 포인트 클라우드 데이터를 수집하기 위한 것이고;
보완유닛(1220)은 첫 번째 측면의 상기 정보 보완 방법을 이용하여, 상기 포인트 클라우드 데이터를 보완하여, 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하기 위한 것이며;
인식유닛(1230)은 상기 목표 강도 맵에 따라 상기 주변 장면 중의 목표 대상을 인식기 위한 것이고;
제어유닛(1240)은 인식 결과에 따라 주행을 제어하기 위한 것이다.
본 출원의 실시예는 컴퓨터 저장 매체를 더 제공하며, 상기 컴퓨터 가독 저장 매체에 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행되어 상기 방법의 실시예에 기재된 정보 보완 방법의 일부 또는 전부의 단계, 차선 인식 방법의 일부 또는 전부의 단계, 또는 지능형 주행 방법의 일부 또는 전부의 단계를 구현한다.
본 출원의 실시예는 컴퓨터 프로그램 제품을 더 제공하며, 상기 컴퓨터 프로그램 제품은 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 가독 저장 매체를 포함한다. 상기 컴퓨터 프로그램의 실행을 통해 컴퓨터가 상기 방법의 실시예에 기재된 정보 보완 방법의 일부 또는 전부의 단계, 차선 인식 방법의 일부 또는 전부의 단계, 또는 지능형 주행 방법의 일부 또는 전부의 단계를 구현한다.
설명해두어야 할 점으로, 전술한 각 방법의 실시예는 간단히 기술하기 위하여, 이를 모두 일련의 동작의 조합으로 표현하였으나, 당업자라면, 본 출원이 기술된 동작 순서의 제한을 받지 않는다는 것을 알아야 한다. 본 출원에 의거하여, 어떤 단계는 다른 순서를 이용하거나 또는 동시에 실시될 수도 있기 때문이다. 그 다음으로, 당업자라면, 또한 명세서에 기재된 실시예가 모두 임의의 실시예에 속하고 관련된 동작과 모듈은 반드시 본 출원에 필수적인 것이 아님을 알아야 한다.
상기 실시예에서, 각 실시예에 대한 기술은 모두 치중하는 바가 있으며, 어떤 실시예에서 상세히 기술하지 않은 부분은 다른 실시예의 관련 기술을 참조할 수 있다.
본 출원에서 제공되는 몇몇 실시예에서, 공개된 장치는 다른 방식을 통해 구현될 수도 있음을 이해해야 한다. 예를 들어 상기 장치의 실시예는 단지 예시적인 것으로, 예컨대 상기 유닛의 구분은 단지 일종의 논리 기능의 구분일 뿐, 실제 구현 시에는 별도의 구분 방식이 있을 수 있다. 예를 들어 다수의 유닛 또는 어셈블리는 결합될 수 있거나 또는 다른 시스템에 집적될 수 있거나, 또는 일부 특징은 생략되거나 또는 실행되지 않을 수 있다. 또한, 표시하거나 토론한 상호 간의 결합은 직접적인 결합이거나 일부 인터페이스를 통한 통신연결일 수 있고, 장치 또는 유닛의 간접 연결 또는 통신 연결은 전기적 또는 기타 형식일 수 있다.
상기 분리부재로써 설명된 유닛은 물리적으로 분리된 것일 수도 있고 아닐 수도 있으며, 유닛으로 표시된 부분은 물리적인 유닛일 수도 있고 아닐 수도 있다. 즉 한 곳에 위치할 수도 있고, 또는 다수의 네트워크 유닛에 분포될 수도 있다. 실제의 필요에 따라 그 중의 일부 또는 유닛 전부를 선택하여 본 실시예의 방안의 목적을 구현할 수 있다.
또한, 본 출원의 각 실시예 중의 각 기능유닛은 하나의 처리유닛에 집적될 수도 있고, 각 유닛이 단독으로 물리적으로 존재할 수도 있으며, 2개 또는 2개 이상의 유닛이 하나의 유닛에 집적될 수도 있다. 상기 집적된 유닛은 하드웨어의 형식으로 구현될 수도 있고, 소프트웨어 프로그램 모듈의 형식으로 구현될 수도 있다.
상기 집적된 유닛이 소프트웨어 프로그램 모듈 형식으로 구현되며 독립된 제품으로 판매되거나 사용되는 경우, 하나의 컴퓨터 가독 메모리에 저장될 수 있다. 이러한 이해에 따라, 본 출원의 기술방안은 본질적으로 또는 종래 기술에 기여하는 부분 또는 상기 기술방안의 전체 또는 일부는 소프트웨어 제품의 형식으로 구현될 수 있으며, 상기 컴퓨터 소프트웨어 제품은 하나의 메모리에 저장되고, 컴퓨터 장치(개인용 컴퓨터, 서버 또는 네트워크 장치 등일 수 있다)로 본 출원의 각 실시예의 상기 방법의 전부 또는 일부 단계를 실행하기 위한 약간의 명령을 포함한다. 전술한 메모리는 U디스크, 리드 온리 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리(RAM, Random Access Memory), 이동식 하드디스크, 자기디스크 또는 광디스크 등 각종 프로그램 코드를 저장할 수 있는 매체를 포함한다.
당 업계의 보통 기술자라면 상기 실시예의 각종 방법 중의 전부 또는 일부 단계가 프로그램을 통해 관련 하드웨어를 명령하여 완수할 수 있다는 것을 이해할 수 있으며, 상기 프로그램은 컴퓨터 가독 메모리에 저장될 수 있다. 메모리는 플래시 디스크, 리드 온리 메모리(영문: Read-Only Memory, 약칭: ROM), 랜덤 액세스 메모리(영문: Random Access Memory, 약칭: RAM), 자기디스크 또는 광디스크 등을 포함할 수 있다.
이상으로 본 출원의 실시예에 대해 상세히 소개하였으며, 본문 중 구체적인 예를 응용하여 본 출원의 원리 및 실시방식에 대해 설명하였다. 이상의 실시예의 설명은 단지 본 출원의 방법 및 그 핵심 사상의 이해를 돕기 위한 것에 불과하다. 이와 동시에, 당 업계의 일반 기술자에게 있어서, 본 출원의 사상에 의거하여, 구체적인 실시방식 및 응용 범위 내에서 변경되는 부분이 있을 수 있으며, 결론적으로 본 명세서의 내용은 본 출원을 제한하는 것으로 이해해서는 안 된다.
Claims (19)
- 정보 보완 방법에 있어서,
각 프레임에 깊이 정보와 강도 정보가 포함된 다중 프레임 포인트 클라우드 데이터를 획득하는 단계;
상기 다중 프레임 포인트 클라우드 데이터 중 기준 포인트 클라우드 데이터를 제외한 적어도 하나의 프레임의 포인트 클라우드 데이터의 깊이 정보와 강도 정보에 따라, 기준 포인트 클라우드 데이터를 보완하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 포인트 클라우드 데이터를 획득하는 단계;를 포함하며,
여기서, 상기 목표 포인트 클라우드 데이터의 깊이 정보는 상기 기준 포인트 클라우드 데이터의 깊이 정보보다 조밀하고, 또한 상기 목표 포인트 클라우드 데이터의 강도 정보는 상기 기준 포인트 클라우드 데이터의 강도 정보보다 조밀하며, 상기 기준 포인트 클라우드 데이터는 상기 다중 프레임 포인트 클라우드 데이터 중의 어느 하나의 포인트 클라우드 데이터인 것을 특징으로 하는 정보 보완 방법. - 제1항에 있어서,
상기 다중 프레임 포인트 클라우드 데이터 중 기준 포인트 클라우드 데이터를 제외한 적어도 하나의 프레임의 포인트 클라우드 데이터의 깊이 정보와 강도 정보에 따라, 기준 포인트 클라우드 데이터를 보완하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 포인트 클라우드 데이터를 획득하는 단계는,
포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터의 깊이 정보에 대해 재투영을 실시하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 깊이 맵을 획득하는 단계;
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 깊이 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대해 깊이 정보 보완을 수행하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵을 획득하는 단계;
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대해 강도 정보를 보완하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 단계;를 포함하는 것을 특징으로 하는 방법. - 제2항에 있어서,
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 깊이 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대해 깊이 정보 보완을 수행하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵을 획득하는 단계는,
상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터의 제1 레이더 좌표계 및 상기 기준 포인트 클라우드 데이터에 대응되는 기준 레이더 좌표계를 획득하는 단계;
각각의 제1 레이더 좌표계를 상기 기준 레이더 좌표계로 변환하는 각각의 제1 변환 매트릭스를 확정하는 단계;
각각의 제1 변환 매트릭스에 따라 대응되는 프레임의 포인트 클라우드 데이터의 깊이 맵을 변환하여 제1 깊이 맵을 획득하는 단계;
상기 적어도 하나의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 깊이 맵과 상기 기준 포인트 클라우드 데이터의 깊이 맵을 중첩시켜, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵을 획득하는 단계;를 포함하는 것을 특징으로 하는 방법. - 제2항 또는 제3항에 있어서,
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이에 따라, 상기 기준 포인트 클라우드 데이터에 대해 강도 정보 보완을 수행하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 단계는,
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터의 강도 정보를 재투영하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 강도 맵을 획득하는 단계;
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 강도 맵에 대해, 거리가 강도 정보에 미치는 영향을 제거하기 위한 거리 보정을 수행하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵을 획득하는 단계;
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵과 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 확정하는 단계;를 포함하는 것을 특징으로 하는 방법. - 제4항에 있어서,
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 강도 맵에 대해 거리 보정을 실시하여 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵을 획득하는 단계는,
레이저 레이더의 레이더 파라미터에 따라, 거리 보정항을 획득하는 단계;
상기 거리 보정항에 따라, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵을 확정하는 단계;를 포함하는 것을 특징으로 하는 방법. - 제4항 또는 제5항에 있어서,
상기 목표 깊이 맵과 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵에 따라, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 확정하는 단계는,
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵에 따라, 상기 포인트 클라우드 데이터 집합 중의 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스를 획득하는 단계;
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스에 따라, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵에 대해, 입사각도가 강도 정보에 미치는 영향을 제거하기 위한 각도 보정을 실시하여, 상기 포인트 클라우드 데이터 집합 중의 각 프레임의 포인트 클라우드 데이터에 대응되는 제2 강도 맵을 획득하는 단계;
상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 포인트 클라우드 데이터에 대응되는 제2 강도 맵과 상기 기준 포인트 클라우드 데이터에 대응되는 제2 강도맵을 중첩시켜, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 단계;를 포함하는 것을 특징으로 하는 방법. - 제6항에 있어서,
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵에 따라, 상기 포인트 클라우드 데이터 집합 중의 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스를 획득하는 단계는,
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵 중의 깊이 정보에 따라 평면 피팅을 수행하여, 목표 공간 평면을 획득하는 단계;
상기 기준 포인트 클라우드 데이터를 수집 시 레이저 레이더의 입사광선과 목표 평면의 법선 간의 협각에 따라, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵과 대응하는 목표 입사각 매트릭스를 확정하는 단계, 여기서, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵과 대응하는 목표 입사각 매트릭스는 상기 기준 포인트 클라우드 데이터의 제1 입사각 매트릭스이며;
상기 적어도 하나의 프레임의 포인트 클라우드 데이터의 제1 변환 매트릭스에 따라 상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵과 대응하는 목표 입사각 매트릭스를 역변환시켜, 상기 적어도 하나의 프레임의 포인트 클라우드 데이터 중 각 프레임의 포인트 클라우드 데이터의 제1 입사각 매트릭스를 획득하는 단계;를 포함하는 것을 특징으로 하는 방법. - 제6항 또는 제7항에 있어서,
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스에 따라, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 강도 맵에 대해 각도 보정을 실시하여, 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제2 강도 맵을 획득하는 단계는,
상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터에 대응되는 제1 입사각 매트릭스, 사전 설정된 구속계수, 및 상기 포인트 클라우드 데이터 집합 중 각 프레임의 포인트 클라우드 데이터의 제1 강도 맵에 따라, 상기 포인트 클라우드 데이터 집합 중의 각 프레임의 포인트 클라우드 데이터에 대응되는 제2 강도 맵을 확정하는 단계를 포함하는 것을 특징으로 하는 방법. - 제6항 내지 제8항 중의 어느 한 항에 있어서,
상기 방법은
상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵에 따라 상기 기준 포인트 클라우드 데이터에 대응되는 오리지널 강도 맵을 확정하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 제9항에 있어서,
상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵에 따라 상기 기준 포인트 클라우드 데이터에 대응되는 오리지널 강도 맵을 확정하는 단계는,
상기 기준 포인트 클라우드 데이터에 대응되는 목표 깊이 맵과 대응하는 목표 입사각 매트릭스, 사전 설정된 구속계수에 따라, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 처리하여, 상기 기준 포인트 클라우드 데이터에 대응되는 오리지널 강도 맵을 확정하는 단계를 포함하는 것을 특징으로 하는 방법. - 제1항 내지 제10항 중의 어느 한 항에 있어서,
상기 정보 보완 방법은 신경망을 통해 실행되고; 상기 신경망은
샘플 포인트 클라우드 데이터에 대해 정보 보완을 실시하여, 보완 후의 샘플 포인트 클라우드 데이터를 출력하는 단계;
상기 보완 후의 샘플 포인트 클라우드 데이터에 따라, 상기 샘플 포인트 클라우드 데이터의 예측 목표 깊이 맵, 예측 목표 강도 맵 및 예측 오리지널 강도 맵을 획득하는 단계;
상기 샘플 포인트 클라우드 데이터의 라벨링된 목표 깊이 맵, 라벨링된 목표 강도 맵과 라벨링된 오리지널 강도 맵, 및 상기 샘플 포인트 클라우드 데이터의 예측 목표 깊이 맵, 예측 목표 강도 맵과 예측 오리지널 강도 맵에 따라 상기 신경망의 네트워크 파라미터를 조정하는 단계;를 이용하여 훈련을 수행하는 것을 특징으로 하는 방법. - 제11항에 있어서,
상기 샘플 포인트 클라우드 데이터의 라벨링된 목표 깊이 맵, 라벨링된 목표 강도 맵과 라벨링된 오리지널 강도 맵, 및 상기 샘플 포인트 클라우드 데이터의 예측 목표 깊이 맵, 예측 목표 강도 맵과 예측 오리지널 강도 맵에 따라 상기 신경망의 네트워크 파라미터를 조정하는 단계는,
상기 샘플 포인트 클라우드 데이터의 라벨링된 목표 깊이 맵, 라벨링된 목표 강도 맵과 라벨링된 오리지널 강도 맵, 및 상기 샘플 포인트 클라우드 데이터의 예측 목표 깊이 맵, 예측 목표 강도 맵과 예측 오리지널 강도 맵에 따라, 제1 손실값, 제2 손실값 및 제3 손실값을 획득하는 단계; 여기서, 상기 제1 손실값은 상기 라벨링된 목표 깊이 맵과 상기 예측 목표 깊이 맵에 따라 확정되고; 상기 제2 손실값은 상기 라벨링된 목표 강도 맵과 상기 예측 목표 강도 맵에 따라 확정되며; 상기 제3 손실값은 상기 라벨링된 오리지널 강도 맵과 상기 예측 오리지널 강도 맵에 따라 확정되며;
상기 제1 손실값, 제2 손실값과 제3 손실값에 대해 가중치 처리를 실시하여, 목표 손실값을 획득하는 단계;
상기 목표 손실값에 따라 상기 신경망의 네트워크 파라미터를 조정하는 단계;를 포함하는 것을 특징으로 하는 방법. - 차선 인식 방법에 있어서,
도로의 포인트 클라우드 데이터를 수집하는 단계;
제1항 내지 제12항 중의 어느 한 항에 따른 정보 보완방법을 이용하여, 상기 포인트 클라우드 데이터를 보완하여 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 단계;
상기 목표 강도 맵에 따라 차선을 인식하여 차선 인식 결과를 획득하는 단계;를 포함하는 것을 특징으로 하는 차선 인식 방법. - 지능형 주행 방법에 있어서,
지능형 주행장치 주변 장면의 포인트 클라우드 데이터를 수집하는 단계;
제1항 내지 제12항 중의 어느 한 항에 따른 정보 보완 방법을 이용하여, 상기 포인트 클라우드 데이터를 보완하여, 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하는 단계;
상기 목표 강도 맵에 따라 상기 주변 장면 중의 목표 대상을 인식하는 단계;
인식 결과에 따라, 상기 지능형 주행장치의 주행을 제어하는 단계;를 포함하는 것을 특징으로 하는 지능형 주행 방법. - 정보 보완 장치에 있어서,
각 프레임에 깊이 정보와 강도 정보가 포함된 다중 프레임의 포인트 클라우드 데이터를 획득하기 위한 획득유닛;
상기 다중 프레임의 포인트 클라우드 데이터 중 기준 포인트 클라우드 데이터를 제외한 적어도 한 프레임의 포인트 클라우드 데이터의 깊이 정보와 강도 정보에 따라, 기준 포인트 클라우드 데이터를 보완하여, 상기 기준 포인트 클라우드 데이터에 대응되는 목표 포인트 클라우드 데이터를 획득하기 위한 보완 유닛을 포함하며;
여기서, 상기 목표 포인트 클라우드 데이터의 깊이 정보는 상기 기준 포인트 클라우드 데이터의 깊이 정보보다 조밀하고, 또한 상기 목표 포인트 클라우드 데이터의 강도 정보는 상기 기준 포인트 클라우드 데이터의 강도 정보보다 조밀하며, 상기 기준 포인트 클라우드 데이터는 상기 다중 프레임 포인트 클라우드 데이터 중의 어느 하나의 포인트 클라우드 데이터인 것을 특징으로 하는 정보 보완 장치. - 차선 인식 장치에 있어서,
도로의 포인트 클라우드 데이터를 수집하기 위한 수집유닛;
제1항 내지 제12항 중의 어느 한 항에 따른 정보 보완방법을 이용하여, 상기 포인트 클라우드 데이터를 보완하여 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하기 위한 보완유닛;
상기 목표 강도 맵에 따라 차선을 인식하여 차선 인식 결과를 획득하기 위한 인식유닛;을 포함하는 것을 특징으로 하는 차선 인식 장치. - 지능형 주행 장치에 있어서,
지능형 주행장치 주변 장면의 포인트 클라우드 데이터를 수집하기 위한 수집유닛;
제1항 내지 제12항 중의 어느 한 항에 따른 정보 보완방법을 이용하여, 상기 포인트 클라우드 데이터를 보완하여, 상기 포인트 클라우드 데이터에 대응되는 목표 강도 맵을 획득하기 위한 보완유닛;
상기 목표 강도 맵에 따라 상기 주변 장면 중의 목표 대상을 인식하기 위한 인식유닛;
인식 결과에 따라, 상기 지능형 주행장치의 주행을 제어하기 위한 제어유닛;을 포함하는 것을 특징으로 하는 지능형 주행 장치. - 전자장치에 있어서,
프로세서, 메모리를 포함하며, 여기서, 상기 프로세서는 컴퓨터 가독 명령을 저장하기 위한 것이고, 상기 프로세서는 상기 메모리에 저장된 명령을 호출하여, 제1항 내지 제12항 중의 어느 한 항에 따른 방법, 제13항에 따른 방법 또는 제14항에 따른 방법을 실행하기 위한 것임을 특징으로 하는 전자장치. - 컴퓨터 가독 저장 매체에 있어서,
컴퓨터 프로그램을 저장하기 위한 것으로서, 상기 컴퓨터 프로그램이 프로세서에 의해 실행 시, 상기 프로세서가 제1항 내지 제12항 중의 어느 한 항에 따른 방법, 제13항에 따른 방법 또는 제14항에 따른 방법을 구현하는 것을 특징으로 하는 컴퓨터 가독 저장 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911050904.4 | 2019-10-31 | ||
| CN201911050904.4A CN112749594B (zh) | 2019-10-31 | 2019-10-31 | 信息补全方法、车道线识别方法、智能行驶方法及相关产品 |
| PCT/CN2020/114032 WO2021082745A1 (zh) | 2019-10-31 | 2020-09-08 | 信息补全方法、车道线识别方法、智能行驶方法及相关产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210093351A true KR20210093351A (ko) | 2021-07-27 |
| KR102428050B1 KR102428050B1 (ko) | 2022-08-01 |
Family
ID=75641251
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217021148A KR102428050B1 (ko) | 2019-10-31 | 2020-09-08 | 정보 보완 방법, 차선 인식 방법, 지능형 주행 방법 및 관련 제품 |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP2022511990A (ko) |
| KR (1) | KR102428050B1 (ko) |
| CN (1) | CN112749594B (ko) |
| WO (1) | WO2021082745A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119889A (zh) * | 2021-11-12 | 2022-03-01 | 杭州师范大学 | 基于跨模态融合的360度环境深度补全和地图重建方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592932A (zh) * | 2021-06-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 深度补全网络的训练方法、装置、电子设备及存储介质 |
| CN113850914A (zh) * | 2021-08-13 | 2021-12-28 | 江苏瑞沃建设集团有限公司 | 一种线激光三维扫描点云数据的矩阵换方法 |
| CN113706676B (zh) * | 2021-08-26 | 2024-01-16 | 京东鲲鹏(江苏)科技有限公司 | 用于点云数据的模型自监督训练方法和装置 |
| CN115905434B (zh) * | 2022-10-26 | 2023-10-13 | 南京航空航天大学 | 一种基于学习插值预测的道路网轨迹补全方法 |
| CN116047537B (zh) * | 2022-12-05 | 2023-12-26 | 北京中科东信科技有限公司 | 基于激光雷达的道路信息生成方法及系统 |
| CN116299300B (zh) * | 2023-05-15 | 2023-08-08 | 北京集度科技有限公司 | 可行驶区域的确定方法、装置、计算机设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| KR20190082068A (ko) * | 2017-12-29 | 2019-07-09 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | 포인트 클라우드 데이터를 융합하기 위한 방법 및 장치 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6411942B2 (ja) * | 2015-04-23 | 2018-10-24 | 株式会社デンソー | 物体認識装置 |
| US9972067B2 (en) * | 2016-10-11 | 2018-05-15 | The Boeing Company | System and method for upsampling of sparse point cloud for 3D registration |
| CN106780590B (zh) * | 2017-01-03 | 2019-12-24 | 成都通甲优博科技有限责任公司 | 一种深度图的获取方法及系统 |
| EP3429207A1 (en) * | 2017-07-13 | 2019-01-16 | Thomson Licensing | A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object |
| KR102042343B1 (ko) * | 2018-04-13 | 2019-11-07 | 경북대학교 산학협력단 | 3차원 스캐닝을 통해 획득된 점군 데이터 기반에서 깊이 이미지를 생성하는 장치 및 방법 및 이를 이용한 3차원 객체 식별 방법 |
| CN108898669A (zh) * | 2018-07-17 | 2018-11-27 | 网易（杭州）网络有限公司 | 数据处理方法、装置、介质和计算设备 |
| CN109325972B (zh) * | 2018-07-25 | 2020-10-27 | 深圳市商汤科技有限公司 | 激光雷达稀疏深度图的处理方法、装置、设备及介质 |
| CN109613557B (zh) * | 2018-11-28 | 2022-04-29 | 南京莱斯信息技术股份有限公司 | 一种补全激光雷达三维点云目标的系统及方法 |
| CN109903372B (zh) * | 2019-01-28 | 2021-03-23 | 中国科学院自动化研究所 | 深度图超分辨率补全方法及高质量三维重建方法与系统 |
| CN109900298B (zh) * | 2019-03-01 | 2023-06-30 | 武汉光庭科技有限公司 | 一种车辆定位校准方法及系统 |
| CN110047144A (zh) * | 2019-04-01 | 2019-07-23 | 西安电子科技大学 | 一种基于Kinectv2的完整物体实时三维重建方法 |
| CN109766878B (zh) * | 2019-04-11 | 2019-06-28 | 深兰人工智能芯片研究院（江苏）有限公司 | 一种车道线检测的方法和设备 |
| CN110232315A (zh) * | 2019-04-29 | 2019-09-13 | 华为技术有限公司 | 目标检测方法和装置 |
-
2019
- 2019-10-31 CN CN201911050904.4A patent/CN112749594B/zh active Active
-
2020
- 2020-09-08 JP JP2021539461A patent/JP2022511990A/ja active Pending
- 2020-09-08 WO PCT/CN2020/114032 patent/WO2021082745A1/zh active Application Filing
- 2020-09-08 KR KR1020217021148A patent/KR102428050B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| KR20190082068A (ko) * | 2017-12-29 | 2019-07-09 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | 포인트 클라우드 데이터를 융합하기 위한 방법 및 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119889A (zh) * | 2021-11-12 | 2022-03-01 | 杭州师范大学 | 基于跨模态融合的360度环境深度补全和地图重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022511990A (ja) | 2022-02-01 |
| CN112749594A (zh) | 2021-05-04 |
| CN112749594B (zh) | 2022-04-22 |
| WO2021082745A1 (zh) | 2021-05-06 |
| KR102428050B1 (ko) | 2022-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102428050B1 (ko) | 정보 보완 방법, 차선 인식 방법, 지능형 주행 방법 및 관련 제품 | |
| CN110765894B (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
| US20210287037A1 (en) | Object detection method and apparatus, electronic device, and storage medium | |
| US20220277557A1 (en) | Target detection method based on fusion of vision, lidar, and millimeter wave radar | |
| EP3872688A1 (en) | Obstacle identification method and device, storage medium, and electronic device | |
| CN108764187A (zh) | 提取车道线的方法、装置、设备、存储介质以及采集实体 | |
| CN112753038B (zh) | 识别车辆变道趋势的方法和装置 | |
| CN109840463B (zh) | 一种车道线识别方法和装置 | |
| WO2020237516A1 (zh) | 点云的处理方法、设备和计算机可读存储介质 | |
| CN113674287A (zh) | 高精地图的绘制方法、装置、设备以及存储介质 | |
| CN113378760A (zh) | 训练目标检测模型和检测目标的方法及装置 | |
| CN112802092B (zh) | 一种障碍物感知方法、装置以及电子设备 | |
| CN114821507A (zh) | 一种用于自动驾驶的多传感器融合车路协同感知方法 | |
| CN116052124A (zh) | 多相机生成局部地图模板理解加强目标检测方法及系统 | |
| CN114140592A (zh) | 高精地图生成方法、装置、设备、介质及自动驾驶车辆 | |
| CN114565908A (zh) | 车道线的检测方法、装置、电子设备及存储介质 | |
| CN113988197A (zh) | 基于多相机、多激光雷达的联合标定及目标融合检测方法 | |
| CN117036607A (zh) | 基于隐式神经渲染的自动驾驶场景数据生成方法及系统 | |
| Ahmed et al. | Lane marking detection using LiDAR sensor | |
| CN112651405B (zh) | 目标检测方法及装置 | |
| CN112747757A (zh) | 用于提供雷达数据的方法和设备、计算机程序和计算机可读存储介质 | |
| CN114898585B (zh) | 基于路口多视角的车辆轨迹预测规划方法及系统 | |
| CN116778262B (zh) | 一种基于虚拟点云的三维目标检测方法和系统 | |
| CN117437162B (zh) | 一种基于实例级序列混合的动态点云数据增强方法及装置 | |
| Hellinckx | Lane Marking Detection Using LiDAR Sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |