KR20210102182A

KR20210102182A - 도로 표시 인식 방법, 지도 생성 방법, 및 관련 제품

Info

Publication number: KR20210102182A
Application number: KR1020217008093A
Authority: KR
Inventors: 보준 리앙; 지아수안 장; 제 왕
Original assignee: 선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date: 2020-02-07
Filing date: 2020-02-07
Publication date: 2021-08-19
Also published as: JP2022522385A; WO2021155558A1; SG11202013252SA; US20210248390A1

Abstract

본 출원의 실시형태는 도로 표시 인식 방법, 지도 생성 방법, 및 관련 제품을 개시한다. 도로 표시 인식 방법은, 도로의 획득된 점군 데이터에 따라, 도로의 기본 지도를 결정하는 단계로서, 획득된 점군의 반사율 정보, 및 점군의 위치 정보에 따라, 기본 지도의 픽셀이 결정되는, 단계; 기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계; 및 결정된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 단계를 포함한다.

Description

도로 표시 인식 방법, 지도 생성 방법, 및 관련 제품

본 출원은 영상 인식 분야에 관한 것으로서, 특히 도로 표시 인식 방법, 지도 생성 방법, 및 관련 제품에 관한 것이다.

고정밀 지도는 지능형 주행(intelligent driving)의 중요한 부분이다. 주행 동안 고정밀 위치 설정을 구현하기 위해, 자율 주행차는 고정밀 지도의 지원에 의존해야 한다. 고정밀 지도의 구성을 위해, 차선 경계선(lane line), 정지선, 및 횡단보도를 포함하는 도로 표시의 추출이 매우 중요하다. 현재, 주로 차량 카메라, 레이저 레이더, 위성 영상, 및 항공 사진을 사용하여 지도 데이터를 획득하며, 획득된 지도 데이터를 사용하여 고정밀 지도를 구성한다. 레이저 레이더에 의해 획득된 3차원(3D) 점군 데이터(point cloud data)는 도로 표시의 고정밀도 및 뚜렷한 반사율의 특성을 가지며, 이는 고정밀 지도를 구성하는 주요한 방법이다. 도로 표시는, 3D 점군 데이터에 대한 3D 장면 재구성을 수행한 다음, 이를 2차원(2D) 격자 지도로 변환함으로써 표시된다.

현재는, 도로 표시가 표시된 경우, 수동으로 또는 다수의 임계값(threshold)을 설정함으로써, 전체 지도의 각각의 도로 표시가 인식되어야 한다. 따라서, 고정밀 지도에서 도로 표시를 표시하는 과정이 번거롭고, 임계값을 통해 도로 표시를 표시함으로 인해 표시 정확도가 떨어진다.

본 출원의 실시형태는 지도의 도로 표시를 인식하는 정확도를 개선하기 위한 도로 표시 인식 방법, 지도 생성 방법, 및 관련 제품을 제공한다.

제1 양태에서, 본 출원의 실시형태는 도로 표시 인식 방법을 제공하며, 도로 표시 인식 방법은,

도로의 획득된 점군 데이터에 따라, 도로의 기본 지도(base map)를 결정하는 단계로서, 획득된 점군의 반사율 정보, 및 점군의 위치 정보에 따라, 기본 지도의 픽셀이 결정되는, 단계;

기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계; 및

결정된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 단계를 포함할 수 있다.

가능한 구현 방식에서, 기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계 전에, 방법은,

도로의 토폴로지 라인(topological line)에 따라, 도로의 기본 지도를 다수의 블록 기본 지도로 분할하는 단계를 더 포함할 수 있다.

기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계는,

블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계를 포함할 수 있다.

가능한 구현 방식에서, 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계는,

각각의 블록 기본 지도를 각각 회전시키는 단계; 및

각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계를 포함할 수 있다.

가능한 구현 방식에서, 도로의 토폴로지 라인에 따라, 도로의 기본 지도를 다수의 블록 기본 지도로 분할하는 단계는,

도로의 점군 데이터를 획득하는 장치의 이동 트랙에 따라, 도로의 토폴로지 라인을 결정하는 단계; 및

도로의 토폴로지 라인을 따라, 도로의 기본 지도를 영상 블록으로 등거리로 분할하여, 다수의 블록 기본 지도를 획득하는 단계를 포함할 수 있다. 도로의 기본 지도의 2개의 인접한 블록 기본 지도는 중첩 부분을 가지며, 도로의 기본 지도를 분할하는 분할 라인은 도로의 토폴로지 라인에 수직이고, 도로의 토폴로지 라인의 양측에서, 각각의 블록 기본 지도의 부분은 동일한 폭을 갖는다.

가능한 구현 방식에서, 결정된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 단계는,

동일한 픽셀을 갖는 인접한 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 병합하여, 병합된 픽셀 세트를 획득하는 단계로서, 병합된 픽셀 세트에서, 동일한 픽셀이 다수의 확률을 갖는 경우, 동일한 픽셀의 다수의 확률의 평균이 픽셀의 확률로서 지정되는, 단계; 및

병합된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 단계를 포함할 수 있다.

가능한 구현 방식에서, 각각의 블록 기본 지도를 각각 회전시키는 단계는,

각각의 블록 기본 지도의 분할 라인과 수평 방향 사이의 끼인각(included angle)에 따라, 각각의 블록 기본 지도에 해당하는 변환 행렬을 결정하는 단계; 및

각각의 블록 기본 지도에 해당하는 변환 행렬에 따라, 각각의 블록 기본 지도를 이의 분할 라인이 수평 방향과 일치할 때까지 회전시키는 단계를 포함할 수 있으며, 블록 기본 지도의 분할 라인은 직선이고, 이를 따라 블록 기본 지도가 도로의 기본 지도로부터 분할된다.

각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계는,

각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 회전된 블록 기본 지도의 픽셀로 구성된 초기 픽셀 세트를 결정하는 단계; 및

각각의 회전되지 않은 블록 기본 지도에 해당하는 변환 행렬의 역행렬에 따라, 도로 표시가 포함하는 각각의 회전된 블록 기본 지도의 픽셀을 변환하여, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 획득하는 단계를 포함할 수 있다.

각각의 블록 기본 지도의 특징 지도(feature map)에 따라, 각각의 블록 기본 지도의 각각의 픽셀이 도로 표시에 속하는 확률을 결정하는 단계;

각각의 블록 기본 지도의 특징 지도에 따라, 각각의 블록 기본 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터를 결정하는 단계; 및

각각의 블록 기본 지도의 특징 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터에 따라, 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀을 클러스터링(clustering)하여, 각각의 블록 기본 지도의 상이한 도로 표시에 해당하는 픽셀 세트를 획득하는 단계를 포함할 수 있다.

동일한 픽셀을 갖는 인접한 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 병합하여, 병합된 픽셀 세트를 획득하는 단계는,

인접한 블록 기본 지도의 동일한 도로 표시에 해당하는 픽셀 세트가 동일한 픽셀을 갖는 경우, 인접한 블록 기본 지도의 동일한 도로 표시에 해당하는 픽셀 세트를 병합하여, 도로의 기본 지도의 상이한 도로 표시에 해당하는 픽셀 세트를 획득하는 단계를 포함할 수 있다.

병합된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 단계는,

각각의 도로 표시에 해당하는 픽셀 세트에 따라, 각각의 도로 표시를 결정하는 단계를 포함할 수 있다.

가능한 구현 방식에서, 각각의 도로 표시에 해당하는 픽셀 세트에 따라, 각각의 도로 표시를 결정하는 단계는,

도로 표시에 해당하는 픽셀 세트에 따라, 도로 표시에 해당하는 픽셀 세트에 해당하는 키 포인트(key point)를 도로 표시에 대해 결정하는 단계; 및

결정된 키 포인트에 기초하여, 도로 표시를 맞추는(fitting) 단계를 포함할 수 있다.

가능한 구현 방식에서, 도로 표시에 해당하는 픽셀 세트에 따라, 도로 표시에 해당하는 픽셀 세트에 해당하는 키 포인트를 결정하는 단계는,

도로 표시에 해당하는 픽셀 세트를 제1 세트로서 취함으로써, 제1 세트의 주 방향을 결정하는 단계;

제1 세트의 결정된 주 방향에 따라, 회전 행렬을 결정하는 단계;

결정된 회전 행렬에 따라, 제1 세트의 픽셀을 변환하여, 픽셀이 변환된 후에 제1 세트의 주 방향이 수평 방향이 되도록 하는 단계; 및

주 방향이 변환된 제1 세트에 따라, 다수의 키 포인트를 결정하는 단계를 포함할 수 있다.

결정된 키 포인트에 기초하여, 도로 표시를 맞추는 단계는,

회전 행렬의 역행렬에 기초하여, 결정된 다수의 키 포인트를 변환하는 단계;

변환된 다수의 키 포인트에 기초하여, 제1 세트에 해당하는 선분(line segment)을 맞추는 단계; 및

제1 세트에 해당하는 선분을 도로 표시로서 지정하는 단계를 포함할 수 있다.

가능한 구현 방식에서, 도로 표시에 해당하는 다수의 픽셀 세트가 있는 경우, 도로 표시에 해당하는 픽셀 세트 중 하나가 제1 세트로서 지정되며, 제1 세트에 해당하는 맞춰진 선분은 연결되지 않고, 방법은,

제1 세트에 해당하는 선분에서 연결되지 않은 선분이 있는 경우, 연결되지 않은 2개의 선분에서 최소 거리를 갖는 2개의 종점 사이의 거리가 거리 임계값 미만이고, 연결되지 않은 2개의 선분의 종점이 동일 선상에 있을 때, 연결되지 않은 2개의 선분을 연결하여, 이어 맞춰진(spliced) 선분을 획득하는 단계; 및

이어 맞춰진 선분을 도로 표시로서 지정하는 단계를 더 포함할 수 있다.

가능한 구현 방식에서, 주 방향이 변환된 제1 세트에 따라, 다수의 키 포인트를 결정하는 단계는,

주 방향이 변환된 제1 세트를 처리될 세트로서 지정하는 단계;

처리될 세트의 가장 좌측 픽셀 및 가장 우측 픽셀을 결정하는 단계;

구간 길이가 제1 임계값 이하이고, 평균 거리가 제2 임계값 미만인 경우, 가장 좌측 픽셀에 기초하여 키 포인트를 결정하고, 가장 우측 픽셀에 기초하여 키 포인트를 결정하는 단계로서, 평균 거리는, 가장 좌측 픽셀 및 가장 우측 픽셀에 의해 형성된 선분과 처리될 세트의 픽셀 사이의 거리의 평균이며, 구간 길이는, 처리될 세트에서 가장 우측 픽셀의 가로좌표와 가장 좌측 픽셀의 가로좌표 사이의 차인, 단계; 및

구간 길이가 제1 임계값 이하이고, 평균 거리가 제2 임계값 초과인 경우, 처리될 세트의 픽셀을 폐기하는 단계를 포함할 수 있다.

가능한 구현 방식에서, 방법은,

구간 길이가 제1 임계값 초과인 경우, 처리될 세트의 픽셀의 가로좌표의 평균을 세그먼트 좌표로서 지정하고, 처리될 세트에서, 가로좌표가 세그먼트 좌표 이하인 픽셀로 구성된 세트를 제1 서브세트로서 지정하며, 처리될 세트에서, 가로좌표가 세그먼트 좌표 이상인 픽셀로 구성된 세트를 제2 서브세트로서 지정하고, 처리될 세트로서 제1 서브세트 및 제2 서브세트를 각각 취함으로써, 처리될 세트를 처리하는 단계를 수행하는 단계를 더 포함할 수 있다.

가능한 구현 방식에서, 도로의 획득된 점군 데이터에 따라, 도로의 기본 지도를 결정하는 단계는,

도로의 획득된 점군 데이터로부터 비-도로 점군을 인식 및 제거하여, 전처리된 점군 데이터를 획득하는 단계;

도로의 점군 데이터를 획득하는 장치의 자세에 따라, 각각의 프레임의 전처리된 점군 데이터를 국제 좌표계로 변환하여, 각각의 프레임의 변환된 점군 데이터를 획득하는 단계;

각각의 프레임의 변환된 점군 데이터를 이어 맞춰서, 이어 맞춰진 점군 데이터를 획득하는 단계;

이어 맞춰진 점군 데이터를 세트 평면(set plane)에 투영하는 단계로서, 세트 평면은 고정된 길이-폭 해상도에 따라 분할된 격자를 구비하고, 각각의 격자는 도로의 기본 지도의 픽셀에 해당하는, 단계; 및

세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하는 단계를 포함할 수 있다.

가능한 구현 방식에서, 세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하는 단계는,

세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율 및 평균 높이에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하는 단계를 포함할 수 있다.

가능한 구현 방식에서, 전처리된 점군 데이터를 획득하는 단계 후에, 방법은,

도로의 영상을 획득하는 장치에 대한 도로의 점군 데이터를 획득하는 장치의 외부 참조에 따라, 전처리된 점군 데이터를 도로의 획득된 영상 위에 투영하여, 전처리된 점군 데이터에 해당하는 색상을 획득하는 단계를 더 포함할 수 있다.

세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하는 단계는,

세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율, 및 격자에 투영된 점군에 해당하는 평균 색상에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하는 단계를 포함할 수 있다.

가능한 구현 방식에서, 기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계는 신경망에 의해 수행된다. 신경망은 도로 표시가 표시된 샘플 기본 지도로 트레이닝된다.

가능한 구현 방식에서, 신경망은,

신경망을 사용함으로써, 샘플 블록 기본 지도의 특징을 추출하여, 샘플 블록 기본 지도의 특징 지도를 획득하는 단계;

샘플 블록 기본 지도의 특징 지도에 기초하여, 샘플 블록 기본 지도의 각각의 픽셀이 도로 표시에 속하는 확률을 결정하는 단계;

샘플 블록 기본 지도의 특징 지도에 따라, 샘플 블록 기본 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터를 결정하는 단계로서, n차원 특징 벡터는 도로 표시의 인스턴스 특징(instance feature)을 나타내기 위해 사용되고, n은 1보다 더 큰 정수인, 단계;

픽셀의 결정된 n차원 특징 벡터에 따라, 샘플 블록 기본 지도의 사전 설정된 확률 값보다 더 큰 확률의 픽셀을 클러스터링하여, 샘플 블록 기본 지도의 동일한 도로 표시에 속하는 픽셀을 결정하는 단계; 및

샘플 블록 기본 지도에 표시된 도로 표시, 및 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에 따라, 신경망의 네트워크 파라미터 값을 조정하는 단계에 의해, 트레이닝된다.

가능한 구현 방식에서, 방법은,

샘플 블록 기본 지도의 제1 픽셀의 표시된 거리를 결정하는 단계를 더 포함할 수 있으며, 제1 픽셀은 샘플 블록 기본 지도의 임의의 픽셀이고, 제1 픽셀의 표시된 거리는 제1 픽셀과 제2 픽셀 사이의 거리이며, 제2 픽셀은 샘플 블록 기본 지도에 표시된 도로 표시에 있는 픽셀에서 제1 픽셀로부터 최소 거리를 갖는 픽셀이고,

샘플 블록 기본 지도에 표시된 도로 표시, 및 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에 따라, 신경망의 네트워크 파라미터 값을 조정하는 단계는,

샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀, 샘플 블록 기본 지도에 표시된 도로 표시, 샘플 블록 기본 지도의 제1 픽셀의 표시된 거리, 및 샘플 블록 기본 지도의 제1 픽셀의 예측된 거리에 따라, 신경망의 네트워크 파라미터 값을 조정하는 단계를 포함할 수 있으며,

제1 픽셀의 예측된 거리는 제1 픽셀과 제3 픽셀 사이의 거리이고, 제3 픽셀은, 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에서 제1 픽셀로부터 최소 거리를 갖는 픽셀이다.

가능한 구현 방식에서, 방법은,

샘플 블록 기본 지도의 제4 픽셀의 표시된 방향을 결정하는 단계를 더 포함할 수 있으며, 제4 픽셀은 샘플 블록 기본 지도의 임의의 픽셀이고, 제4 픽셀의 표시된 방향은 제5 픽셀의 접선 방향이며, 제5 픽셀은, 샘플 블록 기본 지도에 표시된 도로 표시에 있는 픽셀에서 제4 픽셀로부터 최소 거리를 갖는 픽셀이고,

샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀, 샘플 블록 기본 지도에 표시된 도로 표시, 샘플 블록 기본 지도의 제4 픽셀의 표시된 방향, 및 샘플 블록 기본 지도의 제4 픽셀의 예측된 방향에 따라, 신경망의 네트워크 파라미터 값을 조정하는 단계를 포함할 수 있으며,

제4 픽셀의 예측된 방향은 제6 픽셀의 접선 방향이고, 제6 픽셀은, 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에서 제4 픽셀로부터 최소 거리를 갖는 픽셀이다.

제2 양태에서, 본 출원의 실시형태는 지도 생성 방법을 제공하며, 지도 생성 방법은,

제1 양태의 임의의 도로 표시 인식 방법을 사용하여, 지능형 주행 장치에 의해 획득된 도로의 점군 데이터에 따라, 도로 상의 적어도 하나의 도로 표시를 결정하는 단계; 및

도로 상의 적어도 하나의 도로 표시에 따라, 도로 상의 적어도 하나의 도로 표시를 포함하는 지도를 생성하는 단계를 포함할 수 있다.

가능한 구현 방식에서, 방법은,

생성된 지도를 보정하여, 보정된 지도를 획득하는 단계를 더 포함할 수 있다.

가능한 구현 방식에서, 적어도 하나의 도로 표시는 신경망에 의해 결정된다. 지도를 생성하는 단계 후에, 방법은,

생성된 지도를 사용하여, 신경망을 트레이닝하는 단계를 더 포함할 수 있다.

제3 양태에서, 본 출원의 실시형태는 도로 표시 인식 장치를 제공하며, 도로 표시 인식 장치는,

도로의 획득된 점군 데이터에 따라, 도로의 기본 지도를 결정하도록 구성된 처리 유닛을 포함할 수 있으며, 획득된 점군의 반사율 정보, 및 점군의 위치 정보에 따라, 기본 지도의 픽셀이 결정되고,

처리 유닛은, 기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하도록 추가로 구성되며,

처리 유닛은, 결정된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하도록 추가로 구성된다.

가능한 구현 방식에서, 장치는 분할 유닛을 더 포함할 수 있으며,

기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트가 결정되기 전에, 분할 유닛은, 도로의 토폴로지 라인에 따라, 도로의 기본 지도를 다수의 블록 기본 지도로 분할하도록 구성되고,

기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 것과 관련하여, 처리 유닛은 구체적으로,

블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하도록 구성된다.

가능한 구현 방식에서, 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 것과 관련하여, 처리 유닛은 구체적으로,

각각의 블록 기본 지도를 각각 회전시키고,

각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하도록 구성된다.

가능한 구현 방식에서, 도로의 토폴로지 라인에 따라, 도로의 기본 지도를 다수의 블록 기본 지도로 분할하는 것과 관련하여, 분할 유닛은 구체적으로,

도로의 점군 데이터를 획득하는 장치의 이동 트랙에 따라, 도로의 토폴로지 라인을 결정하고,

도로의 토폴로지 라인을 따라, 도로의 기본 지도를 영상 블록으로 등거리로 분할하여, 다수의 블록 기본 지도를 획득하도록 구성된다. 도로의 기본 지도의 2개의 인접한 블록 기본 지도는 중첩 부분을 가지며, 도로의 기본 지도를 분할하는 분할 라인은 도로의 토폴로지 라인에 수직이고, 도로의 토폴로지 라인의 양측에서, 각각의 블록 기본 지도의 부분은 동일한 폭을 갖는다.

가능한 구현 방식에서, 결정된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 것과 관련하여, 처리 유닛은 구체적으로,

동일한 픽셀을 갖는 인접한 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 병합하여, 병합된 픽셀 세트를 획득하도록 구성되며, 병합된 픽셀 세트에서, 동일한 픽셀이 다수의 확률을 갖는 경우, 동일한 픽셀의 다수의 확률의 평균이 픽셀의 확률로서 지정되고,

처리 유닛은 구체적으로, 병합된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하도록 구성된다.

가능한 구현 방식에서, 각각의 블록 기본 지도를 각각 회전시키는 것과 관련하여, 처리 유닛은 구체적으로,

각각의 블록 기본 지도의 분할 라인과 수평 방향 사이의 끼인각에 따라, 각각의 블록 기본 지도에 해당하는 변환 행렬을 결정하고,

각각의 블록 기본 지도에 해당하는 변환 행렬에 따라, 각각의 블록 기본 지도를 이의 분할 라인이 수평 방향과 일치할 때까지 회전시키도록 구성되며, 블록 기본 지도의 분할 라인은 직선이고, 이를 따라 블록 기본 지도가 도로의 기본 지도로부터 분할되며,

각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 것과 관련하여, 처리 유닛은 구체적으로,

각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 회전된 블록 기본 지도의 픽셀로 구성된 초기 픽셀 세트를 결정하고,

각각의 회전되지 않은 블록 기본 지도에 해당하는 변환 행렬의 역행렬에 따라, 도로 표시가 포함하는 각각의 회전된 블록 기본 지도의 픽셀을 변환하여, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 획득하도록 구성된다.

각각의 블록 기본 지도의 특징 지도에 따라, 각각의 블록 기본 지도의 각각의 픽셀이 도로 표시에 속하는 확률을 결정하고,

각각의 블록 기본 지도의 특징 지도에 따라, 각각의 블록 기본 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터를 결정하며,

각각의 블록 기본 지도의 특징 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터에 따라, 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀을 클러스터링하여, 각각의 블록 기본 지도의 상이한 도로 표시에 해당하는 픽셀 세트를 획득하도록 구성되고,

동일한 픽셀을 갖는 인접한 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 병합하여, 병합된 픽셀 세트를 획득하는 것과 관련하여, 처리 유닛은 구체적으로,

인접한 블록 기본 지도의 동일한 도로 표시에 해당하는 픽셀 세트가 동일한 픽셀을 갖는 경우, 인접한 블록 기본 지도의 동일한 도로 표시에 해당하는 픽셀 세트를 병합하여, 도로의 기본 지도의 상이한 도로 표시에 해당하는 픽셀 세트를 획득하도록 구성되며,

병합된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 것과 관련하여, 처리 유닛은 구체적으로,

각각의 도로 표시에 해당하는 픽셀 세트에 따라, 각각의 도로 표시를 결정하도록 구성된다.

가능한 구현 방식에서, 각각의 도로 표시에 해당하는 픽셀 세트에 따라, 각각의 도로 표시를 결정하는 것과 관련하여, 처리 유닛은 구체적으로,

도로 표시에 해당하는 픽셀 세트에 따라, 도로 표시에 해당하는 픽셀 세트에 해당하는 키 포인트를 도로 표시에 대해 결정하고,

결정된 키 포인트에 기초하여, 도로 표시를 맞추도록 구성된다.

가능한 구현 방식에서, 도로 표시에 해당하는 픽셀 세트에 따라, 도로 표시에 해당하는 픽셀 세트에 해당하는 키 포인트를 결정하는 것과 관련하여, 처리 유닛은 구체적으로,

도로 표시에 해당하는 픽셀 세트를 제1 세트로서 취함으로써, 제1 세트의 주 방향을 결정하고,

제1 세트의 결정된 주 방향에 따라, 회전 행렬을 결정하며,

결정된 회전 행렬에 따라, 제1 세트의 픽셀을 변환하여, 픽셀이 변환된 후에 제1 세트의 주 방향이 수평 방향이 되도록 하고,

주 방향이 변환된 제1 세트에 따라, 다수의 키 포인트를 결정하도록 구성된다.

결정된 키 포인트에 기초하여, 도로 표시를 맞추는 것과 관련하여, 처리 유닛은 구체적으로,

회전 행렬의 역행렬에 기초하여, 결정된 다수의 키 포인트를 변환하고,

변환된 다수의 키 포인트에 기초하여, 제1 세트에 해당하는 선분을 맞추며,

제1 세트에 해당하는 선분을 도로 표시로서 취하도록 구성된다.

가능한 구현 방식에서, 도로 표시에 해당하는 다수의 픽셀 세트가 있는 경우, 도로 표시에 해당하는 픽셀 세트 중 하나가 제1 세트로서 지정되며, 제1 세트에 해당하는 맞춰진 선분은 연결되지 않고, 처리 유닛은,

제1 세트에 해당하는 선분에서 연결되지 않은 선분이 있는 경우, 연결되지 않은 2개의 선분에서 최소 거리를 갖는 2개의 종점 사이의 거리가 거리 임계값 미만이고, 연결되지 않은 2개의 선분의 종점이 동일 선상에 있을 때, 연결되지 않은 2개의 선분을 연결하여, 이어 맞춰진 선분을 획득하며,

이어 맞춰진 선분을 도로 표시로서 취하도록 추가로 구성된다.

가능한 구현 방식에서, 주 방향이 변환된 제1 세트에 따라, 다수의 키 포인트를 결정하는 것과 관련하여, 처리 유닛은 구체적으로,

주 방향이 변환된 제1 세트를 처리될 세트로서 취하고,

처리될 세트의 가장 좌측 픽셀 및 가장 우측 픽셀을 결정하며,

구간 길이가 제1 임계값 이하이고, 평균 거리가 제2 임계값 미만인 경우, 가장 좌측 픽셀에 기초하여 키 포인트를 결정하고, 가장 우측 픽셀에 기초하여 키 포인트를 결정하도록 구성되고, 평균 거리는, 가장 좌측 픽셀 및 가장 우측 픽셀에 의해 형성된 선분과 처리될 세트의 픽셀 사이의 거리의 평균이며, 구간 길이는, 처리될 세트에서 가장 우측 픽셀의 가로좌표와 가장 좌측 픽셀의 가로좌표 사이의 차이고,

처리 유닛은 구체적으로, 구간 길이가 제1 임계값 이하이고, 평균 거리가 제2 임계값 초과인 경우, 처리될 세트의 픽셀을 폐기하도록 구성된다.

가능한 구현 방식에서, 처리 유닛은,

구간 길이가 제1 임계값 초과인 경우, 처리될 세트의 픽셀의 가로좌표의 평균을 세그먼트 좌표로서 취하고, 처리될 세트에서, 가로좌표가 세그먼트 좌표 이하인 픽셀로 구성된 세트를 제1 서브세트로서 취하며, 처리될 세트에서, 가로좌표가 세그먼트 좌표 이상인 픽셀로 구성된 세트를 제2 서브세트로서 취하고, 처리될 세트로서 제1 서브세트 및 제2 서브세트를 각각 취함으로써, 처리될 세트를 처리하는 단계를 수행하도록 추가로 구성된다.

가능한 구현 방식에서, 도로의 획득된 점군 데이터에 따라, 도로의 기본 지도를 결정하는 것과 관련하여, 처리 유닛은 구체적으로,

도로의 획득된 점군 데이터로부터 비-도로 점군을 인식 및 제거하여, 전처리된 점군 데이터를 획득하고,

도로의 점군 데이터를 획득하는 장치의 자세에 따라, 각각의 프레임의 전처리된 점군 데이터를 국제 좌표계로 변환하여, 각각의 프레임의 변환된 점군 데이터를 획득하며,

각각의 프레임의 변환된 점군 데이터를 이어 맞춰서, 이어 맞춰진 점군 데이터를 획득하고,

이어 맞춰진 점군 데이터를 세트 평면에 투영하도록 구성되며, 세트 평면은 고정된 길이-폭 해상도에 따라 분할된 격자를 구비하고, 각각의 격자는 도로의 기본 지도의 픽셀에 해당하고,

처리 유닛은 구체적으로, 세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하도록 구성된다.

가능한 구현 방식에서, 세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하는 것과 관련하여, 처리 유닛은 구체적으로,

세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율 및 평균 높이에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하도록 구성된다.

가능한 구현 방식에서, 전처리된 점군 데이터가 획득된 후에, 처리 유닛은,

도로의 영상을 획득하는 장치에 대한 도로의 점군 데이터를 획득하는 장치의 외부 참조에 따라, 전처리된 점군 데이터를 도로의 획득된 영상 위에 투영하여, 전처리된 점군 데이터에 해당하는 색상을 획득하도록 추가로 구성되며,

세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하는 것과 관련하여, 처리 유닛은 구체적으로,

세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율, 및 격자에 투영된 점군에 해당하는 평균 색상에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하도록 구성된다.

가능한 구현 방식에서, 기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 것은 신경망에 의해 수행된다. 신경망은 도로 표시가 표시된 샘플 기본 지도로 트레이닝된다.

가능한 구현 방식에서, 장치는, 신경망을 트레이닝하도록 구성된 트레이닝 유닛을 더 포함할 수 있다. 트레이닝 유닛은 구체적으로,

신경망을 사용하여, 샘플 블록 기본 지도의 특징을 추출함으로써, 샘플 블록 기본 지도의 특징 지도를 획득하고,

샘플 블록 기본 지도의 특징 지도에 기초하여, 샘플 블록 기본 지도의 각각의 픽셀이 도로 표시에 속하는 확률을 결정하며,

샘플 블록 기본 지도의 특징 지도에 따라, 샘플 블록 기본 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터를 결정하도록 구성되고, n차원 특징 벡터는 도로 표시의 인스턴스 특징을 나타내기 위해 사용되며, n은 1보다 더 큰 정수이고,

트레이닝 유닛은 구체적으로, 픽셀의 결정된 n차원 특징 벡터에 따라, 샘플 블록 기본 지도의 사전 설정된 확률 값보다 더 큰 확률의 픽셀을 클러스터링하여, 샘플 블록 기본 지도의 동일한 도로 표시에 속하는 픽셀을 결정하도록 구성되며,

트레이닝 유닛은 구체적으로, 샘플 블록 기본 지도에 표시된 도로 표시, 및 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에 따라, 신경망의 네트워크 파라미터 값을 조정하도록 구성된다.

가능한 구현 방식에서, 트레이닝 유닛은,

샘플 블록 기본 지도의 제1 픽셀의 표시된 거리를 결정하도록 추가로 구성되며, 제1 픽셀은 샘플 블록 기본 지도의 임의의 픽셀이고, 제1 픽셀의 표시된 거리는 제1 픽셀과 제2 픽셀 사이의 거리이며, 제2 픽셀은 샘플 블록 기본 지도에 표시된 도로 표시에 있는 픽셀에서 제1 픽셀로부터 최소 거리를 갖는 픽셀이고,

샘플 블록 기본 지도에 표시된 도로 표시, 및 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에 따라, 신경망의 네트워크 파라미터 값을 조정하는 것과 관련하여, 트레이닝 유닛은 구체적으로,

샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀, 샘플 블록 기본 지도에 표시된 도로 표시, 샘플 블록 기본 지도의 제1 픽셀의 표시된 거리, 및 샘플 블록 기본 지도의 제1 픽셀의 예측된 거리에 따라, 신경망의 네트워크 파라미터 값을 조정하도록 구성되며,

가능한 구현 방식에서, 트레이닝 유닛은 구체적으로,

샘플 블록 기본 지도의 제4 픽셀의 표시된 방향을 결정하도록 구성되며, 제4 픽셀은 샘플 블록 기본 지도의 임의의 픽셀이고, 제4 픽셀의 표시된 방향은 제5 픽셀의 접선 방향이며, 제5 픽셀은, 샘플 블록 기본 지도에 표시된 도로 표시에 있는 픽셀에서 제4 픽셀로부터 최소 거리를 갖는 픽셀이고,

샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀, 샘플 블록 기본 지도에 표시된 도로 표시, 샘플 블록 기본 지도의 제4 픽셀의 표시된 방향, 및 샘플 블록 기본 지도의 제4 픽셀의 예측된 방향에 따라, 신경망의 네트워크 파라미터 값을 조정하도록 구성되며,

제4 양태에서, 본 출원의 실시형태는 지도 생성 장치를 제공하며, 지도 생성 장치는,

제1 양태의 임의의 도로 표시 인식 방법을 사용하여, 지능형 주행 장치에 의해 획득된 도로의 점군 데이터에 따라, 도로 상의 적어도 하나의 도로 표시를 결정하도록 구성된 결정 유닛; 및

도로 상의 적어도 하나의 도로 표시에 따라, 도로 상의 적어도 하나의 도로 표시를 포함하는 지도를 생성하도록 구성된 생성 유닛을 포함할 수 있다.

가능한 구현 방식에서, 장치는 보정 유닛을 더 포함할 수 있다. 보정 유닛은, 생성된 지도를 보정하여, 보정된 지도를 획득하도록 구성된다.

가능한 구현 방식에서, 장치는 트레이닝 유닛을 더 포함할 수 있다. 적어도 하나의 도로 표시는 신경망에 의해 결정된다. 트레이닝 유닛은, 생성된 지도를 사용하여 신경망을 트레이닝하도록 구성된다.

제5 양태에서, 본 출원의 실시형태는 또한 지능형 주행 장치를 제공하며, 지능형 주행 장치는, 본 출원의 실시형태로 제공된 지도 생성 장치, 및 지능형 주행 장치의 본체를 포함할 수 있다.

제6 양태에서, 본 출원의 실시형태는 전자 장치를 제공하며, 전자 장치는, 프로세서, 메모리, 통신 인터페이스, 및 하나 이상의 프로그램을 포함할 수 있다. 하나 이상의 프로그램은 메모리에 저장되며, 프로세서에 의해 실행되도록 구성된다. 프로그램은, 제1 양태의 방법의 단계, 또는 제2 양태의 방법의 단계를 수행하기 위한 명령을 포함한다.

제7 양태에서, 본 출원의 실시형태는, 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체를 제공한다. 컴퓨터 프로그램은, 컴퓨터로 하여금, 제1 양태의 방법 또는 제2 양태의 방법을 구현할 수 있게 한다.

제8 양태에서, 본 출원의 실시형태는, 컴퓨터 프로그램을 저장하는 비-즉각적(non-instantaneous) 컴퓨터 판독 가능 저장 매체를 포함할 수 있는 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램은, 컴퓨터로 하여금, 제1 양태의 방법 또는 제2 양태의 방법을 구현할 수 있게 하도록 실행될 수 있다.

본 출원의 실시형태는 이하의 유리한 효과를 갖는다.

본 출원의 실시형태에서, 도로 표시가 포함하는 픽셀이 도로의 기본 지도를 통해 인식됨으로써, 도로 표시가 포함하는 픽셀 세트를 획득하고; 도로의 기본 지도의 도로 표시는 도로 표시의 픽셀 세트에 따라 맞춰지며, 도로의 기본 지도 상에서 완전한 도로 표시가 동시에 맞춰진다는 것을 알 수 있다. 따라서, 점군 데이터에서 도로의 각각의 도로 표시를 인식하기 위한 다수의 임계값을 수동으로 표시하거나 설정할 필요가 없다.

도 1은 본 출원의 일 실시형태로 제공되는 도로 표시 인식 방법의 흐름도이다.
도 2는 본 출원의 일 실시형태에 따라, 도로의 기본 지도를 분할하는 개략도이다.
도 3은 본 출원의 일 실시형태에 따라, 블록 기본 지도를 회전시키는 개략도이다.
도 4는 본 출원의 일 실시형태에 따라, 인접한 블록 기본 지도들을 병합하는 개략도이다.
도 5는 본 출원의 일 실시형태에 따라, 도로 표시를 맞추는 개략도이다.
도 6은 본 출원의 일 실시형태에 따라, 픽셀 세트를 폐기하는 개략도이다.
도 7은 본 출원의 일 실시형태로 제공되는 신경망 트레이닝 방법의 흐름도이다.
도 8은 본 출원의 일 실시형태로 제공되는 지도 생성 방법의 흐름도이다.
도 9는 본 출원의 일 실시형태로 제공되는 도로 표시 인식 장치의 구조적 개략도이다.
도 10은 본 출원의 일 실시형태로 제공되는 지도 생성 장치의 구조적 개략도이다.
도 11은 본 출원의 일 실시형태로 제공되는 도로 표시 인식 장치의 기능 유닛의 블록도이다.
도 12는 본 출원의 일 실시형태로 제공되는 지도 생성 장치의 기능 유닛의 블록도이다.

본 출원의 실시형태의 기술적 솔루션은 본 출원의 실시형태의 도면과 조합하여, 아래에 명확하고 완전하게 설명될 것이다. 설명되는 실시형태는 모든 실시형태가 아니라, 본 출원의 실시형태의 일부라는 것은 명백하다. 창의적인 작업 없이 본 출원의 실시형태에 기초하여 당업자에 의해 획득되는 다른 모든 실시형태는 본 출원의 보호 범위 내에 속한다.

본 출원의 명세서 및 청구범위, 그리고 도면의 "제1", "제2", "제3", "제4" 등의 용어는 특정 순서를 설명하는 것이 아니라, 상이한 대상물들을 구별하기 위해 사용된다. 또한, "포함한다" 및 "갖는다"는 용어, 및 이의 임의의 변형은 비-배타적인 포함을 커버하도록 의도된다. 예를 들어, 일련의 단계 또는 유닛을 포함하는 프로세스, 방법, 시스템, 제품, 또는 장치는 열거된 단계 또는 유닛으로 제한되는 것이 아니라, 선택적으로, 열거되지 않은 단계 또는 유닛을 더 포함하거나, 선택적으로, 프로세스, 방법, 제품, 또는 장치에 내재된 다른 단계 또는 유닛을 더 포함한다.

본원에 언급되는 "실시형태"는, 실시형태와 조합하여 설명된 구체적인 특징, 결과, 또는 특성이 본 출원의 적어도 하나의 실시형태에 포함될 수 있음을 의미한다. 명세서에서 이러한 문구가 나타나는 각각의 위치는 반드시 동일한 실시형태를 지칭하는 것은 아닐 뿐만 아니라, 반드시 다른 실시형태와 상호 배타적인 독립적인 또는 대안적인 실시형태를 지칭하는 것은 아니다. 본 개시물에 설명된 실시형태가 다른 실시형태와 조합될 수 있음은 당업자에 의해 명시적으로 그리고 암시적으로 이해된다.

먼저, 본 출원에 언급된 도로 표시는, 도로 상의 차선 경계선, 횡단보도, 및 정지선을 포함하지만, 이에 제한되지 않는다는 것을 유의해야 한다. 본 출원은 예시를 위한 일 실시예로서, 도로 표시가 차선 경계선인 것으로 간주한다.

본 출원의 일 실시형태로 제공되는 도로 표시 인식 방법의 흐름도인 도 1을 참조하면, 방법은 도로 표시 인식 장치에 적용된다. 본 실시형태의 방법은 이하의 단계를 포함한다.

S101에서, 도로의 획득된 점군 데이터에 따라, 도로의 기본 지도가 결정되며, 획득된 점군의 반사율 정보, 및 점군의 위치 정보에 따라, 기본 지도의 픽셀이 결정된다.

도로의 점군 데이터는, 다중-프레임(multi-frame) 점군 데이터를 포함한다. 다중-프레임 점군 데이터는, 도로 상에서 주행하는 획득 장치(예를 들어, 레이저 레이더를 갖는 장치)에 의해 획득된다. 따라서, 각각의 프레임의 획득된 점군 데이터는, 비-도로 점군을 포함할 수 있다. 예를 들어, 획득된 점군 데이터는, 보행자, 차량, 장애물 등에 해당하는 점군을 포함할 수 있다. 따라서, 각각의 프레임의 점군 데이터로부터 비-도로 점군 데이터가 먼저 인식 및 제거되어, 각각의 프레임의 전처리된 점군 데이터가 획득된다. 비-도로 점군은 트레이닝된 딥 러닝 모델을 통해 인식 및 제거될 수 있으며, 이는 본 출원에서 상세히 설명되지 않는다.

각각의 프레임의 전처리된 점군 데이터는 국제 좌표계로 변환되어, 각각의 프레임의 변환된 점군 데이터를 획득한다. 즉, 각각의 프레임의 점군 데이터가 획득될 때 획득 장치의 자세(좌표)가 획득되며, 자세를 국제 좌표계로 변환하기 위해 필요한 변환 행렬이 결정된다; 그 다음, 변환 행렬을 사용하여, 각각의 프레임의 점군 데이터를 국제 좌표계로 변환함으로써, 각각의 프레임의 변환된 점군 데이터를 획득한다.

또한, 각각의 프레임의 변환된 점군 데이터가 이어 맞춰져서, 이어 맞춰진 점군 데이터를 획득한다. 이어 맞춤은 주로 각각의 프레임의 희소 점군 데이터를 조밀한 점군 데이터로 이어 맞추기 위한 것이다. 이어 맞춰진 점군 데이터는 세트 평면에 투영된다. 세트 평면은, 고정된 길이-폭 해상도에 따라 분할된 다수의 격자를 포함하며, 예를 들어 길이-폭 해상도는 6.25 cm x 6.25 cm일 수 있다. 세트 평면의 격자에 대해, 이어 맞춰진 점군 데이터의 하나 이상의 점군이 격자에 투영되며, 격자에 투영된 점군은 포괄적으로 처리되고, 포괄적인 처리로부터 획득된 결과가 도로의 기본 지도의 픽셀의 픽셀 값으로 지정됨으로써, 도로의 기본 지도를 획득한다.

구체적으로는, 이어 맞춰진 점군 데이터의 점군의 반사율이 세트 평면에 투영되어, 반사율 기본 지도를 획득할 수 있다; 이어 맞춰진 점군 데이터의 점군의 높이가 또한 세트 평면에 투영되어, 높이 기본 지도를 획득할 수 있다. 또한, 각각의 프레임의 전처리된 점군 데이터가 획득된 후에, 도로의 영상을 획득하는 장치에 대한 도로의 점군 데이터를 획득하는 장치(즉, 위에 언급된 획득 장치)의 외부 참조에 따라, 각각의 프레임의 전처리된 점군 데이터는 도로의 획득된 영상 위에 투영되며, 각각의 프레임의 전처리된 점군 데이터에 해당하는 색상이 획득된다. 각각의 프레임의 전처리된 점군 데이터에 해당하는 색상이 획득된 경우, 점군 데이터의 후속 변환 및 이어 맞춤 시에, 이어 맞춰진 점군 데이터에 대한 색상 정보가 존재하도록, 각각의 프레임의 점군 데이터의 색상이 동시에 처리된다. 따라서, 이어 맞춰진 점군 데이터의 점군에 해당하는 색상이 또한 세팅 평면 위에 투영되어, 색상 기본 지도를 획득할 수 있다.

반사율 기본 지도의 임의의 픽셀의 픽셀 값은, 그 픽셀에 해당하는 격자에 투영된 점군의 평균 반사율이다. 높이 기본 지도의 임의의 픽셀의 픽셀 값은, 그 픽셀에 해당하는 격자에 투영된 점군의 평균 높이이다. 색상 기본 지도의 임의의 픽셀의 픽셀 값은, 그 픽셀에 해당하는 격자에 투영된 점군의 평균 색상이다.

이어 맞춰진 점군 데이터가 한 번 투영됨으로써, 위의 반사율 기본 지도, 높이 기본 지도, 및 색상 기본 지도를 동시에 획득할 수 있으며, 즉 이어 맞춰진 점군 데이터의 점군의 반사율, 높이, 및 색상이 세트 평면에 동시에 투영됨으로써, 반사율 기본 지도, 높이 기본 지도, 및 색상 기본 지도를 동시에 획득한다는 것을 유의해야 한다. 이어 맞춰진 점군 데이터가 여러 번 투영될 수도 있으며, 즉 이어 맞춰진 점군 데이터의 점군의 반사율, 높이, 및 색상이 각각 투영됨으로써, 반사율 기본 지도, 높이 기본 지도, 및 색상 기본 지도를 획득한다. 본 출원은 점군 데이터를 투영하는 방식을 제한하지 않는다.

따라서, 도로의 기본 지도는 반사율 기본 지도를 포함하며, 또한 높이 기본 지도 및/또는 색상 기본 지도를 더 포함할 수 있다.

S102에서, 기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트가 결정된다.

도로의 기본 지도가 반사율 기본 지도를 포함하는 경우, 도로 표시가 포함하는 픽셀로 구성된 픽셀 세트는, 반사율 기본 지도 상의 각각의 픽셀의 반사율에 따라 결정된다;

도로의 기본 지도가 색상 기본 지도를 포함하는 경우, 도로 표시가 포함하는 픽셀로 구성된 픽셀 세트는, 색상 기본 지도 상의 각각의 픽셀의 색상에 따라 결정된다;

도로의 기본 지도가 반사율 기본 지도 및 높이 기본 지도를 포함하는 경우, 반사율 기본 지도 및 높이 기본 지도는, 신경망의 2개의 분기에 입력 데이터로서 입력될 수 있으며, 2개의 분기의 출력 특징이 각각 산출될 수 있다; 그 다음, 2개의 분기의 출력 특징이 결합되고, 결합된 특징에 따라, 도로 표시가 포함하는 픽셀로 구성된 픽셀 세트가 결정된다. 픽셀의 높이 및 반사율이 결합되기 때문에, 도로 표시의 인식 정확도가 개선된다;

도로의 기본 지도가 색상 기본 지도 및 반사율 기본 지도를 포함하는 경우, 색상 기본 지도 및 반사율 기본 지도는, 신경망의 2개의 분기에 입력 데이터로서 입력될 수 있으며, 2개의 분기의 출력 특징이 각각 산출될 수 있다; 그 다음, 2개의 분기의 출력 특징이 결합되고, 결합된 특징에 따라, 도로 표시가 포함하는 픽셀로 구성된 픽셀 세트가 결정된다. 픽셀의 색상 및 반사율이 결합되기 때문에, 도로 표시의 인식 정확도가 개선된다; 그리고

도로의 기본 지도가 반사율 기본 지도, 색상 기본 지도, 및 높이 기본 지도를 포함하는 경우, 반사율 기본 지도, 색상 기본 지도, 및 높이 기본 지도는, 신경망의 3개의 분기에 입력 데이터로서 입력될 수 있으며, 3개의 분기의 출력 특징이 각각 산출될 수 있다; 그 다음, 3개의 분기의 출력 특징이 결합되고, 결합된 특징에 따라, 도로 표시가 포함하는 픽셀로 구성된 픽셀 세트가 결정된다. 픽셀의 높이, 색상, 및 반사율이 결합되기 때문에, 도로 표시의 인식 정확도가 개선된다.

S103에서, 결정된 픽셀 세트에 따라, 적어도 하나의 도로 표시가 결정된다.

도로 표시는, 각각의 도로 표시의 픽셀 세트에 기초하여 맞춰진다.

본 출원의 실시형태에서, 도로 표시가 포함하는 픽셀이 도로의 기본 지도를 통해 인식됨으로써, 도로 표시가 포함하는 픽셀 세트를 획득하고; 도로의 기본 지도의 도로 표시는 도로 표시의 픽셀 세트에 따라 맞춰지며, 도로의 기본 지도 상에서 완전한 도로 표시가 동시에 맞춰진다는 것을 알 수 있다; 따라서, 이는 도로의 기본 지도의 크기에 의해 영향을 받지 않으며, 점군 데이터에서 도로의 각각의 도로 표시를 인식하기 위한 다수의 임계값을 수동으로 표시하거나 설정할 필요가 없다.

본 출원의 실시형태에 제공되는 도로 표시를 인식하는 과정은 아래에 상세히 설명된다.

먼저, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트가 결정되기 전에, 도로의 점군 데이터를 획득하는 장치의 이동 트랙에 따라, 도로의 토폴로지 라인이 결정된다.

그 다음, 도로의 토폴로지 라인에 따라, 도로의 기본 지도가 다수의 블록 기본 지도로 분할되며, 각각의 블록 기본 지도가 회전되고, 각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 회전된 블록 기본 지도의 픽셀로 구성된 픽셀 세트가 결정된다.

구체적으로, 도 2에 도시된 바와 같이, 토폴로지 라인이 결정된 후에, 도로의 토폴로지 라인을 따라, 도로의 기본 지도가 영상 블록으로 등거리로 분할되어, 다수의 블록 기본 지도가 획득된다. 도로의 기본 지도의 2개의 인접한 블록 기본 지도는 중첩 부분을 가지며, 도로의 기본 지도를 분할하는 분할 라인은 도로의 토폴로지 라인에 수직이고, 도로의 토폴로지 라인의 양측에서, 각각의 블록 기본 지도의 부분은 동일한 폭을 갖는다. 도로의 기본 지도가 블록으로 분할되기 때문에, 도로의 기본 지도의 크기와 관계없이, 본 출원의 구현 방식은 도로의 기본 지도 상에서 도로 표시를 직접적으로 맞출 수 있다. 또한, 도로의 점군 데이터를 획득하는 장치가 대체로 도로의 중앙을 따라 이동하기 때문에, 즉 이동 트랙이 차선 경계선과 평행하기 때문에, 분할된 블록 기본 지도의 차선 경계선은 토폴로지 라인과 평행하다. 따라서, 블록 기본 지도에서 차선 경계선에 속하는 픽셀이 인식될 때, 인식될 픽셀이 토폴로지 라인과 평행하다는 것을 사전에 알 수 있으며, 이는 인식 동안 사전 정보를 추가하는 것과 동일하므로, 차선 경계선의 인식 정확도를 개선할 수 있다.

그 후에, 각각의 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도(즉, 도로 기본 지도를 분할함으로써 획득된 각각의 블록 기본 지도)의 픽셀로 구성된 픽셀 세트가 결정된다.

구체적으로, 도 3에 도시된 바와 같이, 각각의 블록 기본 지도의 분할 라인과 수평 방향 사이의 끼인각(α)이 획득되며, 끼인각(α)에 따라, 각각의 블록 기본 지도에 해당하는 변환 행렬이 결정되고, 변환 행렬을 사용하여, 각각의 블록 기본 지도를 이의 분할 라인이 수평 방향과 일치할 때까지 회전시킴으로써, 즉, 회전 행렬을 사용하여, 각각의 블록 기본 지도의 각각의 픽셀의 좌표를 변환함으로써, 블록 기본 지도의 분할 라인이 수평 방향과 일치하도록 회전되며, 즉, 각각의 블록 기본 지도의 도로 표시가 영상 좌표의 Y축과 평행하도록 회전된다. 각각의 블록 기본 지도의 도로 표시가 Y축과 평행하기 때문에, 이는 도로 표시의 인식 동안 사전 정보를 추가하는 것과 동일하므로, 학습 과정을 단순화하고, 도로 표시의 인식 정확도를 개선한다.

또한, 각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 회전된 블록 기본 지도의 픽셀로 구성된 초기 픽셀 세트가 결정된다. 초기 픽셀 세트는, 회전된 블록 기본 지도에서, 도로 표시에 속하는 픽셀로 구성된 픽셀 세트이므로, 각각의 회전되지 않은 블록 기본 지도에서, 도로 표시가 포함하는 픽셀로 구성된 픽셀 세트를 결정하며, 각각의 회전되지 않은 블록 기본 지도의 변환 행렬에 대응하는 역행렬을 사용하여, 도로 표시가 포함하는 각각의 회전된 블록 기본 지도의 픽셀을 변환함으로써, 회전되지 않은 블록 기본 지도에서 초기 세트의 각각의 픽셀의 실제 위치를 결정하고, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 획득하는 것이 필요하다.

또한, 인접한 블록 기본 지도의 픽셀로 구성된 픽셀 세트의 동일한 픽셀이 병합되어, 병합된 픽셀 세트를 획득한다. 즉, 도로의 기본 지도를 분할하는 방식에 따라, 인접한 블록 기본 지도의 픽셀 세트가 병합된다. 특정 픽셀이 2개의 인접한 블록 기본 지도의 확률을 갖는 경우, 즉, 인접한 블록 기본 지도들의 중첩 부분에 픽셀이 있는 경우, 2개의 인접한 블록 기본 지도가 병합될 때, 2개의 인접한 블록 기본 지도의 픽셀의 평균 확률은, 병합된 픽셀 세트의 픽셀의 확률로서 지정되며; 그 다음, 병합된 픽셀 세트에 따라, 적어도 하나의 도로 표시가 결정된다는 것을 유의해야 한다.

선택적으로, 병합된 픽셀 세트가 획득되기 전에, 각각의 블록 기본 지도의 특징 지도에 따라, 각각의 블록 기본 지도의 각각의 픽셀이 도로 표시에 속하는 확률이 결정되며; 각각의 블록 기본 지도의 특징 지도에 따라, 각각의 블록 기본 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터가 결정되고, 각각의 픽셀의 n차원 특징 벡터는, 픽셀에 해당하는 도로 표시의 인스턴스 특징(도로 표시의 라벨)을 포함하며; 각각의 블록 기본 지도의 특징 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터에 따라, 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀이 클러스터링되어, 각각의 블록 기본 지도의 상이한 도로 표시에 해당하는 픽셀 세트를 획득하고; 그 다음, 인접한 블록 기본 지도의 동일한 도로 표시에 해당하는 픽셀 세트가 동일한 픽셀을 갖는 경우, 인접한 블록 기본 지도의 동일한 도로 표시에 해당하는 픽셀 세트가 병합되어, 도로의 기본 지도의 상이한 도로 표시에 해당하는 픽셀 세트를 획득한다. 즉, 동일한 도로 표시의 픽셀 세트들은, 2개의 인접한 블록 기본 지도의 각각의 도로 표시의 라벨에 따라 병합되어, 도로의 기본 지도의 각각의 도로 표시의 픽셀 세트를 획득하며; 그 다음, 기본 지도의 각각의 도로 표시의 픽셀 세트에 기초하여, 도로의 기본 지도의 각각의 도로 표시가 맞춰진다.

일 실시예로서, 도로의 기본 지도의 도로 표시에 해당하는 픽셀 세트를 취함으로써, 도로 표시를 맞추는 과정은 아래에 예시된다.

먼저, 도로 표시에 해당하는 픽셀 세트에 따라, 도로 표시에 해당하는 픽셀 세트에 해당하는 키 포인트가 결정된 다음, 결정된 키 포인트에 따라, 도로 표시가 맞춰진다.

구체적으로, 도로의 기본 지도의 도로 표시의 픽셀 세트는, 다수의 블록 기본 지도에서, 도로 표시에 속하는 픽셀로 구성된 픽셀 세트를 병합함으로써 획득되기 때문에, 특정 블록 기본 지도가 도로 표시의 픽셀 세트를 포함하지 않는 경우, 도로 표시의 병합된 픽셀 세트가 연속적인 픽셀 세트가 아니라는 것(즉, 도로 표시의 하나 이상의 픽셀 세트가 있을 수 있음)을 전체 도로의 기본 지도로부터 알 수 있다. 또는, 특정 도로 표시 상의 픽셀이 2개의 인접한 블록 기본 지도의 중첩 부분으로부터 인식되지 않는 경우, 2개의 인접한 블록 기본 지도에서, 도로 표시에 속하는 픽셀로 구성된 픽셀 세트가 병합될 수 없으므로, 도로 표시의 적어도 2개의 픽셀 세트가 존재한다.

도 4에 도시된 바와 같이, 획득 오차, 차선 경계선의 부재 또는 모호성, 또는 불충분한 인식 정확도로 인해, 차선 경계선에 해당하는 픽셀들의 일부로 구성된 세트만이 블록 기본 지도 2 및 블록 기본 지도 3에서 인식된다. 예를 들어, 블록 기본 지도 1에서 차선 경계선에 속하는 픽셀 세트는 제1 픽셀 세트이고, 블록 기본 지도 2에서 차선 경계선에 속하는 픽셀 세트는 제2 픽셀 세트이며, 블록 기본 지도 3에서 차선 경계선에 속하는 픽셀 세트는 제3 픽셀 세트이다. 인접한 블록 기본 지도들의 동일한 차선 경계선에 해당하는 픽셀 세트들이 병합되는 경우, 제1 픽셀 세트 및 제2 픽셀 세트는 동일한 픽셀을 갖기 때문에, 제1 픽셀 세트 및 제2 픽셀 세트가 병합되어, 병합된 세트를 획득할 수 있다. 제3 픽셀 세트 및 제2 픽셀 세트는 동일한 픽셀을 갖지 않기 때문에, 제2 픽셀 세트 및 제3 픽셀 세트는 병합될 수 없다. 따라서, 세트들이 병합된 후에, 차선 경계선에 해당하는 2개의 픽셀 세트(즉, 제1 픽셀 세트 및 제2 픽셀 세트를 병합함으로써 획득된 세트, 그리고 제3 픽셀 세트)가 획득된다.

이러한 방식으로, 도로 표시에 해당하는 하나의 픽셀 세트(이를 제1 세트라고 가정함)가 있는 경우, 제1 세트의 주 방향이 결정되고, 주 방향에 따라, 제1 세트에 해당하는 회전 행렬이 결정되며, 결정된 회전 행렬에 따라, 제1 세트의 픽셀이 변환됨으로써, 변환된 제1 세트의 주 방향이 수평 방향으로 되게 한다(즉, 제1 세트의 주 방향이 도로 표시의 방향에 가능한 한 가깝도록 한다). 그 다음, 주 방향이 변환된 제1 세트에 따라, 다수의 키 포인트가 결정된다. 결정된 키 포인트는 회전된 픽셀이고, 키 포인트는 제1 세트의 실제 픽셀이 아니기 때문에, 변환 행렬의 역행렬을 사용하여 각각의 키 포인트를 변환함으로써, 회전 후에 획득된 키 포인트가 제1 세트의 픽셀로 변환될 필요가 있으며; 그 다음, 변환된 키 포인트를 사용하여, 제1 세트에 해당하는 선분이 맞춰지고, 제1 세트에 해당하는 선분에 따라, 도로 표시가 획득될 수 있다.

구체적으로, 주 방향이 변환된 제1 세트는 처리될 세트로서 지정되며, 처리될 세트의 가장 좌측 픽셀(최소 가로좌표를 갖는 픽셀) 및 가장 우측 픽셀(최대 가로좌표를 갖는 픽셀)이 결정된다. 다수의 가장 좌측 픽셀이 있는 경우, 다수의 가장 좌측 픽셀의 세로좌표의 평균이 획득되고, 최소 가로좌표 및 세로좌표의 평균에 해당하는 픽셀이 가장 좌측 픽셀로서 지정됨을 유의해야 한다. 유사하게, 다수의 가장 우측 픽셀이 있는 경우, 다수의 가장 우측 픽셀의 세로좌표의 평균이 획득되고, 최대 가로좌표 및 세로좌표의 평균에 해당하는 픽셀이 가장 우측 픽셀로서 지정된다.

도 5에 도시된 바와 같이, 처리될 세트의 구간 길이가 제1 임계값 이하이고, 평균 거리가 제2 임계값 미만인 경우, 가장 좌측 픽셀에 기초하여 키 포인트 A가 결정되며, 가장 우측 픽셀에 기초하여 키 포인트 B가 결정된다; 그 다음, 키 포인트 A 및 키 포인트 B에 기초하여, 처리될 세트에 해당하는 도로 표시(선분 AB)가 맞춰진다. 구간 길이는, 가장 우측 픽셀 B 및 가장 좌측 픽셀 A의 가로좌표 간의 차이며, 평균 거리는, 가장 좌측 픽셀 A 및 가장 우측 픽셀 B에 의해 형성된 선분 AB와 처리될 세트의 픽셀 사이의 거리의 평균이다.

또한, 처리될 세트의 구간 길이가 제1 임계값 이하이고, 평균 거리가 제2 임계값 초과인 경우, 처리될 세트는 폐기된다.

도 5에 도시된 바와 같이, 처리될 세트의 구간 길이가 제1 임계값 초과인 경우, 처리될 세트에 해당하는 분할 좌표 C가 먼저 결정되고, 분할 좌표 C는 처리될 세트의 픽셀의 가로좌표의 평균이며, 처리될 세트에서, 가로좌표가 분할 좌표 이하인 픽셀로 구성된 세트는 제1 서브세트로서 지정되고, 처리될 세트에서, 가로좌표가 분할 좌표 이상인 픽셀로 구성된 세트는 제2 서브세트로서 지정된다.

그 후에, 처리될 세트로서 제1 서브세트 및 제2 서브세트가 각각 지정됨으로써, 구간 길이 및 평균 거리와 관련하여 처리하기 위해 위의 단계들을 수행한다. 즉, 제1 서브세트(또는 제2 서브세트)의 구간 길이가 제1 임계값 초과인 경우, 서브세트의 구간 길이가 제1 임계값 미만일 때까지, 제1 서브세트(또는 제2 서브세트)가 추가로 분할되어, 다수의 서브세트를 획득한다. 구간 길이가 제1 임계값 미만인 경우, 서브세트의 가장 좌측 픽셀 및 가장 우측 픽셀에 의해 형성된 선분과 각각의 서브세트의 픽셀 사이의 거리의 평균이 제2 임계값 미만인지 여부가 결정되고; 만약 그렇다면, 서브세트의 가장 좌측 픽셀 및 가장 우측 픽셀이 2개의 키 포인트로서 지정되며, 서브세트에 해당하는 도로 표시는 2개의 키 포인트에 기초하여 맞춰지고; 만약 그렇지 않다면, 서브세트는 폐기되며, 도로 표시가 서브세트에 대해 맞춰지지 않고, 폐기되지 않은 다른 서브세트에 따라, 도로 표시가 맞춰진다.

예를 들어, 도 6에 도시된 바와 같이, 제1 세트는 제1 서브세트, 제2 서브세트, 제3 서브세트, 및 제4 서브세트로 분할된다. 제2 서브세트의 구간 길이가 제1 임계값 미만이고, 선분 DC와 제2 서브세트의 픽셀 사이의 거리의 평균이 제2 임계값 초과인 경우, 제2 서브세트는 폐기된다. 따라서, 제2 서브세트에서는 키 포인트가 결정되지 않지만, 키 포인트 A, D, C, E, 및 B가 순차적으로 연결되어, 제1 세트에 해당하는 선분을 획득할 수 있다.

또한, 도로 표시를 맞추는 위의 방식에 기초하여, 제1 세트가 분할된 경우, 각각의 제1 세트에 해당하는 다수의 선분이 획득될 수 있다.

도로 표시에 해당하는 다수의 픽셀 세트가 있는 경우, 도로 표시에 해당하는 픽셀 세트 중 하나가 제1 세트로서 지정된다. 위의 방법에 따라 맞춰지는 제1 세트에 해당하는 선분은 연결되지 않는다. 연결되지 않은 2개의 선분에서 최소 거리를 갖는 2개의 종점 사이의 거리가 거리 임계값 미만이고, 연결되지 않은 2개의 선분의 종점이 동일 선상에 있는 경우, 연결되지 않은 2개의 선분이 연결되어, 이어 맞춰진 선분을 획득한다. 이어 맞춰진 선분은 도로 표시로서 지정된다.

각각의 도로 표시에 해당하는 선분이 도로의 기본 지도로부터 결정된 후에, 도로의 기본 지도 및 결정된 선분은 GeoJson 파일 형식과 같은 특정 형식으로 저장될 수 있으므로, 조정을 위해 이들이 기존의 지도 편집 도구에 입력되어, 완전한 도로 표시를 생성할 수 있다.

도로의 기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 것은 신경망에 의해 수행된다. 신경망은 도로 표시가 표시된 샘플 기본 지도로 트레이닝된다. 샘플 기본 지도는, 표시 도구로 도로의 기본 지도에 표시함으로써 획득된다. 샘플 기본 지도는 차선 경계선, 인도, 및 정지선을 포함한다.

구체적으로, 선분은 기본 지도의 차선 경계선으로서 그레이 값 250(좌표는 기본 지도와 일치함)에 따라 흑색 영상 위에 도시된다. 선분은 정지선으로서 그레이 값 251에 따라 흑색 영상 위에 도시된다. 행렬은 인도로서 그레이 값 252에 따라 흑색 영상 위에 도시된다. 그 후에, 각각의 차선 경계선에 인스턴스 라벨이 추가되고, 상이한 차선 경계선에 상이한 라벨(0 내지 255)이 부여되며, 즉, 각각의 차선 경계선에 라벨이 추가되어, 상이한 차선 경계선을 구별하고, 각각의 차선 경계선의 라벨이 흑색 영상 위에 도시되며, 이 경우, 흑색 영상은 도로 표시가 표시된 샘플 블록 기본 지도이다.

본 출원의 일 실시형태로 제공되는 신경망 트레이닝 방법의 흐름도인 도 7을 참조하면, 방법은 이하의 단계를 포함한다.

S701에서, 신경망을 사용함으로써, 샘플 블록 기본 지도의 특징이 추출되어, 샘플 블록 기본 지도의 특징 지도를 획득한다.

S702에서, 샘플 블록 기본 지도의 특징 지도에 기초하여, 샘플 블록 기본 지도의 각각의 픽셀이 도로 표시에 속하는 확률이 결정된다.

즉, 샘플 블록 기본 지도의 픽셀은 샘플 블록 기본 지도의 특징 지도에 따라 분류됨으로써, 샘플 블록 기본 지도의 각각의 픽셀이 도로 표시에 속하는 확률을 결정한다.

S703에서, 샘플 블록 기본 지도의 특징 지도에 따라, 샘플 블록 기본 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터가 결정된다.

사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀은, 도로 표시에 속하는 픽셀로서 지정된다. 픽셀의 n차원 특징 벡터는, 픽셀의 도로 표시의 인스턴스 특징(즉, 픽셀이 어떤 도로 표시에 속하는지)을 나타내기 위해 사용된다.

S704에서, 픽셀의 결정된 n차원 특징 벡터에 따라, 샘플 블록 기본 지도의 사전 설정된 확률 값보다 더 큰 확률의 픽셀이 클러스터링되어, 샘플 블록 기본 지도의 동일한 도로 표시에 속하는 픽셀이 결정된다.

즉, 샘플 기본 지도의 도로 표시에 속하는 픽셀은 각각의 픽셀의 도로 표시의 인스턴스 특징에 따라 클러스터링되어, 다수의 클러스터링 결과를 획득한다. 각각의 클러스터링 결과는 클러스터링 중심에 해당하며, 각각의 클러스터링 결과에 해당하는 모든 픽셀은 도로 표시에 해당한다.

S705에서, 샘플 블록 기본 지도에 표시된 도로 표시, 및 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에 따라, 신경망의 네트워크 파라미터 값이 조정된다.

즉, 샘플 블록 기본 지도에 표시된 도로 표시, 및 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 픽셀에 따라, 제1 손실이 결정되며, 제1 손실에 기초하여, 신경망의 네트워크 파라미터 값이 조정된다.

제1 손실은 수식 (1)로 표현될 수 있다:

(1),

여기서,

은 제1 손실이고,

는 사전 설정된 가중 계수이며,

,

, 및

,

여기서, C는 클러스터링 결과의 수이고,

는 각각의 클러스터링 결과의 픽셀의 수이며,

는 j번째 클러스터링 결과의 클러스터링 중심이고,

및

는 사전 설정된 분산 및 경계 값이다.

가능한 구현 방식에서, 샘플 블록 기본 지도가 획득된 후에, 샘플 블록 기본 지도의 제1 픽셀의 표시된 거리가 결정되며, 제1 픽셀은 샘플 블록 기본 지도의 임의의 픽셀이고, 제1 픽셀의 표시된 거리는 제1 픽셀과 제2 픽셀 사이의 거리이며, 제2 픽셀은, 샘플 블록 기본 지도에 표시된 도로 표시에 있는 픽셀에서 제1 픽셀로부터 최소 거리를 갖는 픽셀이고; 그 다음, 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀, 샘플 블록 기본 지도의 제1 픽셀의 표시된 거리, 및 샘플 블록 기본 지도의 제1 픽셀의 예측된 거리에 따라, 신경망의 네트워크 파라미터 값이 조정된다. 제1 픽셀의 예측된 거리는 제1 픽셀과 제3 픽셀 사이의 거리이고, 제3 픽셀은, 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에서 제1 픽셀로부터 최소 거리를 갖는 픽셀이다.

구체적으로, 샘플 블록 기본 지도에 표시된 도로 표시에 해당하는 픽셀, 및 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에 따라, 제1 손실이 결정되며; 그 다음, 샘플 블록 기본 지도의 제1 픽셀의 표시된 거리, 및 샘플 블록 기본 지도의 제1 픽셀의 예측된 거리에 기초하여, 제2 손실이 결정되고; 그 다음, 제1 손실 및 제2 손실에 기초하여, 신경망의 네트워크 파라미터 값이 포괄적으로 조정된다. 2개의 손실이 조합되어 신경망의 네트워크 파라미터를 조정하기 때문에, 신경망의 인식 정확도가 개선된다.

제2 손실은 수식 (2)로 표현될 수 있다:

(2),

여기서,

는 제2 손실이고,

는 샘플 블록 기본 지도의 i번째 픽셀의 표시된 거리이며,

는 i번째 픽셀의 예측된 거리이고, N은 샘플 블록 기본 지도의 총 픽셀 수이다.

가능한 구현 방식에서, 트레이닝 방법은 다음을 더 포함할 수 있다:

블록 기본 지도의 제4 픽셀의 표시된 방향이 결정되며, 제4 픽셀은 샘플 블록 기본 지도의 임의의 픽셀이고, 제4 픽셀의 표시된 방향은 제5 픽셀의 접선 방향이며, 제5 픽셀은, 샘플 블록 기본 지도에 표시된 도로 표시의 픽셀에서 제4 픽셀로부터 최소 거리를 갖는 픽셀이고; 그 다음, 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀, 샘플 블록 기본 지도에 표시된 도로 표시, 샘플 블록 기본 지도의 제4 픽셀의 표시된 방향, 및 샘플 블록 기본 지도의 제4 픽셀의 예측된 방향에 따라, 신경망의 네트워크 파라미터 값이 조정된다. 제4 픽셀의 예측된 방향은 제6 픽셀의 접선 방향이고, 제6 픽셀은, 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에서 제4 픽셀로부터 최소 거리를 갖는 픽셀이다.

구체적으로, 샘플 블록 기본 지도의 제4 픽셀의 표시된 방향 및 제4 픽셀의 예측된 방향에 기초하여, 제3 손실이 결정된 다음, 제1 손실 및 제3 손실과 조합하여, 또는 제1 손실, 제2 손실 및 제3 손실과 조합하여, 신경망의 네트워크 파라미터 값이 조정될 수 있다. 제3 손실은 수식 (3)으로 표현될 수 있다:

(3),

여기서,

은 제3 손실이고,

는 샘플 블록 기본 지도의 i번째 픽셀의 표시된 거리에 해당하는 기울기이며,

는 i번째 픽셀의 예측된 거리의 기울기이고, N은 샘플 블록 기본 지도의 총 픽셀 수이다.

물론, 실제 적용 시에, 제4 픽셀의 표시된 방향 및 예측된 방향도 접선 벡터로 표현될 수 있다. 그 다음, 벡터 간의 거리를 산출함으로써, 샘플 블록 기본 지도의 각각의 픽셀의 표시된 방향과 예측된 방향 간의 차의 평균 분산이 결정되며, 평균 분산은 제3 손실로서 지정된다.

가능한 구현 방식에서, 샘플 블록 기본 지도는, 도로의 기본 지도를 분할하는 것과 동일한 방식으로 샘플 기본 지도를 분할함으로써 획득된다. 또한, 샘플 기본 지도를 분할하기 전에, 토폴로지 라인의 위치 및 방향을 교란시킬 수도 있으며, 이에 따라 샘플 블록 기본 지도의 다양성을 높임으로써, 신경망의 인식 정확도를 개선할 수 있다.

가능한 구현 방식에서, 신경망이 트레이닝될 때, 도로 표시가 표시된 적은 수의 샘플 블록 기본 지도를 사용하여, 신경망을 트레이닝할 수 있다. 그 다음, 트레이닝된 신경망을 사용하여, 도로 표시가 표시되지 않은 블록 기본 지도의 도로 표시를 인식하고, 인식된 도로 표시에 따라, 표시되지 않은 도로 표시가 표시되며, 도로 표시가 표시된 샘플 블록 기본 지도, 및 도로 표시가 인식된 블록 기본 지도에 의해, 트레이닝 샘플이 재구성됨으로써, 신경망을 트레이닝한다. 표시된 도로 표시를 갖는 적은 수의 샘플 블록 기본 지도만이 필요하기 때문에, 표시 프로세스의 복잡성이 감소되며, 사용자 경험이 개선된다.

본 출원의 일 실시형태로 제공되는 지도 생성 방법의 흐름도인 도 8을 참조하면, 방법은 지능형 주행 장치에 적용된다. 본 실시형태의 방법은 이하의 단계를 포함한다.

S801에서, 지능형 주행 장치에 의해 획득된 도로의 점군 데이터에 따라, 도로 상의 적어도 하나의 도로 표시가 결정된다.

지능형 주행 장치는, 자율 주행차, 첨단 주행 보조 시스템(ADAS)을 구비한 차량, 지능형 로봇 등을 포함한다.

위의 도로 표시 인식 방법은, 도로의 획득된 점군 데이터에 따라, 지능형 주행 장치가 도로 상의 적어도 하나의 도로 표시를 결정하는 구현 프로세스에서 참조될 수 있으며, 여기서는 설명되지 않을 것이다.

S802에서, 도로 상의 적어도 하나의 도로 표시에 따라, 도로 상의 적어도 하나의 도로 표시를 포함하는 지도가 생성된다.

즉, 도로 상의 적어도 하나의 도로 표시의 인식에 따라, 도로의 생성된 지도 상에 적어도 하나의 도로 표시가 표시됨으로써, 도로 상의 적어도 하나의 도로 표시를 포함하는 지도를 획득한다.

본 출원의 실시형태에서, 도로 주행 시에, 지능형 주행 장치는 획득된 점군 데이터를 사용하여, 도로의 고정밀 지도(즉, 도로 상의 각각의 도로 표시가 표시됨)를 자동으로 구축함으로써, 고정밀 지도에 기초하여, 도로 주행 시에 지능형 장치의 주행 안전성을 개선할 수 있음을 알 수 있다.

또한, 지도가 획득된 후에, 지도가 보정되어, 보정된 지도를 획득할 수 있다.

가능한 구현 방식에서, 적어도 하나의 도로 표시는 신경망에 의해 결정되므로, 지도가 생성되거나 보정된 지도가 획득된 후에, 생성된 지도 또는 보정된 지도를 사용하여, 신경망을 트레이닝할 수 있다(즉, 도로 표시가 표시된 지도는, 신경망 모델을 트레이닝하기 위한 새로운 트레이닝 샘플로서 지정된다). 새로운 트레이닝 샘플을 통해 신경망 모델이 지속적으로 트레이닝되기 때문에, 신경망의 인식 정확도가 점진적으로 개선될 수 있으며, 이에 따라 도로의 도로 표시를 인식하는 정확도를 개선할 수 있고, 구성된 지도를 더 정확하게 만들 수 있다.

도 9는 본 출원의 일 실시형태로 제공되는 도로 표시 인식 장치의 구조적 개략도이다. 도로 표시 인식 장치(900)는, 프로세서, 메모리, 통신 인터페이스, 및 하나 이상의 프로그램을 포함할 수 있다. 하나 이상의 프로그램은 메모리에 저장되며, 프로세서에 의해 실행되도록 구성된다. 프로그램은 이하의 단계를 수행하기 위한 명령을 포함한다:

도로의 획득된 점군 데이터에 따라, 도로의 기본 지도를 결정하는 단계로서, 획득된 점군의 반사율 정보, 및 점군의 위치 정보에 따라, 기본 지도의 픽셀이 결정되는, 단계;

결정된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 단계.

가능한 구현 방식에서, 기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계 전에, 위의 프로그램은 이하의 단계의 명령을 실행하기 위해 추가로 사용된다:

도로의 토폴로지 라인에 따라, 도로의 기본 지도를 다수의 블록 기본 지도로 분할하는 단계;

기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계.

가능한 구현 방식에서, 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

각각의 블록 기본 지도를 각각 회전시키는 단계; 및

각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계.

가능한 구현 방식에서, 도로의 토폴로지 라인에 따라, 도로의 기본 지도를 다수의 블록 기본 지도로 분할하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

도로의 토폴로지 라인을 따라, 도로의 기본 지도를 영상 블록으로 등거리로 분할하여, 다수의 블록 기본 지도를 획득하는 단계. 도로의 기본 지도의 2개의 인접한 블록 기본 지도는 중첩 부분을 가지며, 도로의 기본 지도를 분할하는 분할 라인은 도로의 토폴로지 라인에 수직이고, 도로의 토폴로지 라인의 양측에서, 각각의 블록 기본 지도의 부분은 동일한 폭을 갖는다.

가능한 구현 방식에서, 결정된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

병합된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 단계.

가능한 구현 방식에서, 각각의 블록 기본 지도를 각각 회전시키는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

각각의 블록 기본 지도의 분할 라인과 수평 방향 사이의 끼인각에 따라, 각각의 블록 기본 지도에 해당하는 변환 행렬을 결정하는 단계;

각각의 블록 기본 지도에 해당하는 변환 행렬에 따라, 각각의 블록 기본 지도를 이의 분할 라인이 수평 방향과 일치할 때까지 회전시키는 단계. 블록 기본 지도의 분할 라인은 직선이며, 이를 따라 블록 기본 지도가 도로의 기본 지도로부터 분할된다;

각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

각각의 회전되지 않은 블록 기본 지도에 해당하는 변환 행렬의 역행렬에 따라, 도로 표시가 포함하는 각각의 회전된 블록 기본 지도의 픽셀을 변환하여, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 획득하는 단계.

각각의 블록 기본 지도의 특징 지도에 따라, 각각의 블록 기본 지도의 각각의 픽셀이 도로 표시에 속하는 확률을 결정하는 단계;

각각의 블록 기본 지도의 특징 지도에 따라, 각각의 블록 기본 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터를 결정하는 단계;

각각의 블록 기본 지도의 특징 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터에 따라, 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀을 클러스터링하여, 각각의 블록 기본 지도의 상이한 도로 표시에 해당하는 픽셀 세트를 획득하는 단계;

동일한 픽셀을 갖는 인접한 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 병합하여, 병합된 픽셀 세트를 획득하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

인접한 블록 기본 지도의 동일한 도로 표시에 해당하는 픽셀 세트가 동일한 픽셀을 갖는 경우, 인접한 블록 기본 지도의 동일한 도로 표시에 해당하는 픽셀 세트를 병합하여, 도로의 기본 지도의 상이한 도로 표시에 해당하는 픽셀 세트를 획득하는 단계;

병합된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

각각의 도로 표시에 해당하는 픽셀 세트에 따라, 각각의 도로 표시를 결정하는 단계.

가능한 구현 방식에서, 각각의 도로 표시에 해당하는 픽셀 세트에 따라, 각각의 도로 표시를 결정하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

도로 표시에 해당하는 픽셀 세트에 따라, 도로 표시에 해당하는 픽셀 세트에 해당하는 키 포인트를 도로 표시에 대해 결정하는 단계;

결정된 키 포인트에 기초하여, 도로 표시를 맞추는 단계.

가능한 구현 방식에서, 도로 표시에 해당하는 픽셀 세트에 따라, 도로 표시에 해당하는 픽셀 세트에 해당하는 키 포인트를 결정하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

결정된 회전 행렬에 따라, 제1 세트의 픽셀을 변환하여, 픽셀이 변환된 후에 제1 세트의 주 방향이 수평 방향이 되도록 하는 단계;

주 방향이 변환된 제1 세트에 따라, 다수의 키 포인트를 결정하는 단계;

결정된 키 포인트에 기초하여, 도로 표시를 맞추는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

변환된 다수의 키 포인트에 기초하여, 제1 세트에 해당하는 선분을 맞추는 단계; 및

제1 세트에 해당하는 선분을 도로 표시로서 지정하는 단계.

가능한 구현 방식에서, 도로 표시에 해당하는 다수의 픽셀 세트가 있는 경우, 도로 표시에 해당하는 픽셀 세트 중 하나가 제1 세트로서 지정되며, 제1 세트에 해당하는 맞춰진 선분은 연결되지 않고, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

제1 세트에 해당하는 선분에서 연결되지 않은 선분이 있는 경우, 연결되지 않은 2개의 선분에서 최소 거리를 갖는 2개의 종점 사이의 거리가 거리 임계값 미만이고, 연결되지 않은 2개의 선분의 종점이 동일 선상에 있을 때, 연결되지 않은 2개의 선분을 연결하여, 이어 맞춰진 선분을 획득하는 단계; 및

이어 맞춰진 선분을 도로 표시로서 지정하는 단계.

가능한 구현 방식에서, 주 방향이 변환된 제1 세트에 따라, 다수의 키 포인트를 결정하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

구간 길이가 제1 임계값 이하이고, 평균 거리가 제2 임계값 초과인 경우, 처리될 세트의 픽셀을 폐기하는 단계.

가능한 구현 방식에서, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

구간 길이가 제1 임계값 초과인 경우, 처리될 세트의 픽셀의 가로좌표의 평균을 세그먼트 좌표로서 지정하고, 처리될 세트에서, 가로좌표가 세그먼트 좌표 이하인 픽셀로 구성된 세트를 제1 서브세트로서 지정하며, 처리될 세트에서, 가로좌표가 세그먼트 좌표 이상인 픽셀로 구성된 세트를 제2 서브세트로서 지정하고, 처리될 세트로서 제1 서브세트 및 제2 서브세트를 각각 취함으로써, 처리될 세트를 처리하는 단계를 수행하는 단계.

가능한 구현 방식에서, 도로의 획득된 점군 데이터에 따라, 도로의 기본 지도를 결정하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

이어 맞춰진 점군 데이터를 세트 평면에 투영하는 단계로서, 세트 평면은 고정된 길이-폭 해상도에 따라 분할된 격자를 구비하고, 각각의 격자는 도로의 기본 지도의 픽셀에 해당하는, 단계;

세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하는 단계.

가능한 구현 방식에서, 세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율 및 평균 높이에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하는 단계.

가능한 구현 방식에서, 전처리된 점군 데이터를 획득하는 단계 후에, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

도로의 영상을 획득하는 장치에 대한 도로의 점군 데이터를 획득하는 장치의 외부 참조에 따라, 전처리된 점군 데이터를 도로의 획득된 영상 위에 투영하여, 전처리된 점군 데이터에 해당하는 색상을 획득하는 단계;

세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율, 및 격자에 투영된 점군에 해당하는 평균 색상에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하는 단계.

가능한 구현 방식에서, 기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 단계는 신경망에 의해 수행된다. 신경망은 도로 표시가 표시된 샘플 기본 지도로 트레이닝함으로써 획득된다.

가능한 구현 방식에서, 신경망을 트레이닝하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

샘플 블록 기본 지도의 특징 지도에 따라, 샘플 블록 기본 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터를 결정하는 단계로서, n차원 특징 벡터는 도로 표시의 인스턴스 특징을 나타내기 위해 사용되고, n은 1보다 더 큰 정수인, 단계;

샘플 블록 기본 지도에 표시된 도로 표시, 및 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에 따라, 신경망의 네트워크 파라미터 값을 조정하는 단계.

샘플 블록 기본 지도의 제1 픽셀의 표시된 거리를 결정하는 단계로서, 제1 픽셀은 샘플 블록 기본 지도의 임의의 픽셀이고, 제1 픽셀의 표시된 거리는 제1 픽셀과 제2 픽셀 사이의 거리이며, 제2 픽셀은 샘플 블록 기본 지도에 표시된 도로 표시에 있는 픽셀에서 제1 픽셀로부터 최소 거리를 갖는 픽셀인, 단계;

샘플 블록 기본 지도에 표시된 도로 표시, 및 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에 따라, 신경망의 네트워크 파라미터 값을 조정하는 단계와 관련하여, 위의 프로그램은 구체적으로 이하의 단계의 명령을 실행하기 위해 사용된다:

샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀, 샘플 블록 기본 지도에 표시된 도로 표시, 샘플 블록 기본 지도의 제1 픽셀의 표시된 거리, 및 샘플 블록 기본 지도의 제1 픽셀의 예측된 거리에 따라, 신경망의 네트워크 파라미터 값을 조정하는 단계로서,

제1 픽셀의 예측된 거리는 제1 픽셀과 제3 픽셀 사이의 거리이고, 제3 픽셀은, 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에서 제1 픽셀로부터 최소 거리를 갖는 픽셀인, 단계.

샘플 블록 기본 지도의 제4 픽셀의 표시된 방향을 결정하는 단계로서, 제4 픽셀은 샘플 블록 기본 지도의 임의의 픽셀이고, 제4 픽셀의 표시된 방향은 제5 픽셀의 접선 방향이며, 제5 픽셀은, 샘플 블록 기본 지도에 표시된 도로 표시에 있는 픽셀에서 제4 픽셀로부터 최소 거리를 갖는 픽셀인, 단계; 그리고

샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀, 샘플 블록 기본 지도에 표시된 도로 표시, 샘플 블록 기본 지도의 제4 픽셀의 표시된 방향, 및 샘플 블록 기본 지도의 제4 픽셀의 예측된 방향에 따라, 신경망의 네트워크 파라미터 값을 조정하는 단계로서,

제4 픽셀의 예측된 방향은 제6 픽셀의 접선 방향이고, 제6 픽셀은, 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에서 제4 픽셀로부터 최소 거리를 갖는 픽셀인, 단계.

도 10은 본 출원의 일 실시형태로 제공되는 지도 생성 장치의 구조적 개략도이다. 지도 생성 장치(1000)는, 프로세서, 메모리, 통신 인터페이스, 및 하나 이상의 프로그램을 포함할 수 있다. 하나 이상의 프로그램은 메모리에 저장되며, 프로세서에 의해 실행되도록 구성된다. 프로그램은 이하의 단계를 수행하기 위한 명령을 포함한다:

지능형 주행 장치에 의해 획득된 도로의 점군 데이터에 따라, 도로 상의 적어도 하나의 도로 표시를 결정하는 단계; 및

도로 상의 적어도 하나의 도로 표시에 따라, 도로 상의 적어도 하나의 도로 표시를 포함하는 지도를 생성하는 단계.

가능한 구현 방식에서, 위의 프로그램은 추가로 이하의 단계의 명령을 실행하기 위해 사용된다:

생성된 지도를 보정하여, 보정된 지도를 획득하는 단계.

가능한 구현 방식에서, 적어도 하나의 도로 표시는 신경망에 의해 결정된다. 지도를 생성하는 단계 후에, 위의 프로그램은 추가로 이하의 단계의 명령을 실행하기 위해 사용된다:

생성된 지도를 사용하여, 신경망을 트레이닝하는 단계.

도 11은 본 출원의 일 실시형태로 제공되는 도로 표시 인식 장치의 기능 유닛의 블록도이다. 인식 장치(1100)는 처리 유닛(1101)을 포함할 수 있다.

처리 유닛(1101)은 도로의 획득된 점군 데이터에 따라, 도로의 기본 지도를 결정하도록 구성된다. 획득된 점군의 반사율 정보, 및 점군의 위치 정보에 따라, 기본 지도의 픽셀이 결정된다.

처리 유닛(1101)은, 기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하도록 추가로 구성된다.

처리 유닛(1101)은, 결정된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하도록 추가로 구성된다.

가능한 구현 방식에서, 인식 장치(1100)는 분할 유닛(1102)을 더 포함할 수 있다.

기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트가 결정되기 전에, 분할 유닛(1102)은, 도로의 토폴로지 라인에 따라, 도로의 기본 지도를 다수의 블록 기본 지도로 분할하도록 구성된다;

기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 것과 관련하여, 처리 유닛(1101)은 구체적으로,

각각의 블록 기본 지도에 따라, 도로 표시가 포함하는 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하도록 구성된다.

가능한 구현 방식에서, 각각의 블록 기본 지도에 따라, 도로 표시가 포함하는 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 것과 관련하여, 처리 유닛(1101)은 구체적으로,

각각의 블록 기본 지도를 각각 회전시키고,

가능한 구현 방식에서, 도로의 토폴로지 라인에 따라, 도로의 기본 지도를 다수의 블록 기본 지도로 분할하는 것과 관련하여, 분할 유닛(1102)은 구체적으로,

가능한 구현 방식에서, 결정된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 것과 관련하여, 처리 유닛(1101)은 구체적으로,

동일한 픽셀을 갖는 인접한 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 병합하여, 병합된 픽셀 세트를 획득하도록 구성되고, 병합된 픽셀 세트에서, 동일한 픽셀이 다수의 확률을 갖는 경우, 동일한 픽셀의 다수의 확률의 평균이 픽셀의 확률로서 지정되며,

처리 유닛(1101)은 구체적으로, 병합된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하도록 구성된다.

가능한 구현 방식에서, 각각의 블록 기본 지도를 각각 회전시키는 것과 관련하여, 처리 유닛(1101)은 구체적으로,

각각의 블록 기본 지도에 해당하는 변환 행렬에 따라, 각각의 블록 기본 지도를 이의 분할 라인이 수평 방향과 일치할 때까지 회전시키도록 구성된다. 블록 기본 지도의 분할 라인은 직선이며, 이를 따라 블록 기본 지도가 도로의 기본 지도로부터 분할된다;

각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 것과 관련하여, 처리 유닛(1101)은 구체적으로,

각각의 블록 기본 지도의 특징 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터에 따라, 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀을 클러스터링하여, 각각의 블록 기본 지도의 상이한 도로 표시에 해당하는 픽셀 세트를 획득하도록 구성된다;

동일한 픽셀을 갖는 인접한 블록 기본 지도의 픽셀로 구성된 픽셀 세트를 병합하여, 병합된 픽셀 세트를 획득하는 것과 관련하여, 처리 유닛(1101)은 구체적으로,

인접한 블록 기본 지도의 동일한 도로 표시에 해당하는 픽셀 세트가 동일한 픽셀을 갖는 경우, 인접한 블록 기본 지도의 동일한 도로 표시에 해당하는 픽셀 세트를 병합하여, 도로의 기본 지도의 상이한 도로 표시에 해당하는 픽셀 세트를 획득하도록 구성된다;

병합된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 것과 관련하여, 처리 유닛(1101)은 구체적으로,

가능한 구현 방식에서, 각각의 도로 표시에 해당하는 픽셀 세트에 따라, 각각의 도로 표시를 결정하는 것과 관련하여, 처리 유닛(1101)은 구체적으로,

가능한 구현 방식에서, 도로 표시에 해당하는 픽셀 세트에 따라, 도로 표시에 해당하는 픽셀 세트에 해당하는 키 포인트를 결정하는 것과 관련하여, 처리 유닛(1101)은 구체적으로,

제1 세트의 결정된 주 방향에 따라, 회전 행렬을 결정하며,

주 방향이 변환된 제1 세트에 따라, 다수의 키 포인트를 결정하도록 구성된다;

결정된 키 포인트에 기초하여, 도로 표시를 맞추는 것과 관련하여, 처리 유닛(1101)은 구체적으로,

가능한 구현 방식에서, 도로 표시에 해당하는 다수의 픽셀 세트가 있는 경우, 도로 표시에 해당하는 픽셀 세트 중 하나가 제1 세트로서 지정되며, 제1 세트에 해당하는 맞춰진 선분은 연결되지 않는다. 처리 유닛(1101)은,

가능한 구현 방식에서, 주 방향이 변환된 제1 세트에 따라, 다수의 키 포인트를 결정하는 것과 관련하여, 처리 유닛(1101)은 구체적으로,

주 방향이 변환된 제1 세트를 처리될 세트로서 취하고,

구간 길이가 제1 임계값 이하이고, 평균 거리가 제2 임계값 미만인 경우, 가장 좌측 픽셀에 기초하여 키 포인트를 결정하고, 가장 우측 픽셀에 기초하여 키 포인트를 결정하도록 구성되며, 평균 거리는, 가장 좌측 픽셀 및 가장 우측 픽셀에 의해 형성된 선분과 처리될 세트의 픽셀 사이의 거리의 평균이고, 구간 길이는, 처리될 세트에서 가장 우측 픽셀의 가로좌표와 가장 좌측 픽셀의 가로좌표 사이의 차이며,

처리 유닛(1101)은 구체적으로, 구간 길이가 제1 임계값 이하이고, 평균 거리가 제2 임계값 초과인 경우, 처리될 세트의 픽셀을 폐기하도록 구성된다.

가능한 구현 방식에서, 처리 유닛(1101)은,

가능한 구현 방식에서, 도로의 획득된 점군 데이터에 따라, 도로의 기본 지도를 결정하는 것과 관련하여, 처리 유닛(1101)은 구체적으로,

이어 맞춰진 점군 데이터를 세트 평면에 투영하도록 구성되며, 세트 평면은 고정된 길이-폭 해상도에 따라 분할된 격자를 구비하고, 각각의 격자는 도로의 기본 지도의 픽셀에 해당하며,

처리 유닛(1101)은 구체적으로, 세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하도록 구성된다.

가능한 구현 방식에서, 세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하는 것과 관련하여, 처리 유닛(1101)은 구체적으로,

가능한 구현 방식에서, 전처리된 점군 데이터가 획득된 후에, 처리 유닛(1101)은,

도로의 영상을 획득하는 장치에 대한 도로의 점군 데이터를 획득하는 장치의 외부 참조에 따라, 전처리된 점군 데이터를 도로의 획득된 영상 위에 투영하여, 전처리된 점군 데이터에 해당하는 색상을 획득하도록 추가로 구성된다;

세트 평면의 격자에 대해, 격자에 투영된 점군의 평균 반사율에 따라, 격자에 해당하는 도로의 기본 지도의 픽셀의 픽셀 값을 결정하는 것과 관련하여, 처리 유닛(1101)은 구체적으로,

가능한 구현 방식에서, 기본 지도에 따라, 도로 표시가 포함하는 기본 지도의 픽셀로 구성된 픽셀 세트를 결정하는 것은 신경망에 의해 수행된다. 신경망은 도로 표시가 표시된 샘플 기본 지도로 트레이닝함으로써 획득된다.

가능한 구현 방식에서, 인식 장치(1100)는 트레이닝 유닛(1103)을 더 포함할 수 있다.

트레이닝 유닛(1103)은 신경망을 트레이닝하도록 구성되며, 구체적으로,

트레이닝 유닛(1103)은 구체적으로, 픽셀의 결정된 n차원 특징 벡터에 따라, 샘플 블록 기본 지도의 사전 설정된 확률 값보다 더 큰 확률의 픽셀을 클러스터링하여, 샘플 블록 기본 지도의 동일한 도로 표시에 속하는 픽셀을 결정하도록 구성되며,

트레이닝 유닛(1103)은 구체적으로, 샘플 블록 기본 지도에 표시된 도로 표시, 및 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 결정된 픽셀에 따라, 신경망의 네트워크 파라미터 값을 조정하도록 구성된다.

가능한 구현 방식에서, 트레이닝 유닛(1103)은,

샘플 블록 기본 지도의 제1 픽셀의 표시된 거리를 결정하도록 추가로 구성되며, 제1 픽셀은 샘플 블록 기본 지도의 임의의 픽셀이고, 제1 픽셀의 표시된 거리는 제1 픽셀과 제2 픽셀 사이의 거리이며, 제2 픽셀은 샘플 블록 기본 지도에 표시된 도로 표시에 있는 픽셀에서 제1 픽셀로부터 최소 거리를 갖는 픽셀이다;

가능한 구현 방식에서, 트레이닝 유닛(1103)은,

샘플 블록 기본 지도의 제4 픽셀의 표시된 방향을 결정하도록 추가로 구성되며, 제4 픽셀은 샘플 블록 기본 지도의 임의의 픽셀이고, 제4 픽셀의 표시된 방향은 제5 픽셀의 접선 방향이며, 제5 픽셀은, 샘플 블록 기본 지도에 표시된 도로 표시에 있는 픽셀에서 제4 픽셀로부터 최소 거리를 갖는 픽셀이다;

도 12는 본 출원의 일 실시형태로 제공되는 지도 생성 장치의 기능 유닛의 블록도이다. 지도 생성 장치(1200)는, 결정 유닛(1201) 및 생성 유닛(1202)을 포함할 수 있다.

결정 유닛(1201)은, 지능형 주행 장치에 의해 획득된 도로의 점군 데이터에 따라, 도로 상의 적어도 하나의 도로 표시를 결정하도록 구성된다.

생성 유닛(1202)은, 도로 상의 적어도 하나의 도로 표시에 따라, 도로 상의 적어도 하나의 도로 표시를 포함하는 지도를 생성하도록 구성된다.

가능한 구현 방식에서, 지도 생성 장치(1200)는 보정 유닛(1203)을 더 포함할 수 있다. 보정 유닛(1203)은, 생성된 지도를 보정하여, 보정된 지도를 획득하도록 구성된다.

가능한 구현 방식에서, 지도 생성 장치(1200)는 트레이닝 유닛(1204)을 더 포함할 수 있다. 적어도 하나의 도로 표시는 신경망에 의해 결정된다. 트레이닝 유닛(1204)은, 생성된 지도를 사용하여 신경망을 트레이닝하도록 구성된다.

또한, 본 출원의 실시형태는 지능형 주행 장치를 제공하며, 지능형 주행 장치는, 본 출원의 실시형태로 제공된 지도 생성 장치, 및 지능형 주행 장치의 본체를 포함할 수 있다. 지능형 주행 장치가 지능형 차량인 경우, 즉 지능형 주행 장치의 본체가 지능형 차량의 본체인 경우, 지능형 차량은 본 출원의 실시형태로 제공된 지도 생성 장치와 통합된다.

또한, 본 출원의 실시형태는 컴퓨터 프로그램을 저장하는 컴퓨터 저장 매체를 제공한다. 컴퓨터 프로그램은, 방법 실시형태로 기록된 임의의 도로 표시 인식 방법의 단계의 일부 또는 전부를 구현하거나, 방법 실시형태로 기록된 임의의 지도 생성 방법의 단계의 일부 또는 전부를 구현하도록 프로세서에 의해 실행된다.

또한, 본 출원의 실시형태는 컴퓨터 프로그램을 저장하는 비-즉각적 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램은, 컴퓨터로 하여금, 방법 실시형태로 기록된 임의의 도로 표시 인식 방법의 단계의 일부 또는 전부를 실행할 수 있게 하거나, 방법 실시형태로 기록된 임의의 지도 생성 방법의 단계의 일부 또는 전부를 실행할 수 있게 하도록 실행될 수 있다.

간단한 설명을 위해, 각각의 방법 실시형태는 일련의 작업의 조합으로 표현된다는 점을 유의해야 한다. 그러나, 당업자라면, 본 출원에 따라 일부 단계가 다른 순서로 또는 동시에 실행될 수 있기 때문에, 본 출원이 본원에 설명된 작업 순서에 의해 제한되지 않음을 인식해야 한다. 둘째, 당업자라면, 명세서에 설명된 실시형태가 모두 선택적인 실시형태에 속하고, 관련 작업 및 모듈이 반드시 본 출원에 필요한 것은 아님을 또한 인식해야 한다.

전술한 실시형태의 각각의 실시형태는 상이한 강조점으로 설명되며, 특정 실시형태의 상세하지 않은 부분은 다른 실시형태의 관련 설명을 참조할 수 있다.

본 출원에 의해 제공된 일부 실시형태에서, 개시된 장치는 다른 방식으로 구현될 수 있음을 이해해야 한다. 예를 들어, 전술한 장치 실시형태는 단지 개략적인 것이며, 예를 들어 유닛의 분할은 단지 논리 함수 분할이고, 실제 구현 동안 다른 분할 방식이 채택될 수 있다. 예를 들어, 다수의 유닛 또는 구성 요소가 조합되거나 다른 시스템에 통합될 수 있거나, 일부 특성이 무시되거나 실행되지 않을 수 있다. 또한, 표시되거나 설명된 각각의 구성 요소 사이의 결합 또는 직접 결합 또는 통신 연결은, 일부 인터페이스를 통해 구현되는, 장치 또는 유닛의 간접 결합 또는 통신 연결일 수 있으며, 전기적 형태 또는 다른 형태일 수 있다.

별도의 부분으로 설명된 유닛은 물리적으로 분리될 수 있거나 분리되지 않을 수 있으며, 유닛으로 표시된 부분은 물리적 유닛일 수 있거나 물리적 유닛이 아닐 수 있고, 즉 동일한 장소에 위치될 수 있거나, 다수의 네트워크 유닛으로 분산될 수도 있다. 유닛의 일부 또는 전부는, 실제 요건에 따라 실시형태의 솔루션의 목적을 달성하도록 선택될 수 있다.

또한, 본 출원의 각각의 실시형태에서 각각의 기능 유닛은 처리 유닛에 통합될 수 있으며, 각각의 유닛은 물리적으로 별개로 존재할 수도 있고, 둘 이상의 유닛이 하나의 유닛으로 통합될 수도 있다. 통합된 유닛은 하드웨어의 형태 또는 소프트웨어 프로그램 모듈의 형태로 구현될 수 있다.

소프트웨어 프로그램 모듈의 형태로 구현되어 독립적인 제품으로 판매 또는 사용되는 경우, 통합된 유닛은 컴퓨터 판독 가능 메모리에 저장될 수 있다. 이러한 이해에 기초하여, 실질적으로 본 출원의 기술적 솔루션, 또는 종래기술에 기여하는 부분은, 소프트웨어 제품의 형태로 구현될 수 있다; 컴퓨터 소프트웨어 제품은 메모리에 저장되며, 컴퓨터 장치(개인용 컴퓨터, 서버, 또는 네트워크 장치 등일 수 있음)로 하여금, 본 출원의 각각의 실시형태의 방법의 단계의 일부 또는 전부를 수행하도록 하기 위한 다수의 명령을 포함한다. 위에 언급된 메모리는, U 디스크, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 이동식 하드 디스크, 자기 디스크, 또는 광 디스크와 같은, 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

당업자라면, 실시형태의 다양한 방법의 단계의 일부 또는 전부가 프로그램에 의해 명령된 관련 하드웨어에 의해 완료될 수 있고, 프로그램이 컴퓨터 판독 가능 메모리에 저장될 수 있으며, 메모리가 플래시 디스크, ROM, RAM, 자기 디스크, 광 디스크 등을 포함할 수 있음을 이해할 수 있다.

본 출원의 실시형태는 위에 상세하게 소개되고, 본 출원의 원리 및 구현 방식은 본 출원의 구체적인 실시예로 상세하게 설명되며, 실시형태에 대해 이루어진 설명은 본 출원의 방법 및 이의 핵심 개념을 이해하도록 돕기 위해 채택된 것일 뿐이다. 또한, 당업자는 본 출원의 개념에 따라 구체적인 구현 방식을 변경할 수 있다. 위의 명세서의 내용은 본 출원에 대한 제한 사항으로 이해되어서는 안된다.

Claims

도로 표시 인식 방법으로서,
도로의 획득된 점군 데이터에 따라, 도로의 기본 지도를 결정하는 단계로서, 획득된 점군의 반사율 정보, 및 상기 점군의 위치 정보에 따라, 상기 기본 지도의 픽셀이 결정되는, 단계;
상기 기본 지도에 따라, 도로 표시가 포함하는 상기 기본 지도의 상기 픽셀로 구성된 픽셀 세트를 결정하는 단계; 및
상기 결정된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 단계를 포함하는,
도로 표시 인식 방법.
제1항에 있어서,
상기 기본 지도에 따라, 도로 표시가 포함하는 상기 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하는 단계 전에, 상기 방법은,
상기 도로의 토폴로지 라인에 따라, 상기 도로의 상기 기본 지도를 다수의 블록 기본 지도로 분할하는 단계를 더 포함하며,
상기 기본 지도에 따라, 도로 표시가 포함하는 상기 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하는 단계는,
상기 다수의 블록 기본 지도 각각에 따라, 도로 표시가 포함하는 상기 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하는 단계를 포함하는, 방법.
제2항에 있어서,
상기 다수의 블록 기본 지도 각각에 따라, 도로 표시가 포함하는 상기 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하는 단계는,
각각의 블록 기본 지도를 각각 회전시키는 단계; 및
각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하는 단계를 포함하는, 방법.
제2항 또는 제3항에 있어서,
상기 도로의 상기 토폴로지 라인에 따라, 상기 도로의 상기 기본 지도를 다수의 블록 기본 지도로 분할하는 단계는,
상기 도로의 상기 점군 데이터를 획득하는 장치의 이동 트랙에 따라, 상기 도로의 상기 토폴로지 라인을 결정하는 단계; 및
상기 도로의 상기 토폴로지 라인을 따라, 상기 도로의 상기 기본 지도를 영상 블록으로 등거리로 분할하여, 상기 다수의 블록 기본 지도를 획득하는 단계를 포함하며,
상기 도로의 상기 기본 지도의 2개의 인접한 블록 기본 지도는 중첩 부분을 갖고, 상기 도로의 상기 기본 지도를 분할하는 분할 라인은 상기 도로의 상기 토폴로지 라인에 수직이며, 상기 도로의 상기 토폴로지 라인의 양측에서, 각각의 블록 기본 지도의 부분은 동일한 폭을 갖는, 방법.
제2항 내지 제4항 중 어느 한 항에 있어서,
상기 결정된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 단계는,
동일한 픽셀을 갖는 상기 인접한 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 병합하여, 병합된 픽셀 세트를 획득하는 단계로서, 상기 병합된 픽셀 세트에서, 상기 동일한 픽셀이 다수의 확률을 갖는 경우, 상기 동일한 픽셀의 다수의 확률의 평균이 상기 픽셀의 확률로서 지정되는, 단계; 및
상기 병합된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 단계를 포함하는, 방법.
제3항에 있어서,
각각의 블록 기본 지도를 각각 회전시키는 단계는,
각각의 블록 기본 지도의 분할 라인과 수평 방향 사이의 끼인각에 따라, 각각의 블록 기본 지도에 해당하는 변환 행렬을 결정하는 단계;
각각의 블록 기본 지도에 해당하는 상기 변환 행렬에 따라, 각각의 블록 기본 지도를 이의 분할 라인이 상기 수평 방향과 일치할 때까지 회전시키는 단계를 포함하며,
블록 기본 지도의 상기 분할 라인은 직선이고, 이를 따라 상기 블록 기본 지도가 상기 도로의 상기 기본 지도로부터 분할되며,
각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하는 단계는,
각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 상기 회전된 블록 기본 지도의 상기 픽셀로 구성된 초기 픽셀 세트를 결정하는 단계; 및
각각의 회전되지 않은 블록 기본 지도에 해당하는 상기 변환 행렬의 역행렬에 따라, 도로 표시가 포함하는 각각의 회전된 블록 기본 지도의 상기 픽셀을 변환하여, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 획득하는 단계를 포함하는, 방법.
제5항에 있어서,
각각의 블록 기본 지도에 따라, 도로 표시가 포함하는 상기 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하는 단계는,
각각의 블록 기본 지도의 특징 지도에 따라, 각각의 블록 기본 지도의 각각의 픽셀이 상기 도로 표시에 속하는 상기 확률을 결정하는 단계;
각각의 블록 기본 지도의 상기 특징 지도에 따라, 각각의 블록 기본 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터를 결정하는 단계; 및
각각의 블록 기본 지도의 상기 특징 지도의 상기 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 상기 n차원 특징 벡터에 따라, 상기 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀을 클러스터링하여, 각각의 블록 기본 지도의 상이한 도로 표시에 해당하는 상기 픽셀 세트를 획득하는 단계를 포함하며,
상기 동일한 픽셀을 갖는 상기 인접한 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 병합하여, 상기 병합된 픽셀 세트를 획득하는 단계는,
상기 인접한 블록 기본 지도의 동일한 도로 표시에 해당하는 상기 픽셀 세트가 상기 동일한 픽셀을 갖는 경우, 상기 인접한 블록 기본 지도의 상기 동일한 도로 표시에 해당하는 상기 픽셀 세트를 병합하여, 상기 도로의 상기 기본 지도의 상기 상이한 도로 표시에 해당하는 상기 픽셀 세트를 획득하는 단계를 포함하고,
상기 병합된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 단계는,
각각의 도로 표시에 해당하는 상기 픽셀 세트에 따라, 각각의 도로 표시를 결정하는 단계를 포함하는, 방법.
제7항에 있어서,
각각의 도로 표시에 해당하는 상기 픽셀 세트에 따라, 각각의 도로 표시를 결정하는 단계는,
상기 도로 표시에 해당하는 상기 픽셀 세트에 따라, 상기 도로 표시에 해당하는 상기 픽셀 세트에 해당하는 키 포인트를 도로 표시에 대해 결정하는 단계; 및
상기 결정된 키 포인트에 기초하여, 상기 도로 표시를 맞추는 단계를 포함하는, 방법.
제8항에 있어서,
상기 도로 표시에 해당하는 상기 픽셀 세트에 따라, 상기 도로 표시에 해당하는 상기 픽셀 세트에 해당하는 상기 키 포인트를 결정하는 단계는,
상기 도로 표시에 해당하는 상기 픽셀 세트를 제1 세트로서 취함으로써, 제1 세트의 주 방향을 결정하는 단계;
상기 제1 세트의 상기 결정된 주 방향에 따라, 회전 행렬을 결정하는 단계;
상기 결정된 회전 행렬에 따라, 상기 제1 세트의 상기 픽셀을 변환하여, 상기 픽셀이 변환된 후에 상기 제1 세트의 상기 주 방향이 상기 수평 방향이 되도록 하는 단계;
주 방향이 변환된 상기 제1 세트에 따라, 다수의 키 포인트를 결정하는 단계를 포함하며,
상기 결정된 키 포인트에 기초하여, 상기 도로 표시를 맞추는 단계는,
상기 회전 행렬의 역행렬에 기초하여, 상기 결정된 다수의 키 포인트를 변환하는 단계;
상기 변환된 다수의 키 포인트에 기초하여, 상기 제1 세트에 해당하는 선분을 맞추는 단계; 및
상기 제1 세트에 해당하는 상기 선분을 상기 도로 표시로서 취하는 단계를 포함하는, 방법.
제9항에 있어서,
하나의 도로 표시에 해당하는 다수의 픽셀 세트가 있는 경우, 상기 도로 표시에 해당하는 상기 픽셀 세트 중 하나가 제1 세트로서 지정되며, 상기 제1 세트에 해당하는 상기 맞춰진 선분은 연결되지 않고, 상기 방법은,
상기 제1 세트에 해당하는 상기 선분에서 연결되지 않은 선분이 있는 경우, 연결되지 않은 2개의 선분에서 최소 거리를 갖는 2개의 종점 사이의 거리가 거리 임계값 미만이고, 상기 연결되지 않은 2개의 선분의 상기 종점이 동일 선상에 있을 때, 상기 연결되지 않은 2개의 선분을 연결하여, 이어 맞춰진 선분을 획득하는 단계; 및
상기 이어 맞춰진 선분을 상기 도로 표시로서 취하는 단계를 더 포함하는, 방법.
제9항 또는 제10항에 있어서,
주 방향이 변환된 상기 제1 세트에 따라, 다수의 키 포인트를 결정하는 단계는,
주 방향이 변환된 상기 제1 세트를 처리될 세트로서 취하는 단계;
상기 처리될 세트의 가장 좌측 픽셀 및 가장 우측 픽셀을 결정하는 단계;
구간 길이가 제1 임계값 이하이고, 평균 거리가 제2 임계값 미만인 경우, 상기 가장 좌측 픽셀에 기초하여 키 포인트를 결정하고, 상기 가장 우측 픽셀에 기초하여 키 포인트를 결정하는 단계로서, 상기 평균 거리는, 상기 가장 좌측 픽셀 및 상기 가장 우측 픽셀에 의해 형성된 상기 선분과 상기 처리될 세트의 상기 픽셀 사이의 상기 거리의 평균이고, 상기 구간 길이는, 상기 처리될 세트에서 상기 가장 우측 픽셀의 가로좌표와 상기 가장 좌측 픽셀의 가로좌표 사이의 차인, 단계; 및
상기 구간 길이가 상기 제1 임계값 이하이고, 상기 평균 거리가 상기 제2 임계값 초과인 경우, 상기 처리될 세트의 상기 픽셀을 폐기하는 단계를 포함하는, 방법.
제11항에 있어서,
상기 구간 길이가 상기 제1 임계값 초과인 경우, 상기 처리될 세트의 상기 픽셀의 가로좌표의 평균을 세그먼트 좌표로서 취하는 단계;
상기 처리될 세트에서, 가로좌표가 상기 세그먼트 좌표 이하인 상기 픽셀로 구성된 상기 세트를 제1 서브세트로서 취하고, 상기 처리될 세트에서, 가로좌표가 상기 세그먼트 좌표 이상인 상기 픽셀로 구성된 상기 세트를 제2 서브세트로서 취하는 단계; 및
상기 처리될 세트로서 상기 제1 서브세트 및 상기 제2 서브세트를 각각 취함으로써, 상기 처리될 세트를 처리하는 단계를 수행하는 단계를 더 포함하는, 방법.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 도로의 상기 획득된 점군 데이터에 따라, 상기 도로의 상기 기본 지도를 결정하는 단계는,
상기 도로의 상기 획득된 점군 데이터로부터 비-도로 점군을 인식 및 제거하여, 전처리된 점군 데이터를 획득하는 단계;
상기 도로의 상기 점군 데이터를 획득하는 상기 장치의 자세에 따라, 각각의 프레임의 상기 전처리된 점군 데이터를 국제 좌표계로 변환하여, 각각의 프레임의 상기 변환된 점군 데이터를 획득하는 단계;
각각의 프레임의 상기 변환된 점군 데이터를 이어 맞춰서, 상기 이어 맞춰진 점군 데이터를 획득하는 단계;
상기 이어 맞춰진 점군 데이터를 세트 평면에 투영하는 단계로서, 상기 세트 평면은 고정된 길이-폭 해상도에 따라 분할된 격자를 구비하고, 각각의 격자는 상기 도로의 상기 기본 지도의 픽셀에 해당하는, 단계; 및
상기 세트 평면의 격자에 대해, 상기 격자에 투영된 상기 점군의 평균 반사율에 따라, 상기 격자에 해당하는 상기 도로의 상기 기본 지도의 상기 픽셀의 픽셀 값을 결정하는 단계를 포함하는, 방법.
제13항에 있어서,
상기 세트 평면의 격자에 대해, 상기 격자에 투영된 상기 점군의 평균 반사율에 따라, 상기 격자에 해당하는 상기 도로의 상기 기본 지도의 상기 픽셀의 상기 픽셀 값을 결정하는 단계는,
상기 세트 평면의 격자에 대해, 상기 격자에 투영된 상기 점군의 상기 평균 반사율 및 평균 높이에 따라, 상기 격자에 해당하는 상기 도로의 상기 기본 지도의 상기 픽셀의 픽셀 값을 결정하는 단계를 포함하는, 방법.
제13항 또는 제14항에 있어서,
상기 전처리된 점군 데이터를 획득하는 단계 후에, 상기 방법은,
상기 도로의 영상을 획득하는 상기 장치에 대한 상기 도로의 상기 점군 데이터를 획득하는 상기 장치의 외부 참조에 따라, 상기 전처리된 점군 데이터를 상기 도로의 상기 획득된 영상 위에 투영하여, 상기 전처리된 점군 데이터에 해당하는 색상을 획득하는 단계를 더 포함하며,
상기 세트 평면의 격자에 대해, 상기 격자에 투영된 상기 점군의 상기 평균 반사율에 따라, 상기 격자에 해당하는 상기 도로의 상기 기본 지도의 상기 픽셀의 상기 픽셀 값을 결정하는 단계는,
상기 세트 평면의 격자에 대해, 상기 격자에 투영된 상기 점군의 상기 평균 반사율, 및 상기 격자에 투영된 상기 점군에 해당하는 상기 평균 색상에 따라, 상기 격자에 해당하는 상기 도로의 상기 기본 지도의 상기 픽셀의 상기 픽셀 값을 결정하는 단계를 포함하는, 방법.
제1항 내지 제15항 중 어느 한 항에 있어서,
상기 기본 지도에 따라, 도로 표시가 포함하는 상기 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하는 단계는 신경망에 의해 수행되며, 상기 신경망은, 상기 도로 표시가 표시된 샘플 기본 지도로 트레이닝되는, 방법.
제16항에 있어서,
상기 신경망은,
상기 신경망을 사용함으로써, 샘플 블록 기본 지도의 특징을 추출하여, 상기 샘플 블록 기본 지도의 특징 지도를 획득하는 단계;
상기 샘플 블록 기본 지도의 상기 특징 지도에 기초하여, 상기 샘플 블록 기본 지도의 각각의 픽셀이 상기 도로 표시에 속하는 상기 확률을 결정하는 단계;
상기 샘플 블록 기본 지도의 상기 특징 지도에 따라, 상기 샘플 블록 기본 지도의 상기 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터를 결정하는 단계로서, 상기 n차원 특징 벡터는 상기 도로 표시의 인스턴스 특징을 나타내기 위해 사용되고, n은 1보다 더 큰 정수인, 단계;
상기 픽셀의 상기 결정된 n차원 특징 벡터에 따라, 상기 샘플 블록 기본 지도의 상기 사전 설정된 확률 값보다 더 큰 확률의 상기 픽셀을 클러스터링하여, 상기 샘플 블록 기본 지도의 동일한 도로 표시에 속하는 상기 픽셀을 결정하는 단계; 및
상기 샘플 블록 기본 지도에 표시된 상기 도로 표시, 및 상기 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 상기 결정된 픽셀에 따라, 상기 신경망의 네트워크 파라미터 값을 조정하는 단계에 의해 트레이닝되는, 방법.
제17항에 있어서,
상기 방법은,
상기 샘플 블록 기본 지도의 제1 픽셀의 표시된 거리를 결정하는 단계를 더 포함하며,
상기 제1 픽셀은 상기 샘플 블록 기본 지도의 임의의 픽셀이고, 상기 제1 픽셀의 상기 표시된 거리는 상기 제1 픽셀과 제2 픽셀 사이의 거리이며, 상기 제2 픽셀은, 상기 샘플 블록 기본 지도에 표시된 상기 도로 표시에 있는 상기 픽셀에서 상기 제1 픽셀로부터 최소 거리를 갖는 픽셀이고,
상기 샘플 블록 기본 지도에 표시된 상기 도로 표시, 및 상기 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 상기 결정된 픽셀에 따라, 상기 신경망의 상기 네트워크 파라미터 값을 조정하는 단계는,
상기 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 상기 결정된 픽셀, 상기 샘플 블록 기본 지도에 표시된 상기 도로 표시, 상기 샘플 블록 기본 지도의 상기 제1 픽셀의 상기 표시된 거리, 및 상기 샘플 블록 기본 지도의 상기 제1 픽셀의 예측된 거리에 따라, 상기 신경망의 상기 네트워크 파라미터 값을 조정하는 단계를 포함하며,
상기 제1 픽셀의 상기 예측된 거리는 상기 제1 픽셀과 제3 픽셀 사이의 거리이고, 상기 제3 픽셀은, 상기 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 상기 결정된 픽셀에서 상기 제1 픽셀로부터 최소 거리를 갖는 픽셀인, 방법.
제17항 또는 제18항에 있어서,
상기 방법은,
상기 샘플 블록 기본 지도의 제4 픽셀의 표시된 방향을 결정하는 단계를 더 포함하며,
상기 제4 픽셀은 상기 샘플 블록 기본 지도의 임의의 픽셀이고, 상기 제4 픽셀의 상기 표시된 방향은 제5 픽셀의 접선 방향이며, 상기 제5 픽셀은, 상기 샘플 블록 기본 지도에 표시된 상기 도로 표시에 있는 상기 픽셀에서 상기 제4 픽셀로부터 최소 거리를 갖는 픽셀이고,
상기 샘플 블록 기본 지도에 표시된 상기 도로 표시, 및 상기 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 상기 결정된 픽셀에 따라, 상기 신경망의 상기 네트워크 파라미터 값을 조정하는 단계는,
상기 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 상기 결정된 픽셀, 상기 샘플 블록 기본 지도에 표시된 상기 도로 표시, 상기 샘플 블록 기본 지도의 상기 제4 픽셀의 상기 표시된 방향, 및 상기 샘플 블록 기본 지도의 상기 제4 픽셀의 예측된 방향에 따라, 상기 신경망의 상기 네트워크 파라미터 값을 조정하는 단계를 포함하며,
상기 제4 픽셀의 상기 예측된 방향은 제6 픽셀의 접선 방향이고, 상기 제6 픽셀은, 상기 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 상기 결정된 픽셀에서 상기 제4 픽셀로부터 최소 거리를 갖는 픽셀인, 방법.
지도 생성 방법으로서,
제1항 내지 제19항 중 어느 한 항에 따른 상기 방법을 사용하여, 지능형 주행 장치에 의해 획득된 도로의 점군 데이터에 따라, 상기 도로 상의 상기 적어도 하나의 도로 표시를 결정하는 단계; 및
상기 도로 상의 상기 적어도 하나의 도로 표시에 따라, 상기 도로 상의 상기 적어도 하나의 도로 표시를 포함하는 지도를 생성하는 단계를 포함하는,
지도 생성 방법.
제20항에 있어서,
상기 생성된 지도를 보정하여, 보정된 지도를 획득하는 단계를 더 포함하는, 방법.
제20항 또는 제21항에 있어서,
상기 적어도 하나의 도로 표시는 신경망에 의해 결정되며,
상기 지도를 생성하는 단계 후에, 상기 방법은,
상기 생성된 지도를 사용하여, 상기 신경망을 트레이닝하는 단계를 더 포함하는, 방법.
도로 표시 인식 장치로서,
도로의 획득된 점군 데이터에 따라, 도로의 기본 지도를 결정하도록 구성된 처리 유닛을 포함하며,
획득된 점군의 반사율 정보, 및 상기 점군의 위치 정보에 따라, 상기 기본 지도의 픽셀이 결정되고,
상기 처리 유닛은, 상기 기본 지도에 따라, 도로 표시가 포함하는 상기 기본 지도의 상기 픽셀로 구성된 픽셀 세트를 결정하도록 추가로 구성되며,
상기 처리 유닛은, 상기 결정된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하도록 추가로 구성되는,
도로 표시 인식 장치.
제23항에 있어서,
분할 유닛을 더 포함하며,
상기 기본 지도에 따라, 도로 표시가 포함하는 상기 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하기 전에, 상기 분할 유닛은, 상기 도로의 토폴로지 라인에 따라, 상기 도로의 상기 기본 지도를 다수의 블록 기본 지도로 분할하도록 구성되고,
상기 기본 지도에 따라, 도로 표시가 포함하는 상기 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하는 것과 관련하여, 상기 처리 유닛은 구체적으로,
상기 다수의 블록 기본 지도 각각에 따라, 도로 표시가 포함하는 상기 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하도록 구성되는, 장치.
제24항에 있어서,
상기 블록 기본 지도에 따라, 도로 표시가 포함하는 상기 다수의 블록 기본 지도 각각의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하는 것과 관련하여, 상기 처리 유닛은 구체적으로,
각각의 블록 기본 지도를 각각 회전시키고,
각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하도록 구성되는, 장치.
제24항 또는 제25항에 있어서,
상기 도로의 상기 토폴로지 라인에 따라, 상기 도로의 상기 기본 지도를 다수의 블록 기본 지도로 분할하는 것과 관련하여, 상기 분할 유닛은 구체적으로,
상기 도로의 상기 점군 데이터를 획득하는 장치의 이동 트랙에 따라, 상기 도로의 상기 토폴로지 라인을 결정하고,
상기 도로의 상기 토폴로지 라인을 따라, 상기 도로의 상기 기본 지도를 영상 블록으로 등거리로 분할하여, 다수의 블록 기본 지도를 획득하도록 구성되며,
상기 도로의 상기 기본 지도의 2개의 인접한 블록 기본 지도는 중첩 부분을 갖고, 상기 도로의 상기 기본 지도를 분할하는 분할 라인은 상기 도로의 상기 토폴로지 라인에 수직이며, 상기 도로의 상기 토폴로지 라인의 양측에서, 각각의 블록 기본 지도의 부분은 동일한 폭을 갖는, 장치.
제24항 내지 제26항 중 어느 한 항에 있어서,
상기 결정된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 것과 관련하여, 상기 처리 유닛은 구체적으로,
동일한 픽셀을 갖는 상기 인접한 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 병합하여, 병합된 픽셀 세트를 획득하도록 구성되며,
상기 병합된 픽셀 세트에서, 상기 동일한 픽셀이 다수의 확률을 갖는 경우, 상기 동일한 픽셀의 다수의 확률의 평균이 상기 픽셀의 확률로서 지정되고,
상기 처리 유닛은 구체적으로, 상기 병합된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하도록 구성되는, 장치.
제25항에 있어서,
각각의 블록 기본 지도를 각각 회전시키는 것과 관련하여, 상기 처리 유닛은 구체적으로,
각각의 블록 기본 지도의 분할 라인과 수평 방향 사이의 끼인각에 따라, 각각의 블록 기본 지도에 해당하는 변환 행렬을 결정하고,
각각의 블록 기본 지도에 해당하는 상기 변환 행렬에 따라, 각각의 블록 기본 지도를 이의 분할 라인이 상기 수평 방향과 일치할 때까지 회전시키도록 구성되며,
블록 기본 지도의 상기 분할 라인은 직선이고, 이를 따라 상기 블록 기본 지도가 상기 도로의 상기 기본 지도로부터 분할되며,
각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하는 것과 관련하여, 상기 처리 유닛은 구체적으로,
각각의 회전된 블록 기본 지도에 따라, 도로 표시가 포함하는 상기 회전된 블록 기본 지도의 상기 픽셀로 구성된 초기 픽셀 세트를 결정하고,
각각의 회전되지 않은 블록 기본 지도에 해당하는 상기 변환 행렬의 역행렬에 따라, 도로 표시가 포함하는 각각의 회전된 블록 기본 지도의 상기 픽셀을 변환하여, 도로 표시가 포함하는 각각의 회전되지 않은 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 획득하도록 구성되는, 장치.
제27항에 있어서,
상기 블록 기본 지도에 따라, 도로 표시가 포함하는 각각의 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하는 것과 관련하여, 상기 처리 유닛은 구체적으로,
각각의 블록 기본 지도의 특징 지도에 따라, 각각의 블록 기본 지도의 각각의 픽셀이 상기 도로 표시에 속하는 상기 확률을 결정하고,
각각의 블록 기본 지도의 상기 특징 지도에 따라, 각각의 블록 기본 지도의 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터를 결정하며,
각각의 블록 기본 지도의 상기 특징 지도의 상기 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 상기 n차원 특징 벡터에 따라, 상기 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀을 클러스터링하여, 각각의 블록 기본 지도의 상이한 도로 표시에 해당하는 상기 픽셀 세트를 획득하도록 구성되고,
상기 동일한 픽셀을 갖는 상기 인접한 블록 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 병합하여, 상기 병합된 픽셀 세트를 획득하는 것과 관련하여, 상기 처리 유닛은 구체적으로,
상기 인접한 블록 기본 지도의 동일한 도로 표시에 해당하는 상기 픽셀 세트가 상기 동일한 픽셀을 갖는 경우, 상기 인접한 블록 기본 지도의 상기 동일한 도로 표시에 해당하는 상기 픽셀 세트를 병합하여, 상기 도로의 상기 기본 지도의 상기 상이한 도로 표시에 해당하는 상기 픽셀 세트를 획득하도록 구성되며,
상기 병합된 픽셀 세트에 따라, 적어도 하나의 도로 표시를 결정하는 것과 관련하여, 상기 처리 유닛은 구체적으로,
각각의 도로 표시에 해당하는 상기 픽셀 세트에 따라, 각각의 도로 표시를 결정하도록 구성되는, 장치.
제29항에 있어서,
각각의 도로 표시에 해당하는 상기 픽셀 세트에 따라, 각각의 도로 표시를 결정하는 것과 관련하여, 상기 처리 유닛은 구체적으로,
상기 도로 표시에 해당하는 상기 픽셀 세트에 따라, 상기 도로 표시에 해당하는 상기 픽셀 세트에 해당하는 키 포인트를 도로 표시에 대해 결정하고,
상기 결정된 키 포인트에 기초하여, 상기 도로 표시를 맞추도록 구성되는, 장치.
제30항에 있어서,
상기 도로 표시에 해당하는 상기 픽셀 세트에 따라, 상기 도로 표시에 해당하는 상기 픽셀 세트에 해당하는 상기 키 포인트를 결정하는 것과 관련하여, 상기 처리 유닛은 구체적으로,
상기 도로 표시에 해당하는 상기 픽셀 세트를 제1 세트로서 취함으로써, 제1 세트의 주 방향을 결정하고,
상기 제1 세트의 상기 결정된 주 방향에 따라, 회전 행렬을 결정하며,
상기 결정된 회전 행렬에 따라, 상기 제1 세트의 상기 픽셀을 변환하여, 상기 픽셀이 변환된 후에 상기 제1 세트의 상기 주 방향이 상기 수평 방향이 되도록 하고,
주 방향이 변환된 상기 제1 세트에 따라, 다수의 키 포인트를 결정하도록 구성되며,
상기 결정된 키 포인트에 기초하여, 상기 도로 표시를 맞추는 것과 관련하여, 상기 처리 유닛은 구체적으로,
상기 회전 행렬의 역행렬에 기초하여, 상기 결정된 다수의 키 포인트를 변환하고,
상기 변환된 다수의 키 포인트에 기초하여, 상기 제1 세트에 해당하는 선분을 맞추며,
상기 제1 세트에 해당하는 상기 선분을 상기 도로 표시로서 취하도록 구성되는, 장치.
제31항에 있어서,
하나의 도로 표시에 해당하는 다수의 픽셀 세트가 있는 경우, 상기 도로 표시에 해당하는 상기 픽셀 세트 중 하나가 상기 제1 세트로서 지정되며, 상기 제1 세트에 해당하는 상기 맞춰진 선분은 연결되지 않고, 상기 처리 유닛은,
상기 제1 세트에 해당하는 상기 선분에서 연결되지 않은 선분이 있는 경우, 연결되지 않은 2개의 선분에서 최소 거리를 갖는 2개의 종점 사이의 거리가 거리 임계값 미만이고, 상기 연결되지 않은 2개의 선분의 상기 종점이 동일 선상에 있을 때, 상기 연결되지 않은 2개의 선분을 연결하여, 이어 맞춰진 선분을 획득하고,
상기 이어 맞춰진 선분을 상기 도로 표시로서 취하도록 추가로 구성되는, 장치.
제31항 또는 제32항에 있어서,
주 방향이 변환된 상기 제1 세트에 따라, 다수의 키 포인트를 결정하는 것과 관련하여, 상기 처리 유닛은 구체적으로,
주 방향이 변환된 상기 제1 세트를 처리될 세트로서 취하고,
상기 처리될 세트의 가장 좌측 픽셀 및 가장 우측 픽셀을 결정하며,
구간 길이가 제1 임계값 이하이고, 평균 거리가 제2 임계값 미만인 경우, 상기 가장 좌측 픽셀에 기초하여 키 포인트를 결정하고, 상기 가장 우측 픽셀에 기초하여 키 포인트를 결정하도록 구성되며,
상기 평균 거리는, 상기 가장 좌측 픽셀 및 상기 가장 우측 픽셀에 의해 형성된 상기 선분과 상기 처리될 세트의 상기 픽셀 사이의 거리의 평균이고, 상기 구간 길이는, 상기 처리될 세트에서 상기 가장 우측 픽셀의 가로좌표와 상기 가장 좌측 픽셀의 가로좌표 사이의 차이며,
상기 처리 유닛은 구체적으로, 상기 구간 길이가 상기 제1 임계값 이하이고, 상기 평균 거리가 상기 제2 임계값 초과인 경우, 상기 처리될 세트의 상기 픽셀을 폐기하도록 구성되는, 장치.
제33항에 있어서,
상기 처리 유닛은,
상기 구간 길이가 상기 제1 임계값 초과인 경우, 상기 처리될 세트의 상기 픽셀의 가로좌표의 평균을 세그먼트 좌표로서 취하고,
상기 처리될 세트에서, 가로좌표가 상기 세그먼트 좌표 이하인 상기 픽셀로 구성된 상기 세트를 제1 서브세트로서 취하며,
상기 처리될 세트에서, 가로좌표가 상기 세그먼트 좌표 이상인 상기 픽셀로 구성된 상기 세트를 제2 서브세트로서 취하고,
상기 처리될 세트로서 상기 제1 서브세트 및 상기 제2 서브세트를 각각 취함으로써, 상기 처리될 세트를 처리하는 단계를 수행하도록 추가로 구성되는, 장치.
제23항 내지 제34항 중 어느 한 항에 있어서,
상기 도로의 상기 획득된 점군 데이터에 따라, 상기 도로의 상기 기본 지도를 결정하는 것과 관련하여, 상기 처리 유닛은 구체적으로,
상기 도로의 상기 획득된 점군 데이터로부터 비-도로 점군을 인식 및 제거하여, 전처리된 점군 데이터를 획득하고,
상기 도로의 상기 점군 데이터를 획득하는 상기 장치의 자세에 따라, 각각의 프레임의 상기 전처리된 점군 데이터를 국제 좌표계로 변환하여, 각각의 프레임의 상기 변환된 점군 데이터를 획득하며,
각각의 프레임의 상기 변환된 점군 데이터를 이어 맞춰서, 상기 이어 맞춰진 점군 데이터를 획득하고,
상기 이어 맞춰진 점군 데이터를 세트 평면에 투영하도록 구성되며,
상기 세트 평면은 고정된 길이-폭 해상도에 따라 분할된 격자를 구비하고, 각각의 격자는 상기 도로의 상기 기본 지도의 픽셀에 해당하며,
상기 처리 유닛은 구체적으로, 상기 세트 평면의 격자에 대해, 상기 격자에 투영된 상기 점군의 평균 반사율에 따라, 상기 격자에 해당하는 상기 도로의 상기 기본 지도의 상기 픽셀의 픽셀 값을 결정하도록 구성되는, 장치.
제35항에 있어서,
상기 세트 평면의 격자에 대해, 상기 격자에 투영된 상기 점군의 상기 평균 반사율에 따라, 상기 격자에 해당하는 상기 도로의 상기 기본 지도의 상기 픽셀의 상기 픽셀 값을 결정하는 것과 관련하여, 상기 처리 유닛은 구체적으로,
상기 세트 평면의 격자에 대해, 상기 격자에 투영된 상기 점군의 상기 평균 반사율 및 평균 높이에 따라, 상기 격자에 해당하는 상기 도로의 상기 기본 지도의 상기 픽셀의 상기 픽셀 값을 결정하도록 구성되는, 장치.
제35항 또는 제36항에 있어서,
상기 전처리된 점군 데이터를 획득한 후에, 상기 처리 유닛은,
상기 도로의 영상을 획득하는 상기 장치에 대한 상기 도로의 상기 점군 데이터를 획득하는 상기 장치의 외부 참조에 따라, 상기 전처리된 점군 데이터를 상기 도로의 상기 획득된 영상 위에 투영하여, 상기 전처리된 점군 데이터에 해당하는 색상을 획득하도록 추가로 구성되며,
상기 세트 평면의 격자에 대해, 상기 격자에 투영된 상기 점군의 상기 평균 반사율에 따라, 상기 격자에 해당하는 상기 도로의 상기 기본 지도의 상기 픽셀의 상기 픽셀 값을 결정하는 것과 관련하여, 상기 처리 유닛은 구체적으로,
상기 세트 평면의 격자에 대해, 상기 격자에 투영된 상기 점군의 상기 평균 반사율, 및 상기 격자에 투영된 상기 점군에 해당하는 상기 평균 색상에 따라, 상기 격자에 해당하는 상기 도로의 상기 기본 지도의 상기 픽셀의 상기 픽셀 값을 결정하도록 구성되는, 장치.
제23항 내지 제37항 중 어느 한 항에 있어서,
상기 기본 지도에 따라, 도로 표시가 포함하는 상기 기본 지도의 상기 픽셀로 구성된 상기 픽셀 세트를 결정하는 것은 신경망에 의해 수행되며,
상기 신경망은, 상기 도로 표시가 표시된 샘플 기본 지도로 트레이닝함으로써 획득되는, 장치.
제38항에 있어서,
상기 신경망을 트레이닝하도록 구성된 트레이닝 유닛을 더 포함하며,
상기 트레이닝 유닛은 구체적으로,
상기 신경망을 사용함으로써, 샘플 블록 기본 지도의 특징을 추출하여, 상기 샘플 블록 기본 지도의 특징 지도를 획득하고,
상기 샘플 블록 기본 지도의 상기 특징 지도에 기초하여, 상기 샘플 블록 기본 지도의 각각의 픽셀이 상기 도로 표시에 속하는 상기 확률을 결정하며,
상기 샘플 블록 기본 지도의 상기 특징 지도에 따라, 상기 샘플 블록 기본 지도의 상기 사전 설정된 확률 값보다 더 큰 확률의 각각의 픽셀의 n차원 특징 벡터를 결정하도록 구성되고,
상기 n차원 특징 벡터는 상기 도로 표시의 인스턴스 특징을 나타내기 위해 사용되며, n은 1보다 더 큰 정수이고,
상기 트레이닝 유닛은 구체적으로, 상기 픽셀의 상기 결정된 n차원 특징 벡터에 따라, 상기 샘플 블록 기본 지도의 상기 사전 설정된 확률 값보다 더 큰 확률의 상기 픽셀을 클러스터링하여, 상기 샘플 블록 기본 지도의 동일한 도로 표시에 속하는 상기 픽셀을 결정하도록 구성되며,
상기 트레이닝 유닛은 구체적으로, 상기 샘플 블록 기본 지도에 표시된 상기 도로 표시, 및 상기 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 상기 결정된 픽셀에 따라, 상기 신경망의 네트워크 파라미터 값을 조정하도록 구성되는, 장치.
제39항에 있어서,
상기 트레이닝 유닛은,
상기 샘플 블록 기본 지도의 제1 픽셀의 표시된 거리를 결정하도록 추가로 구성되며,
상기 제1 픽셀은 상기 샘플 블록 기본 지도의 임의의 픽셀이고, 상기 제1 픽셀의 상기 표시된 거리는 상기 제1 픽셀과 제2 픽셀 사이의 거리이며, 상기 제2 픽셀은, 상기 샘플 블록 기본 지도에 표시된 상기 도로 표시에 있는 상기 픽셀에서 상기 제1 픽셀로부터 최소 거리를 갖는 픽셀이고,
상기 샘플 블록 기본 지도에 표시된 상기 도로 표시, 및 상기 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 상기 결정된 픽셀에 따라, 상기 신경망의 상기 네트워크 파라미터 값을 조정하는 것과 관련하여, 상기 트레이닝 유닛은 구체적으로,
상기 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 상기 결정된 픽셀, 상기 샘플 블록 기본 지도에 표시된 상기 도로 표시, 상기 샘플 블록 기본 지도의 상기 제1 픽셀의 상기 표시된 거리, 및 상기 샘플 블록 기본 지도의 상기 제1 픽셀의 예측된 거리에 따라, 상기 신경망의 상기 네트워크 파라미터 값을 조정하도록 구성되며,
상기 제1 픽셀의 상기 예측된 거리는 상기 제1 픽셀과 제3 픽셀 사이의 거리이고, 상기 제3 픽셀은, 상기 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 상기 결정된 픽셀에서 상기 제1 픽셀로부터 최소 거리를 갖는 픽셀인, 장치.
제39항 또는 제40항에 있어서,
상기 트레이닝 유닛은,
상기 샘플 블록 기본 지도의 제4 픽셀의 표시된 방향을 결정하도록 추가로 구성되며,
상기 제4 픽셀은 상기 샘플 블록 기본 지도의 임의의 픽셀이고, 상기 제4 픽셀의 상기 표시된 방향은 제5 픽셀의 접선 방향이며, 상기 제5 픽셀은, 상기 샘플 블록 기본 지도에 표시된 상기 도로 표시에 있는 상기 픽셀에서 상기 제4 픽셀로부터 최소 거리를 갖는 픽셀이고,
상기 샘플 블록 기본 지도에 표시된 상기 도로 표시, 및 상기 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 상기 결정된 픽셀에 따라, 상기 신경망의 상기 네트워크 파라미터 값을 조정하는 것과 관련하여, 상기 트레이닝 유닛은 구체적으로,
상기 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 상기 결정된 픽셀, 상기 샘플 블록 기본 지도에 표시된 상기 도로 표시, 상기 샘플 블록 기본 지도의 상기 제4 픽셀의 상기 표시된 방향, 및 상기 샘플 블록 기본 지도의 상기 제4 픽셀의 예측된 방향에 따라, 상기 신경망의 상기 네트워크 파라미터 값을 조정하도록 구성되며,
상기 제4 픽셀의 상기 예측된 방향은 제6 픽셀의 접선 방향이고, 상기 제6 픽셀은, 상기 샘플 블록 기본 지도의 각각의 도로 표시에 속하는 상기 결정된 픽셀에서 상기 제4 픽셀로부터 최소 거리를 갖는 픽셀인, 장치.
지도 생성 장치로서,
제1항 내지 제19항 중 어느 한 항에 따른 상기 방법을 사용하여, 지능형 주행 장치에 의해 획득된 도로의 점군 데이터에 따라, 도로 상의 적어도 하나의 도로 표시를 결정하도록 구성된 결정 유닛; 및
상기 도로 상의 상기 적어도 하나의 도로 표시에 따라, 상기 도로 상의 상기 적어도 하나의 도로 표시를 포함하는 지도를 생성하도록 구성된 생성 유닛을 포함하는,
지도 생성 장치.
제42항에 있어서,
상기 생성된 지도를 보정하여, 보정된 지도를 획득하도록 구성된 보정 유닛을 더 포함하는, 장치.
제42항 또는 제43항에 있어서,
트레이닝 유닛을 더 포함하며,
상기 적어도 하나의 도로 표시는 신경망에 의해 결정되고,
상기 지도를 생성한 후에, 상기 트레이닝 유닛은, 상기 생성된 지도를 사용하여 상기 신경망을 트레이닝하도록 구성되는, 장치.
지능형 주행 장치로서,
제42항 내지 제44항 중 어느 한 항에 따른 상기 지도 생성 장치; 및
상기 지능형 주행 장치의 본체를 포함하는,
지능형 주행 장치.
전자 장치로서,
프로세서, 메모리, 통신 인터페이스, 및 하나 이상의 프로그램을 포함하며,
상기 하나 이상의 프로그램은 상기 메모리에 저장되고, 상기 프로세서에 의해 실행되도록 구성되며,
상기 프로그램은, 제1항 내지 제19항 중 어느 한 항에 따른 상기 방법의 단계, 또는 제20항 내지 제22항 중 어느 한 항에 따른 상기 방법의 단계를 수행하기 위한 명령을 포함하는,
전자 장치.
컴퓨터 판독 가능 저장 매체로서,
제1항 내지 제19항 중 어느 한 항에 따른 상기 방법, 또는 제20항 내지 제22항 중 어느 한 항에 따른 상기 방법을 구현하도록 프로세서에 의해 실행되는 컴퓨터 프로그램을 저장하는,
컴퓨터 판독 가능 저장 매체.
컴퓨터 프로그램 제품으로서,
컴퓨터 실행 가능 명령을 포함하며,
실행된 후에, 상기 컴퓨터 실행 가능 명령은, 제1항 내지 제19항 중 어느 한 항에 따른 상기 방법, 또는 제20항 내지 제22항 중 어느 한 항에 따른 상기 방법을 구현할 수 있는,
컴퓨터 프로그램 제품.