KR20220053513A - 이미지 데이터 자동 라벨링 방법 및 장치 - Google Patents

Abstract

본 발명의 실시예는 이미지 데이터 자동 라벨링 방법 및 장치를 제공한다. 상기 방법은 차량 위치 결정 정보, 지도 데이터 및 차량 수집 이미지를 획득하는 단계(S101); 차량 위치 결정 정보에 따라 차량 위치 결정 정보에 대응되는 국부 영역 내 지도 이미지의 도로 정보를 획득하는 단계(S102); 및 지도 이미지의 도로 정보를 차량 수집 이미지에 투영하여 차량 수집 이미지에서 도로 정보를 라벨링하는 단계(S103)를 포함한다.

Description

이미지 데이터 자동 라벨링 방법 및 장치

관련 출원의 상호 참조

본 발명은 출원번호가 201910983438.9이고 출원일자가 2019년 10월 16일인 중국 특허 출원에 기반하여 제출하였고 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본원 발명에 원용된다.

본 발명은 이미지 처리 기술 분야에 관한 것으로, 이미지 데이터 자동 라벨링 방법 및 장치에 관한 것이다.

신경망을 트레이닝하여 한 장의 도로 사진에서 차선을 인식하려면, 충분한 도로 사진 및 인위적으로 신중하게 라벨링된 차선 위치 및 속성의 대응되는 라벨을 준비해야 한다. 풍부한 도로 사진 데이터와 인간의 사전 지식을 가진 라벨 데이터를 제공하여 신경망이 충분히 트레이닝되도록 한 후에야 신경망은 새로운 도로 사진에서 차선을 인식하는 기능을 가질 수 있다. 그러나 이미지 데이터의 인위적 라벨링은 극도로 정력을 소모하는 반복 과정으로, 인건비가 높고, 효율이 낮으며, 라벨링 시간이 증가함에 따라 오류 확률도 현저하게 증가한다.

본 발명의 실시예는 이미지 데이터 자동 라벨링의 기술적 해결수단을 제공한다.

제1 양태로, 본 발명의 실시예는 차량 위치 결정 정보, 지도 이미지 및 차량 수집 이미지를 획득하는 단계 - 상기 지도 이미지는 도로 정보를 포함함 - ; 상기 차량 위치 결정 정보에 따라 상기 차량 위치 결정 정보에 대응되는 국부 영역의 상기 지도 이미지의 도로 정보를 획득하는 단계; 및 상기 지도 이미지의 도로 정보를 상기 차량 수집 이미지에 투영하여, 상기 차량 수집 이미지에 상기 도로 정보를 라벨링하는 단계를 포함하는 이미지 데이터 자동 라벨링 방법을 제공한다.

가능한 실시형태에 있어서, 상기 차량 위치 결정 정보에 따라 상기 차량 위치 결정 정보에 대응되는 국부 영역의 상기 지도 이미지의 도로 정보를 획득하는 단계는, 상기 국부 영역 내 지도 이미지를 루트 노드로 사용하여, 상기 국부 영역 내 지도 이미지의 지도 도로 요소의 속성 정보를 순차적으로 조회하는 단계를 포함하되, 여기서, 상기 지도 도로 요소의 속성 정보는 상기 지도 도로 요소의 시맨틱 정보, 상기 지도 도로 요소의 위치 정보, 상기 지도 도로 요소의 형상 정보 중 적어도 하나의 정보를 포함한다.

가능한 실시형태에 있어서, 상기 방법은, 상기 차량 위치 결정 정보 및 상기 지도 이미지의 범위에 따라, 상기 국부 영역의 범위를 결정하는 단계를 더 포함하고; 상기 차량 위치 결정 정보에 따라 상기 차량 위치 결정 정보에 대응되는 국부 영역의 상기 지도 이미지의 도로 정보를 획득하는 단계는, 상기 국부 영역의 범위 내 상기 지도 이미지의 지도 도로 요소의 속성 정보를 획득하는 단계를 포함한다.

가능한 실시형태에 있어서, 상기 지도 이미지는 세계 글로벌 좌표계에 기반하고, 상기 지도 이미지의 도로 정보를 차량 수집 이미지에 투영하기 이전에, 상기 방법은, 상기 세계 글로벌 좌표계에 기반한 지도 이미지를 차체 좌표계에 전환하여, 상기 차체 좌표계에 기반한 지도 이미지를 획득하는 단계를 더 포함하고; 상기 지도 이미지의 도로 정보를 차량 수집 이미지에 투영하는 단계는, 상기 차체 좌표계에 기반한 지도 이미지를 카메라 좌표계 및 픽셀 좌표계 중 적어도 하나에 전환하여, 지도 이미지의 도로 정보를 상기 차량 수집 이미지에 투영하는 단계를 포함한다.

가능한 실시형태에 있어서, 상기 세계 글로벌 좌표계에 기반한 지도 이미지를 차체 좌표계에 전환하여, 상기 차체 좌표계에 기반한 지도 이미지를 획득하는 단계는, 상기 차량 위치 결정 정보에 따라, 회전 및 평행 이동 행렬의 회전 각도 및 평행 이동량을 획득하는 단계; 및 상기 회전 및 평행 이동 행렬에 따라, 상기 세계 글로벌 좌표계에 기반한 지도 이미지를 상기 차체 좌표계에 전환하여, 상기 차체 좌표계에 기반한 지도 이미지를 획득하는 단계를 포함한다.

가능한 실시형태에 있어서, 상기 지도 이미지가 2차원 지도이면, 상기 차체 좌표계에 기반한 지도 이미지를 카메라 좌표계 및 픽셀 좌표계 중 적어도 하나에 전환하여, 상기 지도 이미지의 도로 정보를 상기 차량 수집 이미지에 투영하는 단계는, 상기 픽셀 좌표계와 상기 차체 좌표계 사이의 호모그래피 행렬을 획득하는 단계; 동차 좌표계를 사용하여 상기 차체 좌표계에 기반한 지도 이미지를 표시하는 단계; 및 상기 호모그래피 행렬에 따라, 상기 동차 좌표계로 표시된 상기 차체 좌표계에 기반한 지도 이미지를 상기 픽셀 좌표계에 전환하여, 상기 픽셀 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하는 단계를 포함한다.

가능한 실시형태에 있어서, 상기 지도 이미지가 3차원 지도이면, 상기 차체 좌표계에 기반한 지도 이미지를 카메라 좌표계 및 픽셀 좌표계 중 적어도 하나에 전환하여, 상기 지도 이미지의 도로 정보를 상기 차량 수집 이미지에 투영하는 단계는, 상기 차체 좌표계와 상기 카메라 좌표계 사이의 회전 및 평행 이동 행렬에 따라, 상기 차체 좌표계에 기반한 지도 이미지를 상기 카메라 좌표계에 전환하여, 상기 카메라 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하는 단계; 및 상기 카메라 좌표계와 상기 픽셀 좌표계 사이의 투영 행렬에 따라, 상기 카메라 좌표계에 투영된 차량 수집 이미지의 도로 정보를 상기 픽셀 좌표계에 전환하여, 상기 픽셀 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하는 단계를 포함한다.

가능한 실시형태에 있어서, 상기 방법은, 도로 정보를 추출하기 위한 신경망을 통해 상기 차량 수집 이미지에 대해 도로 정보 추출 처리를 수행하여, 감지 도로 정보를 획득하는 단계; 및 상기 감지 도로 정보에 따라, 상기 차량 수집 이미지에 투영된 도로 정보를 수정하는 단계를 더 포함한다.

가능한 실시형태에 있어서, 상기 감지 도로 정보에 따라, 상기 차량 수집 이미지에 투영된 도로 정보를 수정하는 단계는, 상기 감지 도로 정보 중 감지 도로 요소와 상기 차량 수집 이미지에 투영된 도로 정보 중 지도 도로 요소 사이의 오프셋 정보를 결정하는 단계; 및 상기 오프셋 정보에 따라, 상기 차량 수집 이미지에 투영된 도로 정보를 수정하는 단계를 포함한다.

가능한 실시형태에 있어서, 상기 감지 도로 정보 중 감지 도로 요소와 상기 차량 수집 이미지에 투영된 도로 정보 중 지도 도로 요소 사이의 오프셋 정보를 결정하는 단계는, 상기 감지 도로 요소의 속성 정보에 따라, 상기 지도 이미지로부터 상기 감지 도로 요소와 페어링되는 지도 도로 요소를 결정하는 단계; 동일한 기기 좌표계에서 페어링되는 감지 도로 요소와 지도 도로 요소의 위치 정보를 결정하는 단계; 및 상기 위치 정보에 기반하여 페어링되는 감지 도로 요소와 지도 도로 요소 사이의 위치 결정 오프셋을 결정하는 단계를 포함한다.

가능한 실시형태에 있어서, 상기 감지 도로 요소의 속성 정보에 따라, 상기 지도로부터 상기 감지 도로 요소와 페어링되는 지도 도로 요소를 결정하는 단계는, 상기 지도 이미지에서, 상기 차량 위치 결정 정보에 기반하여 기설정된 범위 내의 지도 도로 요소를 검색하는 단계; 상기 차량 수집 이미지 중 감지 도로 요소와 상기 기설정된 범위 내의 지도 도로 요소를 속성 정보에 기반하여 둘둘씩 페어링하여, 다양한 페어링 방식을 획득하는 단계 - 상이한 페어링 방식 중 적어도 하나의 감지 도로 요소와 상기 기설정된 범위 내의 지도 도로 요소의 페어링 방식은 상이함 - ; 각각의 상기 페어링 방식의 신뢰도를 결정하는 단계; 및 상기 다양한 페어링 방식 중 신뢰도가 가장 높거나 설정된 임계값을 초과하는 페어링 방식에서, 상기 감지 도로 요소와 페어링되는 지도 도로 요소를 결정하는 단계를 포함한다.

가능한 실시형태에 있어서, 상기 차량 수집 이미지 중 감지 도로 요소와 상기 기설정된 범위 내의 지도 도로 요소를 페어링하는 단계는, 상기 차량 수집 이미지 중 감지 도로 요소가 상기 기설정된 범위 내의 지도 도로 요소에서 페어링될 도로 요소를 결정할 수 없는 경우, 페어링될 지도 도로 요소에서 빈 요소 또는 가상 요소가 상기 감지 도로 요소와 페어링되도록 설정하는 단계를 포함한다.

가능한 실시형태에 있어서, 각각의 상기 페어링 방식의 신뢰도를 결정하는 단계는, 각각의 상기 페어링 방식 중 각각의 감지 도로 요소와 지도 도로 요소의 페어링된 개체 유사도를 각각 결정하는 단계; 각각의 상기 페어링 방식 중 각 감지 도로 요소와 지도 도로 요소의 페어링된 전체 유사도를 결정하는 단계; 및 각각의 상기 페어링 방식의 각 개체 유사도 및 전체 유사도에 따라, 각각의 상기 페어링 방식의 신뢰도를 결정하는 단계를 포함한다.

가능한 실시형태에 있어서, 상기 위치 결정 오프셋은 좌표 오프셋 및/또는 방향 오프셋을 포함하고; 상기 차량 위치 결정 정보에 기반하여 페어링된 감지 도로 요소와 지도 도로 요소 사이의 위치 결정 오프셋을 결정하는 단계는, 상기 감지 도로 요소의 픽셀점에 대해 샘플링하여, 감지 샘플링 점집합을 획득하는 단계; 상기 지도 도로 요소의 픽셀점에 대해 샘플링하여, 지도 샘플링 점집합을 획득하는 단계; 상기 감지 샘플링 점집합과 상기 지도 샘플링 점집합 각각에 포함된 샘플링 포인트 사이의 회전 및 평행 이동 행렬을 결정하는 단계; 및 상기 회전 및 평행 이동 행렬에 기반하여 상기 감지 도로 요소와 상기 지도 도로 요소의 좌표 오프셋 및 방향 오프셋을 획득하는 단계를 포함한다.

제2 양태로, 본 발명의 실시예는 차량 위치 결정 정보, 지도 이미지 및 차량 수집 이미지를 획득하도록 구성되는 제1 획득 부분 - 상기 지도 이미지는 도로 정보를 포함함 - ; 상기 차량 위치 결정 정보에 따라 상기 차량 위치 결정 정보에 대응되는 국부 영역의 상기 지도 이미지의 도로 정보를 획득하도록 구성되는 제2 획득 부분; 및 상기 지도 이미지의 도로 정보를 상기 차량 수집 이미지에 투영하여, 상기 차량 수집 이미지에 상기 도로 정보를 라벨링하도록 구성되는 투영 부분을 포함하는 이미지 데이터 자동 라벨링 장치를 제공한다.

가능한 실시형태에 있어서, 상기 제2 획득 부분은, 상기 국부 영역 내 지도 이미지를 루트 노드로 사용하여, 상기 국부 영역 내 지도 이미지의 지도 도로 요소의 속성 정보를 순차적으로 조회하도록 구성되되, 여기서, 상기 지도 도로 요소의 속성 정보는 상기 지도 도로 요소의 시맨틱 정보, 상기 지도 도로 요소의 위치 정보, 상기 지도 도로 요소의 형상 정보 중 적어도 하나의 정보를 포함한다.

가능한 실시형태에 있어서, 상기 장치는, 상기 차량 위치 결정 정보 및 상기 지도 이미지의 범위에 따라, 상기 국부 영역의 범위를 결정하도록 구성되는 제1 결정 부분; 및 상기 국부 영역의 범위 내 상기 지도 이미지의 지도 도로 요소의 속성 정보를 획득하도록 구성되는 제2 획득 부분을 더 포함한다.

가능한 실시형태에 있어서, 상기 지도 이미지는 세계 글로벌 좌표계에 기반하고, 상기 장치는, 상기 세계 글로벌 좌표계에 기반한 지도 이미지를 차체 좌표계에 전환하여, 상기 차체 좌표계에 기반한 지도 이미지를 획득하도록 구성되는 제1 전환 부분; 및 상기 차체 좌표계에 기반한 지도 이미지를 카메라 좌표계 및 픽셀 좌표계 중 적어도 하나에 전환하여, 상기 지도 이미지의 도로 정보를 상기 차량 수집 이미지에 투영하도록 구성되는 상기 투영 부분을 더 포함한다.

가능한 실시형태에 있어서, 상기 제1 전환 부분은, 상기 차량 위치 결정 정보에 따라, 회전 및 평행 이동 행렬의 회전 각도 및 평행 이동량을 획득하고; 상기 회전 및 평행 이동 행렬에 따라, 상기 세계 글로벌 좌표계에 기반한 지도 이미지를 상기 차체 좌표계에 전환하여, 상기 차체 좌표계에 기반한 지도 이미지를 획득하도록 구성된다.

가능한 실시형태에 있어서, 상기 지도 이미지가 2차원 지도이면, 상기 투영 부분은, 상기 픽셀 좌표계와 상기 차체 좌표계 사이의 호모그래피 행렬을 획득하도록 구성되는 제3 획득 부분; 동차 좌표계를 사용하여 상기 차체 좌표계에 기반한 지도 이미지를 표시하도록 구성되는 표시 부분; 및 상기 호모그래피 행렬에 따라, 상기 동차 좌표계로 표시된 상기 차체 좌표계에 기반한 지도 이미지를 상기 픽셀 좌표계에 전환하여, 상기 픽셀 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하도록 구성되는 제2 전환 부분을 포함한다.

가능한 실시형태에 있어서, 상기 지도 이미지가 3차원 지도이면, 상기 투영 부분은, 상기 차체 좌표계와 상기 카메라 좌표계 사이의 회전 및 평행 이동 행렬에 따라, 상기 차체 좌표계에 기반한 지도 이미지를 상기 카메라 좌표계에 전환하여, 상기 카메라 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하도록 구성되는 제3 전환 부분; 및

상기 카메라 좌표계와 상기 픽셀 좌표계 사이의 투영 행렬에 따라, 상기 카메라 좌표계에 투영된 차량 수집 이미지의 도로 정보를 상기 픽셀 좌표계에 전환하여, 상기 픽셀 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하도록 구성되는 제4 전환 부분을 포함한다.

가능한 실시형태에 있어서, 상기 장치는, 도로 정보를 추출하기 위한 신경망을 통해 상기 차량 수집 이미지에 대해 도로 정보 추출 처리를 수행하여, 감지 도로 정보를 획득하도록 구성되는 추출 부분; 및 감지 도로 정보에 따라, 상기 차량 수집 이미지에 투영된 도로 정보를 수정하도록 구성되는 제1 수정 부분을 더 포함한다.

가능한 실시형태에 있어서, 상기 제1 수정 부분은, 상기 감지 도로 정보 중 감지 도로 요소와 상기 차량 수집 이미지에 투영된 도로 정보 중 지도 도로 요소 사이의 오프셋 정보를 결정하도록 구성되는 제2 결정 부분; 및 상기 오프셋 정보에 따라, 상기 차량 수집 이미지에 투영된 도로 정보를 수정하도록 구성되는 제2 수정 부분을 포함한다.

가능한 실시형태에 있어서, 상기 제2 결정 부분은, 상기 감지 도로 요소의 속성 정보에 따라, 상기 지도 이미지로부터 상기 감지 도로 요소와 페어링되는 지도 도로 요소를 결정하도록 구성되는 제3 결정 부분; 동일한 기기 좌표계에서 페어링되는 감지 도로 요소와 지도 도로 요소의 위치 정보를 결정하도록 구성되는 제4 결정 부분; 및 상기 위치 정보에 기반하여 페어링되는 감지 도로 요소와 지도 도로 요소 사이의 위치 결정 오프셋을 결정하도록 구성되는 제5 결정 부분을 포함한다.

가능한 실시형태에 있어서, 상기 제3 결정 부분은, 상기 지도 이미지에서, 상기 차량 위치 결정 정보에 기반하여 기설정된 범위 내의 지도 도로 요소를 검색하도록 구성되는 검색 부분; 상기 차량 수집 이미지 중 감지 도로 요소와 상기 기설정된 범위 내의 지도 도로 요소를 속성 정보에 기반하여 둘둘씩 페어링하여, 다양한 페어링 방식을 획득하도록 구성되는 매칭 부분 - 상이한 페어링 방식 중 적어도 하나의 감지 도로 요소와 상기 기설정된 범위 내의 지도 도로 요소의 페어링 방식은 상이함 - ; 각각의 상기 페어링 방식의 신뢰도를 결정하도록 구성되는 제6 결정 부분; 및 상기 다양한 페어링 방식 중 신뢰도가 가장 높거나 설정된 임계값을 초과하는 페어링 방식에서, 상기 감지 도로 요소와 페어링되는 지도 도로 요소를 결정하도록 구성되는 제7 결정 부분을 포함한다.

가능한 실시형태에 있어서, 상기 매칭 부분은, 상기 차량 수집 이미지 중 감지 도로 요소가 상기 기설정된 범위 내의 지도 도로 요소에서 페어링될 도로 요소를 결정할 수 없는 경우, 페어링될 지도 도로 요소에서 빈 요소 또는 가상 요소가 상기 감지 도로 요소와 페어링되도록 설정하도록 구성된다.

가능한 실시형태에 있어서, 상기 제6 결정 부분은, 각각의 상기 페어링 방식 중 각각의 감지 도로 요소와 지도 도로 요소의 페어링된 개체 유사도를 각각 결정하고; 각각의 상기 페어링 방식 중 각 감지 도로 요소와 지도 도로 요소의 페어링된 전체 유사도를 결정하며; 각각의 상기 페어링 방식의 각 개체 유사도 및 전체 유사도에 따라, 각각의 상기 페어링 방식의 신뢰도를 결정하도록 구성된다.

가능한 실시형태에 있어서, 상기 위치 결정 오프셋은 좌표 오프셋 및/또는 방향 오프셋을 포함하고; 상기 제5 결정 부분은, 상기 감지 도로 요소의 픽셀점에 대해 샘플링하여, 감지 샘플링 점집합을 획득하도록 구성되는 제1 샘플링 부분; 상기 지도 도로 요소의 픽셀점에 대해 샘플링하여, 지도 샘플링 점집합을 획득하도록 구성되는 제2 샘플링 부분; 상기 감지 샘플링 점집합과 상기 지도 샘플링 점집합 각각에 포함된 샘플링 포인트 사이의 회전 및 평행 이동 행렬을 결정하도록 구성되는 제8 결정 부분; 및 상기 회전 및 평행 이동 행렬에 기반하여 상기 감지 도로 요소와 상기 지도 도로 요소의 좌표 오프셋 및 방향 오프셋을 획득하도록 구성되는 제4 획득 부분을 포함한다.

제3 양태로, 본 발명의 실시예는 입력 장치, 출력 장치, 메모리 및 프로세서를 포함하되, 상기 메모리에는 한 그룹의 프로그램 코드가 저장되고, 상기 프로세서는 상기 메모리에 저장된 프로그램 코드를 호출하는데 사용되며, 상기 제1 양태 또는 그 다양한 구현에 따른 방법을 수행하는 이미지 데이터 자동 라벨링 장치를 제공한다.

제4 양태로, 본 발명의 실시예는 명령이 저장되고, 이가 컴퓨터에서 실행될 경우, 컴퓨터가 상기 제1 양태 또는 그 다양한 구현에 따른 방법을 수행하도록 하는 컴퓨터 판독 가능 저장 매체를 제공한다.

제5 양태로, 본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중 프로세서가 상기 제1 양태 또는 그 다양한 구현에 따른 방법을 수행하는 컴퓨터 프로그램을 제공한다.

본 발명의 해결수단을 사용하여, 하기와 같은 유익한 효과를 갖는다.

지도 데이터에 포함된 풍부한 도로 정보를 사용하여, 상기 지도 데이터의 도로 정보를 차량 수집 이미지에 투영하여, 차량 수집 이미지의 도로 정보의 자동 라벨링을 구현하여, 라벨링된 이미지 데이터의 효율을 향상시키고, 데이터 라벨링의 오류 확률을 감소시키는데 유리해져, 이미지 데이터 라벨링의 인건비를 감소시킬 수 있다.

아래에 본 발명의 실시예 또는 배경 기술에 사용되어야 하는 도면에 대해 설명한다.
도 1은 본 발명의 실시예에서 제공된 이미지 데이터 자동 라벨링 방법의 흐름 모식도이다.
도 2는 본 발명의 실시예에서 제공된 다른 이미지 데이터 자동 라벨링 방법의 흐름 모식도이다.
도 3a 내지 도 3c는 도로 요소를 인식하는 시맨틱 정보의 효과도를 도시한다.
도 4a는 세계 글로벌 좌표계의 모식도이다.
도 4b는 차체 좌표계의 모식도이다.
도 4c는 카메라 좌표계 및 픽셀 좌표계의 모식도이다.
도 5는 본 발명의 실시예에서 제공된 감지 도로 요소와 지도 도로 요소 사이의 오프셋 정보를 결정하는 방법의 예시이다.
도 6은 본 발명의 실시예에서 제공된 지도 이미지로부터 감지 도로 요소와 페어링되는 지도 도로 요소를 결정하는 방법의 예시이다.
도 7은 본 발명의 실시예에서 제공된 페어링 방식의 모식도이다.
도 8은 본 발명의 실시예에서 제공된 페어링된 감지 도로 요소와 지도 도로 요소 사이의 위치 결정 오프셋을 결정하는 방법의 예시이다.
도 9는 본 발명의 실시예에서 제공된 최근접 점 반복법의 모식도이다.
도 10은 본 발명의 실시예에서 제공된 이미지 데이터 자동 라벨링 장치의 구조 모식도이다.
도 11은 본 발명의 실시예에서 제공된 다른 이미지 데이터 자동 라벨링 장치의 구조 모식도이다.

아래에 본 발명의 실시예의 도면을 결부하여 본 발명의 실시예에 대해 설명한다.

도 1을 참조하면, 본 발명의 실시예에서 제공된 이미지 데이터 자동 라벨링 방법의 흐름 모식도이고, 예시적으로, 상기 방법은 하기와 같은 단계를 포함할 수 있다.

단계 S101에서, 차량 위치 결정 정보, 지도 이미지 및 차량 수집 이미지를 획득한다.

본 발명의 실시예에서, “차량”은 광범위한 의미로 이해되고, 트럭, 대형 버스, 공공 버스, 소형 승용차와 같은 운송 또는 운영 기능을 가진 기존 의미의 다양한 유형의 차를 포함할 수 있으며; 또한 블라인드 가이드 기기, 스마트 장난감, 청소 로봇 등과 같은 스마트 홈 기기와 같은 이동 가능 로봇 기기를 포함할 수 있고, 산업용 로봇, 서비스 로봇, 장난감 로봇, 교육용 로봇 등일 수도 있으며, 본 발명의 실시예는 한정되지 않는다.

가능한 실시형태에 있어서, 상기 차량에는 상기 차량 위치 결정 정보를 획득하기 위한 위치 센서가 구성될 수 있다.

가능한 실시형태에 있어서, 상기 차량에는 또한 차량 주변의 이미지를 실시간으로 수집하는 시각 센서가 구성될 수 있으며, 획득한 이미지는 차량 수집 이미지로 지칭되기도 한다. 차량에 설치된 시각 센서에 의해 수집된 이미지는 차량 주변 환경에 대한 차량 주행 제어 시스템의 “감지”에 해당되므로, 따라서 차량 수집 이미지는 감지 도로 이미지로 지칭될 수도 있다. 본 발명의 실시예에서, 차량 수집 이미지는 수집된 이미지 자체이고, 이미지에는 정보가 라벨링되지 않았다.

가능한 실시형태에 있어서, 또한 서버 또는 차량 단말기로부터 상기 지도 이미지를 획득할 수 있다. 상기 지도 이미지는 시멘틱 지도, 고정밀 지도 등일 수 있지만 이에 한정되지 않으며, 다른 유형의 지도일 수도 있다. 상기 지도 이미지는 풍부한 도로 정보를 포함한다. 도로 정보는 상기 지도 이미지에 기반하여 인식된 지도 도로 요소의 속성 정보를 의미한다.

가능한 실시형태에 있어서, 도로 정보 중 지도 도로 요소는 도로와 관련된 식별자를 포함할 수 있고, 도로의 다양한 유형의 차선, 정지선, 회전선, 도로 가장자리선, 및 도로 옆이나 도로에 설치된 교통 표지판, 신호등, 가로등 중 적어도 하나 또는 복수를 포함할 수 있다. 다양한 유형의 차선은 흰색 실선 차선, 황색 점선 차선, 좌측 가장자리 차선, 우측 가장자리 차선 등을 포함할 수 있지만 이에 한정되지 않고; 다양한 유형의 교통 표지판은 저속 주행 표지판, 주차 금지 표지판, 속도 제한 표지판 등을 포함할 수 있지만 이에 한정되지 않는다. 본 기술분야의 기술자는 도로 요소가 이상 서술에 한정되지 않음을 이해해야 한다.

여기서, 지도 도로 요소의 속성 정보는, 도로 요소의 시맨틱 정보, 위치 정보, 형상 정보 등과 같은 상기 지도 도로 요소와 관련된 하나 또는 복수의 정보를 포함할 수 있다.

여기서, 도로 요소의 시맨틱 정보는 상기 도로 요소가 대표하는 의미, 표현하고자 하는 정보일 수 있으며, 예를 들어, 수집된 도로 이미지에서 도로의 선을 검출한 경우, 도로에서 도로의 선의 위치, 도로에 대한 폭, 길이 등에 따라 상기 선이 정지선, 차선 등임을 결정할 수 있다. 차선은 또한 복수의 유형으로 세분화할 수 있으므로, 차선은 기본적인 시맨틱 정보이고, 또한 선의 위치, 선의 형태에 따라 왼쪽 가장자리 차선, 흰색 실선 차선 등과 같이 그 구체적인 시맨틱 정보를 더 결정할 수 있으며; 교통 표지판의 경우, 저속 주행 표지판, 주차 금지 표지판은 상기 도로 요소의 구체적인 시맨틱 정보일 수 있다. 본 기술분야의 기술자는 도로 요소의 시맨틱 정보의 구체적인 표현 형태가 본 발명의 방법의 구현에 영향을 미치지 않음을 이해해야 한다.

여기서, 상기 위치 센서는 GPS(Global Positioning System, 글로벌 위치 결정 시스템), IMU(Inertial measurement unit, 관성 측정 유닛) 중 적어도 하나를 포함할 수 있고; 상기 시각 센서는 카메라, 비디오 카메라, 웹캠 중 적어도 하나를 포함할 수 있다. 본 기술분야의 기술자는 시각 센서 및 위치 센서가 이상 서술에 한정되지 않음을 이해해야 한다.

여기서, 차량 위치 결정 정보는 각 프레임의 차량 수집 이미지에 대해 획득한 하나의 동기화된 위치 결정 정보일 수 있다. 이는 GPS 위치 결정 정보, 또는 IMU 위치 결정 정보, 또는 상기 GPS 위치 결정 정보 및 상기 IMU 위치 결정 정보의 융합 정보일 수 있다.

여기서, 융합 정보는 GPS 위치 결정 정보 및 IMU 위치 결정 정보를 기반으로 획득한 보다 신뢰적인 위치 결정 결과이다. 이는 GPS 위치 결정 정보 및 IMU 위치 결정 정보에 대해 칼만 필터링을 수행하거나, GPS 위치 결정 정보 및 IMU 위치 결정 정보에 대해 평균값 계산 또는 가중 평균 계산을 수행하여 획득될 수 있다.

단계 S102에서, 차량 위치 결정 정보에 따라 차량 위치 결정 정보에 대응되는 국부 영역 내 지도 이미지의 도로 정보를 획득한다.

가능한 실시형태에 있어서, 하나의 도로의 지도 이미지에 대해, 상기 지도 이미지는 상기 도로의 전부 또는 대부분 도로 요소를 포함한다. 위치 결정 과정에서 획득한 차량 수집 이미지는 상기 도로의 국부 영역 이미지이다. 후속의 지도 이미지의 도로 정보의 자동 라벨링을 구현하기 위해 차량 위치 결정 정보에 대응되는 국부 영역 내의 지도 이미지의 도로 정보만 획득하면 된다. 상기 국부 영역의 범위는 설정이 가능하다. 상기 차량 위치 결정 정보에 대응되는 국부 영역도 시각 센서의 시야 범위와 관련된다.

단계 S103에서, 지도 이미지의 도로 정보를 차량 수집 이미지에 투영하여 차량 수집 이미지에서 도로 정보를 라벨링한다.

가능한 실시형태에 있어서, 지도 이미지는 풍부하고, 정확한 도로 정보를 포함하므로, 지도 이미지의 도로 정보를 차량 수집 이미지에 투영하는 것은 실질적으로 차량 수집 이미지에서 도로 정보를 라벨링하여 차량 수집 이미지도 상기 도로 정보를 포함하여 도로 정보의 자동 라벨링을 구현하도록 하는 것이다. 도로 정보가 자동 라벨링된 차량 수집 이미지는 상기 신경망의 트레이닝에 사용되어 비교적 완벽한 트레이닝 결과를 달성할 수 있다. 반대로, 트레이닝된 신경망을 이용하여 차량 수집 이미지 중 도로 정보를 인식할 수 있다.

본 발명의 실시예에서 제공된 이미지 데이터 자동 라벨링 방법에 따르면, 지도 이미지에 포함된 풍부한 도로 정보를 사용하여, 차량 수집 이미지의 도로 정보의 자동 라벨링을 구현하여, 라벨링된 이미지 데이터의 효율을 향상시키고, 데이터 라벨링의 오류 확률을 감소시키는데 유리해져, 이미지 데이터 라벨링의 인건비를 감소시킬 수 있다.

도 2를 참조하면, 본 발명의 실시예에서 제공된 다른 이미지 데이터 자동 라벨링 방법의 흐름 모식도이고, 예시적으로, 상기 방법은 하기와 같은 단계를 포함할 수 있다.

단계 S201에서, 차량 위치 결정 정보, 지도 이미지 및 차량 수집 이미지를 획득하되, 여기서 지도 이미지는 도로 정보를 포함한다.

상기 단계의 구현은 도 1에 도시된 실시예의 단계 S101을 참조할 수 있다.

설명해야 할 것은, 수집 차량에 의해 도로의 지도 이미지를 수집하고, 지도 이미지 중 지도 도로 요소의 속성 정보를 인식할 수 있다. 수집된 지도 이미지는 서버 또는 차량 단말기에 저장할 수 있다.

가능한 실시형태에 있어서, 수집 차량에는 지도 이미지를 수집하기 위해 시각 센서가 설치된다. 상기 시각 센서는 카메라, 비디오 카메라, 웹캠 중 적어도 하나를 포함할 수 있다. 지도 이미지가 보다 높은 정밀도에 도달하도록 하기 위해, 수집 차량에 구성된 시각 센서는 고정밀 시각 센서일 수 있고, 이로써 해상도가 높고 정밀도가 높은 지도 이미지를 수집할 수 있다. 위치 결정 과정에서, 상기 차량 수집 이미지를 수집하는데 사용되는 시각 센서는 정밀도가 상대적으로 낮은 센서를 사용할 수 있다.

가능한 실시형태에 있어서, 수집 차량에는 또한 수집 차량의 위치 결정 정보를 보다 정확하게 획득하기 위해 고정밀도의 위치 센서가 구성될 수 있다. 위치 결정 과정에서, 차량 위치 결정 정보의 위치 센서는 정밀도가 상대적으로 낮은 위치 센서를 사용하거나 차량 내 기존 위치 센서를 이용할 수 있다.

여기서, 지도 도로 요소의 속성 정보는 시맨틱 정보, 위치 정보, 형상 정보 중 적어도 하나를 포함할 수 있다. 상기 속성 정보는 도로 요소 검출에 사용되는 트레이닝된 신경망으로 인식하여 얻을 수 있다. 상기 신경망은 라벨링 정보를 가진 도로 이미지(샘플 도로 이미지로 지칭되기도 함)를 통해 트레이닝할 수 있고, 상기 샘플 도로 이미지 중 도로 요소는 라벨링 정보를 가지며, 상기 라벨링 정보는 샘플 도로 요소의 속성 정보일 수 있으며, 시맨틱 정보, 형상 정보, 위치 정보 중 하나 또는 복수를 포함할 수 있지만 이에 한정되지 않는다.

샘플 도로 이미지를 통해 신경망에 대해 트레이닝하여, 상기 모델이 입력된 도로 이미지에서 도로 요소의 속성 정보를 인식하는 기능을 구비할 수 있도록 한다. 상기 신경망에 입력된 지도 도로 이미지에 대해, 상기 이미지 중 지도 도로 요소의 속성 정보를 출력할 수 있다.

신경망이 도로 요소를 인식할 수 있는 카테고리는 트레이닝 과정에 사용되는 샘플 도로 요소의 유형에 따라 결정된다. 보다 많은 유형의 샘플 도로 요소를 통해 모델을 트레이닝하여, 보다 높은 인식 기능을 가지도록 한다.

도 3a 내지 도 3c는 도로 요소를 인식하는 시맨틱 정보의 효과도를 도시한다. 여기서, 도 3a는 신경망 모델에 입력된 도로 이미지이며, 차량 수집 이미지일 수 있고, 지도 도로 이미지이거나, 다른 도로 이미지일 수도 있으며; 도 3b는 도면의 횡방향의 굵은 실선 31로 도시된 바와 같이 신경망 모델에 의해 인식된 도로 요소를 도시하고, 그 시맨틱 정보가 “정지선” 32(stopline)임을 획득하여 사진 왼쪽 상부에 라벨링하며; 도 3c는 도 3c의 종방향의 굵은 실선 33으로 도시된 바와 같이 신경망 모델에 의해 인식된 도로 요소를 도시하고, 각 선의 기본 시맨틱 정보, 및 구체적인 시맨틱 정보를 획득한다. 그 기본적인 시맨틱 정보는 “차선”(laneline)이고, 구체적인 시맨틱 정보는 각각 “흰색 실선 차선”(white solid line), “흰색 실선 차선”(white solid line), “흰색 실선 차선”(white solid line), “흰색 실선 차선”(white solid line), “우측 가장자리 차선”(right edge)(왼쪽부터 오른쪽으로)으로, 모두 사진 왼쪽 상부에 라벨링되며, 도 3c의 사진의 왼쪽 상부의 34와 같다. 이미지 데이터 자동 라벨링 과정에서, 상기 지도 이미지를 호출하여, 지도 도로 요소의 상기 속성 정보를 획득할 수 있다.

본 기술분야의 기술자는 지도 도로 요소 속성 정보의 인식 방법이 이상 서술에 한정되지 않고, 또한 다른 인식 방법에 의해 획득될 수 있음을 이해해야 한다.

단계 S202에서, 차량 위치 결정 정보 및 지도 이미지의 범위에 따라, 차량 위치 결정 정보에 대응되는 국부 영역의 범위를 결정한다.

여기서, 도로의 지도 이미지에 대해, 이는 상기 도로의 전부 또는 대부분 도로 요소를 포함한다. 위치 결정 과정에서 획득한 차량 수집 이미지는 상기 도로의 국부 영역 이미지이다. 후속의 지도 이미지의 도로 정보의 자동 라벨링을 구현하기 위해 차량 위치 결정 정보에 대응되는 국부 영역 내의 지도 이미지의 도로 정보만 획득하면 된다. 가능한 실시형태에 있어서, 상기 국부 영역의 범위는 인위적으로 설정이 가능하므로, 경험치 등에 따라 차량 위치 결정 정보에 대응되는 국부 영역의 범위를 결정할 수 있다. 다른 가능한 실시형태에 있어서, 상기 차량 위치 결정 정보에 대응되는 국부 영역은 시각 센서의 시야 범위와 관련되므로, 또한 시각 센서의 시야 범위에 따라 차량 위치 결정 정보에 대응되는 국부 영역의 범위를 결정할 수 있다.

단계 S203에서, 국부 영역 내 지도 이미지를 루트 노드로 사용하여, 국부 영역 내 지도 이미지의 지도 도로 요소의 속성 정보를 순차적으로 조회한다.

본 단계는 국부 영역 범위 내의 지도 이미지의 지도 도로 요소의 속성 정보를 획득하는데 사용된다. 지도 이미지의 도로 정보의 조회 효율을 향상시키기 위해, 트리 계층 관계를 사용하여 도로 정보를 조회할 수 있다. 국부 영역 범위 내의 지도 이미지를 루트 노드로 하고; 루트 노드에 복수의 직사각형 영역을 설정하며, 각각의 직사각형 영역에 중심점을 상기 영역의 결정 위치를 대표하도록 설정하고, 각각의 직사각형 영역은 지도 이미지의 지도 도로 요소에 대응되며; 각각의 지도 도로 요소에 대응되는 속성 정보를 조회한다.

단계 S204에서, 세계 글로벌 좌표계에 기반한 지도 이미지를 차체 좌표계에 전환하여, 차체 좌표계에 기반한 지도 이미지를 획득한다.

가능한 실시형태에 있어서, 상기 지도 이미지는 세계 글로벌 좌표계를 사용하고, 좌표계 내 모든 점은 지구에서 모두 고유한 대응 좌표(경도 및 위도 정보)를 갖는다. 예를 들어, ECEF(Earth-Centered-Earth-Fixed, 지구를 중심으로 하고 지구에 고정됨) 지구 중심 좌표계를 사용할 수 있고, 도 4a에 도시된 세계 글로벌 좌표계의 모식도를 참조하면, 상기 좌표계는 오른손 데카르트 직각 좌표계이며, 지구 중심을 좌표 원점으로 하고, 원점은 본초자오선(Prime meridian)과 0도 위선의 교차점 방향인 x축 정방향을 가리키며, 원점은 북극점 방향인 z축 정방향을 가리키고 길이는 미터를 단위로 한다.

차량 위치 결정 정보에 기반하여, 차량 위치 결정 정보에 대응되는 국부 영역의 지도 이미지의 도로 정보를 획득한 후, 이러한 도로 정보를 세계 글로벌 좌표계로부터 차체 좌표계로 전환하여야 한다. 여기서, 도 4b에 도시된 차체 좌표계의 모식도와 같이, 차체 좌표계도 오른손 데카르트 직각 좌표계이고, 차량 고정밀 관성 네비게이션 중심을 원점으로 하며, 차량의 앞 방향은 x축 정방향이고, 차체 좌측은 y축 정방향이다. 길이는 미터를 단위로 한다.

가능한 실시형태에 있어서, 세계 글로벌 좌표계 및 차체 좌표계는 모두 오른손 데카르트 직각 좌표계이고, 2개의 오른손 데카르트 직각 좌표계 사이의 전환에는 하나의 회전 및 평행 이동 행렬만 필요하다. 단계 S204는, 차량 위치 결정 정보에 따라, 회전 및 평행 이동 행렬의 회전 각도 및 평행 이동량을 획득하는 단계; 및 상기 회전 및 평행 이동 행렬에 따라 세계 글로벌 좌표계에 기반한 지도 이미지를 차체 좌표계에 전환하여, 차체 좌표계에 기반한 지도 이미지를 획득하는 단계를 포함한다. 여기서, 차체 좌표계에서 차량 위치 결정 정보의 위치와 세계 글로벌 좌표계에서 차량 위치 결정 정보의 위치에 따라, 세계 글로벌 좌표계와 차체 좌표계 사이의 회전 및 평행 이동 행렬의 회전 각도 및 평행 이동량을 결정한다. 이로써, 회전 및 평행 이동 행렬에 따라, 세계 글로벌 좌표계에 기반한 지도 이미지를 차체 좌표계에 전환하여, 차체 좌표계에 기반한 지도 이미지를 획득할 수 있다.

단계 S205에서, 차체 좌표계에 기반한 지도 이미지를 카메라 좌표계 및 픽셀 좌표계 중 적어도 하나에 전환하여, 지도 이미지의 도로 정보를 차량 수집 이미지에 투영한다.

여기서, 지도 이미지의 도로 정보를 차량 수집 이미지에 투영하고자 할 경우, 차량 수집 이미지가 카메라 좌표계 또는 픽셀 좌표계에 기반하면, 또한 상기 차체 좌표계에 기반한 지도 이미지를 카메라 좌표계 또는 픽셀 좌표계에 전환해야 한다. 도 4c에 도시된 카메라 좌표계 및 픽셀 좌표계의 모식도와 같다. 여기서, 카메라 좌표계 o-x-y-z는 3차원 지도이고, 픽셀 좌표계 o’-x’-y’는 2차원 지도이다.

가능한 실시형태에 있어서, 지도 이미지가 2차원 지도이면, 단계 S205는 픽셀 좌표계와 차체 좌표계 사이의 호모그래피 행렬을 획득하는 단계; 동차 좌표계를 사용하여 차체 좌표계에 기반한 지도 이미지를 표시하는 단계; 및 호모그래피 행렬에 따라, 동차 좌표계로 표시된 차체 좌표계에 기반한 지도 이미지를 픽셀 좌표계에 전환하여, 픽셀 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하는 단계를 포함한다. 가능한 실시형태에 있어서, 2차원의 지도 이미지의 경우, 호모그래피 행렬 변환 방식을 사용하여 차체 좌표계로부터 픽셀 좌표계로의 전환을 완료할 수 있다. 여기서, 호모그래피 행렬은, 하나의 3차원 물체를 복수의 2차원 평면에 투영할 수 있는 것을 의미하며, 호모그래피 행렬은 하나의 3차원 물체를 특정된 2차원 평면에 투영하는 것을 다른 하나의 2차원 평면에 투영하는 것으로 전환할 수 있다. 3개의 점으로 하나의 평면을 결정하는 원리에 따라, 3차원 물체의 3개 이상의 점을 선택하여, 2개의 2차원 투영 평면에서 이러한 점이 대응하는 투영점을 각각 계산한 다음, 두 그룹에 대응하는 투영점 사이의 전환 행렬이 호모그래피 행렬이며, 대수 해석 방식을 통해 호모그래피 행렬을 구할 수 있다. 가능한 실시형태에 있어서, 인위적 보정 데이터를 통해 픽셀 좌표계와 차체 좌표계 사이의 호모그래피 행렬을 미리 보정할 수 있다. 일 선택 가능한 실시형태에 있어서, 상기 행렬이 3*3이고, 8개의 자유도를 가진다고 가정하면, 하나의 평면에서 다른 하나의 평면으로의 아핀 변환이 완료될 수 있다. 다음, 동차 좌표계를 사용하여 지도 이미지의 도로 정보를 표시한 다음, 각각의 도로 정보의 좌표에 모두 호모그래피 행렬을 곱하여 픽셀 좌표계에 기반한 도로 정보를 획득할 수 있다.

가능한 실시형태에 있어서, 지도 이미지가 3차원 지도이면, 단계 S205는 차체 좌표계와 카메라 좌표계 사이의 회전 및 평행 이동 행렬에 따라, 차체 좌표계에 기반한 지도 이미지를 카메라 좌표계에 전환하여, 카메라 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하는 단계; 및 카메라 좌표계와 픽셀 좌표계 사이의 투영 행렬에 따라, 카메라 좌표계에 투영된 차량 수집 이미지의 도로 정보를 픽셀 좌표계에 전환하여, 픽셀 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하는 단계를 포함한다. 여기서, 3차원의 지도 이미지의 경우, 카메라의 내부 및 외부 파라미터를 사용하여 차체 좌표계, 카메라 좌표계 및 픽셀 좌표계 사이의 전환을 완료할 수 있다. 카메라 이미징 원리는 핀홀 이미징이고, 카메라 내부 파라미터는 카메라 볼록 렌즈의 초점 거리와 픽셀 좌표계의 광학 중심이 위치한 좌표를 의미하며; 카메라 외부 파라미터는 카메라 좌표계와 차체 좌표계 사이의 회전 및 평행 이동 행렬을 의미한다. 카메라 좌표계는 카메라 광학 중심을 원점으로 하고, 카메라 상부, 전방이 각각 y축, z축 정방향인 오른손 데카르트 좌표계이다. 인위적 보정 데이터에 따라 카메라의 내부 및 외부 파라미터를 미리 보정한 후, 먼저 카메라 외부 파라미터를 통해 지도 이미지의 도로 정보를 카메라 좌표계에 회전 및 평행 이동한 다음, 핀홀 이미징의 줌 원리 및 카메라 내부 파라미터에 따라 카메라 좌표계에 기반한 도로 정보가 픽셀 좌표계에 투영되어, 차량 수집 이미지에 투영된 도로 정보를 획득한다.

단계 S206에서, 도로 정보를 추출하기 위한 신경망을 통해 차량 수집 이미지에 대해 도로 정보 추출 처리를 수행하여, 감지 도로 정보를 획득한다.

여기서, 감지 도로 정보는 감지 도로 요소의 속성 정보를 포함한다. 감지 도로 요소의 속성 정보는 도로 요소의 시맨틱 정보, 위치 정보, 형상 정보와 같은 감지 도로 요소와 관련된 하나 또는 복수의 정보를 포함할 수 있다. 지도 도로 요소와 유사하게, 상기 지도 도로 요소는 도로와 관련된 식별자를 포함할 수 있고, 도로의 차선, 정지선, 회전선, 및 도로 옆이나 도로에 설치된 교통 표지판, 신호등, 가로등 중 적어도 하나를 포함할 수 있다. 감지 도로 요소와 지도 도로 요소의 유형은 전부 동일할 수 있거나, 일부가 동일할 수 있다.

이상적인 경우, 감지 도로 요소는 지도의 지도 도로 요소와 중합되어야 한다. 이러한 중합은 감지 도로 요소와 지도 도로 요소의 동일한 좌표계에서의 중합을 의미한다. 그러나, 위치 결정 과정에서 얻은 차량 위치 결정 정보의 위치 결정 편차, 또는 위치 결정 정밀도 부족으로 인해, 특히 차량의 위치 결정 기능을 가진 하드웨어 기기 정밀도가 높지 않거나 비교적 낮은 경우, 차량 수집 이미지에 투영된 도로 정보는 지도 이미지 중 실제 도로 정보와 완전히 중합되지 않을 수 있으므로, 차량 수집 이미지에 투영된 도로 정보를 수정해야 한다.

가능한 실시형태에 있어서, 초기 트레이닝을 통한 신경망을 사용하여 차량 수집 이미지에 대해 도로 정보 추출 처리를 수행하여, 감지 도로 정보를 획득할 수 있다.

상기 신경망은 라벨링 정보를 가진 도로 이미지(샘플 도로 이미지로 지칭되기도 함)를 통해 트레이닝할 수 있고, 상기 샘플 도로 이미지 중 도로 요소는 라벨링 정보를 가지며, 상기 라벨링 정보는 샘플 도로 요소의 속성 정보일 수 있다. 예를 들어, 샘플 도로 요소의 속성 정보는 시맨틱 정보, 형상 정보, 위치 정보 중 하나 또는 복수를 포함할 수 있지만 이에 한정되지 않는다. 샘플 도로 이미지를 통해 신경망에 대해 트레이닝하여, 상기 모델이 입력된 도로 이미지에서 도로 요소의 속성 정보를 인식하는 기능을 구비할 수 있도록 한다. 상기 신경망에 입력된 지도 도로 이미지에 대해, 상기 이미지 중 지도 도로 요소의 속성 정보를 출력할 수 있다. 신경망이 도로 요소를 인식할 수 있는 카테고리는 트레이닝 과정에 사용되는 샘플 도로 요소의 유형에 따라 결정된다. 보다 많은 유형의 샘플 도로 요소를 통해 모델을 트레이닝하여, 상기 신경망이 보다 높은 인식 기능을 가지도록 한다.

단계 S207에서, 감지 도로 정보에 따라, 차량 수집 이미지에 투영된 도로 정보를 수정한다.

감지 도로 요소가 지도의 지도 도로 요소와 완전히 중합되지 않으면, 감지 도로 정보에 따라, 차량 수집 이미지에 투영된 도로 정보를 수정할 수 있다.

가능한 실시형태에 있어서, 단계 S207은 감지 도로 정보 중 감지 도로 요소와 차량 수집 이미지에 투영된 도로 정보 중 지도 도로 요소 사이의 오프셋 정보를 결정하는 단계; 및 상기 오프셋 정보에 따라, 차량 수집 이미지에 투영된 도로 정보를 수정하는 단계를 포함한다. 이는 아래 실시예에서 상세하게 설명될 것이다.

본 발명의 실시예에서 제공된 정보 라벨링 방법에 따르면, 지도 데이터에 포함된 풍부한 도로 정보를 사용하여, 상기 지도 데이터의 도로 정보를 차량 수집 이미지에 투영하여, 차량 수집 이미지의 도로 정보의 자동 라벨링을 구현하여, 라벨링된 이미지 데이터의 효율을 향상시키고, 데이터 라벨링의 오류 확률을 감소시키는데 유리해져, 이미지 데이터 라벨링의 인건비를 감소시킬 수 있으며; 또한, 감지 도로 정보에 따라, 차량 수집 이미지에 투영된 도로 정보를 수정하여, 이미지 데이터 라벨링의 정확성을 향상시킨다.

도 5는 감지 도로 요소와 지도 도로 요소 사이의 오프셋 정보를 결정하는 방법을 도시하고, 도 5에 도시된 바와 같이, 상기 방법은 하기와 같은 단계를 포함할 수 있다.

단계 S301에서, 감지 도로 요소의 속성 정보에 따라, 지도 이미지로부터 상기 감지 도로 요소와 페어링되는 지도 도로 요소를 결정한다.

가능한 실시형태에 있어서, 실시간으로 수집된 차량 수집 이미지에 대해, 미리 상기 도로에 대한 지도가 이미 구축되어 있으면, 상기 차량 수집 이미지의 감지 도로 요소는 지도에서 이와 페어링되는 지도 도로 요소를 획득할 수 있다. 즉, 하나의 감지 도로 요소의 경우, 잘못 인식되지 않았거나, 지도에서 구축하거나 최신 업데이트 후 새로 나타나지 않으면, 일반적으로 지도에서 이와 대응되는 하나의 지도 도로 요소를 찾을 수 있다.

단계 S302에서, 동일한 기기 좌표계에서 페어링되는 감지 도로 요소와 지도 도로 요소의 위치 정보를 결정한다.

위치 비교로 인해 동일한 좌표계에서 수행해야 하므로, 따라서 획득한 감지 도로 요소의 위치 정보 및 지도 도로 요소의 위치 정보가 동일한 좌표계에 있지 않으면, 양자를 동일한 좌표계에 전환해야 한다.

지도 도로 요소의 위치 정보가 경도 및 위도 좌표계에서의 지도 위치 정보인 경우, 상기 지도 위치 정보를 차체 좌표계에 전환해야 하며, 이하 GPS 기기 좌표계를 예로 설명한다.

가능한 실시형태에 있어서, 상기 좌표계 전환 과정은 2개의 단계로 나눌 수 있으며, 우선, 지도 위치 정보를 경도 및 위도 좌표계(예를 들어, WGS84 좌표계)로부터 UTM 좌표계로 전환한 다음, GPS의 차량 위치 결정 정보를 이용하여, 지도 도로 요소를 UTM 좌표계로부터 GPS 기기 좌표계로 전환한다. 자율 주행 차량의 경우, 이 단계는 먼저 차량 전방을 동쪽 방향으로 협각 θ로 회전한 다음 GPS의 경도 및 위도 위치 결정 정보(x, y)를 평행 이동하여 획득할 수 있다.

본 기술분야의 기술자는, 다른 위치 센서의 경우, 그 전환 규칙에 따라 경도 및 위도 좌표계로부터 차체 좌표계로의 전환을 수행할 수 있음을 이해해야 한다.

단계 S303에서, 위치 정보에 기반하여 페어링되는 감지 도로 요소와 지도 도로 요소 사이의 위치 결정 오프셋을 결정한다.

동일한 기기 좌표계에서의 감지 도로 요소 및 이와 페어링되는 지도 도로 요소의 위치 정보를 획득한 후, 양자의 위치에 기반하여, 이들 사이의 위치 결정 오프셋을 결정할 수 있다.

가능한 실시형태에 있어서, 페어링된 감지 도로 요소와 지도 도로 요소를 동일한 기기 좌표계에 전환한 다음, 양자의 위치 정보를 이용하여 이들 사이의 위치 결정 오프셋을 결정한다.

도 6은 지도 이미지로부터 감지 도로 요소와 페어링되는 지도 도로 요소를 결정하는 방법을 도시하며, 도 6에 도시된 바와 같이, 상기 방법은 하기와 같은 단계를 포함할 수 있다.

단계 S401에서, 지도 이미지에서, 차량 위치 결정 정보에 기반하여 기설정된 범위 내의 지도 도로 요소를 검색한다.

여기서, 차량 위치 결정 정보는 차량 자체의 위치 정보이다. 예를 들어, 자율 주행 차량의 경우, 즉 차량이 위치한 위치 정보이다. 상기 차량 위치 결정 정보를 통해, 지도 이미지에서 차량의 위치를 결정할 수 있으며, 이로써 지도 이미지에서 설정 범위 내의 지도 도로 요소, 즉 차량 근처의 지도 도로 요소를 찾을 수 있다.

차량 수집 이미지는 차량에 구성된 시각 센서에 의해 획득되므로, 차량 수집 이미지의 각 도로 요소는 차량의 위치 결정 과정에서 차량 근처에 위치한 도로 요소이다. 따라서, 지도에서 차량 근처의 지도 도로 요소를 찾는 것은 감지 도로 요소와 페어링되는 지도 도로 요소를 가장 가능성이 높고, 가장 빨리 찾을 수 있는 방식이다.

상기 기설정된 범위는 수요에 따라 설정할 수 있다. 예를 들어, 매칭에 필요한 정밀도가 높으면, 상기 범위를 상대적으로 크게 설정하여, 후속 과정에서 감지 도로 요소와 페어링되도록 비교적 많은 지도 도로 요소를 획득할 수 있고; 실시간성에 대한 요구가 높고, 매칭 속도가 더 빨라지기를 바라면, 상기 범위를 상대적으로 작게 설정할 수 있다. 예를 들어, 기설정된 범위는 지도에서 차량 위치 결정 정보를 중심점으로 하며, 상기 시각 센서의 시각 범위와 초기 위치 결정 오차의 2배 내지 5배의 범위일 수 있으며, 이로써 매칭 속도와 정확도를 가늠할 수 있다.

예를 들어, 시각 센서의 시각 범위가 60 m이고, 초기 위치 결정 오차가 10 m이면, 기설정된 범위를 (60+10)*2로 설정할 수 있다. 다시 말해서, 이경우, 기설정된 범위는 차량 위치 결정을 중심으로 하는 140 m*140 m의 직사각형 프레임일 수 있다.

단계 S402에서, 차량 수집 이미지 중 감지 도로 요소와 기설정된 범위 내의 지도 도로 요소를 속성 정보에 기반하여 둘둘씩 페어링하여, 다양한 페어링 방식을 획득한다.

가능한 실시형태에 있어서, 열거 방식을 통해, 차량 수집 이미지 중 각각의 차량 수집 이미지와 기설정된 범위 내 각각의 지도 도로 요소를 각각 둘둘씩 페어링하여, 다양하고 상이한 페어링 방식을 획득할 수 있다.

상기 상이한 페어링 방식은, 적어도 하나의 감지 도로 요소와 상기 기설정된 범위 내의 지도 도로 요소의 페어링 방식이 상이한 것일 수 있다. 예를 들어, 차량 수집 이미지 중 감지 도로 요소는 a1, a2, …, aM을 포함하고, 상기 기설정된 범위 내 지도 도로 요소는 b1, b2, …, bN을 포함하되, 여기서 M, N은 모두 양의 정수이고, N은 M보다 크거나 같다. 다시 말해서, 지도 도로 요소의 개수는 감지 도로 요소의 개수보다 많거나 적어도 같다. 감지 도로 요소(a1, a2, …, aM)와 지도 도로 요소(b1, b2, …, bN)에 대해 둘둘씩 페어링하여 얻은 각 페어링 방식은 한 그룹의 이진 그룹의 집합이며, 각각의 이진 그룹(ai, bj)은 도로 요소의 페어링 방식이다. 이진 그룹(ai, bj)에서, i≤M이고, i는 [1, M] 범위 이내의 임의의 정수일 수 있으며; j≤N이고, j는 [1, N] 범위 이내의 임의의 정수일 수 있다. 또한, 페어링 방식에서, 감지 도로 요소(a1, a2, …, aM)는 전부가 페어링되어야 하고, 지도 도로 요소(b1, b2, …, bN)에는 페어링 타깃을 찾지 못한 요소가 포함될 수 있다. 상이한 페어링 방식에서, 적어도 한 그룹의 이진 그룹(ai, bj)이 상이하다.

가능한 실시형태에 있어서, 이분 그래프 모델을 통해 감지 도로 요소와 지도 도로 요소의 둘둘 페어링을 구현할 수 있다. 감지 도로 요소와 지도 도로 요소에 기반하여 이분 그래프 모델을 구성하는 단계를 포함한다. 즉 차량 수집 이미지에서, 각 감지 도로 요소를 하나의 점으로 추상화하여, 모든 감지 도로 요소가 하나의 감지 점집합을 형성하고; 지도에서의 지도 도로 요소도 하나의 점으로 추상화하여, 모든 지도 도로 요소가 하나의 지도 점집합을 형성한다. 차량 수집 이미지에 복수의 차선이 존재하는 것과 같이 다양한 동일한 의미를 가진 도로 요소가 존재하는 경우에 응답하여, 차량 왼쪽부터 오른쪽의 순서에 따라 동일한 의미를 가진 감지 도로 요소에 대해 배열할 수 있고, 지도 중 동일한 의미를 가진 지도 도로 요소에 대해서도 유사한 방법으로 배열하며, 형성된 대응 점집합 중 점은 도로 요소의 배열 순서대로 배열된다. 감지 점집합과 지도 점집합 사이는 에지로 연결하며, 각 에지는 하나의 감지 도로 요소와 하나의 지도 도로 요소 사이의 페어링 관계를 표시한다. 상이한 연결 방식은 상이한 페어링 방식을 생성하며, 얻은 각 페어링 방식은 하나의 에지 집합이다.

가능한 실시형태에 있어서, 또한 상기 모델에 기반한 이분 그래프 매칭 방법을 사용하여 모든 페어링 방식에서 합리적인 페어링 방식을 획득할 수 있다. 상기 방법은, 모든 에지 집합에서 가능한 한 많은 엇갈린(교차되지 않은) 에지의 에지 집합을 선택하는 단계를 포함한다. 여기서 설명되는 엇갈린 경우는, 두 에지가 공통점이 없는 경우에 엇갈리고, 또한 그 중 하나의 에지의 두 정점의 점집합에서의 시퀀스 번호가 모두 다른 에지 두 정점의 점집합에서의 시퀀스 번호보다 큰것을 의미하므로, 따라서 물리적 의미상의 엇갈리는 것으로 이해할 수도 있다. 엇갈리는 변을 가진 개수가 설정 비율 또는 설정된 임계값보다 큰 에지 집합을 합리적인 에지 집합으로 지칭할 수 있으며, 즉 도 7에 도시된 바와 같은 합리적인 페어링 방식을 획득한다. 합리적인 페어링 방식을 선별한 다음 신뢰도 계산을 수행하여 후속 과정의 계산량을 감소시킨다.

단계 S403에서, 각각의 페어링 방식의 신뢰도를 결정한다.

하나의 페어링 방식의 경우, 신뢰도는 감지 도로 요소와 지도 도로 요소 사이의 페어링 경우의 평가 지표이다. 하나의 페어링 방식에서, 각각의 감지 도로 요소와 지도 도로의 페어링에 있어서, 양자의 시맨틱 정보 일치성이 높을수록 페어링되는 개수가 더 많고, 페어링 방식의 신뢰도가 더 높다.

가능한 실시형태에 있어서, 하기와 같은 방식을 통해 각각의 페어링 방식의 신뢰도를 결정할 수 있다.

방식 A에서, 각각의 페어링 방식에서, 각각의 감지 도로 요소와 지도 도로 요소의 페어링 개체 유사도를 각각 결정한다. 여기서, 개체 유사도는 페어링 방식 중 각각의 이진 쌍에 대한 그 중 2개의 요소의 속성 정보의 유사도 정도를 의미할 수 있다. 예를 들어, 시맨틱 정보의 유사도, 위치 정보의 유사도, 형상 정보의 유사도 등을 포함할 수 있다. 차선을 예로, 하기와 같은 공식(1)을 통해 감지 차선과 지도 차선 사이의 개체 유사도를 계산할 수 있으며, 그 중 감지 차선은 차량 수집 이미지의 차선을 의미하고, 지도 차선은 지도의 차선을 의미할 수 있다.

(1);

여기서,

는 제i개(왼쪽에서 오른쪽으로 셈, 하기도 동일)의 감지 차선과 제j개의 지도 차선 사이의 에지의 개체 유사도를 나타내고, 가중치로 지칭될 수도 있으며;

는 제i개의 감지 차선과 제j개의 지도 차선 사이의 거리를 나타내고, 여기서 차선을 선분으로 추상하며, 거리 계산 방식은 선분에서 선분까지의 유크리드 거리, 즉 한 선분의 두 끝점과 다른 선분 사이의 거리의 중앙값, 즉 평균값일 수 있고;

는 차선 폭, 즉 두 차선 사이의 폭을 나타내며;

는 단지 제i개의 감지 차선과 제j개의 지도 차선의 차선 속성이 동일한 경우에서만 1이고 그렇지 않으면 0이며; 여기서 차선 속성은 차선 색상, 황색 실선 및 흰색 점선과 같은 선 타입 등을 포함할 수 있고;

는 단지 제i개의 감지 차선과 제j개의 지도 차선의 에지 차선 속성이 동일한 경우에서만 1이고 그렇지 않으면 0이며; 여기서 에지 차선 속성은 차선이 도로의 가장자리에 속하는지 여부를 나타낸다. 상기 공식에서,

는 감지 차선과 지도 차선 사이의 위치 정보 유사도를 계산하는데 사용되고,

는 이들 사이의 형성 정보 유사도를 계산하는데 사용되며,

및

는 이들 사이의 시맨틱 정보 유사도를 계산하는데 사용된다. 본 기술분야의 기술자는, 다른 도로 요소 사이의 개체 유사도에 대해 다른 합리적인 공식을 설정하여 계산할 수 있음을 이해해야 할 것이다.

방식 B에서, 개체 유사도를 결정한 후, 이어서 각각의 상기 페어링 방식 중 각 감지 도로 요소와 지도 도로 요소의 페어링된 전체 유사도를 결정한다.

여기서, 전체 유사도는 하나의 페어링 방식에서 모든 이진 쌍의 속성 정보 유사 정도의 전체 평가일 수 있다. 여기서 속성 정보는 위치 정보와 시맨틱 정보를 포함할 수 있다. 위치 정보의 전체 유사도의 경우, 모든 이진 쌍 중 2개의 요소 사이 거리의 편차를 사용하여 나타낼 수 있다. 편차가 작을수록 모든 이진 쌍 중 2개의 요소 사이 거리가 더 근접하고, 위치 정보의 전체 유사도가 더 높다는 것을 나타내며; 시맨틱 정보의 전체 유사도의 경우, 모든 이진 쌍 중 2개의 요소 시맨틱 정보 유사도를 평균하거나 가중 평균을 계산하여 획득할 수 있다.

방식 C에서, 각각의 상기 페어링 방식의 각 개체 유사도 및 전체 유사도에 따라, 각각의 상기 페어링 방식의 신뢰도를 결정한다. 예를 들어, 각각의 페어링 방식에서, 각각의 이진 그룹의 개체 유사도 합을 전체 유사도로 평균하거나 가중 평균하여, 사이 페어링 방식의 신뢰도를 획득할 수 있다.

본 실시예에서, 페어링 방식에서 각각의 이진 그룹의 개체 유사도 및 전체 유사도를 기반으로 상기 페어링 방식의 신뢰도를 종합적으로 평가하여 개체 페어링의 극단적 효과(극히 양호하거나, 극히 열등함)가 전체 페어링 방식의 신뢰도에 미치는 영향을 방지하여 신뢰도의 계산 결과가 보다 더 신뢰적이도록 한다.

공식(2)는 페어링 방식의 신뢰도 점수를 계산하는 함수 예에 사용되며, 즉 개체 유사도 합, 거리 정보의 전체 유사도, 시맨틱 정보의 전체 유사도 3개의 부분을 통해 점수를 계산한다.

match_weight_sum=sum(match_items_[pr_idx][hdm_idx].weight)+CalculateVarianceOfMatchResult(match_result)+CalculateMMConfidence(match_result); (2);

여기서, match_weight_sum은 하나의 페어링 방식의 신뢰도 점수를 나타내고;

sum(match_items_[pr_idx][hdm_idx].weight)은 페어링 방식 중 각각의 이진 그룹의 개체 유사도 합을 나타내며, 상기 페어링 방식으로부터 선택된 에지의 가중치 합계, 즉 각 쌍의 점집합에 대응되는 에지 가중치 합계를 통해 계산되고;

CalculateVarianceOfMatchResult(match_result)는 페어링 방식에서, 각각의 이진 그룹 사이 거리 정보의 전체 유사도를 나타내며, 페어링 방식에서 각각의 이진 그룹 중 2개의 요소 사이 거리의 편차를 통해 계산된다. 차선을 예로, 페어링된 차선 사이에 거리가 존재하고, 상기 편차는 즉 모든 이러한 거리의 편차이다. 이론적으로, 모든 페어링된 감지 차선과 지도 차선 사이의 거리는 같아야 하며, 즉 편차가 0이어야 하는데, 실제적으로 오류의 불가피한 도입으로 상기 편차는 가능하게 0이 아닐 수도 있고;

CalculateMMConfidence(match_result)는 페어링 방식에서, 각각의 이진 그룹 시맨틱 정보의 전체 유사도를 나타내며, 각각의 이진 그룹 중 2개의 요소 사이의 의미 유사도를 비교하여 계산된다. 여전히 차선을 예로, 모든 페어링된 차선의 속성이 일치한지 여부와, 개수가 일치한지 여부를 판단할 수 있다. 예를 들어, 속성이 전부 일치한 신뢰도는 100 %이고, 한 쌍의 차선의 속성이 일치하지 않을 때마다, 예를 들어 신뢰도가 10 % 하강되는 것으로 설정할 수 있으며, 개수가 매칭되지 않을 때 신뢰도는 직접 30 % 하강된다.

이상 3개 부분을 계산한 결과를 통해, 결과를 가하여, 페어링 방식의 신뢰도 점수를 획득할 수 있다.

단계 S404에서, 다양한 페어링 방식 중 신뢰도가 가장 높거나 설정된 임계값을 초과하는 페어링 방식에서, 감지 도로 요소와 페어링되는 지도 도로 요소를 결정한다.

가능한 실시형태에 있어서, 그 중 신뢰도가 가장 높은 해결수단을 최종 선택된 페어링 방식으로 사용할 수 있고, 그 중 설정된 임계값을 초과한 페어링 방식을 최종 선택된 페어링 방식으로 사용할 수도 있음으로써 감지 도로 요소와 페어링되는 지도 도로 요소를 결정할 수 있다.

본 실시예에서, 차량 위치 결정 정보를 사용하여 감지 도로 요소와 페어링하기 위해 지도에서 기기 근처의 지도 도로 요소를 획득함으로써, 전체 지도에서 감지 도로 요소와 페어링되는 지도 도로 요소를 찾는 것에 비해, 연산량을 감소시키고, 매칭 속도를 향상시켜 실시간 위치 결정을 구현하는데 유리하다.

가능한 실시형태에 있어서, 상기 차량 수집 이미지 중 감지 도로 요소와 상기 기설정된 범위 내 지도 도로 요소를 페어링하는 과정에서, 차량 수집 이미지 중 감지 도로 요소가 상기 기설정된 범위 내의 지도 도로 요소와 페어링되는 도로 요소를 결정할 수 없는 경우, 페어링될 지도 도로 요소에서 빈 요소 또는 가상 요소를 설정하여 상기 감지 도로 요소와 페어링한다.

이상적인 경우, 차량 수집 이미지 중 감지 도로 요소는 지도 중 지도 도로 요소와 일일이 대응되지만, 감지 도로 요소가 오류적으로 인식된 결과인 경우이거나, 감지 도로 요소가 지도가 구축된 후 나타난 경우에, 상기 감지 도로 요소와 대응되는 지도 도로 요소를 찾을 수 없다. 빈(null) 요소 또는 가상 요소를 설정하여, 모든 감지 도로 요소가 페어링 방식의 결정 과정에서 모두 페어링되는 객체가 있도록 하여, 페어링 방식이 보다 더 풍부해지고, 가장 바람직한 페어링 방식을 종합적으로 평가하는데 유리해지도록 한다.

도 8은 페어링된 감지 도로 요소와 지도 도로 요소 사이의 위치 결정 오프셋을 결정하는 방법을 도시하며, 도 8에 도시된 바와 같이, 상기 방법은 하기와 같은 단계를 포함한다.

단계 S501에서, 감지 도로 요소의 픽셀점에 대해 샘플링하여, 감지 샘플링 점집합을 획득한다.

가능한 실시형태에 있어서, 고정 간격(예를 들어, 0.1미터)으로 감지 도로 요소의 픽셀점에 대해 샘플링하여, 감지 샘플링 점집합을 획득할 수 있다.

도로의 차선을 예로, 차선에 대해 샘플링하여, 감지 차선을 하나의 점집합으로 추상할 수 있다. 복수의 병렬로 된 차선의 경우, 차량의 왼쪽으로부터 오른쪽의 순서로 차선을 배열할 수 있으며, 대응되는 점집합은 차선의 순서에 따라 위로부터 아래로 배열된다.

단계 S502에서, 지도 도로 요소의 픽셀점에 대해 샘플링하여, 지도 샘플링 점집합을 획득한다.

가능한 실시형태에 있어서, 단계 901과 유사한 방식을 적용하여 지도 도로 요소에 대해 샘플링하여, 지도 샘플링 점집합을 획득할 수 있다.

단계 S503에서, 감지 샘플링 점집합과 지도 샘플링 점집합 각각에 포함된 샘플링 포인트 사이의 회전 및 평행 이동 행렬을 결정한다.

가능한 실시형태에 있어서, 페어링된 감지 샘플링 점집합과 지도 샘플링 점집합에 대해, 최근접 점 반복법을 사용하여 2개의 점집합 사이의 회전 및 평행 이동 행렬을 계산할 수 있다. 도 9는 최근접 점 반복법의 모식도이고, 화살표 좌측은 상기 알고리즘 모델에 입력된 2개의 연관된 점집합(페어링된 점집합)을 나타내며, 예를 들어 최소 제곱 알고리즘 모델인 상기 알고리즘 모델을 사용하여 회전 및 평행 이동 행렬을 획득할 수 있다. 상기 회전 및 평행 이동 행렬을 입력된 점집합에 적용하여 2개의 점집합의 중합을 구현할 수 있으며, 도 9에 도시된 바와 같이, 화살표 우측은 즉 중합된 2개의 점집합을 나타낸다.

단계 S504에서, 회전 및 평행 이동 행렬에 기반하여 감지 도로 요소와 지도 도로 요소의 좌표 오프셋 및 방향 오프셋을 획득한다.

단계 S503에서 획득한 회전 평균 이동 행렬은 결정될 위치 결정 오프셋이고, 상기 회전 및 평행 이동 행렬 중 평행 이동 계수는 좌표 오프셋에 대응되며, 회전 계수는 방향 오프셋에 대응된다.

가능한 실시형태에 있어서, 상기 차량 위치 결정 정보는 (x0, y0, θ0)로 나타낼 수 있고, 위치 결정 오프셋은 (dx, dy, dθ)로 나타낼 수 있다. 대응되게, 차량 위치 결정 정보를 수정하여 얻은 위치 결정 정보는 공식(3)과 같을 수 있다.

(x=x0+dx, y=y0+dy, θ=θ0+dθ) (3);

예를 들어, 칼만 필터링, 평균 계산, 가중 평균 계산 등 방법을 사용하여, 획득한 위치 정보와 차량 위치 결정 정보를 융합함으로써, 지도 정보에 의한 위치 결정 정보에 대한 과도한 수정을 방지하고 이미지 데이터 라벨링이 보다 신뢰적이도록 한다.

아래에, 본 발명의 실시예의 하나의 실제 응용 상황에서의 예시적 적용을 설명한다.

본 발명의 실시예에서 제공된 이미지 데이터 자동 라벨링 방법에 있어서, 상기 방법을 통해 도로 이미지에 존재하는 차선, 정지선 및 표지판과 같은 정적 도로 요소의 위치 및 속성에 대한 전자동 라벨링을 완료할 수 있고; 상기 자동 라벨링 알고리즘은 고정밀 지도에 기반하여, 고정밀 지도에는 풍부한 도로 요소가 포함되고, 센티미터 레벨의 정밀도를 갖는다. 고정밀 지도는 자율 주행의 기본 모듈 중 하나로, 현재 고정밀 지도는 널리 사용되고 성숙된 획득 방식을 가지고 있으며; 상기 이미지 데이터 자동 라벨링 방법의 라벨링 정확도는 고정밀 지도와만 관련되고, 고정밀 지도가 신뢰 가능하면, 라벨링 알고리즘은 충분히 높은 정확도를 달성할 수 있으며; 상기 이미지 데이터 자동 라벨링 방법은 자율 주행 시스템의 부속 제품으로 별도의 비용이 필요하지 않다. 주요 원리는 고정밀 위치 결정 정보를 통해 차량 근처의 고정밀 지도 정보를 얻고, 차량 카메라 파라미터를 사용하여 지도 요소를 도로 이미지에 투영하여 대응하는 도로 요소 위치 및 시맨틱 정보를 얻는 것이다. 동시에, 본 발명의 실시예는 낮은 비용의 고정밀 위치 결정 해결수단으로 이미지 데이터의 자동 라벨링을 완료하는 고정밀 지도 구축 해결수단을 더 제공한다.

일 가능한 실시형태에 있어서, 상기 이미지 데이터 자동 라벨링 방법은 자율 주행 시스템의 부속 제품으로, 기존의 자율 주행 시스템의 고정밀 지도, 고정밀 위치 결정 해결수단, 차량 카메라 보정 해결수단 및 위치 결정 및 라벨링 효과를 검출하기 위한 이미지 차선 검출 딥 러닝 모델을 기반으로 한다.

일 가능한 실시형태에 있어서, 상기 이미지 데이터 자동 라벨링 방법은 우선 고정밀 위치 결정 해결수단에 따라 고정밀 지도로부터 차량 근처의 지도 정보를 획득한 후, 차량 카메라 보정 파라미터에 따라 지도 도로 요소를 도로 이미지에 투영한 다음, 이미지 차선 검출 딥 러닝 모델에 의해 추출된 차선과 투영에 의해 얻은 차선 사이의 오프셋을 비교하여 투영 함수를 보정함으로써, 최종 정확도와 정밀도가 비교적 높은 이미지 도로 요소 라벨링 결과를 얻는다.

일 가능한 실시형태에 있어서, 상기 이미지 데이터 자동 라벨링 방법에 사용되는 고정밀 지도는 자율 주행 데이터 수집 차량에서 얻은 레이저 포인트 클라우드 데이터를 간단히 처리하여 얻을 수 있다. 일반적으로, 레이저 포인트 클라우드 반사율을 통해 차선, 정지선과 같은 도로 요소의 포인트 클라우드를 얻은 다음, 템플릿 매칭, 클러스터링 및 피팅 방식을 사용하여 최종 풍부한 도로 요소를 포함한 하나의 고정밀 지도를 획득할 수 있다.

일 가능한 실시형태에 있어서, 본 발명에서 제공된 이미지 데이터 자동 라벨링 방법은, 지도 조회 모듈, 지도 정보 투영 모듈 및 투영 오차 수정 모듈 세 부분을 포함한다. 우선 고정밀 지도와 고정밀 위치 결정 정보의 지도 조회 모듈을 기반으로 하고, 차량 GPS 위치 결정 기기, 차량 고정밀 관성 네비게이션 기기, 및 시각 기반의 위치 결정 수정 정보를 종합적으로 이용하여 적어도 데시미터 레벨의 하나의 위치 결정 결과를 얻은 다음, 이 위치 결정 결과에 기반하여 고정밀 지도 중 차가 위치한 지점의 주변 100 m 영역의 차선, 정지선 위치 및 속성 정보를 포함한 도로 정보를 조회한다. 다음으로, 지도 정보 투영 모듈은 2가지 투영 방식을 지원하는데, 첫 번째는, 2D(2-Dimension, 2차원) 지도 정보 및 미리 보정된 카메라 호모그래피 행렬에 기반한 투영 방식이고; 두 번째는, 3D(3-Dimension, 3차원) 지도 정보 및 미리 보정된 카메라의 내부 및 외부 파라미터에 기반한 투영 방식이다. 2가지 투영 방식은 본질적으로 모두 기하학적 데이터의 공간 변환인 바, 하나는 2D 공간에서 2D 공간으로의 아핀 변환이고, 하나는 3D 공간에서 2D 공간으로의 투영 변환일 뿐이다. 마지막으로, 투영 오차 수정 모듈은 미리 준비된 차선 검출 딥 러닝 모델을 사용하여 이미지 중 차선 위치와 속성 정보를 추출한 다음, 추출된 차선과 투영하여 얻은 차선 사이의 오차를 최소화하고, 투영 함수를 최적화하여, 최적화된 차선, 정지선과 같은 도로 요소의 위치 및 속성의 라벨링 정보를 획득한다.

여기서, 상기 지도 조회 모듈의 입력은 고정밀 지도와 고정밀 위치 결정 정보이고, 출력은 위치 결정 위치 근처의 부분적 지도 정보이다.

일 가능한 실시형태에 있어서, 본 발명의 실시예는 세계 글로벌 좌표계(WGS84 경도 및 위도 좌표계 및 ECEF 지구 중심 좌표계를 포함함), 차체 좌표계 및 카메라 이미지 픽셀 좌표계 3개의 좌표계에 기반하며, 3개의 좌표계는 도 4a, 도 4b 및 도 4c를 참조한다. 여기서, 고정밀 지도는 세계 글로벌 좌표계를 사용하고, 좌표계 내 임의의 점은 지구에서 모두 고유하게 대응되는 좌표가 있으며, 예를 들어 경도 및 위도 정보이고; 여기서 WGS84 경도 및 위도 좌표계는 라디안 값을 사용하여 점 좌표 정보를 나타내므로 사용하기 불편하고, 따라서 좌표계 전환에 관련될 때 ECEF 지구 중심 좌표계를 사용한다. 차체 좌표계도 오른손 데카르트 직각 좌표계이고, 카메라 이미지 픽셀 좌표계는 하나의 2차원 직각 좌표계로, 픽셀을 단위로 한다.

일 가능한 실시형태에 있어서, 세계 글로벌 좌표계에서 차량의 고유한 위치 결정 정보를 획득한 후 차량 앞의 특정 범위 내(카메라의 시야 범위와 관련됨)의 부분적 지도 정보에만 집중되므로 대응 영역의 도로 요소 정보를 추출해야 한다.

일 가능한 실시형태에 있어서, 지도 조회 효율을 향상시키기 위해, 트리 계층 관계를 사용하여 도로 요소를 저장하고, 루트 노드에 복수의 직사각형 영역을 설정하며, 각각의 직사각형 영역에 중심점을 상기 영역의 결정 위치를 대표하도록 설정하고, 아래에 Road를 기본 도로 노드로 설정하며, Road 노드 내부에 차선, 정지선의 위치 및 속성 정보를 저장한다.

일 가능한 실시형태에 있어서, 조회는 재귀적인 과정으로, 먼저 위치 결정 위치에서 가장 가까운 영역을 찾은 다음 위치 결정 위치에 가장 가까운 Road와 해당 차선 및 정지선 정보를 차례로 찾는다. 대규모 조회에 일괄적으로 효율적으로 응답하기 위해 KD 트리를 사용하여 지도의 각 계층의 노드 좌표를 순차적으로 저장하여 조회 과정을 가속화한다.

일 가능한 실시형태에 있어서, 위치 결정 위치 근처의 차선 및 정지선 정보를 얻은 후 이러한 도로 요소를 세계 글로벌 좌표계에서 차체 로컬 좌표계로 전환해야 하며, 2개의 오른손 데카르트 직각 좌표계 사이의 전환에는 하나의 회전 및 평행 이동 행렬만 필요하고, 회전 각도 및 평행 이동량은 위치 결정 정보로부터 획득한다.

일 가능한 실시형태에 있어서, 마지막으로 또한 지도 도로 요소를 필터링하고 카메라의 시야 범위 내 차선과 정지선만 유지하면 된다. 여기에서 수요에 따라 시야의 가려진 부분에 있는 도로 요소 정보를 필터링할 수 있는 바, 예를 들어, 근처에 있는 물체가 멀리 있는 물체를 가릴 수 있지만 이 단계가 필수적인 것은 아니다.

여기서, 상기 지도 정보 투영 모듈의 입력은 위치 결정 위치 근처의 부분적 지도 정보이고, 출력은 카메라 이미지 픽셀 좌표계의 지도 도로 요소이다.

일 가능한 실시형태에 있어서, 본 발명의 실시예의 차체 좌표계에서 카메라 이미지 픽셀 좌표계로의 전환 방법은 2가지 있으며, 각각 2D 지도와 3D 지도에 적응된다.

2D 지도를 사용하면, 지도 중 높이 정보 정밀도는 비교적 낮고, 호모그래피 행렬 변환의 방식을 사용하여 차체 좌표계에서 카메라 이미지 픽셀 좌표계로의 전환을 완료할 수 있으며, 인위적 보정 데이터를 통해 카메라 이미지 픽셀 좌표계와 차체 좌표계 사이의 호모그래피 행렬(상기 행렬은 3*3 행렬로, 8개의 자유도가 있고, 하나의 평면에서 다른 하나의 평면으로의 아핀 변환을 완료할 수 있음)을 미리 보정한다. 다음, 동차 좌표계만 사용하여 지도 요소 정보를 나타낸 다음, 각각의 지도 요소의 좌표에 모두 호모그래피 행렬을 곱하여 카메라 이미지 픽셀 좌표계의 지도 도로 요소를 획득할 수 있다.

3D 지도를 사용하면, 카메라의 내부 및 외부 파라미터를 직접 사용하여 좌표계 전환을 완료할 수 있다. 카메라 이미징 원리는 핀홀 이미징이고, 카메라 내부 파라미터는 카메라 볼록 렌즈의 초점 거리와 픽셀 좌표계의 광학 중심이 위치한 좌표를 의미하며; 카메라 외부 파라미터는 카메라 좌표계와 차체 좌표계 사이의 회전 및 평행 이동 행렬을 의미한다. 카메라 좌표계는 카메라 광학 중심을 원점으로 하고, 카메라 상부, 전방이 각각 y축, z축 정방향인 오른손 데카르트 좌표계이다. 인위적 보정 데이터에 따라 카메라의 내부 및 외부 파라미터를 미리 보정한 후, 먼저 카메라 외부 파라미터를 통해 지도 도로 요소를 카메라 좌표계에 회전 및 평행 이동한 다음, 핀홀 이미징의 줌 원리 및 카메라 내부 파라미터에 따라 지도 도로 요소를 카메라 이미지 픽셀 좌표계에 투영한다.

지도 요소를 픽셀 좌표계에 투영하는 도면은 도 3a, 도 3B 및 도 3c를 참조한다.

여기서, 투영 오차 수정 모듈의 입력은 픽셀 좌표계에서 지도 도로 요소와 딥 러닝 검출 분할 모델에 의해 추출된 감지 차선 정보이고, 출력은 수정된 이미지 라벨이다.

일 가능한 실시형태에 있어서, 위치 결정 오차, 지도 오차, 카메라의 내부 및 외부 파라미터 보정 오차와 같은 객관적인 요소의 존재로 인해, 픽셀 좌표계에 투영된 지도 요소는 이미지 중 실제 정보와 완전히 중합되지 않을 수도 있으므로, 투영 오차를 보정하는 것은 극히 중요한 부분이다.

일 가능한 실시형태에 있어서, 기존의 딥 러닝 검출 분할 모델로 추출한 이미지에서 모든 차선 정보를 사용하여, 이러한 차선을 감지 차선으로 간주한다. 감지 차선의 특성은 위치 정보 정확도가 높은 것이지만, 속성 정보, 개수 정보 및 완전 정도에 일정한 오차가 존재한다. 주요하게 감지 차선과 지도 차선 사이의 오프셋을 사용하여 투영 함수를 수정하되, 여기서 수정 투영 함수는 두 단계로 나뉘며, 첫 번째 단계는 지도 차선과 감지 차선의 대응 관계를 찾는 것이고; 두 번째 단계는 대응 차선 사이의 거리를 최소화하는 것이다. 차선 사이에는 전체 시퀀스 관계가 구비되며, 일반적으로 왼쪽부터 오른쪽으로 배열된다. 지도 차선과 감지 차선을 모두 점으로 추상하여, 감지 점집합과 지도 점집합을 획득할 수 있으며, 감지 점집합 중 점 및 지도 점집합 중 점을 연결(즉 에지를 연결)하고, 감지 점집합 내부의 점은 연결하지 않으며, 지도 점집합 내부의 점은 연결하지 않음으로써, 하나의 이분 그래프 모델을 획득할 수 있다. 따라서, 차선 매칭 문제는 이분 그래프 매칭 문제로 전환될 수 있으며, 이분 그래프의 각 에지는 하나의 감지 차선과 지도 차선의 페어링 관계를 나타낸다. 이분 그래프 모델은 도 7을 참조할 수 있다. 계속하여 이분 그래프의 에지에 가중치를 부여하고, 가중치는 2개의 차선의 유사 정도 및 거리의 반대 수와 같을 수 있다. 유사 정도는 위치 정보의 유사도, 형상 정보의 유사도 및 차선 속성의 매칭 여부를 통해 정량화할 수 있고, 차선과 차선의 거리는 하나의 점집합에서 다른 하나의 곡선으로의 평균 거리로 전환할 수 있다. 가중치가 적용된 이분 그래프를 얻은 후, 목표는 이분 그래프 매칭 검색을 수행하여 에지 가중 합계가 가장 크고 엇갈린 에지 집합을 찾는 것이다. 엇갈리면 에지와 에지 양측의 점이 동일할 수 없으며, 에지 가중 합계가 가장 큰 것은 차선 매칭 해결수단이 가장 바람직한 것을 의미하고, 즉 상기 매칭 해결수단에서 지도 차선과 감지 차선의 유사도가 가장 높다. 차선 매칭 해결수단을 얻은 후, 문제는 차선과 차선 사이의 거리를 최소화하는 것으로 전환된다. 차선은 곡선으로 표시될 수 있고, 곡선의 점에 대해 샘플링하여 점집합을 얻을 수 있다. 최종 문제는 점집합에서 접집합으로의 거리를 최소화하는 것으로 전환되며, 상기 문제는 최근접 점 반복(즉 ICP) 알고리즘으로 해결할 수 있다.

여기서, 도 9를 참조하면, ICP 알고리즘 단계는, (1) 최근접 점 페어링 원칙에 따라 입력된 2개의 점집합 중 점을 둘둘씩 페어링하는 단계; (2) 점 좌표를 최소 제곱 공식에 대입하여, 회전 및 평행 이동 행렬을 찾아 그 중 하나의 점집합의 점이 회전 및 평행 이동에 의해 변환된 후, 페어링된 점 사이의 거리합이 가장 작도록 하는 단계; (3) 특이값 분해로 회전 및 평행 이동 행렬을 구하는 단계를 포함하되, 상기 회전 및 평행 이동 행렬은 문제를 최적화하는 최적해이고, 상기 회전 및 평행 이동 행렬을 통해 2개의 점집합의 중합(즉 상기 감지 점집합과 지도 점집합의 중합을 구현함)을 구현할 수 있다. ICP 알고리즘은 보정량을 출력할 수 있으며, 모든 지도 요소에 상기 보정량을 추가하여 도로 이미지와 완전히 일치하는 지도 도로 요소 정보를 얻을 수 있고, 이러한 정보에는 위치 및 속성 정보, 즉 이미지 라벨링 정보가 포함된다.

본 발명의 실시예에서 제공된 이미지 데이터 자동 라벨링 방법에 따르면, 자율 주행 시스템에 부속되므로 추가 비용이 들지 않고; 자동화 라벨링을 구현하는 동시에 비교적 높은 정확도와 위치 정밀도를 보장할 수 있어; 대규모, 전자동 대량 생산 과정에 적합하다. 본 발명의 실시예에서 제공된 이미지 데이터 자동 라벨링 방법은 자율 주행 차량에 배치되어, 무료의 라벨링 데이터를 지속적으로 자동 획득할 수 있으며, 딥 러닝 연구 또는 응용 모델 트레이닝에 사용되는 대규모 데이터 집합을 구축할 수 있고; 또한 자동 라벨링 알고리즘을 사용하여 상이한 날씨, 시간대, 영역의 라벨링 데이터를 획득하여 분류할 수 있으며, 분류된 데이터를 사용하여 스타일 전환 관련의 모델 트레이닝을 수행하고; 본 방법은 본질적으로 지도 정보를 이미지에 투영하여 이미지의 라벨링을 완료하고 딥 러닝 모델의 트레이닝에 사용하는 것이며; 이 과정은 반대로, 딥 러닝 모델에 의해 인식된 도로 요소 정보를 전역 좌표에 투영하여 자동화 매핑을 수행할 수 있다.

가능한 실시형태에 있어서, 상기 이미지 데이터 자동 라벨링 방법의 수행 주체는 이미지 처리 장치일 수 있고, 예를 들어 이미지 데이터 자동 라벨링 방법은 단말 기기 또는 서버 또는 다른 처리 기기에 의해 수행될 수 있으며, 여기서 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말기, 단말기, 셀룰러 폰, 무선 전화, 개인 정보 단말기(Personal Digital Assistant, PDA), 핸드 헬드 기기, 컴퓨팅 기기, 차량 기기, 웨어러블 기기 등일 수 있다. 일부 가능한 실시형태에 있어서, 상기 이미지 데이터 자동 라벨링 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능 명령을 호출하는 방식으로 구현될 수 있다.

상기 실시예에서 이미지 데이터 자동 라벨링 방법의 동일한 구상을 기반으로, 도 10에 도시된 바와 같이, 본 발명의 실시예는 이미지 데이터 자동 라벨링 장치(1000)를 더 제공하고, 상기 장치(1000)는 상기 도 1, 도 2, 도 5, 도 6, 도 8에 도시된 방법에 적용될 수 있다. 상기 장치(1000)는, 차량 위치 결정 정보, 지도 이미지 및 차량 수집 이미지를 획득하도록 구성되는 제1 획득 부분(11) - 상기 지도 이미지는 도로 정보를 포함함 - ; 상기 차량 위치 결정 정보에 따라 상기 차량 위치 결정 정보에 대응되는 국부 영역의 상기 지도 이미지의 도로 정보를 획득하도록 구성되는 제2 획득 부분(12); 및 상기 지도 이미지의 도로 정보를 상기 차량 수집 이미지에 투영하여, 상기 차량 수집 이미지에 상기 도로 정보를 라벨링하도록 구성되는 투영 부분(13)을 포함한다.

가능한 실시형태에 있어서, 상기 제2 획득 부분(12)은, 상기 국부 영역 내 지도 이미지를 루트 노드로 사용하여, 상기 국부 영역 내 지도 이미지의 지도 도로 요소의 속성 정보를 순차적으로 조회하도록 구성되되, 여기서, 상기 지도 도로 요소의 속성 정보는 상기 지도 도로 요소의 시맨틱 정보, 상기 지도 도로 요소의 위치 정보, 상기 지도 도로 요소의 형상 정보 중 적어도 하나의 정보를 포함한다.

가능한 실시형태에 있어서, 상기 장치(1000)는, 상기 차량 위치 결정 정보 및 상기 지도 이미지의 범위에 따라, 상기 국부 영역의 범위를 결정하도록 구성되는 제1 결정 부분(14); 및 상기 국부 영역의 범위 내 상기 지도 이미지의 지도 도로 요소의 속성 정보를 획득하도록 구성되는 제2 획득 부분(12)을 더 포함한다.

가능한 실시형태에 있어서, 상기 지도 이미지는 세계 글로벌 좌표계에 기반하고, 상기 장치는, 상기 세계 글로벌 좌표계에 기반한 지도 이미지를 차체 좌표계에 전환하여, 상기 차체 좌표계에 기반한 지도 이미지를 획득하도록 구성되는 제1 전환 부분(15); 및 상기 차체 좌표계에 기반한 지도 이미지를 카메라 좌표계 및 픽셀 좌표계 중 적어도 하나에 전환하여, 상기 지도 이미지의 도로 정보를 상기 차량 수집 이미지에 투영하도록 구성되는 투영 부분(13)을 더 포함한다.

가능한 실시형태에 있어서, 상기 제1 전환 부분(15)은, 상기 차량 위치 결정 정보에 따라, 회전 및 평행 이동 행렬의 회전 각도 및 평행 이동량을 획득하고; 상기 회전 및 평행 이동 행렬에 따라, 상기 세계 글로벌 좌표계에 기반한 지도 이미지를 상기 차체 좌표계에 전환하여, 상기 차체 좌표계에 기반한 지도 이미지를 획득하도록 구성된다.

가능한 실시형태에 있어서, 상기 지도 이미지는 2차원 지도이고, 상기 투영 부분(13)은, 상기 픽셀 좌표계와 상기 차체 좌표계 사이의 호모그래피 행렬을 획득하도록 구성되는 제3 획득 부분(131); 동차 좌표계를 사용하여 상기 차체 좌표계에 기반한 지도 이미지를 표시하도록 구성되는 표시 부분(132); 및 호모그래피 행렬에 따라, 동차 좌표계로 표시된 상기 차체 좌표계에 기반한 지도 이미지를 상기 픽셀 좌표계에 전환하여, 상기 픽셀 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하도록 구성되는 제2 전환 부분(133)을 포함한다.

가능한 실시형태에 있어서, 상기 지도 이미지는 3차원 지도이고, 상기 투영 부분(13)은, 상기 차체 좌표계와 상기 카메라 좌표계 사이의 회전 및 평행 이동 행렬에 따라, 상기 차체 좌표계에 기반한 지도 이미지를 상기 카메라 좌표계에 전환하여, 상기 카메라 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하도록 구성되는 제3 전환 부분; 및 상기 카메라 좌표계와 상기 픽셀 좌표계 사이의 투영 행렬에 따라, 상기 카메라 좌표계에 투영된 차량 수집 이미지의 도로 정보를 상기 픽셀 좌표계에 전환하여, 상기 픽셀 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하도록 구성되는 제4 전환 부분을 포함한다.

가능한 실시형태에 있어서, 상기 장치는, 도로 정보를 추출하기 위한 신경망을 통해 상기 차량 수집 이미지에 대해 도로 정보 추출 처리를 수행하여, 감지 도로 정보를 획득하도록 구성되는 추출 부분(16); 및 감지 도로 정보에 따라 차량 수집 이미지에 투영된 도로 정보를 수정하도록 구성되는 제1 보정 부분(17)을 더 포함한다.

가능한 실시형태에 있어서, 상기 제1 수정 부분(17)은, 상기 감지 도로 정보 중 감지 도로 요소와 상기 차량 수집 이미지에 투영된 도로 정보 중 지도 도로 요소 사이의 오프셋 정보를 결정하도록 구성되는 제2 결정 부분; 및 상기 오프셋 정보에 따라, 상기 차량 수집 이미지에 투영된 도로 정보를 수정하도록 구성되는 제2 보정 부분을 포함한다.

가능한 실시형태에 있어서, 상기 제2 결정 부분은, 상기 감지 도로 요소의 속성 정보에 따라, 상기 지도 이미지로부터 상기 감지 도로 요소와 페어링되는 지도 도로 요소를 결정하도록 구성되는 제3 결정 부분; 동일한 기기 좌표계에서 페어링되는 감지 도로 요소와 지도 도로 요소의 위치 정보를 결정하도록 구성되는 제4 결정 부분; 및 상기 위치 정보에 기반하여 페어링되는 감지 도로 요소와 지도 도로 요소 사이의 위치 결정 오프셋을 결정하도록 구성되는 제5 결정 부분을 포함한다.

가능한 실시형태에 있어서, 상기 제3 결정 부분은, 상기 지도 이미지에서, 상기 차량 위치 결정 정보에 기반하여 기설정된 범위 내의 지도 도로 요소를 검색하도록 구성되는 검색 부분; 상기 차량 수집 이미지 중 감지 도로 요소와 상기 기설정된 범위 내의 지도 도로 요소를 속성 정보에 기반하여 둘둘씩 페어링하여, 다양한 페어링 방식을 획득하도록 구성되는 매칭 부분 - 상이한 페어링 방식 중 적어도 하나의 감지 도로 요소와 상기 기설정된 범위 내의 지도 도로 요소의 페어링 방식은 상이함 - ; 각각의 상기 페어링 방식의 신뢰도를 결정하도록 구성되는 제6 결정 부분; 상기 다양한 페어링 방식 중 신뢰도가 가장 높거나 설정된 임계값을 초과하는 페어링 방식에서, 상기 감지 도로 요소와 페어링되는 지도 도로 요소를 결정하도록 구성되는 제7 결정 부분을 포함한다.

가능한 실시형태에 있어서, 상기 매칭 부분은, 상기 차량 수집 이미지 중 감지 도로 요소가 상기 기설정된 범위 내의 지도 도로 요소에서 페어링될 도로 요소를 결정할 수 없는 경우, 페어링될 지도 도로 요소에서 빈 요소 또는 가상 요소가 상기 감지 도로 요소와 페어링되도록 설정하도록 구성된다.

가능한 실시형태에 있어서, 상기 제6 결정 부분은, 각각의 상기 페어링 방식 중 각각의 감지 도로 요소와 지도 도로 요소의 페어링된 개체 유사도를 각각 결정하는 단계; 각각의 상기 페어링 방식 중 각 감지 도로 요소와 지도 도로 요소의 페어링된 전체 유사도를 결정하고; 각각의 상기 페어링 방식의 각 개체 유사도 및 전체 유사도에 따라, 각각의 상기 페어링 방식의 신뢰도를 결정하도록 구성된다.

가능한 실시형태에 있어서, 상기 위치 결정 오프셋은 좌표 오프셋 및/또는 방향 오프셋을 포함하고; 상기 제5 결정 부분은, 상기 감지 도로 요소의 픽셀점에 대해 샘플링하여, 감지 샘플링 점집합을 획득하도록 구성되는 제1 샘플링 부분; 상기 지도 도로 요소의 픽셀점에 대해 샘플링하여, 지도 샘플링 점집합을 획득하도록 구성되는 제2 샘플링 부분; 상기 감지 샘플링 점집합과 상기 지도 샘플링 점집합 각각에 포함된 샘플링 포인트 사이의 회전 및 평행 이동 행렬을 결정하도록 구성되는 제8 결정 부분; 및 상기 회전 및 평행 이동 행렬에 기반하여 상기 감지 도로 요소와 상기 지도 도로 요소의 좌표 오프셋 및 방향 오프셋을 획득하도록 구성되는 제4 획득 부분을 포함한다.

상기 각 부분에 관한 보다 상세한 설명은 도 1, 도 2, 도 5, 도 6, 도 8에 도시된 방법 실시예에서의 관련 설명을 참조하여 얻을 수 있으며, 여기서 더 서술하지 않는다.

본 발명의 실시예에서 제공된 이미지 데이터 자동 라벨링 장치에 따르면, 지도 데이터에 포함된 풍부한 도로 정보를 사용하여, 차량 수집 이미지의 도로 정보의 자동 라벨링을 구현하여, 라벨링된 이미지 데이터의 효율을 향상시키고, 데이터 라벨링의 오류 확률을 감소시키는데 유리해져, 이미지 데이터 라벨링의 인건비를 감소시킬 수 있다.

본 발명의 실시예는 상기 이미지 데이터 자동 라벨링 방법을 수행하기 위한 이미지 데이터 자동 라벨링 장치를 더 제공한다. 상기 방법 중 일부 또는 전부는 하드웨어를 통해 구현될 수 있고, 소프트웨어 또는 펌웨어를 통해 구현될 수도 있다.

가능한 실시형태에 있어서, 상기 장치는 칩 또는 집적 회로일 수 있다. 선택 가능하게, 상기 실시예의 이미지 데이터 자동 라벨링 방법 중 일부 또는 전부가 소프트웨어 또는 펌웨어를 통해 구현되는 경우, 도 11에 제공된 이미지 데이터 자동 라벨링 장치(1100)를 통해 구현될 수 있다. 도 11에 도시된 바와 같이, 상기 장치(1100)는 입력 장치(111), 출력 장치(112), 메모리(113) 및 프로세서(114)(장치 중 프로세서(114)는 하나 또는 복수 개일 수 있고, 도 11에서는 하나의 프로세서를 예로 함)를 포함할 수 있다. 본 실시예에서, 입력 장치(111), 출력 장치(112), 메모리(113) 및 프로세서(114)는 버스 또는 다른 방식을 통해 연결될 수 있고, 여기서 도 11에서는 버스를 통한 연결을 예로 한다.

여기서, 프로세서(114)는 도 1, 도 2, 도 5, 도 6, 도 8 중 장치가 실행하는 방법 단계를 수행하도록 구성된다. 선택 가능하게, 상기 이미지 데이터 자동 라벨링 방법의 프로그램은 메모리(113)에 저장될 수 있다. 상기 메모리(113)는 물리적으로 독립적인 부분일 수 있고, 프로세서(114)와 통합될 수도 있다. 상기 메모리(113)는 데이터를 저장하는데 사용될 수도 있다. 선택 가능하게, 상기 이미지 데이터 자동 라벨링 방법 중 일부 또는 전부가 소프트웨어를 통해 구현되는 경우, 상기 장치는 프로세서만 포함할 수도 있다. 프로그램을 저장하기 위한 메모리는 장치 외부에 위치하고, 프로세서는 회로 또는 전기선을 통해 메모리와 연결되어, 메모리에 저장된 프로그램을 판독하고 실행한다.

프로세서는 중앙 처리 장치(central processing unit, CPU), 네트워크 프로세서(network processor, NP), 또는 광역망(Wide Area Network, WAN) 기기일 수 있다. 프로세서는 또한 하드웨어 칩을 더 포함할 수 있다. 상기 하드웨어 칩은 전용 집적 회로(application-specific integrated circuit, ASIC), 프로그램 가능 논리 소자(programmable logic device, PLD) 또는 이들의 조합일 수 있다. 상기 PLD는 복합 프로그램 가능 논리 소자(complex programmable logic device, CPLD), 현장 프로그램 가능 게이트 어레이(field-programmable gate array, FPGA), 일반 어레이 논리(generic array logic, GAL) 또는 이들의 임의의 조합일 수 있다. 메모리는 랜덤 액세스 메모리(random-access memory, RAM)와 같은 휘발성 메모리(volatile memory)를 포함할 수 있고; 메모리는 플래시 메모리(flash memory), 하드 디스크 드라이브(hard disk drive, HDD) 또는 솔리드 스테이트 드라이브(solid-state drive, SSD)와 같은 비휘발성 메모리(non-volatile memory)를 포함할 수도 있으며; 메모리는 상기 종류의 메모리의 조합을 포함할 수도 있다.

본 발명의 실시예에서 제공된 이미지 데이터 자동 라벨링 장치에 따르면, 지도 데이터에 포함된 풍부한 도로 정보를 사용하여, 차량 수집 이미지의 도로 정보의 자동 라벨링을 구현하여, 라벨링된 이미지 데이터의 효율을 향상시키고, 데이터 라벨링의 오류 확률을 감소시키는데 유리해져, 이미지 데이터 라벨링의 인건비를 감소시킬 수 있다.

본 발명의 실시예는 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서가 본 발명의 실시예의 각 양태를 구현하도록 하는 컴퓨터 판독 가능 프로그램 명령이 로딩된 컴퓨터 판독 가능 저장 매체를 포함할 수 있다.

컴퓨터 판독 가능 저장 매체는 명령 실행 기기에 의해 사용되는 명령을 유지하고 저장할 수 있는 유형 기기일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어, 전기 저장 기기, 자기 저장 기기, 광학 저장 기기, 전자기 저장 기기, 반도체 저장 기기, 또는 상기 임의의 적절한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 예(완전하지 않은 리스트)는, 휴대용 컴퓨터 디스크, 하드 드라이브, 랜덤 액세스 메모리(Random Access Memory, RAM), 판독 전용 메모리(Read Only Memory, ROM), 소거 가능한 프로그램 가능 판독 전용 메모리(Electrical Programmable Read Only Memory, EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 컴팩트 디스크 판독 전용 메모리(Compact Disc Read-Only Memory, CD-ROM), 디지털 비디오 디스크(Digital Video Disc, DVD), 메모리 스틱, 플로피 디스크, 기계식 코딩 기기, 예를 들어 명령이 저장된 펀치 카드 또는 오목홈 내 돌기 구조, 및 상기 임의의 적절한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능 저장 매체는 무선파 또는 다른 자유롭게 전파되는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파, 또는 전기선을 통해 전송되는 전기 신호와 같은 일시적 신호 자체로 해석되지 않는다.

여기서 설명된 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 저장 매체로부터 각각의 컴퓨터/처리 기기에 다운로드되거나, 인터넷, 근거리 통신망, 광역망 및/또는 무선 네트워크와 같은 네트워크를 통해 외부 컴퓨터 또는 외부 저장 기기에 다운로드될 수 있다. 네트워크는 구리 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수 있다. 각각의 컴퓨팅/처리 기기 중 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전달하여 각각의 컴퓨팅/처리 기기 중 컴퓨터 판독 가능 저장 매체에 저장되도록 한다.

본 발명의 실시예의 동작을 수행하는 컴퓨터 프로그램 명령은 어셈블리 명령, 명령 세트 아키텍처(Industry Standard Architecture, ISA) 명령, 기계 명령, 기계 관련 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터, 또는 하나 또는 복수의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 타깃 코드일 수 있고, 상기 프로그래밍 언어는 Smalltalk, C ++ 등과 같은 객체 지향 프로그래밍 언어와, “C”언어 또는 유사한 프로그래밍 언어와 같은 일반 절차적 프로그래밍 언어를 포함한다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되거나, 부분적으로 사용자의 컴퓨터에서 실행되거나, 독립형 소프트웨어 패키지로서 실행되거나, 일부는 사용자의 컴퓨터에서 실행되고 일부는 원격 컴퓨터에서 실행되거나, 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터의 경우 원격 컴퓨터는 근거리 통신망(local area network, LAN) 또는 광역망(Wide Area Network, WAN)을 포함한 임의의 종류의 네트워크를 통해 사용자의 컴퓨터에 연결되거나, 외부 컴퓨터에 연결(예를 들어, 인터넷 서비스 제공 업체를 이용하여 인터넷을 통해 연결)될 수 있다. 일부 실시예에서, 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 사용하여 프로그램 가능 논리 회로, 필드 프로그램 가능 게이트 어레이(FPGA) 또는 프로그램 가능 논리 어레이(programmable logic array, PLA)와 같은 전자 회로를 특수 제작하고, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령을 실행하여 본 발명의 실시예의 각각의 양태를 구현할 수 있다.

여기서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 본 발명의 실시예의 각각의 양태를 설명한다. 흐름도 및/또는 블록도의 각각의 블록 및 흐름도 및/또는 블록도 중 각 블록의 조합은 모두 컴퓨터 판독 가능 프로그램 명령에 의해 구현될 수 있음을 이해해야 한다.

이러한 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 제공되어, 기계를 생산할 수 있으며, 이러한 명령이 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 의해 실행될 경우, 흐름도 및/또는 블록도 중 하나 또는 복수의 블록에 지정된 기능/동작이 구현되는 장치를 생산할 수 있도록 한다. 또한, 이러한 컴퓨터 판독 가능 프로그램 명령을 컴퓨터 판독 가능 저장 매체에 저장하여, 이러한 명령이 컴퓨터, 프로그램 가능 데이터 처리 장치 및/또는 다른 기기가 특정 방식으로 작동하도록 할 수 있으며, 이로써 명령이 저장된 컴퓨터 판독 가능 매체는 흐름도 및/또는 블록도 중 하나 또는 복수의 블록에 지정된 기능/동작의 각각의 양태를 구현하는 명령이 포함된 제조품을 포함한다.

또한, 컴퓨터 판독 가능 프로그램 명령을 컴퓨터, 다른 프로그램 가능 데이터 처리 장치, 또는 다른 기기에 로딩하여, 컴퓨터, 다른 프로그램 가능 데이터 처리 장치, 또는 다른 기기에서 일련의 동작 단계를 수행하여, 컴퓨터 구현 프로세스가 생성되도록 함으로써, 컴퓨터, 다른 프로그램 가능 데이터 처리 장치, 또는 다른 기기에서 실행되는 명령이 흐름도 및/또는 블록도 중 하나 또는 복수의 블록에 지정된 기능/동작을 구현할 수 있도록 한다.

도면의 흐름도 및 블록도는 본 발명의 실시예의 다수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 아키텍처, 기능 및 동작을 도시한다. 흐름도 또는 블록도 중 각각의 블록은 지정된 논리적 기능을 구현하기 위한 하나 또는 복수의 실행 가능한 명령을 포함하는 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부를 나타낼 수 있다. 일부 대안적인 구현에서, 블록에 표기된 기능은 또한 도면에 도시된 것과 다른 순서로 구현될 수 있다. 예를 들어, 연속적으로 표현된 2개의 블록은 실제로 병렬 실행될 수 있고, 관련 기능에 따라 때때로 역순으로 실행될 수도 있다. 블록도 및/또는 흐름도 중 각각의 블록, 및 블록도 및/또는 흐름도 중 블록의 조합은 지정된 기능 또는 동작을 수행하는 전용 하드웨어 기반 시스템에서 구현될 수 있거나 전용 하드웨어와 컴퓨터 명령을 조합하여 구현될 수도 있음에 유의해야 한다.

이상 본 발명의 각 실시예를 설명하였으며, 상기 설명은 예시적인 것이지 완전한 것이 아니고, 또한 개시된 각 실시예에 한정되지 않는다. 설명된 각 실시예의 범위와 정신을 벗어나지 않는 경우, 많은 수정과 변경은 본 기술분야의 통상의 기술자에게 있어서 모두 자명한 것이다. 본문에서 사용되는 용어의 선택은, 각 실시예의 원리, 실제 응용 또는 시장에서의 기술적 개선을 가장 잘 해석하기 위한 것이거나, 본 기술분야의 다른 통상의 기술자가 본문에서 개시된 각 실시예를 이해할 수 있도록 의도된다.

Claims (18)

1. 이미지 데이터 자동 라벨링 방법으로서,
   차량 위치 결정 정보, 지도 이미지 및 차량 수집 이미지를 획득하는 단계 - 상기 지도 이미지는 도로 정보를 포함함 - ;
   상기 차량 위치 결정 정보에 따라 상기 차량 위치 결정 정보에 대응되는 국부 영역의 상기 지도 이미지의 도로 정보를 획득하는 단계; 및
   상기 지도 이미지의 도로 정보를 상기 차량 수집 이미지에 투영하여, 상기 차량 수집 이미지에 상기 도로 정보를 라벨링하는 단계를 포함하는 이미지 데이터 자동 라벨링 방법.
2. 제1항에 있어서,
   상기 차량 위치 결정 정보에 따라 상기 차량 위치 결정 정보에 대응되는 국부 영역의 상기 지도 이미지의 도로 정보를 획득하는 단계는,
   상기 국부 영역 내 지도 이미지를 루트 노드로 사용하여, 상기 국부 영역 내 지도 이미지의 지도 도로 요소의 속성 정보를 순차적으로 조회하는 단계를 포함하되, 상기 지도 도로 요소의 속성 정보는 상기 지도 도로 요소의 시맨틱 정보, 상기 지도 도로 요소의 위치 정보, 상기 지도 도로 요소의 형상 정보 중 적어도 하나의 정보를 포함하는 이미지 데이터 자동 라벨링 방법.
3. 제2항에 있어서,
   상기 방법은,
   상기 차량 위치 결정 정보 및 상기 지도 이미지의 범위에 따라, 상기 국부 영역의 범위를 결정하는 단계를 더 포함하고;
   상기 차량 위치 결정 정보에 따라 상기 차량 위치 결정 정보에 대응되는 국부 영역의 상기 지도 이미지의 도로 정보를 획득하는 단계는,
   상기 국부 영역의 범위 내 상기 지도 이미지의 지도 도로 요소의 속성 정보를 획득하는 단계를 포함하는 이미지 데이터 자동 라벨링 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 지도 이미지는 세계 글로벌 좌표계에 기반하고, 상기 지도 이미지의 도로 정보를 차량 수집 이미지에 투영하기 이전에, 상기 방법은,
   상기 세계 글로벌 좌표계에 기반한 지도 이미지를 차체 좌표계에 전환하여, 상기 차체 좌표계에 기반한 지도 이미지를 획득하는 단계를 더 포함하고;
   상기 지도 이미지의 도로 정보를 차량 수집 이미지에 투영하는 단계는,
   상기 차체 좌표계에 기반한 지도 이미지를 카메라 좌표계 및 픽셀 좌표계 중 적어도 하나에 전환하여, 상기 지도 이미지의 도로 정보를 상기 차량 수집 이미지에 투영하는 단계를 포함하는 이미지 데이터 자동 라벨링 방법.
5. 제4항에 있어서,
   상기 세계 글로벌 좌표계에 기반한 지도 이미지를 차체 좌표계에 전환하여, 상기 차체 좌표계에 기반한 지도 이미지를 획득하는 단계는,
   상기 차량 위치 결정 정보에 따라, 회전 및 평행 이동 행렬의 회전 각도 및 평행 이동량을 획득하는 단계; 및
   상기 회전 및 평행 이동 행렬에 따라, 상기 세계 글로벌 좌표계에 기반한 지도 이미지를 상기 차체 좌표계에 전환하여, 상기 차체 좌표계에 기반한 지도 이미지를 획득하는 단계를 포함하는 이미지 데이터 자동 라벨링 방법.
6. 제4항 또는 제5항에 있어서,
   상기 지도 이미지는 2차원 지도이고, 상기 차체 좌표계에 기반한 지도 이미지를 카메라 좌표계 및 픽셀 좌표계 중 적어도 하나에 전환하여, 상기 지도 이미지의 도로 정보를 상기 차량 수집 이미지에 투영하는 단계는,
   상기 픽셀 좌표계와 상기 차체 좌표계 사이의 호모그래피 행렬을 획득하는 단계;
   동차 좌표계를 사용하여 상기 차체 좌표계에 기반한 지도 이미지를 표시하는 단계; 및
   상기 호모그래피 행렬에 따라, 상기 동차 좌표계로 표시된 상기 차체 좌표계에 기반한 지도 이미지를 상기 픽셀 좌표계에 전환하여, 상기 픽셀 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하는 단계를 포함하는 이미지 데이터 자동 라벨링 방법.
7. 제5항에 있어서,
   상기 지도 이미지는 3차원 지도이고, 상기 차체 좌표계에 기반한 지도 이미지를 카메라 좌표계 및 픽셀 좌표계 중 적어도 하나에 전환하여, 상기 지도 이미지의 도로 정보를 상기 차량 수집 이미지에 투영하는 단계는,
   상기 차체 좌표계와 상기 카메라 좌표계 사이의 회전 및 평행 이동 행렬에 따라, 상기 차체 좌표계에 기반한 지도 이미지를 상기 카메라 좌표계에 전환하여, 상기 카메라 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하는 단계; 및
   상기 카메라 좌표계와 상기 픽셀 좌표계 사이의 투영 행렬에 따라, 상기 카메라 좌표계에 투영된 차량 수집 이미지의 도로 정보를 상기 픽셀 좌표계에 전환하여, 상기 픽셀 좌표계에 투영된 차량 수집 이미지의 도로 정보를 획득하는 단계를 포함하는 이미지 데이터 자동 라벨링 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   상기 방법은,
   도로 정보를 추출하기 위한 신경망을 통해 상기 차량 수집 이미지에 대해 도로 정보 추출 처리를 수행하여, 감지 도로 정보를 획득하는 단계; 및
   상기 감지 도로 정보에 따라, 상기 차량 수집 이미지에 투영된 도로 정보를 수정하는 단계를 더 포함하는 이미지 데이터 자동 라벨링 방법.
9. 제8항에 있어서,
   상기 감지 도로 정보에 따라, 상기 차량 수집 이미지에 투영된 도로 정보를 수정하는 단계는,
   상기 감지 도로 정보 중 감지 도로 요소와 상기 차량 수집 이미지에 투영된 도로 정보 중 지도 도로 요소 사이의 오프셋 정보를 결정하는 단계; 및
   상기 오프셋 정보에 따라, 상기 차량 수집 이미지에 투영된 도로 정보를 수정하는 단계를 포함하는 이미지 데이터 자동 라벨링 방법.
10. 제9항에 있어서,
    상기 감지 도로 정보 중 감지 도로 요소와 상기 차량 수집 이미지에 투영된 도로 정보 중 지도 도로 요소 사이의 오프셋 정보를 결정하는 단계는,
    상기 감지 도로 요소의 속성 정보에 따라, 상기 지도 이미지로부터 상기 감지 도로 요소와 페어링되는 지도 도로 요소를 결정하는 단계;
    동일한 기기 좌표계에서 페어링되는 감지 도로 요소와 지도 도로 요소의 위치 정보를 결정하는 단계; 및
    상기 위치 정보에 기반하여 페어링되는 감지 도로 요소와 지도 도로 요소 사이의 위치 결정 오프셋을 결정하는 단계를 포함하는 이미지 데이터 자동 라벨링 방법.
11. 제10항에 있어서,
    상기 감지 도로 요소의 속성 정보에 따라, 상기 지도로부터 상기 감지 도로 요소와 페어링되는 지도 도로 요소를 결정하는 단계는,
    상기 지도 이미지에서, 상기 차량 위치 결정 정보에 기반하여 기설정된 범위 내의 지도 도로 요소를 검색하는 단계;
    상기 차량 수집 이미지 중 감지 도로 요소와 상기 기설정된 범위 내의 지도 도로 요소를 속성 정보에 기반하여 둘둘씩 페어링하여, 다양한 페어링 방식을 획득하는 단계 - 상이한 페어링 방식 중 적어도 하나의 감지 도로 요소와 상기 기설정된 범위 내의 지도 도로 요소의 페어링 방식은 상이함 - ;
    각각의 상기 페어링 방식의 신뢰도를 결정하는 단계; 및
    상기 다양한 페어링 방식 중 신뢰도가 가장 높거나 설정된 임계값을 초과하는 페어링 방식에서, 상기 감지 도로 요소와 페어링되는 지도 도로 요소를 결정하는 단계를 포함하는 이미지 데이터 자동 라벨링 방법.
12. 제11항에 있어서,
    상기 차량 수집 이미지 중 감지 도로 요소와 상기 기설정된 범위 내의 지도 도로 요소를 페어링하는 단계는,
    상기 차량 수집 이미지 중 감지 도로 요소가 상기 기설정된 범위 내의 지도 도로 요소에서 페어링될 도로 요소를 결정할 수 없는 경우, 페어링될 지도 도로 요소에서 빈 요소 또는 가상 요소가 상기 감지 도로 요소와 페어링되도록 설정하는 단계를 포함하는 이미지 데이터 자동 라벨링 방법.
13. 제11항 또는 제12항에 있어서,
    각각의 상기 페어링 방식의 신뢰도를 결정하는 단계는,
    각각의 상기 페어링 방식 중 각각의 감지 도로 요소와 지도 도로 요소의 페어링된 개체 유사도를 각각 결정하는 단계;
    각각의 상기 페어링 방식 중 각 감지 도로 요소와 지도 도로 요소의 페어링된 전체 유사도를 결정하는 단계; 및
    각각의 상기 페어링 방식의 각 개체 유사도 및 전체 유사도에 따라, 각각의 상기 페어링 방식의 신뢰도를 결정하는 단계를 포함하는 이미지 데이터 자동 라벨링 방법.
14. 제10항 내지 제13항 중 어느 한 항에 있어서,
    상기 위치 결정 오프셋은 좌표 오프셋 및 방향 오프셋 중 적어도 하나를 포함하고;
    상기 차량 위치 결정 정보에 기반하여 페어링된 감지 도로 요소와 지도 도로 요소 사이의 위치 결정 오프셋을 결정하는 단계는,
    상기 감지 도로 요소의 픽셀점에 대해 샘플링하여, 감지 샘플링 점집합을 획득하는 단계;
    상기 지도 도로 요소의 픽셀점에 대해 샘플링하여, 지도 샘플링 점집합을 획득하는 단계;
    상기 감지 샘플링 점집합과 상기 지도 샘플링 점집합 각각에 포함된 샘플링 포인트 사이의 회전 및 평행 이동 행렬을 결정하는 단계; 및
    상기 회전 및 평행 이동 행렬에 기반하여 상기 감지 도로 요소와 상기 지도 도로 요소의 좌표 오프셋 및 방향 오프셋을 획득하는 단계를 포함하는 이미지 데이터 자동 라벨링 방법.
15. 이미지 데이터 자동 라벨링 장치로서,
    상기 장치는,
    차량 위치 결정 정보, 지도 이미지 및 차량 수집 이미지를 획득하도록 구성되는 제1 획득 부분 - 상기 지도 이미지는 도로 정보를 포함함 - ;
    상기 차량 위치 결정 정보에 따라 상기 차량 위치 결정 정보에 대응되는 국부 영역의 상기 지도 이미지의 도로 정보를 획득하도록 구성되는 제2 획득 부분; 및
    상기 지도 이미지의 도로 정보를 상기 차량 수집 이미지에 투영하여, 상기 차량 수집 이미지에 상기 도로 정보를 라벨링하도록 구성되는 투영 부분을 포함하는 이미지 데이터 자동 라벨링 장치.
16. 이미지 데이터 자동 라벨링 장치로서,
    상기 장치는 메모리 및 프로세서를 포함하되, 상기 메모리에는 한 그룹의 프로그램 명령이 저장되고, 상기 프로세서는 상기 메모리에 저장된 프로그램 명령을 호출하는데 사용되며, 제1항 내지 제14항 중 어느 한 항에 따른 방법을 수행하는 이미지 데이터 자동 라벨링 장치.
17. 컴퓨터 프로그램 명령이 저장된 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우 제1항 내지 제14항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 판독 가능 저장 매체.
18. 컴퓨터 프로그램으로서,
    컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중 프로세서는 제1항 내지 제14항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 프로그램.

Images