KR101856401B1

KR101856401B1 - 차선 데이터의 처리 방법, 장치, 저장매체 및 기기

Info

Publication number: KR101856401B1
Application number: KR1020167026233A
Authority: KR
Inventors: 타오 얀; 루이수오 왕; 리앙 송; 자오얀 지앙; 양 얀
Original assignee: 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date: 2015-09-10
Filing date: 2015-12-29
Publication date: 2018-05-09
Anticipated expiration: 2035-12-29
Also published as: EP3171292B1; JP6259928B2; CN105260699A; EP3171292A4; CN105260699B; US10074020B2; EP3171292A1; US20180181817A1; WO2017041396A1; JP2017533482A; KR20170041168A

Abstract

본 발명의 실시예는 차선 데이터의 처리 방법, 장치, 저장매체 및 기기를 개시한다. 상기 방법은, 원본 이미지와 원본 이미지의 위치 확인 데이터를 획득하는 단계; 심층 신경망 모델을 사용하여 상기 원본 이미지 중 차선 특징에 부합되는 각 픽셀의 픽셀 신뢰도를 산출하는 단계; 상기 원본 이미지에서 차선 윤곽을 결정하여 후보 차선으로 하는 단계; 상기 후보 차선의 차선 신뢰도를 산출하는 단계; 상기 후보 차선의 차선 신뢰도에 따라 상기 후보 차선을 선별하는 단계; 선별된 차선에 대하여, 상기 차선의 속성 정보를 식별하는 단계; 및 상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 위치 확인 데이터에 따라 상기 차선의 맵 데이터를 결정하는 단계를 포함한다. 본 발명의 실시예에서 제공하는 차선 데이터의 처리 방법, 장치, 저장매체 및 기기는, 고효율적이고 정밀하게 차선 데이터를 결정하여, 고정밀도의 맵의 생성에 소요하는 인건비를 대폭 저감시키고, 고정밀도의 맵의 대규모 생성을 실현할 수 있다.

Description

차선 데이터의 처리 방법, 장치, 저장매체 및 기기{METHOD, APPARATUS, STORAGE MEDIUM, AND DEVICE FOR PROCESSING LANE LINE DATA}

본원 발명은 출원일자가 2015년 09월 10일이고, 출원번호가 201510574875.7이고, 출원인이 바이두 온라인 네트워크 테크놀러지 (베이징) 유한회사이며, 발명의 명칭이 “차선 데이터의 처리 방법 및 장치”인 중국특허출원의 우선권을 주장하는 바, 상기 중국특허출원의 모든 내용은 참고로서 본원 발명에 원용된다.

본 발명의 실시예는 맵 데이터 처리 기술에 관한 것으로, 특히는 차선 데이터의 처리 방법, 장치, 저장매체 및 기기에 관한 것이다.

고정밀도의 3차원 맵은 공업계와 학술계에서 공인하는 차세대 디지털 맵의 주요한 발전 트랜드로서, 차량의 자동 운전과 보조 운전을 실현하는 전제 조건이며, 자동 운전 차량의 정확한 위치 확인과 정확한 결책을 위한 주요한 근거로 제공된다. 또한, 고정밀도의 맵은 도로 이용 상황을 분석하는 것으로서, 지능형 교통을 실현하는 중요한 전략적 플랫폼 자원이다. 고정밀도의 3차원 맵의 생성에 있어서, 핵심적인 문제는 도로면 차로 정보의 검출과 생성, 즉 3차원 디지털 맵으로 현실속의 도로망 차선 정보를 정밀하게 재구성에 집중된다.

기존의 차선 검출과 생성은 주요하게 아래와 같은 두가지 방식으로 구분된다. 즉, 일 방식으로, 인위적 생성 방식이 존재하며, 이는 공업 카메라로 수집한 도로 이미지와 포인트 클라우드 정보를 대조하고, 도로 이미지를 이용하여 조합된 포인트 클라우드에 착색하며, 인위적인 수공 회도에 의거하여 착색된 포인트 클라우드에 차선 등 도로면 차로 정보를 제작하여 표시한다. 다른 일 방식으로, 자동 식별 방식으로 이미지로부터 차선을 검출하는 것으로서, 주요하게는 대역 필터(band pass filter)와 각종의 선험적인 규칙들을 이용하여 차선을 검출하고 필터링하는 것이다.

첫번째 차선 검출과 생성 방식은 효율이 낮고 인건비가 높다. 3차원 포인트 클라우드에 차선 등 3차원 선을 회도하는 것은 교호가 어렵고, 이리저리로 구불어져 인위적인 작업 효율이 낮으며, 포인트 클라우드 해상도가 낮기에 회도시 차선을 아주 쉽게 누락할 수 있다. 그러나, 두번째 차선 검출과 생성 방식에 응용하는 알고리즘과 방안은 자동 운전에서 실시간으로 차선을 검출하도록 서비스를 제공하는 것을 주요한 목적으로 하며, 주요하게 실험 단계에 처해 있으며, 그의 검출 유효성 및 물리적 정밀도는 모두 고정밀도의 맵을 생성하기 위한 요구에 도달하지 못한다. 기존의 차선 검출과 생성 방법은 진일보 향상되어야 할 필요가 존재한다.

본 발명의 실시예는 차선 맵 데이터에 대한 고효율적이고 정밀한 식별을 실현하도록 차선 데이터의 처리 방법, 장치, 저장매체 및 기기를 제공하고자 한다.

본 발명의 제1 양태에 있어서, 본 발명은 차선 데이터의 처리 방법을 제공하며, 상기 방법은,

연속으로 촬영된 차선의 적어도 두개의 원본 이미지와 원본 이미지의 위치 확인 데이터를 획득하는 단계;

심층 신경망(deep neural network) 모델을 사용하여 상기 원본 이미지 중 차선 특징에 부합되는 각 픽셀의 픽셀 신뢰도를 산출하는 단계;

상기 원본 이미지에서 차선 윤곽을 후보 차선으로 결정하여 하는 단계;

상기 후보 차선 중의 픽셀의 픽셀 신뢰도에 따라 상기 후보 차선의 차선 신뢰도를 산출하는 단계;

상기 후보 차선의 차선 신뢰도에 따라 상기 후보 차선을 선별하는 단계;

선별된 차선에 대하여, 상기 차선의 속성 정보를 식별하는 단계; 및

상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 위치 확인 데이터에 따라 상기 차선의 맵 데이터를 결정하는 단계를 포함한다.

본 발명의 제2 양태에 있어서, 본 발명은 차선 데이터의 처리 장치를 더 제공하며, 상기 장치는,

연속으로 촬영된 차선의 적어도 두개의 원본 이미지와 원본 이미지의 위치 확인 데이터를 획득하기 위한 원본 이미지 획득 모듈;

심층 신경망 모델을 사용하여 상기 원본 이미지 중 차선 특징에 부합되는 각 픽셀의 픽셀 신뢰도를 산출하기 위한 픽셀 신뢰도 산출 모듈;

상기 원본 이미지에서 차선 윤곽을 후보 차선으로 결정하기 위한 후보 차선 결정 모듈;

상기 후보 차선 중의 픽셀의 픽셀 신뢰도에 따라 상기 후보 차선의 차선 신뢰도를 산출하기 위한 후보 차선 신뢰도 산출 모듈;

상기 후보 차선의 차선 신뢰도에 따라 상기 후보 차선을 선별하기 위한 후보 차선 선별 모듈;

선별된 차선에 대하여, 상기 차선의 속성 정보를 식별하기 위한 차선 속성 정보 식별 모듈;

상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 위치 확인 데이터에 따라 상기 차선의 맵 데이터를 결정하기 위한 차선 맵 데이터 생성 모듈을 포함한다.

본 발명의 제3 양태에 있어서, 본 발명은 컴퓨터 실행 가능한 명령어를 포함하는 저장매체를 더 제공하며, 여기서, 상기 컴퓨터 실행 가능한 명령어는 컴퓨터 프로세서에 의해 실행될 경우 차선 데이터의 처리 방법을 실행하며, 상기 방법은,

심층 신경망 모델을 사용하여 상기 원본 이미지 중 차선 특징에 부합되는 각 픽셀의 픽셀 신뢰도를 산출하는 단계;

상기 원본 이미지에서 차선 윤곽을 후보 차선으로 결정 하는 단계;

본 발명의 제4 양태에 있어서, 본 발명은 기기를 저공하며, 상기 기기는,

하나 또는 다수의 프로세서;

메모리 장치; 및

상기 메모리 장치에 저장되는 하나 또는 다수의 프로그램;을 포함하되,

상기 하나 또는 다수의 프로그램은 상기 하나 또는 다수의 프로세서에 의해 실행될 경우,

연속으로 촬영된 차선의 적어도 두개의 원본 이미지와 원본 이미지의 위치 확인 데이터를 획득하고,

심층 신경망 모델을 사용하여 상기 원본 이미지 중 차선 특징에 부합되는 각 픽셀의 픽셀 신뢰도를 산출하고,

상기 원본 이미지에서 차선 윤곽을 후보 차선으로 결정 하고,

상기 후보 차선 중의 픽셀의 픽셀 신뢰도에 따라 상기 후보 차선의 차선 신뢰도를 산출하고,

상기 후보 차선의 차선 신뢰도에 따라 상기 후보 차선을 선별하고,

선별된 차선에 대하여, 상기 차선의 속성 정보를 식별하고,

상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 위치 확인 데이터에 따라 상기 차선의 맵 데이터를 결정하는 조작들을 실행한다.

본 발명의 실시예는 차선 데이터의 처리 방법 및 장치를 제공하는 바, 목표 도로 구간의 원본 이미지와 원본 이미지의 위치 확인 데이터를 획득한 후, 심층 신경망 모델을 운용하여 상기 원본 이미지 중 차선 특징에 부합되는 각 픽셀의 픽셀 신뢰도를 산출하고, 나아가 상기 원본 이미지에서 후보 차선을 결정하여 후보 차선의 차선 신뢰도를 획득하며, 차선의 아티팩트(Artifact) 제거와 노이즈 제거를 진행한 다음, 선별된 차선에 따라 차선 속성 정보를 식별하고, 상기 속성 정보 및 상기 원본 이미지 촬영 시의 위치 확인 데이터에 따라, 최종적으로 상기 차선의 맵 데이터를 결정한다. 상기 방법은 고효율적이고 정밀하게 차선 데이터를 결정하여, 고정밀도의 맵을 생산하는데 있어서의 인건비를 대폭 감소시켜, 고정밀도의 맵의 생산 규모를 대폭 확대할 수 있다.

이하, 본 발명의 실시예들에서 제공하는 기술적 방안을 더욱 명확히 설명하기 위하여, 실시예들의 설명에 필요한 첨부된 도면들을 간략하게 설명하기로 한다. 물론, 이하에 설명되는 첨부된 도면들은 오직 본 발명의 실시예일 뿐, 해당 기술분야에서 통상의 지식을 가진 자라면 진보성 노동이 없이 이러한 첨부된 도면들을 개변하고 대체할 수 있음을 이해하여야 한다.
도 1은 본 발명의 제1 실시예에 따른 차선 데이터의 처리 방법의 흐름 개략도이다.
도 2는 본 발명의 제1 실시예에 따른 3차원 공간에서 차선의 맞춤 개략도이다.
도 3은 본 발명의 제2 실시예에 따른 차선 데이터의 처리 장치의 구조 개략도이다.
도 4는 본 발명의 제4 실시예에 따른 차선 데이터의 처리 방법의 기기의 하드웨어 구조 개략도이다.

아래에 첨부된 도면을 결부하여 본발명의 실시예서 제공하는 기술적 방안에 대한 명확하고 완정한 설명을 진행하기로 한다. 여기에 설명되는 실시예는 오직 본 발명의 일부 실시예일 뿐, 모든 실시예가 아니며, 본 발명의 원리를 설명하기 위한 것일 뿐, 본 발명을 이러한 구체적인 실시예에 한정하기 위한 것이 아님을 이해하여야 한다. 본 발명에서 제공하는 실시예를 기반으로, 해당 기술분야에서 통상의 지식을 가진 자가 진보성 노동이 없이 획득한 모든 기타 실시예들은 모두 본 발명이 보호하고자 하는 범위에 포함되는 것을 이해하여야 한다.

본 발명의 제1 실시예

도 1은 본 발명의 제1 실시예에서 제공하는 차선 데이터의 처리 방법 흐름 개략도이고, 본 실시예가 고정밀도의 맵의 대규모 생성하는 상황에 적용될 수 있으며, 상기 방법은 차선 데이터의 처리 장치에 기반하여 수행될 수 있고, 상기 장치는 하드 웨어 및/또는 소프트 웨어의 형식으로 실현될 수 있다.

상기 방법은 구체적으로 하기와 같다.

단계(S110)에서, 연속으로 촬영된 차선의 적어도 두개의 원본 이미지와 원본 이미지의 위치 확인 데이터를 획득한다.

상기 조작은 구체적으로 차량에 공업 카메라를 설치함으로써 초 당 8~10 프레임으로 연속적인 촬영을 진행하여 원본 이미지로서 목표 도로 구간의 차선 이미지를 수집하고, 위성 위치 확인 시스템(Global Positioning System, GPS)을 통해 차량 위치 확인을 진행할 수 있으며, 차량에서의 상기 공업 카메라의 설치 높이, 촬영 앵글과 촬영 자세 등 내부 파라미터 데이터는 이미 알고 있는 것이므로, 상기 원본 이미지의 위치 확인 데이터를 산출해 낼 수 있다.

차량에서의 상기 공업 카메라의 설치 위치 및 설치 방법은 한정되지 않으며, 목표 도로 구간의 이미지를 촬영할 수 있으면, 상기 공업 카메라의 종류, 설치 높이 및 촬영 앵글은 한정하지 않음을 설명하고자 한다.

단계(S120)에서, 심층 신경망 모델을 사용하여 상기 원본 이미지 중 차선 특징에 부합되는 각 픽셀의 픽셀 신뢰도를 산출한다.

상기 조작에서 미리 심층 신경망 모델을 결정해야 하고, 상기 심층 신경망 모델은 대량의 샘플 데이터가 트레이닝을 거쳐 획득한 것으로서, 심층 신경망이 학습하도록 여러가지 도로 상황과 광선 조건 하에서의 차선 이미지 샘플을 미리 획득하고 차선이 위치한 픽셀을 표기하여 학습 샘플을 획득함으로써, 심층 신경망 모델을 결정한다. 이후 상기 심층 신경망 모델을 직접적으로 사용하여 상기 원본 이미지 중 차선 특징에 부합되는 각 픽셀의 픽셀 신뢰도를 산출할 수 있으며, 샘플 특징과의 유사도가 높을수록 신뢰도가 높으며, 반대로, 유사도가 낮을수록 신뢰도가 낮다. 예를 들어, 상기 원본 이미지에서 어느 하나의 픽셀 특징과 샘플의 특징이 완전히 동일하면, 상기 픽셀의 픽셀 신뢰도를 1로 표기한다. 상기 원본 이미지에서 어느 하나의 픽셀 특징과 샘플의 특징이 완전히 상이하면, 상기 픽셀의 픽셀 신뢰도를 0으로 표기한다.

도로 상의 차선은 고정된 형태를 구비하지 않고, 전환 라인(Diversion line), 화살표와 부분적인 문자 정보와 같은 기타 도로면 운행 정보에 구별되는 매우 뚜렷한 특징도 구비하지 않는 바, 현실에서의 고속도로, 국도, 시구역 도로 및 시골 도로 등과 같은 여러가지 도로의 상황은 상이한 날씨 정황과 상이한 시간대에 빛, 카메라 성능 및 차량 가림 등의 영향을 받고, 차선 자체의 마모로 인해 여러가지 정황하에서의 차선을 고 효율적이고 정밀하게 검출하기가 비교적 어렵다. 최근 몇년간 인공 지능 심층 학습 기술의 폭발적인 발전과 더불어, 우리는 심층 신경망이 학습을 진행하도록 실제적인 상황에서 여러가지 도로 상황과 광선 조건하에서의 차선 샘플을 표기하고, 강건한 분류기를 트레이닝하여 획득함으로써, 여러가지 환경하에서의 차선 정보를 분별할 수 있다. 한편으로, 심층 신경망은 자체가 서포트 벡터 머신(Suppport Vector Machine, SVM)보다 강건한 분류기이다.

따라서, 본 실시예는 바람직하게 심층 신경망 모델을 사용한다.

단계(S130)에서, 상기 원본 이미지로부터 차선 윤곽을 후보 차선으로 결정한다.

바람직하게, 상기 조작은 구체적으로 그래픽스 연결 성분 분석 방법을 사용하여 상기 원본 이미지로부터 에지 픽셀을 추출하는 단계; 및 상기 에지 픽셀에 대하여 3회의 곡선 맞춤(curve fitting)을 진행하여 차선의 에지 윤곽을 후보 차선으로 결정하는 단계를 포함한다.

나아가, 상기 후보 차선을 결정하는 단계 이후, 상기 후보 차선의 기하적 특징을 식별하고, 상기 기하적 특징에 따라 상기 후보 차선을 선별하는 단계를 더 포함한다.

바람직하게, 상기 기하적 특징은 상기 후보 차선의 선 폭, 선 길이, 방향과 위치를 포함한다.

상기 후보 차선의 선 폭 및 선 길이를 식별하는 단계는, 하나의 픽셀 포인트가 대표하는 실제 크기를 표기한 후, 상기 후보 차선이 포함하는 픽셀 포인트의 개수를 산출하면 상기 후보 차선의 선 폭 및 선 길이를 식별해 낼 수 있다. 상기 후보 차선의 방향과 위치는 원본 이미지의 촬영 자세 및 위치 확인 데이터와 연관된다. 상기 기하적 특징에 따라 상기 후보 차선을 선별하는 단계는 구체적으로 하기의 단계를 포함한다.

기하적 특징이 하기 경우 중의 적어도 하나에 부합되는 후보 차선을 선별하여 제거한다.

(1) 상기 후보 차선의 선 길이가 설정 길이 한계값보다 작을 경우;

상기 설정 길이 한계값은 실제에 따라 결정될 수 있는 바, 예를 들면 실제 도로에 길이가 1미터보다 짧은 차선이 존재하지 않으면, 이 설정 길이 한계값은 1미터일 수 있고, 식별된 후보 차선의 길이가 1미터보다 짧으면, 이 후보 차선이 진정한 차선이 아니거나 또는 한 갈래의 완전한 차선이 아님을 설명하며, 선별 제거 조건에 부합되기에 해당 갈래의 후보 차선을 제거한다.

(2) 상기 후보 차선의 방향과 상기 원본 이미지 중의 차량 주행 방향 사이의 협각이 설정 각도 한계값보다 클 경우;

상기 설정 각도 한계값은 실제 촬영 상황에 따라 설정될 수 있는 바, 예를 들면 원본 이미지를 촬영할 경우의 차량 주행 방향이 정 방향, 즉 Y방향이면, 차량 주행 방향 사이와의 협각이 30도보다 큰 선은 모두 목표 도로 구간 상의 차선이 아니며, 이 때 상기 설정 각도 한계값은 30도이고, 상기 후보 차선의 방향과 상기 원본 이미지 중의 차량 주행 방향 사이의 협각이 30도보다 크면, 선별 제거 조건에 부합되기에 해당 갈래의 후보 차선을 제거한다.

(3) 상기 후보 차선의 선 폭이 설정 폭 한계값보다 클 경우;

상기 설정 폭 한계값은 실제 상황으로부터 유래되는 바, 예를 들면 실제 도로에 폭이 50센티미터보다 넓은 차선이 존재하지 않으면, 이 설정 폭 한계값은 50센티미터일 수 있고, 식별된 후보 차선의 폭이 50센티미터보다 넓으면, 이 후보 차선이 진정한 차선이 아님을 설명하는데, 선별 제거 조건에 부합되기에 해당 갈래의 후보 차선을 제거한다.

(4) 상기 후보 차선의 위치가 한 갈래의 차로를 구성하는 두 갈래 후보 차선 사이에 위치하고, 동일한 갈래의 차로를 구성하는 두 갈래 후보 차선으로부터 떨어진 거리가 모두 설정 거리 한계값보다 클 경우;

실제 도로에서 차선 사이의 거리 관계를 고찰하면, 상기 설정 거리 한계값이 40센티미터인 것이 바람직하다.

단계(S140)에서, 상기 후보 차선 중의 픽셀의 픽셀 신뢰도에 따라 상기 후보 차선의 차선 신뢰도를 산출한다.

바람직하게, 상기 조작은 구체적으로 하기의 단계들을 포함한다.

상기 후보 차선 윤곽 범위 내의 모든 픽셀의 픽셀 신뢰도의 평균값을 통계한다.

상기 후보 차선 윤곽 범위 내의 픽셀 포인트 신뢰도가 설정 신뢰도 한계값보다 큰 픽셀을 차선 픽셀로 획득한다.

픽셀의 그레이 레벨 값에 따라 상기 원본 이미지에 대해 영역 분할을 진행하고, 상기 후보 차선 윤곽 범위가 위치하는 차선 영역을 결정하고; 픽셀 강도에 따라 원본 RGB 이미지에 대해 영역 분할을 진행하여 상기 후보 차선 윤곽 범위가 위치한 차선 영역을 찾는다.

상기 차선 픽셀과 상기 차선 영역 내의 모든 픽셀의 수량 비율을 비교한다. 즉, 차선 픽셀과 상기 후보 차선 윤곽이 위치한 원본 RGB 이미지 분할 영역 내의 모든 픽셀의 수량 비율을 비교하여, 독립적이거나 또는 순수한 하나의 지표로 하는 바, 즉 신뢰도가 높은 차선 픽셀이 모두 하나의 연통된 영역 내에 위치하는 지의 여부이다.

상기 평균값과 상기 수량 비율을 곱하여 상기 후보 차선의 차선 신뢰도로 한다.

예를 들면, 상기 후보 차선 윤곽 내에 위치한 모든 픽셀의 픽셀 신뢰도의 평균값이 X(X는 0~1사이의 수임)라는 것을 통계하여 획득하고; 신뢰도 한계값을 0.8로 설정하고, 상기 후보 차선 윤곽 범위 내의 픽셀 포인트 신뢰도가 0.8보다 큰 픽셀을 차선 픽셀로 획득하며, 상기 차선 픽셀과 상기 차선 영역 내의 모든 픽셀을 비교한 수량 비율을 Y로 하면, 상기 후보 차선의 차선 신뢰도는 X*Y이다.

단계(S150)에서, 상기 후보 차선의 차선 신뢰도에 따라 상기 후보 차선을 선별한다.

상기 조작은 구체적으로 후보 차선 신뢰도 한계값을 미리 설정하여 상기 한계값보다 작은 후보 차선을 제거하는 것일 수 있다.

단계(S160)에서, 선별된 차선에 대하여 상기 차선의 속성 정보를 식별한다.

바람직하게, 상기 조작은 구체적으로 하기의 단계를 포함한다.

선별된 차선에 대하여 상기 차선의 선형과 컬러를 식별하되,

상기 차선의 선형은, 실선, 허선, 실선과 허선으로 구성된 복합 선형 및 실선과 실선으로 구성된 복합 선형 등을 포함하고, 상기 차선의 컬러는, 흰색, 노란색 및 파란색 등 현저하게 상이한 차선 컬러를 포함한다. 차선 컬러는 한 갈래 차선에서의 모든 픽셀 컬러의 평균값을 산출함으로써 식별된다.

상기 차선이 원본 이미지에서의 픽셀 크기를 산출하되,

촬영한 상기 원본 이미지의 촬영 파라미터와 상기 픽셀 크기에 따라 차선의 물리적 폭, 물리적 길이, 중심선 위치 및 에지라인 위치를 산출한다.

단계(S170)에서, 상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 위치 확인 데이터에 따라 상기 차선의 맵 데이터를 결정한다.

차선의 맵 데이터는 2차원 맵에 응용될 수 있고, 바람직하게 3차원 맵에도 응용될 수 있는 바, 즉 상기 조작은 구체적으로 하기의 단계를 포함할 수 있다.

상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 포인트 클라우드 데이터에 따라 2차원의 상기 차선 데이터를 3차원 맵에 투영시킨다. 단계(S160)에서 산출된 차선의 물리적 폭, 물리적 길이, 중심선 위치 및 에지라인 위치에 따라, 공업 카메라를 이용하여 원본 이미지 데이터를 수집할 시의 포인트 클라우드 데이터를 결부하여, 2차원의 상기 차선 데이터를 3차원 공간에 정밀하게 투영시켜 고정밀 3차원 맵을 형성한다. 상기 포인트 클라우드 데이터는 레이저 레이더 기기를 이용하여 수집한 차량 주위의 물체의 3차원 데이터 및 원본 이미지를 촬영 시 공업 카메라가 차량에서의 설치 높이, 촬영 앵글과 촬영 자세 등 내부 파라미터 데이터 및 차량 위치 확인 데이터를 포함한다.

나아가, 2차원의 상기 차선 데이터를 3차원 맵에 투영시키는 단계 이후, 상기 차선의 차선 신뢰도와 속성 정보 및 상기 원본 이미지 촬영 시의 GPS 궤적 정보에 따라, 적어도 두개의 원본 이미지로 각각 결정해 낸 차선을 병합하는 단계를 더 포함한다. 3차원 공간 중의 차선 위치 정보를 산출한 후, 차로 위상 관계(topological relation) 분석을 진행하여 이미지에서 검출한 차선 중 어느 차선들이 실제의 3차원 공간 도로망 중의 동일한 갈래 차선을 구성하는 것에 만족되는지 판단하고, 어느 두 갈래 차선이 하나의 차로를 구성하는 것에 만족되는지 판단한다. 도 2는 3차원 공간에서 차선의 맞춤 개략도를 도시한다.

본 실시예의 기술적 해결수단에 의하면, 심층 학습, 머신 비전 및 이미지 처리 등 기술을 운용함으로써, 공업 카메라로 차선의 원본 디지털 이미지를 수집하고, 상기 원본 디지털 이미지에 따라 차선의 신뢰도, 물리적 폭, 물리적 길이, 컬러, 선형 등 속성 정보를 산출하며, 차선의 아티팩트 제거와 노이즈 제거를 진행하고, 산출된 2차원 차선 데이터를 3차원 공간에 정밀하게 투영시켜, 3차원 공간에서 차선의 위상 관계 분석, 피팅 및 생성을 진행한다. 즉, 3차원 디지털 맵으로 현실속의 도로망 차로 정보를 정확하게 재구성하는 것을 실현한다. 이러한 방법은 고효율적이고 정밀하게 차선 데이터를 결정하여, 고정밀도의 맵의 생성에 소요하는 인건비를 대폭 저감시키고, 고정밀도의 맵의 대규모 생성을 실현할 수 있다.

제2 실시예

도 3은 본 발명의 제2 실시예에서 제공하는 차선 데이터의 처리 장치의 구조 개략도이고, 도 3에 도시된 바와 같이, 상기 장치는, 원본 이미지 획득 모듈(210), 픽셀 신뢰도 산출 모듈(220), 후보 차선 결정 모듈(230), 후보 차선 신뢰도 산출 모듈(240), 후보 차선 선별 모듈(250), 차선 속성 정보 식별 모듈(260) 및 차선 맵 데이터 생성 모듈(270)을 포함한다.

여기서, 원본 이미지 획득 모듈(210)은 연속으로 촬영된 차선의 적어도 두개의 원본 이미지와 원본 이미지의 위치 확인 데이터를 획득하기 위한 것이다. 픽셀 신뢰도 산출 모듈(220)은 심층 신경망 모델을 사용하여 상기 원본 이미지 중 차선 특징에 부합되는 각 픽셀의 픽셀 신뢰도를 산출하기 위한 것이다. 후보 차선 결정 모듈(230)은 상기 원본 이미지에서 차선 윤곽을 후보 차선으로 결정하기 위한 것이다. 후보 차선 신뢰도 산출 모듈(240)은 상기 후보 차선 중의 픽셀의 픽셀 신뢰도에 따라 상기 후보 차선의 차선 신뢰도를 산출하기 위한 것이다. 후보 차선 선별 모듈(250)은 상기 후보 차선의 차선 신뢰도에 따라 상기 후보 차선을 선별하기 위한 것이다. 차선 속성 정보 식별 모듈(260)은 선별된 차선에 대하여, 상기 차선의 속성 정보를 식별하기 위한 것이다. 차선 맵 데이터 생성 모듈(270)은 상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 위치 확인 데이터에 따라 상기 차선의 맵 데이터를 결정하기 위한 것이다.

본 실시예의 기술적 해결수단에 의하면, 심층 학습, 머신 비전 및 이미지 처리 등 기술을 운용함으로써, 공업 카메라로 차선의 원본 디지털 이미지를 수집하고, 상기 원본 디지털 이미지에 따라 차선의 신뢰도, 물리적 폭, 물리적 길이, 컬러, 선형 등 속성 정보를 산출하며, 차선의 아티팩트 제거와 노이즈 제거를 진행하고, 산출된 2차원 차선 데이터를 3차원 공간에 정밀하게 투영시켜, 3차원 공간에서 차선의 위상 관계 분석, 피팅 및 생성을 진행한다. 즉, 3차원 디지털 맵으로 현실속의 도로망 차로 정보를 정확하게 재구성하는 것을 실현한다. 이러한 방법은 고효율적이고 정밀하게 차선 데이터를 결정하여, 고정밀도의 맵의 생성에 소요되는 인건비를 대폭 저감시키고, 고정밀도의 맵의 대규모 생성을 실현할 수 있다.

바람직하게, 상기 후보 차선 결정 모듈(230)은 에지 픽셀 추출 유닛과 후보 차선 결정 유닛을 포함한다.

여기서, 에지 픽셀 추출 유닛은 그래픽스 연결 성분 분석 방법을 사용하여 상기 원본 이미지에서 에지 픽셀을 추출하기 위한 것이다. 후보 차선 결정 유닛은 상기 에지 픽셀에 대하여 3회의 곡선 맞춤을 진행하여 차선의 에지 윤곽을 상기 후보 차선으로 결정하기 위한 것이다.

나아가, 상기 해결수단을 기초로, 상기 장치는, 상기 후보 차선을 결정한 후, 상기 후보 차선의 기하적 특징을 식별하고, 상기 기하적 특징에 따라 상기 후보 차선을 선별하기 위한 후보 차선 선별 모듈 더 포함한다. 상기 기하적 특징은 상기 후보 차선의 선 폭, 선 길이, 방향과 위치를 포함하고, 상기 기하적 특징에 따라 상기 후보 차선을 선별하는 것은,

기하적 특징이 적어도 하기의 한 가지 경우에 부합되는 대기 차선을 선별하여 제거하는 것을 포함한다.

즉, 상기 후보 차선의 선 길이가 설정 길이 한계값보다 작을 경우;

상기 후보 차선의 방향과 상기 원본 이미지 중의 차량 주행 방향 사이의 협각이 설정 각도 한계값보다 클 경우;

상기 후보 차선의 선 폭이 설정 폭 한계값보다 클 경우;

상기 후보 차선의 위치가 한 갈래 차로를 구성하는 두 갈래 후보 차선 사이에 위치하고, 동일한 갈래의 차로를 구성하는 두 갈래 후보 차선으로부터 떨어진 거리가 모두 설정 거리 한계값보다 클 경우; 중 적어도 한 가지 경우에 부합되는 후보 차선을 선별하여 제거한다.

바람직하게, 상기 후보 차선 신뢰도 산출 모듈(240)은 픽셀 신뢰도 평균값 통계 유닛, 차선 픽셀 결정 유닛, 차선 영역 결정 유닛 및 차선 신뢰도 산출 유닛을 포함한다.

여기서, 픽셀 신뢰도 평균값 통계 유닛은 상기 후보 차선 윤곽 범위 내의 모든 픽셀의 픽셀 신뢰도의 평균값을 통계하기 위한 것이다. 차선 픽셀 결정 유닛은 상기 후보 차선 윤곽 범위 내의 픽셀 포인트 신뢰도가 설정 신뢰도 한계값보다 큰 픽셀을 차선 픽셀로 획득하기 위한 것이다. 차선 영역 결정 유닛은 픽셀의 그레이 레벨 값에 따라 상기 원본 이미지에 대하여 영역 분할을 진행하고, 상기 후보 차선 윤곽 범위가 위치하는 차선 영역을 결정하기 위한 것이다. 차선 신뢰도 산출 유닛은 상기 차선 픽셀과 상기 차선 영역 내의 모든 픽셀의 수량 비율을 비교하고, 상기 평균값과 상기 수량 비율을 곱하여 상기 후보 차선의 차선 신뢰도로 하기 위한 것이다.

바람직하게, 상기 차선 속성 정보 식별 모듈(260)은 차선의 선형과 컬러 식별 유닛 및 차선 물리적 파라미터 산출 유닛을 포함한다.

여기서, 차선의 선형과 컬러 식별 유닛은 선별된 차선에 대하여, 상기 차선의 선형과 컬러를 식별하기 위한 것이다. 차선 물리적 파라미터 산출 유닛은 상기 차선이 원본 이미지에서의 픽셀 크기를 산출하고, 상기 원본 이미지를 촬영한 촬영 파라미터와 상기 픽셀 크기에 따라 차선의 물리적 폭, 물리적 길이, 중심선 위치와 에지라인 위치를 산출하기 위한 것이다.

바람직하게, 상기 차선 맵 데이터 생성 모듈(270)은 차선 데이터 투영 유닛을 포함한다.

여기서, 차선 데이터 투영 유닛은 상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 포인트 클라우드 데이터에 따라 2차원의 상기 차선 데이터를 3차원 맵에 투영시키기 위한 것이다.

상기 해결수단을 기초로, 바람직하게, 상기 장치는, 2차원의 상기 차선 데이터를 3차원 맵에 투영시킨 후, 상기 차선의 차선 신뢰도와 속성 정보 및 상기 원본 이미지 촬영 시의 GPS 궤적 정보에 따라 적어도 두개의 원본 이미지로 각각 결정해 낸 차선을 병합하기 위한 차선 병합 모듈을 더 포함한다.

상기 장치는 본 발명의 임의의 실시예에 따른 방법을 수행할 수 있고, 방법을 수행하기 위한 상응한 기능 모듈 및 유익한 효과를 구비한다.

이상의 내용은 단지 본 발명의 비교적 바람직한 실시예 및 응용되는 기술적 원리임을 유의하여야 한다. 본 발명이 여기에 기재된 특정 실시예에 한정되지 않으며, 해당 기술분야의 통상의 지식를 가진 자라면 본 발명의 보호범위를 벗어나지 않고서 본 발명에 대한 여러가지 명확한 변화, 재조정 및 교체를 진행할 수 있음을 해당 기술분야에서 통상의 지식을 가진 자는 자명할 것이다. 따라서, 이상의 실시예들을 결부하여 본 발명에 대한 비교적 상세한 설명을 진행하였으나, 본 발명은 이상의 실시예들에 한정되지 않으며, 본 발명의 사상을 벗어나지 않는 한, 더욱 많은 기타 균등한 실시예들을 더 포함할 수 있으며, 본 발명의 보호범위는 특허청구범위에 의해 정의된다.

본 발명의 목적을 실현하기 위하여, 구현의 수요에 따라, 본 발명에 설명된 각 부재/단계는 더 많은 부재/단계로 분할될 수 있으며, 두개 또는 그이상의 부재/단계 또는 부재/단계의 부분적 조작들은 새로은 부재/단계를 조합될 수 있음을 이해하여야 한다.

본 발명에 따른 상기 방법은 하드웨어 또는 펌웨어에 실현될 수 있으며, 또는 기록매체(예를 들면, CD ROM, RAM, 플로피 디스크, 하드 디스크 또는 광자기 디스크)에 저장 가능한 소프트웨어 또는 컴퓨터 코드로 실현되거나, 원격 기록매체 또는 머신 판독 가능한 비휘발성 매체에 원래 저장되고 네트워크를 통해 다운로드되며, 로컬 기록매체에 저장될 컴퓨터 코드로 실현될 수 있으므로, 여기에 설명되는 방법은 범용 컴퓨터, 전용 프로세서 또는 프로그래밍 가능하거나 전용 가능한 하드웨어(예를 들면, ASIC 또는 FPGA)의 기록매체에 저장된 이러한 프로그램들에 의해 처리될 수 있다. 컴퓨터, 프로세서, 마이크로 프로세서 제어기 또는 프로그래밍 가능한 하드웨어는 소프트웨어 또는 컴퓨터 코드를 저장 또는 수신할 수 있는 저장 어셈블리(예를 들면, RAM, ROM, 플래시 기억 장치 등)를 포함하는 것으로 이해할 수 있고, 상기 소프트웨어 또는 상기 컴퓨터 코드가 컴퓨터, 프로세서 또는 하드웨어에 의하여 액세스 또는 수행될 경우, 여기서 설명한 처리방법을 실현한다. 또한, 범용 컴퓨터가 여기서 제시한 처리 단계를 수행하기 위한 코드를 액세스할 경우, 코드의 수행은 범용 컴퓨터를 여기서 제시한 처리 단계를 수행하도록 구성된 전용 컴퓨터로 전환한다.

제3 실시예

본 발명은 컴퓨터 실행 가능한 명령어를 포함하는 저장매체를 제공하며, 상기 컴퓨터 실행 가능한 명령어는 컴퓨터 프로세서에 의해 실행될 경우 차선 데이터의 처리 방법을 실행하며, 상기 방법은,

상기 저장매체가 상기 방법을 실행할 경우, 상기 원본 이미지에서 차선 윤곽을 후보 차선으로 결정하는 단계는,

그래픽스 연결 성분 분석 방법을 사용하여 상기 원본 이미지에서 에지 픽셀을 추출하는 단계; 및

상기 에지 픽셀에 대하여 3회의 곡선 맞춤을 진행하여 차선의 에지 윤곽을 상기 후보 차선으로 결정하는 단계를 포함할 수 있다.

상기 저장매체가 상기 방법을 실행할 경우, 상기 후보 차선을 결정하는 단계 이후,

상기 후보 차선의 기하적 특징을 식별하는 단계; 및

상기 기하적 특징에 따라 상기 후보 차선을 선별하는 단계를 더 포함할 수 있다.

상기 저장매체가 상기 방법을 실행할 경우, 상기 기하적 특징은 상기 후보 차선의 선 폭, 선 길이, 방향 및 위치를 포함할 수 있고, 상기 기하적 특징에 따라 상기 후보 차선을 선별하는 단계는, 기하적 특징이,

상기 후보 차선의 선 길이가 설정 길이 한계값보다 작을 경우;

상기 후보 차선의 선 폭이 설정 폭 한계값보다 클 경우; 및

상기 후보 차선의 위치가 한 갈래 차로를 구성하는 두 갈래 후보 차선 사이에 위치하고, 동일한 갈래의 차로를 구성하는 두 갈래 후보 차선으로부터 떨어진 거리가 모두 설정 거리 한계값보다 클 경우; 중 적어도 한 가지 경우에 부합되는 후보 차선을 선별하여 제거하는 단계를 포함할 수 있다.

상기 저장매체가 상기 방법을 실행할 경우, 상기 후보 차선 중의 픽셀의 픽셀 신뢰도에 따라 상기 후보 차선의 차선 신뢰도를 산출하는 단계는,

상기 후보 차선 윤곽 범위 내의 모든 픽셀의 픽셀 신뢰도의 평균값을 통계하는 단계;

상기 후보 차선 윤곽 범위 내의 픽셀 포인트 신뢰도가 설정 신뢰도 한계값보다 큰 픽셀을 차선 픽셀로 획득하는 단계;

픽셀의 그레이 레벨 값에 따라 상기 원본 이미지에 대하여 영역 분할을 진행하고, 상기 후보 차선 윤곽 범위가 위치하는 차선 영역을 결정하는 단계;

상기 차선 픽셀과 상기 차선 영역 내의 모든 픽셀의 수량 비율을 비교하는 단계;

상기 평균값과 상기 수량 비율을 곱하여 상기 후보 차선의 차선 신뢰도로 하는 단계를 포함할 수 있다.

상기 저장매체가 상기 방법을 실행할 경우, 선별된 차선에 대하여, 상기 차선의 속성 정보를 식별하는 단계는,

선별된 차선에 대하여, 상기 차선의 선형과 컬러를 식별하는 단계;

상기 차선이 원본 이미지에서의 픽셀 크기를 산출하는 단계;

상기 원본 이미지를 촬영한 촬영 파라미터와 상기 픽셀 크기에 따라, 차선의 물리적 폭, 물리적 길이, 중심선 위치와 에지라인 위치를 산출하는 단계를 포함할 수 있다.

상기 저장매체가 상기 방법을 실행할 경우, 상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 위치 확인 데이터에 따라 상기 차선의 맵 데이터를 결정하는 단계는,

상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 포인트 클라우드 데이터에 따라 2차원의 상기 차선 데이터를 3차원 맵에 투영시키는 단계를 포함할 수 있다.

상기 저장매체가 상기 방법을 실행할 경우, 2차원의 상기 차선 데이터를 3차원 맵에 투영시키는 단계 이후,

상기 차선의 차선 신뢰도와 속성 정보 및 상기 원본 이미지 촬영 시의 GPS 궤적 정보에 따라 적어도 두개의 원본 이미지로 각각 결정해 낸 차선을 병합하는 단계를 더 포함할 수 있다.

제4 실시예

도 4는 본 발명의 제4 실시예에서 제공하는 차선 데이터의 처리 방법의 기기의 하드웨어 구조 개략도이다. 도 4를 참조하면, 상기 기기는,

하나 또는 다수의 프로세서(410);

메모리 장치(420); 및 하나 또는 다수의 모듈을 포함할 수 있으며, 도 4에서는 하나의 프로세서(410)를 예로 들어 설명한다.

상기 기기는, 입력 장치(430) 및 출력 장치(440)을 더 포함할 수 있다. 상기 기기 중의 프로세서(410), 메모리 장치(420), 입력 장치(430) 및 출력 장치(440)는 버스라인 또는 기타 방식으로 연결될 수 있으며, 도 4에서는 버스라인으로 연결된 것을 예로 들어 설명한다.

메모리 장치(420)는 컴퓨터 판독 가능한 저장 매체로서, 본 발명의 실시예에 따른 차선 데이터의 처리 방법에 대응되는 프로그램 명령어/모듈(예를 들어, 도 3에 도시된 차선 데이터 처리 장치 중의 원본 이미지 획득 모듈(210), 픽셀 신뢰도 산출 모듈(220), 후보 차선 결정 모듈(230), 후보 차선 신뢰도 산출 모듈(240), 후보 차선 선별 모듈(250), 차선 속성 정보 식별 모듈(260) 및 차선 맵 데이터 생성 모듈(270))과 같은 소프트웨어 프로그램, 컴퓨터 실행 가능한 프로그램 및 모듈을 저장할 수 있다. 프로세서(410)는 메모리 장치(420)에 저장된 소프트웨어 프로그램, 명령어 및 모듈을 실행함으로써, 서버의 각종 기능 응용 및 데이터 처리를 진행한다. 즉, 상기 방법 실시예에 따른 차선 데이터의 처리 방법을 실현한다.

메모리 장치(420)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있으며, 여기서, 프로그램 저장 영역은 운영체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있고, 데이터 저장 영역은 기기의 사용에 따라 생성된 데이터 등을 저장할 수 있다. 또한, 메모리 장치(420)는 하이 스피드 랜덤 액세스 메모리 장치를 포함할 수 있고, 예를 들어, 적어도 하나의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 기타 비휘발성 고체 저장 디바이스와 같은 비휘발성 메모리 장치를 포함할 수도 있다. 일부 실시예에서, 메모리 장치(420)는 프로세서(410)에 대해 원격으로 설치된 메모리를 더 포함할 수 있으며, 이러한 원격 메모리는 네트워크를 통해 단말기 장치에 연결될 수 있다. 상기 네트워크의 실예로, 인터넷, 기업 인트라넷, LAN, 이동 통신망 및 이들의 조합을 포함할 수 있으나 이에 한정되지 않는다.

입력 장치(430)는 입력된 숫자 또는 문자 정보를 수신하고, 단말기의 사용자 설정 및 기능 제어에 관련된 키 신호 입력을 발생시킬 수 있다. 출력 장치(440)는 디스플레이 등 표시 장치를 포함할 수 있다.

상기 하나 또는 다수의 모듈은 상기 메모리 장치(420)에 저장되고, 상기 하나 또는 다수의 프로세서(410)에 의해 실행될 경우, 연속으로 촬영된 차선의 적어도 두개의 원본 이미지와 원본 이미지의 위치 확인 데이터를 획득하고,

선별된 차선에 대하여, 상기 차선의 속성 정보를 식별하고,

바람직하게, 상기 원본 이미지에서 차선 윤곽을 후보 차선으로 결정하는 조작은,

그래픽스 연결 성분 분석 방법을 사용하여 상기 원본 이미지에서 에지 픽셀을 추출하고,

상기 에지 픽셀에 대하여 3회의 곡선 맞춤을 진행하여 차선의 에지 윤곽을 상기 후보 차선으로 결정하는 것을 포함한다.

나아가, 상기 후보 차선을 결정한 이후,

상기 후보 차선의 기하적 특징을 식별하는 조작; 및

상기 기하적 특징에 따라 상기 후보 차선을 선별하는 조작을 더 포함한다.

나아가, 상기 기하적 특징은 상기 후보 차선의 선 폭, 선 길이, 방향 및 위치를 포함하고, 상기 기하적 특징에 따라 상기 후보 차선을 선별하는 조작은, 기하적 특징이,

상기 후보 차선의 선 폭이 설정 폭 한계값보다 클 경우; 및

상기 후보 차선의 위치가 한 갈래 차로를 구성하는 두 갈래 후보 차선 사이에 위치하고, 동일한 갈래의 차로를 구성하는 두 갈래 후보 차선으로부터 떨어진 거리가 모두 설정 거리 한계값보다 클 경우; 중 적어도 한 가지 경우에 부합되는 후보 차선을 선별하여 제거하는 것을 포함한다.

나아가, 상기 후보 차선 중의 픽셀의 픽셀 신뢰도에 따라 상기 후보 차선의 차선 신뢰도를 산출하는 조작은,

상기 후보 차선 윤곽 범위 내의 모든 픽셀의 픽셀 신뢰도의 평균값을 통계하고,

상기 후보 차선 윤곽 범위 내의 픽셀 포인트 신뢰도가 설정 신뢰도 한계값보다 큰 픽셀을 차선 픽셀로 획득하고,

픽셀의 그레이 레벨 값에 따라 상기 원본 이미지에 대하여 영역 분할을 진행하고, 상기 후보 차선 윤곽 범위가 위치하는 차선 영역을 결정하고,

상기 차선 픽셀과 상기 차선 영역 내의 모든 픽셀의 수량 비율을 비교하고,

상기 평균값과 상기 수량 비율을 곱하여 상기 후보 차선의 차선 신뢰도로 하는 것을 포함한다.

바람직하게, 선별된 차선에 대하여, 상기 차선의 속성 정보를 식별하는 조작은,

선별된 차선에 대하여, 상기 차선의 선형과 컬러를 식별하고,

상기 차선이 원본 이미지에서의 픽셀 크기를 산출하고,

상기 원본 이미지를 촬영한 촬영 파라미터와 상기 픽셀 크기에 따라, 차선의 물리적 폭, 물리적 길이, 중심선 위치와 에지라인 위치를 산출하는 것을 포함한다.

바람직하게, 상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 위치 확인 데이터에 따라 상기 차선의 맵 데이터를 결정하는 조작은,

상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 포인트 클라우드 데이터에 따라 2차원의 상기 차선 데이터를 3차원 맵에 투영시키는 것을 포함한다.

나아가, 2차원의 상기 차선 데이터를 3차원 맵에 투영시킨 이후,

상기 차선의 차선 신뢰도와 속성 정보 및 상기 원본 이미지 촬영 시의 GPS 궤적 정보에 따라 적어도 두개의 원본 이미지로 각각 결정해 낸 차선을 병합하는 조작을 더 포함한다.

상기 실시예들에 대한 설명에 통해, 해당 기술분야의 당업자는 본 발명이 소프트웨어 및 필요한 범용 하드웨어에 의해 구현될 수 있고, 물론, 하드웨어에 의해 구현될 수도 있으나 다수의 경우에는 전자가 보다 바람직한 실시형태임을 충분히 이해할 수 있을 것이다. 이러한 이해에 기반하여, 본 발명의 기술적 방안의 본질 또는 종래 기술에 대해 기여가 있는 부분은 소프트웨어 제품의 형식으로 구현될 수 있으며, 해당 컴퓨터 소프트웨어 제품은, 예를 들어 자기 디스크, 콤팩트 디스크, 읽기 전용 메모리 장치(Read-Only Memory, ROM), 랜덤 액세스 메모리 장치(Random Access Memory, RAM) 등과 같은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 컴퓨터 기기(개인 컴퓨터, 서버 또는 네트워크 기기 등)로 하여금 본 발명의 각 실시예에 기재된 방법을 실행하도록 하는 다수의 명령어를 포함한다.

상기 차선 데이터의 처리 장치의 실시예에 있어서, 이에 포함된 각 모듈 및 서브 모듈들은 오직 기능 로직에 따라 분류된 것일 뿐, 관련 기능에 대한 실현이 가능할 경우 상기 분류에 한정되는 것이 아님을 유의하여야 한다. 또한, 각 기능 유닛의 구체적인 명칭은 본 발명의 보호범위를 한정하기 위한 것이 아니라, 오직 구분이 용이하도록 이용되는 것임을 유의하여야 한다.

본 명세서 중의 각 실시예들은 모두 점차적인 서술 방법으로 설명을 진행하였으며, 각 실시예들 사이의 차이점들에 초점을 맞추어 설명을 진행하였으며, 각 실시예들 사이의 동일하거나 유사한 부분들은 서로 참조하면 될 것이다.

이상에서 본 발명의 구체적인 실시예에 대해 설명하였으나, 본 발명의 보호범위는 이에 한정되지 않으며, 해당 기술 분야에 익숙한 당업자가 본 발명에 기재된 기술적 범위내에서 용이하게 생각해낼 수 있는 그 어떠한 변경이나 대체는 모두 본 발명의 보호범위에 포함되어야 한다. 따라서, 본 발명의 보호범위는 첨부된 특허 청구범위에 의해 정의되어야 한다.

Claims

연속으로 촬영된 차선의 적어도 두개의 원본 이미지와 원본 이미지의 위치 확인 데이터를 획득하는 단계;
심층 신경망 모델을 사용하여 상기 원본 이미지 중 차선 특징에 부합되는 각 픽셀의 픽셀 신뢰도를 산출하는 단계;
상기 원본 이미지에서 차선 윤곽을 후보 차선으로 결정하는 단계;
상기 후보 차선 중의 픽셀의 픽셀 신뢰도에 따라 상기 후보 차선의 차선 신뢰도를 산출하는 단계;
상기 후보 차선의 차선 신뢰도에 따라 상기 후보 차선을 선별하는 단계;
선별된 차선에 대하여, 상기 차선의 속성 정보를 식별하는 단계; 및
상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 위치 확인 데이터에 따라 상기 차선의 맵 데이터를 결정하는 단계를 포함하는 것을 특징으로 하는 차선 데이터의 처리 방법.
제1항에 있어서,
상기 원본 이미지에서 차선 윤곽을 후보 차선으로 결정하는 단계는,
그래픽스 연결 성분 분석 방법을 사용하여 상기 원본 이미지에서 에지 픽셀을 추출하는 단계; 및
상기 에지 픽셀에 대하여 3회의 곡선 맞춤을 진행하여 차선의 에지 윤곽을 상기 후보 차선으로 결정하는 단계를 포함하는 것을 특징으로 하는 차선 데이터의 처리 방법.
제1항에 있어서,
상기 후보 차선을 결정하는 단계 이후,
상기 후보 차선의 기하적 특징을 식별하는 단계; 및
상기 기하적 특징에 따라 상기 후보 차선을 선별하는 단계를 더 포함하는 것을 특징으로 하는 차선 데이터의 처리 방법.
제3항에 있어서,
상기 기하적 특징은 상기 후보 차선의 선 폭, 선 길이, 방향과 위치를 포함하고,
상기 기하적 특징에 따라 상기 후보 차선을 선별하는 단계는,
기하적 특징이,
상기 후보 차선의 선 길이가 설정 길이 한계값보다 작을 경우;
상기 후보 차선의 방향과 상기 원본 이미지 중의 차량 주행 방향 사이의 협각이 설정 각도 한계값보다 클 경우;
상기 후보 차선의 선 폭이 설정 폭 한계값보다 클 경우; 및
상기 후보 차선의 위치가 한 갈래 차로를 구성하는 두 갈래 후보 차선 사이에 위치하고, 동일한 갈래의 차로를 구성하는 두 갈래 후보 차선으로부터 떨어진 거리가 모두 설정 거리 한계값보다 클 경우; 중 적어도 한 가지 경우에 부합되는 후보 차선을 선별하여 제거하는 단계를 포함하는 것을 특징으로 하는 차선 데이터의 처리 방법.
제1항에 있어서,
상기 후보 차선 중의 픽셀의 픽셀 신뢰도에 따라 상기 후보 차선의 차선 신뢰도를 산출하는 단계는,
상기 후보 차선 윤곽 범위 내의 모든 픽셀의 픽셀 신뢰도의 평균값을 통계하는 단계;
상기 후보 차선 윤곽 범위 내의 픽셀 포인트 신뢰도가 설정 신뢰도 한계값보다 큰 픽셀을 차선 픽셀로 획득하는 단계;
픽셀의 그레이 레벨 값에 따라 상기 원본 이미지에 대하여 영역 분할을 진행하고, 상기 후보 차선 윤곽 범위가 위치하는 차선 영역을 결정하는 단계;
상기 차선 픽셀과 상기 차선 영역 내의 모든 픽셀의 수량 비율을 비교하는 단계; 및
상기 평균값과 상기 수량 비율을 곱하여 상기 후보 차선의 차선 신뢰도로 하는 단계를 포함하는 것을 특징으로 하는 차선 데이터의 처리 방법.
제1항에 있어서,
선별된 차선에 대하여, 상기 차선의 속성 정보를 식별하는 단계는,
선별된 차선에 대하여, 상기 차선의 선형과 컬러를 식별하는 단계;
상기 차선이 원본 이미지에서의 픽셀 크기를 산출하는 단계; 및
상기 원본 이미지를 촬영한 촬영 파라미터와 상기 픽셀 크기에 따라, 차선의 물리적 폭, 물리적 길이, 중심선 위치와 에지라인 위치를 산출하는 단계를 포함하는 것을 특징으로 하는 차선 데이터의 처리 방법.
제1항에 있어서,
상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 위치 확인 데이터에 따라 상기 차선의 맵 데이터를 결정하는 단계는,
상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 포인트 클라우드 데이터에 따라 2차원의 상기 차선 데이터를 3차원 맵에 투영시키는 단계를 포함하는 것을 특징으로 하는 차선 데이터의 처리 방법.
제1항에 있어서,
2차원의 상기 차선 데이터를 3차원 맵에 투영시키는 단계 이후,
상기 차선의 차선 신뢰도와 속성 정보 및 상기 원본 이미지 촬영 시의 GPS 궤적 정보에 따라, 적어도 두개의 원본 이미지로 각각 결정해 낸 차선을 병합하는 단계를 더 포함하는 것을 특징으로 하는 차선 데이터의 처리 방법.
연속으로 촬영된 차선의 적어도 두개의 원본 이미지와 원본 이미지의 위치 확인 데이터를 획득하기 위한 원본 이미지 획득 모듈;
심층 신경망 모델을 사용하여 상기 원본 이미지 중 차선 특징에 부합되는 각 픽셀의 픽셀 신뢰도를 산출하기 위한 픽셀 신뢰도 산출 모듈;
상기 원본 이미지에서 차선 윤곽을 결정하여 후보 차선으로 하기 위한 후보 차선 결정 모듈;
상기 후보 차선 중의 픽셀의 픽셀 신뢰도에 따라 상기 후보 차선의 차선 신뢰도를 산출하기 위한 후보 차선 신뢰도 산출 모듈;
상기 후보 차선의 차선 신뢰도에 따라, 상기 후보 차선을 선별하기 위한 후보 차선 선별 모듈;
선별된 차선에 대하여 상기 차선의 속성 정보를 식별하기 위한 차선 속성 정보 식별 모듈; 및
상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 위치 확인 데이터에 따라 상기 차선의 맵 데이터를 결정하기 위한 차선 맵 데이터 생성 모듈을 포함하는 것을 특징으로 하는 차선 데이터의 처리 장치.
제9항에 있어서,
상기 후보 차선 결정 모듈은,
그래픽스 연결 성분 분석 방법을 사용하여 상기 원본 이미지에서 에지 픽셀을 추출하기 위한 에지 픽셀 추출 유닛;
상기 에지 픽셀에 대하여 3회의 곡선 맞춤을 진행하여 차선의 에지 윤곽을 상기 후보 차선으로 결정하기 위한 후보 차선 결정 유닛을 포함하는 것을 특징으로 하는 차선 데이터의 처리 장치.
제9항에 있어서,
상기 후보 차선을 결정한 후, 상기 후보 차선의 기하적 특징을 식별하고, 상기 기하적 특징에 따라 상기 후보 차선을 선별하기 위한 후보 차선 선별 모듈을 더 포함하는 것을 특징으로 하는 차선 데이터의 처리 장치.
제11항에 있어서,
상기 기하적 특징은 상기 후보 차선의 선 폭, 선 길이, 방향과 위치를 포함하고,
상기 기하적 특징에 따라 상기 후보 차선을 선별하는 것은,
기하적 특징이,
상기 후보 차선의 선 길이가 설정 길이 한계값보다 작을 경우;
상기 후보 차선의 방향과 상기 원본 이미지 중의 차량 주행 방향 사이의 협각이 설정 각도 한계값보다 클 경우;
상기 후보 차선의 선 폭이 설정 폭 한계값보다 클 경우; 및
상기 후보 차선의 위치가 한 갈래 차로를 구성하는 두 갈래 후보 차선 사이에 위치하고, 동일한 갈래의 차로를 구성하는 두 갈래 후보 차선으로부터 떨어진 거리가 모두 설정 거리 한계값보다 클 경우; 중 적어도 한 가지 경우에 부합되는 후보 차선을 선별하여 제거하는 것을 포함하는 것을 특징으로 하는 차선 데이터의 처리 장치.
제9항에 있어서,
상기 후보 차선 신뢰도 산출 모듈은,
상기 후보 차선 윤곽 범위 내의 모든 픽셀의 픽셀 신뢰도의 평균값을 통계하기 위한 픽셀 신뢰도 평균값 통계 유닛;
상기 후보 차선 윤곽 범위 내의 픽셀 포인트 신뢰도가 설정 신뢰도 한계값보다 큰 픽셀을 차선 픽셀로 획득하기 위한 차선 픽셀 결정 유닛;
픽셀의 그레이 레벨 값에 따라 상기 원본 이미지에 대하여 영역 분할을 진행하고, 상기 후보 차선 윤곽 범위가 위치하는 차선 영역을 결정하기 위한 차선 영역 결정 유닛; 및
상기 차선 픽셀과 상기 차선 영역 내의 모든 픽셀의 수량 비율을 비교하고, 상기 평균값과 상기 수량 비율을 곱하여 상기 후보 차선의 차선 신뢰도로 하기 위한 차선 신뢰도 산출 유닛을 포함하는 것을 특징으로 하는 차선 데이터의 처리 장치.
제9항에 있어서,
상기 차선 속성 정보 식별 모듈은,
선별된 차선에 대하여, 상기 차선의 선형과 컬러를 식별하기 위한 차선의 선형과 컬러 식별 유닛; 및
상기 차선이 원본 이미지에서의 픽셀 크기를 산출하고, 상기 원본 이미지를 촬영한 촬영 파라미터와 상기 픽셀 크기에 따라 차선의 물리적 폭, 물리적 길이, 중심선 위치 및 에지라인 위치를 산출하기 위한 차선 물리적 파라미터 산출 유닛을 포함하는 것을 특징으로 하는 차선 데이터의 처리 장치.
제9항에 있어서,
상기 차선 맵 데이터 생성 모듈은,
상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 포인트 클라우드 데이터에 따라 2차원의 상기 차선 데이터를 3차원 맵에 투영시키기 위한 차선 데이터 투영 유닛을 포함하는 것을 특징으로 하는 차선 데이터의 처리 장치.
제9항에 있어서,
2차원의 상기 차선 데이터를 3차원 맵에 투영시킨 후, 상기 차선의 차선 신뢰도와 속성 정보 및 상기 원본 이미지 촬영 시의 GPS 궤적 정보에 따라, 적어도 두개의 원본 이미지로 각각 결정해 낸 차선을 병합하기 위한 차선 병합 모듈을 더 포함하는 것을 특징으로 하는 차선 데이터의 처리 장치.
컴퓨터 실행 가능한 명령어를 포함하는 저장매체에 있어서, 상기 컴퓨터 실행 가능한 명령어는 컴퓨터 프로세서에 의해 실행될 경우 차선 데이터의 처리 방법을 실행하며, 상기 방법은,
연속으로 촬영된 차선의 적어도 두개의 원본 이미지와 원본 이미지의 위치 확인 데이터를 획득하는 단계;
심층 신경망 모델을 사용하여 상기 원본 이미지 중 차선 특징에 부합되는 각 픽셀의 픽셀 신뢰도를 산출하는 단계;
상기 원본 이미지에서 차선 윤곽을 후보 차선으로 결정 하는 단계;
상기 후보 차선 중의 픽셀의 픽셀 신뢰도에 따라 상기 후보 차선의 차선 신뢰도를 산출하는 단계;
상기 후보 차선의 차선 신뢰도에 따라 상기 후보 차선을 선별하는 단계;
선별된 차선에 대하여, 상기 차선의 속성 정보를 식별하는 단계; 및
상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 위치 확인 데이터에 따라 상기 차선의 맵 데이터를 결정하는 단계를 포함하는 것을 특징으로 하는 저장매체.
하나 또는 다수의 프로세서;
메모리 장치; 및
상기 메모리 장치에 저장되는 하나 또는 다수의 프로그램;을 포함하되,
상기 하나 또는 다수의 프로그램은 상기 하나 또는 다수의 프로세서에 의해 실행될 경우,
연속으로 촬영된 차선의 적어도 두개의 원본 이미지와 원본 이미지의 위치 확인 데이터를 획득하고,
심층 신경망 모델을 사용하여 상기 원본 이미지 중 차선 특징에 부합되는 각 픽셀의 픽셀 신뢰도를 산출하고,
상기 원본 이미지에서 차선 윤곽을 후보 차선으로 결정하고,
상기 후보 차선 중의 픽셀의 픽셀 신뢰도에 따라 상기 후보 차선의 차선 신뢰도를 산출하고,
상기 후보 차선의 차선 신뢰도에 따라 상기 후보 차선을 선별하고,
선별된 차선에 대하여, 상기 차선의 속성 정보를 식별하고,
상기 차선의 속성 정보 및 상기 원본 이미지 촬영 시의 위치 확인 데이터에 따라 상기 차선의 맵 데이터를 결정하는 조작들을 실행하는 것을 특징으로 하는 차선 데이터의 처리 기기.