KR102480972B1 - 고정밀지도생성장치 및 고정밀지도생성방법 - Google Patents

고정밀지도생성장치 및 고정밀지도생성방법 Download PDF

Info

Publication number
KR102480972B1
KR102480972B1 KR1020220007536A KR20220007536A KR102480972B1 KR 102480972 B1 KR102480972 B1 KR 102480972B1 KR 1020220007536 A KR1020220007536 A KR 1020220007536A KR 20220007536 A KR20220007536 A KR 20220007536A KR 102480972 B1 KR102480972 B1 KR 102480972B1
Authority
KR
South Korea
Prior art keywords
road
lane
lanes
map
aerial image
Prior art date
Application number
KR1020220007536A
Other languages
English (en)
Other versions
KR20220013439A (ko
Inventor
김지원
유찬미
이시영
Original Assignee
네이버랩스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버랩스 주식회사 filed Critical 네이버랩스 주식회사
Priority to KR1020220007536A priority Critical patent/KR102480972B1/ko
Publication of KR20220013439A publication Critical patent/KR20220013439A/ko
Application granted granted Critical
Publication of KR102480972B1 publication Critical patent/KR102480972B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models

Abstract

본 출원은 고정밀지도생성장치 및 고정밀지도생성방법에 관한 것으로서, 본 발명의 일 실시예에 의한 고정밀지도생성방법은, 영역박스 검출 신경망을 이용하여, 항공영상 내에 포함된 도로의 노면기호를 인식하고, 상기 노면기호의 위치정보 및 방향정보를 나타내는 영역박스를 생성하는 단계; 의미추출 신경망을 이용하여, 상기 항공영상 내에 포함된 도로객체들을 인식하고, 입력된 차선위치정보에 따라 도로 내 차선을 특정하여 각각의 차선의 종류를 분류하는 단계; 및 상기 노면기호 및 차선들을 이용하여, 상기 항공영상에 대응하는 고정밀지도를 생성하는 단계를 포함할 수 있다.

Description

고정밀지도생성장치 및 고정밀지도생성방법 {Apparatus and method for generating High Definition Map}
본 출원은 고정밀지도생성장치 및 고정밀지도생성방법에 관한 것으로, 특히 항공영상으로부터 다양한 노면기호 또는 차선을 정확하게 인식하고 분류할 수 있는, 고정밀지도생성장치 및 고정밀지도생성방법에 관한 것이다.
차량의 무인자율화(자율주행차량)는 크게 주위 환경을 인식하는 단계와, 인식된 환경으로부터 주행경로를 계획하는 단계, 그리고 계획된 경로를 따라 주행하는 단계로 구성될 수 있으며, 이 과정에서 가장 기본적으로 요구되는 것이 정밀도로지도(High Definition Map, HD-Map)이다.
정밀도로지도(HD-Map)는 도로, 지형의 고저, 곡률 등과 같은 주변환경에 대한 정보가 3D로 구현된 지도로서, 특히 도로의 주행시 필요한 다양한 정보들을 포함하고 있다. 예를 들어, 정밀도로지도(HD-Map)에는 도로의 차선, 주행방향, 교차로, 표지판, 신호등, 제한속도 등과 같이 해당 도로를 주행하는데 필요한 각종 정보들을 포함하고 있다.
자율주행차량은 정밀도로지도(HD-Map)를 바탕으로 주위환경을 인식하면서 도로를 주행하므로, 정밀도로지도(HD-Map)는 자율주행분야에 있어서 가장 기본이 될 수 있다.
본 출원은 항공영상으로부터 다양한 노면기호 또는 차선을 정확하게 인식하고 분류할 수 있는 고정밀지도생성장치 및 고정밀지도생성방법을 제공하고자 한다.
본 출원은 항공영상으로부터 인식한 노면기호의 방향을 보다 정확하게 판단할 수 있는 고정밀지도생성장치 및 고정밀지도생성방법을 제공하고자 한다.
본 출원은 항공영상 내에 포함된 다양한 종류의 차선을 신속하게 분류하는 동시에, 차선의 위치정보를 정밀하게 제공할 수 있는 고정밀지도생성장치 및 고정밀지도생성방법을 제공하고자 한다.
본 발명의 일 실시예에 의한 고정밀지도생성방법은, 영역박스 검출 신경망을 이용하여, 항공영상 내에 포함된 도로의 노면기호를 인식하고, 상기 노면기호의 위치정보 및 방향정보를 나타내는 영역박스를 생성하는 단계; 의미추출 신경망을 이용하여, 상기 항공영상 내에 포함된 도로객체들을 인식하고, 입력된 차선위치정보에 따라 도로 내 차선을 특정하여 각각의 차선의 종류를 분류하는 단계; 및 상기 노면기호 및 차선들을 이용하여, 상기 항공영상에 대응하는 고정밀지도를 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 의한 고정밀지도생성장치는, 영역박스 검출 신경망을 이용하여, 항공영상 내에 포함된 도로의 노면기호를 인식하고, 상기 노면기호의 위치정보 및 방향정보를 나타내는 영역박스를 생성하는 노면기호인식부; 의미추출 신경망을 이용하여, 상기 항공영상 내에 포함된 도로객체들을 인식하고, 입력된 차선위치정보에 따라 도로 내 차선을 특정하여 각각의 차선의 종류를 분류하는 차선인식부; 및 상기 노면기호 및 차선들을 이용하여, 상기 항공영상에 대응하는 고정밀지도를 생성하는 지도생성부를 포함할 수있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 고정밀지도생성장치 및 고정밀지도생성방법에 의하면, 항공영상으로부터 다양한 노면기호 또는 차선을 정확하게 인식하고 분류하는 것이 가능하다.
본 발명의 일 실시예에 의한 고정밀지도생성장치 및 고정밀지도생성방법에 의하면, 항공영상으로부터 인식한 노명기호의 방향을, 노면 기호가 위치하는 도로의 방향이나, 동일한 그룹에 포함된 노면 기호들의 방향을 고려하여 교정할 수 있으므로, 노면 기호의 방향을 보다 정확히 산출할 수 있다.
본 발명의 일 실시예에 의한 고정밀지도생성장치 및 고정밀지도생성방법에 의하면, 항공영상 내에 포함된 다양한 종류의 차선을 신속하게 분류할 수 있으며, 동시에 차선들에 대한 위치정보를 정밀하게 제공하는 것이 가능하다.
다만, 본 발명의 실시예들에 따른 고정밀지도생성장치 및 고정밀지도생성방법이 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도1은 본 발명의 일 실시예에 의한 고정밀지도생성장치를 나타내는 블록도이다.
도2는 본 발명의 일 실시예에 의한 고정밀지도생성장치가 추출한 노면기호 및 차선을 나타내는 개략도이다.
도3은 본 발명의 일 실시예에 의한 노면기호의 대한 방향 보정을 나타내는 개략도이다.
도4는 본 발명의 일 실시예에 의한 차선 인식을 나타내는 개략도이다.
도5는 본 발명의 일 실시예에 의한 고정밀지도생성방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
최근 자율주행에 대한 관심이 많아지면서 자율주행자동차를 위한 고정밀 지도(High Definition Map)의 필요성이 대두되고 있다. 고정밀 지도에는 자율 주행자동차의 주행시 필요한 차선, 노면 기호 등이 포함될 수 있으며, 이때 각각의 차선이나 노면 기호 등의 위치정보에 대해 매우 높은 정확도가 요구된다.
종래에는 고정밀지도의 정확도를 높이기 위하여, 항공영상으로부터 작업자가 직접 도로의 노면 기호와, 차선에 대한 주석작업을 수행하여 고정밀지도를 생성하였다. 다만, 항공영상 내에 포함된 노면 기호와, 차선 등의 위치와 분류를 정확하게 하기 위해서는 숙련된 작업자가 필요하며, 대단위의 지역에 대한 고정밀지도를 작성하기 위해서는, 다수의 작업자가 업무를 수행할 필요가 있다. 즉, 고정밀지도 생성을 위한 주석작업은 오랜 시간과 많은 인력이 요구되는 등의 문제점이 존재하였다.
고정밀지도 제작과 관련하여, 주행 중인 차량에서 촬영한 영상을 이용한 방안도 제안되고 있다. 그러나, 이 경우 측정되는 노면 기호 또는 차선의 위치가 측정차량을 중심으로 기술되므로, 차량 주행시에는 직접적으로 쓰일 수 있으나, 고정밀지도를 만들기 위해서는 적절하지 않을 수 있다. 즉, 노면 기호 또는 차선의 지리좌표값을 알아내기 위해서는, 측정차량의 정확한 위치정보가 필요하지만, GPS(Global Positioning System)가 부정확한 지역(예를들어, 차량이 밀집한 지역) 등에서는 차량의 위치를 정확하게 파악하기 어려우므로, 노면 기호 또는 차선의 정확한 지리좌표값을 알아내는 것 또한 어려움이 있다. 이외에도, 다른 차량에 의해 가려지거나, 촬영장치의 화각이 나오지 않는 등의 경우에는, 검출장치의 성능과 관계없이 노면 기호 또는 차선의 위치를 찾지 못하는 등의 문제가 존재한다.
한편, 본 발명의 일 실시예에 의한 고정밀지도생성장치에 의하면, 고정밀지도의 주석작업을 자동화할 수 있으므로, 주석작업에 소요되는 시간과 비용 등을 절감하는 것이 가능하다. 또한, 본 발명의 일 실시예에 의한 고정밀지도생성장치는 항공영상을 기반으로 노면기호 또는 차선을 인식하므로, 주행 중인 차량에서 촬영한 영상을 이용하는 경우에 발생할 수 있는 문제점들을 해소할 수 있다.
즉, 본 발명의 일 실시예에 의한 고정밀지도생성장치는, 영상좌표와 지리좌표간의 일대일 대응관계를 미리 알고 있는 항공영상을 이용하므로, 항공영상 내에 검출한 노면 기호의 실제 지리좌표값을 손쉽게 파악하는 것이 가능하다. 또한, 항공영상의 경우 여러 시점(時点)에 다양한 촬영각도로 촬영한 영상을 합성하여 만드는 것으로, 특정 시점에서 어느 노면 기호 또는 차선이 가려졌더라도 다른 시점에서 그 노면 기호 또는 차선이 가려지지 않았다면 최종적으로 합성된 항공영상 내에는 해당 노면 기호 또는 차선이 표시될 수 있다. 따라서, 항공영상을 이용하여 종래의 노면 기호 가려짐 현상을 줄일 수 있으므로, 용이하게 노면 기호 또는 차선의 위치를 찾아낼 수 있다. 이하, 본 발명의 일 실시예에 의한 고정밀지도생성장치를 설명한다.
도1은 본 발명의 일 실시예에 의한 고정밀지도생성장치를 나타내는 블록도이다. 도1을 참조하면, 본 발명의 일 실시예에 의한 고정밀지도생성장치(100)는 노면기호인식부(110), 차선인식부(120) 및 지도생성부(130)를 포함할 수 있다.
노면기호인식부(110)는, 영역박스 검출 신경망을 이용하여, 항공영상(A) 내에 포함된 도로의 노면기호를 인식하고, 노면기호의 위치정보 및 방향정보를 나타내는 영역박스를 생성할 수 있다.
여기서, 영역박스는 도2(a)에 도시한 바와 같이, 방향성을 가지는 지향성 영역 박스(OBB: Oriented Bounding Box)일 수 있으며, 영역박스 검출 신경망은 SCRDet 알고리즘을 이용하여 영역박스를 생성하는 것일 수 있다.
구체적으로, SCRDet 알고리즘을 이용하는 경우, 합성곱 신경망(convolution network)을 이용하여 항공영상(A)에 대한 특징 지도(feature map)을 산출할 수 있으며, 이후 특징 지도는 영역 제안 신경망으로 입력되어, 항공영상(A) 내에서 노면 기호가 존재할 수 있는 후보 위치(ROI, Region Of Interest)들을 산출할 수 있다. 후보 위치를 포함하는 특징 지도는 다시 합성곱 신경망으로 입력되어 영역 박스 회귀(regression)와 클래스 분류를 수행할 수 있으며, 이 과정에서 각 후보 위치 영역의 보정과 노면 기호의 방향 예측이 이루어지게 된다. 즉, 노면기호의 위치정보 및 방향정보가 결정되어 영역박스가 생성될 수 있다.
다만, 항공영상(A) 내의 노면기호를 인식하는 경우, 도3(a)에서 도시한 바와 같이 동일한 방향을 가지는 객체임에도 불구하고, 일부 노면 기호가 다른 방향을 가지는 것으로 잘못 인식되는 경우가 발생할 수 있었다. 이를 해소하기 위하여, 노면기호인식부(110)는 정확한 방향을 인식할 수 있도록, 노면기호의 방향을 교정할 수 있다.
구체적으로, 도3(b)에 도시한 바와 같이, 일반적으로 도로에는 방향성이 존재할 수 있으며, 도로의 방향성은 노면 기호의 방향과 높은 상관 관계를 가질 수 있다. 따라서, 노면기호인식부(110)는 항공영상(A) 내에 포함된 도로의 방향성을 파악한 후, 이를 고려하여 도3(c)와 같이 노면 기호의 방향을 교정할 수 있다.
여기서, 도로의 방향정보는 도로예측신경망을 이용하여 생성할 수 있으며, 도로 예측 신경망은 항공영상(A) 내의 각 화소들이 향하는 방향각 예측치를 포함하는 매트릭스를 출력할 수 있다. 이때, 도로 예측 신경망은 샘플 항공영상들을 이용하여, 도로 영역의 각 화소들에 대한 정답(ground truth) 방향과의 L2 loss를 줄이도록 학습된 것일 수 있다. 이에 따라, 항공영상(A) 내에 포함된 도로의 방향을 확인할 수 있으며, 노면기호인식부(110)는 도로의 방향을 고려하여 노면 기호의 방향을 교정할 수 있다.
실시예에 따라서는, 노면기호인식부(110)가 도로의 방향과 함께, 인접하는 노면기호들의 방향을 고려하여 해당 노면 기호의 방향을 교정하는 것도 가능하다. 즉, 도3(c)에 도시한 바와 같이, 노면기호들은 차선별로 복수개가 인접하여 배치될 수 있으며, 이를 노면기호들의 그룹으로 묶을 수 있다. 구체적으로, 노면기호인식부(110)는 인접하는 노면 기호 간의 거리가 미리 정해진 기준치 이하이고, 인접하는 노면 기호 간의 방향각의 차이가 미리 정해진 기준치 이하이면, 복수의 노면기호들이 서로 동일한 그룹에 속하는 것으로 볼 수 있다.
이후, 동일한 그룹 내에 포함되는 노면기호들의 방향정보의 평균값과, 도로방향정보의 평균값을 이용하여, 그룹핑된 각각의 노면기호들의 대표 방향정보를 생성할 수 있다. 이후, 대표방향정보를 그룹핑된 각각의 노면기호들의 방향정보로 설정할 수 있다. 즉, 동일한 그룹 내에 포함된 노면기호들은 모두 동일한 방향을 가지도록 설정할 수 있다.
구체적으로, 아래 수학식 1에 기재된 바와 같이, 노면 기호들의 방향정보의 평균값(θb)과, 도로의 도로방향 정보의 평균값(θr)을 구한 후, 노면 기호들의 방향정보의 평균값(θb)에 대한 가중치(λ)와 도로의 도로방향 정보의 평균값(θr)에 대한 가중치(1- λ)를 적용하여, 대표 방향정보(θ)를 산출할 수 있다.
[수학식 1]
θ = λ*θb + (1- λ)*θr (여기서, 0 ≤ λ ≤ 1)
여기서 가중치(λ)는 항공영상(A)의 특성에 따라 달라지는 값일 수 있으며, 이에 따라 가중치(λ)를 조절하면서 대표 방향정보를 산출할 수 있다. 나아가, 가중치(λ)에 대한 학습을 통해 신경망을 구성함으로써, 입력되는 항공영상(A)에 따라 최적의 가중치(λ)를 적용하여 최적의 대표 방향정보를 산출하도록 하는 것도 가능하다.
차선인식부(120)는, 의미추출 신경망을 이용하여, 항공영상(A) 내에 포함된 도로객체들을 인식하고, 입력된 차선위치정보(P)에 따라 도로 내 차선을 특정하여 각각의 차선의 종류를 분류할 수 있다.
구체적으로, 도4에 도시한 바와 같이, 차선인식부(120)는 의미추출 신경망을 이용하여, 항공영상(A) 내에 포함된 각각의 화소들을 복수의 도로객체 중 어느 하나로 분류할 수 있으며, 도로객체들을 포함하는 의미지도(M)를 생성할 수 있다. 여기서, 도로객체에는 배경, 도로, 차선, 노면 기호 등이 포함될 수 있으며, 이외에도 항공영상(A) 내에 포함될 수 있는 다양한 객체들도 도로객체에 포함될 수 있다. 실시예에 따라서는, 도로객체를 차선의 종류에 따라 더 세분화하는 것도 가능하다.
의미추출 신경망은 화소들이 각각의 도로객체에 해당할 확률을 계산하여 화소별로 특징벡터를 생성할 수 있으며, 특징벡터에 포함된 각각의 확률 중에서 가장 높은 확률을 가지는 도로객체를 해당 화소에 대응하는 것으로 분류할 수 있다.
여기서, 의미추출 신경망은 입력되는 항공영상(A)에 대응하는 의미지도(M)를 생성하도록 미리 학습되어 있을 수 있다. 구체적으로, 심층신경망은 샘플 항공영상이 입력되면 그에 대응하는 의사(pseudo) 의미지도를 출력할 수 있으며, 심층신경망은 의사 의미지도와 참조(ground truth) 의미지도 사이의 오차를 줄이도록 학습될 수 있다. 여기서, 학습을 위한 손실함수(loss function)로는 크로스 엔트로피(cross-entropy) 또는 포칼 로스(focal loss) 등을 활용할 수 있다. 따라서, 심층신경망은 입력된 항공영상(A) 내에 포함된 화소들을 배경, 도로, 차선, 노면 기호 등으로 분류하여, 각각의 의미를 부여할 수 있다.
이후, 차선인식부(120)는 차선들의 위치를 나타내는 차선위치정보(P)를 입력받을 수 있으며, 의미지도(M)에서 차선위치정보(P)에 대응하는 화소들을 차선으로 설정하고, 설정된 차선의 종류를 분류할 수 있다.
여기서 차선위치정보(P)는 작업자가 항공영상(A) 내에 포함된 각각의 차선들을 확인한 후, 항공영상(A) 내에 나타난 해당 차선의 위치를 특정하여 생성한 것일 수 있다. 즉, 차선위치에 대한 정확도를 높이기 위하여, 작업자가 직접 각각의 차선의 위치를 특정하여 차선위치정보(P)를 생성하도록 할 수 있다.
이 경우, 차선위치정보(P)는 작업자가 고정밀지도생성장치(100)와는 별도로 생성할 수 있으며, 차선인식부(120)는 외부로부터 해당 항공영상(A)에 대한 차선위치정보(P)를 수신할 수 있다. 다만, 실시예에 따라서는, 고정밀지도생성장치(100)가 작업자에게 차선위치지도(P)를 생성할수 있는 인터페이스를 제공하는 것도 가능하다. 예를들어, 입력받은 항공영상(A)을 작업자에게 디스플레이한 후, 작업자는 항공영상(A) 내에 나타난 해당 차선들의 위치를 특정하도록 입력하는 인터페이스 등을 제공할 수 있다.
즉, 도2(a)에 도시한 바와 같이, 의미지도(M)를 이용하여 차선을 분류하는 것도 가능하지만, 의미지도(M) 내에서 차선으로 분류된 화소들에 대한 위치정보의 신뢰도는 상대적으로 낮을 수 있다. 따라서, 차선인식부(120)는 작업자가 입력한 차선위치정보(P)를 활용하여, 의미지도(M) 내에서 차선의 위치를 특정하도록 할 수 있다.
여기서, 차선위치정보(P)가 점들의 집합으로 제공되는 경우에는, 차선위치정보(P)를 마스크 형태로 변환할 수 있으며, 의미지도(M)에 마스크를 적용하는 방식으로, 각각의 차선에 대응하는 화소들의 집합(M')을 추출할 수 있다.
이후 차선인식부(120)는, 추출된 화소들의 특징벡터들을 샘플링하여 각각의 차선에 대응하는 차선특징벡터를 생성할 수 있다. 즉, 차선특징벡터를 이용하여, 의미지도(M) 내에 차선에 해당하는 화소들의 집합을 특정할 수 있다. 여기서, 차선인식부(120)는 추출된 화소들의 특징벡터의 평균 또는 이들에 대한 다양한 샘플링 기법을 적용하여 차선특징벡터를 생성할 수 있다.
여기서, 차선특징벡터는 항공영상(A) 내에 포함된 차선의 개수에 대응하여 생성되므로, 작업자가 n개의 차선에 대한 차선위치정보(P)를 생성한 경우에는, 총 n개의 차선특징벡터가 생성될 수 있다.
이후, 차선인식부(120)는 차선특징벡터를 이용하여, 의미지도(M) 내에 포함된 각각의 차선들의 종류를 구별할 수 있다. 여기서, 차선의 종류는 중앙선, 정지선, 진로변경 제한선 등으로 다양하게 분류할 수 있으며, 차선인식부(120)는 차선특징벡터에 대응하는 각각의 차선들이 어느 분류에 해당하는지 판별할 수 있다. 이때, 차선의 종류는 도로교통법 등의 법령이나 규칙에 의하여 미리 설정되어 있을 수 있다.
한편, 실시예에 따라서는, 차선인식부(120)에 n개의 차선특징벡터가 입력될 수 있다. 예를들어, 항공영상(A) 내에 n개의 차선이 존재하는 경우, 차선특징벡터는 n개 생성될 수 있으며, 이 경우, 차선인식부(120)는 출력으로 n개의 차선특징벡터에 대하여, 각각의 차선분류에 해당할 수 있는 확률분포를 포함하는 확률벡터를 출력할 수 있다. 즉, 중앙선에 해당할 확률, 정지선에 해당할 확률, 진로변경 제한선에 해당할 확률 등을 각각 포함하는 확률벡터를 출력할 수 있다.
여기서, 차선인식부(120)는 신경망(neural network)을 더 포함할 수 있으며, 이는 차선 분류를 위해 미리 학습된 것일 수 있다. 즉, 샘플 차선특징벡터들이 입력되면 대응하는 의사(pseudo) 확률벡터를 출력하는 것으로, 각각의 샘플 차선특징벡터에 대응하는 참조(ground truth) 확률벡터와 의사 확률벡터 사이의 오차를 줄이도록 학습될 수 있다. 따라서, 차선인식부(120)는 차선특징벡터가 입력되면, 대응하는 확률벡터를 출력할 수 있으며, 확률벡터 내에 포함되는 각각의 분류에 해당할 확률 중에서 가장 확률값이 높은 분류를, 해당 차선에 대한 최종 분류로 선택할 수 있다.
추가적으로, 실시예에 따라서는, 차선인식부(120)에 차선위치정보(P)가 입력되지 않는 경우가 있을 수 있으며, 이 경우 차선인식부(120)는 의미지도(M)로부터 차선을 특정할 수 있다. 구체적으로, 차선인식부(130)는 차선위치정보(P)가 입력되지 않으면, 도2(b)에 도시한 바와 같이, 의미지도(M)에서 차선으로 분류된 대상 화소들을 추출할 수 있으며, 대상 화소들을 묶어 차선으로 특정할 수 있다. 즉, 복수의 대상화소들 중에서 서로 설정거리 이내에 위치하는 대상화소들을 묶어 화소그룹을 형성할 수 있으며, 해당 화소그룹에 대해 간략화(vector simplification)를 수행하여 선형의 차선을 특정할 수 있다. 여기서, 간략화를 위하여 Douglas-peucker 기법 등을 활용할 수 있다.
차선을 특정한 이후, 차선특징벡터를 추출하여 차선의 종류를 분류하는 방법은 앞서 설명한 바와 동일하므로, 여기서는 구체적인 설명을 생략한다.
지도생성부(130)는, 노면기호 및 차선들을 이용하여, 항공영상(A)에 대응하는 고정밀지도(B)를 생성할 수 있다.
여기서, 각각의 노면기호와 차선은 항공영상(A) 내의 영상좌표계에 따라 특정한 것일 수 있다. 다만, 고정밀지도(B)는 실제 지리좌표계에 따라 제공되어야 하므로, 지도생성부(130)는 각각의 노면기호 및 차선들의 좌표값을 실제 지리좌표계로 변환할 수 있으며, 이를 이용하여 고정밀지도(B)를 생성할 수 있다. 따라서, 자율주행차량 등은 고정밀지도(B)에 표시된 노면기호나 차선을 이용하여, GPS 음영지역 등에서도 정밀한 자기위치 측위 등을 수행할 수 있다. 예를들어, 자율주행차량의 측위를 보정할 때, 횡축 방향의 정확도를 보정하기 위해 차선의 위치정보를 활용할 수 있으며, 종축 방향의 정확도를 보정하기 위하여 노면기호를 활용할 수 있다.
또한, 자율주행차량은 현재 위치를 인식하고 있으므로, 자율주행차량의 센서 등 인식장치가 도로 내 노면기호나 차선 등을 인식하지 못한 경우에도, 고정밀지도를 이용하여, 주변의 노면기호 또는 차선 등을 알 수 있다. 따라서, 이러한 경우에도, 교통법규에 맞게 주행하는 것이 가능하다.
추가적으로, 노면기호인식부(110)와 차선인식부(120)는 각각 개별적으로 노면기호와 차선을 인식하므로, 고정밀지도 내에 노면기호와 차선이 겹치는 등의 경우가 발생할 수 있다. 즉, 노면기호와 차선 중 어느 하나가 잘못 인식되는 경우가 발생할 수 있다.
이 경우, 지도생성부(130)는 인식된 노면기호와 차선 중에서 신뢰도가 높은 객체는 남기고, 신뢰도가 낮은 객체는 삭제할 수 있다. 실시예에 따라서는, 인식된 각각의 노면기호와 차선에 대한 신뢰도를, 영역박스 추출 신경망이나 의미추출 신경망으로부터 각각 제공받을 수 있다. 따라서, 지도생성부(130)는 이를 비교하여 삭제할 객체를 선택할 수 있다.
다만, 차선인식부(120)는 작업자가 차선의 위치를 정밀하게 특정한 차선위치정보(P)를 활용하여 차선의 위치를 특정하는 것이므로, 일반적으로는 차선의 신뢰도가 노면기호의 신뢰도보다 높은 것으로 볼 수 있다. 따라서, 실시예에 따라서는, 차선과 노면기호가 겹치는 경우, 차선은 남기고 노면기호만을 삭제하도록 설정하는 것도 가능하다.
나아가, 실시예에 따라서는, 지도생성부(130)가 의미지도와 영역박스를 혼합하여, 노면기호에 대한 신뢰도를 더욱 향상시키는 것도 가능하다. 구체적으로, 지도생성부(130)는 노면 기호 인식부(110)로부터 제공받은 영역박스를 의미지도(M) 내에 투사시킬 수 있다. 이후, 의미지도(M) 내에 영역박스에 대응하는 영역의 특징지도를 추출할 수 있으며, 특징지도 내에 포함된 각각의 화소들의 특징벡터도 추출할 수 있다. 이 경우, 지도생성부(130)는 특징지도에 대응하는 도로객체가 노면기호에 해당하는지 확인할 수 있으며, 만약, 특징지도에 대응하는 도로객체가 노면기호에 해당하지않으면, 노면기호인식부(110)에서 인식한 노면기호를 삭제시킬 수 있다. 즉, 의미지도(M)에서는 해당 영역이 노면기호가 아니라고 판단한 것이므로, 영역박스 생성 신경망이 잘못 인식한 것으로 간주하여 삭제할 수 있다.
도5는 본 발명의 일 실시예에 의한 고정밀지도생성방법을 나타내는 순서도이다. 여기서, 고정밀지도생성방법의 각 단계들은 고정밀지도생성장치에 의하여 수행될 수 있다.
구체적으로, 고정밀지도생성장치는 영역박스 검출 신경망을 이용하여, 항공영상 내에 포함된 도로의 노면기호를 인식하고, 노면기호의 위치정보 및 방향정보를 나타내는 영역박스를 생성할 수 있다(S10). 여기서, 영역박스는 방향성을 가지는 지향성 영역 박스(OBB: Oriented Bounding Box)일 수 있으며, 영역박스 검출 신경망은 SCRDet 알고리즘을 이용할 수 있다.
여기서, 노면 기호의 방향이 잘못 인식되는 경우가 존재할 수 있으며, 이 경우 고정밀지도생성장치는 노면기호의 방향을 교정할 수 있다. 구체적으로, 고정밀지도생성장치는 항공영상 내에 포함된 도로의 방향을 인식하여 도로방향정보를 생성할 수 있으며, 도로방향정보를 이용하여 노면기호의 방향정보를 보정할 수 있다.
실시예에 따라서는, 도로의 방향과 함께, 인접하는 노면기호들의 방향을 고려하여 해당 노면 기호의 방향을 교정하는 것도 가능하다. 즉, 고정밀지도생성장치는 노면기호의 위치정보 및 방향정보를 이용하여 인접하는 노면기호들을 그룹핑할 수 있으며, 그룹핑된 각각의 노면기호들의 방향정보의 평균값과, 도로방향정보의 평균값을 이용하여 그룹핑된 각각의 노면기호들의 대표 방향정보를 생성할 수 있다. 이후, 대표방향정보를 상기 그룹핑된 각각의 노면기호들의 방향정보로 설정할수 있다.
또한, 고정밀지도생성장치는 의미추출 신경망을 이용하여, 항공영상 내에 포함된 도로객체들을 인식하고, 입력된 차선위치정보에 따라 도로 내 차선을 특정하여 각각의 차선의 종류를 분류할 수 있다(S20).
구체적으로, 고정밀지도생성장치는 의미추출 신경망을 이용하여, 항공영상 내에 포함된 각각의 화소들을 복수의 도로객체 중 어느 하나로 분류할 수 있으며, 도로객체들을 포함하는 의미지도를 생성할 수 있다.
이후, 차선들의 위치를 나타내는 차선위치정보를 입력받으면, 의미지도에서 차선위치정보에 대응하는 화소들을 차선으로 설정하고, 설정된 차선의 종류를 분류할 수 있다. 여기서 차선위치정보는 작업자가 항공영상 내에 포함된 각각의 차선들을 확인한 후, 항공영상 내에 나타난 해당 차선의 위치를 특정하여 생성한 것일 수 있다. 즉, 차선위치에 대한 정확도를 높이기 위하여, 작업자가 직접 각각의 차선의 위치를 특정하여 차선위치정보를 생성하도록 할 수 있다.
이 경우, 차선위치정보는 작업자가 고정밀지도생성장치와는 별도로 생성할 수 있으며, 외부로부터 해당 항공영상에 대한 차선위치정보를 수신할 수 있다. 다만, 실시예에 따라서는, 고정밀지도생성장치가 작업자에게 차선위치지도를 생성할수 있는 인터페이스를 제공하는 것도 가능하다.
한편, 차선들의 위치를 나타내는 차선위치정보를 입력받으면, 의미지도로부터 차선위치정보에 대응하는 화소들의 특징벡터를 추출할 수 있으며, 추출된 특징벡터들을 샘플링하여 차선에 대응하는 차선특징벡터를 생성할 수 있다. 이후, 차선특징벡터를 이용하여 차선들의 종류를 구별할 수 있다.
추가적으로, 실시예에 따라서는, 일부 항공영상에 대응하는 차선위치정보가 입력되지 않는 경우가 발생할 수 있다. 이 경우, 고정밀지도생성장치는 의미지도로부터 차선을 특정할 수 있다. 즉, 차선위치정보가 입력되지 않는 경우에는, 의미지도로부터 차선으로 분류된 대상 화소들을 추출할 수 있으며, 대상 화소들을 묶어 차선으로 특정할 수 있다.
구체적으로, 차선으로 분류된 복수의 대상화소들 중에서, 서로 설정거리 이내에 위치하는 대상화소들을 묶어 화소그룹을 형성할 수 있다. 항공영상 내에는 복수의 차선이 존재할 수 있으므로, 각각의 차선별로 화소그룹을 형성하기 위하여, 서로 설정거리 이내에 위치하는 대상화소들을 동일한 화소그룹으로 묶을 수 있다.
이후, 화소그룹에 대한 간략화(vector simplification)을 수행하여, 각각의 차선을 특정할 수 있다. 화소그룹은 하나의 직선 형태로 나타나지 않을 수 있으므로, 직선화를 위해 간략화를 수행할 수 있으며, 실시예에 따라서는 Douglas-peucker 기법을 활용할 수 있다.
한편, 도5는 영역박스를 생성하는 단계(S10) 이후에 차선의 종류를 분류하는 단계(S20)가 수행되는 것으로 도시되어 있으나, 본 발명이 이에 한정되는 것은 아니며, 차선의 종류를 분류하는 단계(S20)가 먼저 수행되거나, 영역박스를 생성하는 단계(S10)와 차선의 종류를 분류하는 단계(S20)가 병렬적으로 동시에 수행되는 것도 가능하다.
이후, 고정밀지도생성장치는, 노면기호 및 차선들을 이용하여, 항공영상에 대응하는 고정밀지도를 생성할 수 있다(S30). 여기서, 각각의 노면기호와 차선은 항공영상 내의 영상좌표계를 이용하여 특정한 것일 수 있다. 다만, 고정밀지도는 실제 지리좌표계로 제공되어야 하므로, 고정밀지도생성장치는 각각의 노면기호 및 차선들의 좌표값을 실제 지리좌표계로 변환하여 고정밀지도(B)를 생성할 수 있다.
한편, 고정밀지도생성장치가 인식한 각각의 노면기호와 차선이, 고정밀지도 내에서 겹치는 등의 경우가 발생할 수 있다. 즉, 노면기호와 차선 중 어느 하나가 잘못 인식될 수 있으며, 이 경우, 고정밀지도생성장치는 인식된 노면기호와 차선 중에서 신뢰도가 높은 객체는 남기고, 신뢰도가 낮은 객체는 삭제할 수 있다. 각각의 노면기호와 차선에 대한 신뢰도는, 영역박스 추출 신경망이나 의미추출 신경망으로부터 제공받을 수 있으므로, 이를 비교하여 삭제할 객체를 선택할 수 있다. 다만, 차선의 경우 작업자가 차선의 위치를 정밀하게 특정한 차선위치정보(P)를 활용하여 차선의 위치를 특정한 것이므로, 일반적으로는 차선의 신뢰도가 노면기호의 신뢰도보다 높은 것으로 볼 수 있다. 따라서, 실시예에 따라서는, 차선과 노면기호가 겹치는 경우, 차선은 남기고 노면기호만을 삭제하도록 설정하는 것도 가능하다.
나아가, 실시예에 따라서는, 의미지도와 영역박스를 혼합하여, 노면기호에 대한 신뢰도를 더욱 향상시키는 것도 가능하다. 구체적으로, 영역박스를 의미지도 내에 투사시켜, 의미지도로부터 영역박스에 대응하는 영역의 특징지도를 추출할 수 있다. 이후, 특징지도 내에 포함된 각각의 화소들의 특징벡터도 추출하여 특징지도에 대응하는 도로객체가 노면기호에 해당하는지 확인할 수 있으며, 만약, 특징지도에 대응하는 도로객체가 노면기호에 해당하지않으면, 해당 노면기호는 삭제시킬 수 있다. 즉, 의미지도에서 해당 영역이 노면기호가 아니라고 판단한 것이므로, 영역박스 생성 신경망이 잘못 인식한 것으로 간주하여 삭제할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
100: 고정밀지도생성장치
110: 노면기호인식부
120: 차선인식부
130: 지도생성부

Claims (11)

  1. 영역박스 검출 신경망을 이용하여, 항공영상 내에 포함된 도로의 노면기호를 인식하고, 상기 노면기호의 위치정보 및 방향정보를 나타내는 영역박스를 생성하는 단계;
    의미추출 신경망을 이용하여, 상기 항공영상 내에 포함된 도로객체들을 인식하고, 입력된 차선위치정보에 따라 도로 내 차선을 특정하여 각각의 차선의 종류를 분류하는 단계; 및
    상기 노면기호 및 차선들을 이용하여, 상기 항공영상에 대응하는 고정밀지도를 생성하는 단계를 포함하는 것으로,
    상기 차선의 종류를 분류하는 단계는
    상기 의미추출 신경망을 이용하여, 상기 항공영상 내에 포함된 각각의 화소들을 복수의 도로객체 중 어느 하나로 분류하고, 상기 도로객체들을 포함하는 의미지도를 생성하며, 상기 차선위치정보를 입력받으면 상기 의미지도에서 상기 차선위치정보에 대응하는 화소들을 상기 차선으로 설정하고, 상기 설정된 차선의 종류를 분류하는 것을 특징으로 하는 고정밀지도생성방법.
  2. 제1항에 있어서, 상기 영역박스를 생성하는 단계는
    상기 항공영상 내에 포함된 도로의 방향을 인식하여 도로방향정보를 생성하고, 상기 도로방향정보를 이용하여 상기 노면기호의 방향정보를 보정하는 것을 특징으로 하는 고정밀지도생성방법.
  3. 제2항에 있어서, 상기 영역박스를 생성하는 단계는
    상기 노면기호의 위치정보 및 방향정보를 이용하여 인접하는 노면기호들을 그룹핑하고, 그룹핑된 각각의 노면기호들의 방향정보의 평균값과, 도로방향정보의 평균 값을 이용하여 상기 그룹핑된 각각의 노면기호들의 대표 방향정보를 생성하며, 상기 대표방향정보를 상기 그룹핑된 각각의 노면기호들의 방향정보로 설정하는 것을 특징으로 하는 고정밀지도생성방법.
  4. 제1항에 있어서, 상기 차선의 종류를 분류하는 단계는
    상기 의미지도로부터 상기 차선위치정보에 대응하는 화소들의 특징벡터를 추출하고, 상기 추출된 특징벡터들을 샘플링하여 상기 차선에 대응하는 차선특징벡터를 생성하며, 상기 차선특징벡터를 이용하여 상기 차선들의 종류를 구별하는 것을 특징으로 하는 고정밀지도 생성방법.
  5. 영역박스 검출 신경망을 이용하여, 항공영상 내에 포함된 도로의 노면기호를 인식하고, 상기 노면기호의 위치정보 및 방향정보를 나타내는 영역박스를 생성하는 단계;
    의미추출 신경망을 이용하여, 상기 항공영상 내에 포함된 도로객체들을 인식하고, 입력된 차선위치정보에 따라 도로 내 차선을 특정하여 각각의 차선의 종류를 분류하는 단계; 및
    상기 노면기호 및 차선들을 이용하여, 상기 항공영상에 대응하는 고정밀지도를 생성하는 단계를 포함하는 것으로,
    상기 차선의 종류를 분류하는 단계는
    상기 의미추출 신경망을 이용하여, 상기 항공영상 내에 포함된 각각의 화소들을 복수의 도로객체 중 어느 하나로 분류하고, 상기 도로객체들을 포함하는 의미지도를 생성하며, 상기 차선위치정보가 입력되지 않으면, 상기 의미지도에서 상기 차선으로 분류된 대상 화소들을 추출하고, 상기 대상 화소들을 묶어 상기 차선으로 특정하는 것을 특징으로 하는 고정밀지도 생성방법.
  6. 제5항에 있어서, 상기 차선의 종류를 분류하는 단계는
    복수의 대상화소들 중에서, 서로 설정거리 이내에 위치하는 대상화소들을 묶어 화소그룹을 형성하고, 상기 화소그룹에 대한 간략화(vector simplification)을 수행하여, 각각의 차선을 특정하는 것을 특징으로 하는 고정밀지도 생성방법.
  7. 제1항에 있어서, 상기 고정밀지도를 생성하는 단계는
    상기 고정밀지도 내에서 상기 노면기호와 차선의 위치가 서로 겹치면, 상기 노면기호를 삭제하는 것을 특징으로 하는 고정밀지도 생성방법.
  8. 영역박스 검출 신경망을 이용하여, 항공영상 내에 포함된 도로의 노면기호를 인식하고, 상기 노면기호의 위치정보 및 방향정보를 나타내는 영역박스를 생성하는 단계;
    의미추출 신경망을 이용하여, 상기 항공영상 내에 포함된 도로객체들을 인식하고, 입력된 차선위치정보에 따라 도로 내 차선을 특정하여 각각의 차선의 종류를 분류하는 단계; 및
    상기 노면기호 및 차선들을 이용하여, 상기 항공영상에 대응하는 고정밀지도를 생성하는 단계를 포함하는 것으로,
    상기 차선의 종류를 분류하는 단계는
    상기 의미추출 신경망을 이용하여, 상기 항공영상 내에 포함된 각각의 화소들을 복수의 도로객체 중 어느 하나로 분류하고, 상기 도로객체들을 포함하는 의미지도를 생성하며,
    상기 고정밀지도를 생성하는 단계는
    상기 영역박스를 상기 의미지도 내에 투사시켜, 상기 영역박스에 대응하는 영역의 특징지도를 추출하고, 상기 특징지도 내에 포함된 각각의 화소들의 특징벡터를 이용하여, 상기 특징지도에 대응하는 도로객체가 노면기호에 해당하는지 확인하는 것을 특징으로 하는 고정밀지도 생성방법.
  9. 제8항에 있어서, 상기 고정밀지도를 생성하는 단계는
    상기 특징지도에 대응하는 도로객체가 상기 노면기호에 해당하지않으면, 상기 노면기호는 삭제하는 것을 특징으로 하는 고정밀지도 생성방법.
  10. 하드웨어와 결합되어 제1항 내지 제9항 중 어느 한 항의 고정밀지도 생성방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  11. 영역박스 검출 신경망을 이용하여, 항공영상 내에 포함된 도로의 노면기호를 인식하고, 상기 노면기호의 위치정보 및 방향정보를 나타내는 영역박스를 생성하는 노면기호인식부;
    의미추출 신경망을 이용하여, 상기 항공영상 내에 포함된 도로객체들을 인식하고, 입력된 차선위치정보에 따라 도로 내 차선을 특정하여 각각의 차선의 종류를 분류하는 차선인식부; 및
    상기 노면기호 및 차선들을 이용하여, 상기 항공영상에 대응하는 고정밀지도를 생성하는 지도생성부를 포함하는 것으로,
    상기 차선인식부는
    상기 의미추출 신경망을 이용하여, 상기 항공영상 내에 포함된 각각의 화소들을 복수의 도로객체 중 어느 하나로 분류하고, 상기 도로객체들을 포함하는 의미지도를 생성하며, 상기 차선들의 위치를 나타내는 차선위치정보를 입력받으면, 상기 의미지도에서 상기 차선위치정보에 대응하는 화소들을 상기 차선으로 설정하고, 상기 설정된 차선의 종류를 분류하는 것을 특징으로 하는 고정밀지도생성장치.
KR1020220007536A 2020-06-04 2022-01-19 고정밀지도생성장치 및 고정밀지도생성방법 KR102480972B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220007536A KR102480972B1 (ko) 2020-06-04 2022-01-19 고정밀지도생성장치 및 고정밀지도생성방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200067670A KR102477218B1 (ko) 2020-06-04 2020-06-04 고정밀지도생성장치 및 고정밀지도생성방법
KR1020220007536A KR102480972B1 (ko) 2020-06-04 2022-01-19 고정밀지도생성장치 및 고정밀지도생성방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200067670A Division KR102477218B1 (ko) 2020-06-04 2020-06-04 고정밀지도생성장치 및 고정밀지도생성방법

Publications (2)

Publication Number Publication Date
KR20220013439A KR20220013439A (ko) 2022-02-04
KR102480972B1 true KR102480972B1 (ko) 2022-12-23

Family

ID=78832034

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200067670A KR102477218B1 (ko) 2020-06-04 2020-06-04 고정밀지도생성장치 및 고정밀지도생성방법
KR1020220007536A KR102480972B1 (ko) 2020-06-04 2022-01-19 고정밀지도생성장치 및 고정밀지도생성방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200067670A KR102477218B1 (ko) 2020-06-04 2020-06-04 고정밀지도생성장치 및 고정밀지도생성방법

Country Status (1)

Country Link
KR (2) KR102477218B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114509065B (zh) * 2022-02-16 2023-11-07 北京易航远智科技有限公司 地图构建方法、系统、车辆终端、服务器端及存储介质
KR102503679B1 (ko) * 2022-05-27 2023-02-24 주식회사 라이드플럭스 차량의 자율주행 제어를 위한 정밀지도 생성 방법, 장치 및 컴퓨터프로그램
KR102495954B1 (ko) * 2022-07-08 2023-02-06 주식회사 네오스펙트라 2d 이미지를 이용한 3d 모델 생성 방법, 3d 모델 생성 시스템 및 이를 위한 컴퓨터 프로그램

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
KR101992398B1 (ko) * 2017-11-10 2019-06-24 연세대학교 산학협력단 도로 기호 및 차선 인식 방법 및 장치
KR20200005818A (ko) * 2018-07-09 2020-01-17 현대자동차주식회사 도로 지도 생성 시스템 및 도로 지도 생성 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Seyed Majid Azimi 등, SkyScapes - Fine-Grained Semantic Understanding of Aerial Scenes, ICCV19.(2019.10.27.)

Also Published As

Publication number Publication date
KR20220013439A (ko) 2022-02-04
KR20210150805A (ko) 2021-12-13
KR102477218B1 (ko) 2022-12-13

Similar Documents

Publication Publication Date Title
KR102480972B1 (ko) 고정밀지도생성장치 및 고정밀지도생성방법
CN109324337B (zh) 无人飞行器的航线生成及定位方法、装置及无人飞行器
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
Jeong et al. Road-SLAM: Road marking based SLAM with lane-level accuracy
CN109470254B (zh) 地图车道线的生成方法、装置、系统及存储介质
US11288526B2 (en) Method of collecting road sign information using mobile mapping system
CN111801711A (zh) 图像标注
KR101921429B1 (ko) 정밀지도 제작 방법 및 정밀지도 제작 시스템
CN111912416B (zh) 用于设备定位的方法、装置及设备
EP3876189A1 (en) Geographic object detection device, geographic object detection method, and geographic object detection program
CN101842808A (zh) 用于产生车道信息的方法及设备
CN112232275B (zh) 基于双目识别的障碍物检测方法、系统、设备及存储介质
JP2009180631A (ja) ナビゲーション装置、ナビゲーション方法およびプログラム
JP2008065087A (ja) 静止物地図生成装置
Vu et al. Traffic sign detection, state estimation, and identification using onboard sensors
CN114593739B (zh) 基于视觉检测与参考线匹配的车辆全局定位方法及装置
Guzhva et al. Evaluating the Accuracy of Tram Positioning System in High-Rise Building Environment Using Data from Visual Geoinformation Systems
US20130034261A1 (en) Road sign detection and tracking within field-of-view (FOV) video data
US20200318977A1 (en) Method for localizing and enhancing a digital map by a motor vehicle; localization device
WO2020194570A1 (ja) 標識位置特定システム及びプログラム
EP3894788A1 (en) Method and system for generating an environment model for positioning
JP2012099010A (ja) 画像処理装置及び画像処理プログラム
CN115438079A (zh) 位置信息计算装置以及位置信息计算方法
WO2022021209A9 (zh) 电子地图生成方法、装置、计算机设备和存储介质
KR102288623B1 (ko) 육상이동체 시뮬레이션을 위한 정밀도로지도 데이터 처리 및 포맷변경방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant