KR20210051513A - 지도 생성 방법 및 장치 - Google Patents
지도 생성 방법 및 장치 Download PDFInfo
- Publication number
- KR20210051513A KR20210051513A KR1020190136887A KR20190136887A KR20210051513A KR 20210051513 A KR20210051513 A KR 20210051513A KR 1020190136887 A KR1020190136887 A KR 1020190136887A KR 20190136887 A KR20190136887 A KR 20190136887A KR 20210051513 A KR20210051513 A KR 20210051513A
- Authority
- KR
- South Korea
- Prior art keywords
- map
- voxel
- landmark
- landmarks
- generating
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013480 data collection Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/003—Maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
Abstract
일 실시예에 따른 지도 생성 장치의 지도 생성 방법은 수집된 랜드마크 데이터에 포함된 랜드마크들의 3차원 추정 위치의 복셀 및 그 주변의 복셀에 가중치가 부여된 3차원 복셀 맵(voxel map)을 생성하는 단계와, 3차원 복셀 맵의 가중치의 비교 결과에 기초하여 랜드마크들 중 적어도 하나의 랜드마크의 식별정보가 포함된 지도를 생성하는 단계를 포함한다.
Description
본 발명은 지도 생성 방법 및 장치에 관한 것으로, 더욱 상세하게는 지도를 생성하는 방법 및 이러한 지도 생성 방법을 수행할 수 있는 장치에 관한 것이다.
자동차나 로봇 등의 자율 주행을 위한 측위를 위해서는 전자적 형태의 지도가 필요하다.
지도의 제작을 위해서는 MMS(Mobile Mapping System) 차량 등을 이용하여 도로에 대한 3차원 포인트 클라우드(point cloud) 및 영상 데이터를 수집한 후 이를 이용하여 지도를 생성할 수 있다.
한편, 지도 제작을 위해 수집된 영상 데이터에는 도로 상에 존재하는 차선, 정지선, 신호등, 표지판, 이정표 등의 각종 랜드마크에 대한 정보가 포함되어 있고 이러한 랜드마크들을 구분하거나 종류 및 속성을 판단하여야 하기 때문에 사람에 의한 수작업에 의존하고 있는 실정이다.
본 발명의 해결하고자 하는 과제는 수집된 데이터에 포함된 랜드마크의 식별정보를 포함하는 지도를 생성하는 방법 및 장치를 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
제 1 관점에 따른 지도 생성 장치의 지도 생성 방법은, 수집된 랜드마크 데이터에 포함된 랜드마크들의 3차원 추정 위치의 복셀 및 그 주변의 복셀에 가중치가 부여된 3차원 복셀 맵(voxel map)을 생성하는 단계와, 상기 3차원 복셀 맵의 가중치의 비교 결과에 기초하여 상기 랜드마크들 중 적어도 하나의 랜드마크의 식별정보가 포함된 지도를 생성하는 단계를 포함한다.
제 2 관점에 따라 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체는, 상기 지도 생성 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 3 관점에 따라 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램은, 상기 지도 생성 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 4 관점에 따른 지도 생성 장치는, 랜드마크 데이터를 수집하는 데이터 수집부와, 상기 수집된 랜드마크 데이터에 기초하여 지도를 생성하는 제어부를 포함하고, 상기 제어부는, 상기 수집된 랜드마크 데이터에 포함된 랜드마크들의 3차원 추정 위치의 복셀 및 그 주변의 복셀에 가중치가 부여된 3차원 복셀 맵을 생성하며, 상기 3차원 복셀 맵의 가중치의 비교 결과에 기초하여 상기 랜드마크들 중 적어도 하나의 랜드마크의 식별정보가 포함된 상기 지도를 생성한다.
일 실시예에 따르면, 수집된 데이터에 포함된 랜드마크의 식별정보를 포함하는 지도를 자동으로 생성하여 제공할 수 있다. 이렇게 생성된 지도는 자동차나 로봇 등의 자율 주행을 위한 측위에 이용할 수 있고, 사람의 수작업에 의존하지 않기 때문에 지도의 제작, 갱신 및 유지에 소요되는 비용이 절감되는 효과가 있다.
도 1은 일 실시예에 따른 지도 생성 장치의 구성도이다.
도 2 및 도 3은 일 실시예에 따른 지도 생성 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 지도 생성 장치에서 생성하는 3차원 복셀 맵을 예시한 도면이다.
도 5는 3차원 복셀에서 랜드마크의 3차원 위치에 대한 평균 μ와 3차원 위치 p의 관계를 예시한 도면이다.
도 6은 랜드마크의 위치가 2차원으로 표현될 때, 가중치를 계산해야 하는 2차원 격자를 예시한 도면이다.
도 7은 연속형 랜드마크의 3차원 복셀 맵을 2차원 가중치 격자 맵으로 변환해서 표시한 예시이다.
도 8은 이산형 랜드마크의 3차원 복셀 맵을 2차원 가중치 격자 맵으로 변환해서 표시한 예시이다.
도 9 및 도 10은 대표 랜드마크를 나타내는 복셀을 찾기 위해 복셀들의 가중치를 비교하는 예시이다.
도 11은 연속형 랜드마크를 클러스터링 하기 위한 가중치가 주변 영역에 비해 상대적으로 가장 높은 복셀들을 2차원 가중치 격자 맵으로 변환하여 표시한 예시이다.
도 12는 이산형 랜드마크를 클러스터링 하기 위한 가중치가 주변 영역에 비해 상대적으로 가장 높은 복셀들을 2차원 가중치 격자 맵으로 변환하여 표시한 예시이다.
도 13 및 도 14는 일 실시예에 따라 최종적으로 구한 3차원 랜드마크의 위치와 공분산을 나타낸 것으로, 도 13은 3차원 뷰이고, 도 14는 2차원 뷰이다.
도 2 및 도 3은 일 실시예에 따른 지도 생성 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 지도 생성 장치에서 생성하는 3차원 복셀 맵을 예시한 도면이다.
도 5는 3차원 복셀에서 랜드마크의 3차원 위치에 대한 평균 μ와 3차원 위치 p의 관계를 예시한 도면이다.
도 6은 랜드마크의 위치가 2차원으로 표현될 때, 가중치를 계산해야 하는 2차원 격자를 예시한 도면이다.
도 7은 연속형 랜드마크의 3차원 복셀 맵을 2차원 가중치 격자 맵으로 변환해서 표시한 예시이다.
도 8은 이산형 랜드마크의 3차원 복셀 맵을 2차원 가중치 격자 맵으로 변환해서 표시한 예시이다.
도 9 및 도 10은 대표 랜드마크를 나타내는 복셀을 찾기 위해 복셀들의 가중치를 비교하는 예시이다.
도 11은 연속형 랜드마크를 클러스터링 하기 위한 가중치가 주변 영역에 비해 상대적으로 가장 높은 복셀들을 2차원 가중치 격자 맵으로 변환하여 표시한 예시이다.
도 12는 이산형 랜드마크를 클러스터링 하기 위한 가중치가 주변 영역에 비해 상대적으로 가장 높은 복셀들을 2차원 가중치 격자 맵으로 변환하여 표시한 예시이다.
도 13 및 도 14는 일 실시예에 따라 최종적으로 구한 3차원 랜드마크의 위치와 공분산을 나타낸 것으로, 도 13은 3차원 뷰이고, 도 14는 2차원 뷰이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '구성하다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 일 실시예에 따른 지도 생성 장치의 구성도이다.
도 1에 나타낸 바와 같이 일 실시예에 따른 지도 생성 장치(100)는 데이터 수집부(110) 및 제어부(120)를 포함하며, 출력부(130)를 더 포함할 수 있다.
데이터 수집부(110)는 랜드마크(landmark)에 대한 정보가 포함된 랜드마크 데이터를 수집하여 제어부(120)에 제공한다. 예를 들어, 데이터 수집부(110)는 도로 상에 존재하는 차선, 정지선, 신호등, 표지판, 이정표 등의 각종 랜드마크에 대한 정보가 포함된 랜드마크 데이터를 수집할 수 있다. 이러한 데이터 수집부(110)는 카메라 등과 같은 촬영수단을 포함할 수 있고, 자동차나 로봇 등의 자율 주행체에 탑재될 수 있으며, 자율 주행체의 운행 중에 각종 랜드마크가 포함된 영상을 촬영하여 제어부(120)에 제공할 수 있다. 또는, 데이터 수집부(110)는 통신수단을 포함할 수 있고, 다른 단말장치에서 획득된 랜드마크 데이터를 통신채널을 통하여 다른 단말장치로부터 수신할 수도 있다.
제어부(120)는 데이터 수집부(110)에 의해 수집된 랜드마크 데이터에 포함된 랜드마크들의 3차원 추정 위치의 복셀 및 그 주변의 복셀에 가중치가 부여된 3차원 복셀 맵(voxel map)을 생성하며, 3차원 복셀 맵의 가중치의 비교 결과에 기초하여 랜드마크들 중 적어도 하나의 랜드마크의 식별정보가 포함된 지도를 생성한다. 이러한 제어부(120)는 예컨대 마이크로프로세서 등과 같은 컴퓨팅 연산 수단을 포함할 수 있다. 예를 들어, 제어부(120)는 차선, 정지선, 신호등, 표지판, 이정표 등의 각종 랜드마크가 포함된 영상으로부터 공지의 딥러닝 기반 알고리즘을 통하여 랜드마크를 검출할 수 있고, 차선과 정지선 등은 연속형(continuous) 랜드마크로 구분할 수 있으며, 신호등와 표지판 및 이정표 등은 이산형(discrete) 랜드마크로 구분할 수 있다. 이러한 제어부(120)는 검출된 랜드마크들 중에 동일한 랜드마크를 클러스터링(clustering) 할 수 있고, 동일한 랜드마크를 하나의 랜드마크로서 인식할 수 있다. 이를 위해, 제어부(120)는 확률 기반으로 복셀에 가중치를 부여한 3차원 복셀 맵을 생성할 수 있으며, 3차원 복셀 맵의 가중치의 비교 결과에 기초하여 랜드마크들 중 적어도 하나의 랜드마크의 식별정보가 포함된 지도를 생성할 수 있다.
제어부(120)는 3차원 복셀 맵을 생성할 때에, 특정 랜드마크의 3차원 추정 위치에 대한 오차 또는 불확실성을 공분산(covariance)을 포함하는 가우시안 확률 분포로 표현하고, 공분산이 상대적으로 큰 경우에 상대적으로 작은 경우보다 상대적으로 더 넓은 범위의주변 복셀들에 대하여 가중치를 계산하여 가산할 수 있다. 또, 제어부(120)는 연속형 랜드마크에 대응하는 3차원 복셀 맵과 이산형 랜드마크에 대응하는 3차원 복셀 맵을 각각 생성할 수 있다.
제어부(120)는 랜드마크의 식별정보가 포함된 지도를 생성할 때에, 3차원 복셀 맵으로부터 가중치의 비교 결과에 기초하여 랜드마크들 중의 대표 랜드마크를 나타내는 복셀 후보군을 선정할 수 있다. 여기서, 제어부(120)는 특정 복셀의 가중치가 기 정의된 임계거리 이하의 주변 복셀들의 가중치보다 큰 경우 특정 복셀을 대표 랜드마크를 나타내는 복셀로 판단할 수 있다.
제어부(120)는 대표 랜드마크의 복셀 후보군으로부터 대표 랜드마크의 종류와 속성 및 위치를 추정할 수 있고, 추정된 대표 랜드마크의 종류와 속성 및 위치를 해당 랜드마크의 식별정보로서 포함하는 지도를 생성할 수 있다. 여기서, 선정된 복셀 후보군에 해당하는 복셀이 가중치를 계산하기 위해 이용된 랜드마크들의 종류 및 속성에 대한 리스트를 가질 수 있고, 제어부(120)는 리스트 중 어느 하나에 따라 해당 랜드마크의 종류 및 속성을 결정하기 위하여 투표(voting)를 이용할 수 있다. 예를 들어, 제어부(120)는 가중치를 계산하기 위해 이용된 랜드마크들 중 투표를 통하여 결정된 종류 및 속성에 해당하는 랜드마크를 이용하여 위치를 추정할 수 있다.
출력부(130)는 제어부(120)에 의하여 생성된 지도를 출력할 수 있다. 예를 들어, 출력부(130)는 지도를 메모리 등과 같은 컴퓨터 판독 가능한 기록매체에 저장한 형태로 출력할 수 있다. 또는, 출력부(130)는 통신수단을 포함할 수 있고, 제어부(120)에 의하여 생성된 지도를 포함하는 데이터를 통신채널을 통하여 다른 단말장치로부터 송신할 수도 있다. 또한, 제어부(120)가 지도를 내부 메모리에 저장한 후 측위 등에 이용할 경우에 지도 생성 장치(100)는 출력부(130)를 포함하지 않을 수도 있다.
이하, 도 1 내지 도 13을 참조하여 일 실시예에 따른 지도 생성 장치(100)에서 수행하는 지도 생성 방법에 대해 자세히 살펴보기로 한다.
먼저, 데이터 수집부(110)는 랜드마크에 대한 정보가 포함된 랜드마크 데이터를 수집하여 제어부(120)에 제공한다. 예를 들어, 데이터 수집부(110)는 도로 상에 존재하는 차선, 정지선, 신호등, 표지판, 이정표 등의 각종 랜드마크에 대한 정보가 포함된 랜드마크 데이터를 영상 형태로 수집할 수 있고, 수집된 영상 데이터를 제어부(120)에 제공할 수 있다(S210).
그러면, 데이터 수집부(110)로부터 랜드마크 데이터를 제공받은 제어부(120)는 랜드마크를 클러스터링 하기 위하여 도 4에 예시된 3차원 복셀 맵을 생성할 수 있다(S220). 예를 들어, 랜드마크 데이터가 영상 데이터의 형태로 제공된 경우라면, 제어부(120)는 공지의 딥러닝 기반 알고리즘을 통하여 영상 내에 포함된 차선, 정지선, 신호등, 표지판, 이정표 등의 각종 랜드마크를 검출할 수 있다.
그리고, 제어부(120)는 3차원 복셀 맵을 이용하여 랜드마크들 중 적어도 하나의 랜드마크의 식별정보가 포함된 지도를 생성할 수 있다(S230).
이처럼, 단계 S220 및 단계 S230을 통하여 제어부(120)가 지도를 생성하는 과정을 좀 더 자세히 살펴보기로 한다.
제어부(120)는 랜드마크의 위치에 대한 오차 또는 불확실성을 나타내는 공분산을 이용하여 3 sigma 범위 내에 해당하는 복셀에 가중치를 가산하는 방식을 이용하여 3차원 복셀 맵을 생성할 수 있다. 처음에 모든 복셀의 가중치를 '0'으로 설정할 수 있고, 각 랜드마크에 의해 계산된 가중치를 더하는 방식으로 복셀의 가중치를 갱신할 수 있다.
특정 랜드마크의 3차원 위치를 가우시안 에러로 모델링하면, 평균 μ와 공분산 C로 표현할 수 있으며, 수학식 1은 다차원 랜덤 변수(random variable)에 대한 가우시안 확률 분포 함수를 나타낸다.
여기서, d는 랜드마크의 위치를 3차원으로 표현하기 때문에 3이 된다. 평균 μ는 랜드마크가 추정되는 위치를 나타내며, 3차원 위치 p 값에 따라 확률 값이 다르게 된다. p가 μ인 경우에 확률이 가장 높고 |p-μ| 값이 커질수록 확률이 낮게 된다.
도 5는 하나의 랜드마크로부터 수학식 1을 이용하여 평균 μ에 해당하는 복셀과 그 주변의 복셀의 가중치를 계산하기 위해 μ와 p의 관계를 나타낸 그림이다. 제어부(120)는 주변의 복셀들 중에 마하라노비스 거리(Mahalanobis distance)(=
)가 임계치 이하(예를 들어, 3*표준편차)인 복셀까지 가중치를 계산하여 해당 주변 복셀에 가중치를 더할 수 있다. 여기서, 공분산 C의 의미는 랜드마크의 추정 위치에 대한 오차 또는 불확실성을 가우시안 확률 분포로 표현한 것인데, 공분산 C가 클수록 위치 오차가 크게 발생할 확률이 높다는 것을 의미하며, 반대로 공분산 C가 작을수록 위치 오차가 적게 발생할 확률이 높다는 것을 의미한다. 이러한 이유로 제어부(120)는 공분산 C가 큰 경우는 공분산 C가 작은 경우보다 상대적으로 더 넓은 범위의 주변 복셀들에 대해 가중치를 계산해서 더하고, 반대로 공분산 C가 작은 경우는 공분산 C가 큰 경우보다 상대적으로 적은 범위의 주변 복셀들에 대해 가중치를 계산해서 더할 수 있다. 도 6은 2차원 가우시안 확률 분포에서 마하라노비스 거리가 특정 임계치 이하에 해당하는 영역을 녹색 타원으로 표시한 예시를 나타낸 것이다. 공분산에 따라 도 6의 타원의 형태와 크기가 달라지게 된다. 랜드마크의 위치가 2차원으로 표현될 때, 가중치를 계산해야 하는 2차원 격자(grid)를 타원으로 표시하였다. 2차원 가우시안 확률 분포에서 마하라노비스 거리가 특정 임계치 이하를 만족하는 영역에 해당하는 부분을 타원으로 표시하였고, 만일 랜드마크의 위치가 2차원으로 표현된다면, 타원 안에 해당하는 2차원 격자에 대하여 가중치를 계산하고 해당 가중치를 갱신한다. 이러한 과정을 제어부(120)는 연속형 랜드마크를 위한 3차원 복셀 맵과 이산형 랜드마크를 위한 3차원 복셀 맵을 구분하여 가중치를 계산해야 하는 복셀들에 대해 가중치를 계산하고, 각 복셀의 이전 가중치를 새롭게 계산된 가중치와 계속 더함으로써 갱신을 수행할 수 있다.
도 7은 연속형 랜드마크의 3차원 복셀 맵을 z축에 대하여 x,y 평면으로 프로젝션(projection)하여 2차원 격자 맵의 형태로 변환해서 표시한 예시로서, 모든 연속형 랜드마크들로부터 구해진 가중치 값들을 나타낸다. 도 8은 이산형 랜드마크의 3차원 복셀 맵을 z축에 대하여 x,y 평면으로 프로젝션하여 2차원 격자 맵의 형태로 변환해서 표시한 예시로서, 모든 이산형 랜드마크들로부터 구해진 가중치 값들을 나타낸다. 도 7 및 도 8에서 가중치 값이 낮을수록 어둡게 표현되고 가중치 값이 높을수록 흰색과 가까워진다.
이후, 제어부(120)는 3차원 복셀 맵으로부터 각 복셀에 부여된 가중치의 비교 결과에 기초하여 랜드마크들 중의 대표 랜드마크를 나타내는 복셀 후보군을 선정할 수 있다(S310).
도 9 및 도 10은 대표 랜드마크를 나타내는 복셀을 찾기 위해 복셀 v(i,j,k)가 가장 높은 가중치를 가지는지 판단하기 위해 주변 복셀들의 가중치를 비교하는 것을 예시한 것이다. 제어부(120)는 대표 랜드마크를 나타내는 복셀을 찾기 위해 각각의 복셀의 가중치와 주변 복셀들의 가중치 값을 비교하여 주변 복셀들의 가중치 값 보다 큰 복셀을 대표 랜드마크를 나타내는 복셀로 판단할 수 있다. 주변 복셀은 3차원 공간 상에서 인접한 복셀들이 해당되며, 기준 복셀 v(i,j,k)와 사전에 정의된 임계거리 이하에 해당하는 복셀들과 가중치를 비교할 수 있다.
도 11은 연속형 랜드마크를 클러스터링 하기 위한 가중치가 주변 영역에 비해 상대적으로 가장 높은 복셀들을 2차원 가중치 격자 맵으로 변환하여 표시한 예시로서, 도 7에서 국부 영역에 대해 가중치가 가장 높은 연속형 랜드마크에 해당하는 복셀을 빨간색 점으로 표시하였다. 도 12는 이산형 랜드마크를 클러스터링 하기 위한 가중치가 주변 영역에 비해 상대적으로 가장 높은 복셀들을 2차원 가중치 격자 맵으로 변환하여 표시한 예시로서, 도 8에서 국부 영역에 대해 가중치가 가장 높은 이산형 랜드마크에 해당하는 복셀을 빨간색 점으로 표시하였다.
제어부(120)는 대표 랜드마크 후보군에 해당하는 복셀들로부터 인식된 대상의 종류와 속성 그리고 3차원 랜드마크 위치를 추정할 수 있다(S320). 데이터 수집부(110)로부터 랜드마크 데이터가 영상 데이터의 형태로 제공된 경우라면, 제어부(120)는 딥러닝 기반 알고리즘을 이용하여 영상서 차선, 정지선, 신호등, 표지판, 이정표 등과 같은 랜드마크를 인식할 수 있고, 이때 인식 대상 종류와 속성 정보를 가지게 된다. 여기서, 인식 대상 종류는 차선, 정지선, 신호등, 표지판, 이정표를 의미할 수 있고, 각 랜드마크의 속성 정보로 차선은 점선, 실선, 이중차선 등일 수 있고, 정지선은 실선일 수 있으며, 신호등은 가로, 세로, 2개의 등, 3개의 등, 4개의 등으로 구분할 수 있고, 표지판은 최고/최저 속도 표지판, 견인지역 표지판, 주행 안내 표지판 등일 수 있으며, 이정표는 차로 별 방향을 알려 주는 정보 등일 수 있다.
한편, 대표 랜드마크 후보군에 해당하는 복셀에는 가중치를 계산하기 위해 이용된 랜드마크에 대한 3차원 위치와 공분산 그리고 인식 대상 종류와 속성 정보에 대한 복수 개의 리스트를 가지게 된다. 따라서, 해당 복셀로부터 하나의 인식 대상 종류와 속성의 랜드마크로 결정해야 하는데, 이를 위해 제어부(120)는 투표(voting) 방법을 이용할 수 있다. 예를 들어, 제어부(120)는 인식 대상 종류와 속성 정보를 하나의 투표 대상으로 정하고 가장 많이 투표된 인식 대상 종류와 속성 정보를 최종 인식 대상 종류와 속성 정보로 결정할 수 있다. 예컨대, '최고 속도 표지판/60km'에 대한 투표 횟수가 5이고, '이정표/분당구청 방면'에 대한 투표 횟수가 2이며, '신호등/가로 3개의 등'에 대한 투표 횟수가 1인 경우, '최고 속도 표지판'이 인식 대상 종류일 수 있고, '60km'가 해당 복셀에 대해 최종적으로 판단된 속성 정보일 수 있다.
그리고, 제어부(120)는 복셀에서 가중치를 계산하기 위해 이용된 랜드마크 들 중 최종적으로 판단된 인식 대상 종류와 속성 정보에 해당하는 랜드마크들만을 이용하여 정확하게 랜드마크의 3차원 위치와 공분산(에러)을 구한다. 예를 들어, 제어부(120)는 수학식 2, 3과 같은 스탠다드(standard) 칼만 필터를 이용하여 최종적으로 구하고자 하는 랜드마크의 3차원 위치에 해당하는 평균 μ+와 랜드마크 위치 에러에 해당하는 공분산 C+를 구할 수 있다.
여기서, n은 랜드마크의 위치와 공분산을 최종적으로 추정하기 위해 유효한 랜드마크의 수가 n개 일 때를 가정한다.
이후, 제어부(120)는 추정된 대표 랜드마크의 종류와 속성 및 위치를 식별정보로서 포함하는 지도를 도 13 및 도 14의 예시와 같이 생성할 수 있다(S330).
도 13 및 도 14는 제어부(120)에서 최종적으로 구한 3차원 랜드마크의 위치와 공분산을 나타낸 것으로, 도 13은 3차원 뷰이고, 도 14는 2차원 뷰이다. 도 13 및 도 14에서 파란색 점은 차선을 나타내며, 빨간색 점은 표지판을 의미하고, 자주색 점은 신호등을 의미한다.
그리고, 출력부(130)는 제어부(120)에 의하여 생성된 지도를 출력할 수 있다. 예를 들어, 출력부(130)는 지도를 메모리 등과 같은 컴퓨터 판독 가능한 기록매체에 저장한 형태로 출력할 수 있다. 또는, 출력부(130)는 제어부(120)에 의하여 생성된 지도를 포함하는 데이터를 통신채널을 통하여 다른 단말장치로부터 송신할 수도 있다.
지금까지 설명한 바와 같이 본 발명의 실시예들에 의하면, 수집된 데이터에 포함된 랜드마크의 식별정보를 포함하는 지도를 자동으로 생성하여 제공할 수 있다. 이렇게 생성된 지도는 자동차나 로봇 등의 자율 주행을 위한 측위에 이용할 수 있고, 사람의 수작업에 의존하지 않기 때문에 지도의 제작, 갱신 및 유지에 소요되는 비용이 절감된다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 수집된 데이터에 포함된 랜드마크의 식별정보를 포함하는 지도를 자동으로 생성하여 제공할 수 있다. 이러한 본 발명은 자동차나 로봇 등의 자율 주행체를 이용하는 각종 분야에 이용할 수 있다.
100: 지도 생성 장치
110: 데이터 수집부
120: 제어부
130: 출력부
110: 데이터 수집부
120: 제어부
130: 출력부
Claims (10)
- 지도 생성 장치의 지도 생성 방법으로서,
수집된 랜드마크 데이터에 포함된 랜드마크들의 3차원 추정 위치의 복셀 및 그 주변의 복셀에 가중치가 부여된 3차원 복셀 맵(voxel map)을 생성하는 단계와,
상기 3차원 복셀 맵의 가중치의 비교 결과에 기초하여 상기 랜드마크들 중 적어도 하나의 랜드마크의 식별정보가 포함된 지도를 생성하는 단계를 포함하는
지도 생성 방법. - 제 1 항에 있어서,
상기 지도를 생성하는 단계는,
상기 3차원 복셀 맵으로부터 상기 가중치의 비교 결과에 기초하여 상기 랜드마크들 중의 대표 랜드마크를 나타내는 복셀 후보군을 선정하는 단계와,
상기 선정된 복셀 후보군으로부터 상기 대표 랜드마크의 종류와 속성 및 위치를 추정하는 단계와,
상기 추정된 대표 랜드마크의 종류와 속성 및 위치를 상기 식별정보로서 포함하는 상기 지도를 생성하는 단계를 포함하는
지도 생성 방법. - 제 1 항에 있어서,
상기 3차원 복셀 맵을 생성하는 단계는, 특정 랜드마크의 3차원 추정 위치에 대한 오차 또는 불확실성을 공분산(covariance)을 포함하는 가우시안 확률 분포로 표현하고, 상기 공분산이 상대적으로 큰 경우에 상대적으로 작은 경우보다 상대적으로 더 넓은 범위의 주변 복셀들에 대하여 상기 가중치를 계산하여 가산하는
지도 생성 방법. - 제 1 항에 있어서,
상기 3차원 복셀 맵을 생성하는 단계는, 상기 랜드마크들을 연속형 랜드마크와 이산형 랜드마크로 분류하여 상기 연속형 랜드마크에 대응하는 3차원 복셀 맵과 상기 이산형 랜드마크에 대응하는 3차원 복셀 맵을 각각 생성하는
지도 생성 방법. - 제 2 항에 있어서,
상기 복셀 후보군을 선정하는 단계는, 특정 복셀의 가중치가 기 정의된 임계거리 이하의 주변 복셀들의 가중치보다 큰 경우 상기 특정 복셀을 상기 대표 랜드마크를 나타내는 복셀로 판단하는
지도 생성 방법. - 제 2 항에 있어서,
상기 대표 랜드마크의 종류와 속성 및 위치를 추정하는 단계는, 상기 선정된 복셀 후보군에 해당하는 복셀이 상기 가중치를 계산하기 위해 이용된 랜드마크들의 종류 및 속성에 대한 리스트를 갖고, 상기 리스트 중 어느 하나에 따라 해당 랜드마크의 종류 및 속성을 결정하기 위하여 투표(voting)를 이용하는
지도 생성 방법. - 제 6 항에 있어서,
상기 가중치를 계산하기 위해 이용된 랜드마크들 중 상기 투표를 통하여 결정된 종류 및 속성에 해당하는 랜드마크를 이용하여 위치를 추정하는
지도 생성 방법. - 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
제 1 항 내지 제 7 항 중 어느 한의 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 판독 가능한 기록매체. - 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
제 1 항 내지 제 7 항 중 어느 한의 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 프로그램. - 랜드마크 데이터를 수집하는 데이터 수집부와,
상기 수집된 랜드마크 데이터에 기초하여 지도를 생성하는 제어부를 포함하고,
상기 제어부는, 상기 수집된 랜드마크 데이터에 포함된 랜드마크들의 3차원 추정 위치의 복셀 및 그 주변의 복셀에 가중치가 부여된 3차원 복셀 맵(voxel map)을 생성하며, 상기 3차원 복셀 맵의 가중치의 비교 결과에 기초하여 상기 랜드마크들 중 적어도 하나의 랜드마크의 식별정보가 포함된 상기 지도를 생성하는
지도 생성 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190136887A KR20210051513A (ko) | 2019-10-30 | 2019-10-30 | 지도 생성 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190136887A KR20210051513A (ko) | 2019-10-30 | 2019-10-30 | 지도 생성 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210051513A true KR20210051513A (ko) | 2021-05-10 |
Family
ID=75917538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190136887A KR20210051513A (ko) | 2019-10-30 | 2019-10-30 | 지도 생성 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20210051513A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102524995B1 (ko) * | 2023-02-02 | 2023-04-25 | 국방과학연구소 | 전자 장치의 지도 생성 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190034130A (ko) | 2017-09-22 | 2019-04-01 | 에스케이텔레콤 주식회사 | 지도 생성 장치 및 방법 |
-
2019
- 2019-10-30 KR KR1020190136887A patent/KR20210051513A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190034130A (ko) | 2017-09-22 | 2019-04-01 | 에스케이텔레콤 주식회사 | 지도 생성 장치 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102524995B1 (ko) * | 2023-02-02 | 2023-04-25 | 국방과학연구소 | 전자 장치의 지도 생성 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230054914A1 (en) | Vehicle localization | |
| Bachute et al. | Autonomous driving architectures: insights of machine learning and deep learning algorithms | |
| KR102221695B1 (ko) | 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법 | |
| CN110007675B (zh) | 一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法 | |
| CN111442776B (zh) | 顺序地面场景图像投影合成与复杂场景重构的方法及设备 | |
| US9652980B2 (en) | Enhanced clear path detection in the presence of traffic infrastructure indicator | |
| JP6672212B2 (ja) | 情報処理装置、車両、情報処理方法およびプログラム | |
| WO2018068653A1 (zh) | 点云数据处理方法、装置及存储介质 | |
| CN111874006B (zh) | 路线规划处理方法和装置 | |
| US8452053B2 (en) | Pixel-based texture-rich clear path detection | |
| CN115035338A (zh) | 由摄像机图像车辆定位的方法和系统 | |
| CN111263960B (zh) | 用于更新高清晰度地图的设备和方法 | |
| CN103770704A (zh) | 用于识别车辆的停车位标志线的系统和方法 | |
| EP2887315A1 (en) | Calibration device, method for implementing calibration, program and camera for movable body | |
| KR102233260B1 (ko) | 정밀 지도 업데이트 장치 및 방법 | |
| JP2021082286A (ja) | 車線変更の検出を改良するためのシステム、非一時的コンピュータ可読媒体および方法 | |
| CN109583312A (zh) | 车道线识别方法、装置、设备及存储介质 | |
| US11645775B1 (en) | Methods and apparatus for depth estimation on a non-flat road with stereo-assisted monocular camera in a vehicle | |
| Kühnl et al. | Visual ego-vehicle lane assignment using spatial ray features | |
| Batista et al. | Lane detection and estimation using perspective image | |
| CN104915628A (zh) | 基于车载相机的场景建模进行运动行人预测的方法和装置 | |
| KR20210051513A (ko) | 지도 생성 방법 및 장치 | |
| EP4332896A1 (en) | Object tracking device | |
| US20240043022A1 (en) | Method, system, and computer program product for objective assessment of the performance of an adas/ads system | |
| EP4332895A1 (en) | Object tracking device and object tracking method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |