KR20200005818A - 도로 지도 생성 시스템 및 도로 지도 생성 방법 - Google Patents

도로 지도 생성 시스템 및 도로 지도 생성 방법 Download PDF

Info

Publication number
KR20200005818A
KR20200005818A KR1020180079265A KR20180079265A KR20200005818A KR 20200005818 A KR20200005818 A KR 20200005818A KR 1020180079265 A KR1020180079265 A KR 1020180079265A KR 20180079265 A KR20180079265 A KR 20180079265A KR 20200005818 A KR20200005818 A KR 20200005818A
Authority
KR
South Korea
Prior art keywords
road
map
unit
markings
marking
Prior art date
Application number
KR1020180079265A
Other languages
English (en)
Inventor
김현주
김은태
안종현
조민호
장원제
Original Assignee
현대자동차주식회사
연세대학교 산학협력단
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 연세대학교 산학협력단, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180079265A priority Critical patent/KR20200005818A/ko
Publication of KR20200005818A publication Critical patent/KR20200005818A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

본 발명에 따른 도로 지도 생성 시스템은, 차량에 장착되어 차량의 전방 영상을 촬영하는 카메라부를 통해 촬영된 영상에서 도로 표시 및 차선을 검출하는 검출부; 상기 촬영된 영상 이미지의 단위 픽셀의 크기 정보를 바탕으로, 상기 차량과 상기 검출된 도로 표시 및 차선 간의 거리를 추출하는 거리 추출부; 상기 검출된 도로 표시 및 상기 추출된 상기 차량과 상기 도로 표시 간의 거리 정보를 바탕으로 도로 표시가 포함된 도로 표시 지도를 생성하는 도로 표시 지도 생성부; 및 상기 도로 표시 지도에 상기 검출부를 통해 검출된 차선 정보를 결합시켜 도로 표시 및 차선을 포함하는 최종 도로 지도를 생성하는 최종 도로 지도 생성부를 포함할 수 있다.

Description

도로 지도 생성 시스템 및 도로 지도 생성 방법{SYSTEM AND METHOD OF BUILDING LOAD MAP}
본 발명은 도로 지도 생성 시스템 및 도로 지도 생성 방법에 관한 것으로, 보다 상세하게는 단안 카메라를 통해 도로 표시 및 차선을 추출하고 이를 기반으로 도로 지도를 생성하는 도로 지도 생성 시스템 및 도로 지도 생성방법에 관한 것이다.
도로 지도를 구축하기 위해 다양한 장치 및 방법이 사용되고 있다. 그 중에서 기존에는 GPS 센서, 고성능 레이저 스캐너 장치인 라이다 센서를 활용해 도로 및 주변 시설물 정보를 취득하는 3차원 공간정보 시스템인 Mobile Mapping System(MMS) 및 위성 지도 등으로부터 추출된 정보 등에 기반하여 도로 지도를 구축하였다.
하지만, GPS 단일 센서만을 이용한 지도 구축 시스템은 GPS 음영지역에서는 불확실성이 높아진다는 단점이 존재하였다. 또한, MMS의 경우 매우 고가이며, MMS를 통해 구축된 도로 지도는 도로 주행을 위해 필요한 정보들을 모두 지도에 포함시키다 보니 지도의 용량이 커진다는 단점이 존재했다. 이에 따라 저비용의 시스템을 통해 정확도가 높은 도로 지도를 구축할 수 있는 기술 개발이 필요한 실정이다.
KR 10-2017-0068021 A
본 발명은 상기한 문제를 해결하기 위해 제안된 것으로, 저가의 카메라를 이용하여 촬영된 영상에서 도로 표시 및 차선을 검출하고 검출된 도로 표시 및 차선의 오차를 최소화하여 도로 지도를 최적화시키며 이를 기반으로 정확도가 높은 도로 지도를 구축할 수 있는 도로 지도 생성 시스템 및 도로 지도 생성 방법을 제공하는데 그 목적이 있다.
상술한 목적을 달성하기 위한 본 발명에 따른 도로 지도 생성 시스템은, 차량에 장착되어 차량의 전방 영상을 촬영하는 카메라부를 통해 촬영된 영상에서 도로 표시 및 차선을 검출하는 검출부; 상기 촬영된 영상 이미지의 단위 픽셀의 크기 정보를 바탕으로, 상기 차량과 상기 검출된 도로 표시 및 차선 간의 거리를 추출하는 거리 추출부; 상기 검출된 도로 표시 및 상기 추출된 상기 차량과 상기 도로 표시 간의 거리 정보를 바탕으로 도로 표시가 포함된 도로 표시 지도를 생성하는 도로 표시 지도 생성부; 및 상기 도로 표시 지도에 상기 검출부를 통해 검출된 차선 정보를 결합시켜 도로 표시 및 차선을 포함하는 최종 도로 지도를 생성하는 최종 도로 지도 생성부를 포함할 수 있다.
상기 카메라부를 통해 촬영된 영상 이미지의 단위 픽셀의 크기 정보를 추출하는 단위 픽셀 크기 추출부; 및 상기 단위 픽셀의 크기 정보를 저장하는 메모리부를 더 포함할 수 있다.
상기 단위 픽셀 크기 추출부는, 도로에 사전 설정된 거리 간격으로 배치된 사전 설정된 크기의 체커보드가 포함된 차량 전방을 촬영한 영상 이미지를 호모그래피(homography) 변환을 통해 탑뷰(top view) 이미지로 변환하고, 변환된 탑뷰 이미지에서 상기 체커보드에 포함된 픽셀의 개수에 기반하여 단위 픽셀의 크기를 추출할 수 있다.
상기 도로 표시 지도 생성부는, 상기 검출부를 통해 검출된 복수의 도로 표시들 중 동일한 가로선 상에 위치한 도로 표시들을 하나의 그룹으로 분류하는 그룹 분류부; 상기 분류된 복수의 그룹에 포함된 도로 표시의 순서, 도로 표시의 종류, 도로 표시의 개수 및 도로 표시의 위치정보에 기반하여 각 그룹을 연결해서 제1 도로 표시 지도를 생성하는 제1 도로 표시 지도 생성부; 및 상기 분류된 복수의 그룹들의 검출위치와 상기 분류된 복수의 그룹들의 실제 위치 및 상기 차량의 검출위치와 상기 차량의 실제 위치 간의 오차를 최소화하여 제1 도로 표시 지도를 최적화시켜 제2 도로 표시 지도를 생성하는 제2 도로 표시 지도 생성부를 포함할 수 있다.
상기 제2 도로 표시 지도 생성부는, 최소 자승법에 기반하여 상기 분류된 복수의 그룹들의 검출위치와 상기 분류된 복수의 그룹들의 실제 위치 및 상기 차량의 검출위치와 상기 차량의 실제 위치 간의 오차를 최소화함으로써 제1 도로 표시 지도를 최적화 시킬 수 있다.
상기 최종 도로 지도 생성부는, 상기 도로 표시 지도 생성부를 통해 생성된 도로 표시 지도에 상기 검출부를 통해 검출된 복수의 차선 정보를 결합시켜 도로 표시 및 차선이 포함된 도로 지도를 생성하는 도로 지도 생성부; 상기 도로 지도에서 복수의 차선을 Adaptive Breakpoint Detection(ABD) 방법에 기반하여 복수의 그룹으로 나누는 차선 그룹 분류부; 및 RANSAC(Random Sample Consensus) 알고리즘을 통해 상기 복수의 그룹에 포함된 복수의 차선을 최적화시키는 차선 최적화부를 포함할 수 있다.
상술한 목적을 달성하기 위한 본 발명에 따른 도로 지도 생성 방법은, 차량에 장착되어 차량의 전방 영상을 촬영하는 카메라부를 통해 촬영된 영상에서 도로 표시 및 차선을 검출하는 단계; 상기 촬영된 영상 이미지의 단위 픽셀의 크기 정보를 바탕으로, 상기 차량과 상기 검출된 도로 표시 및 차선 간의 거리를 추출하는 단계; 상기 도로 표시 및 상기 차량과 상기 도로 표시 간의 거리 정보를 바탕으로 도로 표시가 포함된 도로 표시 지도를 생성하는 단계; 및 상기 생성된 도로 표시 지도에 상기 검출부를 통해 검출된 복수의 차선 정보를 결합시켜 도로 표시 및 차선을 포함하는 최종 도로 지도를 생성하는 단계를 포함할 수 있다.
상기 도로 표시 및 차선을 검출하는 단계 이전에, 상기 카메라부를 통해 촬영된 영상 이미지의 단위 픽셀의 크기 정보를 추출하는 단계; 및 상기 단위 픽셀의 거리 정보를 메모리부에 저장하는 단계를 더 포함할 수 있다.
상기 단위 픽셀 크기 정보 추출 단계는, 도로에 사전 설정된 거리 간격으로 배치된 사전 설정된 크기의 체커보드가 포함된 차량 전방을 촬영한 영상 이미지를 호모그래피(homography) 변환을 통해 탑뷰(top view) 이미지로 변환하는 단계; 및 상기 변환된 탑뷰 이미지에서 상기 체커보드에 포함된 픽셀의 개수에 기반하여 단위 픽셀의 크기를 추출하는 단계를 포함할 수 있다.
상기 도로 표시 지도 생성 단계는, 상기 검출부를 통해 검출된 복수의 도로 표시들 중 동일한 가로선 상에 위치한 도로 표시들을 하나의 그룹으로 분류하는 단계; 상기 분류된 복수의 그룹에 포함된 도로 표시의 순서, 도로 표시의 종류, 도로 표시의 개수 및 도로 표시의 위치정보에 기반하여 각 그룹을 연결하여 제1 도로 표시 지도를 생성하는 단계; 및 상기 분류된 복수의 그룹들의 검출위치와 상기 분류된 복수의 그룹들의 실제 위치 및 상기 차량의 검출위치와 상기 차량의 실제 위치 간의 오차를 최소화하여 제1 도로 표시 지도를 최적화시켜 제2 도로 표시 지도를 생성하는 단계를 포함할 수 있다.
상기 최종 도로 지도 생성 단계는, 상기 도로 표시 지도 생성단계에서 생성된 도로 표시 지도에 상기 검출부를 통해 검출된 복수의 차선 정보를 결합시켜 도로 표시 및 차선이 포함된 도로 지도를 생성하는 단계; 상기 도로 지도에서 복수의 차선을 Adaptive Breakpoint Detection(ABD) 방법에 기반하여 복수의 그룹으로 나누는 단계; 및 RANSAC(Random Sample Consensus) 알고리즘을 통해 상기 복수의 그룹에 포함된 복수의 차선을 최적화시키는 단계를 포함할 수 있다.
본 발명에 따르면 저가의 카메라를 이용하여 촬영된 영상에서 도로 표시 및 차선을 검출하고 검출된 도로 표시 및 차선의 오차를 최소화하여 도로 지도를 최적화시키며 이를 기반으로 정확도가 높은 도로 지도를 용이하게 구축할 수 있다.
도 1은 본 발명의 일실시예에 따른 도로 지도 생성 시스템의 전체 구성을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 도로 지도 생성 시스템에서, 검출부를 통해 카메라에서 촬영된 차량의 전방 영상에서 검출된 도로 표시 및 차선을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 도로 지도 생성 시스템에서, 거리 추출부를 통해 차량과 검출된 도로 표시 간의 거리가 추출된 모습을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 도로 지도 생성 시스템의 단위 픽셀 크기 추출부에서 단위 픽셀 크기를 추출하는 모습을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 도로 지도 생성 시스템에서, 검출부를 통해 검출된 각각의 도로 표시들을 연결하여 제1 도로 표시 지도를 생성하는 과정을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 도로 지도 생성 시스템에서, 검출부를 통해 검출된 복수의 도로 표시들을 그룹으로 분류하여 분류된 그룹에 기반하여 제1 도로 표시 지도를 생성하는 과정을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 도로 지도 생성 시스템에서, 제2 도로 표시 지도 생성부를 통해 제1 도로 표시 지도가 최적화된 것을 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따른 도로 지도 생성 시스템에서, ABD 방법 및 RANSAC 알고리즘을 통해 복수의 차선이 최적화되는 모습을 나타내는 도면이다.
도 9는 본 발명의 일실시예에 따른 도로 지도 생성 시스템을 통해 생성된 최종 도로 지도의 모습을 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 도로 지도 생성 방법의 흐름을 도시한 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 도로 지도 생성 시스템에 대해 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 도로 지도 생성 시스템의 전체 구성을 도시한 도면이고, 도 2는 검출부를 통해 카메라부에서 촬영된 차량의 전방 영상에서 검출된 도로 표시 및 차선을 나타내는 도면이며, 도 3은 거리 추출부를 통해 차량과 검출된 도로 표시 간의 거리가 추출된 모습을 나타내는 도면이고, 도 4는 단위 픽셀 크기 추출부에서 단위 픽셀 크기를 추출하는 모습을 나타내는 도면이며, 도 5는 검출부를 통해 검출된 각각의 도로 표시들을 연결하여 제1 도로 표시 지도를 생성하는 과정을 나타내는 도면이고, 도 6은 검출부를 통해 검출된 복수의 도로 표시들을 그룹으로 분류하여 분류된 그룹에 기반하여 제1 도로 표시 지도를 생성하는 과정을 나타내는 도면이며, 도 7은 제2 도로 표시 지도 생성부를 통해 제1 도로 표시 지도가 최적화된 것을 나타내는 도면이고, 도 8은 ABD 방법 및 RANSAC 알고리즘을 통해 복수의 차선이 최적화되는 모습을 나타내는 도면이며, 도 9는 본 발명의 일실시예에 따른 도로 지도 생성 시스템을 통해 생성된 최종 도로 지도의 모습을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 도로 지도 생성 시스템은 카메라부(100), 검출부(200), 거리 추출부(300), 도로 표시 지도 생성부(400), 최종 도로 지도 생성부(500)를 포함하며, 실시예에 따라 단위 픽셀 크기 추출부(600) 및 메모리부(700)를 더 포함하여 구성될 수 있다. 이하에서는 도 2 내지 도 9를 참조하여 상술한 도로 지도 생성 시스템의 각 구성에 대한 상세한 특징과 각 구성을 통해 도로 지도가 생성되는 것에 대해 상세히 설명하기로 한다.
검출부(200)는 차량에 장착되어 차량의 전방 영상을 촬영하는 카메라부(100)를 통해 촬영된 영상에서 도로 표시 및 차선을 검출하는 역할을 한다. 보다 구체적으로, 도 2를 참조하면, 검출부(200)는 도 2의 좌측에 도시된 바와 같이 카메라부(100)를 통해 촬영된 차량의 전방 영상에서 도 2의 우측에 도시된 바와 같이 도시 표시 및 차선을 검출할 수 있다. 카메라를 통해 촬영된 영상에서 도로 표시 및 차선 등을 포함하는 특징점들을 검출하는 것은 기공지된 기술이므로 여기서 상세한 설명은 생략하기로 한다.
거리 추출부(300)는 카메라부(100)를 통해 촬영되는 영상 이미지의 단위 픽셀의 크기 정보를 바탕으로 카메라부(100)가 장착된 차량과 검출부(200)를 통해 검출된 도로 표시 및 차선간의 거리를 추출하는 역할을 한다. 여기서, 카메라부(100)를 통해 촬영되는 영상 이미지의 단위 픽셀의 크기는 단위 픽셀 크기 추출부(600)를 통해 추출될 수 있으며, 단위 픽셀 크기 추출부(600)를 통해 추출된 단위 픽셀 크기 정보는 메모리부(700)에 저장될 수 있다. 다시 말해, 거리 추출부(300)는 메모리부(700)에 저장된 카메라부(100)를 통해 촬영되는 영상 이미지의 단위 픽셀의 크기 정보를 바탕으로, 도 3에 도시된 바와 같이 차량과 검출부(100)를 통해 검출된 도로 표시 간의 거리를 추출할 수 있다. 아울러, 거리 추출부(300)를 통해 추출된 차량과 도로 표시 간의 거리를 통해 차량 및 도로 표시의 검출위치를 파악할 수 있다.
단위 픽셀 크기 추출부(600)에서 카메라부(100)를 통해 촬영된 영상 이미지의 단위 픽셀의 크기 정보를 추출하는 것에 대해서는 이하에서 도 4를 참조하여 상세히 설명하기로 한다.
구체적으로, 단위 픽셀 크기 추출부(600)는 도 4의 상측에 도시된 바와 같이 도로에 사전 설정된 거리 간격으로 배치된 사전 설정된 크기의 체커보드가 포함된 차량 전방을 촬영한 영상 이미지를 호모그래피 변환을 통해 도 4의 하측에 도시된 바와 같이 탑뷰 이미지로 변환하고, 변환된 탑뷰 이미지에서 체커보드에 포함된 픽셀의 개수에 기반하여 단위 픽셀의 크기를 추출할 수 있다. 여기서, 도 4 상측의 체커보드가 포함된 차량 전방의 촬영 영상 이미지를 호모그래피 변환을 통해 도 4 하측의 탑뷰 이미지로 변환하기 위해서는 체커보드의 4개의 매칭점이 필요한데, 실시예에 따라 체커보드의 4개의 꼭지점을 매칭점으로 하여 호모그래피 변환을 시켜 도 4의 하측의 탑뷰 이미지로 변환시킬 수 있다.
보다 구체적으로, 단위 픽셀 크기 추출부(600)에서 단위 픽셀 크기를 추출하는 것을 설명하면 다음과 같다. 예를 들어, 도 4에 도시된 체커보드가 한 변의 길이가 100cm인 정사각형이며, 탑뷰로 변환된 체커보드에 포함된 픽셀의 개수가 100개인 경우, 단위 픽셀은 한변의 길이가 1cm인 정사각형임을 알 수 있다. 여기서, 체커보드의 한 변의 길이 및 하나의 영상 이미지에 포함된 픽셀의 개수 등은 실시예에 따라 다양하게 변경할 수 있으며, 그에 따라 단위 픽셀의 크기는 달라질 수 있다.
즉, 상술한 방식에 따라, 단위 픽셀 크기 추출부(600)를 통해 단위 픽셀 크기가 한 변의 길이가 1cm인 정사각형이라는 정보가 메모리부(700)에 저장되어 있으며, 카메라부(100)를 통해 촬영된 영상에서 검출된 도로 표시가 영상 이미지의 좌측으로부터 500 픽셀 떨어진 거리에 위치하는 경우, 거리 추출부(300)는 해당 도로 표시가 차량으로부터 5m(500 x 1cm) 거리에 떨어져 있음을 알 수 있는 것이다. 이와 동일한 방식에 따라 거리 추출부(300)는 메모리부(700)에 저장되어 있는 단위 픽셀의 크기 정보를 바탕으로, 차량과 검출부(200)를 통해 검출된 도로 표시 및 차선 간의 거리를 추출할 수 있다.
도로 표시 지도 생성부(400)는 검출부(200)를 통해 검출된 도로 표시 및 거리 추출부(300)를 통해 추출된 차량과 도로 표시 간의 거리 정보를 바탕으로 도로 표시가 포함된 도로 표시 지도를 생성할 수 있다. 구체적으로, 도로 표시 지도 생성부(400)는 검출부(200)를 통해 검출된 복수의 도로 표시들을 그룹으로 분류하는 그룹 분류부(410), 분류된 복수의 그룹에 포함된 도로 표시 정보에 기반하여 각 그룹을 연결하여 제1 도로 표시 지도를 생성하는 제1 도로 표시 지도 생성부(420) 및 제1 도로 표시 지도를 최적화시켜 제2 도로 표시 지도를 생성하는 제2 도로 표시 지도 생성부(430)를 포함할 수 있다.
보다 구체적으로, 그룹 분류부(410)는 검출부(200)를 통해 검출된 복수의 도로 표시들 중 동일한 가로선 상에 위치한 도로 표시들을 하나의 그룹으로 분류할 수 있으며, 제1 도로 표시 지도 생성부(420)는 그룹 분류부(410)를 통해 분류된 복수의 그룹에 포함된 도로 표시의 순서, 도로 표시의 종류, 도로 표시의 개수 및 도로 표시의 위치정보에 기반하여 각 그룹의 연관성을 판단하고, 연관성이 높은 각 그룹을 연결해서 제1 도로 표시 지도를 생성할 수 있다. 여기서, 각 그룹의 연관성이 높다는 것은 각 그룹에 포함된 도로 표시들의 순서, 종류, 개수 및 위치 정보가 동일함을 의미할 수 있다. 다시 말해, 제1 그룹에 포함된 도로 표시의 순서, 도로 표시의 종류, 도로 표시의 개수 및 도로 표시의 위치정보가 제2 그룹에 포함된 도로 표시의 순서, 도로 표시의 종류, 도로 표시의 개수 및 도료 표시의 위치정보가 동일한 경우 제1 그룹과 제2 그룹의 연광성이 높다고 판단할 수 있다.
본 발명에서 제1 도로 표시 지도를 생성하는 과정에서 복수의 도로표시들 중 동일한 가로선 상에 위치한 도로 표시들을 하나의 그룹으로 분류하는 이유를 도 5 및 도 6을 참조하여 설명하면 다음과 같다.
도로 표시가 포함된 도로 표시 지도를 생성하기 위해, 동일한 도로를 복수회 주행하면서 카메라부(100)를 통해 도로 표시가 포함된 도로를 촬영하고, 매회 촬영된 영상 이미지로부터 도로 표시를 검출하며, 매회 검출한 도로 표시 이미지를 누적시켜 도로 표시 지도를 생성하는데, 여기서 매회 촬영된 영상 이미지로부터 검출된 도로 표시는 도로 표시 지도를 생성하는데 있어서 노드(node)역할을 한다. 즉, 복수의 주행결과 얻어진 영상에서 검출된 복수의 도로 표시들에서 연관성이 높은 도로 표시들을 각각 연결함으로써 도로 표시가 포함된 제1 도로 표시 지도를 생성하는 것이다.
하지만, 도 5에 도시된 바와 같이 개별 도로 표시들을 기준으로 이전에 촬영된 영상에서 검출된 도로 표시와 현재 촬영된 영상에서 검출된 도로 표시의 연관성에 기반하여 각 도로 표시들을 연결하는 경우, 반복적인 차량의 주행에 따른 오차 누적에 따라 서로 다른 도로 표시들끼리 연결되어 오류가 많은 도로 표시 지도가 생성될 수 있다. 다시 말해, 개별 도로 표시들을 기준으로 각각의 도로 표시들을 연결하면, 도 5를 참조할 때, 현재 관측한 도로 표시는 과거 영상에서 검출된 도로 표시들 중 좌측에 위치한 도로 표시와 동일한 도로 표시다. 하지만, 현재 관측한 도로 표시가 과거 영상에서 검출된 도로 표시들 중 거리상 중앙에 위치한 도로 표시와 그 거리가 가장 인접하여 연광성이 높다고 판단될 수 있고, 그에 따라 과거 영상에서 검출된 중앙에 위치한 도로 표시와 현재 영상에서 검출된 도로 표시가 잘못 연결될 수 있는 것이다.
상술한 문제를 개선하기 위해 본 발명에서는 일반적으로 차선에서 도로 표시들이 동일한 가로선 상에 위치하는 것을 고려하여, 도 6에 도시된 바와 같이 동일한 가로선 상에 위치한 도로 표시들을 하나의 그룹으로 분류하였으며, 분류된 복수의 그룹에 포함된 도로 표시의 순서, 도로 표시의 종류, 도로 표시의 개수 및 도로 표시의 위치정보에 기반하여 각 그룹의 연관성을 판단해서 각 그룹을 연결하여 제1 도로 표시 지도를 생성한 것이다.
보다 구체적으로 과거 촬영 영상에서 검출되어 분류된 과거 도로 표시 그룹과 현재 촬영 영상에서 검출되어 분류된 현재 도로 표시 그룹이 표시된 도 6을 참조하여 설명하면, 각 그룹에 포함된 도로 표시의 순서, 도로 표시의 종류, 도로 표시의 개수 및 도로 표시의 위치정보에 기반하여 각 그룹이 연관성이 있는지 판단할 수 있다. 그리고, 판단결과 해당 그룹 간에 연관성이 있는 경우 각 그룹을 연결하여 제1 도로 표시 지도를 생성할 수 있다. 다시 말해, 도 6의 과거 도로 표시 그룹은 좌회전, 좌회전 및 직진 표시의 3개의 도로 표시가 좌측에서부터 우측으로 위치하고 있고, 현재 도로 표시 그룹 또한 좌회전, 좌회전 및 직진 표시의 3개의 도로 표시가 좌측에서부터 우측으로 위치하고 있으므로, 각 그룹은 연관성이 높은 그룹으로 판단할 수 있고, 그에 따라 각 그룹을 연결시킴으로써 제1 도로 표시 지도를 생성할 수 있다.
제2 도로 표시 지도 생성부(430)는 그룹 분류부(410)를 통해 분류된 복수의 그룹들의 검출위치와 상기 분류된 복수의 그룹들의 실제 위치 및 상기 차량의 검출위치와 상기 차량의 실제 위치 간의 오차를 최소화하여 제1 도로 표시 지도를 최적화시켜 제2 도로 표시 지도를 생성할 수 있다. 이때, 도시 표시들이 포함된 복수의 그룹들의 실제 위치는 메모리부(700)에 기 저장되어 있을 수 있으며, 차량의 실제 위치는 차량에 탑재된 GPS를 통해 얻을 수 있을 것이다. 아울러, 거리 추출부(300)를 통해 추출된 차량과 도로 표시 간의 거리를 통해 차량 및 도로 표시의 검출위치를 파악할 수 있을 것이다.
한편, 실시예에 따라 제2 도로 표시 지도 생성부(430)는 최소 자승법에 기반하여 그룹 분류부(410)를 통해 분류된 복수의 그룹들의 검출위치와 상기 분류된 복수의 그룹들의 실제 위치 및 상기 차량의 검출위치와 상기 차량의 실제 위치 간의 오차를 최소화함으로써 도 7에 도시된 바와 같이 제1 도로 표시 지도를 최적화 시킬 수 있다. 최소 자승법을 통해 오차를 최소화하는 것은 기 공지된 기술이므로 그에 대한 상세한 설명은 생략하기로 한다.
최종 도로 지도 생성부(500)는 도로 표시 지도 생성부(400)를 통해 생성된 도로 표시 지도에 검출부(200)를 통해 검출된 복수의 차선 정보를 결합시켜 도로 표시 및 차선이 포함된 도로 지도를 생성하는 도로 지도 생성부(510), 도로 지도 생성부(510)를 통해 생성된 도로 지도에서 복수의 차선을 Adaptive Break Point(ABD) 방법에 기반하여 복수의 그룹으로 나누는 차선 그룹 분류부(520) 및 RANSAC(Random Sample Consensus) 알고리즘을 통해 복수의 그룹에 포함된 복수의 차선을 최적화시키는 차선 최적화부(530)를 포함하여 구성될 수 있다. 여기서, ABD 방법은 연속된 점들을 일정 임계점(threshold)을 바탕으로 여러개의 그룹으로 그룹을 나누는 방법을 말하는데, 차선 그룹 분류부(520)는 ABD 방법에 기반하여 도 8의 상측에 표시된 복수의 차선들을 도 8의 중앙 도시된 바와 같이 복수의 차선 그룹으로 분류한다. 아울러, 차선 최적화부(830)는 차선 그룹 분류부(520)를 통해 분류된 그룹에 포함된 복수의 차선들을 RANSAC 알고리즘을 통해 도 8의 하측에 표시된 차선과 같이 최적화시킬 수 있다. ABD 방법 및 RANSAC 알고리즘은 기 공지된 기술로서 그에 대한 상세한 설명은 생략하기로 한다.
이처럼, 상술한 방식에 따라 최종 도로 지도 생성부(500)에는 도로 표시 지도에 검출부(200)를 통해 검출된 복수의 차선 정보를 결합시킨 후, 해당 차선들을 최적화시켜 도 9에 도시된 바와 같은 도로 표시 및 차선을 포함하는 최종 도로 지도를 생성할 수 있다.
도 10은 본 발명의 일실시예에 따른 도로 지도 생성 방법의 흐름을 도시한 도면이다. 도 10에 도시된 바와 같이 본 발명의 일실시예에 따른 도로 지도 생성 방법은, 차량에 장착되어 차량의 전방 영상을 촬영하는 카메라부를 통해 촬영된 영상에서 도로 표시 및 차선을 검출하는 단계, 상기 촬영된 영상 이미지의 단위 픽셀의 크기 정보를 바탕으로, 상기 차량과 상기 검출된 도로 표시 및 차선 간의 거리를 추출하는 단계, 상기 도로 표시 및 상기 차량과 상기 도로 표시 간의 거리 정보를 바탕으로 도로 표시가 포함된 도로 표시 지도를 생성하는 단계, 및 상기 생성된 도로 표시 지도에 상기 검출부를 통해 검출된 복수의 차선 정보를 결합시켜 도로 표시 및 차선을 포함하는 최종 도로 지도를 생성하는 단계를 포함할 수 있다.
아울러, 도로 표시 및 차선을 검출하는 단계 이전에 상기 카메라부를 통해 촬영된 영상 이미지의 단위 픽셀의 크기 정보를 추출하는 단계 및 상기 단위 픽셀의 거리 정보를 메모리부에 저장하는 단계를 더 포함할 수 있다.
구체적으로, 상기 단위 픽셀 크기 정보 추출 단계는, 도로에 사전 설정된 거리 간격으로 배치된 사전 설정된 크기의 체커보드가 포함된 차량 전방을 촬영한 영상 이미지를 호모그래피(homography) 변환을 통해 탑뷰(top view) 이미지로 변환하는 단계, 및 상기 변환된 탑뷰 이미지에서 상기 체커보드에 포함된 픽셀의 개수에 기반하여 단위 픽셀의 크기를 추출하는 단계를 포함할 수 있다.
보다 구체적으로, 상기 도로 표시 지도 생성 단계는, 상기 검출부를 통해 검출된 복수의 도로 표시들 중 동일한 가로선 상에 위치한 도로 표시들을 하나의 그룹으로 분류하는 단계; 상기 분류된 복수의 그룹에 포함된 도로 표시의 순서, 도로 표시의 종류, 도로 표시의 개수 및 도로 표시의 위치정보에 기반하여 각 그룹을 연결하여 제1 도로 표시 지도를 생성하는 단계; 및 상기 분류된 복수의 그룹들의 검출위치와 상기 분류된 복수의 그룹들의 실제 위치 및 상기 차량의 검출위치와 상기 차량의 실제 위치 간의 오차를 최소화하여 제1 도로 표시 지도를 최적화시켜 제2 도로 표시 지도를 생성하는 단계를 포함할 수 있다.
더 나아가, 상기 최종 도로 지도 생성 단계는, 상기 도로 표시 지도 생성단계에서 생성된 도로 표시 지도에 상기 검출부를 통해 검출된 복수의 차선 정보를 결합시켜 도로 표시 및 차선이 포함된 도로 지도를 생성하는 단계; 상기 도로 지도에서 복수의 차선을 ABD 방법에 기반하여 복수의 그룹으로 나누는 단계; 및 RANSAC(Random Sample Consensus) 알고리즘을 통해 상기 복수의 그룹에 포함된 복수의 차선을 최적화시키는 단계를 포함할 수 있다.
본 발명에 따른 도로 지도 생성 방법의 각 단계에서의 상세한 기술적 특징은 앞서 설명한 본 발명에 따른 도로 지도 생성 시스템에서 세부 구성들의 기술적 특징과 동일하므로 그에 대한 상세한 설명을 생략하기로 한다.
10: 도로 지도 생성 시스템
100: 카메라부 200: 검출부
300: 거리 추출부 400: 도로 표시 지도 생성부
410: 그룹 분류부 420: 제1 도로 표시 지도 생성부
430: 제2 도로 표시 지도 생성부
500: 최종 도로 지도 생성부 510: 도로 지도 생성부
520: 차선 그룹 분류부 530: 차선 최적화부
600: 단위 픽셀 크기 추출부 700: 메모리부
a: 차량과 도로 표시간의 거리 b: 차량과 도시 표시간의 거리

Claims (11)

  1. 차량에 장착되어 차량의 전방 영상을 촬영하는 카메라부를 통해 촬영된 영상에서 도로 표시 및 차선을 검출하는 검출부;
    상기 촬영된 영상 이미지의 단위 픽셀의 크기 정보를 바탕으로, 상기 차량과 상기 검출된 도로 표시 및 차선 간의 거리를 추출하는 거리 추출부;
    상기 검출된 도로 표시 및 상기 추출된 상기 차량과 상기 도로 표시 간의 거리 정보를 바탕으로 도로 표시가 포함된 도로 표시 지도를 생성하는 도로 표시 지도 생성부; 및
    상기 도로 표시 지도에 상기 검출부를 통해 검출된 차선 정보를 결합시켜 도로 표시 및 차선을 포함하는 최종 도로 지도를 생성하는 최종 도로 지도 생성부를 포함하는 도로 지도 생성 시스템.
  2. 청구항 1에 있어서,
    상기 카메라부를 통해 촬영된 영상 이미지의 단위 픽셀의 크기 정보를 추출하는 단위 픽셀 크기 추출부; 및
    상기 단위 픽셀의 크기 정보를 저장하는 메모리부를 더 포함하는 것을 특징으로 하는 도로 지도 생성 시스템.
  3. 청구항 2에 있어서, 상기 단위 픽셀 크기 추출부는,
    도로에 사전 설정된 거리 간격으로 배치된 사전 설정된 크기의 체커보드가 포함된 차량 전방을 촬영한 영상 이미지를 호모그래피(homography) 변환을 통해 탑뷰(top view) 이미지로 변환하고, 변환된 탑뷰 이미지에서 상기 체커보드에 포함된 픽셀의 개수에 기반하여 단위 픽셀의 크기를 추출하는 것을 특징으로 하는 도로 지도 생성 시스템.
  4. 청구항 1에 있어서, 상기 도로 표시 지도 생성부는,
    상기 검출부를 통해 검출된 복수의 도로 표시들 중 동일한 가로선 상에 위치한 도로 표시들을 하나의 그룹으로 분류하는 그룹 분류부;
    상기 분류된 복수의 그룹에 포함된 도로 표시의 순서, 도로 표시의 종류, 도로 표시의 개수 및 도로 표시의 위치정보에 기반하여 각 그룹을 연결해서 제1 도로 표시 지도를 생성하는 제1 도로 표시 지도 생성부; 및
    상기 분류된 복수의 그룹들의 검출위치와 상기 분류된 복수의 그룹들의 실제 위치 간의 오차를 최소화하여 제1 도로 표시 지도를 최적화시켜 제2 도로 표시 지도를 생성하는 제2 도로 표시 지도 생성부를 포함하는 것을 특징으로 하는 도로 지도 생성 시스템.
  5. 청구항 4에 있어서, 상기 제2 도로 표시 지도 생성부는,
    최소 자승법에 기반하여 상기 그룹 분류부를 통해 분류된 복수의 그룹들의 검출위치와 상기 분류된 복수의 그룹들의 실제 위치 간의 오차를 최소화함으로써 제1 도로 표시 지도를 최적화시키는 것을 특징으로 하는 도로 지도 생성 시스템.
  6. 청구항 1에 있어서, 상기 최종 도로 지도 생성부는,
    상기 도로 표시 지도 생성부를 통해 생성된 도로 표시 지도에 상기 검출부를 통해 검출된 복수의 차선 정보를 결합시켜 도로 표시 및 차선이 포함된 도로 지도를 생성하는 도로 지도 생성부;
    상기 도로 지도에서 복수의 차선을 Adaptive Breakpoint Detection(이하, ABD) 방법에 기반하여 복수의 그룹으로 나누는 차선 그룹 분류부; 및
    RANSAC(Random Sample Consensus) 알고리즘을 통해 상기 복수의 그룹에 포함된 복수의 차선을 최적화시키는 차선 최적화부를 포함하는 것을 특징으로 하는 도로 지도 생성 시스템.
  7. 청구항 1의 도로 지도 생성 시스템을 이용한 도로 지도 생성 방법에 있어서,
    차량에 장착되어 차량의 전방 영상을 촬영하는 카메라부를 통해 촬영된 영상에서 도로 표시 및 차선을 검출하는 단계;
    상기 촬영된 영상 이미지의 단위 픽셀의 크기 정보를 바탕으로, 상기 차량과 상기 검출된 도로 표시 및 차선 간의 거리를 추출하는 단계;
    상기 도로 표시 및 상기 차량과 상기 도로 표시 간의 거리 정보를 바탕으로 도로 표시가 포함된 도로 표시 지도를 생성하는 단계; 및
    상기 생성된 도로 표시 지도에 상기 검출부를 통해 검출된 복수의 차선 정보를 결합시켜 도로 표시 및 차선을 포함하는 최종 도로 지도를 생성하는 단계를 포함하는 도로 지도 생성 방법.
  8. 청구항 8에 있어서, 상기 도로 표시 및 차선을 검출하는 단계 이전에,
    상기 카메라부를 통해 촬영된 영상 이미지의 단위 픽셀의 크기 정보를 추출하는 단계; 및
    상기 단위 픽셀의 거리 정보를 메모리부에 저장하는 단계를 더 포함하는 것을 특징으로 하는 도로 지도 생성 방법.
  9. 청구항 8에 있어서, 상기 단위 픽셀 크기 정보 추출 단계는,
    도로에 사전 설정된 거리 간격으로 배치된 사전 설정된 크기의 체커보드가 포함된 차량 전방을 촬영한 영상 이미지를 호모그래피(homography) 변환을 통해 탑뷰(top view) 이미지로 변환하는 단계; 및
    상기 변환된 탑뷰 이미지에서 상기 체커보드에 포함된 픽셀의 개수에 기반하여 단위 픽셀의 크기를 추출하는 단계를 포함하는 것을 특징으로 하는 도로 지도 생성 방법.
  10. 청구항 7에 있어서, 상기 도로 표시 지도 생성 단계는,
    상기 검출부를 통해 검출된 복수의 도로 표시들을 도로 표시의 순서, 도로 표시의 종류, 도로 표시의 개수 및 도로 표시의 위치 정보에 기반하여 그룹으로 분류하는 단계;
    상기 분류된 복수의 그룹에 포함된 도로 표시의 순서, 도로 표시의 종류, 도로 표시의 개수 및 도로 표시의 위치정보에 기반하여 각 그룹을 연결하여 제1 도로 표시 지도를 생성하는 단계; 및
    상기 분류된 복수의 그룹들의 검출위치와 상기 분류된 복수의 그룹들의 실제 위치 간의 오차를 최소화하여 제1 도로 표시 지도를 최적화시켜 제2 도로 표시 지도를 생성하는 단계를 포함하는 것을 특징으로 하는 도로 지도 생성 방법.
  11. 청구항 7에 있어서, 상기 최종 도로 지도 생성 단계는,
    상기 도로 표시 지도 생성단계에서 생성된 도로 표시 지도에 상기 검출부를 통해 검출된 복수의 차선 정보를 결합시켜 도로 표시 및 차선이 포함된 도로 지도를 생성하는 단계;
    상기 도로 지도에서 복수의 차선을 Adaptive Breakpoint Detection(이하, ABD) 방법에 기반하여 복수의 그룹으로 나누는 단계; 및
    RANSAC(Random Sample Consensus) 알고리즘을 통해 상기 복수의 그룹에 포함된 복수의 차선을 최적화시키는 단계를 포함하는 것을 특징으로 하는 도로 지도 생성 방법.
KR1020180079265A 2018-07-09 2018-07-09 도로 지도 생성 시스템 및 도로 지도 생성 방법 KR20200005818A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180079265A KR20200005818A (ko) 2018-07-09 2018-07-09 도로 지도 생성 시스템 및 도로 지도 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180079265A KR20200005818A (ko) 2018-07-09 2018-07-09 도로 지도 생성 시스템 및 도로 지도 생성 방법

Publications (1)

Publication Number Publication Date
KR20200005818A true KR20200005818A (ko) 2020-01-17

Family

ID=69370196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180079265A KR20200005818A (ko) 2018-07-09 2018-07-09 도로 지도 생성 시스템 및 도로 지도 생성 방법

Country Status (1)

Country Link
KR (1) KR20200005818A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102264393B1 (ko) * 2021-02-04 2021-06-14 ㈜선영종합엔지니어링 도로 표시와 차선을 추출하여 도로지도를 생성할 수 있는 정밀도로지도 구축시스템
KR20210150805A (ko) * 2020-06-04 2021-12-13 네이버랩스 주식회사 고정밀지도생성장치 및 고정밀지도생성방법
KR102603086B1 (ko) * 2022-09-28 2023-11-16 주식회사 엔제로 자율주행차량의 주행 데이터 기반의 도로 형상 변경 검지 및 업데이트 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170068021A (ko) 2015-12-09 2017-06-19 현대자동차주식회사 고정밀 지도의 제공을 위한 세그먼트 모델링 기반의 도로의 형상 정보 생성 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170068021A (ko) 2015-12-09 2017-06-19 현대자동차주식회사 고정밀 지도의 제공을 위한 세그먼트 모델링 기반의 도로의 형상 정보 생성 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210150805A (ko) * 2020-06-04 2021-12-13 네이버랩스 주식회사 고정밀지도생성장치 및 고정밀지도생성방법
KR20220013439A (ko) * 2020-06-04 2022-02-04 네이버랩스 주식회사 고정밀지도생성장치 및 고정밀지도생성방법
KR102264393B1 (ko) * 2021-02-04 2021-06-14 ㈜선영종합엔지니어링 도로 표시와 차선을 추출하여 도로지도를 생성할 수 있는 정밀도로지도 구축시스템
KR102603086B1 (ko) * 2022-09-28 2023-11-16 주식회사 엔제로 자율주행차량의 주행 데이터 기반의 도로 형상 변경 검지 및 업데이트 방법

Similar Documents

Publication Publication Date Title
TWI798305B (zh) 用於更新高度自動化駕駛地圖的系統和方法
CN101617197B (zh) 测量装置、测量方法及地物识别装置
US9338434B2 (en) Parallax calculation method and parallax calculation device
EP3096290B1 (en) Method and system for determining camera pose
US11295516B2 (en) Reconstruction method, reconstruction device, and generation method for generating a three-dimensional (3D) model
JP4363295B2 (ja) ステレオ画像による平面推定方法
JP2011505610A (ja) 画像センサデータに距離センサデータをマッピングする方法及び装置
EP3561450A1 (en) Stereo camera
KR102167835B1 (ko) 영상 처리 방법 및 장치
KR20200005818A (ko) 도로 지도 생성 시스템 및 도로 지도 생성 방법
KR102428765B1 (ko) 터널 조명을 이용한 자율주행 차량 항법 시스템
JP2017129508A (ja) 自己位置推定システム、自己位置推定方法、モバイル端末、サーバおよび自己位置推定プログラム
CN112750203A (zh) 模型重建方法、装置、设备及存储介质
US20130135446A1 (en) Street view creating system and method thereof
JP5311465B2 (ja) ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム
JP4762026B2 (ja) 道路標識データベース構築装置
JP2007316856A (ja) 移動体検出装置、コンピュータプログラム及び移動体検出方法
JP2007011994A (ja) 道路認識装置
US20210232862A1 (en) Data providing system and data collection system
JPH08255245A (ja) ランドマーク認識装置およびランドマーク認識方法
CN110827340A (zh) 地图的更新方法、装置及存储介质
JP6567384B2 (ja) 情報認識装置、情報認識方法、およびプログラム
JP6965325B2 (ja) 自動検出システムおよび自動検出プログラム
CN114051627A (zh) 相机校准方法
CN112818866A (zh) 车辆定位的方法、装置及电子设备