KR102540632B1 - 색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 - Google Patents

Abstract

본 발명은 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)로부터 촬영된 이미지의 색상을 부여하여 컬러맵을 생성하기 위한 색상 보정을 적용한 컬러맵 생성 방법을 제안한다. 상기 방법은 지도 생성부가, 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)를 통해 촬영된 이미지의 색상을 부여하는 단계, 상기 지도 생성부가, 상기 색상이 부여된 점군 데이터에서 사전 설정된 색상을 갖는 점을 분리하는 단계, 상기 지도 생성부가, 상기 분리된 점의 색상을 이웃하는 점의 색상을 기초로 보정하여 컬러맵을 생성하는 단계를 포함한다.
본 발명은 서울특별시 서울산업진흥원 (2022년도 서울혁신챌린지(결선)) (IC210027) '모빌리티 서비스를 이용한 도시 변화 탐지 플랫폼'을 통해 개발된 기술이다.
또한, 본 발명은 국토교통부 산하의 국토교통과학기술진흥원 '과제번호 22AMDP-C160637-02'을 통해 개발된 기술이다.

Description

색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램{Method for create a colormap with color correction applied and computer program recorded on record-medium for executing method therefor}

본 발명은 정밀도로지도에 관한 것이다. 보다 상세하게는, 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)로부터 촬영된 이미지의 색상을 부여하여 컬러맵을 생성하기 위한 색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램에 관한 것이다.

차량의 자율주행(automatic driving)은 차량 스스로 판단하여 주행할 수 있는 시스템을 의미한다. 이와 같은, 자율주행은 시스템이 주행에 관여하는 정도와 운전차가 차량을 제어하는 정도에 따라 비자동화부터 완전 자동화까지 점진적인 단계로 구분될 수 있다. 일반적으로, 자율주행의 단계는 국제자동차기술자협회(SAE(Society of Automotive Engineers) International)에서 분류한 6단계의 레벨로 구분된다. 국제자동차기술자협회가 분류한 6단계에 따르면, 레벨 0단계는 비자동화, 레벨 1단계는 운전자 보조, 레벨 2단계는 부분 자동화, 레벨 3단계는 조건부 자동화, 레벨 4단계는 고도 자동화, 그리고 레벨 5단계는 완전 자동화 단계이다.

자율주행은 인지(perception), 측위(localization), 경로 계획(path planning) 및 제어(control)의 메커니즘을 통해 수행된다. 그리고, 다양한 기업체들은 자율주행 메커니즘에서 인지 및 경로 계획을 인공지능(AI)을 이용하여 구현하기 위해 개발 중에 있다.

이와 같은, 자율주행을 위해서는 도로에 관한 다양한 정보가 선제적으로 수집되어야 한다. 그러나, 현실적으로 차량의 센서 만을 이용하여 방대한 정보를 실시간 수집하여 분석하는 것은 쉽지 않다. 이에 따라, 자율주행이 현실화되기 위해서는 실제 자율 주행에 필요한 각종 정보를 제공해 줄 수 있는 정밀도로지도가 필수적이다

여기서, 정밀도로지도는 도로와 주변 지형의 정보를 정확도 ±25㎝로 구축한 3차원 전자지도를 말한다. 이러한, 정밀도로지도는 일반적인 전자지도의 정보(길안내를 위해 필요한 노드 정보들과 링크 정보들)에 더하여, 도로의 폭, 도로의 곡률, 도로의 경사도, 차선 정보(점선, 실선, 정지선 등), 면형 정보(횡단보도, 과속방지턱, 갓길 등), 노면 마크 정보, 표지 판 정보, 시설물 정보(신호등, 연석, 맨홀 등) 등과 같은 정밀 정보를 포함하는 지도이다.

이러한, 정밀도로지도를 생성하기 위해서는 이동 지도제작 시스템(Mobile Mapping System, MMS), 항공사진 촬영 정보 등 다양한 관련 자료들이 요구된다.

특히, MMS는 차량에 장착되어 차량의 운행과 함께 도로 주변에 있는 지형지물의 위치측정 및 시각정보를 획득하도록 이루어진다. 즉, MMS는 차체의 위치와 자세정보를 취득하기 위한 GPS(Global Positioning System), 관성 항법 장치(Inertial Navigation System; INS), 관성 측정 장치(Inertial Measurement Unit; IMU), 지형지물의 형상과 정보를 수집하기 위한 카메라, 라이다(Light Detection and Ranging, LiDAR) 센서 및 기타 센서에 의해 수집된 정보들을 기반으로 생성될 수 있다.

이러한, MMS를 이용하여 제작된 정밀도로지도는 다양한 표지판, 신호등 등의 다양한 교통 시설물들을 포함하고 있다. 이에 따라, 정밀도로지도를 효과적으로 이용하기 위해서는 교통 시설물에 대한 방향 정보가 필요하다.

최근에는 라이다로부터 획득된 점군 데이터를 활용하여 방향 정보를 생성하는 알고리즘들이 개발되고 있으나, 구조가 매우 복잡하여 활용도가 떨어지는 문제점이 있었다.

또한, 정밀도로지도에 포함된 교통 시설물에 관한 학습 데이터를 생성하기 위해서는 교통 시설물이 포함된 대량의 이미지가 필요하다. 그러나, 교통 시설물이 포함된 이미지에 관한 공개된 데이터셋이 존재하지 않을 뿐만 아니라, 교통 시설물이 포함된 이미지의 양이 제한적이기 때문에, 데이터 확보에 어려움이 있었다.

한편, 항공 라이다를 이용하여 3D 모델링을 수행할 경우에는 객체의 상부에 위치하는 라이다로부터 획득된 점군 데이터가 수집되기 때문에, 객체의 하부로 갈수록 수집되는 점군의 밀도가 낮아지게 된다. 이에 따라, 기존의 모델링 기법들은 수집된 전체 점군에 대하여 한꺼번에 모델링을 진행하기 때문에, 점군의 밀도 차이에 따라 노이즈가 발생되고, 이로 인해 모델링 된 객체의 정확도가 떨어지는 문제점이 있었다.

한편, 일반적으로 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)로부터 촬영된 이미지의 색상을 부여하여 컬러맵을 생성하기 위해서는 특정 거리 단위로 누적된 점군 데이터를 한 장의 이미지에 투영한다. 이에 따라, 생성된 컬러맵은 이미지 상에서 특정 객체에 의해 가려진 것으로 표현되나 점군 데이터 상에는 인식된 영역에 대하여, 이미지의 잘못된 색상이 적용되는 노이즈가 발생되는 문제점이 있었다.

또한, 생성된 컬러맵은 하늘의 색상이나 빛 반사로 인하여 특정 어두운 색상을 갖는 객체에 밝은 색상이 적용되는 노이즈가 발생되는 문제점이 있었다.

본 발명은 서울특별시 서울산업진흥원 (2022년도 서울혁신챌린지(결선)) (IC210027) '모빌리티 서비스를 이용한 도시 변화 탐지 플랫폼'을 통해 개발된 기술이다.

또한, 본 발명은 국토교통부 산하의 국토교통과학기술진흥원 '과제번호 22AMDP-C160637-02'을 통해 개발된 기술이다.

대한민국 공개특허공보 제10-2013-0123041호, '라이다 장치를 활용한 실내지도 자동 생성 방법', (2013.11.12. 공개)

본 발명의 일 목적은 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)로부터 촬영된 이미지의 색상을 부여하여 컬러맵을 생성하기 위한 색상 보정을 적용한 컬러맵 생성 방법을 제공하는 것이다.

본 발명의 다른 목적은 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)로부터 촬영된 이미지의 색상을 부여하여 컬러맵을 생성하기 위한 색상 보정을 적용한 컬러맵 생성 방법을 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 바와 같은 기술적 과제를 달성하기 위하여, 본 발명은 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)로부터 촬영된 이미지의 색상을 부여하여 컬러맵을 생성하기 위한 색상 보정을 적용한 컬러맵 생성 방법을 제안한다. 상기 방법은 지도 생성부가, 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)를 통해 촬영된 이미지의 색상을 부여하는 단계, 상기 지도 생성부가, 상기 색상이 부여된 점군 데이터에서 사전 설정된 색상을 갖는 점을 분리하는 단계, 상기 지도 생성부가, 상기 분리된 점의 색상을 이웃하는 점의 색상을 기초로 보정하여 컬러맵을 생성하는 단계를 포함한다.

구체적으로, 상기 색상을 부여하는 단계는 상기 점군 데이터에 포함된 각 점과 동일한 좌표에 위치한 상기 이미지의 색상을 부여하는 것을 특징으로 한다.

상기 점을 분리하는 단계는 지면을 기준으로 특정 높이 이상의 점들 중 사전 설정된 색상을 갖는 점을 분리하는 것을 특징으로 한다.

상기 점을 분리하는 단계는 상기 색상이 부여된 점군 데이터의 밝기 값을 기준으로 한 히스토그램(histogram)을 생성하여, 인텐시티 값이 사전 설정된 값 이상인 점을 검출하는 것을 특징으로 한다.

상기 점을 분리하는 단계는 상기 색상이 부여된 점군 데이터에서 사전 설정된 색상을 갖되, 채도가 사전 설정된 값보다 낮고, 명도가 사전 설정된 값보다 높은 점들을 분리하는 것을 특징으로 한다.

상기 점을 분리하는 단계는 160 ~ 300의 색상 값을 갖는 점을 분리하는 것을 특징으로 한다.

상기 점을 분리하는 단계는 160 ~ 300의 색상 값을 갖는 점을 분리하되, 인텐시티(intensity) 값이 사전 설정된 값보다 높은 점은 제외시키는 것을 특징으로 한다.

상기 점을 분리하는 단계에서 상기 인텐시티 값은 250 이상인 것을 특징으로 한다.

상기 컬러맵을 생성하는 단계는 상기 분리된 점을 제거 후 컬러맵을 생성하는 것을 특징으로 한다.

상기 컬러맵을 생성하는 단계는 상기 분리된 점 각각의 색상을 상기 분리된 점을 제외한 상기 분리된 점과 가장 근접하는 점의 색상으로 보정하는 것을 특징으로 한다.

상기 컬러맵을 생성하는 단계는 상기 분리된 점 각각의 색상을 상기 분리된 점을 제외한 상기 분리된 점과 사전 설정된 거리 이내에 위치한 점의 평균 색상 값으로 보정하는 것을 특징으로 한다.

상기 컬러맵을 생성하는 단계는 옥트리(octree) 알고리즘을 이용하여 상기 분리된 점과 가장 근접하는 점을 검출하는 것을 특징으로 한다.

상술한 바와 같은 기술적 과제를 달성하기 위하여, 본 발명은 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)로부터 촬영된 이미지의 색상을 부여하여 컬러맵을 생성하기 위한 색상 보정을 적용한 컬러맵 생성 방법을 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램을 제안한다. 상기 컴퓨터 프로그램은 메모리(memory), 송수신기(transceiver) 및 상기 메모리에 상주된 명령어를 처리하는 프로세서(processor)를 포함하여 구성된 컴퓨팅 장치와 결합될 수 있다. 그리고, 상기 컴퓨터 프로그램은 상기 프로세서가, 상기 프로세서가, 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)를 통해 촬영된 이미지의 색상을 부여하는 단계, 상기 프로세서가, 상기 색상이 부여된 점군 데이터에서 사전 설정된 색상을 갖는 점을 분리하는 단계, 상기 프로세서가, 상기 분리된 점의 색상을 이웃하는 점의 색상을 기초로 보정하여 컬러맵을 생성하는 단계를 실행시키기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.

기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 실시 예들에 따르면, 이미지의 색상이 부여된 점군 데이터에서 사전 설정된 색상을 갖는 점을 분리하고, 분리된 점의 색상을 이웃하는 점의 색상을 기초로 보정하여 컬러맵을 생성함으로써, 하늘의 색상이나 빛 반사로 인해 특정 어두운 색상을 갖는 객체에 밝은 색상이 적용되는 노이즈를 효과적으로 제거할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과로 제한되지 아니하며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 본 발명이 속한 기술분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 데이터 생성 시스템을 나타낸 구성도이다.
도 2는 본 발명의 일 실시예에 따른 데이터 생성 장치의 논리적 구성도이다.
도 3은 본 발명의 일 실시예에 따른 데이터 생성 장치의 하드웨어 구성도이다.
도 4는 본 발명의 일 실시예에 따른 방향 정보를 포함한 지도 생성 방법을 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 교통 시설물에 대한 학습 데이터 생성 방법을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 항공 라이다를 이용한 지도 생성 방법을 나타낸 순서도이다.
도 7은 본 발명의 일 실시예에 따른 프로젝션 기반의 컬러맵 생성 방법을 나타낸 순서도이다.
도 8은 본 발명의 일 실시예에 따른 색상 보정을 적용한 컬러맵 생성 방법을 나타낸 순서도이다.
도 9 및 도 10은 본 발명의 일 실시예에 따른 방향 정보를 포함한 지도 생성 방법을 설명하기 위한 예시도이다.
도 11 내지 도 13은 본 발명의 일 실시예에 따른 교통 시설물에 대한 학습 데이터 생성 방법을 설명하기 위한 예시도이다.
도 14 내지 도 16은 본 발명의 일 실시예에 따른 항공 라이다를 이용한 지도 생성 방법을 설명하기 위한 예시도이다.
도 17 및 도 18은 본 발명의 일 실시예에 따른 프로젝션 기반의 컬러맵 생성 방법을 설명하기 위한 예시도이다.
도 19 및 도 24는 본 발명의 일 실시예에 따른 색상 보정을 적용한 컬러맵 생성 방법을 설명하기 위한 예시도이다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '구성된다' 또는 '가지다' 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "'직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다. 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.

한편, MMS를 이용하여 제작된 정밀도로지도는 다양한 표지판, 신호등 등의 다양한 교통 시설물들을 포함하고 있다. 이에 따라, 정밀도로지도를 효과적으로 이용하기 위해서는 교통 시설물에 대한 방향 정보가 필요하다.

최근에는 라이다로부터 획득된 점군 데이터를 활용하여 방향 정보를 생성하는 알고리즘들이 개발되고 있으나, 구조가 매우 복잡하여 활용도가 떨어지는 문제점이 있었다.

또한, 정밀도로지도에 포함된 교통 시설물에 관한 학습 데이터를 생성하기 위해서는 교통 시설물이 포함된 대량의 이미지가 필요하다. 그러나, 교통 시설물이 포함된 이미지에 관한 공개된 데이터셋이 존재하지 않을 뿐만 아니라, 교통 시설물이 포함된 이미지의 양이 제한적이기 때문에, 데이터 확보에 어려움이 있었다.

한편, 항공 라이다를 이용하여 3D 모델링을 수행할 경우에는 객체의 상부에 위치하는 라이다로부터 획득된 점군 데이터가 수집되기 때문에, 객체의 하부로 갈수록 수집되는 점군의 밀도가 낮아지게 된다. 이에 따라, 기존의 모델링 기법들은 수집된 전체 점군에 대하여 한꺼번에 모델링을 진행하기 때문에, 점군의 밀도 차이에 따라 노이즈가 발생되고, 이로 인해 모델링 된 객체의 정확도가 떨어지는 문제점이 있었다.

한편, 일반적으로 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)로부터 촬영된 이미지의 색상을 부여하여 컬러맵을 생성하기 위해서는 특정 거리 단위로 누적된 점군 데이터를 한 장의 이미지에 투영한다. 이에 따라, 생성된 컬러맵은 이미지 상에서 특정 객체에 의해 가려진 것으로 표현되나 점군 데이터 상에는 인식된 영역에 대하여, 이미지의 잘못된 색상이 적용되는 노이즈가 발생되는 문제점이 있었다.

또한, 생성된 컬러맵은 하늘의 색상이나 빛 반사로 인하여 특정 어두운 색상을 갖는 객체에 밝은 색상이 적용되는 노이즈가 발생되는 문제점이 있었다.

이러한 한계를 극복하고자, 본 발명은 도로에 존재하는 교통 시설물에 대한 방향 정보를 포함한 지도를 생성할 수 있고, 도로에 존재하는 교통 시설물에 대한 인식을 용이하게 할 수 있고, 항공 장치에 설치된 라이다로부터 획득된 점군 데이터를 이용하여 효율적으로 3D 지도를 생성할 수 있고, 라이다로부터 획득된 점군 데이터에 카메라로부터 촬영된 이미지의 색상을 부여하여 컬러맵을 생성할 수 있는 다양한 수단들을 제안하고자 한다.

도 1은 본 발명의 일 실시예에 따른 데이터 생성 시스템을 나타낸 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 데이터 생성 시스템(300)은 데이터 수집 장치(100) 및 데이터 생성 장치(200)를 포함하여 구성될 수 있다.

이와 같은, 일 실시예에 따른 데이터 생성 시스템의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 둘 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현되거나, 하나의 구성 요소가 실제 물리적 환경에서는 서로 분리되어 구현될 수 있을 것이다.

각각의 구성 요소에 대하여 설명하면, 데이터 수집 장치(100)는 지도 생성 및 학습 데이터 생성에 필요한 데이터를 수집할 수 있다.

데이터 수집 장치(100)는 라이다(lidar), 카메라(camera), 레이더(radar), 초음파 센서(ultrasonic sensor), 앤코더(encoder), 온도센서(temperature) 및 습도센서(humidity sensor) 중 하나 이상을 포함하여 구성될 수 있다. 하지만, 이에 한정된 것은 아니고, 데이터 수집 장치(100)는 도로정밀지도를 생성하기 위하여 다양한 정보를 센싱 할 수 있는 센서들이 적용될 수 있다.

특히, 본 발명의 일 실시예에 따른 데이터 수집 장치(100)는 라이다 및 카메라를 포함하여 구성될 수 있으며, 라이다에 의해 획득된 점군 데이터 및 카메라에 의해 촬영된 이미지를 수집할 수 있다.

여기서, 라이다는 차량(10) 또는 항공 장치(20)의 주위로 레이저 펄스를 발사하고 차량 주위에 위치하는 객체들에 의해 반사되어 돌아온 빛을 감지하여, 차량 주위에 대한 3차원 영상에 해당하는 점군 데이터를 생성할 수 있다.

카메라는 라이다를 중심으로 라이다로부터 수집되는 공간의 이미지를 획득할 수 있다. 이러한, 카메라는 컬러(Color) 카메라, 근적외선(NIR, Near InfraRed) 카메라, 단적외선(SWIR, Short Wavelength InfraRed) 카메라 및 장적외선(LWIR, Long WaveLength InfraRed) 카메라 중에서 어느 하나를 포함할 수 있다.

이러한, 데이터 수집 장치(100)는 차량(10) 또는 항공 장치(20)에 설치될 수 있다. 예를 들어, 데이터 수집 장치(100)는 차량(10)의 상부에 설치되어, 주변의 점군 데이터 또는 이미지를 수집하거나, 항공 장치(20)의 하부에 설치되어, 항공에서 지상의 객체에 대한 점군 데이터 또는 이미지를 수집할 수 있다.

다음 구성으로, 데이터 생성 장치(200)는 데이터 수집 장치(100)로부터 라이다에 의해 획득된 점군 데이터 및 카메라에 의해 촬영된 이미지를 수신할 수 있다.

데이터 생성 장치(200)는 수신한 점군 데이터 및 카메라를 이용하여 도로정밀지도를 생성할 수 있으며, 도로정밀지도를 활용한 학습 데이터를 생성할 수 있다.

특징적으로, 본 발명의 일 실시예에 따르면, 데이터 생성 장치(200)는 차량(10)에 고정 설치된 적어도 하나의 카메라에 의해 촬영된 적어도 하나의 이미지를 수신하고, 수신한 적어도 하나의 이미지 상에서 교통 시설물을 검출하고, 검출된 교통 시설물에 대하여 라이다에 의해 획득된 점군 데이터를 기준으로 방향 정보를 생성하고, 생성된 방향 정보가 포함된 지도를 생성할 수 있다.

본 발명의 다른 실시예에 따르면, 데이터 생성 장치(200)는 교통 시설물 샘플 이미지를 수집하고, 수집된 교통 시설물 샘플 이미지를 차량에 설치된 카메라로부터 촬영된 이미지로 인식될 수 있도록 가공한 적어도 하나의 가공 이미지를 생성하고, 생성된 적어도 하나의 가공 이미지에 배경을 삽입하여 학습 데이터를 생성할 수 있다.

또한, 본 발명의 다른 실시예에 따르면, 데이터 생성 장치(200)는 항공 장치(20)에 설치된 라이다로부터 획득된 점군 데이터를 수신하고, 수신한 점군 데이터의 탑-뷰(Top-view)를 투영하고, 투영된 점군 데이터를 지면과 수직한 방향으로 스캔(scan)하여 객체에 대한 지도를 생성할 수 있다.

또한, 본 발명의 다른 실시예에 따르면, 데이터 생성 장치(200)는 카메라로부터 촬영된 이미지와, 라이다로부터 획득된 점군 데이터를 수신하고, 수신한 점군 데이터를 이미지 상에 투영하고, 이미지에 투영된 점군 데이터를 거리(distance)를 기반으로 필터링 하고, 필터링 된 점군 데이터에 이미지의 색상을 부여하여 컬러맵을 생성할 수 있다.

또한, 본 발명의 또 다른 실시예에 따르면, 데이터 생성 장치(200)는 라이다로부터 획득된 점군 데이터에 카메라를 통해 촬영된 이미지의 색상을 부여하고, 색상이 부여된 점군 데이터에서 사전 설정된 색상을 갖는 점을 분리하고, 분리된 점의 색상을 이웃하는 점의 색상을 기초로 보정하여 컬러맵을 생성할 수 있다.

한편, 본 발명의 다양한 실시예들은 서로 구분되어 각각의 기능을 수행하는 것으로 설명하고 있으나, 이에 한정된 것은 아니고, 서로의 기능을 조합하여 적용할 수 있다.

지금까지 상술한 바와 같은, 데이터 수집 장치(100) 및 데이터 생성 장치(200)는 장치들 사이를 직접 연결하는 보안 회선, 공용 유선 통신망 또는 이동 통신망 중 하나 이상이 조합된 네트워크를 이용하여 데이터를 송수신할 수 있다.

예를 들어, 공용 유선 통신망에는 이더넷(ethernet), 디지털가입자선(x Digital Subscriber Line, xDSL), 광동축 혼합망(Hybrid Fiber Coax, HFC), 광가입자망(Fiber To The Home, FTTH)가 포함될 수 있으나, 이에 한정되는 것도 아니다. 그리고, 이동 통신망에는 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 와이드 밴드 코드 분할 다중 접속(Wideband CDMA, WCDMA), 고속 패킷 접속(High Speed Packet Access, HSPA), 롱텀 에볼루션(Long Term Evolution, LTE), 5세대 이동통신(5th generation mobile telecommunication)가 포함될 수 있으나, 이에 한정되는 것은 아니다.

이하, 상술한 바와 같은 데이터 생성 장치(200)에 대하여 구체적으로 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 데이터 생성 장치의 논리적 구성도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 데이터 생성 장치(200)는 통신부(205), 입출력부(210), 저장부(215), 데이터 수집부(220), 지도 생성부(225) 및 학습 데이터 생성부(230)를 포함하여 구성될 수 있다.

이와 같은, 데이터 생성 장치(200)의 구성 요소들은 기능적으로 구분되는 요소들을 나타낸 것에 불과하므로, 둘 이상의 구성 요소가 실제 물리적 환경에서는 서로 통합되어 구현되거나, 하나의 구성 요소가 실제 물리적 환경에서는 서로 분리되어 구현될 수 있을 것이다.

각각의 구성 요소에 대하여 설명하면, 통신부(205)는 데이터 수집 장치(100)와 데이터를 송수신할 수 있다. 구체적으로, 통신부(205)는 데이터 수집 장치(100)로부터 라이다에 의해 획득된 점군 데이터와 카메라를 통해 촬영된 이미지를 수신할 수 있다.

다음 구성으로, 입출력부(210)는 사용자 인터페이스(UI)를 통해 사용자로부터 신호를 입력 받거나, 연산 결과를 외부로 출력할 수 있다. 구체적으로, 입출력부(210)는 방향 정보를 생성하기 위한 설정 값, 학습 데이터를 생성하기 위한 설정 값, 지도를 생성하기 위한 설정 값 등을 입력 받거나, 생성된 지도 또는 학습 데이터 등을 출력할 수 있다.

다음 구성으로, 저장부(215)는 데이터 수집 장치(100)로부터 수신한 점군 데이터 또는 이미지와, 생성된 지도 또는 학습 데이터 등을 저장할 수 있다. 구체적으로, 저장부(215)는 방향 정보를 생성하기 위한 알고리즘, 학습 데이터를 생성하기 위한 알고리즘, 지도를 생성하기 위한 알고리즘 등을 저장할 수 있다.

다음 구성으로, 데이터 수집부(220)는 통신부(205)를 통해 데이터 수집 장치(100)로부터 라이다에 의해 획득된 점군 데이터 및 카메라에 의해 촬영된 이미지를 수집하도록 제어할 수 있다. 구체적으로, 데이터 수집부(220)는 라이다로부터 지속적으로 획득된 점군 데이터를 수신하도록 제어하며, 카메라로부터 사전 설정된 간격으로 촬영된 이미지를 수신하도록 제어할 수 있다.

다음 구성으로, 지도 생성부(225)는 이미지 상에 검출된 교통 시설물에 대하여 점군 데이터를 기준으로 방향 정보를 생성함으로써, 생성된 방향 정보를 통해 정밀도로지도를 효과적으로 이용하도록 할 수 있다.

구체적으로, 지도 생성부(225)는 딥 러닝(deep learning) 기반의 객체 검출 알고리즘을 이용하여 2D 이미지 상에서 교통 시설물을 검출할 수 있다. 여기서, 지도 생성부(225)는 검출된 교통 시설물이 사전 설정된 거리 이내에 위치하거나, 검출된 교통 시설물에 포함된 점군의 개수가 사전 설정된 값 이상인 경우 방향 정보를 생성할 수 있다. 또한, 지도 생성부(225)는 검출된 교통 시설물의 바운딩 박스(bounding box)의 가로폭 및 세로폭 사이의 비율이 사전 설정된 값 이하인 경우 방향 정보를 생성할 수 있다. 즉, 지도 생성부(225)는 교통 시설물에 대한 정확한 방향성을 추출하기 위하여, 교통 시설물이 일정 거리 이내에 들어오거나, 검출된 교통 시설물의 바운딩 박스가 불균형하지 않고, 검출된 교통 시설물에 포함된 점군 개수가 일정 이상일 경우에만 방향 정보를 추출하도록 할 수 있다.

이때, 지도 생성부(225)는 거리 기반의 유클리디안 클러스트링(Euclidean clustering)을 이용하여 2D 이미지 상에서 교통 시설물을 검출할 수 있다. 즉, 지도 생성부(225)는 방향 정보를 생성하기 위한 점군 데이터를 추출할 때, 검출된 교통 시설물 이외에 다른 객체의 점군 데이터가 추출되는 것을 방지하기 위하여, 유클리디안 클러스터링 알고리즘을 통해 교통 시설물에 대한 클러스터를 구성하도록 할 수 있다.

또한, 지도 생성부(225)는 검출된 교통 시설물에 포함된 점군을 복셀 그리드(voxel grid) 형태로 필터링하여 다운 샘플링(down sampling)할 수 있다. 즉, 지도 생성부(225)는 검출된 교통 시설물에 포함된 점군 중 불균형한 점군들을 균형 있는 형태로 다운 샐플링 할 수 있다.

또한, 지도 생성부(225)는 검출된 교통 시설물에 대한 점군 데이터를 누적하여 사전에 설정된 특정 값을 만족할 경우 방향 정보를 생성할 수 있다. 즉, 지도 생성부(225)는 점군을 누적하여 교통 시설물에 대한 충분한 점군을 확보한 상태로 방향 정보를 생성하도록 할 수 있다. 예를 들어, 지도 생성부(225)는 검출된 교통 시설물에 대한 점군 데이터를 사전 설정된 라이다의 회전수 만큼 누적한 후 방향 정보를 생성하도록 할 수 있다.

또한, 지도 생성부(225)는 검출된 교통 시설물에 대한 점군을 RANSAC(Random Sample Consensus) 알고리즘을 이용하여 무작위로 탐색하여 대표 평면을 획득할 수 있다. 즉, 지도 생성부(225)는 검출된 교통 시설물에 대한 점군에서 랜덤하게 세개의 점을 선택하고, 선택된 세개의 점을 지나는 평면을 구할 수 있다. 이때, 평면과의 거리가 사전 설정된 값보다 작은 인라이어(inlier) 점들을 확인하고, 인라이어 점의 개수를 구할 수 있다. 이때, 지도 생성부(225)는 인라이어 점의 개수가 가장 큰 평면을 대표 평면으로 선택할 수 있다.

또한, 지도 생성부(225)는 대표 평면을 기준으로 평면 방정식을 이용하여 평면에서 수직으로 뻗어 나가는 법선 벡터를 계산할 수 있다. 즉, 지도 생성부(225)는 하기의 수학식에 기재된 평면 방정식을 통해 대표 평면에 대한 방향 정보를 구할 수 있다.

[수학식 1]

Ax + By + Cz + D = 0

(여기서, (A, B, C)는 대표평면에 대한 법선 벡터이며, D는 법선 벡터의 길이이며, (x, y, z)는 대표평면 상에 임의의 점이 될 수 있다.)

그리고, 지도 생성부(225)는 생성된 교통 시설물에 대한 방향 정보가 포함된 지도를 생성할 수 있다. 이때, 지도 생성부(225)는 생성된 법선 벡터를 지도 상에 표시하거나, 지도의 메타 정보에 포함시킬 수 있다.

예를 들어, 방향 정보가 포함된 지도는 특정 방향을 가리키는 교통 시설물에 대한 정보가 필요한 운전자에게 선택적으로 정보를 제공하거나, 교통 시설물을 관리하는 관리자에게 최초 설치된 방향과 대비하여 교통 시설물 방향이 변경된 경우 유지 보수가 필요한 것으로 판단할 수 있도록 지원할 수 있다.

한편, 기존의 모델링 기법들은 전체 점군 데이터를 한꺼번에 스캔하여 모델링을 진행하게 된다. 그러나, 항공 장치에 설치된 라이다로부터 수집된 점군 데이터는 특성상 객체의 하부로 갈수록 점군의 밀도가 낮기 때문에, 기존의 모델링 기법으로는 지도 생성이 부적합하다.

이에 따라, 지도 생성부(225)는 항공 장치에 설치된 라이다로부터 획득된 점군 데이터의 탑-뷰를 투영하고, 객체의 테두리를 인식하여 지면과 수직한 방향으로 스캔함으로써, 3D 모델링의 정확도를 높일 수 있다.

구체적으로, 지도 생성부(225)는 투영된 점군 데이터의 기준 영역을 검출하고, 기준 영역을 기준으로 지면과 수직한 방향으로 스캔하면서, 객체의 테두리를 검출할 수 있다. 여기서, 기준 영역은 점군 데이터에 포함된 객체의 최하부면의 테두리가 될 수 있다. 즉, 지도 생성부(225)는 객체의 최하부면인 기준 영역을 검출하고, 기준 영역으로부터 객체의 상부 방향으로 스캔하면서 객체의 테두리를 검출할 수 있다.

이를 위해, 지도 생성부(225)는 스캔된 점군 데이터 중 사전 설정된 거리 이내에 위치하는 점군에서 폐곡선을 추출하고, 폐곡선을 객체의 테두리로 검출할 수 있다. 예를 들어, 지도 생성부(225)는 알파 쉐이프(alpha shape) 알고리즘을 기초로 객체의 테두리를 검출할 수 있다. 즉, 지도 생성부(225)는 스캔된 점군 데이터 중 사전 설정된 거리 이내에 위치하는 점군에서 임의로 선택된 두 점의 윤곽을 연결하는 반지름 а인 원을 그려 복수개의 원으로 둘러 쌓인 객체의 테두리를 형성할 수 있다.

또한, 지도 생성부(225)는 기준 영역의 넓이를 기준으로 검출된 테두리의 넓이가 사전 설정된 값 이상 차이가 나는 경우, 기준 영역으로부터 차이가 발생된 테두리 이전에 검출된 테두리들을 검출할 수 있다.

또한, 지도 생성부(225)는 기준 영역으로부터 차이가 발생된 테두리 이전에 검출된 테두리까지 영역을 모델링할 수 있다. 이때, 지도 생성부(225)는 이전 기준 영역으로부터 차이가 발생된 테두리를 새로운 기준 영역으로 갱신할 수 있다.

여기서, 지도 생성부(225)는 기준 영역으로부터 차이가 발생된 테두리 이전에 검출된 테두리에 포함된 점군을 삼각형으로 연결하여 객체를 모델링(modeling)하되, 삼각형의 내각의 최소값이 최대가 되도록 할 수 있다. 즉, 지도 생성부(225)는 들로네 삼각분할(delaunay triangulation)을 통해 객체를 모델링할 수 있다. 다시 말하면, 지도 생성부(225)는 검출된 테두리의 모든 점군을 포함하는 최초 삼각형(super triangle)을 구성하고, 최초 삼각형 안에서 각 점을 대상으로 세 점을 포함하는 원 안에 다른 점이 존재하지 않으면, 그 삼각형을 델로니 삼각형으로 추가할 수 있다. 이때, 최초 삼각형은 모든 델로니 삼각망 구성 과정이 수행되면 삭제할 수 있다. 이후, 지도 생성부(225)는 모델링 된 객체를 메시화하여 외부면을 형성할 수 있다.

더하여, 지도 생성부(225)는 하부 영역보다 상부 영역이 큰 객체에 대해서는 반대로 객체의 최상부의 테두리를 기준 영역으로 설정하고, 기준 영역을 중심으로 객체의 하부로 스캔하면서 객체를 모델링할 수도 있다.

또한, 지도 생성부(225)는 점군 데이터를 이미지 상에 투영하고, 이미지에 투영된 점군 데이터를 거리(distance) 기반으로 필터링한 후 컬러맵을 생성함으로써, 이미지 상에서 특정 객체에 의해 가려진 것으로 표현되나 점군 데이터 상에는 인식된 영역에 대하여, 이미지의 잘못된 색상이 적용되는 노이즈를 효과적으로 제거할 수 있다.

구체적으로, 지도 생성부(225)는 라이다의 이동 거리를 기준으로 점군 데이터를 그룹핑하여 단위 점군 데이터를 생성하고, 생성된 단위 점군 데이터를 이동 거리 내에 촬영된 이미지에 투영할 수 있다. 이때, 지도 생성부(225)는 생성된 단위 점군 데이터를 이동 거리의 중간 지점에서 촬영된 이미지에 투영할 수 있다. 예를 들어, 지도 생성부(225)는 라이다 및 카메라와 함께 설치된 GPS 수신기에 의해 획득된 GPS 데이터를 기준으로 거리를 계산하여 가상의 이벤트 기준점을 생성할 수 있다. 이때, 거리를 기준으로 한 가상의 이벤트 기준점이 10m 지점 및 20m 지점인 경우, 지도 생성부(225)는 10m 지점 및 20m 지점의 사이 값인 15m 지점에서 카메라에 의해 획득된 이미지를 선택할 수 있다. 여기서, 그룹핑 된 단위 점군 데이터는 월드 좌표계 기준의 위치 정보를 포함할 수 있다.

또한, 지도 생성부(225)는 이미지를 촬영한 카메라 정보, 이미지의 가로축 픽셀(x) 및 세로축 픽셀(y)를 포함하는 이미지 테이블에 단위 점군 데이터를 투영할 수 있다. 즉, 지도 생성부(225)는 이미지 테이블 상에서 이미지의 각 픽셀에 매칭되는 점에 대한 정보를 저장할 수 있다. 여기서, 점에 대한 정보는 라이다 기준의 위치 정보(x, y, z), 인텐시티 값, 매칭되는 색상 정보(r, g, b) 및 월드 좌표계 기준의 위치 정보를 포함할 수 있다.

또한, 지도 생성부(225)는 이미지 테이블의 각 픽셀 당 점에 대한 정보 중 라이다 기준의 위치 정보를 이용하여 점의 거리를 검출할 수 있다. 이때, 지도 생성부(225)는 하나의 픽셀에 복수의 점에 대한 정보가 저장되는 경우, 복수의 점 중 라이다를 기준으로 거리가 가장 가까운 점을 제외한 나머지 점을 삭제할 수 있다. 즉, 지도 생성부(225)는 하나의 픽셀에 복수 개의 점이 존재하는 경우, 가장 가까운 점을 제외한 나머지 점들을 이미지 상에 가려진 영역에 해당되는 점으로 판단하고 삭제할 수 있다.

또한, 지도 생성부(225)는 필터링이 수행된 픽셀에 대하여 사전 설정된 픽셀 개수만큼 이웃하는 픽셀에 존재하는 점 간의 거리를 비교하여, 필터링이 수행된 픽셀을 기준으로 사전 설정된 값보다 거리가 먼 픽셀을 제거할 수 있다.

그리고, 지도 생성부(225)는 필터링 된 이미지 테이블에 포함된 점들의 인텐시티 값, 색상 정보 및 월드 좌표계 기준의 위치 정보를 기준으로 컬러맵을 생성할 수 있다.

또한, 지도 생성부(225)는 이미지의 색상이 부여된 점군 데이터에서 사전 설정된 색상을 갖는 점을 분리하고, 분리된 점의 색상을 이웃하는 점의 색상을 기초로 보정하여 컬러맵을 생성함으로써, 하늘의 색상이나 빛 반사로 인해 특정 어두운 색상을 갖는 객체에 밝은 색상이 적용되는 노이즈를 효과적으로 제거할 수 있다.

구체적으로, 지도 생성부(225)는 점군 데이터에 포함된 각 점과 동일한 좌표에 위치한 이미지의 색상을 부여할 수 있다. 즉, 지도 생성부(225)는 라이다의 이동 거리를 기준으로 점군 데이터를 그룹핑하여 단위 점군 데이터를 생성하고, 생성된 단위 점군 데이터를 이동 거리 내에 촬영된 이미지에 투영할 수 있다. 그리고, 지도 생성부(225)는 투영된 점들의 인텐시티, 색상 정보 및 월드 좌표계 기준의 위치 정보를 기준으로 컬러맵을 생성할 수 있다.

또한, 지도 생성부(225)는 지면을 기준으로 특정 높이 이상의 점들 중 사전 설정된 색상을 갖는 점을 분리할 수 있다. 이때, 지도 생성부(225)는 색상이 부여된 점군 데이터의 밝기 값을 기준으로 한 히스토그램(histogram)을 생성하여, 인텐시티 값이 사전 설정된 값 이상인 점을 검출할 수 있다. 또한, 지도 생성부(225)는 색상이 부여된 점군 데이터에서 사전 설정된 색상을 갖되, 채도가 사전 설정된 값보다 낮고, 명도가 사전 설정된 값보다 높은 점들을 분리할 수 있다.

예를 들어, 지도 생성부(225)는 정밀도로지도에서 하늘의 색상이나, 빛 반사로 인해 밝은 색이 나무에 입혀지는 것을 보정할 수 있다. 이를 위해, 지도 생성부(225)는 차선에 영향을 주지 않기 위하여 지면을 기준으로 특정 높이 이상의 점들 중 사전 설정된 색상을 갖는 점을 분리할 수 있다. 이때, 지도 생성부(225)는 하늘의 색생이나 빛 반사에 대응하는 점 만을 분리할 수 있도록, 색상이 부여된 점군 데이터에서 사전 설정된 색상을 갖되, 채도가 사전 설정된 값보다 낮고, 명도가 사전 설정된 값보다 높은 점들을 분리할 수 있다. 예를 들어, 지도 생성부(225)는 하늘의 색상에 대응할 수 있는 160 ~ 300의 Hue 값을 갖는 점을 분리할 수 있다. 이때, 160 ~ 300의 Hue 값을 갖는 점을 분리하게 되면, 푸른 계열의 교통 시설물에 포함된 점들도 함께 분리될 수 있다. 이에 따라, 지도 생성부(225)는 160 ~ 300의 Hue 값을 갖는 점을 분리하되, 인텐시티(intensity) 값이 사전 설정된 값보다 높은 점은 제외시킬 수 있다. 즉, 지도 생성부(225)는 평평한 형태를 갖는 표지판이 인텐시티 값이 높은 것을 이용하여, 인텐시티 값을 기준으로 교통 시설물에 해당하는 점들은 제외시킬 수 있다. 여기서, 인텐시티 값은 라이다의 신호 강도가 될 수 있다. 예를 들어, 지도 생성부(225)는 160 ~ 300의 Hue 값을 갖는 점 중 인텐시티 값이 250 이상인 점들은 제외시킬 수 있다.

그리고, 지도 생성부(225)는 분리된 점을 제거 후 컬러맵을 생성할 수 있다. 하지만, 이에 한정된 것은 아니고, 지도 생성부(225)는 분리된 점 각각의 색상을 분리된 점을 제외한 분리된 점과 가장 근접하는 점의 색상으로 보정할 수 있다. 예를 들어, 지도 생성부(225)는 분리된 점 각각의 색상을 상기 분리된 점을 제외한 분리된 점과 사전 설정된 거리 이내에 위치한 점의 평균 색상 값으로 보정할 수 있다. 이때, 지도 생성부(225)는 옥트리(octree) 알고리즘을 이용하여 분리된 점과 가장 근접하는 점을 검출할 수 있다.

다음 구성으로, 학습 데이터 생성부(230)는 지도 생성부(225)에 의해 생성된 지도를 학습 데이터로 가공할 수 있다. 예를 들어, 학습 데이터 생성부(230)는 생성된 지도를 자율주행에 사용될 학습 데이터로 가공할 수 있다.

더하여, 학습 데이터 생성부(230)는 교통 시설물에 대한 학습 인식률을 높이기 위하여, 교통 시설물에 대하여 별도로 학습 데이터를 생성할 수 있다. 이때, 학습 데이터 생성부(230)는 생성한 지도에 대한 학습 데이터와 교통 시설물에 대한 학습 데이터를 하나의 학습 데이터로 생성하여 외부에 제공할 수 있다.

즉, 학습 데이터 생성부(230)는 도로교통공단에서 제공하는 교통 시설물 샘플 이미지를 실제로 카메라에 의해 촬영된 이미지와 유사하게 가공하여 학습 데이터를 생성할 수 있다.

이를 위해, 학습 데이터 생성부(230)는 교통 시설물 샘플 이미지를 수집하고, 수집된 교통 시설물 샘플 이미지를 차량에 설치된 카메라로부터 촬영된 이미지로 인식될 수 있도록 가공한 적어도 하나의 가공 이미지를 생성하고, 생성된 적어도 하나의 가공 이미지에 배경을 삽입하여 학습 데이터를 생성할 수 있다.

구체적으로, 학습 데이터 생성부(230)는 수집된 교통 시설물 샘플 이미지를 특정 각도 범위(range) 내에서 뒤틀림(shearing)을 적용한 복수의 제1 가공 이미지를 생성할 수 있다. 이때, 학습 데이터 생성부(230)는 수집된 교통 시설물 샘플 이미지를 -10 ~ 10°사이의 랜덤 값으로 뒤틀림을 적용할 수 있다. 즉, 학습 데이터 생성부(230)는 카메라에 의해 촬영된 방향, 각도 등에 따른 다양한 유형의 학습 데이터를 생성하기 위하여 교통 시설물 샘플 이미지를 특정 각도 범위 내에서 뒤틀림을 적용할 수 있다. 이때, 교통 시설물 샘플 이미지는 교통 시설물의 정면도(front view)가 될 수 있다.

또한, 학습 데이터 생성부(230)는 생성된 제1 가공 이미지에 가우시안 블러(gaussian blur)를 적용한 제2 가공 이미지를 생성할 수 있다. 이때, 학습 데이터 생성부(230)는 제1 가공 이미지에 사전에 설정된 픽셀(pixel)에 대한 반경(radius) 값 내에서 랜덤(random)으로 가우시안 블러를 적용할 수 있다. 즉, 학습 데이터 생성부(230)는 카메라의 촬영 환경에 따라 선명하거나 흐릿하게 보이는 다양한 유형의 학습 데이터를 생성하기 위하여 가우시안 블러를 적용할 수 있다.

또한, 학습 데이터 생성부(230)는 제2 가공 이미지에 인텐시티(intensity) 값을 적용한 복수의 제3 가공 이미지를 생성할 수 있다. 여기서, 인텐시티 값은 밝기 강도가 될 수 있다. 즉, 학습 데이터 생성부(230)는 제2 가공 이미지에 사전에 설정된 인텐시티 값 범위 내에서 랜덤으로 인텐시티 값을 적용할 수 있다. 즉, 학습 데이터 생성부(230)는 카메라의 촬영 환경에 따라 다양한 인텐시티 값을 갖는 학습 데이터를 생성하기 위하여, 랜덤으로 인텐시티 값을 적용할 수 있다. 이때, 학습 데이터 생성부(230)는 제2 가공 이미지의 특정 영역에 선택적으로 인텐시티 값을 적용할 수 있다. 즉, 하나의 교통 시설물 이미지에도 다양한 영역에서 인텐시티 값이 다른 상황이 존재할 수 있기 때문에, 특정 영역에 선택적으로 인텐시티 값을 적용할 수 있다.

그리고, 학습 데이터 생성부(230)는 생성된 적어도 하나의 가공 이미지에 배경을 삽입하여 학습 데이터를 생성할 수 있다. 여기서, 배경은 차량에 탑재된 카메라를 통해 수집된 복수의 2D 이미지 상의 랜덤 영역이 될 수 있다. 이때, 학습 데이터 생성부(230)는 배경에 가공 이미지의 크기를 랜덤하게 적용하여 학습 데이터를 생성할 수 있다. 또한, 학습 데이터 생성부(230)는 배경에 가공 이미지의 위치를 랜덤하게 적용하여 학습 데이터를 생성할 수 있다.

이와 같이, 학습 데이터 생성부(230)는 교통 시설물 샘플 이미지를 실제로 카메라로부터 촬영된 이미지로 인식될 수 있도록 가공하고, 가공 이미지에 배경을 삽입하여 학습 데이터를 생성함으로써, 이미지의 양이 제한적인 교통 시설물에 대하여 충분한 학습 데이터를 확보할 수 있다.

이하 상술한 바와 같은, 본 발명의 일 실시예에 따른 데이터 생성 장치(200)의 논리적 구성요소를 구현하기 위한 하드웨어에 대하여 보다 구체적으로 설명한다.

도 3은 본 발명의 일 실시예에 따른 데이터 생성 장치의 하드웨어 구성도이다.

도 3에 도시된 바와 같이, 데이터 생성 장치(200)는 프로세서(Processor, 250), 메모리(Memory, 255), 송수신기(Transceiver, 260), 입출력장치(Input/output device, 265), 데이터 버스(Bus, 270) 및 스토리지(Storage, 275)를 포함하여 구성될 수 있다.

프로세서(250)는 메모리(255)에 상주된 본 발명의 실시예들에 따른 방법이 구현된 소프트웨어(280a)에 따른 명령어를 기초로, 데이터 생성 장치(200)의 동작 및 기능을 구현할 수 있다. 메모리(255)에는 본 발명의 실시예들에 따른 방법이 구현된 소프트웨어(280a)가 상주(loading)될 수 있다. 송수신기(260)는 데이터 수집 장치(100)와 데이터를 송수신할 수 있다. 입출력장치(265)는 데이터 생성 장치(200)의 기능 동작에 필요한 데이터를 입력 받고, 데이터 생성 결과 등을 출력할 수 있다. 데이터 버스(270)는 프로세서(250), 메모리(255), 송수신기(260), 입출력장치(265) 및 스토리지(275)와 연결되어, 각각의 구성 요소 사이가 서로 데이터를 전달하기 위한 이동 통로의 역할을 수행할 수 있다.

스토리지(275)는 본 발명의 실시예들에 따른 방법이 구현된 소프트웨어(280a)의 실행을 위해 필요한 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API), 라이브러리(library) 파일, 리소스(resource) 파일 등을 저장할 수 있다. 스토리지(275)는 본 발명의 실시예들에 따른 방법이 구현된 소프트웨어(280b)를 저장할 수 있다. 또한, 스토리지(275)는 본 발명의 실시예들에 따른 방법의 수행에 필요한 정보들을 저장할 수 있다.

본 발명의 일 실시예에 따르면, 메모리(255)에 상주되거나 또는 스토리지(275)에 저장된 방향 정보를 포함한 지도 생성 방법을 구현하기 위한 소프트웨어(280a, 280b)는 프로세서(250)가, 차량에 고정 설치된 적어도 하나의 카메라(camera)에 의해 촬영된 적어도 하나의 이미지를 수신하는 단계, 상기 수신한 적어도 하나의 이미지 상에서 교통 시설물을 검출하는 단계, 상기 검출된 교통 시설물에 대하여 라이다(lidar)에 의해 획득된 점군 데이터를 기준으로 방향 정보를 생성하는 단계, 상기 생성된 방향 정보가 포함된 지도를 생성하는 단계를 실행시키기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.

본 발명의 일 실시예에 따르면, 메모리(255)에 상주되거나 또는 스토리지(275)에 저장된 교통 시설물에 대한 학습 데이터 생성 방법을 구현하기 위한 소프트웨어(280a, 280b)는 프로세서(250)가, 사전 저장된 교통 시설물 샘플 이미지를 수집하는 단계, 상기 수집된 교통 시설물 샘플 이미지를 차량에 설치된 카메라(camera)로부터 촬영된 이미지로 인식될 수 있도록 한 적어도 하나의 가공 이미지를 생성하는 단계, 상기 생성된 적어도 하나의 가공 이미지에 배경을 삽입하여 학습 데이터를 생성하는 단계를 실행시키기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.

본 발명의 일 실시예에 따르면, 메모리(255)에 상주되거나 또는 스토리지(275)에 저장된 항공 라이다를 이용한 지도 생성 방법을 구현하기 위한 소프트웨어(280a, 280b)는 프로세서(250)가, 항공 장치에 설치된 라이다(lidar)로부터 획득된 점군 데이터를 수신하는 단계, 상기 수신한 점군 데이터의 탑-뷰(Top-view)를 투영하는 단계 및 상기 투영된 점군 데이터를 지면과 수직한 방향으로 스캔(scan)하여 지도를 생성하는 단계를 실행시키기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.

본 발명의 일 실시예에 따르면, 메모리(255)에 상주되거나 또는 스토리지(275)에 저장된 프로젝션 기반의 컬러맵 생성 방법을 구현하기 위한 소프트웨어(280a, 280b)는 프로세서(250)가, 카메라(camera)로부터 촬영된 이미지와, 라이다(lidar)로부터 획득된 점군 데이터를 수신하는 단계, 상기 수신한 점군 데이터를 상기 이미지 상에 투영하는 단계, 상기 이미지에 투영된 점군 데이터를 거리(distance)를 기반으로 필터링 하는 단계 및 상기 필터링 된 점군 데이터에 상기 이미지의 색상을 부여하여 컬러맵을 생성하는 단계를 실행시키기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.

본 발명의 일 실시예에 따르면, 메모리(255)에 상주되거나 또는 스토리지(275)에 저장된 색상 보정을 적용한 컬러맵 생성 방법을 구현하기 위한 소프트웨어(280a, 280b)는 프로세서(250)가, 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)를 통해 촬영된 이미지의 색상을 부여하는 단계, 상기 색상이 부여된 점군 데이터에서 사전 설정된 색상을 갖는 점을 분리하는 단계, 상기 분리된 점의 색상을 이웃하는 점의 색상을 기초로 보정하여 컬러맵을 생성하는 단계를 실행시키기 위하여, 기록매체에 기록된 컴퓨터 프로그램이 될 수 있다.

보다 구체적으로, 프로세서(250)는 ASIC(Application-Specific Integrated Circuit), 다른 칩셋(chipset), 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리(255)는 ROM(Read-Only Memory), RAM(Random Access Memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 송수신기(260)는 유무선 신호를 처리하기 위한 베이스밴드 회로를 포함할 수 있다. 입출력장치(265)는 키보드(keyboard), 마우스(mouse), 및/또는 조이스틱(joystick) 등과 같은 입력 장치 및 액정표시장치(Liquid Crystal Display, LCD), 유기 발광 다이오드(Organic LED, OLED) 및/또는 능동형 유기 발광 다이오드(Active Matrix OLED, AMOLED) 등과 같은 영상 출력 장치 프린터(printer), 플로터(plotter) 등과 같은 인쇄 장치를 포함할 수 있다.

본 명세서에 포함된 실시 예가 소프트웨어로 구현될 경우, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리(255)에 상주되고, 프로세서(250)에 의해 실행될 수 있다. 메모리(255)는 프로세서(250)의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서(250)와 연결될 수 있다.

도 3에 도시된 각 구성요소는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한, 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이하, 본 발명의 일 실시예에 따른 방향 정보를 포함한 지도 생성 방법에 대하여 상세히 설명하도록 한다.

도 4는 본 발명의 일 실시예에 따른 방향 정보를 포함한 지도 생성 방법을 나타낸 순서도이다.

도 4를 참조하면, S110 단계에서 데이터 생성 장치는 카메라로부터 촬영된 이미지를 수신할 수 있다.

다음으로, S120 단계에서 데이터 생성 장치는 수신한 적어도 하나의 이미지 상에서 교통 시설물을 검출할 수 있다. 이때, 데이터 생성 장치는 딥 러닝(deep learning) 기반의 객체 검출 알고리즘을 이용하여 이미지 상에서 교통 시설물을 검출할 수 있다. 여기서, 데이터 생성 장치는 교통 시설물에 대한 정확한 방향성을 추출하기 위하여, 교통 시설물이 일정 거리에 들어오거나, 검출된 교통 시설물의 바운딩 박스가 불균형하지 않고, 검출된 교통 시설물에 포함된 점군 개수가 일정 이상일 경우에만 S130 단계에서 방향 정보를 추출하도록 할 수 있다.

다음으로, S130 단계에서 데이터 생성 장치는 검출된 교통 시설물에 해당하는 라이다에 의해 획득된 점군 데이터를 기준으로 방향 정보를 생성할 수 있다. 이때, 데이터 생성 장치는 거리 기반의 유클리디안 클러스트링(Euclidean clustering)을 이용하여 2D 이미지 상에서 교통 시설물을 검출할 수 있다. 즉, 데이터 생성 장치는 방향 정보를 생성하기 위한 점군 데이터를 추출할 때, 검출된 교통 시설물 이외에 다른 객체의 점군 데이터가 추출되는 것을 방지하기 위하여, 유클리디안 클러스터링 알고리즘을 통해 교통 시설물에 대한 클러스터를 구성하도록 할 수 있다.

또한, 데이터 생성 장치는 검출된 교통 시설물에 포함된 점군을 복셀 그리드(voxel grid) 형태로 필터링하여 다운 샘플링(down sampling)할 수 있다. 즉, 데이터 생성 장치는 검출된 교통 시설물에 포함된 점군 중 불균형한 점군들을 균형 있는 형태로 다운 샐플링 할 수 있다.

또한, 데이터 생성 장치는 검출된 교통 시설물에 대한 점군 데이터를 누적하여 사전에 설정된 특정 값을 만족할 경우 방향 정보를 생성할 수 있다. 즉, 데이터 생성 장치는 점군을 누적하여 교통 시설물에 대한 충분한 점군을 확보한 상태로 방향 정보를 생성하도록 할 수 있다.

또한, 데이터 생성 장치는 검출된 교통 시설물에 대한 점군을 RANSAC(random sample consensus) 알고리즘을 이용하여 무작위로 탐색하여 대표 평면을 획득할 수 있다. 즉, 데이터 생성 장치는 검출된 교통 시설물에 대한 점군에서 랜덤하게 세개의 점을 선택하고, 선택된 세개의 점을 지나는 평면을 구한다. 이때, 평면과의 거리가 사전 설정된 값보다 작은 인라이어 점들을 확인하고, 인라이어의 개수를 구할 수 있다. 이때, 데이터 생성 장치는 인라이어 개수가 가장 큰 평면을 대표 평면으로 선택할 수 있다.

또한, 데이터 생성 장치는 대표 평면을 기준으로 평면 방정식을 이용하여 평면에서 수직으로 뻗어 나가는 법선 벡터를 계산할 수 있다.

그리고, S140 단계에서, 데이터 생성 장치는 생성된 교통 시설물에 대한 방향 정보가 포함된 지도를 생성할 수 있다. 이때, 데이터 생성 장치는 생성된 법선 벡터를 지도 상에 표시하거나, 지도의 메타 정보에 포함시킬 수 있다.

이하, 본 발명의 일 실시예에 따른 교통 시설물에 대한 학습 데이터 생성 방법에 대하여 상세히 설명하도록 한다.

도 5는 본 발명의 일 실시예에 따른 교통 시설물에 대한 학습 데이터 생성 방법을 나타낸 순서도이다.

도 5를 참조하면, S210 단계에서, 데이터 생성 장치는 교통 시설물 샘플 이미지를 수집할 수 있다. 여기서, 교통 시설물 샘플 이미지는 도로교통공단에서 제공하는 교통 시설물의 정면도(front view)가 될 수 있다.

다음으로, S220 단계에서, 데이터 생성 장치는 수집된 교통 시설물 샘플 이미지를 차량에 설치된 카메라로부터 촬영된 이미지로 인식될 수 있도록 가공한 적어도 하나의 가공 이미지를 생성할 수 있다.

구체적으로, 데이터 생성 장치는 수집된 교통 시설물 샘플 이미지를 특정 각도 범위(range) 내에서 뒤틀림(shearing)을 적용한 복수의 제1 가공 이미지를 생성할 수 있다. 이때, 데이터 생성 장치는 수집된 교통 시설물 샘플 이미지를 -10 ~ 10°사이의 랜덤 값으로 뒤틀림을 적용할 수 있다. 즉, 데이터 생성 장치는 카메라에 의해 촬영된 방향, 각도 등에 따른 다양한 유형의 학습 데이터를 생성하기 위하여 교통 시설물 샘플 이미지를 특정 각도 범위 내에서 뒤틀림을 적용할 수 있다.

또한, 데이터 생성 장치는 생성된 제1 가공 이미지에 가우시안 블러(gaussian blur)를 적용한 제2 가공 이미지를 생성할 수 있다. 이때, 데이터 생성 장치는 제1 가공 이미지에 사전에 설정된 픽셀(pixel)에 대한 반경(radius) 값 내에서 랜덤(random)으로 가우시안 블러를 적용할 수 있다. 즉, 데이터 생성 장치는 카메라의 촬영 환경에 따라 선명하거나 흐릿하게 보이는 다양한 유형의 학습 데이터를 생성하기 위하여 가우시안 블러를 적용할 수 있다.

또한, 데이터 생성 장치는 제2 가공 이미지에 인텐시티(intensity) 값을 적용한 복수의 제3 가공 이미지를 생성할 수 있다. 즉, 데이터 생성 장치는 제2 가공 이미지에 사전에 설정된 인텐시티 값 범위 내에서 랜덤으로 인텐시티 값을 적용할 수 있다. 데이터 생성 장치는 카메라의 촬영 환경에 따라 다양한 인텐시티 값을 갖는 학습 데이터를 생성하기 위하여, 랜덤으로 인텐시티 값을 적용할 수 있다. 이때, 데이터 생성 장치는 제2 가공 이미지의 특정 영역에 선택적으로 인텐시티 값을 적용할 수 있다. 즉, 하나의 교통 시설물 이미지에도 다양한 영역에서 인텐시티 값이 다른 상황이 존재할 수 있기 때문에, 특정 영역에 선택적으로 인텐시티 값을 적용할 수 있다.

그리고, S230 단계에서, 데이터 생성 장치는 생성된 적어도 하나의 가공 이미지에 배경을 삽입하여 학습 데이터를 생성할 수 있다. 여기서, 배경은 차량에 탑재된 카메라를 통해 수집된 복수의 2D 이미지 상의 랜덤 영역이 될 수 있다. 이때, 데이터 생성 장치는 배경에 가공 이미지의 크기를 랜덤하게 적용하여 학습 데이터를 생성할 수 있다. 또한, 데이터 생성 장치는 배경에 가공 이미지의 위치를 랜덤하게 적용하여 학습 데이터를 생성할 수 있다.

이하, 본 발명의 일 실시예에 따른 항공 라이다를 이용한 지도 생성 방법에 대하여 상세히 설명하도록 한다.

도 6은 본 발명의 일 실시예에 따른 항공 라이다를 이용한 지도 생성 방법을 나타낸 순서도이다.

도 6을 참조하면, S310 단계에서, 데이터 생성 장치는 항공 장치에 설치된 라이다로부터 획득된 지면에 대한 점군 데이터를 수신할 수 있다.

다음으로, S320 단계에서, 데이터 생성 장치는 수신한 점군 데이터의 탑-뷰를 투영할 수 있다. 즉, 데이터 생성 장치는 항공 장치를 기준으로 지면을 수직으로 바라보는 시점의 점군 데이터를 생성할 수 있다.

그리고, S330 단계에서, 데이터 생성 장치는 투영된 점군 데이터를 지면과 수직한 방향으로 스캔하여 지도를 생성할 수 있다.

구체적으로, 데이터 생성 장치는 투영된 점군 데이터의 기준 영역을 검출하고, 기준 영역을 기준으로 지면과 수직한 방향으로 스캔하면서, 객체의 테두리를 검출할 수 있다. 여기서, 기준 영역은 점군 데이터에 포함된 객체의 최하부면이 될 수 있다. 즉, 데이터 생성 장치는 객체의 최하부면인 기준 영역을 검출하고, 기준 영역으로부터 객체의 상부 방향으로 스캔하면서 객체의 테두리를 검출할 수 있다.

이를 위해, 데이터 생성 장치는 스캔된 점군 데이터 중 사전 설정된 거리 이내에 위치하는 점군에서 폐곡선을 추출하고, 폐곡선을 객체의 테두리로 검출할 수 있다.

또한, 데이터 생성 장치는 기준 영역의 넓이를 기준으로 검출된 테두리의 넓이가 사전 설정된 값 이상 차이가 나는 경우, 기준 영역으로부터 차이가 발생된 테두리 이전에 검출된 테두리들을 검출할 수 있다.

또한, 데이터 생성 장치는 기준 영역으로부터 차이가 발생된 테두리 이전에 검출된 테두리까지 영역을 모델링할 수 있다. 이때, 데이터 생성 장치는 이전 기준 영역으로부터 차이가 발생된 테두리를 새로운 기준 영역으로 갱신할 수 있다.

여기서, 데이터 생성 장치는 기준 영역으로부터 차이가 발생된 테두리 이전에 검출된 테두리에 포함된 점군을 삼각형으로 연결하여 객체를 모델링하되, 삼각형의 내각의 최소값이 최대가 되도록 할 수 있다. 즉, 데이터 생성 장치는 들로네 삼각분할(delaunay triangulation)을 통해 모델링할 수 있다. 다시 말하면, 데이터 생성 장치는 검출된 테두리의 모든 점군을 포함하는 최초 삼각형(super triangle)을 구성하고, 최초 삼각형 안에서 각 점을 대상으로 세 점을 포함하는 원 안에 다른 점이 존재하지 않으면, 그 삼각형을 델로니 삼각형으로 추가할 수 있다. 이때, 최초 삼각형은 모든 델로니 삼각망 구성 과정이 수행되면 삭제할 수 있다. 이후, 데이터 생성 장치는 모델링 된 객체를 메시화하여 외부면을 형성할 수 있다.

이하, 본 발명의 일 실시예에 따른 프로젝션 기반의 컬러맵 생성 방법에 대하여 상세히 설명하도록 한다.

도 7은 본 발명의 일 실시예에 따른 프로젝션 기반의 컬러맵 생성 방법을 나타낸 순서도이다.

도 7을 참조하면, S410 단계에서, 데이터 생성 장치는 카메라(camera)로부터 촬영된 이미지와, 라이다(lidar)로부터 획득된 점군 데이터를 수신할 수 있다.

다음으로, S420 단계에서, 데이터 생성 장치는 수신한 점군 데이터를 이미지 상에 투영할 수 있다.

구체적으로, 데이터 생성 장치는 라이다의 이동 거리를 기준으로 점군 데이터를 그룹핑하여 단위 점군 데이터를 생성하고, 생성된 단위 점군 데이터를 이동 거리 내에 촬영된 이미지에 투영할 수 있다. 이때, 데이터 생성 장치는 생성된 단위 점군 데이터를 이동 거리의 중간 지점에서 촬영된 이미지에 투영할 수 있다. 여기서, 그룹핑 된 단위 점군 데이터는 월드 좌표계 기준의 위치 정보를 포함할 수 있다. 즉, 데이터 생성 장치는 이미지를 촬영한 카메라 정보, 이미지의 가로축 픽셀(x) 및 세로축 픽셀(y)를 포함하는 이미지 테이블에 단위 점군 데이터를 투영할 수 있다. 즉, 데이터 생성 장치는 이미지 테이블 상에서 이미지의 각 픽셀에 매칭되는 점에 대한 정보를 저장할 수 있다. 여기서, 점에 대한 정보는 라이다 기준의 위치 정보(x, y, z), 인텐시티 값, 매칭되는 색상 정보(r, g, b) 및 월드 좌표계 기준의 위치 정보를 포함할 수 있다.

다음으로, S430 단계에서, 데이터 생성 장치는 이미지에 투영된 점군 데이터를 거리(distance)를 기반으로 필터링할 수 있다.

구체적으로, 데이터 생성 장치는 이미지 테이블의 각 픽셀 당 점에 대한 정보 중 라이다 기준의 위치 정보를 이용하여 점의 거리를 검출할 수 있다. 이때, 데이터 생성 장치는 하나의 픽셀에 복수의 점에 대한 정보가 저장되는 경우, 복수의 점 중 라이다를 기준으로 거리가 가장 가까운 점을 제외한 나머지 점을 삭제할 수 있다.

또한, 데이터 생성 장치는 거리가 가장 가까운 점을 기준으로 사전 설정된 픽셀 개수만큼 이웃하는 픽셀 간 거리를 비교하여, 사전 설정된 값보다 거리가 먼 픽셀을 제거할 수 있다.

그리고, S440 단계에서, 데이터 생성 장치는 필터링 된 이미지 테이블에 포함된 점들의 인텐시티 값, 색상 정보 및 월드 좌표계 기준의 위치 정보를 기준으로 컬러맵을 생성할 수 있다.

이하, 본 발명의 일 실시예에 따른 색상 보정을 적용한 컬러맵 생성 방법에 대하여 상세히 설명하도록 한다.

도 8은 본 발명의 일 실시예에 따른 색상 보정을 적용한 컬러맵 생성 방법을 나타낸 순서도이다.

도 8을 참조하면, S510 단계에서, 데이터 생성 장치는 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)를 통해 촬영된 이미지의 색상을 부여할 수 있다.

구체적으로, 데이터 생성 장치는 라이다의 이동 거리를 기준으로 점군 데이터를 그룹핑하여 단위 점군 데이터를 생성하고, 생성된 단위 점군 데이터를 이동 거리 내에 촬영된 이미지에 투영할 수 있다. 그리고, 데이터 생성 장치는 투영된 점들의 인텐시티, 색상 정보 및 월드 좌표계 기준의 위치 정보를 기준으로 컬러맵을 생성할 수 있다.

다음으로, S510 단계에서, 데이터 생성 장치는 지면을 기준으로 특정 높이 이상의 점들 중 사전 설정된 색상을 갖는 점을 분리할 수 있다. 이때, 데이터 생성 장치는 색상이 부여된 점군 데이터의 밝기 값을 기준으로 한 히스토그램(histogram)을 생성하여, 인텐시티 값이 사전 설정된 값 이상인 점을 검출할 수 있다. 또한, 데이터 생성 장치는 색상이 부여된 점군 데이터에서 사전 설정된 색상을 갖되, 채도가 사전 설정된 값보다 낮고, 명도가 사전 설정된 값보다 높은 점들을 분리할 수 있다.

그리고, S530 단계에서, 데이터 생성 장치는 분리된 점을 제거 후 컬러맵을 생성할 수 있다. 하지만, 이에 한정된 것은 아니고, 데이터 생성 장치는 분리된 점 각각의 색상을 분리된 점을 제외한 분리된 점과 가장 근접하는 점의 색상으로 보정할 수 있다.

도 9 및 도 10은 본 발명의 일 실시예에 따른 방향 정보를 포함한 지도 생성 방법을 설명하기 위한 예시도이다.

도 9에 도시된 바와 같이, 데이터 생성 장치는 카메라로부터 촬영된 도로 이미지에서 교통 시설물을 검출할 수 있다. 예를 들어, 데이터 생성 장치는 딥러닝 방식을 활용한 검출 알고리즘인 YOLO를 통해 교통 시설물을 인식할 수 있다. 즉, 데이터 생성 장치는 YOLO 알고리즘을 통해 교통 시설물을 포함한 바운딩 박스(bounding box)를 검출하고, 검출된 바운딩 박스 내에서 교통 시설물을 추가로 검출할 수 있다.

그리고, 데이터 생성 장치는 검출된 교통 시설물 이미지와 동시에 라이다에 의해 획득된 점군 데이터를 이용하여 교통 시설물에 대한 방향 정보를 생성할 수 있다.

이때, 데이터 생성 장치는 (A)와 같이, 검출된 교통 시설물에 포함된 점군 데이터의 개수가 부족하거나, 바운딩 박스가 불균형한 경우 방향 정보를 추출하지 않고, (B)와 같이 바운딩 박스가 불균형하지 않고, 점군 데이터의 개수가 사전 설정된 값 이상인 경우 교통 시설물의 방향 정보를 생성하도록 할 수 있다.

이를 통해, 도 10에 도시된 바와 같이, 데이터 생성 장치는 이미지 상에 검출된 교통 시설물에 대하여 점군 데이터를 기준으로 방향 정보를 생성함으로써, 생성된 방향 정보를 통해 정밀도로지도를 효과적으로 이용하도록 할 수 있다.

예를 들어, 방향 정보가 포함된 정밀도로지도는 특정 방향을 가리키는 교통 시설물에 대한 정보가 필요한 운전자에게 선택적으로 정보를 제공하거나, 교통 시설물을 관리하는 관리자에게 최초 설치된 방향과 대비하여 교통 시설물 방향이 변경된 경우 유지 보수가 필요한 것으로 판단할 수 있도록 지원할 수 있다.

도 11 내지 도 13은 본 발명의 일 실시예에 따른 교통 시설물에 대한 학습 데이터 생성 방법을 설명하기 위한 예시도이다.

도 11에 도시된 바와 같이, 도로 이미지로부터 교통 시설물에 대하여 크롤링을 진행하였으나, 데이터의 양도 적을 뿐만 아니라, 교통 시설물 영역을 직접 잘라내야 하는 문제점이 있었다. 또한, '속도제한'과 같은 교통 시설물은 많이 존재하지만, '통행우선', '자전거나란히통행허용' 등과 같은 희소한 교통 시설물은 크롤링을 통해서도 얻기가 어려운 것을 확인하였다.

이에 따라, 도 12에 도시된 바와 같이, 도로교통공단에서 제공한 교통 시설물 샘플 이미지를 기반으로 뒤틀림만 적용한 합성 이미지를 생성하여 분류 모델을 학습하였으나, 실제 환경의 이미지와 차이가 심해 분류 정확도가 낮은 것을 확인하였다.

따라서, 본 발명의 일 실시예에 따른 지도 생성 장치는 교통 시설물 샘플 이미지를 실제 환경의 이미지와의 유사도를 높이기 위하여, 도 13에 도시된 바와 같이, 교통 시설물 샘플 이미지(A)에 뒤틀림, 가우시안 블러 및 랜덤한 인텐시티 값을 적용하여 가공 이미지를 생성하고, 가공 이미지에 랜덤 영역의 배경을 삽입하여 (B)와 같은 복수의 학습 데이터를 생성할 수 있다.

그리고, 생성된 학습 데이터의 학습 효과를 확인하기 위하여, 도 12와 같은 교통 시설물 샘플 이미지에 뒤틀림만 적용한 학습 데이터와, 본 발명의 일 실시예에 따라 생성된 학습 데이터를 통해 동일한 학습 모델(CoATNet)을 학습시켰다.

그 결과, 뒤틀림만 적용한 학습 데이터는 246개의 테스트 이미지에서 8%의 정확도를 보였으나, 본 발명의 일 실시예에 따른 교통 시설물에 대한 학습 데이터 생성 방법을 적용한 학습 데이터로 학습 후 동일하게 테스트한 결과 66.2%의 정확도를 보였다.

최종적으로, 본 발명의 일 실시예에 따른 교통 시설물에 대한 학습 데이터 생성 방법을 적용하여 107개의 표지판에 대해서 총 42,920장의 학습 데이터를 생성하였고, 분류 모델(EfficientNet V2 m)을 학습시켰다.

그 결과, 총 2,454장의 이미지(실제 주행 데이터에서 추출한 1,982장, 크롤링 및 크롭을 통해 얻은 472장)에 대해서 상기 학습된 분류 모델을 평가하였을 때, 96.169%의 정확도를 보이는 것을 확인하였다.

도 14 내지 도 16은 본 발명의 일 실시예에 따른 항공 라이다를 이용한 지도 생성 방법을 설명하기 위한 예시도이다.

도 14에 도시된 바와 같이, 데이터 생성 장치는 항공 장치를 기준으로 지면을 수직으로 바라보는 시점의 점군 데이터(A)를 투영하고, 투영된 점군 데이터의 기준 영역을 검출하고, 기준 영역을 기준으로 지면과 수직한 방향으로 스캔하면서, 객체의 테두리(B)를 검출할 수 있다.

즉, 도 15에 도시된 바와 같이, 데이터 생성 장치는 객체의 최하부면의 테두리인 기준 영역을 검출하고, 기준 영역으로부터 객체의 상부 방향으로 스캔하면서 객체의 테두리를 검출할 수 있다.

이때, 데이터 생성 장치는 기준 영역의 넓이를 기준으로 검출된 테두리의 넓이가 사전 설정된 값 이상 차이가 나는 경우, 기준 영역으로부터 차이가 발생된 테두리 이전에 검출된 테두리들을 검출할 수 있다.

또한, 데이터 생성 장치는 기준 영역으로부터 차이가 발생된 테두리 이전에 검출된 테두리까지 영역을 모델링할 수 있다. 이때, 데이터 생성 장치는 이전 기준 영역으로부터 차이가 발생된 테두리를 새로운 기준 영역으로 갱신할 수 있다.

여기서, 도 16의 (A)에 도시된 바와 같이, 데이터 생성 장치는 들로네 삼각분할(delaunay triangulation)을 통해 객체를 모델링할 수 있다. 다시 말하면, 데이터 생성 장치는 검출된 테두리의 모든 점군을 포함하는 최초 삼각형(super triangle)을 구성하고, 최초 삼각형 안에서 각 점을 대상으로 세 점을 포함하는 원 안에 다른 점이 존재하지 않으면, 그 삼각형을 델로니 삼각형으로 추가할 수 있다.

이후, 도 16의 (B)에 도시된 바와 같이, 데이터 생성 장치는 모델링 된 객체를 메시화하여 외부면을 형성할 수 있다.

도 17 및 도 18은 본 발명의 일 실시예에 따른 프로젝션 기반의 컬러맵 생성 방법을 설명하기 위한 예시도이다.

도 17의 (A)에 도시된 바와 같이, a 방향으로 발사된 레이저 펄스에 의해 검출된 점군 데이터는 주차 금지 표지판에 의해 도로의 일부 영역에 가려진 영역이 발생된다. 그러나, b 방향으로 발사된 레이저 펄스에 의해 검출된 점군 데이터는 a 방향에서 가려진 영역에 대한 점군 데이터를 포함한다.

이에 따라, a 방향에서 카메라에 의해 촬영된 이미지에 a 방향 및 b 방향에서 수집된 점군 데이터를 투영할 경우, 주차 금지 표지판에 의해 가려진 영역을 주차 금지 표지판의 색상을 부여하는 노이즈(noise)가 발생된다.

이에 따라, 본 발명은 점군 데이터를 이미지 상에 투영하고, 이미지에 투영된 점군 데이터를 거리 기반으로 필터링한 후 컬러맵을 생성함으로써, 이미지 상에서 특정 객체에 의해 가려진 것으로 표현되나 점군 데이터 상에는 인식된 영역에 대하여, (B)에 도시된 바와 같이 이미지의 잘못된 색상이 적용되는 노이즈를 효과적으로 제거할 수 있다.

더하여 도 18의 (A)에 도시된 바와 같이, 쓰레기통의 후방에 이미지 상에 가려진 영역에 의해 노이즈가 발생된 것을 확인할 수 있다. 그러나, 본 발명의 실시예에 따른 필터링을 적용하는 경우, (B)와 같이 가려진 영역의 노이즈가 제거된 것을 확인할 수 있다.

도 19 및 도 20은 본 발명의 일 실시예에 따른 색상 보정을 적용한 컬러맵 생성 방법을 나타낸 순서도이다.

본 발명의 일 실시예에 따른 색상 보정을 적용한 컬러맵 생성 방법은 이미지의 색상이 부여된 점군 데이터에서 사전 설정된 색상을 갖는 점을 분리하고, 분리된 점의 색상을 이웃하는 점의 색상을 기초로 보정하여 컬러맵을 생성함으로써, 하늘의 색상이나 빛 반사로 인해 특정 어두운 색상을 갖는 객체에 밝은 색상이 적용되는 노이즈를 효과적으로 제거할 수 있다.

즉, 도 19에 도시된 바와 같이, 이미지의 색상이 부여된 점군 데이터(A)에서 사전 설정된 색상을 갖는 점을 분리하여 (B)와 같이 하늘의 색상이나 빛 반사로 인한 노이즈 점들을 검출할 수 있다.

그리고, 지도 생성 장치는 octree 알고리즘을 이용하여 검출된 노이즈 점들과 가장 가까이 있는 점을 검출하고, 가장 가까이 있는 점의 색상으로 노이즈 점을 보정하여, 도 20에 도시된 바와 같은 컬러맵을 생성할 수 있다.

한편, 도 21의 (A)는 본 발명의 일 실시예에 따른 색상 보정을 적용한 컬러맵 생성 방법을 적용하기 전 컬러맵을 나타낸 도면이며, (B)는 적용후 컬러맵을 나타낸 도면이다.

도시된 바와 같이, 하늘의 색상이나 빛 반사로 인한 노이즈 점들을 분리하는 경우, 푸른 계열을 갖는 교통 시설물의 점들도 함께 색상이 변경되는 문제점이 있었다.

이에 따라, 지도 생성 장치는 교통 시설물이 인텐시티 값이 상대적으로 높은 것을 이용하여, 검출된 노이즈 점들 중 인텐시티 값이 사전에 설정된 값보다 높은 점들은 노이즈 점에서 제외시킬 수 있다.

도 22를 참조하면, 본 발명에 따른 효과를 확인하기 위하여, 특정 거리에 대하여 컬러맵을 생성한 결과, 필터링 전(A)의 컬러맵과 대비하여 필터링 후(B) 노이즈 점들이 효과적으로 보정된 것을 확인할 수 있었다.

도 23을 참조하면, 추가로 우천시 특정 거리에 대하여 컬러맵을 생성한 결과, 필터링 전(A)의 컬러맵과 대비하여 필터링 후(B) 노이즈 점들이 효과적으로 보정된 것을 확인할 수 있었다.

더하여, 도 24를 참조하면, 도 22 및 도 23의 각 거리에 대한 이미지의 첫 프레임에 대하여 히스토그램을 통해 명도 분포를 확인한 결과, 밝은 날과 우천 시에 밝은 값을 가진 픽셀들이 비슷하게 분포되어 있는 것을 확인할 수 있었다.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으나, 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적해석에 의해 선정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

100 : 데이터 수집 장치 200 : 데이터 생성 장치
300 : 데이터 생성 시스템
205 : 통신부 210 : 입출력부
215 : 저장부 220 : 데이터 수집부
225 : 지도 생성부 230 : 학습 데이터 생성부

Claims (10)

1. 지도 생성부가, 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)를 통해 촬영된 이미지의 색상을 부여하는 단계;
   상기 지도 생성부가, 상기 색상이 부여된 점군 데이터에서 사전 설정된 색상을 갖는 점을 분리하는 단계; 및
   상기 지도 생성부가, 상기 분리된 점의 색상을 이웃하는 점의 색상을 기초로 보정하여 컬러맵을 생성하는 단계; 를 포함하는 것을 특징으로 하고,
   상기 색상을 부여하는 단계는
   상기 점군 데이터에 포함된 각 점과 동일한 좌표에 위치한 상기 이미지의 색상을 부여하는 것을 특징으로 하며,
   상기 점을 분리하는 단계는
   상기 색상이 부여된 점군 데이터의 밝기 값을 기준으로 한 히스토그램(histogram)을 생성하여, 인텐시티 값이 사전 설정된 값 이상인 점을 검출하는 것을 특징으로 하고,
   상기 점을 분리하는 단계는
   지면을 기준으로 특정 높이 이상의 점들 중 사전 설정된 색상을 갖는 점을 분리하되, 채도가 사전 설정된 값보다 낮고, 명도가 사전 설정된 값보다 높은 점들을 분리하는 것을 특징으로 하며,
   상기 점을 분리하는 단계는
   160 ~ 300의 색상 값을 갖는 점을 분리하는 것을 특징으로 하고,
   상기 컬러맵을 생성하는 단계는
   상기 분리된 점 각각의 색상을 상기 분리된 점을 제외한 상기 분리된 점과 사전 설정된 거리 이내에 위치한 점의 평균 색상 값으로 보정하는 것을 특징으로 하는, 색상 보정을 적용한 컬러맵 생성 방법.
   
2. 제1 항에 있어서, 상기 점을 분리하는 단계는
   160 ~ 300의 색상 값을 갖는 점을 분리하되, 인텐시티(intensity) 값이 사전 설정된 값보다 높은 점은 제외시키는 것을 특징으로 하는, 색상 보정을 적용한 컬러맵 생성 방법.
   
3. 제2 항에 있어서, 상기 점을 분리하는 단계에서
   상기 인텐시티 값은 250 이상인 것을 특징으로 하는, 색상 보정을 적용한 컬러맵 생성 방법.
   
4. 제1 항에 있어서, 상기 컬러맵을 생성하는 단계는
   상기 분리된 점을 제거 후 컬러맵을 생성하는 것을 특징으로 하는, 색상 보정을 적용한 컬러맵 생성 방법.
   
5. 제1 항에 있어서, 상기 컬러맵을 생성하는 단계는
   상기 분리된 점 각각의 색상을 상기 분리된 점을 제외한 상기 분리된 점과 가장 근접하는 점의 색상으로 보정하는 것을 특징으로 하는, 색상 보정을 적용한 컬러맵 생성 방법.
   
6. 제5 항에 있어서, 상기 컬러맵을 생성하는 단계는
   옥트리(octree) 알고리즘을 이용하여 상기 분리된 점과 가장 근접하는 점을 검출하는 것을 특징으로 하는, 색상 보정을 적용한 컬러맵 생성 방법.
   
7. 메모리(memory);
   송수신기(transceiver); 및
   상기 메모리에 상주된 명령어를 처리하는 프로세서(processor)를 포함하여 구성된 컴퓨팅 장치와 결합되어,
   상기 프로세서가, 라이다(lidar)로부터 획득된 점군 데이터에 카메라(camera)를 통해 촬영된 이미지의 색상을 부여하는 단계;
   상기 프로세서가, 상기 색상이 부여된 점군 데이터에서 사전 설정된 색상을 갖는 점을 분리하는 단계; 및
   상기 프로세서가, 상기 분리된 점의 색상을 이웃하는 점의 색상을 기초로 보정하여 컬러맵을 생성하는 단계; 를 포함하여 실행시키되,
   상기 색상을 부여하는 단계는
   상기 점군 데이터에 포함된 각 점과 동일한 좌표에 위치한 상기 이미지의 색상을 부여하는 것을 특징으로 하며,
   상기 점을 분리하는 단계는
   상기 색상이 부여된 점군 데이터의 밝기 값을 기준으로 한 히스토그램(histogram)을 생성하여, 인텐시티 값이 사전 설정된 값 이상인 점을 검출하는 것을 특징으로 하고,
   상기 점을 분리하는 단계는
   지면을 기준으로 특정 높이 이상의 점들 중 사전 설정된 색상을 갖는 점을 분리(되, 채도가 사전 설정된 값보다 낮고, 명도가 사전 설정된 값보다 높은 점들을 분리하는 것을 특징으로 하며,
   상기 점을 분리하는 단계는
   160 ~ 300의 색상 값을 갖는 점을 분리하는 것을 특징으로 하고,
   상기 컬러맵을 생성하는 단계는
   상기 분리된 점 각각의 색상을 상기 분리된 점을 제외한 상기 분리된 점과 사전 설정된 거리 이내에 위치한 점의 평균 색상 값으로 보정하는 것을 특징으로 하는, 기록매체에 기록된 컴퓨터 프로그램.
   
8. 제7 항에 있어서, 상기 점을 분리하는 단계는
   160 ~ 300의 색상 값을 갖는 점을 분리하되, 인텐시티(intensity) 값이 사전 설정된 값보다 높은 점은 제외시키는 것을 특징으로 하는, 기록매체에 기록된 컴퓨터 프로그램.
   
9. 제7 항에 있어서, 상기 컬러맵을 생성하는 단계는
   상기 분리된 점을 제거 후 컬러맵을 생성하는 것을 특징으로 하는, 기록매체에 기록된 컴퓨터 프로그램.
   
10. 제7 항에 있어서, 상기 컬러맵을 생성하는 단계는
    상기 분리된 점 각각의 색상을 상기 분리된 점을 제외한 상기 분리된 점과 가장 근접하는 점의 색상으로 보정하는 것을 특징으로 하는, 기록매체에 기록된 컴퓨터 프로그램.

Images