KR20230172717A - 도로 지형지물 촬영을 통해서 3차원모델링 객체를 3차원공간에 배치하는 도로생성기술 - Google Patents

Abstract

본 발명은 사전에 카메라센서를 이용해서 도로 및 지형지물을 촬영함으로 생성되는 3차원 모델의 특징을 인식한 정보를 가지고 해당 정보를 데이터를 라벨링하고 그 정보에 따라 기존 구축된 3차원 모델링 객체를 해당 지형지물을 모델링한 공간상에 자동 배치하는 방법에 대한 것이다.

Description

도로 지형지물 촬영을 통해서 3차원모델링 객체를 3차원공간에 배치하는 도로생성기술{A Road Creation Technology to Place 3D Modeling Objects in 3D Space by Photographing Road Topography}

본 발명은 사전에 카메라센서를 이용해서 도로 및 지형지물을 촬영 생성되는 촬영데이터를 AI 엔진으로 분석한 데이터를 라벨링하고 그 정보에 따라 촬영된 도로의 데이터를 3차원 모델링 객체로 변환하는 기술이다.

도로변에서 관찰되는 사물을 분류하고 각 클래스별로 AI 엔진에 필요한 테이터를 확보하고 라벨링 하는 기술을 사용한다.

확보한 테이터를 활용하여 영상 내 사물을 인식하고 사물의 영상 내 위치를 추정하여 배치하는 기술을 사용한다

현재 사용자(촬영기기 시점)의 절대 위치 혹은 상대위치를 추정하여 배치하는 기술을 사용한다.

인식한 사물에서 추출된 특징점(feature point)을 활용하여 사물의 위치를 추정하는 기술을 적용한다.

본 발명으로 기존에 3차원 입체 도로 생성을 위한 객체를 직접 모델러가 직접 생성 제작함으로 도로생성을 위한 작업시간이 길어짐으로 맵생성을 완료하기 까지 상당한 기간과 비용이 발생했다. 이를 해결하는 방법을 개발한다.

촬영된 영상데이터를 이용하여 추출한 특징점을 기존 AI 엔진에서 인식하는 알고리즘을 개발함으로 자동배치할수 있는 기술을 개발한다.

Lidar 센서를 이용하여 도로지형물체의 위치와 거리 및 3D 모델링 외형정보 추출하여 데이터라벨링을 인식할수 있는 촬영방법 기법을 개발한다.

본 발명의 목적을 달성하기 위한 일 실시예에 따른 지형지물을 효과적으로 촬영하고 데이터를 추출하기 위한 이동장치 시스템을 포함한다.

본 발명의 일 실시예로 촬영한 영상에서 특징점을 추출하는 방법의 절차로 측정 추출한 3차원 영상을 2D 화면으로 변환하고 이를 다시 외형 2D 마스크 레이어 정보를 가지고 AI 엔진에서 보유한 레이어정보와 비교한후 가장 유사한 객체를 지정 라벨링를 포함한다.

본 발명의 일 실시 예로 지형지물 촬영을 위한 이동장치는 GPS 기반의 좌표에 따라 촬영한 도로 및 지형지물을 GPX 파일상의 웨이포인트 정보를 가지며, 이를 라벨링하는 객체에 동기화해서 가상도로 맵상에 동일하거나 유사한 위치에 배치하는 단계를 포함한다.

본 발명의 일 실시예로 AI 엔진과 추출된 영상의 특징점을 매칭해서 라벨링 정보를 결정하는 알고리즘을 포함한다.

본 발명으로 기존 3차원 공간을 생성하기 위해 3D 공간을 배치하고 배치의 오류가 많은 것을 효율적으로 해결하며 실제 제작기간을 줄임으로 인도어 훈련을 위한 현실의 도로지형지물을 3차원 가상공간으로 제작할 때 시간을 줄일수 있도록 돕는다. 그리고 자율주행 시스템 및 가상 도로주행 시스템을 위한 지형지물 3차원 공간 생성을 단기간에 제작함으로 효율적인 방법을 제안할수 있다.

도 1은 Lidar 센서와 GPS 수신기를 이용한 도로지형 촬영장치 시스템 구조도이다.
도 2는 촬영영상 특징점추출,라벨링이후 AI Network 비교 절차도
도 3는 GPX파일을 이용한 지형지물 3D 모델링배치 순서도

본 발명의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.

도1은 Lidar 센서와 GPS 수신기를 이용한 촬영시스템 구조도이다.

도1을 참조하면, Flash Lidar를 이용해서 도로지형물의 외관형태를 스캐닝을 하며, 이를 반사되어 집광렌즈를 통해 수신한 영상을 2D이미지 형태로 변환하게 된다. 이때 촬영기기가 이동하면서 수신한 GPS(Global positioning system) 위성에 보내는 위치정보를 수신기를 이용해서 채굴하여 2D영상프레임마다 같이 데이터를 맵핑하여 저장공간에 저장한다.

도2는 촬영영상을 각 일정단위별로 영상프레임을 묶어서 각 프레임마다 특징점 외곽라인 데이터를 추출하고 이를 기반으로 공통된 특징점데이터를 추출한다. 이 데이터를 정해진 AI 엔진에서 분석해서 각 구성배치할 항목별로 데이터 라벨링을 결정하게 된다. 데이터 라벨링이 완료되면 AI 네트웍 뱅크에서 라벨링에 의해 정의되어진 3D 모델링 객체를 생성하며, 이를 가지고 전체 로도생성을 진행하게 된다.

도3은 기존 생성된 GPX파일을 가지고 3D공간에 로도를 생성을 위한 기준배경을 생성한 이후에 각 실제 도로지형에 존재하는 지형지물과 도로의 재질 및 폭을 반영한 배치를 하기위한 알고리즘을 순서도에 따라 설명하였다.

최근 코로나 및 기후변화, 미세먼지의 공기오염으로 외부에서 자전거 운동을 어려움이 있다. 이를 위한 인도어 싸이클훈련 및 가상의 코스에서 라이딩을 위한 맵을 제작하기 위한 지형지물을 제작할 때 도로의 특징과 주변 지형지물을 자동으로 생성 배치함으로 3D 입체모델링 제작시간을 줄이고 다양한 맵을 이용하려고 하는 사용자에게 단기간내에 현장의 도로를 형성함으로 인도어 싸이클 맵 제작 및 가상자율주행시스템등에 이용이 가능하다.

Claims (5)

1. 도로 지형지물을 3차원 스캐너를 통해서 추출한 특징점을 가지고 기존 라벨링 정보와 비교해서 해당 객체를 가상현실 공간상에 배치하는 기술방법
   
2. 제 1항에 있어서 3차원 객체의 위치와 맵핑을 가상공간상의 위치와 현실공간의 위치정보를 가지고 배치시키는 기술방법
   
3. 제 1항에 있어서 3차원 객체의 특징점을 추출해서 AI 네트위크의 데이터베이스의 정보와 비교해서 라벨링 하는 기술
   
4. Visual slam 혹은 Lidar-LOAM 으로 3차원 객체를 추출하는 방법
   
5. 제 4항에 있어서 객체를 특징을 정의하는 알고리즘 적용 방법