KR102414307B1 - 3d 맵의 변경 구역 업데이트 시스템 및 그 방법 - Google Patents

3d 맵의 변경 구역 업데이트 시스템 및 그 방법 Download PDF

Info

Publication number
KR102414307B1
KR102414307B1 KR1020200079450A KR20200079450A KR102414307B1 KR 102414307 B1 KR102414307 B1 KR 102414307B1 KR 1020200079450 A KR1020200079450 A KR 1020200079450A KR 20200079450 A KR20200079450 A KR 20200079450A KR 102414307 B1 KR102414307 B1 KR 102414307B1
Authority
KR
South Korea
Prior art keywords
map
information
update
area
existing
Prior art date
Application number
KR1020200079450A
Other languages
English (en)
Other versions
KR20220001274A (ko
Inventor
이상민
김형진
유동건
최성범
강기혁
Original Assignee
(주)뉴빌리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)뉴빌리티 filed Critical (주)뉴빌리티
Priority to KR1020200079450A priority Critical patent/KR102414307B1/ko
Publication of KR20220001274A publication Critical patent/KR20220001274A/ko
Application granted granted Critical
Publication of KR102414307B1 publication Critical patent/KR102414307B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

본 발명은 3D 맵의 변경 구역 업데이트 시스템 및 그 방법에 관한 것이다.
본 발명은 기존 3D 맵의 분류된 구역 정보를 수신받고, 수신된 구역 정보에 대응하는 영상정보를 수집하는 인식 및 수집모듈; 상기 영상정보를 수신받아 분석하고, 분석된 영상정보와 상기 영상정보에 대응하는 상기 기존 3d 맵의 구역 정보를 비교하여 상기 구역 정보에 대한 갱신 여부를 판단하며, 갱신이 필요한 경우, 해당 구역을 갱신 구역으로 설정하고 설정된 갱신 구역에 대한 3D 맵 갱신정보를 생성하는 분석서버; 및 상기 기존 3D 맵이 저장되고, 저장된 상기 기존 3D 맵을 상기 인식 및 수집모듈과 분석서버로 전송하며, 상기 분석서버로부터 상기 3D 맵 갱신정보가 수신되는 경우, 상기 갱신 구역에 대응하는 상기 기존 3D 맵의 일정 구역만을 업데이트하는 지도 관리 서버;포함하는 3D 맵의 변경 구역 업데이트 시스템 및 3D 맵의 변경 구역 업데이트 시스템을 이용한 3D 맵의 변경 구역 업데이트 방법을 제공하는 것을 특징으로 한다.

Description

3D 맵의 변경 구역 업데이트 시스템 및 그 방법{3D map change area update system and method}
본 발명은 3D 맵의 변경 구역 업데이트 시스템 및 그 방법에 관한 것이다. 더욱 상세하게는 이미 구축된 기존 3D 맵에서 시설물 설치, 건축 및 철거, 도로의 공사 등과 같은 변경이 발생하는 경우, 해당하는 구역에 대한 정보를 파악하고, 파악된 정보를 바탕으로 실제 변경이 일어난 구역에 해당하는 3D 맵을 업데이트하는 3D 맵의 변경 구역 업데이트 시스템 및 그 방법에 관한 것이다.
일반적으로 3차원 맵(3D Map)은 로봇이나 자동차의 자율 주행을 위해서는 반드시 필요한 정보로서, 환경을 인지하고 경로를 생성하며 장애물을 감지하고 회피 동작을 계획하는 것과 같은 일련의 동작을 가능하게 한다.
이러한 3D 맵은 도로, 지형의 고저, 곡률 등과 같은 주변환경에 대한 정보가 3D로 구현된 지도로서, 특히 도로의 주행시 필요한 다양한 정보들을 포함하는 것으로, 통상적으로 MMS(Mobile Mapping [0006] System) 장치 등의 자동화 장비를 이용하여 다양하게 지형 공간정보 데이터를 취득하여 지도 형태로 작성이 이루어지도록 하고 있으나, 상기 MMS 자체가 고가의 장비에 해당함에 따라 3D 맵의 작성에 매우 큰 비용이 발생할 수밖에 없다.
이에, 대한민국 등록특허 제10-2015388호에는, 초경량 무인항공기(Unmanned Aerial Vehicle)를 활용하여 저고도 항공사진측량을 실시한 후, 지상용 3D라이다스캐너 혹은 모바일 맵핑장치를 통해 취득된 3D 정보를 이용하여 정사영상 지도를 제작하여 기존의 여러 명이 반복적으로 측량하는 열악한 환경의 비능률적인 현황측량 실무 작업에 적용시켜, 측량인력 및 작업시간을 효율적으로 대체 및 절약하고, 새로운 측량 솔루션을 제공하기 위한 무인항공기와 지상용 3D라이다스캐너를 활용한 정사영상 3차원 포인트클라우드 DB 구축기반 가상현실 공간 맵 제공시스템 및 제공방법이 게재된 바 있다.
그러나, 전술한 선행기술문헌에 의하면, 실제 현실에서 도로 공사, 건물 철거, 시설물 설치나 기타 추가 또는 제거되는 요소들로 인해 3D 정보와 일치하지 않는 부분들이 만들어지고 이는 정확도의 하락과 안전성 하락의 원인이 되고 있다.
또한, 맵핑장치를 통해 취득된 3D 정보에 시설물 설치, 건축 및 철거, 도로의 공사 등과 같은 변화된 부분이 발생하는 경우, 해당 부분을 3D 정보에 반영하기 위해 3d mapping 작업을 모든 위치에 대해 수행해야 하는 문제점이 있다.
또한, 재수집된 변경된 부분에 대한 3D 정보들의 데이터 후처리 작업들이 측정이후 필요하기 때문에 별도의 비용이 매우 크게 발생할 수밖에 없고, 이미 제공되는 3D 정보에 변경된 부분에 대한 정보의 업데이트를 위해서는 추가의 비용이 더 발생함에 따라 비용 벌감을 위하여 갱신 주기가 매우 길어서 비효율적인 문제점이 있었다.
특히, 갱신이 이루어지기 전까지는 정확도가 떨어지는 3D 맵을 사용해야 하며, 이는 자율주행의 안전성에 치명적인 문제점에 해당하게 되므로, 이를 해결하기 위한 연구가 필요한 실정이다.
대한민국 등록특허 제10-2015388호
이와 같은 문제점을 해결하기 위하여 본 발명은 전술한 배경기술에 의해서 안출된 것으로, 이미 구축된 기존 3D 맵에서 시설물 설치, 건축 및 철거, 도로의 공사 등과 같은 변경이 발생하는 경우, 해당하는 구역에 대한 정보를 파악하고, 파악된 정보를 바탕으로 변경이 발생된 구역에 대한 3D 맵을 업데이트함으로써, 빠른 시간 내에 지도의 업데이트를 수행할 수 있는 3D 맵의 변경 구역 업데이트 시스템 및 그 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 실제 변경이 일어난 구역을 파악하고 변경이 발생된 구역에 대응하는 3D 맵의 업데이트를 수행함에 따라 3D 맵의 관리 비용을 절감할 수 있고, 3D 맵의 실시간성 및 정확성을 극대화할 수 있어 3D 맵의 구축 및 유지가 용이한 3D 맵의 변경 구역 업데이트 시스템 및 그 방법을 제공하는데 그 목적이 있다.
다만, 본 발명의 목적은 이에만 제한되는 것은 아니며, 명시적으로 언급하지 않더라도 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 이에 포함됨은 물론이다.
이와 같은 과제를 달성하기 위한 본 발명의 일 실시예에 따르면, 기존 3D 맵의 분류된 구역 정보를 수신받고, 수신된 구역 정보에 대응하는 영상정보를 수집하는 인식 및 수집모듈; 상기 영상정보를 수신받아 분석하고, 분석된 영상정보와 상기 영상정보에 대응하는 상기 기존 3d 맵의 구역 정보를 비교하여 상기 구역 정보에 대한 갱신 여부를 판단하며, 갱신이 필요한 경우, 해당 구역을 갱신 구역으로 설정하고 설정된 갱신 구역에 대한 3D 맵 갱신정보를 생성하는 분석서버; 및 상기 기존 3D 맵이 저장되고, 저장된 상기 기존 3D 맵을 상기 인식 및 수집모듈과 분석서버로 전송하며, 상기 분석서버로부터 상기 3D 맵 갱신정보가 수신되는 경우, 상기 갱신 구역에 대응하는 상기 기존 3D 맵의 일정 구역만을 업데이트하는 지도 관리 서버;포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 인식 및 수집모듈은 상기 지도 관리 서버로부터 복합 구역 정보가 수신되는 경우, 가장 인접한 위치에 해당하는 구역부터 우선 수집 구역으로 구분하여 순차적으로 해당 구역들에 대한 영상정보를 수집하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 분석서버는, 상기 영상정보를 분석하여 해당 영상정보 내에서의 객체를 인식하고, 인식한 객체의 종류 및 상태에 대한 객체정보 및 상기 객체의 객체 위치 정보를 생성하는 객체 인식부; 상기 객체정보 및 객체 위치 정보를 전송받아 분석하고, 분석된 객체 분석 결과 정보와 상기 기존 3D 맵을 비교하여 상기 기존 3D 맵의 일정 구역에 대한 갱신 여부를 판단하는 갱신 여부 판단부; 상기 갱신 여부 판단부의 판단 결과에 따라 갱신이 필요한 구역을 분류하고, 분류된 구역에 대한 3차원 좌표값으로 이루어지는 Point Cloud와 3D 맵의 갱신 우선도 정보를 생성하여 상기 지도 관리 서버로 전송하는 갱신정보 생성부;포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 객체 인식부는, 상기 객체를 계박스(Bound Box)로 블록화한 후, 변경객체와 유동성 객체로 분류하고, 상기 영상정보를 동일 면적을 이루는 다수개의 셀로 구획하여, 구획된 셀 중 객체가 존재하는 셀과 블록화된 객체가 존재하지 않는 셀을 구분하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 블록화된 객체가 존재하지 않는 셀을 영상정보에서 삭제한 후, 객체가 존재하는 셀 만을 분석하여 객체의 종류 및 상태에 대한 객체정보를 생성하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 인식 및 수집모듈로부터 추가 영상정보가 수신되는 경우, 상기 변경객체에 대한 변경 상황 존재 정보를 생성하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 갱신 여부 판단부는, 객체정보가 기존 3D 맵의 구역에 존재하지 않거나, 영상정보의 공간 정보와 기존의 3D 맵의 공간정보를 비교한 후, 일정 면적 이상 일치하지 않는 공간이 존재하거나, 영상정보의 Depth Map과 기존의 3D 맵을 비교하여 거리가 일치하지 않는 부분이 존재하는 경우, 기존 3D 맵의 일정 구역에 대한 갱신이 필요하다고 판단하고 해당 구역을 갱신 구역으로 설정하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 상기 지도 관리 서버는, 상기 기존 3D 맵과 상기 분석서버로부터 전송되는 3D 맵 갱신정보를 정합하여 상기 기존 3D 맵의 일정 구역을 업데이트하는 매핑 및 정합모듈; 상기 기존 3D 맵이 저장되는 3D 맵 DB; 및 상기 매핑 및 정합모듈에 의해 업데이트된 3D 맵 정보와 상기 분석서버에서 전송되는 3D 맵 갱신정보가 저장되는 갱신 맵 DB;를 포함하는 것을 특징으로 한다.
한편, 본 발명의 다른 일 실시예에 따르면, 3D 맵의 변경 구역 업데이트 시스템을 이용한 3D 맵의 변경 구역 업데이트 방법에 있어서,(a) 지도 관리 서버에서 기존 3D 맵의 일정 구역에 대한 좌표정보, 또는 point cloud로 이루어진 구역 정보를 인식 및 수집모듈로 전송하여 상기 구역 정보에 대응하는 해당 구역에 대한 영상정보를 수집하는 영상정보 수집단계; (b) 상기 인식 및 수집모듈로부터 상기 영상정보를 수신받고, 수신된 영상정보를 분석하여 객체 정보 및 객체의 위치정보와 변경 상황 존재 정보를 생성하는 영상정보 분석단계; (c) 상기 객체정보, 객체 위치정보, 변경 상황 존재 정보를 갱신 여부 판단부로 전송하고, 갱신 여부 판단부에서 기존 3D 맵의 해당 구역에 대한 갱신 여부를 판단하고, 갱신이 필요한 경우 3D 맵 갱신정보를 생성하여 지도 관리 서버로 전송하는 갱신 여부 판단단계; (d) 상기 지도 관리 서버에서 상기 3D 맵 갱신정보를 바탕으로 갱신되어야 할 기존 3D 맵의 일정 구역만을 갱신하는 기존 3D 맵 갱신단계; (e) 갱신이 완료된 갱신 3D 맵에 대한 데이터를 지도 관리 서버의 갱신 맵 DB에 저장하는 갱신된 3D 맵 저장단계;를 포함하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 상기 (b) 단계는, (b1) 상기 객체들을 블록화한 후, 해당 영상정보를 다수개의 셀로 구획하고, 구획된 셀 중 상기 객체가 존재하는 셀과, 상기 객체가 존재하지 않는 셀을 구분하는 단계; (b2) 상기 객체가 존재하지 않는 셀을 영상정보에서 삭제하는 단계; (b3) 상기 객체가 존재하는 셀 만을 분석하여 변경객체와 유동성 객체로 이루어지는 객체의 종류 및 상태에 대한 객체정보를 생성하고, 생성된 객체정보를 갱신 여부 판단부로 전송하는 단계; (b4) 상기 변경객체 중 공사 현장에서 존재하는 객체가 인식되는 경우, 상기 갱신 여부 판단부에서 상기 인식 및 수집모듈로 해당 구역에 대한 추가 영상정보를 요청하는 단계; 및 (b5) 상기 인식 및 수집모듈에서 추가 영상정보를 수집하여 상기 객체 인식부로 전송하여 상기 추가 영상정보의 분석을 통해 변경 상황 존재 정보를 생성하고 생성된 변경 상황 존재 정보를 상기 갱신 여부 판단부로 전송하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 상기 (c) 단계는, 객체정보, 객체 위치정보, 변경 상황 존재 정보와 기존 3D 맵과의 비교하거나, 영상정보의 공간 정보와 기존의 3D map의 공간정보를 비교하여 상기 기존 3D 맵의 일정 구역에 대한 갱신 여부를 판단하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 상기 (c) 단계는, 상기 기존 3D 맵의 갱신이 이루어지도록 판단되면, 갱신정보 생성부에서 객체정보에 따른 갱신 구역, 영상정보의 point cloud로 이루어지는 공간정보에 따른 갱신 구역으로 분류하고, 분류된 갱신 구역에 대한 Point Cloud와 3D 맵의 갱신 우선도 정보를 생성하여 지도 관리 서버로 전송하는 단계를 더 수행하는 것을 특징으로 한다.
이와 같은 본 발명의 실시예에 의하면, 이미 구축된 기존 3D 맵에서 시설물 설치, 건축 및 철거, 도로의 공사 등과 같은 변경이 발생하는 경우, 해당하는 구역에 대한 정보를 파악하고, 파악된 정보를 바탕으로 변경이 발생된 구역에 대한 3D 맵을 업데이트함으로써, 빠른 시간 내에 지도의 업데이트를 수행할 수 있는 효과가 있다.
또한, 본 발명은 건축물이나 도로에 변화가 일어난 위치들을 사전에 파악하여 필요한 부분만 업데이트를 할 수 있으므로, 3D 맵의 관리 비용을 절감할 수 있고, 3D 맵의 실시간성 및 정확성을 극대화할 수 있어 3D 맵의 구축 및 유지가 용이한 효과가 있다.
더불어, 본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 3D 맵의 변경 구역 업데이트 시스템을 개략적으로 나타낸 구성 블록도,
도 2는 본 발명의 일 실시예에 따른 3D 맵의 변경 구역 업데이트 시스템의 기존 3D 맵 및 인식 및 수집모듈에서 수집한 영상정보를 나타낸 예시도,
도 3은 본 발명의 일 실시예에 따른 3D 맵의 변경 구역 업데이트 시스템의 객체 인식부에서 객체를 인식한 상태를 개략적으로 나타낸 예시도,
도 4 및 도 5는 본 발명의 일 실시예에 따른 3D 맵의 변경 구역 업데이트 시스템의 객체 인식부에서 객체정보를 생성하는 상태를 개략적으로 나타낸 예시도,
도 6은 본 발명의 일 실시예에 따른 3D 맵의 변경 구역 업데이트 시스템의 갱신 여부 판단부를 통해 갱신 구역을 설정하는 과정을 개략적으로 나타낸 예시도,
도 7은 본 발명의 일 실시예에 따른 3D 맵의 변경 구역 업데이트 방법을 나타낸 순서도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 이하에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 하며, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속" 된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 본 발명에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수 있다. 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
또한, 본 발명의 각 실시예에 기재된 각각의 서버는, 단말, 장치 또는 디바이스와 네트워크를 통해 통신하여 명령, 코드, 파일, 콘텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현되는 시스템일 수 있으며, 메모리, 프로세서, 통신 인터페이스, 입출력 인터페이스 및 데이터베이스를 포함할 수 있다.
특히, 본 발명의 각 실시예에 따른 시스템을 실행시키기 위한 수단으로는 어플리케이션(Application), 또는 웹 서버일 수 있으며, 이 어플리케이션, 또는 웹 서버를 기록한 기록매체를 읽을 수 있는 수단인 단말로는, 일반적인 데스크 탑이나 노트북 등의 일반 PC 뿐만 아니라, 스마트 폰, 태블릿 PC, 등의 모바일 단말기를 포함할 수 있다.
이하, 첨부된 도면을 참고하여 본 발명의 실시예들을 상세히 설명하도록 한다.
도시된 바와 같이, 초기 제작이 완료된 기존 3D 맵의 일정 구역을 주행하면서 해당 구역에 대한 영상정보를 수집하는 인식 및 수집모듈(100), 인식 및 수집모듈(100)과 네트워크로 연결되며, 수집된 데이터들을 분석하여 3D 맵의 갱신이 필요한 위치를 파악하여 3차원 좌표값으로 이루어지는 Point Cloud를 생성하고, 3D 맵의 갱신 우선도 정보를 생성하는 분석서버(200), 분석서버(200)와 네트워크로 연결되고, 이 분석서버(200)로부터 전송되는 3D 맵의 갱신 우선도 정보를 바탕으로 3D 맵의 업데이트를 수행하는 지도 관리 서버(300)를 포함하여 구성된다.
인식 및 수집모듈(100)은 MMS(Mobile Mapping System)와 같은 자동화 장비를 통해 구현된 3D 맵의 분류된 일정 구역에 대한 영상정보를 수집하고, 수집된 영상정보를 분석서버(200)로 전송하여 수집된 영상정보에 해당하는 3D 맵의 갱신 여부에 대한 분석이 이루어지도록 하는 구성요소이다.
이러한 인식 및 수집모듈(100)은 지도 관리 서버(300)로부터 수집이 이루어질 영상정보를 획득할 3D 맵의 분류된 구역 정보를 전송받아 해당 구역을 주행하면서 상기 분류된 구역 정보에 해당하는 영상정보를 수집 및 획득하도록 구성된다.
이때, 인식 및 수집모듈(100)은 실내 및 실외를 주행하는 차량, 로봇, 모빌리티(Mobility) 장치 등과 같은 주행수단에 장착될 수 있으며, 지도 관리 서버(300)로부터 분류된 구역 정보가 전송되는 경우, 이 분류된 구역 정보를 주행수단으로 전송하여 주행이 이루어지도록 구성될 수 있다.
여기서, 상기 주행수단에는 상기 인식 및 수집모듈(100)로부터 전송되는 분류된 구역 정보를 출력하는 출력수단이 더 구성됨이 바람직하며, 출력수단으로는 통상의 네비게이션으로 이루어질 수 있으나, 이에 한정하는 것은 아니다.
또한, 인식 및 수집모듈(100)은 카메라, 2D LiDAR, 저가형 3D LiDAR, Radar, depth camera 등으로 이루어질 수 있으나, 이에 한정하는 것은 아니다.
이와 같은 인식 및 수집모듈(100)은 지도 관리 서버(300)로부터 분류된 구역 정보의 수신시, 3D 맵의 특정 구역에 대한 단일 구역 정보를 수신받거나, 또는 적어도 둘 이상으로 이루어지는 복합 구역 정보를 수신받을 수 있으며, 복합 구역 정보의 수신시 인식 및 수집모듈(100)로부터 가장 인접한 위치에 해당하는 구역부터 우선 수집 구역으로 구분하여 순차적으로 해당 구역들에 대한 정보의 수집이 이루어지도록 구성될 수 있다.
아울러, 인식 및 수집모듈(100)은 분석서버(200)로부터 단일 구역 정보, 또는 복합 구역 정보에 대한 추가 영상정보의 요청 신호가 전송되는 경우, 해당 구역 정보 내에 변경 정보가 발생한 것으로 판단하고, 변경이 발생한 구역의 위치 정보에 대한 추가 영상정보를 수집하여 전송한다.
이때, 추가 영상정보의 수집시 시간대별 영상정보를 수집하여 분석서버(200)로 전송이 이루어지도록 구성될 수 있으나, 변경 정보의 상태에 따라 추가 영상정보의 수집 주기는 다양하게 변경이 가능함은 물론이다.
분석서버(200)는 인식 및 수집모듈(100)과 네트워크로 연결되어 인식 및 수집모듈(100)에서 수집한 영상정보를 포함하는 데이터를 전송받고, 전송된 데이터를 분석하여 인식 및 수집모듈(100)에서 수집한 영상정보의 변경 여부에 대한 변경정보를 생성하고, 생성된 변경정보를 바탕으로 지도 관리 서버(300)로부터 전송되는 분류된 구역을 포함하는 3D 맵의 갱신이 이루어지도록 3D 맵 갱신 정보를 생성하며, 생성된 3D 맵 갱신 정보를 지도 관리 서버(300)로 전송하여 기존의 3D 맵의 갱신이 이루어지도록 하는 구성요소이다.
이러한 분석서버(200)는 인식 및 수집모듈(100)에서 수집된 영상정보를 분석하여 해당 영상정보내에서의 객체를 인식하고, 인식한 객체에 대한 객체 위치 정보를 생성하는 객체 인식부(210)와, 객체 인식부(210)로부터 인식된 객체 정보 및 객체 위치 정보를 전송받아 분석하고, 분석된 객체 분석 결과 정보와 지도 관리 서버(300)에 저장된 기존 3D 맵을 비교하여 상기 기존 3D 맵의 갱신 여부를 판단하는 갱신 여부 판단부(220)와, 갱신 여부 판단부(220)의 판단 결과에 따라 갱신이 필요한 구역을 분류하고, 분류된 구역에 대한 3차원 좌표값으로 이루어지는 Point Cloud와 3D 맵의 갱신 우선도 정보를 생성하는 갱신정보 생성부(230)를 포함하여 구성된다.
객체 인식부(210)는 인식 및 수집모듈(100)에서 수집한 영상정보를 수신받으며, 수신된 영상정보를 분석하여 해당 영상정보 내에 존재하는 객체들을 인식하고, 인식한 객체들에 대한 정보를 생성하여 갱신 여부 판단부(220)로 전송하는 구성요소이다.
이러한 객체 인식부(210)는 인식 및 수집모듈(100)에서 수집한 영상정보 내에 존재하는 객체를 인식하고, 인식한 객체만을 별도로 분리한 다음 분리된 객체들을 종류별로 분류함으로써, 객체에 대한 정보를 취득할 수 있다.
이때, 객체 인식부(210)는 도 3에 도시된 바와 같이, 상기 영상정보의 영상처리를 통해 영상정보 내에 존재하는 객체들을 색인하고, 색인된 객체들에 각각 경계박스(Bound Box)로 블록화한 후, 해당 영상정보를 동일 면적을 이루는 다수개의 셀로 구획하고, 구획된 셀 중 객체가 존재하는 셀과, 블록화된 객체가 존재하지 않는 셀을 구분한다.
여기서, 객체 인식부(210)는 상기 영상정보를 다수개의 셀로 구획할 때, 각각 X축 및 Y축에 대한 좌표정보를 생성할 수 있으며, 상기 좌표정보는 종류별 객체 정보의 생성시 영상정보 내에 위치하는 객체의 위치 정보를 생성할 때 이용될 수 있다.
또한, 객체 인식부(210)는 도 4 및 5에 도시된 바와 같이, 구획된 셀 중 블록화된 객체가 존재하지 않는 셀을 영상정보에서 삭제한 후, 객체가 존재하는 셀 만을 분석하여 객체의 종류 및 상태에 대한 객체정보를 생성하고, 생성된 객체정보를 갱신 여부 판단부(220)로 전송한다.
여기서, 객체의 종류에는 공사 현장에서 볼 수 있는 라바콘, 임시 격벽, 크레인, 안전 표지판, 공사 표지판 및 자재 등과 같은 변경객체와, 차량, 보행자 등 이동성을 보유하는 객체, 생활 쓰레기 등과 같은 유동적인 장애물 등으로 이루어지는 유동성 객체로 분류될 수 있으며, 객체정보의 생성시 구획된 셀에 존재하는 블록화된 객체 중 유동성 객체는 제외하고, 변경객체만을 객체정보에 포함하도록 구성된다.
아울러, 객체 인식부(210)는 변경객체의 분류시 공사 현장에서 확인이 가능한 객체(예를 들어, 공사 자재, 공사 표지만, 비계장치 등)가 인식되는 경우, 해당 구역에서 공사가 진행되는 것으로 판단하도록 구성되며, 공사 진행 판단시 인식 및 수집모듈(100)로 해당 구역에 대한 추가 영상정보를 요청하고, 인식 및 수집모듈(110)로부터 추가 영상정보가 수신되는 경우, 이를 분석하여 추가 변경객체 정보를 생성하고, 기존의 변경객체의 위치 정보와 추가 변경객체의 위치 정보를 비교하여 해당 위치 주변의 건축, 도로 공사 등의 변경 상황에 대한 존재 여부를 인식하고, 인식한 결과에 따른 변경 상황 존재 정보를 생성하여 갱신 여부 판단부(220)로 전송한다.
이때, 추가 변경객체의 위치가 기존 변경객체의 위치와 상이한 경우 상이한 정도에 대한 위치 변경값을 산출하고, 산출된 값으로 이루어지는 변경 상황 존재 정보를 생성할 수 있다.
즉, 객체 인식부(210)는 인식 및 수집부(100)에서 수집한 영상정보 내에 존재하는 객체가 주행시 장애물로서 인식이 될 우려가 있는 객체(변경객체) 만을 별도로 선별하여 색인하고, 이 객체에 대한 종류 및 상태(변경 상황 존재 유무)에 대한 정보를 생성하여 갱신 여부 판단부(220)로 전송함으로써, 해당 구역에 대한 3D 맵의 업데이트 여부에 대한 판별이 이루어지도록 하는 것이다.
아울러, 객체 인식부(210)는 객체 종류에 대한 정보 생성시 객체의 판별이 어려운 경우는 별도로 분리하여, 네트워크를 통해 인식 및 수집부(100)로 해당 객체의 위치 정보를 전송할 수 있으며, 인식 및 수집부(100)에서는 상기 객체의 위치 정보가 수신되는 경우, 해당 객체에 대한 영상, 이미지 정보를 수집하여 객체 인식부(210)로 전송하도록 구성될 수 있으나, 이에 한정하는 것은 아니다.
이와 같은 객체 인식부(210)는 영상에서 Object Detection 알고리즘, 또는 Segmentation 알고리즘 중 어느 하나의 방식으로 객체의 인식이 이루어지도록 구성될 수 있으나, 이에 한정하는 것은 아니다.
갱신 여부 판단부(220)는 객체 인식부(210)로부터 객체정보 및 변경 상황 존재 정보를 수신받고, 수신된 각각의 정보들과 지도 관리 서버(300)에 저장된 기존 3D 맵을 비교하여 객체정보에 해당하는 영상정보의 구역에 대한 기존 3D 맵의 업데이트 갱신 여부를 판단하는 구성요소이다.
이러한 갱신 여부 판단부(220)는 도 6에 도시된 바와 같이, 객체 인식부(210)로부터 변경 상황 존재 정보의 수신이 이루어지는 경우, 영상정보에 해당하는 3D 맵의 구역을 공사 현장으로 판단하고, 해당 구역을 주기적인 갱신이 필요한 구역으로 설정하며, 설정된 구역에 대한 추가 영상정보에 대한 주기적인 수집 요청 신호를 생성하여 인식 및 수집모듈(100)로 전송함과 동시에 설정된 구역에 대한 정보에 해당하는 3D 맵 갱신정보를 갱신 정보 생성부(230)로 전송하여 해당 구역에 대한 3D 맵의 갱신(업데이트)가 이루어지도록 한다.
또한, 갱신 여부 판단부(220)는 객체 인식부(210)로부터 전송된 객체정보가 기존 3D 맵의 구역에 존재하지 않는 경우, 해당 구역을 갱신이 필요한 구역으로 설정한다.
일 예로, 인식 및 수집부(100)에서 수집한 영상정보에 존재하는 객체가 지도 관리 서버(300)에 저장된 기존의 3D 맵에 존재하지 않는 경우, 갱신 여부 판단부(220)는 해당하는 구역에 대한 정보가 변경되었다고 판단하고, 이에 대한 갱신이 이루어지도록 갱신 정보 생성부(230)로 설정된 구역에 대한 정보를 전송하도록 구성될 수 있을 것이다.
여기서, 상기 객체는 전술한 변경객체로 이루어지는 것이 바람직하나, 이에 한정하는 것은 아니며, 해당 구역 내에서의 유동성을 가지지 않는 구조물(예를 들어, 인테리어 제작물 조경용 나무 등) 역시 포함될 수 있을 것이다.
아울러, 갱신 여부 판단부(220)는 객체 인식부(210)를 통해 인식이 이루어진 객체 및 객체의 위치 정보에 따른 갱신 여부를 판단하는 것에 한정하지 않고, 인식 및 수집부(100)에서 수집한 영상정보와 이 영상정보에 대응하는 지도 관리 서버(300)에 저장된 기존의 3D 맵의 구역정보를 비교하여 갱신 여부를 판단하도록 구성될 수도 있다.
한편, 갱신 여부 판단부(220)는 LiDAR 센서, RADAR, Depth camera 등과 같은 수단을 이용하여 인식 및 수집부(100)에서 수집한 영상정보의 공간 정보와 기존의 3D map의 공간정보를 비교한 후, 일정 면적 이상 일치하지 않는 공간이 존재하는 경우, 해당하는 공간에 대한 갱신이 필요한 구역으로 설정할 수 있다.
이때, 갱신 여부 판단부(220)는 공간의 일치성을 판단하기 위해 LiDAR 센서, RADAR 중 어느 하나의 수단을 통해 획득한 상기 영상정보의 point cloud와 기존의 3D 맵에 저장된 point cloud를 비교하여 일치하지 않는 point cloud가 존재할 경우 해당하는 point cloud의 갱신이 이루어지도록 설정할 수 있다.
또한, 갱신 여부 판단부(220)는 Depth camera에서 얻어진 영상정보의 Depth Map과 기존의 3D 맵을 비교하여 거리가 일치하지 않는 부분이 존재할 경우 갱신이 필요한 구역으로 설정할 수도 있을 것이다.
여기서, Depth camera는 Computational Camera의 한 종류로, 기존의 2D에서 할 수 없었던 이미지의 각 픽셀의 깊이 값을 계산하는 수단으로, 기존의 1개의 카메라 모듈만으로 처리했던 2D 방식과는 다르게 카메라 모듈을 2개를 사용하여 다양한 기법들로 픽셀의 깊이를 계산하여 3D 이미지를 획득하는 것이다.
갱신정보 생성부(230)는 갱신 여부 판단부(220)의 판단 결과에 따라 갱신이 필요한 구역을 객체정보에 따른 갱신 구역, 영상정보의 point cloud로 이루어지는 공간정보에 따른 갱신 구역으로 분류하고, 분류된 갱신 구역에 대한 3차원 좌표값으로 이루어지는 Point Cloud와 3D 맵의 갱신 우선도 정보를 생성하여 지도 관리 서버(300)로 전송하는 구성요소이다.
이러한 갱신정보 생성부(230)는 갱신 여부 판단부(220)로부터 갱신이 필요한 구역 정보로 이루어지는 3D 맵 갱신정보를 수신받고, 해당 구역 정보에 대한 위치정보를 생성하되, 3차원 좌표값으로 이루어지는 Point Cloud로 이루어지는 위치정보 생성하여 지도 관리 서버(300)의 갱신 맵 DB(330)로 전송한다.
또한, 갱신정보 생성부(230)는 3D 맵의 갱신 우선도 정보를 생성하기 위하여 갱신이 필요한 구역 정보에 포함되는 객체정보, 공간정보를 기존 3D 맵 정보와 비교하여 일치하지 않는 공간 정보 및 객체정보를 추출하고, 추출된 불일치한 공간 정보 및 객체정보에 대한 불일치 정도를 나타내는 불일치량 산출값을 계산하고, 계산된 불일치량 산출값을 정렬하여 산출값이 가장 크게 형성되는 3D 맵 갱신정보를 우선적으로 정렬시켜 지도 관리 서버(300)로 전송한다.
이에, 지도 관리 서버(300)에서는 갱신정보 생성부(230)에서 전송되는 3D 맵 갱신정보의 우선순위에 따라 해당하는 갱신 구역에 대한 3D 맵의 갱신이 이루어지도록 함으로써, 보다 빠른 시간 내에 3D 맵의 업데이트를 수행할 수 있을 것이다.
지도 관리 서버(300)는 기존 3D 맵과 분석서버(200)의 갱신정보 생성부(230)로부터 전송되는 3D 맵의 갱신 우선도 정보에 포함된 3D 맵 갱신정보를 정합하여 기존의 3D 맵을 업데이트하는 매핑 및 정합모듈(310)과, 초기 제작이 완료된 기존 3D 맵이 저장되는 3D 맵 DB(320)와, 매핑 및 정합모듈(310)에 의해 업데이트(갱신)이 완료된 3D 맵 정보와 분석서버(200)에서 전송되는 3D 맵 갱신정보가 저장되는 갱신 맵 DB(330)를 포함하여 구성된다.
여기서, 매핑 및 정합모듈(310)은 3D 맵 갱신정보에 포함된 갱신이 이루어져야 할 기존 3D 맵의 구역만을 MMS, 또는 NDT 등의 방법을 이용하여 업데이트가 이루어지도록 할 수 있다.
또한, 3D 맵 DB(320)는 저장된 기존 3D 맵 정보를 구역별로 분류하고, 분류된 구역별 기존 3D 맵 정보를 저장하며, 인식 및 수집모듈(100)로 구역별로 분류된 기존 3D 맵 정보를 전송하여 해당하는 구역에 대한 영상정보의 수집 및 획득이 이루어지도록 하고, 분석서버(200)의 객체 인식부(210) 및 갱신 여부 판단부(220)로상기 영상정보와 동일한 구역에 해당하는 기존 3D 맵 정보를 전송하도록 구성된다.
이때, 3D 맵 정보의 구역별 분류는 X축 및 Y축에 대한 좌표정보로 이루어지거나, MMS, 또는 NTD 방식에 의해 point cloud로 분류될 수 있을 것이다.
또한, 갱신 맵 DB(330)는 갱신 여부 판단부(220)로부터 생성된 3D 맵 갱신정보와, 갱신정보 생성부(230)를 통해 생성된 기존 3D 맵의 갱신 우선도 정보가 저장되며, 매핑 및 정합 모듈(310)을 통해 갱신이 완료된 갱신 3D 맵에 대한 데이터를 저장한다.
이러한 갱신 맵 DB(330)는 3D 맵의 갱신 우선도 정보에 의해 매핑 및 정합 모듈(310)로 가장 먼저 업데이트가 이루어져야 할 기존 3D 맵의 구역에 대응하는 3D 맵 갱신정보를 전송하여 해당 구역에 대한 기존 3D 맵의 업데이트가 이루어지도록 구성되며, 해당 구역의 업데이트가 완료되면 3D 맵의 갱신 우선도 정보에 따라 순차적으로 차순에 위치하는 3D 맵 갱신정보를 매핑 및 정합 모듈(310)로 전송하도록 구성될 수 있다.
이하에서는, 전술한 3D 맵의 변경 구역 업데이트 시스템을 이용하여 기존 3D 맵의 일정 구역에 대한 업데이트를 하는 방법에 대해 설명하도록 한다.
3D 맵의 변경 구역 업데이트 방법은, 도 7 에 도시된 바와 같이, 지도 관리 서버(300)의 3D 맵 DB(320)에서 이미 제작이 이루어진 3D 맵의 일정 구역에 대한 좌표정보, 또는 point cloud로 이루어진 구역 정보를 인식 및 수집모듈(100)로 전송하고, 인식 및 수집모듈(100)은 전송받은 구역 정보를 수행하면서 해당 구역에 대한 영상정보를 수집하는 영상정보 수집단계(S410)를 수행한다.
여기서, 3D 맵의 일정 구역은 지도 관리 서버(300)의 3D 맵 DB(320)를 통해 구획된 공간 정보일 수 있다.
또한, 영상정보 수집단계(S410)에서는 3D 맵 DB(320)로부터 적어도 둘 이상의 구역정보로 이루어지는 복합 구역 정보가 수신되는 경우, 인식 및 수집모듈(100)로부터 가장 인접한 위치에 해당하는 구역부터 우선 수집 구역으로 구분하여 순차적으로 해당 구역들에 대한 정보의 수집이 이루어지도록 하는 단계를 더 수행활 수 있다.
또한, 영상정보 수집단계(S410)에서는 분석서버(200)의 갱신 여부 판단부(220)로부터 단일 구역 정보, 또는 복합 구역 정보에 대한 추가 영상정보의 요청 신호가 수신되는 경우, 해당 구역 정보 내에 주기적인 갱신 정보가 필요한 것으로 판단하고, 추가 영상정보의 요청 신호에 포함된 변경이 발생한 구역의 위치 정보에 대한 추가 영상정보를 수집하여 갱신 여부 판단부(220)로 전송하는 단계를 더 수행할 수 있다.
이후, 인식 및 수집모듈(100)은 수집된 영상정보를 분석서버(200)의 객체 인식부(210)로 전송하고, 객체 인식부(210)에서 수신된 영상정보를 분석하여 영상정보 내에 포함되어 있는 객체의 종류, 상태에 대한 객체 정보 및 객체의 위치정보를 생성하며, 생성된 객체 정보 및 객체의 위치정보를 갱신 여부 판단부(220)로 전송하는 영상정보 분석단계(S420)를 수행한다.
영상정보 분석단계(S420)는 상기 영상정보의 영상처리를 통해 영상정보 내에 존재하는 객체들을 블록화한 후, 해당 영상정보를 동일 면적을 이루는 다수개의 셀로 구획하고, 구획된 셀 중 객체가 존재하는 셀과, 블록화된 객체가 존재하지 않는 셀을 구분하는 단계를 수행한다.
이후, 구획된 셀 중 블록화된 객체가 존재하지 않는 셀을 영상정보에서 삭제한 후, 객체가 존재하는 셀 만을 분석하여 변경객체와 유동성 객체로 이루어지는 객체의 종류 및 상태에 대한 객체정보를 생성하고, 생성된 객체정보를 갱신 여부 판단부(220)로 전송한다.
또한, 영상정보 분석단계(S420)에서는 변경객체 중 공사 현장에서 존재하는 객체가 인식되는 경우, 인식 및 수집모듈(100)로 해당 구역에 대한 추가 영상정보를 요청하고, 인식 및 수집모듈(110)로부터 추가 영상정보가 수신되는 경우, 이를 분석하여 변경 상황 존재 정보를 생성하고 생성된 변경 상황 존재 정보를 갱신 여부 판단부(220)로 전송하는 단계를 더 수행할 수 있다.
다음으로, 영상정보 분석단계(S420)를 통해 생성된 객체정보, 객체 위치정보, 변경 상황 존재 정보를 바탕으로 갱신 여부 판단부(220)에서 기존 3D 맵의 해당 구역에 대한 갱신 여부를 판단하는 갱신 여부 판단단계(S430)를 수행한다.
갱신 여부 판단단계(S430)는 객체 인식부(210)로부터 전송된 객체정보가 기존 3D 맵의 구역에 존재하지 않는 경우, 해당 구역을 갱신이 필요한 구역으로 설정하고, 객체 인식부(210)로부터 변경 상황 존재 정보의 수신이 이루어지는 경우, 해당 구역을 주기적인 갱신이 필요한 구역으로 설정하며, 객체 인식부(210)로부터 전송된 객체가 기존 3D 맵에 존재하고, 존재하는 객체에 대한 위치정보가 기존 3D 맵의 위치정보와 일정 위치 내에 존재하는 경우, 해당 구역에 대한 갱신이 불필요한 구역으로 설정하여 해당 구역에 대한 갱신 여부를 판단한다.
이때, 갱신 여부 판단부(220)에 의해 객체정보, 객체 위치정보, 변경 상황 존재 정보와 기존 3D 맵과 비교 결과 해당 구역에 대한 갱신이 불필요한 경우 인식 및 수집모듈(100)의 영상수집을 종료하는 수집 종료신호를 전송할 수 있으며, 3D 맵의 갱신 과정을 종료하도록 할 수 있다.
그러나, 갱신 여부 판단부(220)에 의해 객체정보, 객체 위치정보, 변경 상황 존재 정보와 기존 3D 맵과 비교 결과 해당 구역에 대한 갱신이 필요하다 판단되는 경우에는 추가 영상정보에 대한 주기적인 수집 요청 신호를 생성하여 인식 및 수집모듈(100)로 전송함과 동시에 설정된 구역에 대한 갱신 여부를 더 판단하고, 갱신이 필요하다고 판단되는 설정된 구역에 대한 3D 맵 갱신정보를 갱신 정보 생성부(230)로 전송하여 해당 구역에 대한 기존 3D 맵의 갱신이 이루어지도록 한다.
한편, 갱신 여부 판단단계(S430)는 객체정보, 객체 위치정보, 변경 상황 존재 정보와 기존 3D 맵과의 비교를 통해 갱신 여부를 판단할 수 있으나, 이에 한정하는 것은 아니다.
즉, 갱신 여부 판단단계(S430)에서는 인식 및 수집부(100)에서 수집한 영상정보의 공간 정보와 기존의 3D map의 공간정보를 비교한 후, 일정 면적 이상 일치하지 않는 공간이 존재하는 경우, 해당하는 공간에 대한 갱신이 필요한 구역으로 설정하여 해당 구역에 대한 기존 3D 맵의 갱신이 이루어지도록 할 수 있다.
또한, 갱신 여부 판단단계(S430)에서는 인식 및 수집모듈(100)에서 수집한 영상정보와 기존의 3D 맵을 비교하여 거리가 일치하지 않는 부분이 존재할 경우 갱신이 필요한 구역으로 설정하고 설정된 구역에 대한 기존 3D 맵의 갱신이 이루어지도록 할 수 있다.
아울러, 갱신 여부 판단단계(S430)에서는 해당 구역에 대한 기존 3D 맵의 갱신이 이루어지도록 판단되면, 갱신정보 생성부(230)에서 객체정보에 따른 갱신 구역, 영상정보의 point cloud로 이루어지는 공간정보에 따른 갱신 구역으로 분류하고, 분류된 갱신 구역에 대한 3차원 좌표값으로 이루어지는 Point Cloud와 3D 맵의 갱신 우선도 정보를 생성하여 지도 관리 서버(300)로 전송하는 단계를 더 수행할 수 있다.
다음으로, 갱신 여부 판단계(S430)를 통해 생성된 3D 맵의 갱신 우선도 정보가 갱신정보 생성부(230)로부터 지도 관리 서버(300)로 전송되는 경우, 매핑 및 정합모듈(310)을 통해 3D 맵의 갱신 우선도 정보에 따라 분류된 갱신 구역의 우선순위에 따라 상기 갱신 구역과 대응되는 기존 3D 맵의 구역만을 갱신하는 기존 3D 맵 갱신단계(S440)를 수행한다.
다음으로, 기존 3D 맵의 구역에 대한 갱신이 완료되면, 갱신 여부 판단부(220)로부터 생성된 3D 맵 갱신정보와, 갱신정보 생성부(230)를 통해 생성된 기존 3D 맵의 갱신 우선도 정보 및 매핑 및 정합 모듈(310)을 통해 갱신이 완료된 갱신 3D 맵에 대한 데이터를 갱신 맵 DB(330)에 저장하는 갱신된 3D 맵 저장단계(S450)를 더 수행한다.
한편, 본 발명에 기재된 네트워크는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 인식 및 수집모듈 200: 분석서버
210: 객체 인식부 220: 갱신 여부 판단부
230: 갱신정보 생성부 300: 지도 관리 서버
310: 매핑 및 정합모듈 320: 3D 맵 DB
330: 갱신 맵 DB

Claims (10)

  1. 기존 3D 맵의 분류된 구역 정보를 수신받고, 수신된 구역 정보에 대응하는 영상정보를 수집하는 인식 및 수집모듈;
    상기 영상정보를 수신받아 분석하고, 분석된 영상정보와 상기 영상정보에 대응하는 상기 기존 3d 맵의 구역 정보를 비교하여 상기 구역 정보에 대한 갱신 여부를 판단하며, 갱신이 필요한 경우, 해당 구역을 갱신 구역으로 설정하고 설정된 갱신 구역에 대한 3D 맵 갱신정보를 생성하는 분석서버; 및
    상기 기존 3D 맵이 저장되고, 저장된 상기 기존 3D 맵을 상기 인식 및 수집모듈과 분석서버로 전송하며, 상기 분석서버로부터 상기 3D 맵 갱신정보가 수신되는 경우, 상기 갱신 구역에 대응하는 상기 기존 3D 맵의 일정 구역만을 업데이트하는 지도 관리 서버;
    포함하고,
    상기 분석서버는,
    상기 영상정보를 분석하여 해당 영상정보 내에서의 객체를 인식하고, 인식한 객체의 종류 및 상태에 대한 객체정보 및 상기 객체의 객체 위치 정보를 생성하는 객체 인식부;
    상기 객체정보 및 객체 위치 정보를 전송받아 분석하고, 분석된 객체 분석 결과 정보와 상기 기존 3D 맵을 비교하여 상기 기존 3D 맵의 일정 구역에 대한 갱신 여부를 판단하는 갱신 여부 판단부;
    상기 갱신 여부 판단부의 판단 결과에 따라 갱신이 필요한 구역을 분류하고, 분류된 구역에 대한 3차원 좌표값으로 이루어지는 Point Cloud와 3D 맵의 갱신 우선도 정보를 생성하여 상기 지도 관리 서버로 전송하는 갱신정보 생성부;
    포함하고,
    상기 객체 인식부는,
    상기 객체를 계박스(Bound Box)로 블록화한 후, 변경객체와 유동성 객체로 분류하고, 상기 영상정보를 동일 면적을 이루는 다수개의 셀로 구획하여, 구획된 셀 중 객체가 존재하는 셀과 블록화된 객체가 존재하지 않는 셀을 구분하되, 블록화된 객체가 존재하지 않는 셀을 영상정보에서 삭제한 후, 객체가 존재하는 셀 만을 분석하여 객체의 종류 및 상태에 대한 객체정보를 생성하고,
    상기 인식 및 수집모듈로부터 추가 영상정보가 수신되는 경우, 상기 변경객체에 대한 변경 상황 존재 정보를 생성하되,
    상기 변경객체는 공사 현장에서 확인이 가능한 객체로, 라바콘, 임시 격벽, 크레인, 안전 표지판, 공사 표지판 또는 자재 중 어느 하나 이고
    상기 유동성 객체는 차량 또는 보행자를 포함하는 이동성을 보유한 객체 또는 생활 쓰레기를 포함한 유동적인 장애물인 것을 특징으로 하는 3D 맵의 변경 구역 업데이트 시스템.
  2. 제1항에 있어서,
    상기 인식 및 수집모듈은 상기 지도 관리 서버로부터 복합 구역 정보가 수신되는 경우, 가장 인접한 위치에 해당하는 구역부터 우선 수집 구역으로 구분하여 순차적으로 해당 구역들에 대한 영상정보를 수집하는 것을 특징으로 하는 3D 맵의 변경 구역 업데이트 시스템.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 갱신 여부 판단부는,
    객체정보가 기존 3D 맵의 구역에 존재하지 않거나, 영상정보의 공간 정보와 기존의 3D 맵의 공간정보를 비교한 후, 일정 면적 이상 일치하지 않는 공간이 존재하거나, 영상정보의 Depth Map과 기존의 3D 맵을 비교하여 거리가 일치하지 않는 부분이 존재하는 경우, 기존 3D 맵의 일정 구역에 대한 갱신이 필요하다고 판단하는 것을 특징으로 하는 3D 맵의 변경 구역 업데이트 시스템.
  6. 제1항에 있어서,
    상기 지도 관리 서버는,
    상기 기존 3D 맵과 상기 분석서버로부터 전송되는 3D 맵 갱신정보를 정합하여 상기 기존 3D 맵의 일정 구역을 업데이트하는 매핑 및 정합모듈;
    상기 기존 3D 맵이 저장되는 3D 맵 DB; 및
    상기 매핑 및 정합모듈에 의해 업데이트된 3D 맵 정보와 상기 분석서버에서 전송되는 3D 맵 갱신정보가 저장되는 갱신 맵 DB;
    를 포함하는 것을 특징으로 하는 3D 맵의 변경 구역 업데이트 시스템.
  7. 3D 맵의 변경 구역 업데이트 시스템을 이용한 3D 맵의 변경 구역 업데이트 방법에 있어서,
    (a) 지도 관리 서버에서 기존 3D 맵의 일정 구역에 대한 좌표정보, 또는 point cloud로 이루어진 구역 정보를 인식 및 수집모듈로 전송하여 상기 구역 정보에 대응하는 해당 구역에 대한 영상정보를 수집하는 영상정보 수집단계;
    (b) 상기 인식 및 수집모듈로부터 상기 영상정보를 수신받고, 수신된 영상정보를 분석하여 객체 정보 및 객체의 위치정보와 변경 상황 존재 정보를 생성하는 영상정보 분석단계;
    (c) 상기 객체정보, 객체 위치정보, 변경 상황 존재 정보를 갱신 여부 판단부로 전송하고, 갱신 여부 판단부에서 기존 3D 맵의 해당 구역에 대한 갱신 여부를 판단하고, 갱신이 필요한 경우 3D 맵 갱신정보를 생성하여 지도 관리 서버로 전송하는 갱신 여부 판단단계;
    (d) 상기 지도 관리 서버에서 상기 3D 맵 갱신정보를 바탕으로 갱신되어야 할 기존 3D 맵의 일정 구역만을 갱신하는 기존 3D 맵 갱신단계;
    (e) 갱신이 완료된 갱신 3D 맵에 대한 데이터를 지도 관리 서버의 갱신 맵 DB에 저장하는 갱신된 3D 맵 저장단계;
    를 포함하고,
    상기 (b) 단계는,
    (b1) 상기 객체들을 블록화한 후, 해당 영상정보를 다수개의 셀로 구획하고, 구획된 셀 중 상기 객체가 존재하는 셀과, 상기 객체가 존재하지 않는 셀을 구분하는 단계;
    (b2) 상기 객체가 존재하지 않는 셀을 영상정보에서 삭제하는 단계;
    (b3) 상기 객체가 존재하는 셀 만을 분석하여 변경객체와 유동성 객체로 이루어지는 객체의 종류 및 상태에 대한 객체정보를 생성하고, 생성된 객체정보를 갱신 여부 판단부로 전송하는 단계;
    (b4) 상기 변경객체 중 공사 현장에서 존재하는 객체가 인식되는 경우, 상기 갱신 여부 판단부에서 상기 인식 및 수집모듈로 해당 구역에 대한 추가 영상정보를 요청하는 단계; 및
    (b5) 상기 인식 및 수집모듈에서 추가 영상정보를 수집하여 객체 인식부로 전송하여 상기 추가 영상정보의 분석을 통해 변경 상황 존재 정보를 생성하고 생성된 변경 상황 존재 정보를 상기 갱신 여부 판단부로 전송하는 단계;
    를 더 포함하고,
    상기 (c) 단계는,
    상기 기존 3D 맵의 갱신이 이루어지도록 판단되면, 갱신정보 생성부에서 객체정보에 따른 갱신 구역, 영상정보의 point cloud로 이루어지는 공간정보에 따른 갱신 구역으로 분류하고, 분류된 갱신 구역에 대한 Point Cloud와 3D 맵의 갱신 우선도 정보를 생성하여 지도 관리 서버로 전송하는 단계를 더 수행하고,
    상기 변경객체는 공사 현장에서 확인이 가능한 객체로, 라바콘, 임시 격벽, 크레인, 안전 표지판, 공사 표지판 또는 자재 중 어느 하나 이고,
    상기 유동성 객체는 차량 또는 보행자를 포함하는 이동성을 보유한 객체 또는 생활 쓰레기를 포함한 유동적인 장애물인 것을 특징으로 하는 3D 맵의 변경 구역 업데이트 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 (c) 단계는,
    객체정보, 객체 위치정보, 변경 상황 존재 정보와 기존 3D 맵과의 비교하거나, 영상정보의 공간 정보와 기존의 3D map의 공간정보를 비교하여 상기 기존 3D 맵의 일정 구역에 대한 갱신 여부를 판단하는 것을 특징으로 하는 3D 맵의 변경 구역 업데이트 방법.
  10. 삭제
KR1020200079450A 2020-06-29 2020-06-29 3d 맵의 변경 구역 업데이트 시스템 및 그 방법 KR102414307B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200079450A KR102414307B1 (ko) 2020-06-29 2020-06-29 3d 맵의 변경 구역 업데이트 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200079450A KR102414307B1 (ko) 2020-06-29 2020-06-29 3d 맵의 변경 구역 업데이트 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20220001274A KR20220001274A (ko) 2022-01-05
KR102414307B1 true KR102414307B1 (ko) 2022-06-29

Family

ID=79348926

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200079450A KR102414307B1 (ko) 2020-06-29 2020-06-29 3d 맵의 변경 구역 업데이트 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102414307B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023243558A1 (ja) * 2022-06-15 2023-12-21 ソニーグループ株式会社 情報処理装置、プログラムおよび情報処理システム
KR102624907B1 (ko) 2022-07-18 2024-01-15 주식회사 브이알크루 3차원 지도를 업데이트하기 위한 방법 및 장치
WO2024076020A1 (ko) * 2022-10-07 2024-04-11 삼성전자 주식회사 공간 맵을 생성하는 방법 및 서버
KR102593827B1 (ko) * 2022-10-31 2023-10-26 주식회사 와따 라이다 센서를 이용한 건설 현장의 작업관리 솔루션 제공방법, 장치 및 컴퓨터프로그램

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190258878A1 (en) * 2018-02-18 2019-08-22 Nvidia Corporation Object detection and detection confidence suitable for autonomous driving
KR102052114B1 (ko) * 2018-12-13 2019-12-04 한국도로공사 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120079341A (ko) * 2011-01-04 2012-07-12 팅크웨어(주) 맵데이터갱신방법, 이를 수행하는 전자기기 및 기록매체
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
KR102436962B1 (ko) * 2017-09-19 2022-08-29 삼성전자주식회사 운송 장치에 구비된 전자 장치 및 이의 제어 방법
KR102221695B1 (ko) * 2018-01-15 2021-03-02 에스케이텔레콤 주식회사 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
KR102015388B1 (ko) 2019-01-21 2019-08-28 주식회사 지공간솔루션 무인항공기와 지상용 3d라이다스캐너를 활용한 정사영상 3차원 포인트클라우드 db 구축기반 가상현실 공간 맵 제공시스템 및 제공방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190258878A1 (en) * 2018-02-18 2019-08-22 Nvidia Corporation Object detection and detection confidence suitable for autonomous driving
KR102052114B1 (ko) * 2018-12-13 2019-12-04 한국도로공사 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법

Also Published As

Publication number Publication date
KR20220001274A (ko) 2022-01-05

Similar Documents

Publication Publication Date Title
KR102414307B1 (ko) 3d 맵의 변경 구역 업데이트 시스템 및 그 방법
US10078790B2 (en) Systems for generating parking maps and methods thereof
EP3343503B1 (en) High-precision map data processing method and apparatus, storage medium and device
US10198632B2 (en) Survey data processing device, survey data processing method, and survey data processing program
Zhu et al. 3d lidar point cloud based intersection recognition for autonomous driving
CN111427979B (zh) 基于激光雷达的动态地图构建方法、系统及介质
CN112069856A (zh) 地图生成方法、驾驶控制方法、装置、电子设备及系统
EP2849117B1 (en) Methods, apparatuses and computer program products for automatic, non-parametric, non-iterative three dimensional geographic modeling
CN111624622B (zh) 障碍物检测方法、装置
CN112305559A (zh) 基于地面定点激光雷达扫描的输电线距离测量方法、装置、系统和电子设备
US11798225B2 (en) 3D building generation using topology
Shokri et al. Utility poles extraction from mobile LiDAR data in urban area based on density information
CN113378844A (zh) 工程垃圾堆放的分割方法、装置、设备及计算机存储介质
CN117130010A (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN115830578B (zh) 物品巡检方法、装置和电子设备
CN115248443A (zh) 基于激光雷达的地图构建方法、系统、设备及存储介质
CN114998863A (zh) 目标道路识别方法、装置、电子设备以及存储介质
CN113850909A (zh) 点云数据处理方法、装置、电子设备及自动驾驶设备
Yu et al. A cue line based method for building modeling from LiDAR and satellite imagery
Pendyala et al. Comparative Study of Automatic Urban Building Extraction Methods from Remote Sensing Data
CN112308904A (zh) 一种基于视觉的建图方法、装置及车载终端
Chu et al. Convergent application for trace elimination of dynamic objects from accumulated lidar point clouds
Petkova Deploying drones for autonomous detection of pavement distress
CN114859942B (zh) 一种机器人运动控制方法、装置、电子设备及存储介质
CN115620515B (zh) 基于无人机视频的互通立交交通量的采集方法及相关装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right