KR102530521B1 - 드론과 로봇의 협업 기반 컨텍스트 맵 구축 방법 - Google Patents

드론과 로봇의 협업 기반 컨텍스트 맵 구축 방법 Download PDF

Info

Publication number
KR102530521B1
KR102530521B1 KR1020220136214A KR20220136214A KR102530521B1 KR 102530521 B1 KR102530521 B1 KR 102530521B1 KR 1020220136214 A KR1020220136214 A KR 1020220136214A KR 20220136214 A KR20220136214 A KR 20220136214A KR 102530521 B1 KR102530521 B1 KR 102530521B1
Authority
KR
South Korea
Prior art keywords
context
map
ground
location
specific area
Prior art date
Application number
KR1020220136214A
Other languages
English (en)
Inventor
이석준
최충재
성낙명
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to PCT/KR2022/016139 priority Critical patent/WO2024085286A1/ko
Priority to KR1020220136214A priority patent/KR102530521B1/ko
Application granted granted Critical
Publication of KR102530521B1 publication Critical patent/KR102530521B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3859—Differential updating map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/0031—

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

드론과 로봇의 협업 기반 컨텍스트 맵 구축 방법이 제공된다. 본 발명의 실시예에 따른 컨텍스트 맵 구축 방법은, 대상 지역을 그리드 형태로 구획하여 다수의 구역들을 구분한 2D 그리드 맵을 생성하고, 대상 지역의 특정 구역에 대한 컨텍스트를 획득하는 단계; 특정 구역의 위치를 파악하며, 획득한 컨텍스트를 파악된 위치를 기초로 2D 그리드 맵의 해당 구역에 매칭하여 업데이트 한다. 이에 의해, 다양한 이동체들이 협업하여 획득/수집한 구체적인 컨텍스트들을 대상 지역이 그리드 형태로 구획된 컨텍스트 맵에 매칭하여 구축/업데이트 함으로써, 다양한 컨텍스트를 이용한 고품질의 서비스 제공이 가능해진다.

Description

드론과 로봇의 협업 기반 컨텍스트 맵 구축 방법{Context map build method based on collaboration between drones and robots}
본 발명은 맵 제작 기술에 관한 것으로, 더욱 상세하게는 드론, 로봇과 같은 다양한 이동체들이 협업하여 실외 환경의 컨텍스트 맵을 구축하는 방법에 관한 것이다.
맵(Map)은 이동체의 다양한 센서들을 통해 획득한 데이터들을 활용하여 구축한다. SLAM(Simultaneous Localization and Mapping)은 대표적인 맵 구축 기술이다.
이와 같은 방식에 의해 구축된 맵은 구체적인 지리적인 정보 이외에 다른 정보, 이를 테면 컨텍스트(context : 상황인지 정보)가 없다. 시맨틱 기술을 통해 대략적인 환경 정보가 부가되어 있는 맵이 있기는 하지만, 자율주행을 위한 경로 계획(path planning)이나 위험 상황의 관제 등을 위해 활용하기에는 매우 미흡하다.
한편 맵에 컨텍스트를 반영하는 경우, 다양한 이동체들로부터 획득된 많은 컨텍스트들을 포함시키기 위한 방안 역시 고려되어져야 한다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 드론, 로봇과 같은 다양한 이동체들이 협업하여 실외 환경의 컨텍스트 맵을 구축하는 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 컨텍스트 맵 구축 방법은, 대상 지역을 그리드 형태로 구획하여 다수의 구역들을 구분한 2D 그리드 맵을 생성하는 단계; 대상 지역의 특정 구역에 대한 컨텍스트를 획득하는 단계; 특정 구역의 위치를 파악하는 단계; 획득한 컨텍스트를 파악된 위치를 기초로 2D 그리드 맵의 해당 구역에 매칭하여 업데이트 하는 단계;를 포함한다.
생성단계는, 대상 지역의 3D 맵을 생성하는 단계; 생성된 3D 맵을 2D 맵으로 프로젝션하는 단계; 생성된 2D 맵을 그리드 형태로 구획하여 다수의 구역들을 구분하는 단계;를 포함할 수 있다.
파악 단계는, 획득단계에서 지상 이동체가 컨텍스트를 획득하였으면, 지상 이동체가 측위한 자신의 위치를 특정 구역의 위치로 취급하는 단계;를 포함할 수 있다.
파악 단계는, 획득단계에서 공중 이동체가 컨텍스트를 획득하였으면, 공중 이동체가 특정 구역의 위치를 산출하는 단계;를 포함할 수 있다.
산출 단계는, 지상 이동체들과 특정 구역이 나타난 영상을 획득하는 단계; 지상 이동체들과 특정 구역에 대한 영상에서의 위치들을 계산하는 제1 계산단계; 지상 이동체들의 2D 그리드 맵에서의 위치들을 획득하는 단계; 지상 이동체들에 대한 영상에서의 위치들과 지상 이동체들의 2D 그리드 맵에서의 위치들을 이용하여, 획득단계에서 획득된 영상의 좌표계를 2D 그리드 맵의 좌표계로 변환하기 위한 변환 행렬을 결정하는 단계; 및 결정된 변환 행렬을 이용하여 특정 구역의 위치를 계산하는 제2 계산단계;를 포함할 수 있다.
결정 단계는, 지상 이동체들의 영상에서의 위치들에 변환 행렬을 적용하여 위치들을 변환하는 제1 변환단계; 지상 이동체들 중 특정 지상 이동체에 대한 제1 변환단계에서 변환된 위치를 2D 그리드 맵에서의 위치로 교체하는 단계; 특정 지상 이동체의 교체된 위치를 기준으로, 나머지 지상 이동체들에 대한 제1 변환단계에서 변환된 위치들을 다시 변환하는 제2 변환단계; 제2 변환단계에서 변환된 나머지 지상 이동체들의 위치들과 2D 그리드 맵에서의 위치들 간의 각 오차들을 계산하는 제3 계산단계; 계산된 오차들의 전체 합이 정해진 값 미만이 될 때까지, 변환 행렬을 수정하면서 제1 변환단계 내지 제3 계산단계를 반복하는 단계;를 포함할 수 있다.
제2 계산단계는, 계산된 오차들의 전체 합이 정해진 값 미만이 될 때의 변환 행렬을 특정 구역에 대한 영상에서의 위치에 적용하여 위치를 다시 변환하는 제3 변환단계; 특정 지상 이동체의 교체된 위치를 기준으로, 제3 변환단계에서 변환된 위치를 다시 변환하는 제4 변환단계; 제4 변환단계에서 변환된 위치를 특정 구역의 위치로 출력하는 단계;를 포함할 수 있다.
컨텍스트들은, 해당 구역의 장소에 대한 정보, 해당 구역에 있는 객체들에 대한 정보, 해당 구역의 상태에 대한 정보를 포함할 수 있다.
객체들에 대한 정보는, 해당 구역에 있는 객체들의 종류와 수에 대한 정보를 포함하고, 상태에 대한 정보는, 해당 구역의 혼잡도, 위험 요소에 대한 정보를 포함할 수 있다.
본 발명의 다른 실시예에 따른 컨텍스트 맵 구축 시스템은, 대상 지역의 특정 구역에 대한 컨텍스트를 획득하는 통신부; 및 대상 지역을 그리드 형태로 구획하여 다수의 구역들을 구분한 2D 그리드 맵을 생성하고, 특정 구역의 위치를 파악하여 통신부를 통해 획득한 컨텍스트를 2D 그리드 맵의 해당 구역에 매칭하여 업데이트하는 프로세서;를 포함한다.
본 발명의 또 다른 실시예에 따른 컨텍스트 맵 구축 방법은, 대상 지역의 특정 구역에 대한 컨텍스트를 획득하는 단계; 특정 구역의 위치를 파악하는 단계; 획득한 컨텍스트를 파악된 위치를 기초로, 대상 지역을 그리드 형태로 구획하여 다수의 구역들을 구분한 2D 그리드 맵의 해당 구역에 매칭하여 업데이트 하는 단계; 및 업데이트 되는 2D 그리드 맵을 제공하는 단계;를 포함한다.
본 발명의 또 다른 실시예에 따른 컨텍스트 맵 구축 시스템은, 대상 지역의 특정 구역에 대한 컨텍스트를 획득하는 통신부; 및 특정 구역의 위치를 파악하여 통신부를 통해 획득한 컨텍스트를 대상 지역을 그리드 형태로 구획하여 다수의 구역들을 구분한 2D 그리드 맵의 해당 구역에 매칭하여 업데이트 하고, 업데이트 되는 2D 그리드 맵을 통신부를 통해 외부 개체들에게 제공하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 드론, 로봇, 자율 주행차와 같은 다양한 이동체들이 협업하여 획득/수집한 구체적인 컨텍스트들을 대상 지역이 그리드 형태로 구획된 컨텍스트 맵에 매칭하여 구축/업데이트 함으로써, 다양한 컨텍스트를 이용한 고품질의 서비스 제공이 가능해진다.
또한 본 발명의 실시예들에 따르면, 드론과 같은 공중 이동체가 획득한 컨텍스트에 대해서도 로봇과 같은 지상 이동체의 위치들을 활용하여 컨텍스트 발생 지점을 정확하게 파악할 수 있어, 컨텍스트 맵의 정확도를 높일 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 컨텍스트 맵 구축 방법의 설명에 제공되는 흐름도,
도 2는 드론과 이동로봇들이 대상 지역에서 컨텍스트들을 획득하고 있는 상황을 예시한 도면,
도 3은, 도 1의 S150단계의 상세 흐름도,
도 4는 지상 이동체들 중 하나가 컨텍스트를 감지한 상황을 예시한 도면,
도 5는 지상 이동체에 의해 감지된 컨텍스트를 예시한 도면,
도 6는 감지된 컨텍스트를 파악된 위치를 기초로 컨텍스트 맵의 해당 구역에 매칭한 결과를 나타낸 도면,
도 7 및 도 8은, 도 3의 S200단계의 상세 흐름도,
도 9는 공중 이동체가 영상을 획득하는 상황을 예시한 도면,
도 10은 공중 이동체에 의해 감지된 컨텍스트를 예시한 도면,
도 11은 감지된 컨텍스트를 산출된 위치를 기초로 컨텍스트 맵의 해당 구역에 매칭한 결과를 나타낸 도면,
도 12는 본 발명의 다른 실시예에 따른 컨텍스트 맵 구축 시스템의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 지상 이동체와 공중 이동체가 협업하여 실외 환경에서 컨텍스트들을 획득하여 컨텍스트 맵을 구축하고 업데이트 하는 방법을 제시한다.
컨텍스트 맵에 융합되는 컨텍스트는 대략적인 환경 정보가 아닌 구체적인 상황인지 정보이며, 이는 컨텍스트 맵을 그리드 형태로 구획한 각 구역들에 매칭되어 저장된다.
도 1은 본 발명의 일 실시예에 따른 컨텍스트 맵 구축 방법의 설명에 제공되는 흐름도이다.
컨텍스트 맵 구축을 위해 먼저 대상 지역의 3D 맵을 생성하고(S110), 생성된 3D 맵을 2D 평면으로 프로젝션 하여 2D 맵으로 변환한다(S120). 다음 S120단계에서 생성된 2D 맵을 그리드 형태로 구획하여, 대상 지역이 다수의 구역들로 구분된 2D 그리드 맵을 생성한다(S130).
S110단계 내지 S130단계를 통해 컨텍스트 맵 구축에 필요한 2D 그리드 맵이 확보되었다. 이하에서는 컨텍스트들을 획득하여 2D 그리드 맵에 융합시켜 컨텍스트 맵을 구축하는 과정에 대해 설명한다.
이를 위해, 대상 지역의 해당 구역들에서 컨텍스트들을 획득/수집한다(S140). 컨텍스트는 대상 지역을 이동하고 있는 이동체로부터 제공받을 수 있다. 한 대가 아닌 여러 대의 이동체들로부터 컨텍스트들을 제공받는 것도 가능하다. 이동체들이 다수라 할지라도 컨텍스트 맵은 하나만 구축된다.
이동체는 보유하고 있는 센서들(이미지 센서, 라이다, 레이더, 환경 센서 등)을 기반으로 다양한 상황들을 인지하여 컨텍스트를 생성할 수 있다. 이동체는 드론 등과 같은 공중 이동체와 이동로봇, 자율 주행차 등과 같은 지상 이동체로 구분될 수 있다. 도 2에는 드론과 이동로봇들이 대상 지역에서 컨텍스트들을 획득하고 있는 상황을 예시하였다.
컨텍스트는 해당 구역에 대한 1) 장소 정보, 2) 객체 정보, 3) 상태 정보를 포함한다. 1) 장소 정보는 해당 구역이 어떠한 장소(도로, 건물, 공원, 인도 등) 인지 설명하여 주는 정보이다. 2) 객체 정보는 해당 구역에 있는 객체들(사람, 차량 등)을 설명하여 주는 정보로, 객체의 종류와 수에 대한 정보를 포함한다. 3) 상태 정보는 해당 구역의 상태를 설명하여 주는 정보로, 혼잡도(도로 정체 여부, 이동 가능 속도, 사람들의 응집도 등)와 위험 요소(장애물, 방해물, 화재, 침수, 범죄 등)에 대한 정보를 포함한다.
컨텍스트들이 획득되면, 컨텍스트들이 발생한 지점들의 위치 정보들을 파악하여야 한다(S150). 위치 정보는 컨텍스트를 컨텍스트 맵에서 해당 구역에 매칭시키는데 필요하기 때문이다. 위치 정보들을 파악하는 구체적인 방법에 대해서는, 도 3을 참조하여 상세히 후술한다.
다음 S140단계에서 획득된 컨텍스트들을 S150단계에서 파악된 위치 정보들을 기초로 2D 그리드 맵의 해당 구역들에 매칭하여 컨텍스트 맵을 업데이트 한다(S160).
S160단계를 통해 업데이트 되는 컨텍스트 맵은 이동체의 자율 주행을 위한 경로 생성 및 지역 관제 등에 활용될 수 있다(S170). S170단계에서 컨텍스트 맵을 활용하는 이동체는 S140단계에서 컨텍스트를 획득하여 제공하여 주는 이동체, 즉 컨텍스트 맵의 업데이트에 기여하는 이동체일 수도 있고, 그렇지 않은 이동체, 즉 컨텍스트 맵의 업데이트에 기여하지 않는 이동체일 수도 있다.
이하에서는 컨텍스트 발생 지점을 파악하는 구체적인 방법에 대해 도 3을 참조하여 상세히 설명한다. 도 3은 도 1의 S150단계의 상세 흐름도이다. 컨텍스트 발생 지점의 위치 정보는 컨텍스트를 감지한 이동체의 종류에 따라 다른 방식으로 파악된다.
구체적으로 도 3에 도시된 바와 같이 컨텍스트를 감지한 이동체가 이동로봇과 같은 지상 이동체의 경우(S151-Y), 지상 이동체가 측위한 자신의 위치를 컨텍스트 발생 지점으로 취급한다(S152). 지상 이동체는 컨텍스트 발생 지점에 위치하고 있기 때문이다.
도 4에는 지상 이동체들 중 하나가 컨텍스트를 감지한 상황을 예시하였고, 도 5에는 지상 이동체에 의해 감지된 컨텍스트를 예시하였으며, 도 6에는 감지된 컨텍스트를 S152단계를 통해 파악된 위치를 기초로 컨텍스트 맵의 해당 구역에 매칭한 결과를 나타내었다.
다시 도 3을 참조하여 설명한다. 컨텍스트를 획득한 이동체가 드론과 같은 공중 이동체의 경우(S153-Y), 공중 이동체가 컨텍스트 발생 지점의 위치를 계산한다(S200). 공중 이동체는 컨텍스트 발생 지점에 있지 않고, 그로부터 멀리 떨어진 구역에 위치할 수도 있기 때문이다.
공중 이동체는 컨텍스트 발생 지점의 위치를 계산하기 위해 해당 지점의 주변에 있는 지상 이동체들의 위치들을 활용한다. 공중 이동체가 컨텍스트 발생 지점의 위치를 계산하는 과정에 대해, 이하에서 도 7과 도 8을 참조하여 상세히 설명한다. 도 7과 도 8은 도 3의 S200단계의 상세 흐름도이다.
컨텍스트 발생 지점의 위치를 계산하기 위해, 공중 이동체는 먼저 지상 이동체들과 컨텍스트 발생 지점이 나타난 영상을 획득한다(S205). S205단계에서 공중 이동체가 영상을 획득하는 상황을 도 9에 예시하였다.
다음 공중 이동체는 지상 이동체들과 컨텍스트 발생 지점에 대한 영상에서의 위치들을 계산한다(S210). S210단계에서 계산하는 영상에서의 위치란 영상에서의 픽셀 좌표를 의미한다.
그리고 공중 이동체는 영상에 나타난 지상 이동체들의 2D 그리드 맵에서의 위치 정보들을 획득한다(S215). 지상 이동체들의 2D 그리드 맵에서의 위치들은 지상 이동체들의 실제 위치들을 의미한다.
이후 공중 이동체는 S210단계에서 계산한 지상 이동체들의 영상에서의 위치들에 '영상의 좌표계를 2D 그리드 맵의 좌표계로 변환하기 위한 영상-맵 좌표 변환 행렬'을 적용하여 위치들을 변환한다(S220).
다음 공중 이동체는 지상 이동체들 중 특정(어느 하나의) 지상 이동체에 대해 S220단계에서 변환된 위치를 S215단계에서 획득된 2D 그리드 맵에서의 위치로 교체한다(S225).
그리고 S225단계에서 특정 지상 이동체의 교체된 위치를 기준으로, 나머지 지상 이동체들에 대해 S220단계에서 영상-맵 좌표 변환 행렬에 의해 변환된 위치들을 다시 변환한다(S230). S230단계에서의 위치 변환은 '특정 지상 이동체의 S225단계를 통한 위치 이동'과 동일하게 나머지 지상 이동체들의 위치들을 평행 이동하는 것이다.
그리고 도 8에 도시된 바와 같이 공중 이동체는 S230단계에서 변환된 나머지 지상 이동체들의 위치들과 S215단계에서 획득된 나머지 지상 이동체들의 2D 그리드 맵에서의 위치들 간의 각 오차(차이)들을 계산한다(S235).
이후 S235단계에서 계산된 오차들의 전체 합이 정해진 값 미만이 될 때까지, 공중 이동체는 영상-맵 좌표 변환 행렬을 수정하면서 S220단계 내지 S235단계를 반복한다(S240, S245). 이는 최적의 변환 행렬을 결정하는 과정에 해당한다.
한편 S235단계에서 계산된 오차들의 전체 합이 정해진 값 미만이 되면(S240-Y), 공중 이동체는 도 7의 S210단계에서 계산된 컨텍스트의 발생 지점에 대한 영상에서의 위치에 최종 결정된 영상-맵 좌표 변환 행렬을 적용하여 위치를 변환한다(S250).
다음 공중 이동체는 S225단계에서 특정 지상 이동체의 교체된 위치를 기준으로, S250단계에서 영상-맵 좌표 변환 행렬에 의해 변환된 컨텍스트의 발생 지점의 위치를 다시 변환한다(S255). S255단계에서의 위치 변환은 '특정 지상 이동체의 S225단계를 통한 위치 이동'과 동일하게 컨텍스트 발생 지점의 위치를 평행 이동하는 것이다.
그리고 공중 이동체는 S255단계에서 변환된 컨텍스트 발생 지점의 위치를 출력한다(S260).
도 10에는 공중 이동체에 의해 감지된 컨텍스트를 예시하였으며, 도 11에는 감지된 컨텍스트를 도 7과 도 8에 도시된 단계들을 통해 파악된 위치를 기초로 컨텍스트 맵의 해당 구역에 매칭한 결과를 나타내었다.
도 12는 본 발명의 다른 실시예에 따른 컨텍스트 맵 구축 시스템의 블럭도이다. 본 발명의 실시예에 따른 컨텍스트 맵 구축 시스템은 도시된 바와 같이, 통신부(310), 프로세서(320) 및 저장부(330)를 포함하여 구축된다.
통신부(310)는 대상 지역에서 이동하는 이동체와 상호 통신을 위한 수단이다.
프로세서(320)는 대상 지역에 대한 2D 그리드 맵을 생성하고, 통신부(310)를 통해 이동체들로부터 획득되는 컨텍스트들을 2D 그리드 맵에 매칭하여 컨텍스트 맵을 구축하고 업데이트한다.
또한 프로세서(320)는 컨텍스트 맵을 필요로 하는 이동체에 대해서는 통신부(310)를 통해 컨텍스트 맵을 제공한다.
저장부(330)는 프로세서(320)가 컨텍스트 맵을 구축하고 업데이트 함에 있어 필요로 하는 저장 공간을 제공한다.
지금까지 드론과 로봇의 협업 기반 컨텍스트 맵 구축 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 실시예에서는 드론, 이동로봇, 자율 주행차와 같은 다양한 이동체들이 협업하여 획득/수집한 구체적인 컨텍스트들을 대상 지역이 그리드 형태로 구획된 컨텍스트 맵에 매칭하여 구축/업데이트 하여, 다양한 컨텍스트를 이용한 고품질의 서비스 제공을 가능하게 하였다.
특히 드론과 같은 공중 이동체가 획득한 컨텍스트에 대해서도 로봇과 같은 지상 이동체의 위치들을 활용하여 컨텍스트 발생 지점을 정확하게 파악할 수 있어, 컨텍스트 맵의 정확도를 높였다.
위 실시예에서 도 7과 도 8은 공중 이동체에 의해 수행되는 것을 상정하였다. 하지만 공중 이동체의 리소스가 높은 사양이 아닌 경우에는, 도 7의 S205단계만 공중 이동체가 수행하고, 나머지 단계들은 도 12에 제시된 컨텍스트 맵 구축 시스템이 수행하도록 구현하는 것이 가능하다.
한편 동일 구역에 대해 동일 시점에 다수의 이동체들로부터 컨텍스트가 획득되는 경우가 있을 수 있다. 이 경우 획득된 컨텍스트들을 해당 구역에 매칭시켜야 하는데, 문제는 컨텍스트의 내용이 다른 경우이다.
이 경우에는 컨텍스트를 해당 구역에 매칭함에 있어, 이동체의 종류에 따라 우선순위를 두어 운용하는 것이 가능하다. 이동로봇과 드론에 의해 컨텍스트들이 획득된 경우를 상정하면, 우선순위는 다음과 같이 부여할 수 있다.
1) 장소 정보(도로, 건물, 공원, 인도 등)에 대해서는, 공중 이동체인 드론에 의해 획득된 컨텍스트를 신뢰하여, 해당 구역의 장소 정보는 드론에 의해 획득된 정보를 매칭
2) 객체 정보(사람, 차량 등)에 대해서는, 지상 이동체인 이동로봇에 의해 획득된 컨텍스트를 신뢰하여, 해당 구역의 객체 정보는 이동로봇에 의해 획득된 정보를 매칭
3) 상태 정보 중 혼잡도(도로 정체 여부, 이동 가능 속도, 사람들의 응집도 등)에 대해서는, 공중 이동체인 드론에 의해 획득된 컨텍스트를 신뢰하여, 해당 구역의 혼잡도 정보는 드론에 의해 획득된 정보를 매칭
4) 상태 정보 중 위험 요소(장애물, 방해물, 화재, 침수, 사고발생, 범죄 등)에 대해서는, 지상 이동체인 이동로봇에 의해 획득된 컨텍스트를 신뢰하여, 해당 구역의 위험 요소 정보는 이동로봇에 의해 획득된 정보를 매칭
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 프로젝션이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 프로젝션은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 프로젝션이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
310 : 통신부
320 : 프로세서
330 : 저장부

Claims (12)

  1. 대상 지역을 그리드 형태로 구획하여 다수의 구역들을 구분한 2D 그리드 맵을 생성하는 단계;
    대상 지역의 특정 구역에 대한 컨텍스트를 획득하는 단계;
    특정 구역의 위치를 파악하는 단계;
    획득한 컨텍스트를 파악된 위치를 기초로 2D 그리드 맵의 해당 구역에 매칭하여 업데이트 하는 단계;를 포함하고,
    파악 단계는,
    획득단계에서 지상 이동체가 컨텍스트를 획득하였으면, 지상 이동체가 측위한 자신의 위치를 특정 구역의 위치로 취급하는 단계;
    획득단계에서 공중 이동체가 컨텍스트를 획득하였으면, 공중 이동체가 특정 구역의 위치를 산출하는 단계;를 포함하며,
    산출 단계는,
    지상 이동체들과 특정 구역이 나타난 영상과 지상 이동체들의 2D 그리드 맵에서의 위치들을 기초로 특정 구역의 위치를 계산하는 것을 특징으로 하는 컨텍스트 맵 구축 방법.
  2. 청구항 1에 있어서,
    생성단계는,
    대상 지역의 3D 맵을 생성하는 단계;
    생성된 3D 맵을 2D 맵으로 프로젝션하는 단계;
    생성된 2D 맵을 그리드 형태로 구획하여 다수의 구역들을 구분하는 단계;를 포함하는 것을 특징으로 하는 컨텍스트 맵 구축 방법.
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    산출 단계는,
    지상 이동체들과 특정 구역이 나타난 영상을 획득하는 단계;
    지상 이동체들과 특정 구역에 대한 영상에서의 위치들을 계산하는 제1 계산단계;
    지상 이동체들의 2D 그리드 맵에서의 위치들을 획득하는 단계;
    지상 이동체들에 대한 영상에서의 위치들과 지상 이동체들의 2D 그리드 맵에서의 위치들을 이용하여, 획득단계에서 획득된 영상의 좌표계를 2D 그리드 맵의 좌표계로 변환하기 위한 변환 행렬을 결정하는 단계; 및
    결정된 변환 행렬을 이용하여 특정 구역의 위치를 계산하는 제2 계산단계;를 포함하는 것을 특징으로 하는 컨텍스트 맵 구축 방법.
  6. 청구항 5에 있어서,
    결정 단계는,
    지상 이동체들의 영상에서의 위치들에 변환 행렬을 적용하여 위치들을 변환하는 제1 변환단계;
    지상 이동체들 중 특정 지상 이동체에 대한 제1 변환단계에서 변환된 위치를 2D 그리드 맵에서의 위치로 교체하는 단계;
    특정 지상 이동체의 교체된 위치를 기준으로, 나머지 지상 이동체들에 대한 제1 변환단계에서 변환된 위치들을 다시 변환하는 제2 변환단계;
    제2 변환단계에서 변환된 나머지 지상 이동체들의 위치들과 2D 그리드 맵에서의 위치들 간의 각 오차들을 계산하는 제3 계산단계;
    계산된 오차들의 전체 합이 정해진 값 미만이 될 때까지, 변환 행렬을 수정하면서 제1 변환단계 내지 제3 계산단계를 반복하는 단계;를 포함하는 것을 특징으로 하는 컨텍스트 맵 구축 방법.
  7. 청구항 6에 있어서,
    제2 계산단계는,
    계산된 오차들의 전체 합이 정해진 값 미만이 될 때의 변환 행렬을 특정 구역에 대한 영상에서의 위치에 적용하여 위치를 다시 변환하는 제3 변환단계;
    특정 지상 이동체의 교체된 위치를 기준으로, 제3 변환단계에서 변환된 위치를 다시 변환하는 제4 변환단계;
    제4 변환단계에서 변환된 위치를 특정 구역의 위치로 출력하는 단계;를 포함하는 것을 특징으로 하는 컨텍스트 맵 구축 방법.
  8. 청구항 1에 있어서,
    컨텍스트들은,
    해당 구역의 장소에 대한 정보, 해당 구역에 있는 객체들에 대한 정보, 해당 구역의 상태에 대한 정보를 포함하는 것을 특징으로 하는 컨텍스트 맵 구축 방법.
  9. 청구항 5에 있어서,
    객체들에 대한 정보는,
    해당 구역에 있는 객체들의 종류와 수에 대한 정보를 포함하고,
    상태에 대한 정보는,
    해당 구역의 혼잡도, 위험 요소에 대한 정보를 포함하는 것을 특징으로 하는 컨텍스트 맵 구축 방법.
  10. 대상 지역의 특정 구역에 대한 컨텍스트를 획득하는 통신부; 및
    대상 지역을 그리드 형태로 구획하여 다수의 구역들을 구분한 2D 그리드 맵을 생성하고, 특정 구역의 위치를 파악하여 통신부를 통해 획득한 컨텍스트를 2D 그리드 맵의 해당 구역에 매칭하여 업데이트하는 프로세서;를 포함하고,
    지상 이동체가 컨텍스트를 획득하였으면, 지상 이동체가 측위한 지상 이동체의 위치를 특정 구역의 위치로 취급하며,
    공중 이동체가 컨텍스트를 획득하였으면, 공중 이동체가 특정 구역의 위치를 산출하되, 지상 이동체들과 특정 구역이 나타난 영상과 지상 이동체들의 2D 그리드 맵에서의 위치들을 기초로 특정 구역의 위치를 계산하는 것을 특징으로 하는 컨텍스트 맵 구축 시스템.
  11. 대상 지역의 특정 구역에 대한 컨텍스트를 획득하는 단계;
    특정 구역의 위치를 파악하는 단계;
    획득한 컨텍스트를 파악된 위치를 기초로, 대상 지역을 그리드 형태로 구획하여 다수의 구역들을 구분한 2D 그리드 맵의 해당 구역에 매칭하여 업데이트 하는 단계; 및
    업데이트 되는 2D 그리드 맵을 제공하는 단계;를 포함하고,
    파악 단계는,
    획득단계에서 지상 이동체가 컨텍스트를 획득하였으면, 지상 이동체가 측위한 자신의 위치를 특정 구역의 위치로 취급하는 단계;
    획득단계에서 공중 이동체가 컨텍스트를 획득하였으면, 공중 이동체가 특정 구역의 위치를 산출하는 단계;를 포함하며,
    산출 단계는,
    지상 이동체들과 특정 구역이 나타난 영상과 지상 이동체들의 2D 그리드 맵에서의 위치들을 기초로 특정 구역의 위치를 계산하는 것을 특징으로 하는 컨텍스트 맵 구축 방법.
  12. 대상 지역의 특정 구역에 대한 컨텍스트를 획득하는 통신부; 및
    특정 구역의 위치를 파악하여 통신부를 통해 획득한 컨텍스트를 대상 지역을 그리드 형태로 구획하여 다수의 구역들을 구분한 2D 그리드 맵의 해당 구역에 매칭하여 업데이트 하고, 업데이트 되는 2D 그리드 맵을 통신부를 통해 외부 개체들에게 제공하는 프로세서;를 포함하고,
    지상 이동체가 컨텍스트를 획득하였으면, 지상 이동체가 측위한 지상 이동체의 위치를 특정 구역의 위치로 취급하며,
    공중 이동체가 컨텍스트를 획득하였으면, 공중 이동체가 특정 구역의 위치를 산출하되, 지상 이동체들과 특정 구역이 나타난 영상과 지상 이동체들의 2D 그리드 맵에서의 위치들을 기초로 특정 구역의 위치를 계산하는 것을 특징으로 하는 컨텍스트 맵 구축 시스템.
KR1020220136214A 2022-10-21 2022-10-21 드론과 로봇의 협업 기반 컨텍스트 맵 구축 방법 KR102530521B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2022/016139 WO2024085286A1 (ko) 2022-10-21 2022-10-21 드론과 로봇의 협업 기반 컨텍스트 맵 구축 방법
KR1020220136214A KR102530521B1 (ko) 2022-10-21 2022-10-21 드론과 로봇의 협업 기반 컨텍스트 맵 구축 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220136214A KR102530521B1 (ko) 2022-10-21 2022-10-21 드론과 로봇의 협업 기반 컨텍스트 맵 구축 방법

Publications (1)

Publication Number Publication Date
KR102530521B1 true KR102530521B1 (ko) 2023-05-09

Family

ID=86408042

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220136214A KR102530521B1 (ko) 2022-10-21 2022-10-21 드론과 로봇의 협업 기반 컨텍스트 맵 구축 방법

Country Status (2)

Country Link
KR (1) KR102530521B1 (ko)
WO (1) WO2024085286A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180109455A (ko) * 2017-03-28 2018-10-08 엘지전자 주식회사 상황인식적으로 맵을 관리하는 방법, 이를 구현하는 장치
KR20200002217A (ko) * 2018-06-29 2020-01-08 현대엠엔소프트 주식회사 정밀 지도 생성 및 갱신 장치와 방법
KR20200094384A (ko) * 2019-01-30 2020-08-07 현대자동차주식회사 포인트 클라우드의 군집화 장치 및 그 방법
KR20220129218A (ko) * 2021-03-16 2022-09-23 한국전자통신연구원 장애물에 관한 비행 상황을 인지하여 무인 이동체의 속도 제어 방법 및 무인 이동체

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7047306B2 (ja) * 2017-09-27 2022-04-05 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180109455A (ko) * 2017-03-28 2018-10-08 엘지전자 주식회사 상황인식적으로 맵을 관리하는 방법, 이를 구현하는 장치
KR20200002217A (ko) * 2018-06-29 2020-01-08 현대엠엔소프트 주식회사 정밀 지도 생성 및 갱신 장치와 방법
KR20200094384A (ko) * 2019-01-30 2020-08-07 현대자동차주식회사 포인트 클라우드의 군집화 장치 및 그 방법
KR20220129218A (ko) * 2021-03-16 2022-09-23 한국전자통신연구원 장애물에 관한 비행 상황을 인지하여 무인 이동체의 속도 제어 방법 및 무인 이동체

Also Published As

Publication number Publication date
WO2024085286A1 (ko) 2024-04-25

Similar Documents

Publication Publication Date Title
CN110832279B (zh) 对准由自主车辆捕获的数据以生成高清晰度地图
US11353589B2 (en) Iterative closest point process based on lidar with integrated motion estimation for high definition maps
CN110645974B (zh) 一种融合多传感器的移动机器人室内地图构建方法
CN110869981B (zh) 用于自主车辆的高清晰度地图数据的向量数据编码
Bahraini et al. SLAM in dynamic environments via ML-RANSAC
Furgale et al. Toward automated driving in cities using close-to-market sensors: An overview of the v-charge project
JP2022524069A (ja) 自律走行車のナビゲーション用高精度地図を生成するためのポーズグラフの分散処理
CN111656135A (zh) 基于高清地图的定位优化
US11340093B2 (en) Submap geographic projections
CN112764053A (zh) 一种融合定位方法、装置、设备和计算机可读存储介质
CN109470233B (zh) 一种定位方法及设备
JP6997057B2 (ja) 不動物体情報から端末位置を推定する装置、プログラム及び方法
WO2021072709A1 (zh) 目标检测与跟踪方法、系统、设备及存储介质
Houben et al. Park marking-based vehicle self-localization with a fisheye topview system
CN114413909A (zh) 一种室内移动机器人定位方法及系统
Wu et al. A non-rigid hierarchical discrete grid structure and its application to UAVs conflict detection and path planning
KR102530521B1 (ko) 드론과 로봇의 협업 기반 컨텍스트 맵 구축 방법
Lucks et al. Improving trajectory estimation using 3D city models and kinematic point clouds
Eremeev et al. Comparison of urban areas based on database of topological relationships in geoinformational systems
Ćwian et al. Planar features for accurate laser-based 3-D SLAM in urban environments
KR102557606B1 (ko) 자율주행 및 관제를 위한 컨텍스트 맵 구축 방법
Scrapper et al. Using a priori data for prediction and object recognition in an autonomous mobile vehicle
KR102529332B1 (ko) 컨텍스트 맵을 활용한 로봇 기반 최적 실내 배송경로 탐색 방법
Schuster et al. Joint graph optimization towards crowd based mapping
Li et al. Improving Vehicle Localization with Lane Marking Detection Based on Visual Perception and Geographic Information

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant