KR20190070514A - 격자지도 생성 장치 및 방법 - Google Patents

격자지도 생성 장치 및 방법 Download PDF

Info

Publication number
KR20190070514A
KR20190070514A KR1020170171099A KR20170171099A KR20190070514A KR 20190070514 A KR20190070514 A KR 20190070514A KR 1020170171099 A KR1020170171099 A KR 1020170171099A KR 20170171099 A KR20170171099 A KR 20170171099A KR 20190070514 A KR20190070514 A KR 20190070514A
Authority
KR
South Korea
Prior art keywords
information
grid
sensor
occupancy
point cloud
Prior art date
Application number
KR1020170171099A
Other languages
English (en)
Other versions
KR102095842B1 (ko
Inventor
김은태
조형기
조해민
이성원
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020170171099A priority Critical patent/KR102095842B1/ko
Publication of KR20190070514A publication Critical patent/KR20190070514A/ko
Application granted granted Critical
Publication of KR102095842B1 publication Critical patent/KR102095842B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 격자 지도 생성 장치 및 방법으로서, 특히 포인트 클라우드를 서로 다른 갱신주기로 범주화하고, 상기 범주화된 포인트 클라우드를 이용하여 격자 지도를 생성하는 장치를 개시한다. 본 발명의 격자 지도 생성 장치는 적어도 하나의 물체들을 포함하는 3차원 공간을 나타내는 공간 정보들을 측정하는 센서를 이용하여 상기 센서의 자세 정보에 따라 서로 다른 포인트 클라우드를 생성하는 포인트 클라우드 생성부; 및 상기 생성된 포인트 클라우드를 상기 센서의 자세 정보 및 상기 공간 정보를 이용하여 서로 다른 갱신주기에 따라 범주화하고, 상기 범주화된 포인트 클라우드의 상기 3차원 공간상에서의 좌표를 고려하여 생성된 격자셀의 점유도를 상기 서로 다른 갱신주기로 갱신하여 격자 지도를 생성하는 지도 생성부; 를 포함한다.

Description

격자지도 생성 장치 및 방법 {Apparatus for Building Grid Map and Method there of}
본 발명의 실시 예가 속하는 기술분야는 격자지도를 생성하는 장치에 관한 것이다. 보다 상세하게는, 컴퓨터 그래픽스 및 비전기술에서 사용되는 격자지도를 생성하는 장치 및 방법에 관한 것이다.
최근 이미지 정보를 제공하던 카메라와는 달리 적외선 등의 센서를 포함하는 카메라를 이용하여 물체를 포함하는 특정 공간의 공간 정보를 측정하고, 측정된 공간 정보를 기반으로 물체 또는 장애물이 포함된 공간에 대한 지도를 작성하는 기술이 활발히 연구되고 있다. 특히 다양한 3차원 거리 센서의 발달로 3차원 환경의 재구성 기술이 많은 발전을 이루어 왔고, 고화질의 깊이 정보를 제공해주는 Microsoft 사의 키넥트(Kinect) 스타일의 센서를 많이 사용하고 있다.
3차원 공간의 환경을 재구성하여 지도를 생성하기 위해서는 센서의 3차원 위치 인식 및 지도 구축(SLAM)기술이 필요하고, 센서의 위치 인식을 위하여 센서의 6자유도를 이용하는데, 6자유도를 추정하기 위한 기술에는 크게 특징점 기반 방법과 Direct 방법이 존재한다.
센서의 6자유도 자세를 통해 3차원 지도를 구축하기 위해서 2차원 격자 지도와 같이 3차원 환경을 작은 정육면체의 모음으로 표현하는 복셀 지도가 많이 사용되는데, 특히 팔진트리를 사용하여 메모리 사용량을 줄이고 높은 압축성을 가질 수 있게 하는 방법이 널리 사용되고 있다. 구축된 3차원 지도는 컴퓨터 비전 분야에서 폭 넓게 사용되며, 특히, 가정이나 산업체에서 로봇의 자율 주행을 위하여 많이 이용될 수 있다.
하지만, 3차원 지도를 재구성하기 위하여는 2차원 지도의 생성 기술과는 달리 많은 데이터의 연산량이 필요한 단점이 있다. 따라서 센서의 위치나 시간에 따른 3차원 공간 지도를 효과적으로 갱신하기 위한 기술 개발이 요구되고 있다.
한국 등록 특허 제 10-1415297호 (등록일: 2014.06.27.)
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 3차원 센서를 이용하여 환경을 재구성하기 위한 격자 지도를 생성하는 장치를 개시한다.
특히, 거리 의존성 격자 지도 갱신 방법을 사용하여 효과적으로 3차원 격자 지도를 생성하는 장치를 개시한다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 본 발명의 격자 지도 생성 장치는 적어도 하나의 물체들을 포함하는 3차원 공간을 나타내는 공간 정보들을 측정하는 센서를 이용하여 상기 센서의 자세 정보에 따라 서로 다른 포인트 클라우드를 생성하는 포인트 클라우드 생성부; 및 상기 생성된 포인트 클라우드를 상기 센서의 자세 정보 및 상기 공간 정보를 이용하여 서로 다른 갱신주기에 따라 범주화하고, 상기 범주화된 포인트 클라우드의 상기 3차원 공간상에서의 좌표를 고려하여 생성된 격자셀의 점유도를 상기 서로 다른 갱신주기로 갱신하여 격자 지도를 생성하는 격자 지도 생성부; 를 포함한다.
본 발명에서 상기 격자 지도 생성 장치는 상기 측정된 공간 정보들을 기초로 영상 기반 SLAM을 수행하여 상기 센서의 위치 및 방향에 관한 자세 정보를 산출하는 자세 정보 산출부; 를 더 포함하고, 상기 격자 지도 생성부는 상기 산출된 자세 정보를 이용하여 상기 격자 지도를 생성할 수 있다.
본 발명에서 상기 자세 정보는 상기 센서의 위치에 관한 제1 좌표 정보 및 상기 센서의 방향에 관한 제2 좌표 정보를 포함하고, 상기 공간 정보들은 상기 3차원 공간의 색상 정보 및 상기 센서를 기준으로 측정된 상기 3차원 공간의 깊이 정보를 포함할 수 있다.
본 발명에서 상기 자세 정보 산출부는 상기 공간 정보들을 이용하여 생성된 영상 이미지에서 픽셀 별 화소값들의 변화량을 고려하여 특징점들을 추출하는 특징점 추출부; 를 더 포함하고, 상기 추출된 특징점들을 이용하여 상기 센서의 자세 정보를 산출할 수 있다.
본 발명에서 상기 자세 정보 산출부는 상기 추출된 특징점들의 좌표를 종점으로 하고, 상기 센서의 위치를 원점으로 하는 특징 벡터를 생성하는 특징 벡터 생성부; 를 더 포함하고, 상기 생성된 특징 벡터를 이용하여 상기 센서의 자세 정보를 산출할 수 있다.
본 발명에서 상기 자세 정보 산출부는 상기 센서의 자세 정보, 상기 3차원 공간을 나타내는 공간 정보들 및 상기 공간 정보들을 측정하는 시간에 따라 서로 다르게 생성된 특징 벡터들을 재투영(Re-Projection)하여 벡터간 유사도를 판단하고, 상기 판단된 벡터간 유사도를 이용하여 상기 센서의 자세 정보를 보정하는 보정부; 를 더 포함하고, 상기 산출된 자세 정보는 상기 보정된 자세 정보를 포함할 수 있다.
본 발명에서 상기 보정부가 특징 벡터들을 재투영하여 벡터간 유사도를 판단하는 방법에 특별한 제한이 있는 것은 아니지만, 특징 벡터간 코사인 거리를 계산함으로서 판단할 수 있고, 코사인 거리외에도 유클리디안 거리(Euclidean distance) 마하라 노비스 거리(Mahalanobis distance)도 벡터간 유사판단에 사용될 수 있다.
본 발명에서 상기 격자 지도 생성부는 상기 센서의 자세 정보 및 상기 공간 정보를 기초로 상기 격자셀의 점유도를 갱신하기 위하여 필요한 상기 포인트 클라우드에 포함된 적어도 일부 영역의 포인트들의 수에 관한 갱신주기를 설정하는 갱신주기 설정부; 를 더 포함하고, 상기 설정된 갱신주기에 따라 범주화된 포인트 클라우드를 이용하여 상기 격자 지도를 생성할 수 있다.
본 발명에서 상기 격자 지도 생성부는 상기 서로 다른 갱신주기를 이용하여 상기 생성된 포인트 클라우드를 적어도 하나의 그룹으로 범주화하는 범주화부; 를 더 포함하고, 상기 범주화된 포인트 클라우드를 이용하여 상기 격자 지도를 생성할 수 있다.
본 발명에서 상기 격자 지도 생성부는 상기 제1 좌표 정보 및 제2 좌표 정보에 따라 지향되는 스윕 라인을 이용하여 상기 범주화된 포인트 클라우드의 3차원 공간상에서의 좌표에 대응하는 격자셀을 검색하는 격자셀 검색부; 를 더 포함하고, 상기 검색된 격자셀의 점유도를 갱신하여 상기 격자 지도를 생성할 수 있다.
본 발명에서 상기 범주화부는 상기 범주화된 포인트 클라우드의 그룹별 서로 다른 갱신 주기를 이용하여 상기 범주화된 포인트 클라우드의 적어도 일부 영역의 포인트들을 필터링하는 필터링부; 를 더 포함하고, 상기 필터링된 적어도 일부 영역의 포인트들을 기반으로 상기 포인트 클라우드를 범주화 할 수 있다.
본 발명에서 상기 격자 지도 생성부는 상기 스윕 라인에 스윕되는 상기 범주화된 포인트 클라우드 내 포인트들의 점유 강도를 이용하여 상기 격자셀의 점유도를 계산하고, 상기 계산된 점유도의 로그 대수의 증감에 따라 상기 격자셀의 점유도를 갱신하는 점유도 갱신부; 를 더 포함하고, 상기 점유도가 갱신된 격자셀을 이용하여 상기 격자 지도를 생성할 수 있다.
본 발명에서 상기 갱신주기 설정부는 상기 제1 좌표 정보, 상기 제2 좌표 정보 및 상기 깊이 정보를 이용하여 상기 센서를 기준으로 측정되는 상기 포인트 클라우드 내 적어도 하나의 포인트 까지의 거리를 양자화하여 거리 분류값을 생성하는 분류값 생성부; 를 더 포함하고, 상기 생성된 분류값을 이용하여 상기 갱신주기를 설정할 수 있다.
본 발명에서 상기 격자 지도 생성부는 상기 점유도가 갱신된 격자셀에 상기 제1 좌표 정보, 제2 좌표 정보 및 상기 깊이 정보를 고려하여 서로 다른 가중치를 설정하여 통합하는 통합부; 를 더 포함하고, 상기 서로 다른 가중치로 통합된 상기 격자셀을 이용하여 상기 격자 지도를 생성할 수 있다.
또한 상기한 목적을 달성하기 위하여 본 발명의 격자 지도 생성 장치가 수행하는 격자 지도 생성 방법은 적어도 하나의 물체들을 포함하는 3차원 공간을 나타내는 공간 정보들을 측정하는 센서를 이용하여 상기 센서의 자세 정보에 따라 서로 다른 포인트 클라우드를 생성하는 단계; 상기 측정된 공간 정보들을 기초로 영상 기반 SLAM을 수행하여 상기 센서의 위치 및 방향에 관한 자세 정보를 산출하는 단계; 및 상기 생성된 포인트 클라우드를 상기 센서의 자세 정보 및 상기 공간 정보를 이용하여 서로 다른 갱신주기에 따라 범주화하고, 상기 범주화된 포인트 클라우드의 상기 3차원 공간상에서의 좌표를 고려하여 생성된 격자셀의 점유도를 상기 서로 다른 갱신주기로 갱신하여 격자 지도를 생성하는 단계; 를 포함한다.
본 발명에서 상기 자세 정보는 상기 센서의 위치에 관한 제1 좌표 정보 및 상기 센서의 방향에 관한 제2 좌표 정보를 포함하고, 상기 공간 정보들은 상기 3차원 공간의 색상 정보 및 상기 센서를 기준으로 측정된 상기 3차원 공간의 깊이 정보를 포함할 수 있다.
본 발명에서 상기 격자 지도를 생성하는 단계는 상기 센서의 자세 정보 및 상기 공간 정보를 기초로 상기 격자셀의 점유도를 갱신하기 위하여 필요한 상기 포인트 클라우드에 포함된 적어도 일부 영역의 포인트들의 수에 관한 갱신주기를 설정하는 단계; 를 더 포함하고, 상기 설정된 갱신주기에 따라 범주화된 포인트 클라우드를 이용하여 상기 격자 지도를 생성할 수 있다.
본 발명에서 상기 격자 지도를 생성하는 단계는 상기 서로 다른 갱신주기를 이용하여 상기 생성된 포인트 클라우드를 적어도 하나의 그룹으로 범주화하는 단계; 를 더 포함하고, 상기 범주화된 포인트 클라우드를 이용하여 상기 격자 지도를 생성할 수 있다.
본 발명에서 상기 격자 지도를 생성하는 단계는 상기 제1 좌표 정보 및 제2 좌표 정보에 따라 지향되는 스윕 라인을 이용하여 상기 범주화된 포인트 클라우드의 3차원 공간상에서의 좌표에 대응하는 격자셀을 검색하는 단계; 를 더 포함하고, 상기 검색된 격자셀의 점유도를 갱신하여 상기 격자 지도를 생성할 수 있다.
본 발명에서 상기 범주화하는 단계는 상기 범주화된 포인트 클라우드의 그룹별 서로 다른 갱신 주기를 이용하여 상기 범주화된 포인트 클라우드의 적어도 일부 영역의 포인트들을 필터링하는 단계; 를 더 포함하고, 상기 필터링된 적어도 일부 영역의 포인트들을 기반으로 상기 포인트 클라우드를 범주화 할 수 있다.
본 발명에서 상기 격자 지도를 생성하는 단계는 상기 스윕 라인에 스윕되는 상기 범주화된 포인트 클라우드 내 포인트들의 점유 강도를 이용하여 상기 격자셀의 점유도를 계산하고, 상기 계산된 점유도의 로그 대수의 증감에 따라 상기 격자셀의 점유도를 갱신하는 단계; 를 더 포함하고, 상기 점유도가 갱신된 격자셀을 이용하여 상기 격자 지도를 생성할 수 있다.
본 발명에서 상기 갱신주기를 설정하는 단계는 상기 제1 좌표 정보, 상기 제2 좌표 정보 및 상기 깊이 정보를 이용하여 상기 센서를 기준으로 측정되는 상기 포인트 클라우드 내 적어도 하나의 포인트 까지의 거리를 양자화하여 거리 분류값을 생성하는 단계; 를 더 포함하고, 상기 생성된 분류값을 이용하여 상기 갱신주기를 설정할 수 있다.
또한 본 발명은 컴퓨터에서 상기한 격자 지도 생성 방법을 실행시키기 위한 컴퓨터에서 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 개시한다.
본 발명은 3차원 지도를 효과적으로 생성할 수 있다.
특히, 갱신주기를 서로 달리하여 포인트 클라우드를 사용함으로서 격자 지도를 빠르게 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 격자 지도 생성 장치의 블록도이다.
도 2는 도 1의 실시 예에서 지도 생성부의 확대 블록도이다.
도 3은 도 2의 실시 예에서 갱신 주기 설정부의 확대 블록도이다.
도 4는 도 2의 실시 예에서 범주화부의 확대 블록도이다.
도 5는 본 발명의 일 실시예에 격자 지도 생성 방법의 흐름도이다.
도 6은 도 5의 실시 예에서 격자 지도를 생성하는 단계의 확대 흐름도이다.
도 7은 본 발명의 또 다른 실시 예에 따른 격자 지도 생성 방법의 흐름도이다.
도 8은 도 7의 실시 예에서 DDU 기반 복셀지도 갱신 및 생성하는 단계의 확대 흐름도이다.
도 9는 본 발명의 3차원 공간을 측정하는 센서에서 측정된 RGB 영상을 나타내는 예시도이다.
도 10은 본 발명의 3차원 공간을 측정하는 센서에서 측정된 3차원 공간의 깊이 영상을 나타내는 예시도이다.
도 11은 임의의 센서 위치에서 특정 시간에 측정된 센서의 자세 정보 및 공간 정보들을 바탕으로 격자 지도 생성 장치가 생성한 격자 지도를 나타내는 예시도이다.
도 12는 일 실시 예에 따른 격자 지도 생성 장치가 생성한 비어 있는 격자 지도를 나타내는 예시도이다.
도 13은 본 발명의 또 다른 실시 예에 따른 격자 지도 생성 장치가 생성한 격자 지도를 나타내는 예시도이다.
도 14는 본 발명의 또 다른 실시 예에 따른 격자 지도 생성 장치가 생성한 격자 지도를 나타내는 예시도이다.
이하, 본 발명의 일 실시예를 첨부된 도면들을 참조하여 상세히 설명한다.
첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 용어를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하에서 설명하는 각 단계는 하나 또는 여러 개의 소프트웨어 모듈로도 구비가 되거나 또는 각 기능을 담당하는 하드웨어로도 구현이 가능하며, 소프트웨어와 하드웨어가 복합된 형태로도 가능하다. 각 용어의 구체적인 의미와 예시는 각 도면의 순서에 따라 이하 설명 한다. 이하에서는 본 발명의 실시 예에 따른 격자 지도 생성 장치(10)의 구성을 관련된 관련된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 격자 지도 생성 장치(10)의 블록도이다.
본 발명의 격자 지도 생성 장치(10)는 포인트 클라우드 생성부(100), 자세 정보 산출부(200) 및 지도 생성부(300)를 포함한다. 예를 들어, 격자 지도 생성 장치(10)는 3차원 공간을 나타내는 공간 정보들을 측정하는 센서를 이용하여 포인트 클라우드를 생성하고, 센서의 자세 정보를 산출하며, 센서의 자세 정보 및 공간 정보들을 이용하여 포인트 클라우드의 3차원 공간상에서의 좌표를 고려하여 생성된 격자셀의 점유도를 서로 다른 주기로 갱신하여 격자 지도를 생성할 수 있다.
예를 들어, 본 발명에서 격자 지도 생성 장치(10)가 사용하는 3차원 공간을 나타내는 공간 정보들을 측정하는 센서는 고화질의 깊이 정보를 제공하는 Microsoft 사의 키넥트(Kinect), RGB-D 카메라, 라이다(Lidar) 및 TOF(Time Of Flight)와 같이 3차원 공간에서의 깊이 및 색상 정보를 측정할 수 있는 모든 센서를 포함한다. 라이다(Lidar)는 자외선 가시광선 또는 근적외선을 펄스 형태의 레이저로 발사하여 물체를 탐지하여 반사된 레이저 펄스를 측정하여 거리를 탐지하고, 키넥트는 적외선 센서 및 RGB 영상 센서를 포함하고 구조광을 이용하여 물체를 탐지한다. 격자 지도 생성 장치(10)는 3차원 공간 정보를 측정할 수 있는 센서를 사용하여 깊이 및 RGB 영상을 획득할 수 있고, 상기 생성된 깊이 및 RGB 영상에서 센서의 자세 정보 및 포인트 클라우드를 생성하고, 생성된 포인트 클라우드 및 센서의 자세 정보를 이용하여 격자 지도의 점유도를 갱신하여 격자 지도를 생성할 수 있다.
격자 지도 생성 장치(10)가 생성하는 격자 지도는 3차원 공간에서 구현되는 가상의 지도로서, 3차원 공간 내에서 물체의 존재 여부를 가상의 그리드 공간에 기재하는 복셀 지도를 포함한다. 복셀(Voxel)은 체적 요소로서, 3차원 공간을 나타내기 위한 3차원 단위 격자로 나타나고, 바람직하게는 가로, 세로 및 높이가 10cm로 마련된 단위 격자로 마련될 수 있다. 또한 본 발명의 격자 지도 생성 장치(10)가 생성하는 격자 지도의 크기는 가로, 세로 및 높이가 각각 4m, 8m 및 3m로 마련될 수 있다. 격자 지도 생성 장치(10)는 종래의 격자 지도 생성 기술보다 단시간에 효과적으로 격자 지도를 생성할 수 있음은 전술한 바와 같다.
포인트 클라우드 생성부(100)는 적어도 하나의 물체들을 포함하는 3차원 공간을 나타내는 공간 정보들을 측정하는 센서를 이용하여 상기 센서의 자세 정보에 따라 서로 다른 포인트 클라우드를 생성한다. 포인트 클라우드 생성부(100)가 이용하는 공간 정보들은 3차원 공간의 색상 정보 및 상기 센서를 기준으로 측정된 3차원 공간의 깊이 정보를 포함하고, 센서의 자세 정보는 센서의 위치에 관한 제1 좌표 정보 및 센서의 방향에 관한 제2 좌표 정보를 포함한다.
예를 들어, 포인트 클라우드 생성부(100)가 생성하는 포인트 클라우드는 3차원 공간을 무수히 많은 점(포인트, Point)의 집합으로 표현하는 것으로서, 각각의 포인트는 센서를 기준으로 측정된 물체의 색상, 거리 정보 및 센서에서 해당 포인트를 지향하는 각도 정보 중 적어도 하나의 정보를 포함하고, 포인트들의 집합이 이루는 포인트 클라우드는 공간적인 구성을 나타낸다. 포인트 클라우드 생성부(100)가 생성하는 포인트 클라우드는 하기 수학식 1과 같이 표현될 수 있다.
Figure pat00001
여기에서, Zt는 시간 t에서 측정된 포인트 클라우드 내의 한 포인트를 나타내고, r은 센서에서 포인트까지의 거리,
Figure pat00002
는 센서에서 해당 포인트를 바라본 각도 및 T는 포인트 클라우드 내 거리 및 각도 성분을 포함하는 행렬의 전치를 의미한다. 포인트 클라우드 생성부(100)는 3차원 공간을 나타내는 공간 정보들을 이용하고, 상기 센서의 자세 정보에 따라 상기 수학식 1로 표현되는 포인트들의 3차원 집합인 포인트 클라우드를 생성할 수 있다.
자세 정보 산출부(200)는 특징점 추출부(220), 특징 벡터 생성부(240) 및 보정부(260)를 포함한다.
특징점 추출부(220)는 상기 공간 정보들을 이용하여 생성된 영상 이미지에서 픽셀 별 화소값들의 변화량을 고려하여 특징점들을 추출한다. 예를 들어, 특징점 추출부(220)는 공간 정보들을 이용하여 생성된 영상 이미지에서 임의의 픽셀을 선정하고, 상기 선정된 임의의 픽셀에 인접한 픽셀들의 화소값들을 측정하고, 상기 임의의 픽셀과의 화소값 변화량을 계산하여 특징점들을 추출할 수 있다.
또한, 본 발명의 특징점 추출부(220)가 이용하는 영상 이미지는 센서의 자세 정보, 3차원 공간을 나타내는 공간 정보들 및 공간 정보들을 측정하는 시간에 따라 달라질 수 있고, 따라서, 특징점 추출부(220)는 센서의 자세 정보, 3차원 공간을 나타내는 공간 정보들 및 공간 정보들을 측정하는 시간에 따라 서로 다른 특징점을 추출할 수 있다. 예를 들어, 특징점 추출부는 코너점(Coner Point)을 기반으로 FAST 특징점(keypoint), SIFT, SURF 알고리즘을 이용하여 특징점을 추출할 수 있고, 특징점을 추출함에 있어 Visual Descriptor BRIEF(Binary Robust Independent Elementary Feature)에 기반한 ORB(Oriented Fast and Rotated BRIEF) Detector를 사용할 수 있다.
자세 정보 산출부(200)가 산출하는 센서의 자세 정보는 보정된 센서의 자세 정보를 포함하고, 보정된 자세 정보를 이용하여 격자 지도를 생성하기 위한 센서의 자세 정보를 산출할 수 있다. 자세 정보 산출부(200)는 상기 측정된 공간 정보들을 기초로 영상 기반 SLAM을 수행하여 상기 센서의 위치 및 방향에 관한 자세 정보를 산출할 수 있다. 예를 들어, 자세 정보 산출부(200)가 산출하는 센서의 자세 정보는 센서의 위치에 관한 제1 좌표 정보 및 센서의 방향에 관한 제2 좌표 정보를 포함할 수 있다. 자세 정보 산출부(300)가 산출하는 제1 좌표 정보는 3차원 직교 좌표계에서 센서의 위치를 나타내는 좌표로서 [x, y, z]로 표현될 수 있고, 제2 좌표 정보는 센서의 3차원 방향을 나타내는 사원수(Quaternion)로서 [q0, q1, q2, q3]= [q]로 표현할 수 있다. 여기에서 q0는 실수이고, q1, q2, q3은 복소 성분을 의미한다.
본 발명의 자세 정보 산출부(200)는 센서의 위치에서 출사되는 스윕라인이 스윕되는 경로에서 적어도 하나의 키프레임을 노드로 산출하고, 산출된 키프레임에서 추출되는 특징점과 현재 키프레임에서 추출되는 특징점과의 재투영 오차(Re-Projection Error)를 최소화 하여 센서의 자세 정보를 보정할 수 있다. 예를 들어, 자세 정보 산출부(200)가 사용하는 영상 기반 SLAM은 키프레임을 노드로 갖고 visual 특징점의 재투영 오차 (re-projection error)를 작게 만드는 그래프 최적화 SLAM (Graph-SLAM) 방식 또는 Rao-Blackwellized Particle Filter (RBPF)를 사용하는 Filtering SLAM을 사용할 수 있다.
지도 생성부(300)는 갱신주기 설정부(320), 범주화부(340), 격자셀 검색부(360), 점유도 갱신부(380) 및 통합부(390)를 포함한다. 예를 들어, 지도 생성부(300)는 상기 생성된 포인트 클라우드를 상기 센서의 자세 정보 및 상기 공간 정보를 이용하여 서로 다른 갱신주기에 따라 범주화하고, 상기 범주화된 포인트 클라우드의 상기 3차원 공간상에서의 좌표를 고려하여 생성된 격자셀의 점유도를 상기 서로 다른 갱신주기로 갱신하여 격자 지도를 생성한다. 예를 들어, 지도 생성부(300)는 포인트 클라우드 생성부(100)에서 생성된 포인트 클라우드와 자세 정보 산출부(200)에서 산출된 제1 좌표 정보 및 제2 좌표 정보를 기반으로 격자 지도를 생성한다.
예를 들어, 지도 생성부(300)는 포인트 클라우드에 광선(ray)을 투사하는 ray-casting 기법을 이용하여 포인트 클라우드가 3차원 공간상에서 위치하는 좌표에 대응되는 격자셀을 검색하고, 상기 검색된 격자셀의 점유도를 갱신하여 격자 지도를 생성한다. 지도 생성부(300)가 생성하는 격자 지도는 3차원 공간상에서 체적을 가지는 복셀들의 집합으로서 복셀 지도를 포함함은 전술한 바와 같다.
갱신주기 설정부(320)는 분류값 생성부(322)를 포함한다. 예를 들어, 갱신주기 설정부(320)는 상기 센서의 자세 정보 및 상기 공간 정보를 기초로 상기 격자셀의 점유도를 갱신하기 위하여 필요한 상기 포인트 클라우드에 포함된 적어도 일부 영역의 포인트들의 수에 관한 갱신주기를 거리 분류 함수로 설정한다. 갱신주기 설정부(320)에서 설정된 갱신주기를 이용함으로서, 지도 생성부(300)는 격자 지도 내의 격자셀의 점유도를 갱신하기 위하여 필요한 포인트 클라우드 내의 포인트 들의 수를 조절할 수 있기 때문에 빠르게 격자 지도를 생성할 수 있다.
예를 들어, 갱신주기 설정부(320)는 제1 좌표 정보, 제2 좌표 정보 및 상기 센서를 기준으로 측정되는 포인트 클라우드 내의 임의의 포인트까지의 깊이 정보를 바탕으로 센서를 기준으로 측정되는 임의의 포인트까지의 거리를 양자화하고, 양자화된 거리를 이용하여 갱신주기를 설정할 수 있다.
분류값 생성부(322)는 상기 제1 좌표 정보, 상기 제2 좌표 정보 및 상기 깊이 정보를 이용하여 상기 센서를 기준으로 측정되는 상기 포인트 클라우드 내 적어도 하나의 포인트까지의 거리를 양자화하여 거리 분류값을 생성한다.
Figure pat00003
상기 수학식 2에서 pi는 포인트 클라우드 내의 i번째 임의의 포인트를 의미하고, di는 센서를 기준으로 임의의 포인트까지의 거리이며,
Figure pat00004
는 거리 분류값, T는 행렬의 전치를 의미한다. 분류값 생성부(322)는 포인트 클라우드 내의 임의의 포인트에 센서로부터 측정되는 깊이(거리)에 따라 서로 다른
Figure pat00005
거리 분류값을 할당한다. 거리 분류값은 구체적으로 하기의 수학식 3과 같이 표현된다.
Figure pat00006
여기에서 T는 갱신 주기,
Figure pat00007
는 임의의 포인트 pi를 입력으로 하는 거리 분류 함수,
Figure pat00008
는 센서에서 측정되는 임의의 포인트까지의 깊이(거리)를 입력으로 하는 스텝함수를 이용하여 표현된 거리 분류값을 의미한다. 예를 들어, 분류값 생성부(322)는 스텝 함수를 이용하여 임의의 포인트까지의 거리를 양자화하여 거리 분류 값을 생성할 수 있고, 갱신 주기 설정부(320)는 임의 포인트와 관련된 센서의 자세 정보 및 공간 정보 중 적어도 하나를 입력으로 하고, 스텝 함수를 통하여 생성된 거리 분류값을 출력으로 하는 거리 분류 함수를 이용하여 갱신주기를 설정할 수 있다. 상기 거리 분류 함수의 입력으로 표기된 pi는 임의의 i번째 포인트를 나타내거나, i번째 포인트와 관련된 센서의 자세 정보 및 공간 정보를 나타낼 수 있다.
범주화부(340)는 필터링부(342)를 포함한다. 예를 들어, 범주화부(340)는 상기 서로 다른 갱신주기를 이용하여 상기 생성된 포인트 클라우드를 적어도 하나의 그룹으로 범주화한다. 예를 들어, 범주화부(340)는 갱신주기 설정부(320)에서 서로 다르게 설정된 갱신주기를 이용하여 포인트 클라우드 생성부(100)에서 생성된 포인트 클라우드를 적어도 하나의 그룹으로 범주화 한다. 본 발명에서 갱신주기는 격자셀의 점유도를 갱신하기 위하여 필요한 포인트 클라우드에 포함된 적어도 일부 영역의 포인트들의 수에 관한 수치로서 포인트 인텐시티(Intensity)나 포인트 밀도로 표현될 수 있다. 예를 들어, 범주화부(340)가 포인트 클라우드를 적어도 하나의 그룹으로 범주화하고, 상기 범주화된 포인트 클라우드는 대응되는 3차원 공간상의 위치의 격자셀의 점유도를 갱신시에 그룹별로 사용될 수 있다.
필터링부(342)는 상기 범주화된 포인트 클라우드의 그룹별 서로 다른 갱신 주기를 이용하여 상기 범주화된 포인트 클라우드의 적어도 일부 영역의 포인트들을 필터링한다. 예를 들어, 필터링부(342)는 일반적으로 센서위치를 기준으로 포인트 클라우드의 성김 정도(Sparsity)가 다르다는 점을 고려하여, 갱신주기 설정부(320)에서 거리 분류값을 이용하여 서로 다르게 설정된 갱신주기에 따라 범주화된 포인트 클라우드 내의 적어도 일부 영역의 포인트들을 필터링한다. 격자 지도 생성 장치(10)는 포인트 클라우드 내의 적어도 일부 영역의 포인트들이 제거되어도, 거리 분류값을 고려하여 설정된 갱신주기에 따라 필터링을 하므로, 생성되는 격자 지도의 품질의 감소 없는 격자 지도를 생성할 수 있다.
격자셀 검색부(360)는 상기 제1 좌표 정보 및 제2 좌표 정보에 따라 지향되는 스윕 라인을 이용하여 상기 범주화된 포인트 클라우드의 3차원 공간상에서의 좌표에 대응하는 격자셀을 검색한다. 예를 들어, 격자셀 검색부(360)가 사용하는 스윕 라인은 ray-casting 기법에서 사용되는 추적 광선으로서, 포인트 클라우드가 3차원 공간상에서 위치하는 좌표와 동일한 좌표에 생성되는 격자셀을 검색한다.
점유도 갱신부(380)는 상기 스윕 라인에 스윕되는 상기 범주화된 포인트 클라우드 내 포인트들의 점유 강도를 이용하여 상기 격자셀의 점유도를 계산하고, 상기 계산된 점유도의 로그 대수의 증감에 따라 상기 격자셀의 점유도를 갱신한다.
Figure pat00009
여기에서 m은 격자셀의 점유 확률(Occupancy Probability) m1~mN은 1~N번째 격자셀의 점유 확률, T는 행렬의 전치를 의미한다. 상기 수학식 4에서 각 격자셀의 점유 확률은 0, 1로 표준화 될 수 있다. 점유 확률을 통한 점유도는 다음과 같이 표현될 수 있다.
Figure pat00010
여기에서
Figure pat00011
는 시간 t에서 i번째 격자 셀의 로그 대수로 표현된 점유도를 의미하고,
Figure pat00012
는 i번째 격자셀이 점유되었을 확률,
Figure pat00013
는 i번째 격자셀이 점유되지 않았을 확률을 의미한다. mi는 i번째 격자셀의 점유 확률을 의미하고, z1:t는 시간 t에서 센서에서 측정한 i번 포인트의 거리 및 각도, x1:t는 시간 t에서 측정된 센서의 제1 좌표 정보 및 제2 좌표 정보를 나타낸다. 점유도 갱신부(380)는 격자셀의 점유 확률을 점유도로 변환하고, 변환된 점유도를 증감하여 격자셀의 점유도를 갱신한다. 점유도 갱신부(380)가 격자셀의 점유도와 점유 확률을 변환하는 방법은 다음과 같다.
Figure pat00014
여기에서, li,j,k는 (I,j,k)의 좌표를 갖는 격자셀의 로그 대수로 표현된 점유도, mi,j,k는 (I,j,k)의 좌표를 갖는 격자셀의 점유 확률을 나타낸다. 점유도 갱신부(380)는 상기 수학식 6을 이용하여 격자셀의 점유 확률을 로그 대수로 표현된 점유도로 변환할 수 있다.
Figure pat00015
여기에서, li,j,k 는 (I,j,k)의 좌표를 갖는 격자셀의 로그 대수로 표현된 점유도, mi,j,k는 (I,j,k)의 좌표를 갖는 격자셀의 점유 확률을 나타낸다. 점유도 갱신부(380)는 상기 수학식 7을 이용하여 격자셀의 갱신된 점유도를 해당 격자셀의 점유 확률로 변환할 수 있다.
예를 들어, 본 발명에서 점유도 갱신부(380)가 사용하는 격자셀의 점유 확률은 해당 격자셀의 점유 강도로 마련될 수 있고, 점유 확률 및 점유 강도는 해당 격자셀의 3차원 공간상의 좌표에서 얼마나 많은 포인트 클라우드 내 포인트 들이 스윕 라인에 스윕되는지 여부를 의미할 수 있다. 점유도 갱신부(380)는 센서의 위치로부터 출사되는 스윕라인에 스윕되는 포인트 클라우드 내의 포인트가 존재하는 경우, 하기의 수학식 8을 이용하여 스윕된 포인트의 3차원 공간상에서의 좌표에 대응되는 격자셀의 점유도를 갱신한다.
Figure pat00016
여기에서, li,j,k는 (i,j,k)의 좌표를 갖는 격자셀의 로그 대수로 표현된 점유도, mi,j,k는 (i,j,k)의 좌표를 갖는 격자셀의 점유 확률,
Figure pat00017
러닝 레이트(learning rate)로 실험적으로 결정되는 가중치이다. 점유도 갱신부(380)는 센서의 위치로부터 출사되는 스윕라인에 스윕되는 포인트 클라우드 내의 포인트가 존재하지 않는 경우 하기의 수학식 9을 이용하여 스윕된 포인트의 3차원 공간상에서의 좌표에 대응되는 격자셀의 점유도를 갱신한다.
Figure pat00018
여기에서, li,j,k는 (I,j,k)의 좌표를 갖는 격자셀의 로그 대수로 표현된 점유도, mi,j,k는 (I,j,k)의 좌표를 갖는 격자셀의 점유 확률,
Figure pat00019
는 러닝 레이트(learning rate)로 실험적으로 결정되는 가중치이다. 점유도 갱신부(380)는 러닝 레이트를 결정하여 점유도 갱신 과정의 민감도(Sensitivity)를 조절할 수 있다. 예를 들어, 점유도 갱신부(380)가 러닝 레이트의 값을 높게 결정하는 경우, 적은 양의 포인트 클라우드 내의 포인트에도 민감하게 반응하여 해당 격자셀 내 점유도를 빠르게 갱신할 수 있다. 본 발명의 일 실시 예에 따른 격자셀의 점유도 갱신 과정을 설명하면, 점유도 갱신부(380)는 스윕라인에 스윕되는 포인트 클라우드 내의 포인트가 발견되면 해당 포인트의 3차원 공간상의 좌표에 대응되는 격자셀의 점유확률을 계산하고, 계산된 점유확률을 로그대수를 이용하여 점유도로 변환하고, 상기 수학식 8 또는 9를 이용하여 해당 격자셀의 점유도를 갱신하고, 상기 갱신된 점유도를 다시 수학식 7을 이용하여 점유 확률로 변환하여 해당 격자셀에 점유 확률을 저장할 수 있다.
통합부(390)는 상기 점유도가 갱신된 격자셀에 상기 제1 좌표 정보, 제2 좌표 정보 및 상기 깊이 정보를 고려하여 서로 다른 가중치를 설정하여 통합한다. 예를 들어, 통합부(390)는 점유도 갱신부(380)가 격자셀의 점유도를 갱신한 후에는 센서의 자세 정보 및 공간 정보에 따라 서로 다른 가중치를 설정하여 갱신된 격자셀을 통합할 수 있다.
도 2는 도 1의 실시 예에서 지도 생성부(300)의 확대 블록도이다.
지도 생성부(300)는 갱신주기 설정부(320), 범주화부(340), 격자셀 검색부(360), 점유도 갱신부(380) 및 통합부(390)를 포함한다. 예를 들어, 지도 생성부(300)는 상기 생성된 포인트 클라우드를 상기 센서의 자세 정보 및 상기 공간 정보를 이용하여 서로 다른 갱신주기에 따라 범주화하고, 상기 범주화된 포인트 클라우드의 상기 3차원 공간상에서의 좌표를 고려하여 생성된 격자셀의 점유도를 상기 서로 다른 갱신주기로 갱신하여 격자 지도를 생성한다.
본 발명에서 지도 생성부(300)는 센서가 공간 정보를 측정하는 시간 및 센서의 자세 정보를 산출하는 시간에 따라 서로 다른 격자 지도를 생성할 수 있고, 상기 공간 정보를 측정하는 시간 및 자세 정보를 산출하는 시간에 따라 서로 다르게 생성된 격자 지도를 통합하여 시간 정보가 반영된 3차원 격자 지도를 생성할 수 있다. 예를 들어, 갱신 주기 설정부(320)는 거리 분류 함수를 이용하여 제1 좌표 정보, 제2 좌표 정보 및 공간정보에 포함된 깊이 정보로 특정되는 임의의 포인트의 양자화된 거리에 따른 거리 분류값을 생성하고, 생성된 거리 분류값을 이용하여 갱신주기를 설정할 수 있다. 갱신 주기 설정부(320)가 갱신주기를 설정하는 구체적인 방법은 전술한 바와 같으므로 생략한다.
범주화부(340)는 상기 서로 다른 갱신주기를 이용하여 상기 생성된 포인트 클라우드를 적어도 하나의 그룹으로 범주화한다. 범주화부(340)는 생성된 포인트 클라우드를 갱신주기를 이용하여 범주화하고, 점유도 갱신부(380)는 같은 갱신주기로 범주화된 포인트 클라우드의 그룹의 3차원 공간상의 좌표에 대응되는 격자셀을 갱신함에 있어서 이용하는 포인트의 수는 동일하게 마련될 수 있다. 격자셀 검색부(360)는 상기 제1 좌표 정보 및 제2 좌표 정보에 따라 지향되는 스윕 라인을 이용하여 상기 범주화된 포인트 클라우드의 3차원 공간상에서의 좌표에 대응하는 격자셀을 검색한다. 격자셀 검색부(360)가 격자셀을 검색하기 위한 스윕라인에 대한 구성은 전술한 바와 같으므로 생략한다.
점유도 갱신부(380)는 생성된 포인트 클라우드의 공간상 좌표에 대응되는 격자셀을 서로 다른 갱신주기로 갱신하여 격자 지도를 생성한다. 점유도 갱신부(380)가 격자셀의 점유도를 갱신하는 과정은 전술한 바와 같으므로 생략한다. 점유도 갱신부(380)가 갱신한 격자셀의 점유도는 0~1사이로 평준화 될 수 있다. 통합부(390)는 점유도가 갱신된 격자셀에 상기 제1 좌표 정보, 제2 좌표 정보 및 상기 깊이 정보를 고려하여 서로 다른 가중치를 설정하여 통합한다.
예를 들어, 격자 지도 생성 장치(10)는 시간 t1에서 특정 센서의 위치에 따라 3차원 공간을 측정하여 격자 지도(grid map1)를 생성하고, 시간 t2에서 시간 t1의 센서의 위치와 다른 좌표에 위치하는 센서를 이용하여 3차원 공간을 측정하여 생성한 격자 지도(grid map2)를 합하여 보다 정확한 격자 지도를 생성할 수 있다.
도 3은 도 2의 실시 예에서 갱신 주기 설정부(320)의 확대 블록도이다.
갱신주기 설정부(320)는 분류값 생성부(322)를 포함한다. 분류값 생성부(322)는 상기 제1 좌표 정보, 상기 제2 좌표 정보 및 상기 깊이 정보를 이용하여 상기 센서를 기준으로 측정되는 상기 포인트 클라우드 내 적어도 하나의 포인트까지의 거리를 스텝 함수로 양자화하여 거리 분류값을 생성한다. 분류값 생성부(322)가 거리 분류값을 생성하기 위하여 이용하는 거리 분류 함수 및 스텝 함수의 구성은 전술한 바와 같으므로 생략한다.
도 4는 도 2의 실시 예에서 범주화부(340)의 확대 블록도이다.
범주화부(340)는 필터링부(342)를 포함한다. 필터링부(342)는 상기 범주화된 포인트 클라우드의 그룹별 서로 다른 갱신 주기를 이용하여 상기 범주화된 포인트 클라우드의 적어도 일부 영역의 포인트들을 필터링한다. 본 발명에서 갱신 주기는 포인트 인텐시티(intensity), 밀도(density)에 대응되는 개념으로, 격자셀의 점유도를 갱신하기 위해 필요한 포인트 클라우드 내의 포인트의 수를 의미할 수 있다.
본 발명의 격자 지도 생성 장치(10)를 이용하는 경우 종래의 격자 지도 생성 기술보다 효과적으로 격자 지도를 생성할 수 있다. 일 실시 예에 따른 격자 지도 생성 결과, 동일한 조건하에서 서로 다른 갱신주기에 따라 포인트 클라우드를 범주화 하지 않고 격자 지도를 생성하는 경우 격자 지도를 생성하는데 0.32초의 시간이 소요되었으나, 서로 다른 갱신주기를 설정하여 포인트 클라우드를 범주화하고, 상기 범주화된 포인트 클라우드를 서로 다른 갱신 주기로 이용하여 격자셀의 점유도를 갱신하는 경우 격자 지도를 생성하는데 0.21초의 시간이 소요될 수 있다.
도 5는 본 발명의 일 실시예에 격자 지도 생성 방법의 흐름도이다.
본 발명의 격자 지도 생성 방법은 격자 지도 생성 장치에서 시계열적으로 수행되는 하기의 단계들을 포함한다.
S100에서, 포인트 클라우드 생성부(100)는 적어도 하나의 물체들을 포함하는 3차원 공간을 나타내는 공간 정보들을 측정하는 센서를 이용하여 상기 센서의 자세 정보에 따라 서로 다른 포인트 클라우드를 생성한다. 예를 들어, 포인트 클라우드 생성부(100)가 생성된 포인트 클라우드는 색상 및 거리 정보를 가지는 점 군(Point Group)으로서 3차원 공간으로 구성될 수 있다. 포인트 클라우드 생성부(100)가 RGB 영상 및 깊이 영상을 이용하여 포인트 클라우드를 생성하는 구체적인 방법은 전술한 바와 같다.
S200에서, 자세 정보 산출부(200)는 측정된 공간 정보들을 기초로 영상 기반 SLAM을 수행하여 상기 센서의 위치 및 방향에 관한 자세 정보를 산출한다. 예를 들어, 자세 정보 산출부(200)는 센서로부터 입력된 RGB 영상에서 비주얼 특징점을 추출하고, 3D SLAM을 이용하여 센서의 자세 정보로서 6자유도 자세를 산출할 수 있다. 자세 정보 산출부(200)가 센서의 자세 정보를 산출하는 구체적인 방법은 전술한 바와 같으므로 생략한다.
S300에서, 지도 생성부(300)는 생성된 포인트 클라우드를 상기 센서의 자세 정보 및 상기 공간 정보를 이용하여 서로 다른 갱신주기에 따라 범주화하고, 상기 범주화된 포인트 클라우드의 상기 3차원 공간상에서의 좌표를 고려하여 생성된 격자셀의 점유도를 상기 서로 다른 갱신주기로 갱신하여 격자 지도를 생성한다. 지도 생성부(300)는 센서가 3차원 공간을 측정하는 시간에 따라 서로 다른 격자 지도를 생성할 수 있고, 동일한 3차원 공간을 서로 다른 시간에 측정하여 생성된 격자 지도를 통합하여 새로운 격자 지도를 생성할 수 있음은 전술한 바와 같으므로 생략한다.
도 6은 도 5의 실시 예에서 격자 지도를 생성하는 단계의 확대 흐름도이다.
S320에서, 갱신주기 설정부(320)는 상기 센서의 자세 정보 및 상기 공간 정보에 포함된 깊이 정보를 기초로 상기 격자셀의 점유도를 갱신하기 위하여 필요한 상기 포인트 클라우드에 포함된 적어도 일부 영역의 포인트들의 수에 관한 갱신주기를 거리 분류 함수로 설정한다. 갱신주기 설정부(320)가 갱신주기를 설정하는 구체적인 방법은 전술한 바와 같으므로 생략한다. S340에서, 범주화부(340)는 서로 다른 갱신주기를 이용하여 상기 생성된 포인트 클라우드를 적어도 하나의 그룹으로 범주화한다. 범주화부(340)가 포인트 클라우드를 범주화하기 위하여 이용하는 갱신주기는 포인트 클라우드 내의 포인트가 센서로부터 떨어진 거리를 기준으로 설정될 수 있고, 따라서 범주화부(340)가 범주화하는 포인트 클라우드 내 적어도 하나의 그룹은 센서를 기준으로 방사상으로 배치될 수 있다.
S360에서, 격자셀 검색부(360)는 상기 제1 좌표 정보 및 제2 좌표 정보에 따라 지향되는 스윕 라인을 이용하여 상기 범주화된 포인트 클라우드의 3차원 공간상에서의 좌표에 대응하는 격자셀을 검색한다. 포인트 클라우드 생성부(100)에서 생성되는 포인트 클라우드는 시간에 따라 서로 다르게 생성될 수 있고, 생성된 포인트 클라우드의 3차원 공간상 좌표에 대응되게 검색되는 격자셀 역시 다르게 마련될 수 있다.
S380에서, 점유도 갱신부(380)는 점유도 갱신부(380)는 상기 스윕 라인에 스윕되는 상기 범주화된 포인트 클라우드 내 포인트들의 점유 강도를 이용하여 상기 격자셀의 점유도를 계산하고, 상기 계산된 점유도의 로그 대수의 증감에 따라 상기 격자셀의 점유도를 갱신한다. 점유도 갱신부(380)가 점유도를 갱신하는 구체적인 방법은 전술한 바와 같으므로 생략한다.
도 7은 본 발명의 또 다른 실시 예에 따른 격자 지도 생성 방법의 흐름도이다.
S900에서, 격자 지도 생성 장치(10)는 전술한 키넥트와 같은 센서 장치를 이용하여 3차원 공간의 RGB 영상 및 깊이 영상을 입력 받는다. S920에서, 특징점 추출부와 자세 정보 산출부(200)는 RGB 영상에서 특징점을 추출하고, 3D SLAM을 이용하여 센서의 6자유도 자세를 산출한다. S940에서, 포인트 클라우드 생성부(100)는 RGB 영상 및 깊이 영상을 이용하여 포인트 클라우드를 생성한다. S960에서 지도 생성부(300)는 DDU(Distance Dependent Update) 기반 복셀 지도를 갱신하여 복셀 지도를 생성한다. S980에서 격자 지도 생성 장치(10)는 생성된 복셀 지도를 이용하여 3D 환경 지도를 출력한다.
도 8은 도 7의 실시 예에서 DDU(Distance Dependent Update) 기반 복셀지도 갱신 및 생성하는 단계의 확대 흐름도이다.
S962에서, 갱신주기 설정부(320)는 거리 분류 함수 및 스텝 함수를 이용하여 갱신 주기를 설정한다. 예를 들어, 갱신주기 설정부(320)가 거리 분류 함수 및 스텝 함수를 이용하여 센서에서 측정되는 포인트 클라우드 내 포인트까지의 거리를 양자화하여 거리 분류값을 생성하고, 생성된 거리 분류값에 따라 서로 다른 갱신주기를 설정하는 구성은 전술한 바와 같으므로 생략한다.
S964에서, 격자셀 검색부(360)는 Ray-Tracing을 통해 포인트가 hit 되는 복셀을 검색한다. 본 발명에서 격자셀은 3차원 공간에서 체적 요소를 가지는 단위 격자로서 복셀을 포함하고, 격자 지도 생성 장치(10)가 생성하는 격자 지도는 복셀 지도로 마련될 수 있다. S966에서, 점유도 갱신부(380)는 3차원 복셀 점유도를 갱신한다. 점유도 갱신부(380)가 점유도를 갱신하는 구체적인 방법은 전술한 바와 같으므로 생략한다.
도 9는 본 발명의 3차원 공간을 측정하는 센서에서 측정된 RGB 영상을 나타내는 예시도이다.
본 발명의 격자 지도 생성 장치(10)에 포함된 3차원 공간을 측정하기 위한 센서는 RGB-D 영상 카메라 및 TOF 깊이 카메라를 포함하고, 바람직하게는 키넥트 센서로 마련될 수 있다. 격자 지도 생성 장치(10)는 센서를 이용하여 등을 포함하여 RGB 영상을 입력 받을 수 있다.
도 10은 본 발명의 3차원 공간을 측정하는 센서에서 측정된 3차원 공간의 깊이 영상을 나타내는 예시도이다.
본 발명의 격자 지도 생성 장치(10)는 키넥트 또는 TOF 방식의 센서를 포함하고, 센서를 통하여 센서로부터 측정되는 깊이(거리)정보에 따른 깊이 영상을 입력 받을 수 있다. 예를 들어, 격자 지도 생성 장치(10)는 광을 출사하여 반사되어 돌아오는 시간을 측정하여 3차원 공간의 깊이 정보를 측정할 수 있다.
도 11은 임의의 센서 위치에서 특정 시간에 측정된 센서의 자세 정보 및 공간 정보들을 바탕으로 격자 지도 생성 장치가 생성한 격자 지도를 나타내는 예시도이다.
본 발명의 격자 지도 생성 장치(10)가 DDU(Distance Dependent Update) 방법으로 생성한 3차원 복셀 지도는 도 10에 도시된 바와 같이 나타난다. 센서의 6자유도 자세는 영상 기반 3D SLAM 기술을 사용하며 3차원 격자 지도의 생성은 전술한 거리 의존 갱신 방법에 따른 것이다.
도 12는 일 실시 예에 따른 격자 지도 생성 장치가 생성한 비어 있는 격자 지도를 나타내는 예시도이다.
본 발명의 격자 지도 생성 장치(10)는 센서위 위치에서 출사되는 스윕라인을 이용하여 포인트 클라우드를 지향할 수 있고, 지향된 스윕라인에서 스윕되는 포인트 클라우드 내의 포인트가 없는 경우, 해당 포인트의 3차원 공간상의 좌표에서 대응되는 격자셀의 점유도를 낮게 갱신할 수 있다. 점유도 갱신부(380)에서 갱신된 점유도가 낮은 경우 격자셀을 비어있게 되고, 격자 지도 생성 장치(10)가 생성한 격자 지도는 도 12와 같이 도시될 수 있다.
도 13은 또 다른 실시 예에 따른 격자 지도 생성 장치(10)가 생성한 격자 지도를 나타내는 예시도이다.
본 발명의 격자 지도 생성 장치(10)는 격자셀에 대응되는 포인트 클라우드 내의 적어도 일부 영역의 포인트의 수에 관한 서로 다른 갱신주기를 설정하여 격자셀의 점유도를 갱신할 수 있다. 예를 들어, 포인트 클라우드 생성부(100)에서 생성된 3차원 공간상의 포인트 클라우드가 스윕라인에 의해 스윕되지 않는 경우 격자셀의 점유도는 비어있을 수 있고, 격자 지도 생성 장치(10)가 생성한 격자 지도의 적어도 일부는 도 5와 같이 빈 공간으료 나타날 수 있다.
도 14는 또 다른 실시 예에 따른 격자 지도 생성 장치(10)가 생성한 격자 지도를 나타내는 예시도이다.
본 발명의 격자 지도 생성 장치(10)는 가로, 세로 및 높이가 각각 4m*8m*3m인 격자 지도를 생성할 수 있고, 종래 지도 생성 기술에 비하여 짧은 시간에 효과적으로 격자 지도를 생성할 수 있음은 전술한 바와 같다
상기 설명된 본 발명의 일 실시예의 방법의 전체 또는 일부는, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 기록 매체의 형태로 구현될 수 있다. 여기에서, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 본 발명의 일 실시예에 따르는 방법의 전체 또는 일부는 컴퓨터에 의해 실행 가능한 명령어를 포함하며, 매체에 기록된 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 본 발명의 일 실시예에 따르는 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 적어도 하나의 물체들을 포함하는 3차원 공간을 나타내는 공간 정보들을 측정하는 센서를 이용하여 상기 센서의 자세 정보에 따라 서로 다른 포인트 클라우드를 생성하는 포인트 클라우드 생성부; 및
    상기 생성된 포인트 클라우드를 상기 센서의 자세 정보 및 상기 공간 정보를 이용하여 서로 다른 갱신주기에 따라 범주화하고, 상기 범주화된 포인트 클라우드의 상기 3차원 공간상에서의 좌표를 고려하여 생성된 격자셀의 점유도를 상기 서로 다른 갱신주기로 갱신하여 격자 지도를 생성하는 지도 생성부; 를 포함하는 격자 지도 생성 장치.
  2. 제1항에 있어서,
    상기 측정된 공간 정보들을 기초로 영상 기반 SLAM을 수행하여 상기 센서의 위치 및 방향에 관한 자세 정보를 산출하는 자세 정보 산출부; 를 더 포함하고,
    상기 지도 생성부는 상기 산출된 자세 정보를 이용하여 상기 격자 지도를 생성하는 것을 특징으로 하는 격자 지도 생성 장치.
  3. 제1항에 있어서,
    상기 자세 정보는 상기 센서의 위치에 관한 제1 좌표 정보 및 상기 센서의 방향에 관한 제2 좌표 정보를 포함하고,
    상기 공간 정보들은 상기 3차원 공간의 색상 정보 및 상기 센서를 기준으로 측정된 상기 3차원 공간의 깊이 정보를 포함하는 것을 특징으로 하는 격자 지도 생성 장치.
  4. 제2항에 있어서, 상기 자세 정보 산출부는
    상기 공간 정보들을 이용하여 생성된 영상 이미지에서 픽셀 별 화소값들의 변화량을 고려하여 특징점들을 추출하는 특징점 추출부; 를 더 포함하고,
    상기 추출된 특징점들을 이용하여 상기 센서의 자세 정보를 산출하는 것을 특징으로 하는 격자 지도 생성 장치.
  5. 제3항에 있어서, 상기 지도 생성부는
    상기 센서의 자세 정보 및 상기 공간 정보 중 적어도 하나를 입력으로 하는 거리 분류 함수를 이용하여 상기 격자셀의 점유도를 갱신하기 위해 필요한 상기 포인트 클라우드에 포함된 적어도 일부 영역의 포인트들의 수에 관한 갱신주기를 설정하는 갱신주기 설정부; 를 더 포함하고,
    상기 설정된 갱신주기에 따라 범주화된 포인트 클라우드를 이용하여 상기 격자 지도를 생성하는 것을 특징으로 하는 격자 지도 생성 장치.
  6. 제3항에 있어서, 상기 지도 생성부는
    상기 서로 다른 갱신주기를 이용하여 상기 생성된 포인트 클라우드를 적어도 하나의 그룹으로 범주화하는 범주화부; 를 더 포함하고,
    상기 범주화된 포인트 클라우드를 이용하여 상기 격자 지도를 생성하는 것을 특징으로 하는 격자 지도 생성 장치.
  7. 제3항에 있어서, 상기 지도 생성부는
    상기 제1 좌표 정보 및 제2 좌표 정보에 따라 지향되는 스윕 라인을 이용하여 상기 범주화된 포인트 클라우드의 3차원 공간상에서의 좌표에 대응하는 격자셀을 검색하는 격자셀 검색부; 를 더 포함하고,
    상기 검색된 격자셀의 점유도를 갱신하여 상기 격자 지도를 생성하는 것을 특징으로 하는 격자 지도 생성 장치.
  8. 제6항에 있어서, 상기 범주화부는
    상기 범주화된 포인트 클라우드의 그룹별 서로 다른 갱신 주기를 이용하여 상기 범주화된 포인트 클라우드의 적어도 일부 영역의 포인트들을 필터링하는 필터링부; 를 더 포함하고,
    상기 필터링된 적어도 일부 영역의 포인트들을 기반으로 상기 포인트 클라우드를 범주화 하는 것을 특징으로 하는 격자 지도 생성 장치.
  9. 제7항에 있어서, 상기 지도 생성부는
    상기 스윕 라인에 스윕되는 상기 범주화된 포인트 클라우드 내 포인트들의 점유 강도를 이용하여 상기 격자셀의 점유도를 계산하고, 상기 계산된 점유도의 로그 대수의 증감에 따라 상기 격자셀의 점유도를 갱신하는 점유도 갱신부; 를 더 포함하고,
    상기 점유도가 갱신된 격자셀을 이용하여 상기 격자 지도를 생성하는 것을 특징으로 하는 격자 지도 생성 장치.
  10. 제5항에 있어서, 상기 갱신주기 설정부는
    상기 제1 좌표 정보, 상기 제2 좌표 정보 및 상기 깊이 정보를 이용하여 상기 센서를 기준으로 측정되는 상기 포인트 클라우드 내 적어도 하나의 포인트 까지의 거리를 스텝 함수로 양자화하여 거리 분류값을 생성하는 분류값 생성부; 를 더 포함하고,
    상기 생성된 분류값을 이용하여 상기 갱신주기를 설정하는 것을 특징으로 하는 격자 지도 생성 장치.
  11. 제9항에 있어서, 상기 지도 생성부는
    상기 점유도가 갱신된 격자셀에 상기 제1 좌표 정보, 제2 좌표 정보 및 상기 깊이 정보를 고려하여 서로 다른 가중치를 설정하여 통합하는 통합부; 를 더 포함하고,
    상기 서로 다른 가중치로 통합된 상기 격자셀을 이용하여 상기 격자 지도를 생성하는 것을 특징으로 하는 격자 지도 생성 장치.
  12. 적어도 하나의 물체들을 포함하는 3차원 공간을 나타내는 공간 정보들을 측정하는 센서를 이용하여 상기 센서의 자세 정보에 따라 서로 다른 포인트 클라우드를 생성하는 단계;
    상기 측정된 공간 정보들을 기초로 영상 기반 SLAM을 수행하여 상기 센서의 위치 및 방향에 관한 자세 정보를 산출하는 단계; 및
    상기 생성된 포인트 클라우드를 상기 센서의 자세 정보 및 상기 공간 정보를 이용하여 서로 다른 갱신주기에 따라 범주화하고, 상기 범주화된 포인트 클라우드의 상기 3차원 공간상에서의 좌표를 고려하여 생성된 격자셀의 점유도를 상기 서로 다른 갱신주기로 갱신하여 격자 지도를 생성하는 단계; 를 포함하는 격자 지도 생성 방법.
  13. 제12항에 있어서,
    상기 자세 정보는 상기 센서의 위치에 관한 제1 좌표 정보 및 상기 센서의 방향에 관한 제2 좌표 정보를 포함하고,
    상기 공간 정보들은 상기 3차원 공간의 색상 정보 및 상기 센서를 기준으로 측정된 상기 3차원 공간의 깊이 정보를 포함하는 것을 특징으로 하는 격자 지도 생성 방법.
  14. 제13항에 있어서, 상기 격자 지도를 생성하는 단계는
    상기 센서의 자세 정보 및 상기 공간 정보를 기초로 상기 격자셀의 점유도를 갱신하기 위하여 필요한 상기 포인트 클라우드에 포함된 적어도 일부 영역의 포인트들의 수에 관한 갱신주기를 설정하는 단계; 를 더 포함하고,
    상기 설정된 갱신주기에 따라 범주화된 포인트 클라우드를 이용하여 상기 격자 지도를 생성하는 것을 특징으로 하는 격자 지도 생성 방법.
  15. 제13항에 있어서, 상기 격자 지도를 생성하는 단계는
    상기 서로 다른 갱신주기를 이용하여 상기 생성된 포인트 클라우드를 적어도 하나의 그룹으로 범주화하는 단계; 를 더 포함하고,
    상기 범주화된 포인트 클라우드를 이용하여 상기 격자 지도를 생성하는 것을 특징으로 하는 격자 지도 생성 방법.
  16. 제13항에 있어서, 상기 격자 지도를 생성하는 단계는
    상기 제1 좌표 정보 및 제2 좌표 정보에 따라 지향되는 스윕 라인을 이용하여 상기 범주화된 포인트 클라우드의 3차원 공간상에서의 좌표에 대응하는 격자셀을 검색하는 단계; 를 더 포함하고,
    상기 검색된 격자셀의 점유도를 갱신하여 상기 격자 지도를 생성하는 것을 특징으로 하는 격자 지도 생성 방법.
  17. 제15항에 있어서, 상기 범주화하는 단계는
    상기 범주화된 포인트 클라우드의 그룹별 서로 다른 갱신 주기를 이용하여 상기 범주화된 포인트 클라우드의 적어도 일부 영역의 포인트들을 필터링하는 단계; 를 더 포함하고,
    상기 필터링된 적어도 일부 영역의 포인트들을 기반으로 상기 포인트 클라우드를 범주화 하는 것을 특징으로 하는 격자 지도 생성 장치.
  18. 제16항에 있어서, 상기 격자 지도를 생성하는 단계는
    상기 스윕 라인에 스윕되는 상기 범주화된 포인트 클라우드 내 포인트들의 점유 강도를 이용하여 상기 격자셀의 점유도를 계산하고, 상기 계산된 점유도의 로그 대수의 증감에 따라 상기 격자셀의 점유도를 갱신하는 단계; 를 더 포함하고,
    상기 점유도가 갱신된 격자셀을 이용하여 상기 격자 지도를 생성하는 것을 특징으로 하는 격자 지도 생성 방법.
  19. 제14항에 있어서, 상기 갱신주기를 설정하는 단계는
    상기 제1 좌표 정보, 상기 제2 좌표 정보 및 상기 깊이 정보를 이용하여 상기 센서를 기준으로 측정되는 상기 포인트 클라우드 내 적어도 하나의 포인트 까지의 거리를 양자화하여 거리 분류값을 생성하는 단계; 를 더 포함하고,
    상기 생성된 분류값을 이용하여 상기 갱신주기를 설정하는 것을 특징으로 하는 격자 지도 생성 방법.
  20. 프로세서에 의해 실행되는 것을 통하여 제14항 내지 제19항 중 어느 한 항에 기재된 격자 지도 생성 방법을 실현하는 컴퓨터에서 판독 가능한 기록매체에 저장된 프로그램.
KR1020170171099A 2017-12-13 2017-12-13 격자지도 생성 장치 및 방법 KR102095842B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170171099A KR102095842B1 (ko) 2017-12-13 2017-12-13 격자지도 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170171099A KR102095842B1 (ko) 2017-12-13 2017-12-13 격자지도 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190070514A true KR20190070514A (ko) 2019-06-21
KR102095842B1 KR102095842B1 (ko) 2020-04-28

Family

ID=67056708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170171099A KR102095842B1 (ko) 2017-12-13 2017-12-13 격자지도 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102095842B1 (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200913A (zh) * 2020-09-30 2021-01-08 广州文远知行科技有限公司 一种点云生成方法、装置、设备和存储介质
WO2021025364A1 (ko) * 2019-08-02 2021-02-11 네이버랩스 주식회사 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
KR20210022016A (ko) * 2019-08-02 2021-03-02 네이버랩스 주식회사 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
KR20210063841A (ko) * 2019-11-25 2021-06-02 숭실대학교산학협력단 3d 포인트 클라우드의 클러스터링 방법 및 이를 수행하는 장치
KR20210116004A (ko) * 2020-03-17 2021-09-27 전남대학교산학협력단 확률 체계 기반 충돌격자지도를 이용한 충돌 상황을 학습 및 인지하기 위한 장치 및 이를 위한 방법
CN113470180A (zh) * 2021-05-25 2021-10-01 杭州思看科技有限公司 三维网格重建方法、装置、电子装置和存储介质
KR20220000320A (ko) * 2020-06-25 2022-01-03 한국전자통신연구원 3차원 라이다 스캐너를 이용한 동적 환경 대상 전역 위치 인식 장치 및 방법
KR20220064884A (ko) * 2020-11-12 2022-05-19 주식회사 유진로봇 3d slam 데이터 편집 장치 및 방법
KR102524995B1 (ko) * 2023-02-02 2023-04-25 국방과학연구소 전자 장치의 지도 생성 방법
WO2023095936A1 (ko) * 2021-11-24 2023-06-01 심용수 가상공간의 객체생성 방법 및 그 장치
US12025708B2 (en) * 2021-03-02 2024-07-02 Naver Labs Corporation Method and system of generating 3D map
WO2024143712A1 (ko) * 2022-12-28 2024-07-04 공주대학교 산학협력단 라이다 센서 데이터를 이용한 원통형 격자 지도 기반의 물체 인식 장치 및 방법
CN118823275A (zh) * 2024-09-18 2024-10-22 湖南理工职业技术学院 一种移动机器人的增强现实环境建模及定位处理方法
KR102733523B1 (ko) * 2024-02-14 2024-11-25 주식회사 에스더블유엠 포인트 클라우드 유효성 판별 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101415297B1 (ko) 2008-04-16 2014-07-07 삼성전자주식회사 로봇 지도 생성 방법 및 로봇 지도 이용 방법 및 로봇지도를 가지는 로봇
KR20150136399A (ko) * 2014-05-27 2015-12-07 한국생산기술연구원 충돌 예측 로봇 원격 제어 시스템 및 그 방법
KR20170008505A (ko) * 2015-07-14 2017-01-24 서울대학교산학협력단 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101415297B1 (ko) 2008-04-16 2014-07-07 삼성전자주식회사 로봇 지도 생성 방법 및 로봇 지도 이용 방법 및 로봇지도를 가지는 로봇
KR20150136399A (ko) * 2014-05-27 2015-12-07 한국생산기술연구원 충돌 예측 로봇 원격 제어 시스템 및 그 방법
KR20170008505A (ko) * 2015-07-14 2017-01-24 서울대학교산학협력단 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021025364A1 (ko) * 2019-08-02 2021-02-11 네이버랩스 주식회사 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
KR20210022016A (ko) * 2019-08-02 2021-03-02 네이버랩스 주식회사 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
KR20210063841A (ko) * 2019-11-25 2021-06-02 숭실대학교산학협력단 3d 포인트 클라우드의 클러스터링 방법 및 이를 수행하는 장치
KR20210116004A (ko) * 2020-03-17 2021-09-27 전남대학교산학협력단 확률 체계 기반 충돌격자지도를 이용한 충돌 상황을 학습 및 인지하기 위한 장치 및 이를 위한 방법
KR20220000320A (ko) * 2020-06-25 2022-01-03 한국전자통신연구원 3차원 라이다 스캐너를 이용한 동적 환경 대상 전역 위치 인식 장치 및 방법
CN112200913B (zh) * 2020-09-30 2024-01-12 广州文远知行科技有限公司 一种点云生成方法、装置、设备和存储介质
CN112200913A (zh) * 2020-09-30 2021-01-08 广州文远知行科技有限公司 一种点云生成方法、装置、设备和存储介质
KR20220064884A (ko) * 2020-11-12 2022-05-19 주식회사 유진로봇 3d slam 데이터 편집 장치 및 방법
US12025708B2 (en) * 2021-03-02 2024-07-02 Naver Labs Corporation Method and system of generating 3D map
CN113470180B (zh) * 2021-05-25 2022-11-29 思看科技(杭州)股份有限公司 三维网格重建方法、装置、电子装置和存储介质
CN113470180A (zh) * 2021-05-25 2021-10-01 杭州思看科技有限公司 三维网格重建方法、装置、电子装置和存储介质
WO2023095936A1 (ko) * 2021-11-24 2023-06-01 심용수 가상공간의 객체생성 방법 및 그 장치
WO2024143712A1 (ko) * 2022-12-28 2024-07-04 공주대학교 산학협력단 라이다 센서 데이터를 이용한 원통형 격자 지도 기반의 물체 인식 장치 및 방법
KR102524995B1 (ko) * 2023-02-02 2023-04-25 국방과학연구소 전자 장치의 지도 생성 방법
US12019161B1 (en) * 2023-02-02 2024-06-25 Agency For Defense Development Map generating method of electronic apparatus
KR102733523B1 (ko) * 2024-02-14 2024-11-25 주식회사 에스더블유엠 포인트 클라우드 유효성 판별 장치 및 방법
CN118823275A (zh) * 2024-09-18 2024-10-22 湖南理工职业技术学院 一种移动机器人的增强现实环境建模及定位处理方法
CN118823275B (zh) * 2024-09-18 2025-02-14 湖南理工职业技术学院 一种移动机器人的增强现实环境建模及定位处理方法

Also Published As

Publication number Publication date
KR102095842B1 (ko) 2020-04-28

Similar Documents

Publication Publication Date Title
KR102095842B1 (ko) 격자지도 생성 장치 및 방법
US11893785B2 (en) Object annotation method and apparatus, movement control method and apparatus, device, and storage medium
Li et al. Lo-net: Deep real-time lidar odometry
Guerry et al. Snapnet-r: Consistent 3d multi-view semantic labeling for robotics
US7995055B1 (en) Classifying objects in a scene
US9767604B2 (en) Image analysis method by analyzing point cloud using hierarchical search tree
US20200240793A1 (en) Methods, apparatus, and systems for localization and mapping
US8792726B2 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
CN110853036A (zh) 用于训练对象检测模型的方法及设备
CN113706480A (zh) 一种基于关键点多尺度特征融合的点云3d目标检测方法
US20220319146A1 (en) Object detection method, object detection device, terminal device, and medium
Pound et al. A patch-based approach to 3D plant shoot phenotyping
CN111142514B (zh) 一种机器人及其避障方法和装置
CN118230231B (zh) 一种无人车的位姿构建方法、装置、电子设备及存储介质
EP4396774A1 (en) Incremental dense 3-d mapping with semantics
Günen et al. Comparison of point cloud filtering methods with data acquired by photogrammetric method and RGB-D sensors
CN112712062A (zh) 基于解耦截断物体的单目三维物体检测方法和装置
CN113409446B (zh) 一种盲人辅助视觉处理方法及装置
CN115035404A (zh) 基于三维激光雷达构建语义地图的方法及系统
WO2021114775A1 (en) Object detection method, object detection device, terminal device, and medium
Gehrung et al. A fast voxel-based indicator for change detection using low resolution octrees
CN118212276A (zh) 点云配准方法、装置、设备、存储介质及程序产品
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN116237937A (zh) 视觉定位方法、机器人的控制方法、相关设备及介质
CN115588187A (zh) 基于三维点云的行人检测方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171213

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190923

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200313

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200326

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200326

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230328

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240220

Start annual number: 5

End annual number: 5