KR102449279B1

KR102449279B1 - 3차원 모델링을 위한 모바일 로봇 제어 장치, 이를 포함하는 3차원 모델링 시스템 및 이를 이용한 3차원 모델링 방법

Info

Publication number: KR102449279B1
Application number: KR1020200080531A
Authority: KR
Inventors: 조성호; 송수환
Original assignee: 한국과학기술원
Priority date: 2020-06-30
Filing date: 2020-06-30
Publication date: 2022-10-04
Also published as: US11992950B2; US20210402599A1; KR20220002794A

Abstract

3차원 모델링을 위한 모바일 로봇 제어 장치는 온라인 3차원 모델링부 및 경로 계획부를 포함한다. 상기 온라인 3차원 모델링부는 모바일 로봇으로부터 영상 시퀀스를 수신하고 상기 영상 시퀀스를 기초로 서로 다른 제1 맵과 제2 맵을 생성한다. 상기 경로 계획부는 상기 제1 맵을 기초로 글로벌 경로를 생성하고, 상기 제2 맵을 기초로 타겟 표면을 추출하며, 상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로보다 이동 단위가 작은 로컬 조사 경로를 생성한다.

Description

3차원 모델링을 위한 모바일 로봇 제어 장치, 이를 포함하는 3차원 모델링 시스템 및 이를 이용한 3차원 모델링 방법 {MOBILE ROBOT CONTROL APPARATUS FOR THREE DIMENSIONAL MODELING, THREE DIMENSIONAL MODELING SYSTEM HAVING THE SAME AND METHOD OF THREE DIMENSIONAL MODELING USING THE SAME}

본 발명은 3차원 모델링을 위한 모바일 로봇 제어 장치, 상기 모바일 로봇 제어 장치를 포함하는 3차원 모델링 시스템 및 상기 3차원 모델링 시스템을 이용한 3차원 모델링 방법에 관한 것으로, 보다 구체적으로는 실시간으로 수행되는 온라인 멀티뷰 스테레오(Multi-view stereo) 방식의 3차원 모델링을 위한 모바일 로봇 제어 장치, 상기 모바일 로봇 제어 장치를 포함하는 3차원 모델링 시스템 및 상기 3차원 모델링 시스템을 이용한 3차원 모델링 방법에 관한 것이다.

멀티뷰 스테레오 알고리즘은 대규모 구조물을 모델링하는 데에 널리 사용된다. 복원 품질은 수집된 영상에 크게 좌우되므로, 멀티뷰 스테레오 알고리즘을 처리할 때 영상 수집은 중요한 이슈이다.

최근 멀티뷰 스테레오 방식에서 영상을 얻기 위한 방식으로 explore-then-exploit 방식이 이용되고 있다. 상기 explore-then-exploit 방식에서는 기 할당된 카메라의 경로(trajectory)를 이용하여 먼저 전체 장면(scene)을 탐사하여 개략적인 모델(coarse model)을 구성한다. 그리고 나서, 상기 개략적인 모델에서 구성되지 않은 영역들에 대해 재스캔(rescan)을 수행한다. 그러나, 상기 explore-then-exploit 방식은 초기 경로와 재스캔 경로의 중복이 빈번히 발생하게 되므로 비효율적이다. 또한, 수집된 영상의 전체 커버리지를 통해 상기 멀티뷰 스테레오 알고리즘이 정확한 복원 결과를 보장할 수 없는 문제도 있다.

구체적으로, 상기 explore-then-exploit 방식의 모델링 성능은 아래 여러 가지 이유로 하락할 수 있다. 첫째로, 상기 explore-then-exploit 방식에서는 중복적인 경로가 빈번히 생성될 수 있다. 상기 중복적인 경로에 의해 카메라는 같은 영역을 반복적으로 스캔하게 되므로 시간적인 면에서 비효율적인 성능을 유발한다. 둘째로, 상기 explore-then-exploit 방식으로 수집된 영상이 타겟 구조물을 완전히 커버한다고 하더라도, 멀티뷰 스테레오 알고리즘은 텍스쳐가 없는 장면들, 짧은 베이스라인 거리 및 장애물로 인해 복원 모델을 정확하고 완전하게 생성하기 어렵다. 셋째로, explore-then-exploit 방식은 영상을 처리하기 위해 많은 시간이 소요되어, 전체적인 모델링 과정을 극히 느리게 한다.

본 발명이 이루고자 하는 목적은 실시간으로 수행되는 온라인 멀티뷰 스테레오 방식의 3차원 모델링을 위한 모바일 로봇 제어 장치를 제공하는 것이다.

본 발명이 이루고자 하는 다른 목적은 상기 모바일 로봇 제어 장치를 포함하는 3차원 모델링 시스템을 제공하는 것이다.

본 발명이 이루고자 하는 다른 목적은 상기 모바일 로봇 제어 장치를 이용하는 3차원 모델링 방법을 제공하는 것이다.

상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 3차원 모델링을 위한 모바일 로봇 제어 장치는 온라인 3차원 모델링부 및 경로 계획부를 포함한다. 상기 온라인 3차원 모델링부는 모바일 로봇으로부터 영상 시퀀스를 수신하고 상기 영상 시퀀스를 기초로 서로 다른 제1 맵과 제2 맵을 생성한다. 상기 경로 계획부는 상기 제1 맵을 기초로 글로벌 경로를 생성하고, 상기 제2 맵을 기초로 타겟 표면을 추출하며, 상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로보다 이동 단위가 작은 로컬 조사 경로를 생성한다.

본 발명의 일 실시예에 있어서, 상기 온라인 3차원 모델링부는 상기 영상 시퀀스를 수신하여 레퍼런스 영상의 포즈를 판단하는 포즈 판단부 및 상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상과 이웃하는 복수의 소스 영상들, 상기 소스 영상들의 포즈들을 이용하여 상기 레퍼런스 영상의 뎁스를 추정하는 뎁스 추정부를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 레퍼런스 영상의 상기 포즈는 상기 레퍼런스 영상을 촬영한 카메라의 좌표 및 상기 카메라의 방향을 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 포즈 판단부는 상기 영상 시퀀스의 특정 프레임을 키프레임으로 판단할 수 있다. 상기 온라인 3차원 모델링부는 상기 키프레임에 대응하는 영상 및 상기 영상의 포즈를 저장하는 포즈 데이터베이스를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 온라인 3차원 모델링부는 상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상의 상기 뎁스를 기초로 상기 모바일 로봇의 이동 경로 상에 장애물이 존재하는지 존재하지 않는지를 판단하기 위한 볼류메트릭 맵을 생성하는 볼류메트릭 맵핑부를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 온라인 3차원 모델링부는 상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상의 상기 뎁스를 기초로 3차원 모델링의 결과물인 서펠 맵을 생성하는 덴스 서펠 맵핑부를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 경로 계획부는 상기 볼류메트릭 맵에 기초하여 스캔 영역과 비스캔 영역의 경계를 나타내는 프론티어 포인트들을 생성하는 볼류메트릭 맵 분석부를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 경로 계획부는 상기 서펠 맵에 기초하여 복원의 완성도가 낮은 표면을 타겟 표면으로 추출하는 타겟 표면 추출부를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 경로 계획부는 상기 프론티어 포인트들을 기초로 상기 모바일 로봇이 이동하는 경로 중 상대적으로 큰 이동 단위를 갖는 글로벌 경로를 생성하는 글로벌 경로 계획부를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 경로 계획부는 상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로의 제1 점과 제2 점 사이의 경로를 나타내는 상기 로컬 조사 경로를 생성하는 로컬 조사 경로 계획부를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 경로 계획부는 상기 로컬 조사 경로를 최적화하여 최종 경로를 형성하는 경로 최적화부를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 로컬 조사 경로는 현재 카메라 시점, 제1 레퍼런스 카메라 시점 및 제2 레퍼런스 카메라 시점, 상기 현재 카메라 시점과 상기 제1 레퍼런스 카메라 시점 사이의 제1 경로 및 상기 제1 레퍼런스 카메라 시점과 상기 제2 레퍼런스 카메라 시점 사이의 제2 경로를 포함할 때, 상기 최종 경로의 현재 카메라 시점, 제1 레퍼런스 카메라 시점 및 제2 레퍼런스 카메라 시점 각각은 상기 로컬 조사 경로의 상기 현재 카메라 시점, 상기 제1 레퍼런스 카메라 시점 및 상기 제2 레퍼런스 카메라 시점 각각과 동일하고, 상기 최종 경로의 제1 경로 및 제2 경로는 상기 로컬 조사 경로의 상기 제1 경로 및 상기 제2 경로와 상이할 수 있다.

본 발명의 일 실시예에 있어서, 상기 경로 최적화부는 상기 로컬 조사 경로 상의 제1 카메라 시점과 상기 타겟 표면의 표면 점을 잇는 제1 선분 및 상기 로컬 조사 경로 상의 제2 카메라 시점과 상기 타겟 표면의 상기 표면 점을 잇는 제2 선분 사이의 각도를 나타내는 패럴랙스를 고려하여 상기 로컬 조사 경로를 최적화할 수 있다.

본 발명의 일 실시예에 있어서, 상기 패럴랙스가 α이고, 패럴랙스 기준값이 α0이며, 패럴랙스 상수가

이고, 제1 스코어 함수가

일 때,

를 만족하고, 상기 로컬 조사 경로는 상기 제1 스코어 함수를 이용하여 최적화될 수 있다.

본 발명의 일 실시예에 있어서, 상기 경로 최적화부는 상기 제1 카메라 시점과 상기 표면 점 사이의 거리 및 상기 제2 카메라 시점과 상기 표면 점 사이의 거리를 기초로 상기 로컬 조사 경로를 최적화할 수 있다.

본 발명의 일 실시예에 있어서, 상기 제1 카메라 시점과 상기 표면 점 사이의 거리가 distsrc이고, 상기 제2 카메라 시점과 상기 표면 점 사이의 거리가 distref이며, 제2 스코어 함수가

일 때,

를 만족하고, 상기 로컬 조사 경로는 상기 제2 스코어 함수를 이용하여 최적화될 수 있다.

본 발명의 일 실시예에 있어서, 상기 경로 최적화부는 상기 제1 카메라 시점의 소스 영상의 카메라 센터로부터 주점(principal point)까지의 광선 및 상기 제1 카메라 시점의 상기 소스 영상의 상기 카메라 센터로부터 상기 표면 점까지의 광선이 이루는 각도를 기초로 상기 로컬 조사 경로를 최적화할 수 있다.

본 발명의 일 실시예에 있어서, 상기 소스 영상의 상기 카메라 센터로부터 상기 주점(principal point)까지의 광선이

이고, 상기 소스 영상의 상기 카메라 센터로부터 상기 표면 점까지의 광선이

이며, 상기

와

가 이루는 각도가 β이고, 포커스 상수가

이며, 제3 스코어 함수가

일 때,

를 만족하고, 상기 로컬 조사 경로는 상기 제3 스코어 함수를 이용하여 최적화될 수 있다.

본 발명의 일 실시예에 있어서, 상기 경로 최적화부는 미리 결정된 시간 예산 내에서 상기 로컬 조사 경로의 카메라 시점들에서 얻어지는 정보량을 최대화하도록 상기 로컬 조사 경로를 최적화할 수 있다.

본 발명의 일 실시예에 있어서, 상기 덴스 서펠 맵핑부는 상기 포즈 판단부의 루프 클로징 신호를 기초로 상기 서펠 맵의 표면 모델을 변형할 수 있다.

본 발명의 일 실시예에 있어서, 상기 볼류메트릭 맵핑부는 상기 포즈 판단부의 상기 루프 클로징 신호를 기초로 상기 볼류메트릭 맵의 상태를 업데이트할 수 있다.

본 발명의 일 실시예에 있어서, 상기 볼류메트릭 맵은 주어진 환경을 'unknown', 'free', 'occupied'의 세가지 상태로 분류할 수 있다. 상기 'unknown' 상태는 해당 지점에 상기 장애물이 존재하는지 알 수 없는 상태를 나타낼 수 있다. 상기 'free' 상태는 해당 지점에 상기 장애물이 존재하지 않는 상태를 나타낼 수 있다. 상기 'occupied' 상태는 해당 지점에 상기 장애물이 존재하는 상태를 나타낼 수 있다.

상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 3차원 모델링 시스템은 모바일 로봇, 온라인 3차원 모델링부 및 경로 계획부를 포함한다. 상기 모바일 로봇은 영상을 촬영하여 영상 시퀀스를 생성한다. 상기 온라인 3차원 모델링부는 상기 모바일 로봇으로부터 상기 영상 시퀀스를 수신하고 상기 영상 시퀀스를 기초로 서로 다른 제1 맵과 제2 맵을 생성한다. 상기 경로 계획부는 상기 제1 맵을 기초로 글로벌 경로를 생성하고, 상기 제2 맵을 기초로 타겟 표면을 추출하며, 상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로보다 이동 단위가 작은 로컬 조사 경로를 생성한다. 상기 경로 계획부는 계획된 경로를 상기 모바일 로봇에 출력할 수 있다. 상기 모바일 로봇은 상기 계획된 경로를 따라 이동할 수 있다.

본 발명의 일 실시예에 있어서, 상기 영상 시퀀스에 따라 상기 제1 맵 및 상기 제2 맵이 실시간으로 가변하고, 상기 가변하는 상기 제1 맵 및 상기 제2 맵에 따라 상기 글로벌 경로 및 상기 로컬 조사 경로가 실시간으로 가변할 수 있다.

본 발명의 일 실시예에 있어서, 상기 모바일 로봇은 상기 영상을 촬영하여 상기 영상 시퀀스를 생성하는 영상 수집부 및 상기 계획된 경로를 수신하여 상기 모바일 로봇을 상기 계획된 경로를 따라 이동시키는 로봇 컨트롤러를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 온라인 3차원 모델링부는 상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상의 상기 뎁스를 기초로 상기 모바일 로봇의 이동 경로 상에 장애물이 존재하는지 존재하지 않는지를 판단하기 위한 볼류메트릭 맵을 생성하는 볼류메트릭 맵핑부 및 상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상의 상기 뎁스를 기초로 3차원 모델링의 결과물인 서펠 맵을 생성하는 덴스 서펠 맵핑부를 더 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 경로 계획부는 상기 볼류메트릭 맵에 기초하여 스캔 영역와 비스캔 영역의 경계를 나타내는 프론티어 포인트들을 생성하는 볼류메트릭 맵 분석부 및 상기 서펠 맵에 기초하여 복원의 완성도가 낮은 표면을 타겟 표면으로 추출하는 타겟 표면 추출부를 포함할 수 있다.

본 발명의 일 실시예에 있어서, 상기 경로 계획부는 상기 프론티어 포인트들을 기초로 상기 모바일 로봇이 이동하는 경로 중 상대적으로 큰 이동 단위를 갖는 글로벌 경로를 생성하는 글로벌 경로 계획부, 상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로의 제1 점과 제2 점 사이의 경로를 나타내는 상기 로컬 조사 경로를 생성하는 로컬 조사 경로 계획부 및 상기 로컬 조사 경로를 최적화하여 최종 경로를 형성하는 경로 최적화부를 더 포함할 수 있다.

상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 3차원 모델링 방법은 영상을 촬영하여 영상 시퀀스를 생성하는 단계, 상기 영상 시퀀스를 기초로 서로 다른 제1 맵과 제2 맵을 생성하는 단계, 상기 제1 맵을 기초로 글로벌 경로를 생성하는 단계, 상기 제2 맵을 기초로 타겟 표면을 추출하는 단계 및 상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로보다 이동 단위가 작은 로컬 조사 경로를 생성하는 단계를 포함한다.

본 발명에 따른 3차원 모델링을 위한 모바일 로봇 제어 장치, 이를 포함하는 3차원 모델링 시스템 및 이를 이용하는 3차원 모델링 방법에 따르면, 온라인 멀티뷰-스테레오 방식을 기초로 새로운 시각 경로 계획 방법을 제공한다. 상기 시각 경로 계획 방법을 이용하여, 타겟 3차원 모델을 실시간으로 누적적으로 구성할 수 있다. 상기 시각 경로들은 부분적으로 복원된 모델로부터의 온라인 피드백을 기초로 하여 계속적으로 계획될 수 있다. 상기 시각 경로들은 멀티뷰-스테레오의 복원 성능을 최대화하면서, 퀄리티가 낮은 표면을 완전히 커버할 수 있다. 본 실시예의 경우, explore-then-exploit 방식의 재스캔 과정 없이 한번의 탐사 과정(exploration trial)을 통해 고품질의 3차원 모델을 구성할 수 있다.

도 1은 본 발명의 일 실시예에 따른 3차원 모델링 시스템을 나타내는 블록도이다.
도 2는 도 1의 모바일 로봇을 나타내는 블록도이다.
도 3은 도 1의 온라인 3차원 모델링부를 나타내는 블록도이다.
도 4는 도 1의 경로 계획부를 나타내는 블록도이다.
도 5는 도 3의 뎁스 추정부의 동작을 나타내는 개념도이다.
도 6a 내지 도 6d는 도 3의 뎁스 추정부의 동작을 나타내는 개념도이다.
도 7a 내지 도 7c는 도 3의 덴스 서펠 맵핑부의 동작을 나타내는 개념도이다.
도 8은 도 3의 덴스 서펠 맵핑부의 루프 클로징에 따른 서펠 변형 동작을 나타내는 개념도이다.
도 9a 내지 도 9c는 도 4의 경로 계획부의 동작을 나타내는 개념도이다.
도 10 및 도 11은 도 4의 경로 최적화부의 동작을 나타내는 개념도이다.
도 12a는 본 발명의 비교예에 따른 explore-then-exploit 방식에 따른 경로 및 복원 결과를 나타내는 개념도이다.
도 12b는 본 발명의 실시예에 따른 3차원 모델링 방식에 따른 경로 및 복원 결과를 나타내는 개념도이다.
도 13은 본 발명의 비교예와 본 발명의 실시예에 따른 시간, 경로 길이, 에러도 및 복원 완성도를 나타내는 표이다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 3차원 모델링 시스템을 나타내는 블록도이다.

도 1을 참조하면, 상기 3차원 모델링 시스템은 모바일 로봇(100) 및 상기 모바일 로봇을 제어하는 모바일 로봇 제어 장치를 포함한다.

상기 모바일 로봇(100)은 촬영 장치를 포함하는 비행 물체일 수 있다. 예를 들어, 상기 모바일 로봇(100)은 카메라를 포함하는 드론일 수 있다. 상기 모바일 로봇 제어 장치는 온라인 3차원 모델링부(200)와 경로 계획부(300)를 포함할 수 있다.

상기 모바일 로봇(100)은 영상을 촬영하여 영상 시퀀스(IS)를 상기 온라인 3차원 모델링부(200)에 출력한다.

상기 온라인 3차원 모델링부(200)는 상기 모바일 로봇(100)으로부터 상기 영상 시퀀스(IS)를 수신한다. 상기 온라인 3차원 모델링부(200)는 상기 영상 시퀀스(200)를 기초로 볼류메트릭 맵(Volumetric map, VM) 및 서펠 맵(Surfel map, SM)을 생성한다. 상기 온라인 3차원 모델링부(200)는 상기 볼류메트릭 맵(VM) 및 상기 서펠 맵(SM)을 상기 경로 계획부(300)에 출력한다.

상기 경로 계획부(300)는 상기 온라인 3차원 모델링부(200)로부터 상기 볼류메트릭 맵(VM) 및 상기 서펠 맵(SM)을 수신한다. 상기 경로 계획부(300)는 상기 볼류메트릭 맵(VM) 및 상기 서펠 맵(SM)을 기초로 상기 계획된 경로(PP)를 모바일 로봇(100)에 출력한다.

상기 모바일 로봇(100)은 상기 계획된 경로(PP)를 따라 상기 영상을 촬영하여 상기 영상 시퀀스(IS)를 상기 온라인 3차원 모델링부(200)에 출력한다. 이와 같은 방식으로 상기 모바일 로봇(100), 상기 온라인 3차원 모델링부(200) 및 상기 경로 계획부(300)는 실시간으로 경로를 변경하면서, 온라인 멀티뷰 스테레오 방식의 3차원 모델링을 수행한다.

상기 영상 시퀀스(IS)에 따라 상기 볼류메트릭 맵(VM) 및 상기 서펠 맵(SM)이 실시간으로 가변하고, 상기 가변하는 상기 볼류메트릭 맵(VM) 및 상기 서펠 맵(SM)에 따라 상기 모바일 로봇(100)의 글로벌 경로 및 로컬 조사 경로가 실시간으로 가변할 수 있다.

상기 3차원 모델링 시스템은 종래의 explore-then-exploit 방식의 문제점을 해결하기 위한 것으로, 상기 3차원 모델링 시스템은 온라인 멀티뷰 스테레오 시스템을 기초로 한 새로운 시각 경로 계획 방법을 수행한다. 본 실시예에 따른 3차원 모델링 시스템은 로컬 덴스 맵핑(local dense mapping)에만 집중된 모노큘러(monocular) 맵핑 알고리즘을 대규모 모델의 구성에 적용할 수 있게 확장한 것이다. 본 실시예에 따른 3차원 모델링 시스템은 노이즈 필터링(noise filtering)과 뎁스 인터폴레이션(depth interpolation)을 포함하는 여러 후처리 단계들(post-processing steps)을 이용하여 3차원 데이터의 방대한 노이즈(noises)와 아웃라이어(outliers)를 처리한다. 종래의 오프라인 기법들과는 달리, 본 실시예에 따른 3차원 모델링 시스템은 대규모의 3차원 모델을 실시간 서펠 맵핑 방식을 이용하여 누적적으로 구성할 수 있다. 그로 인해, 복원된 표면의 퀄리티를 분석함으로써 모델의 완성도를 평가할 수 있다. 본 실시예에 따른 3차원 모델링 시스템은 복원의 퀄리티를 피드백하여 시각 경로를 반복적으로 계획할 수 있다. 본 실시예에 따른 3차원 모델링 시스템에서는 레퍼런스 영상과 소스 영상들을 수신하고, 멀티뷰 스테레오의 휴리스틱(heuristic) 정보를 이용하여 최고의 시각 경로들을 판단할 수 있다.

상기 결정된 시각 경로들을 기초로, 본 실시예에 따른 3차원 모델링 시스템은 아래 조건을 만족하는 최적의 카메라 경로를 생성할 수 있다: i) 현재 장면에서 퀄리티가 낮은 표면을 커버하고, ii) 스테레오 매칭 성능을 향상시킨다. 이와 같은 경로 계획 방법은 explore-then-exploit 방식에서의 재스캔 과정 없이 한번의 탐사 과정(exploration trial)을 통해 완전하고 정확한 3차원 모델을 구성할 수 있다

본 실시예의 3차원 모델링 시스템을 요약하면 아래와 같다: i) 종래의 방식들과는 달리, 시각 경로 계획을 위해, 3차원 모델을 구성하는 모노큘러 맵핑 알고리즘을 기초로 하는 온라인 멀티뷰 스테레오 시스템을 채용한다. ii) 본 실시예의 시각 경로 계획 방법은 멀티뷰 스테레오 복원의 성능을 극대화하기 위해 경로 최적화(trajectory optimization) 및 시각 선택(view selection)을 수행한다.

도 2는 도 1의 모바일 로봇(100)을 나타내는 블록도이다. 도 3은 도 1의 온라인 3차원 모델링부(200)를 나타내는 블록도이다. 도 4는 도 1의 경로 계획부(300)를 나타내는 블록도이다.

도 1 내지 도 4를 참조하면, 상기 모바일 로봇(100)은 영상 수집부(110) 및 로봇 컨트롤러(120)를 포함한다. 상기 영상 수집부(110)는 영상을 촬영하여 상기 영상 시퀀스(IS)를 생성한다. 상기 로봇 컨트롤러(120)는 상기 경로 계획부(300)로부터 상기 계획된 경로(PP)를 수신한다. 상기 로봇 컨트롤러(120)는 상기 계획된 경로(PP)를 기초로 상기 모바일 로봇(100)을 상기 경로(PP)에 따라 이동시킨다.

상기 온라인 3차원 모델링부(200)는 포즈 판단부(210), 포즈 데이터베이스(220), 뎁스 추정부(230), 볼류메트릭 맵핑부(240), 볼류메트릭 맵 데이터베이스(250), 덴스 서펠 맵핑부(260) 및 서펠 맵 데이터베이스(270)를 포함한다.

상기 포즈 판단부(210)는 상기 모바일 로봇(100)의 상기 영상 수집부(110)로부터 상기 영상 시퀀스(IS)를 수신한다. 상기 포즈 판단부(210)는 레퍼런스 영상(RI)의 포즈(RP)를 판단하여 상기 레퍼런스 영상(RI) 및 상기 레퍼런스 영상의 포즈(RP)를 상기 뎁스 추정부(230)로 출력한다.

상기 포즈 판단부(210)는 상기 입력된 영상 시퀀스(IS)의 특정 프레임을 키프레임(KF)으로 판단할 수 있다. 상기 포즈 판단부(210)는 상기 키프레임(KF)에 대응하는 영상 및 상기 영상의 포즈를 상기 포즈 데이터베이스(220)에 저장할 수 있다.

상기 포즈 데이터베이스(220)는 상기 포즈 판단부(210)로부터 상기 키프레임(KF)에 대응하는 영상 및 상기 영상의 포즈를 수신한다. 상기 포즈 데이터베이스(220)는 상기 레퍼런스 영상(RI)에 이웃하는 영상들 및 상기 영상들의 포즈를 소스 영상들(SI) 및 상기 소스 영상들의 포즈들(SF)로서 상기 뎁스 추정부(230)에 출력할 수 있다. 상기 소스 영상들(SI)은 상기 레퍼런스 영상(RI)에 이웃하는 영상들로 상기 레퍼런스 영상(RI)의 뎁스를 판단하기 위한 영상일 수 있으며, 상기 소스 영상들(SI)의 일부분은 상기 레퍼런스 영상(RI)의 일부분과 중첩될 수 있다. 예를 들어, 하나의 레퍼런스 영상(RI)에 대해 10개 내지 15개의 소스 영상들이 상기 뎁스 추정부(230)에 제공될 수 있다.

상기 뎁스 추정부(230)는 상기 포즈 판단부(210)로부터 상기 레퍼런스 영상(RI) 및 상기 레퍼런스 영상의 포즈(RP)를 수신하고, 상기 포즈 데이터베이스(220)로부터 상기 소스 영상들(SI) 및 상기 소스 영상들의 포즈들(SR)을 수신할 수 있다. 상기 뎁스 추정부(230)는 상기 레퍼런스 영상(RI), 상기 레퍼런스 영상의 포즈(RP)는 상기 소스 영상들(SI) 및 상기 소스 영상들의 포즈들(SP)을 이용하여 상기 레퍼런스 영상(RI)의 뎁스를 판단할 수 있다.

상기 뎁스 추정부(230)는 영상(IM), 상기 영상의 뎁스(DP) 및 상기 영상의 포즈(PS)를 상기 볼류메트릭 맵핑부(240) 및 상기 덴스 서펠(dense surfel) 맵핑부(260)에 각각 출력할 수 있다. 여기서, 상기 영상(IM), 상기 영상의 뎁스(DP) 및 상기 영상의 포즈(PS)는 상기 레퍼런스 영상(RI), 상기 레퍼런스 영상의 뎁스 및 상기 레퍼런스 영상의 포즈(RP)를 의미할 수 있다.

상기 볼류메트릭 맵핑부(240)는 상기 영상(IM), 상기 영상의 뎁스(DP) 및 상기 영상의 포즈(PS)를 기초로 볼류메트릭 맵(VM)을 생성할 수 있다. 상기 볼류메트릭 맵(VM)은 상기 모바일 로봇(100)의 이동 경로 상에 장애물이 존재하는지 존재하지 않는지를 판단하기 위한 맵일 수 있다. 또한, 상기 볼류메트릭 맵(VM)은 상기 경로 계획부(300)에서 글로벌 경로를 생성하기 위해 사용될 수 있다. 상기 볼류메트릭 맵핑부(240)는 상기 볼류메트릭 맵(VM)을 상기 볼류메트릭 맵 데이터베이스(250)에 출력할 수 있다.

상기 볼류메트릭 맵 데이터베이스(250)는 상기 볼류메트릭 맵(VM)을 저장하며, 상기 볼류메트릭 맵(VM)을 볼류메트릭 맵 분석부(310)에 출력할 수 있다. 이와는 달리, 상기 볼류메트릭 맵핑부(240)는 상기 볼류메트릭 맵(VM)을 상기 볼류메트릭 맵 분석부(310)에 직접 출력할 수도 있다.

상기 덴스 서펠 맵핑부(260)는 상기 영상(IM), 상기 영상의 뎁스(DP) 및 상기 영상의 포즈(PS)를 기초로 서펠 맵(SM)을 생성할 수 있다. 상기 서펠 맵(SM)은 3차원 모델링의 결과물일 수 있다. 또한, 상기 서펠 맵(VM)은 상기 경로 계획부(300)에서 로컬 조사 경로를 생성하기 위해 사용될 수 있다. 상기 서펠 맵(SM)은 상기 볼류메트릭 맵(VM)에 비해 정교하고 복잡한 형상을 가질 수 있다. 상기 덴스 서펠 맵핑부(260)는 상기 서펠 맵(SM)을 상기 서펠 맵 데이터베이스(270)에 출력할 수 있다.

상기 서펠 맵 데이터베이스(270)는 상기 서펠 맵(SM)을 저장하며, 상기 서펠 맵(SM)을 타겟 표면 추출부(320)에 출력할 수 있다. 이와는 달리, 상기 덴스 서펠 맵핑부(260)는 상기 서펠 맵(SM)을 상기 타겟 표면 추출부(320)에 직접 출력할 수도 있다.

상기 경로 계획부(300)는 볼류메트릭 맵 분석부(310), 타겟 표면 추출부(320), 글로벌 경로 계획부(330), 로컬 조사 경로 계획부(340) 및 경로 최적화부(350)를 포함한다.

상기 볼류메트릭 맵 분석부(310)는 상기 볼류메트릭 맵(VM)에 기초하여 스캔 영역과 비스캔 영역의 경계를 나타내는 프론티어 포인트들(FP)을 생성할 수 있다. 상기 볼류메트릭 맵 분석부(310)는 상기 프론티어 포인트들(FP)을 상기 글로벌 경로 계획부(330)에 출력한다.

상기 타겟 표면 추출부(320)는 상기 서펠 맵(SM)에 기초하여 타겟 표면(TS)을 추출할 수 있다. 상기 타겟 표면(TS)은 복원이 충분히 되지 않은 부분을 의미할 수 있다. 상기 타겟 표면 추출부(320)는 상기 타겟 표면(TS)을 상기 로컬 조사 경로 계획부(340)에 출력한다.

상기 글로벌 경로 계획부(330)는 상기 모바일 로봇(100)이 이동하는 경로 중 이동 단위가 상대적으로 큰 글로벌 경로(GP)를 생성할 수 있다. 상기 글로벌 경로(GP)는 상기 스캔 영역과 비스캔 영역의 경계를 나타내는 프론티어 포인트들(FP)을 기초로 생성될 수 있다. 상기 글로벌 경로 계획부(330)는 상기 글로벌 경로(GP)를 상기 로컬 조사 경로 계획부(340)에 출력한다.

상기 로컬 조사 경로 계획부(340)는 상기 모바일 로봇(100)이 이동하는 경로 중 이동 단위가 상대적으로 작은 로컬 조사 경로(LP)를 생성할 수 있다. 상기 로컬 조사 경로(LP)는 상기 글로벌 경로(GP)의 제1 점과 제2 점 사이의 경로를 의미할 수 있다. 상기 로컬 조사 경로(LP)는 상기 글로벌 경로(GP) 및 상기 타겟 표면(TS)을 기초로 생성될 수 있다. 상기 로컬 조사 경로 계획부(340)는 상기 로컬 조사 경로(LP)를 상기 경로 최적화부(350)에 출력한다.

상기 경로 최적화부(350)는 상기 로컬 조사 경로(LP)를 최적화하여 최종 경로(PP)를 형성한다. 상기 경로 최적화부(350)는 상기 최종 경로(PP)를 상기 모바일 로봇(100)의 상기 로봇 컨트롤러(120)에 출력한다.

도 1 내지 도 4의 블록들은 논리적 블록이며, 물리적으로 구분되는 블록을 의미하지 않는다. 따라서, 상기 블록들이 모두 하드웨어적으로 구별되는 것은 아니다. 예를 들어, 상기 온라인 3차원 모델링부(200)의 구성 요소들(210 내지 270)은 하나의 프로세서나 하나의 컨트롤러로 구현될 수 있다. 예를 들어, 상기 경로 계획부(300)의 구성 요소들(310 내지 350)은 하나의 프로세서나 하나의 컨트롤러로 구현될 수 있다. 뿐만 아니라, 상기 온라인 3차원 모델링부(200) 및 상기 경로 계획부(300)는 하나의 프로세서나 하나의 컨트롤러로 구현될 수 있다.

상기 온라인 3차원 모델링부(200)는 수신된 영상 시퀀스(IS)로부터 온라인으로 3차원 모델을 구성한다. 우선 상기 온라인 3차원 모델링부(200)의 포즈 판단부(210)는 카메라의 포즈를 계산한다. 상기 카메라의 포즈는 상기 영상 시퀀스(IS)로부터 판단되며, 상기 카메라의 좌표 및 상기 카메라가 향하고 있는 방향을 나타낼 수 있다. 상기 뎁스 추정부(230)는 모노큘러 맵핑 방식을 이용하여 장면의 뎁스 맵(depth map)을 생성한다. 상기 볼류메트릭 맵핑부(240) 및 상기 덴스 서펠 맵핑부(260)는 상기 뎁스 맵(depth map)을 볼류메트릭 맵과 표면(surface) 모델에 동시에 통합할 수 있다. 상기 볼류메트릭 맵은 환경을 세가지 상태(unknown, free, occupied)로 분류한다. 상기 unknown 상태는 해당 지점에 장애물이 존재하는지 알 수 없는 상태를 나타내고, 상기 free 상태는 해당 지점에 장애물이 존재하지 않는 상태를 나타내며, 상기 occupied 상태는 해당 지점에 장애물이 존재하는 상태를 나타낼 수 있다.

상기 볼류메트릭 맵은 상기 모바일 로봇이 구조물과 충돌하지 않는 경로를 형성하기 위해 사용될 수 있다. 표면 모델은 덴스 포인트 프리머티브(dense point primitive)의 군집으로 표현될 수 있다. 상기 덴스 포인트 프리머티브는 서펠(surfel)로 부를 수 있다. 상기 서펠은 표면 변형 및 표면 렌더링에 효율적일 수 있다.

상기 경로 계획부(300)는 타겟 구조물을 복원하기 위한 탐사 경로를 계산한다. 상기 경로 계획부(300)는 볼류메트릭 맵을 분석하여 큰 unknown 영역을 탐사하기 위한 글로벌 경로(global path)를 계획한다. 그리고 나서 상기 경로 계획부(300)는 상기 표면 모델에서 불완전하게 복원된 표면을 커버하는 로컬 조사 경로(local inspection path)를 계산한다. 상기 계획된 로컬 경로는 상기 멀티뷰 스테레오 복원의 성능을 최대화하기 위해 다듬어질 수 있다. 상기 타겟 구조물의 3차원 모델이 구성되는 동안, 상기 모바일 로봇(100)은 상기 계획된 경로(PP)를 따라 지속적으로 탐색을 수행한다.

본 실시예에 따른 상기 3차원 모델링 시스템(온라인 멀티뷰 스테레오 시스템)은 모노큘러 덴스 맵핑(monocular dense mapping) 알고리즘을 기초로 한다. 상기 3차원 모델링 시스템은 상기 포즈 판단부(210)를 사용하여 레퍼런스 영상(RI)과 그에 대응하는 카메라 포즈(RP)를 판단한다. 상기 포즈 판단부(210)는 키프레임을 기초로 상기 카메라 포즈(RP)를 판단할 수 있다. 상기 포즈 판단부(210)는 선택된 키프레임(KF)의 드문 맵 포인트들(sparse map points)을 추정하여 상기 카메라 포즈를 계산할 수 있다. 새로운 키프레임(KF)이 추출되면, 상기 영상과 상기 영상에 대응하는 카메라 포즈는 상기 포즈 데이터베이스(220)에 저장된다. 또한, 상기 키프레임(KF)은 상기 뎁스 추정을 위한 레퍼런스 영상(RI)이 될 수 있다. 스테레오 매칭을 위해 연속되는 순차적 영상들을 소스 영상으로 사용하는 종래의 모노큘러 맵핑 알고리즘과는 달리, 본 실시예에 따른 상기 3차원 모델링 시스템에서는 뎁스 추정의 성능을 향상시키기 위해 온라인, 액티브 방식으로 소스 이미지들의 최적의 세트를 선택할 수 있다.

도 5는 도 3의 뎁스 추정부의 동작을 나타내는 개념도이다. 도 6a 내지 도 6d는 도 3의 뎁스 추정부의 동작을 나타내는 개념도이다.

도 1 내지 도 6d를 참조하면, 상기 뎁스 추정부(230)는 시간 t의 소스 영상(It)과의 픽셀 단위의 스테레오 매칭을 통해 상기 레퍼런스 영상(Iref)의 뎁스 맵(Dt)을 생성할 수 있다. 상기 뎁스 추정부(230)는 상기 생성된 뎁스 맵들(D1, ..., DT)을 순차적으로 통합할 수 있다. 예를 들어, 상기 뎁스 추정부(230)는 순차적인 뎁스를 통합할 수 있는 재귀 베이시안 추정법을 이용하여 상기 생성된 뎁스 맵들(D1, ..., DT)을 순차적으로 통합할 수 있다. 상기 뎁스 추정부(230)는 각 픽셀에 대해 재귀적으로 가우시안 분포를 따르는 평균 뎁스(d) 및 분산(σ²)과 내부 확률(inlier probability, p)을 업데이트 한다. p>제1 기준값(e.g. θinlier) and σ²<제2 기준값(θvar)의 조건을 만족하면, 상기 뎁스 추정값은 수렴되는 것으로 판단될 수 있다.

도 5를 보면, 상기 뎁스 추정부(230)는 상기 포즈 판단부(210)로부터 상기 레퍼런스 영상(Iref, RI) 및 상기 레퍼런스 영상의 포즈(RP)를 수신한다. 상기 뎁스 추정부(230)는 상기 포즈 데이터베이스(220)로부터 소스 영상들(I1 ~ I3, SI) 및 상기 소스 영상들(I1 ~ I3)의 포즈들(SP)을 수신한다. 상기 뎁스 추정부(230)는 상기 레퍼런스 영상(RI), 상기 레퍼런스 영상의 포즈(RP)는 상기 소스 영상들(SI) 및 상기 소스 영상들의 포즈들(SP)을 이용하여 상기 레퍼런스 영상(RI)의 뎁스를 판단할 수 있다.

도 6a는 상기 뎁스 추정부(230)에 의해 최초로 생성된 뎁스를 나타낸다. 상기 최초로 생성된 뎁스 맵은 (텍스쳐가 없는 영역(예컨대, 돌출부 또는 함몰부 등이 없이 평평한 영역)에서) 수렴되지 않는 픽셀들 및 수렴되지만 이상이 있는 픽셀들을 오프라인 멀티뷰 스테레오 방식에 비해 많이 포함할 수 있다.

따라서, 상기 뎁스 추정부(230)는 뎁스 포인트가 이웃한 픽셀들에 의해 서포트 되는지 여부를 판단하여 이상 뎁스들(outlier depths)은 제거할 수 있다. 그리고 나서, 상기 뎁스 추정부(230)는 동일 평면의 표면들의 뎁스 평활도(depth smoothness)를 유지하면서, 수렴되지 않는 뎁스 값들에 대해 인터폴레이션을 수행할 수 있다. 상기 뎁스 추정부(230)는 뎁스 인터폴레이션을 위해 fast weighted least squares (WLS) 방식을 채용할 수 있다. 상기 WLS 방식은 글로벌 최적화 문제를 해결하여 영상에 가이드되어(image-guided), 에지를 보존하는(edge-preserving) 인터폴레이션을 수행할 수 있다.

도 6b는 상기 WLS 필터를 상기 영상 전체에 적용한 경우를 도시한다. 상기 WLS 방식은 텍스쳐가 없는 영역 또는 평면 영역에 대해 효율적일 수 있으나, 뎁스 불연속성이 있는 영역과 평평하지 않은 표면과 이웃한 영역들에서는 노이즈를 발생시킬 수 있다. 또한, 상기 WLS 방식은 도 6b에서 보는 바와 같이, 하늘이나 멀리 떨어진 흐릿한 영역 등과 같이 빈 영역들(empty area)에 대해 뎁스 값을 인터폴레이션할 수 있다. 이러한 문제를 해결하기 위해, 상기 뎁스 추정부(230)는 타겟 구조물에서 조각 평면 영역들을 추출하고, 상기 WLS 필터를 상기 평면 영역들에만 적용할 수 있다.

첫째로, 상기 뎁스 추정부(230)는 전체 영상 영역을 직사각형의 그리드들로 나누고, 각 그리드 내의 중간 뎁스 포인트(median depth point)를 선택함으로써 서포트 뎁스 포인트의 세트를 결정한다. 그리고 나서, 상기 뎁스 추정부(230)는 패스트 트라이앵귤레이션(fast triangulation) 방법을 이용하여 상기 서포트 뎁스 포인트들의 픽셀 위치의 2차원 들로네 트라이앵귤레이션(Delaunay triangulation)을 계산한다. 도 6c는 상기 평면 영역을 검출하기 위한 들로네 트라이앵귤레이션을 도시한다. 3차원에서 쓰레스홀드보다 긴 모서리들을 갖는 삼각형 메쉬들은 삼각형 세트로부터 삭제된다. 상기 뎁스 추정부(230)는 상기 구성된 삼각형 메쉬들에 따라 영상을 삼각형 영역들의 세트(

)로 분할한다. 상기 각각의 삼각형 영역은 평면 파라미터들(

)로 표현될 수 있다. 픽셀(p)의 뎁스는 수학식 1로 정의된다. 여기서, px와 py는 상기 픽셀(p)의 x좌표 및 y좌표를 나타낸다.

[수학식 1]

상기 뎁스 맵은 상기 WLS 필터에 의해 인터폴레이션되고, 상기 삼각형 영역(

)의 평면은 수학식 2로 정의된다. 여기서,

는

내의 픽셀의 개수이고,

은 뎁스 쓰레스홀드이며,

은 인디케이터 함수이다.

[수학식 2]

이러한 수식은 단순히 평면 파라미터들(

)과 일치하는 인터폴레이티드 뎁스의 비율을 나타낸다. 도 6d는 상기 뎁스 추정부(230)의 후처리를 통해 최종적으로 평면 영역에 대해서만 WLS 필터를 적용한 뎁스를 나타낸다. 상기 비율이 쓰레스홀드(예컨대, 0.95)보다 높으면, 상기 삼각형 영역은 도 6d의 평면 영역으로 판단된다. 상기 인터폴레이티드 뎁스는 상기 평면 영역에 대해서만 적용될 수 있다. 또한, 상기 최초의 뎁스는 비평면 영역에 사용될 수 있다.

도 7a 내지 도 7c는 도 3의 덴스 서펠 맵핑부(260)의 동작을 나타내는 개념도이다. 도 8은 도 3의 덴스 서펠 맵핑부(260)의 루프 클로징에 따른 서펠 변형 동작을 나타내는 개념도이다.

도 1 내지 도 8을 참조하면, 상기 표면 모델은 3차원 서펠들로 형성된 복원된 표면을 나타낸다. 상기 3차원 서펠들은 3차원 위치, 법선, 색, 웨이트(신뢰도) 및 반지름의 속성을 가질 수 있다. 상기 3차원 서펠들은 업데이트 타임 스탬프의 속성을 더 가질 수 있다.

도 7a는 컬러 서펠들을 나타내고, 도 7b는 업데이트 타임 스탬프를 나타내며, 도 7c는 활성 서펠들과 비활성 서펠들을 나타낸다.

상기 덴스 서펠 맵핑부(260)는 서펠 초기화 및 서펠 퓨전 기법을 채용할 수 있다. 상기 서펠의 초기 웨이트(w)는 아래 수학식 3과 같이 뎁스의 분산(σ²)으로부터 직접적으로 맵핑될 수 있다. 여기서,

는 사용자에 의해 정의되는 최대 표준 편차(예컨대, 1.0)일 수 있다.

[수학식 3]

또한, 인터폴레이티드 뎁스의 웨이트는 수학식 4의 상수(

)로 설정될 수 있다.

[수학식 4]

상기 덴스 서펠 맵핑부(260)는 일정 시간동안 융합되지 않는(not fused) 서펠들은 비활성 서펠로 라벨링하고, 웨이트가 낮은 상기 비활성 서펠들은 필터링하여 걸러낼 수 있다. 본 실시예에서, 상기 뎁스는 활성 서펠들 간에만 융합될 수 있다.

도 8에서 보듯이, 상기 포즈 판단부(210)가 루프 클로징(loop closing)을 수행하는 경우, 상기 루프 클로징에 의해 수정된 포즈 데이터에 따라 상기 덴스 서펠 맵핑부(260)는 상기 표면 모델을 변형할 수 있다. 또한, 상기 포즈 판단부(210)가 루프 클로징(loop closing)을 수행하는 경우, 상기 루프 클로징에 의해 수정된 포즈 데이터에 따라 상기 볼류메트릭 맵핑부(240)는 상기 볼류메트릭 맵을 변형할 수 있다.

상기 포즈 판단부(210)가 카메라의 이동량만을 기초로 상기 카메라의 위치를 판단하는 경우, 조금씩 누적되는 이동량의 오차로 인해 상기 카메라가 출발지점에 다시 돌아왔음에도 상기 카메라의 위치를 상기 출발지점과 다른 위치로 판단하는 경우가 있다. 이 경우, 상기 포즈 판단부(210)는 루프 클로징을 통해 상기 카메라의 위치를 상기 출발지점으로 일치시킬 수 있으며, 상기 카메라의 위치가 변화함에 따라 누적된 카메라 포즈 정보들을 업데이트할 수 있다.

상기 포즈 판단부(210)의 상기 루프 클로징에 응답하여 상기 볼류메트릭 맵핑부(240) 및 상기 덴스 서펠 맵핑부(260)는 상기 볼류메트릭 맵 및 상기 표면 모델을 변형할 수 있다. 본 발명의 일 실시예에서, 상기 루프 클로징(LC) 정보는 상기 포즈 데이터베이스(220)에 저장되어 상기 포즈 데이터베이스(220)로부터 상기 볼류메트릭 맵핑부(240) 및 상기 덴스 서펠 맵핑부(260)로 출력될 수 있다.

상기 덴스 서펠 맵핑부(260)는 상기 표면 모델을 변형하기 위해 서펠 변형 방식을 채용할 수 있다. 그래프를 가변하는 방식 대신에 상기 서펠 변형 방식을 채용하면, 상기 덴스 서펠 맵핑부(260)는 상기 포즈 판단부(210)와의 일관성을 유지하면서 각각의 서펠들의 위치를 개별적으로 변환할 수 있다. 상기 서펠 변형이 종료되면, 상기 볼류메트릭 맵핑부(240)는 상기 볼류메트릭 맵을 'unknown' 상태로 다시 초기화하고, 상기 변형된 서펠 위치로부터 직접적으로 'occupied' 영역을 판단할 수 있다. 그리고 나서 상기 볼류메트릭 맵핑부(240)는 각각의 업데이트된 포즈를 'occupied' 영역으로 표시함으로써 'free' 영역을 업데이트할 수 있다. 상기 'free' 영역이 업데이트될 때, 이미 'occupied' 상태로 지정된 영역들은 제외될 수 있다.

도 9a 내지 도 9c는 도 4의 경로 계획부의 동작을 나타내는 개념도이다. 도 10 및 도 11은 도 4의 경로 최적화부의 동작을 나타내는 개념도이다.

도 1 내지 도 11을 참조하면, 본 실시예는 알려지지 않은 영역(unknown) 및 경계(bounded) 영역을 가능한 빠른 속도로 탐사하여, 신뢰도 높은 표면 모델을 복원하기 위한 것이다. 이하 알고리즘 1(Algorithm 1)은 본 실시예에 따른 경로 계획 방법의 슈도 코드(pseudocode)를 제시한다.

[알고리즘 1]

본 실시예에 따른 경로 계획 방법은 글로벌 경로 계획, 타겟 표면 추출 및 로컬 경로 계획의 세가지 단계를 포함할 수 있다. 도 9a는 상기 글로벌 경로 계획을 나타내고, 도 9b는 상기 타겟 표면 추출을 나타내며, 도 9c는 상기 로컬 경로 계획을 나타낸다. 각각의 반복적인 단계들에서 본 실시예에 따른 경로 계획방법은 첫째로 탐사되지 않은 영역(unexplored region)의 커버리지를 최대화하기 위한 글로벌 경로를 판단할 수 있다. 그리고 나서는 온라인 멀티뷰 스테레오 방식의 성능을 최대화하면서 표면 모델의 복원을 완료할 수 있는 로컬 조사 경로를 계획한다. 상기 로컬 조사 경로를 계산하기 위해 본 실시예에 따른 경로 계획 방법은 신뢰도가 낮은 표면(low-confidence surface)을 추출하며, 각 신뢰도가 낮은 표면의 레퍼런스 영상들을 수집하기 위한 카메라 시점(view configuration)의 집합을 결정할 수 있다. 마지막으로, 본 실시예에 따른 경로 계획 방법은 카메라 시점 집합 내의 모든 시점들을 통과하면서 상기 멀티뷰 스테레오 방식의 성능을 최대화하기 위한 최적 경로를 계산할 수 있다.

상기 글로벌 경로 계획부(330)는 전체 프론티어를 여러 클러스터들(Vfront)로 분할하고 (알고리즘 1의 line 1), 클러스터들의 글로벌 커버리지를 계산한다. 상기 모바일 로봇(100)은 상기 커버리지를 순차적으로 따라가며 상기 'unknown' 영역들을 탐사한다. 상기 글로벌 경로 계획부(330)는 글로벌 커버리지 경로 계획의 문제를 generalized traveling salesman problem (GTSP) 수식으로 나타낼 수 있다. Configuration space는 Q로 표시되고, Q 내에서 실현 가능한 카메라 시점(view configuration)은 q로 표시되며,

는 경로를 의미할 수 있다. 상기 글로벌 경로 계획부(330)는 각각의 프론티어 클러스터(

)에 대해, Vi 내의 전체 프론티어들 중 관측가능한 프론티어의 비율이 특정 비율보다 높은 카메라 시점들의 집합(Qi)을 생성하고, 이 집합들의 세트({Q1, ..., QN})를 생성할 수 있다 (알고리즘 1의 line 2). 상기 샘플 세트 {Q1, ..., QN}에 대해 GTSP 알고리즘은 각각의 샘플 세트 Qi로부터 대표 시점 qi를 선택할 수 있다. 상기 GTSP 알고리즘은 현재 시점 qcurr로부터 출발하여 모든 대표 시점 qi들을 지나는 최단 거리를 얻는다 (알고리즘 1의 line 3). 상기 글로벌 경로 계획부(330)는 상기 지나는 대표 시점들의 유클리드 거리가 최소가 되도록 상기 글로벌 경로를 생성할 수 있다. 상기 글로벌 경로 계획부(330)는 상기 결과 경로로부터, 제1 샘플 q1을 다음 최적 시점(Next-Best-View) qNBV가 되도록 선택할 수 있고, 상기 qNBV로의 글로벌 경로(

)를 계산할 수 있다 (알고리즘 1의 line 4).

상기 타겟 표면 추출부(320)는 스크린드 포아송 복원(screened Poisson reconstruction) 알고리즘을 이용하여 상기 표면 모델로부터 잠정적 표면 모델을 재구성할 수 있다. 여기서, 상기 재구성된 잠정적 표면 모델은 표면 점들(X)의 세트로 표현될 수 있다. 각각의 점(

)은 3차원 위치 정보 및 법선 값을 포함한다. 상기 타겟 표면 추출부(320)는 이웃한 표면 점들을 유클리드 클러스터링으로 그룹핑한다.

가 표면 점들의 클러스터의 세트이고,

가

의 표면 점들의 평균이라고 할 때,

의 신뢰도는 상기 표면 모델의 이웃한 서펠들의 웨이트의 평균(

)으로 정의될 수 있다. 상기 타겟 표면 추출부(320)는 신뢰도 값이

보다 낮은 값을 갖는 평균된 표면 점들을 타겟 표면 점들(

)로 판단할 수 있다 (알고리즘 1의 line 7).

상기 로컬 조사 경로 계획부(340)는 상기 타겟 표면의 커버리지를 제공하는 조사 경로를 계산할 수 있다. 상기 로컬 조사 경로 계획부(340)는 각각의 타겟 표면 점(

)에 대해, 타겟 표면 점(

)으로부터 법선 방향으로 뷰 프러스텀(view frustum)을 역으로 구성하여 타겟 표면 점(

)을 볼 수 있는 카메라 시점(view configurations)의 세트(

)를 생성할 수 있다 (알고리즘 1의 line 8). 만약 샘플 카메라 시점을 거쳐서 가는 경로의 거리가 현재 시점 qcurr로부터 다음 최적 시점 qNBV까지의 최단 경로의 거리보다 감마 배(예컨대 1.3 배)를 초과하는 경우, 상기 로컬 조사 경로 계획부(340)는 상기 샘플 카메라 시점(

)을 제외할 수 있다. 상기 qcurr에서 출발하여 샘플 세트(

) 마다 정확히 하나의

만을 방문하여 qNBV에서 끝나는 경로를 판단하기 위해 상기 GTSP 알고리즘이 사용될 수 있다 (알고리즘 1의 line 9). 상기 로컬 조사 경로는 선택된 샘플들을 순차적으로 연결하여 형성될 수 있다 (알고리즘 1의 line 10). 여기서 선택된 투어 세트(

)는 레퍼런스 카메라 시점 세트 Qref로 불릴 수 있다. 상기 레퍼런스 카메라 시점 세트 Qref는 각 타겟 점들에 대한 레퍼런스 영상을 획득할 수 있다.

상기 타겟 표면에 대한 상기 로컬 조사 경로(LP)가 결정되면, 상기 경로 최적화부(350)는 상기 멀티뷰 스테레오의 성능을 최대화하기 위해 상기 로컬 조사 경로를 최적화할 수 있다 (알고리즘 1의 line 11). 이하에서는 멀티뷰 스테레오의 복원 품질 예측을 위한 스테레오 쌍의 휴리스틱스(heuristics)를 설명하며, 경로 최적화가 수행되는 방법에 대해 설명한다.

1) 멀티뷰 스테레오 휴리스틱스: 레퍼런스 카메라 시점(reference view configuration, qref) 및 소스 카메라 시점(qsrc)의 스테레오 쌍이 주어지면, 타겟 표면의 복원 품질은 패럴랙스(parallax), 상대적 거리(relative distance) 및 포커스(focus)와 같은 기하학적 요소와 연관된다.

패럴랙스(parallax): 상기 트라이앵귤레이션(triangulation)과 스테레오 쌍의 패럴랙스에 따른 매쳐빌리티(matchability) 간에는 트레이드 오프 관계가 있다. 상기 스테레오 쌍의 패럴랙스 앵글을 α라고 하면, 정확한 표면을 복원하기 위한 상기 패럴렉스 앵글에 대한 스코어 함수는 아래 수학식 5로 나타낼 수 있다. 여기서, α0는 바람직한 패럴렉스 앵글(패럴랙스 기준값)이고, 이는 예를 들어, 경험적으로 15도로 설정될 수 있다.

는 상수일 수 있다.

[수학식 5]

상대적 거리(relative distance): 정확한 스테레오 매칭을 위해서는 레퍼런스 영상과 소스 영상의 이미지 패치들은 유사한 해상도(resolution)를 가져야 한다. 상기 표면으로부터 동일한 거리의 카메라 시점들(views)에서는 상기 표면에 대해 동일한 해상도를 갖는 것으로 가정할 수 있다. 상기 상대적 거리와 관련된 스코어 함수는 아래 수학식 6으로 나타낼 수 있다. 여기서, distsrc는 타겟 표면 점(

)과 qsrc와의 거리이고, distref는 타겟 표면 점(

)과 qref 사이의 거리이다.

[수학식 6]

포커스(focus): 트라이앵귤레이션에서의 리프로젝션 에러를 줄이기 위해서는 표면 영역을 소스 영상의 주점(principal point)으로 투영(project)하는 것이 바람직하다.

를 상기 소스 영상의 카메라 센터(c)로부터 주점(principal point, o)까지의 광선이라고 하고,

를 상기 소스 영상의 카메라 센터(c)로부터 표면 점()까지의 광선이라고 할 때,

와

사이의 각도 β를 페널라이징 함수로 나타내면 수학식 7과 같다. 여기서,

는 상수이다.

[수학식 7]

세 가지 요소의 통합(integration): 상기 멀티뷰-스테레오의 복원 품질을 예측하기 위한 스코어 함수에 상기 휴리스틱스를 통합하면 수학식 8과 같다. 여기서, fvis는 qsrc로부터 타겟 표면 점(

)이 보이는 경우에 1의 값을 리턴하고 그렇지 않은 경우에는 0을 리턴하는 비지빌리티(visibility) 함수일 수 있다.

[수학식 8]

도 10을 보면, 소스 카메라 시점(vsrc)과 레퍼런스 카메라 시점(vref)이 도시되어 있고, 상기 소스 카메라 시점(vsrc)과 상기 레퍼런스 카메라 시점(vref) 사이의 각도가 패럴랙스(α)로 표시되어 있으며, 상기 타겟 표면 점(

)과 vsrc(qsrc)와의 거리가 distsrc로 표시되어 있고, 상기 타겟 표면 점(

)과 vref(qref) 사이의 거리가 distref로 표시되어 있다. 또한, 소스 카메라 시점(vsrc)의 카메라 방향과 상기 타겟 표면 점(

)과 vsrc(qsrc)를 연결하는 방향 사이의 각도가 β로 표시되어 있다.

2) 인포머티브 경로 계획: 상기 경로 최적화부(350)는 주어진 시간 예산 내에서 레퍼런스 카메라 시점들(뷰포인트들)에서 얻어지는 정보량을 최대화하도록 상기 로컬 조사 경로(LP)를 최적화할 수 있다. 분리된 경로 세그먼트들의 집합(

)은 Qref 내의 각각의 레퍼런스 카메라 시점을 기초로 한다. 각각의 세그먼트(

)는 연속적인 레퍼런스 카메라 시점들을 연결하는 경로일 수 있다.

를 상기 세그먼트(

)와 상기 세그먼트의 이동 시간(

)과 관련된 정보를 나타내는 함수라고 할 때, 최적의 경로는 아래 수학식 9로 나타낼 수 있다.

[수학식 9]

여기서, Bs는 세그먼트 s의 시간 예산(time budget)일 수 있다. 상기 시간 예산(Bs)은 수학식 10으로 나타낼 수 있다.

[수학식 10]

여기서, 상기 시간 예산은 상기 세그먼트의 시작점으로부터 종료점까지의 최단 경로(

)에 상수

를 곱셈하여 나타낼 수 있다. 인포메이션 게인(information gain) 함수는 수학식 11로 정의된다.

[수학식 11]

여기서, qi는 상기 경로 세그먼트(

) 내의 불연속적인 카메라 시점이고, qr은 레퍼런스 카메라 시점이며,

은 qr의 타겟 표면이다. 수학식 9는 최적화 문제로 풀 수 있는 인포머티브 경로 계획 문제(informative path-planning problem)를 나타낸다. 상기 인포머티브 경로 계획 문제를 해결하기 위해 상기 경로 최적화부(350)는 공분산 매트릭스 적응 진화 전략 (covariance matrix adaptation evolution strategy)을 사용하는 로컬 최적화 단계를 채용할 수 있다. 상기 공분산 매트릭스 적응 진화 전략은 결과를 추정하기 위해 반복적 랜덤 샘플링 단계를 이용하는 몬테 카를로(Monte Carlo) 방식을 사용할 수 있다.

도 11의 위 도면은 현재 카메라 시점(vcurr)으로부터 제1 레퍼런스 카메라 시점(vref1), 제2 레퍼런스 카메라 시점(vref2), 제3 레퍼런스 카메라 시점(vref3) 및 제4 레퍼런스 카메라 시점(vref4)을 통과하는 로컬 조사 경로(LP)를 나타낸다. 상기 로컬 조사 경로(LP)는 상기 현재 카메라 시점(vcurr)과 상기 제1 레퍼런스 카메라 시점(vref1) 사이의 제1 경로(P1), 상기 제1 레퍼런스 카메라 시점(vref1)과 상기 제2 레퍼런스 카메라 시점(vref2) 사이의 제2 경로(P2), 상기 제2 레퍼런스 카메라 시점(vref2)과 상기 제3 레퍼런스 카메라 시점(vref3) 사이의 제3 경로(P3), 상기 제3 레퍼런스 카메라 시점(vref3)과 상기 제4 레퍼런스 카메라 시점(vref4) 사이의 제4 경로(P4)를 포함할 수 있다.

도 11의 아래 도면은 상기 경로 최적화부(350)에 의해 최적화된 최종 경로(PP)를 나타낸다. 상기 최종 경로(PP)의 상기 현재 카메라 시점(vcurr), 상기 제1 레퍼런스 카메라 시점(vref1), 상기 제2 레퍼런스 카메라 시점(vref2), 상기 제3 레퍼런스 카메라 시점(vref3) 및 상기 제4 레퍼런스 카메라 시점(vref4)은 상기 로컬 조사 경로(LP)의 상기 현재 카메라 시점(vcurr), 상기 제1 레퍼런스 카메라 시점(vref1), 상기 제2 레퍼런스 카메라 시점(vref2), 상기 제3 레퍼런스 카메라 시점(vref3) 및 상기 제4 레퍼런스 카메라 시점(vref4)과 동일하다.

반면, 상기 최종 경로(PP)의 상기 제1 경로 내지 상기 제4 경로(P1 내지 P4)는 상기 로컬 조사 경로(LP)의 상기 제1 경로 내지 상기 제4 경로(P1 내지 P4)와 서로 상이할 수 있다.

본 실시예에서는, 상기 키프레임(KF)을 추출될 때마다 상기 레퍼런스 영상(RI)이 결정된다. 상기 키프레임(KF)은 일정한 시간 간격으로 계속하여 추출된다. 예를 들어, 하나의 레퍼런스 영상이 주어지면, 각각의 경로 세그먼트()에 대해 N개의 키프레임(KF)이 소스 영상 세트로 선택될 수 있다. 예를 들어, 상기 수학식 8의 스코어 함수를 판단하여 상기 하나의 레퍼런스 영상에 대해 N개의 키프레임(KF)이 소스 영상 세트로 선택될 수 있다. 예를 들어, N은 10일 수 있다.

도 12a는 본 발명의 비교예에 따른 explore-then-exploit 방식에 따른 경로 및 복원 결과를 나타내는 개념도이다. 도 12b는 본 발명의 실시예에 따른 3차원 모델링 방식에 따른 경로 및 복원 결과를 나타내는 개념도이다.

도 12a의 explore-then-exploit 방식에 따르면, 기 할당된 카메라의 경로(trajectory)를 이용하여 먼저 전체 장면(scene)을 탐사하여 개략적인 모델(coarse model)을 구성한다. 그리고 나서, 상기 개략적인 모델에서 구성되지 않은 영역들에 대해 재스캔(rescan)을 수행한다.

도 12b의 본 발명의 실시예에 따른 3차원 모델링 방식에 따르면, 시각 경로 계획 방법을 이용하여, 타겟 3차원 모델을 실시간으로 누적적으로 구성할 수 있다. 상기 시각 경로들은 부분적으로 복원된 모델로부터의 온라인 피드백을 기초로 하여 계속적으로 계획될 수 있다. 상기 시각 경로들은 멀티뷰-스테레오의 복원 성능을 최대화하면서, 퀄리티가 낮은 표면을 완전히 커버할 수 있다. 본 실시예의 경우, explore-then-exploit 방식의 재스캔 과정 없이 한번의 탐사 과정(exploration trial)을 통해 고품질의 3차원 모델을 구성할 수 있다.

도 13은 본 발명의 비교예와 본 발명의 실시예에 따른 시간, 경로 길이, 에러도 및 복원 완성도를 나타내는 표이다.

도 13을 참조하면, 본 실시예의 성능을 평가하기 위한 시뮬레이션 실험을 수행하였다. RotorS 시뮬레이션 환경에서 firefly hexacopter MAV가 상기 모바일 로봇(100)으로 사용되었다. MAV에는 포워드 룩킹(forward-looking) 스테레오 카메라가 실장되며, 상기 포워드 룩킹(forward-looking) 스테레오 카메라는 하방으로 5도의 피치앵글을 가지며, [60도, 90도]의 field of view를 갖는다. 상기 포워드 룩킹(forward-looking) 스테레오 카메라는 752*480 픽셀의 해상도로 영상을 촬영할 수 있다. ORB-SLAM의 스테레오 버전을 이용하여 모션과 맵 포인트의 메트릭 스케일을 얻을 수 있다. 신뢰도 있는 포즈 추정을 위해, 상기 모바일 로봇(100)의 최대 이동 속도는 0.5m/s로 제한하고, 회전 속도는 0.25m/s로 제한한다. 또한, 멀티뷰 스테레오 계산을 위해, 스테레오 카메라의 좌측 영상만을 사용할 수 있다.

도 13에서 보듯이, 2개의 시뮬레이션 시나리오가 사용되었다. 제1 시나리오는 텍스쳐가 많은 표면을 갖는 구조물(Catholic Church: 36*28*30m³)이고, 제2 시나리오는 텍스쳐가 거의 없는 표면을 갖는 구조물(Colorado State Capitol: 50*46*30m³)이다. 본 실시예의 3차원 모델링 방식은 NBV 방식과 서브 모듈러 커버리지(submodular coverage, Sub-Cov) 방식과 비교될 수 있다. 상기 NBV 방식과 서브 모듈러 커버리지 방식은 모두 explore-then-exploit 전략을 이용하며, 디폴트 경로(default trajectory)로부터 초기 개략적 모델(initial coarse model)을 형성하고 난 후에 상기 개략적 모델(initial coarse model)을 보완하기 위한 NBV(next best viewpoint) 또는 커버리지 경로(coverage path)를 계산한다. 상기 NBV 방식은 상기 개략적 모델(initial coarse model)을 보완하기 위해, 부분적 복원 결과로부터 최고의 카메라 시점을 반복적으로 결정한다. 상기 서브 모듈러 커버리지 방식은 상기 개략적 모델(initial coarse model)을 보완하기 위해, 상기 개략적 모델의 커버리지 경로를 계산할 수 있다. 초기 스캔은 타겟 경로 주위를 감싸는 원형 경로를 따라 20도의 카메라 피치로 수행될 수 있다. Sub-Cov 방식의 비행 예산(travel budget)은 각 시나리오에서 최고의 모델링 성능을 나타내도록 조절될 수 있다. 모든 복원된 표면 모델은 포아송 표면 복원(Poisson surface reconstruction)을 이용하여 후처리될 수 있다.

본 실시예의 3차원 모델링 방식의 성능은 경로 효율성 및 모델링 품질의 2가지 측면에서 다른 방식들과 비교될 수 있다. 상기 경로 효율성을 평가하기 위해, 완료 시간(completion time) 및 전체 경로의 길이(path length)가 계산될 수 있다. 상기 모델링 품질은 표면 모델의 정확성(accuracy) 및 완전성(completeness)을 나타낼 수 있다. 상기 표면 모델의 정확성은 평균 에러의 계산으로 추정될 수 있다. 상기 표면 모델의 완전성은 쓰레스홀드보다 작은 거리 에러를 갖는 표면 점들의 백분율로 정의될 수 있다. 도 13은 5회 측정의 평균 결과를 나타낸다. NBV 및 Sub-Cov의 시간과 경로 길이는 explore-then-exploit의 전체 시간 및 전체 경로 길이를 나타낸다.

도 13의 Circular는 explore-then-exploit에서 initial circular trajectory만을 비행한 결과를 나타내며, 실질적인 비교 대상은 아니다. 도 13의 NBV는 explore-then-exploit 방식 중 NBV 방식을 나타내고, 도 13의 Sub-Cov는 explore-then-exploit 방식 중 서브 모듈러 커버리지 방식을 나타낸다. 도 13의 Ours는 본 실시예에 따른 3차원 모델링 방식을 나타낸다. 본 실시예의 3차원 모델링 방식은 경로 효율성 측면에서 최고의 성능을 나타낸다. 본 실시예의 3차원 모델링 방식은 최초 스캐닝 없이 적은 비행 시간을 가지면서 경로의 중복이 없는 효율적인 커버리지 경로를 제공한다. 또한, 본 실시예의 3차원 모델링 방식은 이와 같이 짧은 경로를 가지면서도, 정확성과 완전성 측면에서 최고의 모델링 성능을 보여준다. 특히 시나리오 2에서 본 실시예의 3차원 모델링 방식은 전체 성능에서 다른 방식들에 비해 뛰어난 성능을 나타내었다. 모델링 시스템은 레퍼런스 영상의 완전하고 정확한 뎁스 추정이 보장되지 않기 때문에, 복원 품질과 멀티뷰 스테레오 휴리스틱스와 같은 몇몇 요소들은 실시간으로 반영되어야 한다. 그러나, NBV 방식과 Sub-Cov 방식은 경로 계획 동안에 이러한 요소들을 고려하지 않는다. 특히 NBV 방식은 마이너한 표면들은 무시하고 가장 큰 표면들을 커버하는 카메라 시점에만 집중하므로 NBV 방식에 의한 복원 모델은 완전하지 않을 수 있다. 이와 반대로, 본 실시예의 3차원 모델링 방식은 복원된 표면의 완성도를 조사하여 불완전하게 복원된 영역을 완성하는 데에 초점을 맞춘다. 또한 본 실시예의 3차원 모델링 방식은 최고의 레퍼런스 영상과 소스 영상을 얻기 위해 경로를 최적화하므로 모델링 성능이 향상될 수 있다.

본 발명은 모바일 로봇을 이용한 3차원 구조물의 복원과 관련된 다양한 분야에 적용될 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims

모바일 로봇으로부터 영상 시퀀스를 수신하고 상기 영상 시퀀스를 기초로 서로 다른 제1 맵과 제2 맵을 생성하는 온라인 3차원 모델링부; 및
상기 제1 맵을 기초로 글로벌 경로를 생성하고, 상기 제2 맵을 기초로 타겟 표면을 추출하며, 상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로보다 이동 단위가 작은 로컬 조사 경로를 생성하는 경로 계획부를 포함하는 3차원 모델링을 위한 모바일 로봇 제어 장치.
제1항에 있어서, 상기 온라인 3차원 모델링부는
상기 영상 시퀀스를 수신하여 레퍼런스 영상의 포즈를 판단하는 포즈 판단부; 및
상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상과 이웃하는 복수의 소스 영상들, 상기 소스 영상들의 포즈들을 이용하여 상기 레퍼런스 영상의 뎁스를 추정하는 뎁스 추정부를 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치.
제2항에 있어서, 상기 온라인 3차원 모델링부는
상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상의 상기 뎁스를 기초로 상기 모바일 로봇의 이동 경로 상에 장애물이 존재하는지 존재하지 않는지를 판단하기 위한 볼류메트릭 맵을 생성하는 볼류메트릭 맵핑부를 더 포함하고,
상기 제1 맵은 상기 볼류메트릭 맵인 것을 특징으로 하는 모바일 로봇 제어 장치.
제3항에 있어서, 상기 온라인 3차원 모델링부는
상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상의 상기 뎁스를 기초로 3차원 모델링의 결과물인 서펠 맵을 생성하는 덴스 서펠 맵핑부를 더 포함하고,
상기 제2 맵은 상기 서펠 맵인 것을 특징으로 하는 모바일 로봇 제어 장치.
제4항에 있어서, 상기 경로 계획부는
상기 볼류메트릭 맵에 기초하여 스캔 영역와 비스캔 영역의 경계를 나타내는 프론티어 포인트들을 생성하는 볼류메트릭 맵 분석부를 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치.
제5항에 있어서, 상기 경로 계획부는
상기 서펠 맵에 기초하여 복원의 완성도가 낮은 표면을 타겟 표면으로 추출하는 타겟 표면 추출부를 더 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치.
제6항에 있어서, 상기 경로 계획부는
상기 프론티어 포인트들을 기초로 상기 모바일 로봇이 이동하는 경로 중 상대적으로 큰 이동 단위를 갖는 글로벌 경로를 생성하는 글로벌 경로 계획부를 더 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치.
제7항에 있어서, 상기 경로 계획부는
상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로의 제1 점과 제2 점 사이의 경로를 나타내는 상기 로컬 조사 경로를 생성하는 로컬 조사 경로 계획부를 더 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치.
제8항에 있어서, 상기 경로 계획부는
상기 로컬 조사 경로를 최적화하여 최종 경로를 형성하는 경로 최적화부를 더 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치.
제9항에 있어서, 상기 로컬 조사 경로는 현재 카메라 시점, 제1 레퍼런스 카메라 시점 및 제2 레퍼런스 카메라 시점, 상기 현재 카메라 시점과 상기 제1 레퍼런스 카메라 시점 사이의 제1 경로 및 상기 제1 레퍼런스 카메라 시점과 상기 제2 레퍼런스 카메라 시점 사이의 제2 경로를 포함할 때,
상기 최종 경로의 현재 카메라 시점, 제1 레퍼런스 카메라 시점 및 제2 레퍼런스 카메라 시점 각각은 상기 로컬 조사 경로의 상기 현재 카메라 시점, 상기 제1 레퍼런스 카메라 시점 및 상기 제2 레퍼런스 카메라 시점 각각과 동일하고,
상기 최종 경로의 제1 경로 및 제2 경로는 상기 로컬 조사 경로의 상기 제1 경로 및 상기 제2 경로와 상이한 것을 특징으로 하는 모바일 로봇 제어 장치.
제9항에 있어서, 상기 경로 최적화부는
상기 로컬 조사 경로 상의 제1 카메라 시점과 상기 타겟 표면의 표면 점을 잇는 제1 선분 및 상기 로컬 조사 경로 상의 제2 카메라 시점과 상기 타겟 표면의 상기 표면 점을 잇는 제2 선분 사이의 각도를 나타내는 패럴랙스를 고려하여 상기 로컬 조사 경로를 최적화하는 것을 특징으로 하는 모바일 로봇 제어 장치.
제11항에 있어서, 상기 패럴랙스가 α이고, 패럴랙스 기준값이 α0이며, 패럴랙스 상수가
이고, 제1 스코어 함수가
일 때,

를 만족하고,
상기 로컬 조사 경로는 상기 제1 스코어 함수를 이용하여 최적화되는 것을 특징으로 하는 모바일 로봇 제어 장치.
제11항에 있어서, 상기 경로 최적화부는
상기 제1 카메라 시점과 상기 표면 점 사이의 거리 및 상기 제2 카메라 시점과 상기 표면 점 사이의 거리를 기초로 상기 로컬 조사 경로를 최적화하는 것을 특징으로 하는 모바일 로봇 제어 장치.
제13항에 있어서, 상기 제1 카메라 시점과 상기 표면 점 사이의 거리가 distsrc이고, 상기 제2 카메라 시점과 상기 표면 점 사이의 거리가 distref이며, 제2 스코어 함수가
일 때,

를 만족하고,
상기 로컬 조사 경로는 상기 제2 스코어 함수를 이용하여 최적화되는 것을 특징으로 하는 모바일 로봇 제어 장치.
제13항에 있어서, 상기 경로 최적화부는
상기 제1 카메라 시점의 소스 영상의 카메라 센터로부터 주점(principal point)까지의 광선 및 상기 제1 카메라 시점의 상기 소스 영상의 상기 카메라 센터로부터 상기 표면 점까지의 광선이 이루는 각도를 기초로 상기 로컬 조사 경로를 최적화하는 것을 특징으로 하는 모바일 로봇 제어 장치.
제15항에 있어서, 상기 소스 영상의 상기 카메라 센터로부터 상기 주점(principal point)까지의 광선이
이고, 상기 소스 영상의 상기 카메라 센터로부터 상기 표면 점까지의 광선이
이며, 상기
와
가 이루는 각도가 β이고, 포커스 상수가
이며, 제3 스코어 함수가
일 때,

를 만족하고,
상기 로컬 조사 경로는 상기 제3 스코어 함수를 이용하여 최적화되는 것을 특징으로 하는 모바일 로봇 제어 장치.
제15항에 있어서, 상기 경로 최적화부는 미리 결정된 시간 예산 내에서 상기 로컬 조사 경로의 카메라 시점들에서 얻어지는 정보량을 최대화하도록 상기 로컬 조사 경로를 최적화하는 것을 특징으로 하는 모바일 로봇 제어 장치.
제5항에 있어서, 상기 덴스 서펠 맵핑부는 상기 포즈 판단부의 루프 클로징 신호를 기초로 상기 서펠 맵의 표면 모델을 변형하는 것을 특징으로 하는 모바일 로봇 제어 장치.
제18항에 있어서, 상기 볼류메트릭 맵핑부는 상기 포즈 판단부의 상기 루프 클로징 신호를 기초로 상기 볼류메트릭 맵의 상태를 업데이트 하는 것을 특징으로 하는 모바일 로봇 제어 장치.
제5항에 있어서, 상기 볼류메트릭 맵은 주어진 환경을 'unknown', 'free', 'occupied'의 세가지 상태로 분류하며,
상기 'unknown' 상태는 해당 지점에 상기 장애물이 존재하는지 알 수 없는 상태를 나타내고,
상기 'free' 상태는 해당 지점에 상기 장애물이 존재하지 않는 상태를 나타내고,
상기 'occupied' 상태는 해당 지점에 상기 장애물이 존재하는 상태를 나타내는 것을 특징으로 하는 모바일 로봇 제어 장치.
제2항에 있어서, 상기 레퍼런스 영상의 상기 포즈는 상기 레퍼런스 영상을 촬영한 카메라의 좌표 및 상기 카메라의 방향을 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치.
제2항에 있어서, 상기 포즈 판단부는 상기 영상 시퀀스의 특정 프레임을 키프레임으로 판단하며,
상기 온라인 3차원 모델링부는 상기 키프레임에 대응하는 영상 및 상기 영상의 포즈를 저장하는 포즈 데이터베이스를 더 포함하는 것을 특징으로 하는 모바일 로봇 제어 장치.
영상을 촬영하여 영상 시퀀스를 생성하는 모바일 로봇;
상기 모바일 로봇으로부터 상기 영상 시퀀스를 수신하고 상기 영상 시퀀스를 기초로 서로 다른 제1 맵과 제2 맵을 생성하는 온라인 3차원 모델링부; 및
상기 제1 맵을 기초로 글로벌 경로를 생성하고, 상기 제2 맵을 기초로 타겟 표면을 추출하며, 상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로보다 이동 단위가 작은 로컬 조사 경로를 생성하는 경로 계획부를 포함하고,
상기 경로 계획부는 계획된 경로를 상기 모바일 로봇에 출력하고, 상기 모바일 로봇은 상기 계획된 경로를 따라 이동하는 것을 특징으로 하는 3차원 모델링 시스템.
제23항에 있어서, 상기 영상 시퀀스에 따라 상기 제1 맵 및 상기 제2 맵이 실시간으로 가변하고, 상기 가변하는 상기 제1 맵 및 상기 제2 맵에 따라 상기 글로벌 경로 및 상기 로컬 조사 경로가 실시간으로 가변하는 것을 특징으로 하는 3차원 모델링 시스템.
제23항에 있어서, 상기 모바일 로봇은
상기 영상을 촬영하여 상기 영상 시퀀스를 생성하는 영상 수집부; 및
상기 계획된 경로를 수신하여 상기 모바일 로봇을 상기 계획된 경로를 따라 이동시키는 로봇 컨트롤러를 포함하는 것을 특징으로 하는 3차원 모델링 시스템.
제23항에 있어서, 상기 온라인 3차원 모델링부는
상기 영상 시퀀스를 수신하여 레퍼런스 영상의 포즈를 판단하는 포즈 판단부; 및
상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상과 이웃하는 복수의 소스 영상들, 상기 소스 영상들의 포즈들을 이용하여 상기 레퍼런스 영상의 뎁스를 추정하는 뎁스 추정부를 포함하는 것을 특징으로 하는 3차원 모델링 시스템.
제26항에 있어서, 상기 온라인 3차원 모델링부는
상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상의 상기 뎁스를 기초로 상기 모바일 로봇의 이동 경로 상에 장애물이 존재하는지 존재하지 않는지를 판단하기 위한 볼류메트릭 맵을 생성하는 볼류메트릭 맵핑부; 및
상기 레퍼런스 영상, 상기 레퍼런스 영상의 상기 포즈, 상기 레퍼런스 영상의 상기 뎁스를 기초로 3차원 모델링의 결과물인 서펠 맵을 생성하는 덴스 서펠 맵핑부를 더 포함하는 것을 특징으로 하는 3차원 모델링 시스템.
제27항에 있어서, 상기 경로 계획부는
상기 볼류메트릭 맵에 기초하여 스캔 영역와 비스캔 영역의 경계를 나타내는 프론티어 포인트들을 생성하는 볼류메트릭 맵 분석부; 및
상기 서펠 맵에 기초하여 복원의 완성도가 낮은 표면을 타겟 표면으로 추출하는 타겟 표면 추출부를 포함하는 것을 특징으로 하는 3차원 모델링 시스템.
제28항에 있어서, 상기 경로 계획부는
상기 프론티어 포인트들을 기초로 상기 모바일 로봇이 이동하는 경로 중 상대적으로 큰 이동 단위를 갖는 글로벌 경로를 생성하는 글로벌 경로 계획부;
상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로의 제1 점과 제2 점 사이의 경로를 나타내는 상기 로컬 조사 경로를 생성하는 로컬 조사 경로 계획부; 및
상기 로컬 조사 경로를 최적화하여 최종 경로를 형성하는 경로 최적화부를 더 포함하는 것을 특징으로 하는 3차원 모델링 시스템.
영상을 촬영하여 영상 시퀀스를 생성하는 단계;
상기 영상 시퀀스를 기초로 서로 다른 제1 맵과 제2 맵을 생성하는 단계;
상기 제1 맵을 기초로 글로벌 경로를 생성하는 단계;
상기 제2 맵을 기초로 타겟 표면을 추출하는 단계; 및
상기 글로벌 경로 및 상기 타겟 표면을 기초로 상기 글로벌 경로보다 이동 단위가 작은 로컬 조사 경로를 생성하는 단계를 포함하는 3차원 모델링 방법.
제30항에 있어서, 상기 영상 시퀀스에 따라 상기 제1 맵 및 상기 제2 맵이 실시간으로 가변하고, 상기 가변하는 상기 제1 맵 및 상기 제2 맵에 따라 상기 글로벌 경로 및 상기 로컬 조사 경로가 실시간으로 가변하는 것을 특징으로 하는 3차원 모델링 방법.