KR101643079B1

KR101643079B1 - 데이터를 위치 맞춤하는 방법

Info

Publication number: KR101643079B1
Application number: KR1020147036524A
Authority: KR
Inventors: 유이치 다구치; 스리쿠마르 라말링암; 용-디안 지안; 첸 펭
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 2012-06-29
Filing date: 2013-06-20
Publication date: 2016-07-26
Also published as: TWI569229B; JP2015515655A; US9183631B2; JP5955406B2; CN104395932A; KR20150024349A; TW201415414A; US20140003705A1; WO2014003081A1; DE112013003214T5; CN104395932B

Abstract

제 1 좌표계에 있어서의 데이터로부터, 적어도 1개의 면과, 적어도 1개의 점과, 점 또는 면의 어느 하나인 제 3 프리미티브를 포함하는 프리미티브의 제 1 집합을 선택하고, 제 2 좌표계에 있어서의 데이터로부터, 적어도 1개의 면과, 적어도 1개의 점과, 프리미티브의 제 1 집합 내의 제 3 프리미티브에 대응하는 제 3 프리미티브를 포함하는 프리미티브의 제 2 집합을 선택하는 것에 의해 3차원 데이터가 위치 맞춤된다. 다음으로, 점과 마찬가지로 면을 서로 위치 맞춤하여, 위치 맞춤된 프리미티브를 얻는다.

Description

데이터를 위치 맞춤하는 방법{METHOD FOR REGISTERING DATA}

본 발명은, 포괄적으로는 3차원(3D) 데이터의 위치 맞춤에 관한 것이고, 보다 상세하게는, 리얼타임 재구성 용도를 위해 3D 점 및 3D 면을 서로 위치 맞춤하는 것에 관한 것이다.

3D 재구성

장면(scene)의 대화형 및 리얼타임의 3D 재구성은, 다수의 용도, 예컨대 로봇 공학, 증강 현실, 의학 화상 및 컴퓨터 비전에 있어서 이용된다. 리얼타임의 조밀한 3D 재구성은, 카메라 등의 패시브 센서를 이용할 수 있다. 그렇지만, 패시브 센서는, 텍스처가 없는 영역을 재구성하는 것이 곤란하다.

텍스처가 없는 영역을 재구성하는 경우, 액티브 3D 센서를 이용할 수 있다. 예컨대, Microsoft Xbox를 위한 Kinect 센서는, IR 패턴을 이용하여 센서의 시점으로부터의 깊이 맵(depth map)으로서 3D 데이터를 리얼타임으로 취득한다.

다른 문제는, 처리 시간, 메모리 요건 및 정확도에 관한 것이다. 시야 및 분해능(resolution)에 기인하여, 3D 센서는 통상, 장면의 부분 재구성을 생성한다. 연속 부분 깊이 맵과 장면의 모델을 조합할 수 있는 정확하고 고속의 위치 맞춤 방법을 제공하는 것이 바람직하다. 관성 센서는 드리프트하기 쉽다. 따라서, 정확한 위치 맞춤을 위해서는, RGB(텍스처) 화상 또는 깊이 맵에 있어서의 특징에 의지할 필요가 있다. 또한, 깊이 맵은 통상, 잡음이 많고, 고차의 공간 제약을 일절 갖지 않는다. 또한, 점군(point cloud)은 매우 큰 메모리를 필요로 하고, 압축하는 것이 곤란하다.

3D 대 3D의 위치 맞춤

국소(local)

3D 데이터의 얼라인먼트 또는 위치 맞춤은, 컴퓨터 비전 용도에 있어서의 기본적인 문제이고, 이것은 몇 개의 방법을 이용하여 해결할 수 있다. 위치 맞춤 방법은 국소적(local) 또는 전역적(global)으로 할 수 있다. 국소적 방법은, 양호한 초기화로부터 개시하여, 비교적 작은 반복 운동을 이용하여 2개의 3D 점군을 위치 맞춤하여야 한다. 이것은, 양호한 초기 해(initial solution)를 이용하여 전역 해(global solution)에 수속되는 비선형 최소화 방법과 유사하다. 가장 일반적인 국소적 방법은 반복 최근 방점(ICP : Iterative Closest Point)법이고, 이 방법은, 폐형식 해(closed-form solution)를 이용하여 대응하는 3D 점 및 운동을 반복적으로 구한다.

전역(global)

전역적 방법은 통상, 3D 점군 전체를 검토하고, 몇 개의 주요한 기하학적 특징(프리미티브)을 특정하고, 점군에 걸쳐서 특징을 매칭하고, 랜덤 샘플 컨센서스(RANSAC : RANdom SAmple Consensus) 수순을 이용하여, 대응의 최소 집합을 이용한 최적의 가설을 생성한다. 전역적 방법에 의해 얻어지는 개략적인 위치 맞춤 후, 통상, 국소적인 비선형 정치화(refinement)가 계속된다. 전역적 방법은, 국소적 방법과 달리, 초기화를 필요로 하지 않는다. 그렇지만, 전역적 방법은, 잘못된 대응 및 불충분한 대응에 의한 피해를 입을 가능성이 있다. 전역적 방법에 있어서 통상 이용되는 기하학적 프리미티브는, 점, 선 또는 면 중 하나이다.

동종의 대응 및 이종의 대응을 이용한 몇 개의 전역적 위치 맞춤 방법이 알려져 있다. 예컨대, 점 대 점, 선 대 선, 면 대 면, 점 대 선, 점 대 면 또는 선 대 면의 대응을 소여로 한 위치 맞춤의 폐형식 해를 구하는 것이 가능하다. 1개의 방법은, 분기 한정법(branch-and-bound)을 이용하여, 점 대 점, 점 대 선, 및 점 대 면의 대응으로부터 전역 최적 해를 얻는다. 다른 방법은, 분기 한정법을 이용하여, 최적의 대응 및 점 대 점 위치 맞춤 문제로의 변환을 얻는다.

3D 센서를 이용한 SLAM

이동 로봇 공학에 있어서, 몇 개의 3D 센서 기반의 방법은, 센서의 움직임을 구하고, 장면 구조를 재구성하기 위해, 동시 위치 추정 및 지도 작성(SLAM : Simultaneous Localization And Mapping) 시스템을 이용한다. 이들 방법은 통상, 점 프리미티브, 선 프리미티브 또는 면 프리미티브 등의 기하학적 특징을 이용한다. 2D 레이저 스캐너 또는 초음파 센서 등의 3D 데이터의 평면 슬라이스를 제공하는 3D 센서는, 평면의 3 자유도(DOF : degrees-of-freedom)의 움직임을 구하는데 이용할 수 있다. 구조화 광 스캐너, 이동 스테이지에 장착된 2D 레이저 스캐너 및 Kinect 센서 등의, 완전한 3D 점군을 제공하는 3D 센서는, 6 DOF의 움직임을 구하는데 이용할 수 있다.

RGB-D 매핑은, RGB 화상으로부터 키 점(keypoint)을 추출하고, 깊이 맵을 이용하여 이들 점을 3D에 있어서 역 투영하고, 3개의 점 대 점의 대응을 이용하여, RANSAC 수순을 이용하여 자세의 초기 추정값을 구한다. 이 초기 추정값은, ICP법을 이용하여 더 정치화된다.

다른 방법은, SLAM 시스템에 있어서, 3D 센서와의 3개의 면 대 면의 대응을 이용한다. 그 방법은, 면 사이의 기하학적 제약을 이용하여 대응 문제에 대처한다.

다른 방법은, 면 및 선분의 양쪽을 프리미티브로서 이용하는, SLAM 시스템을 위한 보다 작은 시야(FOV)의 3D 센서 및 보다 큰 FOV의 2D 레이저 스캐너의 조합을 이용한다. 그 방법은, 국소적인 위치 맞춤 문제를 해결하는 연속 SLAM 시스템을 위해 설계되어, 전역적인 위치 맞춤을 해결할 수 없다.

Kinect Fusion은, 조밀 ICP법을 이용하는 것에 의해, 현재의 깊이 맵을, 전역적인 트런케이트된 부호형 거리 함수(TSDF : Truncated Signed Distance Function) 표현으로부터 생성된 가상 깊이 맵과 위치 맞춤한다. TSDF 표현은, 위치 맞춤된 모든 이전의 깊이 맵을 전역 좌표계에 통합하고, 단일 화상을 이용하는 것보다 고품질의 깊이 맵 생성을 가능하게 한다.

ICP법의 몇 개의 다른 변형이 알려져 있지만, 이들 변형은 여전히, 2개의 3D 점군이 별개일 때의 국소적 최소값 문제에 의한 피해를 입는다. 점에만 의거하는 위치 맞춤 방법 또는 SLAM 시스템은, 텍스처가 없는 영역 또는 반복 패턴을 갖는 영역에 있어서의 불충분한 대응 또는 부정확한 대응에 의한 피해를 입는다. 면에 근거하는 기술은, 불충분한 수의 평행이 아닌 면을 포함하는 장면에 있어서, 축퇴(degeneracy) 문제에 의한 피해를 입는다.

Kinect 센서 등의 3D 센서를 이용하면, 깊이 불연속성 부근의 잡음이 많은 깊이 값 또는 결핍된 깊이 값에 기인하여, 선 대응을 얻는 것이 곤란하다.

본 발명의 실시 형태는, 2개의 상이한 좌표계에 있어서 데이터를 위치 맞춤하는 방법을 제공한다. 본 방법은, 점 및 면의 양쪽을 위치 맞춤 프리미티브로서 이용한다. 본 방법은, 3D 센서를 이용하는, 동시 위치 추정 및 지도 작성(SLAM) 시스템에 의해 이용할 수 있다. SLAM 시스템은 본 발명에 의한 위치 맞춤 방법의 응용 형태이다.

본 방법을 이용하면, 적어도 3개의 점 및 면 프리미티브의 임의의 조합, 즉, 3면, 2면 및 1점, 1면 및 2점, 및 3점을 이용하여 2개의 상이한 좌표계에 있어서의 3D 데이터 집합을 위치 맞춤하는 것이 가능하다. 본 방법은, 특히, 적어도 2개의 3D 점 및 적어도 1개의 3D 면, 또는 적어도 1개의 3D 점 및 적어도 2개의 3D 면인 혼합(이종) 프리미티브의 집합에 관한 것이다.

즉, 본 방법은, 3개의 프리미티브의 최소 집합과, RANSAC 수순을 이용하여 3D 데이터를 위치 맞춤하고, 장면을 재구성할 수 있다. 3D 데이터에 있어서, 면의 수는 점의 수보다 대폭 작으므로, 바람직한 실시 형태에 의해 이용되는 RANSAC 수순은, 점보다 많은 면, 예컨대, 최저한 2개의 면 및 1개의 점을 포함하는 프리미티브의 조합을 이용한다.

위치 맞춤을 위한 주로 점을 이용하는 종래 기술에 의한 방법과 대조적으로, 본 방법은 이하의 이점을 갖는다. 대응 검색 및 위치 맞춤은, 면 프리미티브가 보다 적은 것에 기인하여 보다 고속이고, 리얼타임으로 실행할 수 있다. 본 방법은, 점 베이스의 모델보다 콤팩트한 면 베이스의 3D 모델을 생성한다. 본 방법은, 종래 기술에 있어서의 국소적인 위치 맞춤 방법에 있어서의 국소적 최소값 또는 초기화 문제에 의한 피해를 입는 일이 없는 전역적인 위치 맞춤을 제공한다.

본 발명은, 2개의 상이한 좌표계 내의 3D 데이터를 위치 맞춤하는데, 점 및 면의 양쪽을 프리미티브로서 이용하는 위치 맞춤 방법을 제공한다. 위치 맞춤 방법을 이용하여, 위치 맞춤을 위해 점 대 점 및 면 대 면의 양쪽의 대응을 이용하는 3D 센서를 위한 리얼타임 SLAM 시스템이 개발된다. 양쪽의 프리미티브를 이용하는 것에 의해, 점만을 이용하는 것보다 보다 고속으로 보다 정확한 위치 맞춤이 가능하게 된다. 본 발명에 의한 SLAM 시스템은, 3D 모델을 면의 집합으로서 생성하고, 이것은 엄밀하게 점 베이스의 표현보다 콤팩트하고 의미적인 장면 정보를 제공한다.

본 발명은, 3개의 3D 점/면 프리미티브의 임의의 조합이, 2개의 상이한 좌표계 사이의 위치 맞춤을 가능하게 하는 것을 나타내고 있다. 본 발명은 또한, 3D 점 및 3D 면의 양쪽을 이용하여 복수의 좌표계 사이의 위치 맞춤을 공동으로 최적화하는 번들 조정 프레임워크를 나타내고 있다. 번들 조정 프레임워크는, 평행성 및 직교성 등의 3D 면 사이의 기하학적 제약을 실시하여, 인공적인 환경의 경우의 위치 맞춤 정확도를 더욱 개선할 수 있다.

면을 이용하는 것에 의해, 보다 고속의 재구성 및 콤팩트한 모델화의 양쪽이 가능하게 된다. 반복 최근 방점(ICP)법 등의 국소적 방법은, 3D 센서의 고속 운동하에서 국소적 최솟값 문제가 생기기 쉬운 한편, 본 발명에 의한 위치 맞춤 방법은, 전역 해를 제공하여, 국소적 최소값 문제를 회피한다.

본 방법은, 이미 위치 맞춤된 3D 점군으로부터 면 프리미티브를 추출하는 방법과 상이하다. 대신에, 본 방법은, 위치 맞춤을 위해 개개의 3D 점군으로부터 선택된 면 프리미티브 및 점 프리미티브를 이용한다. 위치 맞춤에 있어서 점과 함께 면을 이용하는 것에 의해, 점만을 이용하는 것보다 효율적으로 정확한 위치 맞춤이 가능하게 된다.

도 4에 나타내는 바와 같이, 본 발명에 의한 SLAM 시스템의 출력은, 위치 맞춤된 점군(401)과, 장면의 면 베이스의 표현(402)이다. 면 베이스의 표현은, 점 베이스의 표현보다 콤팩트하고 의미적인 정보를 제공한다. 표현은 리얼타임으로 생성된다.

본 발명은 점 및 면의 양쪽을 이용하므로, 종래 기술의 방법에 있어서 존재하는 실패는 회피된다. 이 혼합 모드 위치 맞춤은 신규이다.

위치 맞춤에 대한 폐형식 해는, 점 대 점 대응 및 면 대 면 대응에 대하여 통일된 방식으로 주어진다.

도 1은 본 발명의 실시 형태에 의한 위치 맞춤 방법의 개략도이다.
도 2는 본 발명의 실시 형태에 의한 위치 맞춤 방법을 이용한 동시 위치 추정 및 지도 작성(SLAM) 시스템의 흐름도이다.
도 3은 본 발명의 실시 형태에 의해 이용되는 RANSAC 수순의 개략도이다.
도 4는 본 발명의 실시 형태에 의한 면 베이스 및 점 베이스의 혼합 모델의 개략도이다.

본 발명의 실시 형태는, 2개의 상이한 좌표계에 있어서 3D 데이터를 위치 맞춤하기 위한 방법을 제공한다. 도 1에 나타내는 바와 같이, 본 방법은, 해당 기술 분야에 있어서 알려진 메모리 및 입/출력 인터페이스에 접속된 프로세서(150)에 있어서 실행할 수 있다.

도 1은 위치 맞춤 방법(100)의 개략도를 나타내고 있다. 이 위치 맞춤 방법은, 2개의 상이한 좌표계에 있어서 3D 데이터로부터 선택된 적어도 3개의 프리미티브의 2개의 집합을 이용하는 것에 의해, 2개의 상이한 좌표계(101 및 102) 사이의 6-DOF의 강체 변환(rigid body transformation)(105)을 구한다. 프리미티브는 3D 점(110) 및 3D 면(120)을 포함한다. 각 집합 내의 3개의 프리미티브는, 적어도 1개의 3D 면과, 적어도 1개의 3D 점과, 점 또는 면의 어느 한쪽일 수 있는 제 3 프리미티브를 포함한다. 2개의 집합 내의 면은 면과 위치 맞춤되고, 점은 점과 위치 맞춤된다. 위치 맞춤 방법은 전역적으로 할 수 있고, 리얼타임으로 실행할 수 있다.

도 2에 나타내는 바와 같이, 위치 맞춤 방법은, 동시 위치 추정 및 지도 작성(SLAM) 시스템에 의해 이용할 수 있다. SLAM 시스템은, 본 발명에 의한 위치 맞춤 방법의 응용 형태이다. 본 시스템은, 해당 기술 분야에 있어서 알려진 메모리 및 입/출력 인터페이스에 접속된 프로세서(200)에 있어서 실시할 수 있다. SLAM 시스템으로의 예시적인 입력(201)은, 1개 또는 복수의 깊이 맵(202)의 집합이다. 깊이 맵은, 맵 내의 각 픽셀의 깊이 값(거리)을 기술하고, 이에 의해, 맵 내의 픽셀을 그들의 깊이 값에 따라서 역 투영하는 것에 의해, 3D 점군을 제공한다. SLAM 시스템은 옵션으로, 깊이 맵에 대응하는 1개 또는 복수의 2D 텍스처 화상(203)의 집합을 취득할 수 있다. 텍스처 화상은 그레이 스케일로 할 수도 있고, 또는 RGB 컬러 채널을 가질 수도 있다. 깊이 맵은, 3D 센서, 예컨대 패시브 스테레오 카메라(204) 또는 액티브 IR 스캐너 또는 액티브 레이저 스캐너(205)에 의해 취득할 수 있는 한편, 텍스처 화상은, 카메라, 예컨대 스테레오 카메라(204)에 있어서의 단일 카메라 또는 전용 카메라(206)에 의해 취득할 수 있다. 3D 센서 및 카메라는, 사람이 손으로 들 수도 있고, 기계, 예컨대 로봇 암 또는 기계적으로 이동하는 스테이지에 의해 유지할 수도 있다. 주요한 개념은, 가동 센서에 의해서 입력을 취득할 수 있고, 본 발명에 의한 위치 맞춤 방법은, 센서의 움직임을 구하여, 상이한 시점에 있어서 취득된 3D 점군을 위치 맞춤하는 것에 의해 장면을 재구성하는 것이다.

본 발명에 의한 SLAM 시스템은, 입력으로부터 3D 점 프리미티브 및 3D 면 프리미티브의 집합(측정값(211)으로 불린다)을 선택하고(210), 그들 점 및 면을, 전역 맵(225)에 있어서의 점 프리미티브 및 면 프리미티브의 집합(랜드마크(221)로 불린다)에 대하여 위치 맞춤한다(220). 각 집합은, 적어도 1개의 3D 점과 적어도 1개의 3D 면을 포함한다. 집합 내의 제 3 프리미티브는 모두 점이거나 또는 모두 면일 수 있다. 위치 맞춤은, 2개의 집합에 있어서 점끼리 위치 맞춤하고, 2개의 집합에 있어서 면끼리 위치 맞춤하는 것에 의해 실행된다.

SLAM 시스템은, 최소 3개의 프리미티브를 이용한 랜덤 샘플 컨센서스(RANSAC) 수순(220)에 의해 위치 맞춤 방법을 실행한다. 추가의 입력이 취득되면, 최적화(230)를 전역 맵에 적용할 수 있다.

3D 점

본 발명에 의한 SLAM 시스템은, 3D 점 프리미티브를 얻기 위해, 3D 점군 내의 1개 또는 복수의 키 점을 선택한다. 키 점은, 텍스처 화상을 이용하는 일 없이 3D 점군으로부터 3D 키 점 검출기를 이용하여 선택할 수 있다. 예시적인 3D 키 점 검출기는, 법선이 얼라인된 레이디얼 특징(NARF : Normal Aligned Radial Feature) 및 3D 고속화 로버스트 특징(SURF : Speeded Up Robust Feature)을 포함한다. 대안적으로, 시스템은, 2D 키 점 검출기를 이용하여 각 텍스처 화상으로부터 2D 키 점을 선택하고, 대응하는 깊이 값을 이용하여 키 점을 역 투영하여, 3D 점 프리미티브를 얻을 수 있다. 예시적인 2D 키 점 검출기는, 스케일 불변 특징 변환(SIFT : Scale-Invariant Feature Transform) 및 고속화 로버스트 특징(SURF)을 포함한다. 이들 3D 키 점 검출기 및 2D 키 점 검출기는, 검출된 키 점마다의 특징 기술자(descriptor)도 제공한다.

각 점 프리미티브는, 키 점의 위치 p_m 및 기술자 D_m, 즉 (p_m, D_m)에 의해 나타내진다. 기술자는, 측정값과 랜드마크의 사이에서 3D 점 프리미티브를 매칭하는데 이용할 수 있다.

3D 면

3D 점군으로부터 면을 선택하기 위해, 이하의 반복 수순을 이용한다.

1. 3D 점군에 있어서 기준점(reference point)의 집합을 랜덤으로 선택한다;

2. 로컬 윈도우 내의 근방점(nearby point)을 이용하여 기준점마다 최적의 면을 구한다;

3. 깊이 맵의 격자 그래프에 관하여 기준점과의 연결 성분을 형성하는 모든 인라이어(inlier)를 구한다;

4. 충분한 수의 최대수의 인라이어를 갖는 최적의 면을 특정한다; 및

5. 3D 점군으로부터 인라이어를 제거한다.

각 면 프리미티브는, 면 파라미터 π_m 및 인라이어의 집합 I_m에 의해 나타내진다. 면 파라미터는 4D 벡터

를 형성하고, 여기서 n_m은 단위 법선 벡터이고, d_m은 좌표계의 원점에 대한 거리이다.

위치 맞춤

센서의 자세(240)(즉, 전역 맵의 좌표계에 대한 6-DOF 강체 변환)는, 측정값에 있어서의 프리미티브를, 전역 맵 내의 랜드마크에 있어서의 프리미티브와 위치 맞춤하는 것에 의해 구해진다. 점 및 면의 양쪽을 이용한 본 발명에 의한 위치 맞춤 방법 및 본 발명에 의한 RANSAC 수순이 이하에 설명된다.

맵 갱신

본 발명에 의한 SLAM 시스템은, 키 프레임으로부터 선택된 점 프리미티브 및 면 프리미티브를 합산하는 것에 의해 전역 맵을 갱신한다(250). 현재의 프레임은, 자세가 이전의 키 프레임과 충분히 상이한(예컨대, 현재의 프레임의 병진(translation) 및 회전이 이전의 키 프레임의 병진 및 회전과 임계값보다 크게 상이한) 경우에만 키 프레임으로 간주된다. 각 점 랜드마크는, 위치 p_l 및 기술자 D_l에 의해 (p_l, D_l)로서 나타내진다. 각 면 랜드마크는, 면 파라미터

및 인라이어의 집합 I_l에 의해 (π_l, I_l)로서 나타내진다.

맵 최적화

모든 키 프레임 사이의 위치 맞춤을 공동으로 정치화하기 위해, 본 발명에 의한 SLAM 시스템은, 점 및 면의 양쪽을 이용하여 번들 조정에 의해 최적화(230)를 실행한다. 번들 조정은, 위치 맞춤 방법을 이용한 카메라 자세의 추적을 위해, 메인 스레드와 별개의 스레드에 있어서 비동기적으로 실행된다. 번들 조정의 상세는 이하에 설명된다.

점 및 면을 이용한 위치 맞춤

본 발명에 의한 위치 맞춤 방법은, 점 대 점의 대응 및 면 대 면의 대응을 이용하고, 폐형식 해를 제공한다. 본 방법은, 3개 이상의 대응에 적용 가능하다. 이 때문에, 본 방법을 이용하여, 본 발명에 의한 RANSAC 수순에 있어서 최소수의 3개의 대응을 이용하여 가설을 생성하고, RANSAC 수순에 의해 주어진 초기 가설을 모든 인라이어 대응을 이용하여 정치화할 수 있다.

점 대 점의 대응 및 면 대 면의 대응이 혼합되어 있는 경우의 폐형식 해

{p_i} 및 {p'_i}, i=1, …, M을 대응하는 3D 점으로 하고,

및

, j=1, …, N을 2개의 상이한 좌표계에 있어서의 대응하는 3D 면으로 한다. 좌표계 사이의 6-DOF 강체 변환 [R, t]를 구한다. 여기서, R은 3×3의 회전 행렬이고, t는 3×1의 병진 벡터이다.

개개의 경우의 해

점 대 점 대응의 경우, 회전 성분 및 병진 성분은 분리할 수 있다.

및

가 3D 점집합의 중심이고,

및

인 것으로 한다. 이때, 회전의 사원수(quaternion) 표현 또는 특이값 분해(SVD : Singular Value Decomposition)를 이용하는 것에 의해, 오차를 최소로 하는 회전의 최소제곱해(least-squares solution)가 얻어진다.

추정되는 회전

를 이용하면, 병진은 회전된 중심 사이의 차이

이다.

면 대 면 대응의 경우, 회전은 오차를 최소로 하는 것에 의해 얻어진다.

이것은 점 대 점 대응의 경우와 마찬가지로 풀 수 있다. 병진을 구하기 위해, 3개 이상의 면에 대하여 이하의 선형 제약을 스택하고, 연립 일차 방정식(linear system)를 풀 수 있다.

여기서, ^T는 전치 연산자이다.

혼합된 경우의 해

혼합된 경우, 점 대 점 대응 및 면 대 면 대응을 갖는다. 개개의 사례에 있어서 이용되는 분해를 이용하여 회전 및 병진을 구한다. 회전을 구하기 위해, 식 (1) 및 식 (3)을 이하와 같이 조합한다.

여기서, w_j는 면의 가중치이고, 면 대응마다 변경할 수 있다. 식 (5)는, 식 (1) 및 식 (3)과 동일한 형식을 공유하고, 최적의 회전이 동일하게 얻어진다. 상세하게는, 3×3의 상관 행렬 K를 이하와 같이 정의한다.

K=UDV^T가 K의 특이값 분해(SVD)인 것으로 한다. 이때, 최적의 회전

는 이하가 된다.

병진 t를 구하기 위해, 이하의 오차를 최소로 한다.

이것은, 대각 가중치 행렬 W=diag(M, M, M, w₁, …, w_N)를 이용하여 이하의 연립 일차 방정식을 정의하는 것에 대응한다.

이때, 가중치 최소제곱해는 t=(A^TWA)^-1A^TWb이다.

축퇴 문제

R 및 t를 특유하게 선택하기 위해, 식 (6)에 있어서의 상관 행렬 K 및 식 (9)에 있어서의 행렬 A는 일정한 조건을 만족시켜야 한다. R을 특유하게 구하려면, 상관 행렬 K의 계수가 1보다 크고, 또한 이하의 조건 중 적어도 1개가 참이어야 한다.

1. det(UV^T)=1

2. K의 최소 특이값이 단일해(simple root)이다.

병진 t를 특유하게 구하기 위해, 식 (9)에 있어서의 행렬 A는 계수 3이어야 한다.

행렬 K 및 A는, 대응이 이하의 것, 즉 3면과, 2면 및 1점과, 1면 및 2점과, 3점 중 적어도 1개를 갖는 경우, 상기의 특성을 만족시킨다. 본 발명에 의한 SLAM 시스템에 있어서의 RANSAC 수순에 있어서, 이들의 최소수의 대응을 이용하여 가설을 생성한다.

RANSAC 수순

2D 화상 공간에만 있어서의 대응과 대조적으로, 본 발명에 의한 3D 프리미티브는, 오합치(false match)를 특정하는데 이용할 수 있는 몇 개의 불변량(invariant)을 제공한다. 2개의 상이한 좌표계에 있어서의 대응하는 점 및 면을 소여로 하여, 1개의 좌표계에 있어서 구해지는 특정한 기하학적 엔티티는, 제 2 좌표계에 있어서의 대응하는 엔티티와 실질적으로 합치하여야 한다.

각 좌표계에 있어서, 이하의 3개의 불변량, 즉, 2점 사이의 거리에 근거하는 I1과, 점과 면의 사이의 거리에 근거하는 I2와, 2개의 면 법선(plane normal) 사이의 각도에 근거하는 I3을 특정한다.

대응하는 기하학적 프리미티브는, 불변량 벡터 I=(i₁, i₂, i₃)과 관련지을 수 있고, 여기서, i₁, i₂ 및 i₃은, 각각 타입 I1, I2 및 I3에 관한 불변량의 수에 대응한다.

점 및 면을 포함하는 모든 대응하는 3개 조가, 합계 3개의 불변량, 즉, 3점 : I=(3, 0, 0)과, 1면 및 2점 : I=(1, 2, 0)과, 2면 및 1점 : I=(0, 2, 1)과, 3면 : I=(0, 0, 3)을 갖는다.

해석 트리(interpretation tree) 또는 분기 한정법을 이용하여, 이들 불변량을 이용하여 오합치를 특정할 수 있다. 본 발명에 의한 RANSAC 수순의 경우, 단순한 해석 트리 기반의 전정(pruning)을 이용한다.

불변량에 근거하여 비합치(mismatch)를 삭제하기 전에, 몇 개의 초기 대응을 얻는다. 점의 경우, SURF 기술자를 이용하여 대응을 얻는다. 면의 경우, 모든 가능한 대응으로부터 개시하여, 불변량에 근거하여 비합치를 삭제한다. 3개의 면을 이용하는 RANSAC 수순은, 3개의 점을 이용하는 RANSAC 수순보다 훨씬 고속이다. 왜냐하면, 3D 데이터 내의 면의 수가 통상, 대응하는 점의 수보다 훨씬 적기 때문이다. 또한, 면은 많은 점에 의해 생성되므로, 면은 3D 데이터에 있어서의 잡음에 의해 받는 영향이 보다 적고, 보다 정확한 위치 맞춤으로 이어진다. 따라서, 도 3에 나타내는 바와 같이, 입수 가능한 경우, 프리미티브의 3개 조를 이용하여, 이하의 바람직한 순서, 즉 3면(301), 2면 및 1점(302), 1면 및 2점(303), 또는 3점(304)의 순서로 RANSAC 수순을 초기화한다.

RANSAC 수순의 종료 조건은, 샘플링되는 소정의 최소수의 대응으로 할 수 있다.

점 및 면을 이용한 번들 조정

본 발명에 의한 SLAM 시스템은, 번들 조정에 있어서 이하의 변수, 즉, 점 랜드마크

와, 면 랜드마크

와, 키 프레임 자세

를 최적화한다.

여기서,

는 k번째의 키 프레임의 병진의 (x, y, z) 성분이고,

는 (x, y, z)축을 중심으로 한 회전을 나타낸다. k번째의 키 프레임의 회전 행렬 R^k는

에 의해 나타내진다.

각 점/면 랜드마크에 관련된 점/면 프리미티브를 이용한 야코비안 행렬(Jacobian matrix)을 이하와 같이 구한다.

점 랜드마크

점 랜드마크의 경우, 점 랜드마크

와 k번째의 키 프레임에 있어서의 관련되는 점

사이의 유클리드 거리(Euclidean distance) 오차를 최소로 한다. 이것은 이하가 된다.

랜드마크의 현재의 추정값

및 키 프레임 자세의 현재의 추정값

를 이용하는 것에 의해, 식 (10)을 이하와 같이 선형화한다.

여기서,

및

이다.

식 (11)로부터, (x, y, z) 성분마다 별개로 3개의 식이 얻어진다. x 성분에 대한 식은 이하이고,

y 성분 및 z 성분에 대한 식도 마찬가지로 얻을 수 있다.

면 랜드마크

면 랜드마크의 경우, 면 랜드마크와, 키 프레임에 있어서의 관련된 면으로부터 샘플링된 3D 점의 사이의 거리의 합에 의해 정의되는 기하학적 오차를 최소로 한다. 상세하게는, 면 프리미티브

의 인라이어 3D 점으로부터 3D 점

를 균일하게 샘플링하고, 각 샘플링된 점과, 관련된 면 랜드마크

의 사이의 거리를 구한다. 이 때문에, 최소화하는 기하학적 오차는 이하가 된다.

식 (14)를, 면 랜드마크의 현재의 추정값

및 키 프레임 자세의 현재의 추정값

를 이용하여 이하와 같이 선형화한다.

여기서,

이다. 간략화하면, 이하를 얻는다.

면 랜드마크 사이의 기하학적 제약

본 발명에 의한 SLAM 시스템은 옵션으로, 번들 조정에 있어서의 면 랜드마크 사이의 기하학적 제약을 실시할 수 있다. 기하학적 제약은 평행성 및 직교성을 포함한다. 직교하는 면 또는 평행한 면은, 인공적인 환경에 있어서 일반적으로 관찰할 수 있고, 이 인공적인 환경에서는, 기하학적 제약을 실시하는 것은, 정확한 위치 맞춤을 얻는데 유용하다.

면 랜드마크

및

의 모든 쌍에 대하여, 소정의 임계값을 이용하여, 2개의 면의 법선 벡터 사이의 각도가 0도(평행)에 충분히 가깝거나 또는 90도(직교)에 충분히 가까운지를 체크한다. 참인 경우, 이하의 제약을 실시한다.

여기서, 2개의 면이 평행에 충분히 가까운 경우, S=1인 한편, 2개의 면이 직교에 충분히 가까운 경우, S=0이다.

2개의 면 랜드마크의 현재의 추정값

및

를 이용하여, 식 (17)을 이하와 같이 선형화한다.

간략화하면, 식 (18)은 이하가 된다.

해(solution)

모든 랜드마크 및 키 프레임에 있어서 식 (13), 식 (16) 및 식 (19)를 스택하면, 연립 일차 방정식 JΔ=-ε_O가 얻어진다. 여기서, 야코비안 행렬은 J이고, 오차 벡터는 ε_O이고, 갱신 벡터는

이다. 가우스-뉴턴법(Gauss-Newton method)을 이용하여 최적화 문제를 푼다.

실시 형태

본 발명에 의한 리얼타임의 SLAM 시스템은, 640×480의 픽셀 분해능을 갖는 텍스처 화상 및 깊이 맵을 이용한다. 위치 맞춤에 성공하면, 현재의 점군 위에 겹쳐진 점 랜드마크 및 면 랜드마크를 시각화한다. 본 발명에 의한 SLAM 시스템은 항상, 전역 맵에 대하여 프레임마다 전역 위치 맞춤을 구한다. 이 때문에, 위치 맞춤의 실패는 후속 입력에 영향을 주지 않는다. 본 발명에 의한 SLAM 시스템은, 장면의 면 베이스의 표현으로서, 재구성된 면 랜드마크를 제공한다. 이것은 보다 콤팩트하고, 장면의 점 베이스의 표현보다 많은 의미적 정보를 제공한다.

Claims

데이터를 위치 맞춤하는 방법으로서,
상기 데이터는 3개의 차원을 갖고,
상기 방법은,
제 1 좌표계에 있어서의 상기 데이터로부터 프리미티브의 제 1 집합을 선택하는 단계로서, 상기 프리미티브의 제 1 집합은, 적어도 1개의 면과, 적어도 1개의 점과, 점 또는 면의 어느 하나인 제 3 프리미티브를 포함하는 단계와,
제 2 좌표계에 있어서의 상기 데이터로부터 프리미티브의 제 2 집합을 선택하는 단계로서, 상기 프리미티브의 제 2 집합은, 적어도 1개의 면과, 적어도 1개의 점과, 상기 프리미티브의 제 1 집합 내의 상기 제 3 프리미티브에 대응하는 제 3 프리미티브를 포함하는 단계와,
점 대 점의 오차와 면 대 면의 오차를 조합하여 형성된 오차를 최소로 하는, 상기 제 1 좌표계와 상기 제 2 좌표계의 사이에서의 6-DOF 강체 변환 [R, t]를 구하는 단계로서, 상기 점 대 점의 오차는 상기 6-DOF 강체 변환을 이용하여 변환된, 상기 제 1 좌표계에서의 점과 상기 제 2 좌표계에서의 점과의 사이의 거리를 포함하고, 상기 면 대 면의 오차는 상기 6-DOF 강제 변환을 이용하여 변환된, 상기 제 1 좌표계에서의 면과 상기 제 2 좌표계에서의 면과의 사이의 거리를 포함하는 단계와,
상기 프리미티브의 제 1 집합 및 상기 프리미티브의 제 2 집합에 있어서, 상기 6-DOF 강체 변환을 이용하여 면을 서로 위치 맞춤함과 아울러 점을 서로 위치 맞춤하여, 위치 맞춤된 점과 위치 맞춤된 면을 포함하는 위치 맞춤된 프리미티브를 얻는 단계로서, 상기 위치 맞춤된 점의 좌표계는 서로 매칭되고, 상기 위치 맞춤된 면의 법선 및 위치 맞춤된 면과 상기 제 1 좌표계 및 상기 제 2 좌표계의 원점과의 사이의 거리는 서로 매칭되고, 6-DOF 강체 변환의 R은 회전 행렬이고, t는 병진 벡터이며, 상기 위치 맞춤은 동시 위치 추정 및 지도 작성(SLAM) 시스템에서 이용되는 단계를 포함하고,
각각의 단계는 프로세서에서 실행되는,
데이터를 위치 맞춤하는 방법.
삭제
제 1 항에 있어서,
상기 위치 맞춤은 전역적(global)인
데이터를 위치 맞춤하는 방법.
제 1 항에 있어서,
상기 위치 맞춤은 리얼타임인
데이터를 위치 맞춤하는 방법.
제 1 항에 있어서,
상기 데이터를 깊이 맵(depth map)으로서 취득하는 단계를 더 포함하는
데이터를 위치 맞춤하는 방법.
제 5 항에 있어서,
상기 깊이 맵은 3D 센서에 의해 취득되는
데이터를 위치 맞춤하는 방법.
제 5 항에 있어서,
상기 위치 맞춤된 프리미티브를 전역 맵 내에 유지하는 단계를 더 포함하는
데이터를 위치 맞춤하는 방법.
제 5 항에 있어서,
상기 위치 맞춤은 랜덤 샘플 컨센서스(random sample consensus) 수순을 이용하는
데이터를 위치 맞춤하는 방법.
제 5 항에 있어서,
위치 및 기술자(descriptor)에 의해 상기 제 1 집합 및 상기 제 2 집합의 각 점을 나타냄과 아울러, 단위 법선 벡터(normal vector)와, 대응하는 좌표계의 원점에 대한 거리에 의해 상기 제 1 집합 및 상기 제 2 집합의 각 면을 나타내는 단계를 더 포함하는
데이터를 위치 맞춤하는 방법.
제 5 항에 있어서,
각 면은,
3D 점군(point cloud)에 있어서의 기준점(reference point)의 집합을 랜덤으로 선택하는 것과,
로컬 윈도우 내의 근방점(nearby point)을 이용하여 기준점마다 최적의 면을 구하는 것과,
상기 깊이 맵의 격자 그래프에 관하여 상기 기준점과의 연결 성분을 형성하는 모든 인라이어(inlier)를 구하는 것과,
소정의 수의 상기 인라이어를 갖는 최적의 면을 특정하는 것과,
상기 인라이어를 상기 3D 점군으로부터 제거하는 것
에 의해 선택되는
데이터를 위치 맞춤하는 방법.
제 7 항에 있어서,
상기 전역 맵은, 상기 제 1 집합 및 상기 제 2 집합의 상기 점 및 상기 면을 이용하여 번들 조정에 의해 최적화되는
데이터를 위치 맞춤하는 방법.
제 1 항에 있어서,
상기 위치 맞춤 동안, 각 좌표계에 있어서의, 점 사이의 거리, 점과 면의 사이의 거리, 또는 2개의 면의 법선 사이의 각도에 근거하여 오합치(false match)를 특정하는 것을 더 포함하는
데이터를 위치 맞춤하는 방법.
데이터를 위치 맞춤하는 방법으로서,
상기 데이터는 3개의 차원을 갖고,
상기 방법은,
제 1 좌표계에 있어서의 상기 데이터로부터 프리미티브의 제 1 집합을 선택하는 단계로서, 상기 프리미티브의 제 1 집합은, 적어도 1개의 면과, 적어도 1개의 점과, 점 또는 면의 어느 하나인 제 3 프리미티브를 포함하는 단계와,
제 2 좌표계에 있어서의 상기 데이터로부터 프리미티브의 제 2 집합을 선택하는 단계로서, 상기 프리미티브의 제 2 집합은, 적어도 1개의 면과, 적어도 1개의 점과, 상기 프리미티브의 제 1 집합 내의 상기 제 3 프리미티브에 대응하는 제 3 프리미티브를 포함하는 단계와,
상기 프리미티브의 제 1 집합 및 상기 프리미티브의 제 2 집합에 있어서, 면을 서로 위치 맞춤함과 아울러 점을 서로 위치 맞춤하여, 위치 맞춤된 프리미티브를 얻는 단계를 포함하고,
상기 위치 맞춤은 동시 위치 추정 및 지도 작성(SLAM) 시스템에 있어서 이용되고,
상기 데이터를 깊이 맵(depth map)으로서 취득하는 단계를 더 포함하고,
상기 위치 맞춤은 랜덤 샘플 컨센서스(random sample consensus) 수순을 이용하고,
프리미티브의 입수 가능한 3조를 이용하여, 이하의 순서, 즉 3면, 2면 및 1점, 1면 및 2점, 또는 3점의 순서로 상기 랜덤 샘플 컨센서스 수순을 초기화하는 단계를 더 포함하는
데이터를 위치 맞춤하는 방법.
제 5 항에 있어서,
상기 제 1 집합 및 상기 제 2 집합의 각 점은 3D 키 점 검출기에 의해 선택되는
데이터를 위치 맞춤하는 방법.
제 11 항에 있어서,
상기 번들 조정은, 상기 제 1 집합 및 상기 제 2 집합의 상기 면 사이의 기하학적 제약을 실시하는
데이터를 위치 맞춤하는 방법.
제 1 항에 있어서,
상기 방법의 출력은, 장면(scene)의 위치 맞춤된 점군 및 면 베이스의 표현을 포함하는
데이터를 위치 맞춤하는 방법.
제 6 항에 있어서,
상기 3D 센서는 상기 취득 중에 이동 가능한
데이터를 위치 맞춤하는 방법.
제 5 항에 있어서,
상기 깊이 맵에 대응하는 텍스처 화상을 취득하는 것을 더 포함하는
데이터를 위치 맞춤하는 방법.
제 18 항에 있어서,
상기 제 1 집합 및 상기 제 2 집합의 각 점은, 상기 텍스처 화상에 적용되는 2D 키 점 검출기에 의해 선택되고, 상기 2D 키 점 검출기는, 상기 깊이 맵을 이용하여, 검출된 키 점을 역 투영하는
데이터를 위치 맞춤하는 방법.
제 19 항에 있어서,
상기 텍스처 화상은 카메라에 의해 취득되는
데이터를 위치 맞춤하는 방법.