KR20180086218A

KR20180086218A - Rgbd 카메라 포즈들의 대규모 결정을 위한 방법들 및 시스템들

Info

Publication number: KR20180086218A
Application number: KR1020187017355A
Authority: KR
Inventors: 시아오린 웨이
Original assignee: 매직 립, 인코포레이티드
Priority date: 2015-11-20
Filing date: 2016-11-18
Publication date: 2018-07-30
Also published as: IL259401B; IL259401A; AU2016355215A1; EP3377853A4; EP3377853A1; CA3005894A1; JP6902028B2; US20170148155A1; IL286156B1; AU2016355215B2; US11838606B2; US20190253674A1; US10313639B2; CN108475433A; WO2017087813A1; AU2022203854A1; JP2018534698A; NZ742758A; JP7300438B2; CN114119751A

Abstract

카메라 포즈들을 결정하는 방법은 카메라를 사용하여 복수의 이미지 프레임들을 캡처하는 단계, 상대적 포즈 세트 및 비분류된 상대적 포즈 세트를 제공하기 위해 이미지 프레임 쌍들의 각각의 세트 사이의 상대적 포즈들을 컴퓨팅(computing)하는 단계, 및 나머지 상대적 포즈 세트를 제공하기 위해 오분류된 상대적 포즈들을 검출 및 제거하는 단계를 포함한다. 방법은 또한 나머지 상대적 포즈 세트를 사용하여 글로벌 포즈들을 결정하는 단계 및 확장된 상대적 포즈 세트 및 확장된 비분류된 상대적 포즈 세트를 제공하기 위해 오분류된 상대적 포즈들의 적어도 일부 및 비분류된 상대적 포즈 세트의 적어도 일부에 대한 확장된 상대적 포즈들을 컴퓨팅하는 단계를 포함한다. 방법은 추가로, 나머지 확장된 상대적 포즈 세트를 제공하기 위해 확장된 오분류된 상대적 포즈들을 검출 및 제거하는 단계 및 나머지 상대적 포즈 세트 및 나머지 확장된 상대적 포즈 세트를 사용하여 복수의 이미지 프레임들에 대한 업데이트된 글로벌 포즈들을 결정하는 단계를 포함한다.

Description

RGBD 카메라 포즈들의 대규모 결정을 위한 방법들 및 시스템들

[0001] 본 출원은 2016년 11월 20일에 출원되고, 발명의 명칭이 "Methods and Systems for Large-Scale RGBD Pose Estimation"인 미국 가특허 출원 번호 제 62/258,316호를 우선권 주장하고, 이로써, 이 가특허 출원의 개시내용은 모든 목적들을 위해 그 전체가 인용에 의해 통합된다.

[0002] 3D 재구성은 맵핑, 로봇 공학, 가상 현실, 증강 현실, 아키텍처, 게임, 영화 제작 등의 매우 다양한 애플리케이션들을 가진 3D 컴퓨터 비전(vision)에서 가장 인기있는 주제들 중 하나이다. 3D 재구성 시스템은 입력으로서 이미지들을, RGB(적색-녹색-청색), RGBD(적색-녹색-청색-깊이), 또는 깊이-전용 포맷으로 취하여 이미지들의 3D 표현, 예컨대 3D 메시(mesh)들을 생성할 수 있다. 3D 재구성 시스템의 프로세싱 절차들 중에서, 중요한 컴포넌트들 중 하나는 포즈(pose) 추정이고: 각각의 입력 이미지와 연관된 각각의 카메라 포즈를 복구한다. 카메라 포즈는 카메라의 초점 길이, 포지션, 및/또는 회전 방향 및 각도를 포함할 수 있다.

[0003] 가장 최근에, 저비용 RGBD 센서들, 이를테면 Kinect, Google Tango, 및 Intel Realsense의 가용성으로 인해, RGBD 이미지들은 그런 이용가능한 디바이스들로 쉽게 캡처될 수 있고 3D 재구성에 사용될 수 있다.

[0004] 그러나, 고품질 3D 메시들을 재구성하는 목적을 위해, 정확도 요건은 극히 높다. 카메라 포즈들은 글로벌적으로 그리고 로컬적으로 관련되어야 한다. 그러나, 현재 기술들은 대규모 장면들의 RGBD 이미지들의 포즈 추정을 위해 강건하고 정확한 종단간(end-to-end) 프레임워크 솔루션을 제공할 수 없다.

[0005] 본 발명은 일반적으로 시간의 함수로써 카메라의 포지션 및 배향(즉, 포즈)을 결정하기 위한 방법들 및 시스템들에 관한 것이다. 더 구체적으로, 본 발명의 실시예들은 이미지 프레임들 사이의 상대적 카메라 포즈들에 적어도 부분적으로 기반하여 글로벌 기준 프레임에서 카메라 포즈를 결정하기 위한 방법들 및 시스템들을 제공한다. 본 발명은 컴퓨터 비전 및 3D 재구성의 다양한 애플리케이션들에 적용가능하다.

[0006] 본 발명의 실시예에 따라, 복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하는 방법이 제공된다. 방법은 카메라를 사용하여 복수의 이미지 프레임들을 캡처하는 단계, 상대적 포즈 세트 및 비분류된 상대적 포즈 세트를 제공하기 위해 이미지 프레임 쌍들의 각각의 세트 사이의 상대적 포즈들을 컴퓨팅(computing)하는 단계, 및 나머지 상대적 포즈 세트를 제공하기 위해 상대적 포즈 세트로부터 오분류된 상대적 포즈들을 검출 및 제거하는 단계를 포함한다. 방법은 또한 나머지 상대적 포즈 세트를 사용하여 복수의 이미지 프레임들에 대한 글로벌 포즈들을 결정하는 단계 및 확장된 상대적 포즈 세트 및 확장된 비분류된 상대적 포즈 세트를 제공하기 위해 오분류된 상대적 포즈들의 적어도 일부 및 비분류된 상대적 포즈 세트의 적어도 일부에 대한 확장된 상대적 포즈들을 컴퓨팅하는 단계를 포함한다. 방법은 추가로, 나머지 확장된 상대적 포즈 세트를 제공하기 위해 확장된 상대적 포즈 세트로부터 확장된 오분류된 상대적 포즈들을 검출 및 제거하는 단계 및 나머지 상대적 포즈 세트 및 나머지 확장된 상대적 포즈 세트를 사용하여 복수의 이미지 프레임들에 대한 업데이트된 글로벌 포즈들을 결정하는 단계를 포함한다.

[0007] 본 발명의 다른 실시예에 따라, 데이터 프로세서에 의해 실행될 때, 복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하는, 컴퓨터-판독가능 저장 매체상에 유형적으로 구현되는 복수의 컴퓨터-판독가능 명령들을 포함하는 비-일시적 컴퓨터-판독가능 저장 매체가 제공된다. 복수의 명령들은, 데이터 프로세서로 하여금 카메라를 사용하여 복수의 이미지 프레임들을 캡처하게 하는 명령들, 데이터 프로세서로 하여금 상대적 포즈 세트 및 비분류된 상대적 포즈 세트를 제공하기 위해 이미지 프레임 쌍들의 각각의 세트 사이의 상대적 포즈들을 컴퓨팅하게 하는 명령들, 및 데이터 프로세서로 하여금 나머지 상대적 포즈 세트를 제공하기 위해 상대적 포즈 세트로부터 오분류된 상대적 포즈들을 검출 및 제거하게 하는 명령들을 포함한다. 복수의 명령들은 또한, 데이터 프로세서로 하여금 나머지 상대적 포즈 세트를 사용하여 복수의 이미지 프레임들에 대한 글로벌 포즈들을 결정하게 하는 명령들 및 데이터 프로세서로 하여금 확장된 상대적 포즈 세트 및 확장된 비분류된 상대적 포즈 세트를 제공하기 위해 오분류된 상대적 포즈들의 적어도 일부 및 비분류된 상대적 포즈 세트의 적어도 일부에 대한 확장된 상대적 포즈들을 컴퓨팅하게 하는 명령들을 포함한다. 복수의 명령들은 데이터 프로세서로 하여금 나머지 확장된 상대적 포즈 세트를 제공하기 위해 확장된 상대적 포즈 세트로부터 확장된 오분류된 상대적 포즈들을 검출 및 제거하게 하는 명령들 및 데이터 프로세서로 하여금 나머지 상대적 포즈 세트 및 나머지 확장된 상대적 포즈 세트를 사용하여 복수의 이미지 프레임들에 대한 업데이트된 글로벌 포즈들을 결정하게 하는 명령들을 더 포함한다.

[0008] 다수의 이익들은 종래의 기법들에 비해 본 발명에 의해 달성된다. 예컨대, 본 발명의 실시예들은 후속적인 3D 재구성에 사용될 수 있는 글로벌 기준 프레임에서 카메라 포즈를 결정하기 위한 방법들 및 시스템들을 제공한다. 게다가, 본 발명의 실시예들은 글로벌적으로 관련할 뿐 아니라 로컬적으로 관련된 카메라 포즈들을 결정하기 위한 방법들 및 시스템들을 제공한다. 부가적으로, 본 발명의 실시예들은 잘-알려진 어려운 경우들, 이를테면 반복된 패턴들을 가진 장면들, 피처(feature)들의 결여를 가진 장면들, 갑작스러운 카메라 움직임, 및 다중-룸 세팅들에 강건하다. 본 발명의 많은 장점들 및 특징들과 함께 본 발명의 이들 및 다른 실시예들은 아래의 본문 및 첨부된 도면들과 함께 더 상세히 설명된다.

[0009] 특허 또는 출원 파일은 컬러로 실행되는 적어도 하나의 도면을 포함한다. 컬러 도면들과 함께 이 특허 또는 특허 출원 공개물의 카피들은 요청 후 필요한 비용 지불 시 특허청에 의해 제공될 것이다.
[0010] 본 개시내용의 일부를 구성하는 첨부 도면들은 몇몇 실시예들을 예시하고, 상세한 설명과 함께 개시된 원리들을 설명하는 역할을 한다.
[0011] 도 1은 예시적인 실시예에 따른, 대규모 RGBD 포즈 추정을 위한 시스템을 예시하는 블록 다이어그램이다.
[0012] 도 2는 본 발명의 실시예에 따른 대규모 RGBD 포즈 추정을 수행하는 방법을 예시하는 단순화된 흐름도이다.
[0013] 도 3은 본 발명의 실시예에 따른 이미지 프레임들 사이의 상대적 포즈를 컴퓨팅하기 위한 방법을 예시하는 단순화된 흐름도이다.
[0014] 도 4a는 본 발명의 실시예에 따른 피처 기술자(descriptor)들에 기반하여 검출되고 매칭된 피처들로 마킹되고 제1 카메라 포즈로부터 캡처된 제1 RGB 이미지 프레임이다.
[0015] 도 4b는 본 발명의 실시예에 따른 피처 기술자들에 기반하여 검출되고 매칭된 피처들로 마킹되고 제2 카메라 포즈로부터 캡처된 제2 RGB 이미지 프레임이다.
[0016] 도 4c는 본 발명의 실시예에 따른 3D 피처 필터링 이후 생성된 피처 매칭들로 마킹된 도 4a에 예시된 제1 RGB 이미지 프레임이다.
[0017] 도 4d는 본 발명의 실시예에 따른 3D 피처 필터링 이후 생성된 피처 매칭들로 마킹된 도 4b에 예시된 제2 RGB 이미지 프레임이다.
[0018] 도 5a는 본 발명의 실시예에 따른 2개의 상이한 카메라 포즈들과 연관된 포인트 클라우드(point cloud)들의 세트의 사시도를 예시한다.
[0019] 도 5b는 본 발명의 실시예에 따른 도 5a에 예시된 2개의 상이한 카메라 포즈들과 연관된 포인트 클라우드들의 세트의 평면도를 예시한다.
[0020] 도 5c는 본 발명의 실시예에 따른 최적화된 상대적 포즈를 가진, 도 5a에 예시된 2개의 상이한 카메라 포즈들과 연관된 포인트 클라우드들의 세트의 사시도를 예시한다.
[0021] 도 5d는 본 발명의 실시예에 따른 최적화된 상대적 포즈를 가진, 도 5c에 예시된 2개의 상이한 카메라 포즈들과 연관된 포인트 클라우드들의 세트의 평면도를 예시한다.
[0022] 도 6a는 본 발명의 실시예에 따른 상대적 포즈들의 매트릭스(matrix) 표현이다.
[0023] 도 6b는 본 발명의 실시예에 따른 확장된 상대적 포즈들의 매트릭스 표현이다.
[0024] 도 6c는 본 발명의 실시예에 따른 일련의 카메라 포즈들 및 이미지 프레임들을 예시하는 다이어그램이다.
[0025] 도 7a 및 도 7b는 본 발명의 실시예에 따른 2개의 이미지 프레임들에 대한 RGB 이미지들이다.
[0026] 도 7c는 도 7a 및 도 7b의 RGB 이미지들과 연관된 포인트 클라우드들의 세트의 사시도를 예시한다.
[0027] 도 7d는 도 7a 및 도 7b의 RGB 이미지들과 연관된 포인트 클라우드들의 세트의 평면도를 예시한다.
[0028] 도 8은 본 발명의 실시예에 따른 글로벌 좌표들에 참조되는 깊이 맵들 및 일련의 이미지 포즈들을 도시하는 평면도를 예시한다.
[0029] 도 9는 본 발명의 실시예에 따른 확장된 상대적 포즈들을 컴퓨팅하는 방법을 예시하는 단순화된 흐름도이다.
[0030] 도 10은 본 발명의 실시예에 따른 글로벌 좌표들에 참조되는 깊이 맵들 및 일련의 정교화(refine)된 이미지 포즈들을 도시하는 평면도를 예시한다.
[0031] 도 11은 본 발명의 실시예에 따른 포즈들을 정교화하기 위한 방법을 예시하는 단순화된 흐름도이다.
[0032] 도 12a-도 12c는 예시적인 실시예에 따른 상이한 반복들의 포즈 정교화에서 3D 메시 결과들을 예시하는 그래픽 표현들이다.

[0033] 이제 예시적인 실시예들에 대해 참조가 상세히 이루어질 것이고, 실시예들의 예들은 첨부 도면들에 예시된다. 다음 설명은, 상이한 도면들에서의 동일한 번호들이 다르게 표현되지 않으면 동일하거나 유사한 엘리먼트들을 표현하는 첨부 도면들을 참조한다. 본 발명과 관련된 예시적인 실시예들의 다음 설명에 설명된 구현들은 본 발명과 관련된 모든 구현들을 표현하지 않는다. 대신, 구현들은 본 발명에 관련된 양상들과 관련된 시스템들 및 방법들의 단지 예들이다.

[0034] 도 1은 예시적인 실시예에 따른, 대규모 RGBD 포즈 추정을 위한 시스템(100)을 예시하는 블록 다이어그램이다. 시스템은 카메라(101), 프로세서(102) 및 메모리(103)를 포함할 수 있다. 일부 컴포넌트는 선택적일 수 있다. 일부 컴포넌트는 로컬, 온라인, 또는 클라우드-기반일 수 있다.

[0035] 카메라는 복수의 장면들의 RGB, RGBD 또는 깊이-전용 정보를 캡처하고 그런 정보를 프로세서에 송신할 수 있다. RGB, RGBD 또는 깊이-전용 정보는 적어도 하나의 프레임을 포함하는 스틸(still) 형성(즉, 화상) 또는 비디오 포맷일 수 있다. 특정 실시예에서, 카메라는 예컨대 미리결정된 프레임 레이트(rate)로 프레임들을 캡처하는 RGBD 비디오 카메라이다. 카메라는 독립적인 디바이스일 수 있거나 카메라, 프로세서 및 메모리를 포함하는 단일 디바이스의 부분일 수 있다. 카메라는 또한 복수의 카메라들, 예컨대 RGB 정보를 캡처하는 제1 카메라 및 깊이 정보를 캡처하는 제2 카메라일 수 있다.

[0036] 메모리는, 프로세서에 의해 실행될 때, 아래에서 설명되는 방법(들)/단계(들)를 수행하는 명령들을 저장하는 비-일시적 컴퓨터-판독가능 저장 매체일 수 있다.

[0037] 일부 실시예들에서, 프로세서 및 메모리는 클라우드-기반일 수 있고 카메라에 대해 독립적일 수 있다. 화상들 또는 비디오들은 카메라, 예컨대 셀폰 카메라에 의해 캡처될 수 있고, 하나 또는 그 초과의 (클라우드-기반) 서버들에 업로딩될 수 있다. 서버 또는 서버들은 아래에서 설명된 방법들/단계들을 구현하는 프로세서들 중 하나 또는 그 초과 및 메모리들 중 하나 또는 그 초과를 포함할 수 있다. 본원에 더 충분히 설명된 바와 같이, 본 발명의 실시예들은 RGBD 입력(예컨대, 비디오 스트림)을 수신하고 카메라를 사용하여 캡처된 각각의 프레임에 대한 카메라 포즈의 세계 좌표를 출력한다. 이 정보를 사용하여, 각각의 프레임은 각각 다른 프레임에 관련될 수 있고, 이는 프레임들이 캡처될 때, 카메라가 세계를 어떻게 이동하는지를 설명하는 카메라 궤적의 가용성을 초래한다. 따라서, 본 발명의 일부 실시예들은 입력 RGBD 비디오 스트림들을, 예컨대 각각의 프레임이 캡처되는 시간에 맵핑되는 시간의 함수로써 카메라 포즈로 변환하고, 이어서 이것은 3D 이미지 재구성 애플리케이션들에 사용될 수 있다. 3D 재구성 및 3D 메시들에 관련된 부가적인 설명은 도 13a-도 13c 및 2016년 9월 23일에 출원되고, 발명의 명칭이 "Methods and Systems for Detecting and Combining Structural Features in 3D Reconstruction"인 미국 특허 출원 번호 제 15/274,823호에 관련하여 제공되고, 이로써 이 특허 출원의 개시 내용은 모든 목적들을 위해 그 전체가 인용에 의해 통합된다.

[0038] 카메라(110)는 초점 길이, 카메라 해상도, 주점(principal point), 하나 또는 그 초과의 왜곡 파라미터들 등을 포함하는 카메라 고유 파라미터들뿐 아니라 RGBD 이미지들을 출력할 수 있다. 다시 한번 도 1을 참조하면, 카메라(110) 외에, 시스템은 IMU(inertial measurement unit: 관성 측정 유닛)(112)를 포함한다. IMU는 각각의 프레임과 연관되거나 시간의 함수로써 카메라의 상대적 포지션 및 배향에 대한 데이터를 수집하는데 활용될 수 있다. IMU 데이터는 각 속도, 가속도, 및 중력 방향을 포함할 수 있다. 이들 파라미터들을 사용하면, 기준 프레임의 x/y/z 포지션뿐 아니라 기준 프레임의 피치(pitch)/요(yaw)/롤(roll) 배향이 결정될 수 있다.

[0039] 도 2는 본 발명의 실시예에 따른 대규모 RGBD 포즈 추정을 수행하는 방법을 예시하는 단순화된 흐름도이다. 방법은 다수의 단계들을 포함하고, 단계들의 일부는 선택적일 수 있다. 방법은 대규모 RGBD 포즈 추정을 달성하기 위한 프레임워크를 포함할 수 있다.

[0040] 본 개시내용에서, "포즈"(즉, 포지션 및 배향)는 이미지들 또는 장면들을 캡처하는 동안 카메라의 포즈 또는 일련의 포즈들을 지칭할 수 있다. 일련의 포즈들은 시간 종속적이고 그리고/또는 포지션 종속적일 수 있다. 포즈는 회전 방향 및 회전 각도로 분해될 수 있는 포지션(예컨대, 기준 프레임에서 측정됨) 및 배향(예컨대, 또한 기준 프레임과 동일할 수 있는 기준 프레임에서 측정됨)을 포함할 수 있다.

[0041] 방법은 이미지 프레임들 사이의 상대적 포즈를 컴퓨팅하는 것을 포함한다(210). 이미지 프레임들 사이의 상대적 포즈를 컴퓨팅하는 것은, RGBD 이미지 쌍 사이에 충분한 오버랩핑(overlapping) 영역들이 있는 경우, 즉 장면의 동일한 객체들 또는 동일한 부분이 도 4a-도 4d에 관련하여 논의된 바와 같이 둘 모두의 이미지들에 나타나는 경우, 각각의 이미지 쌍 사이의 상대적 포즈 변화들을 추정하는 것을 포함할 수 있다. 이들 2개의 카메라 포즈들과 연관된 한 쌍의 RGBD 이미지들 사이의 상대적 포즈가 컴퓨팅될 수 있는 2개의 카메라 포즈들의 예는 도 4a/4b 및 도 5a에 대해 논의된다. 상대적 포즈 컴퓨테이션에서, 충분한 장면 오버랩(overlap)들이 예컨대 아래의 2개의 상황들에서 발견될 수 있다: (1) 시간적으로 가까운 이미지 프레임들이 보통 상대적 포즈를 결정하기 위해 충분한 장면 오버랩을 가지는 상황; (2) 충분한 피처 매칭들을 가진 이미지 프레임들이 장면 오버랩을 가질 수 있는 상황.

[0042] 전체 RGBD 시퀀스의 상대적 포즈들의 예는 도 6a에서 포즈 매트릭스로서 표현된다. 상대적 포즈를 컴퓨팅하는 것에 관련된 부가적인 세부 사항들은 도 3을 참조하여 아래에 더 충분히 설명된다.

[0043] 도 3에 관련하여 더 상세히 논의된 바와 같이, 상대적 포즈 컴퓨테이션(210)은 이미지 프레임 쌍들 사이의 상대적 포즈들을 구축하고 복구할 수 있다. 입력 RGBD 이미지 세트는 상이한 시간들에 찍힌 개별적인 RGBD 이미지들 또는 복수의 연속적인 프레임들로 이루어진 RGBD 비디오 스트림일 수 있다. 본 개시내용에 설명된 방법/프레임워크는 둘 모두의 경우들에서 작동할 수 있지만, 일반성을 잃지 않고, 예로서 RGBD 비디오 스트림이 사용된다.

[0044] 도 3은 본 발명의 실시예에 따른 이미지 프레임들 사이의 상대적 포즈를 컴퓨팅하기 위한 방법을 예시하는 단순화된 흐름도이다. 도 3을 참조하면, 방법은 프레임들 사이의 시간 구분(separation)의 임계치에 기반하여 복수의 이미지 프레임 쌍들을 분류하는 단계를 포함한다(310). 예컨대, 임계치는 2 초일 수 있지만, 본 발명은 이 임계치로 제한되지 않고 다른 값들, 예컨대 1/15 초(sec) 미만, 1/10 초, 1/6 초, 1/5 초, 1/2 초, 1 초, 3 초, 4 초, 5 초, 또는 5 초 초과가 활용될 수 있다. 실시예에서, 서로 2 초 내에 캡처된 이미지 프레임들의 쌍은 "시간적으로 가까운" 이미지 프레임들로 분류된다(320). 이미지 프레임들의 쌍이 임계치 초과의 프레임 캡처 사이의 지연으로 캡처되면, 이들 이미지 프레임 쌍들은 "시간적으로 먼" 프레임들로서 분류된다(330). 이미지 프레임들의 쌍의 예는 상이한 시간들에서 상이한 카메라 포즈들로부터 캡처된, 도 4a 및 도 4b에 예시된 이미지들이다.

[0045] 시간적으로 가까운 이미지 프레임들에 대해, 이미지 프레임들 사이에서 카메라 포즈가 크게 변화하지 않았다는 가정이 이루어질 수 있다. 따라서, 상대적 포즈 최적화(322)는, 초기 상대적 포즈가 최적화된 상대적 포즈에 가까워야 하기 때문에, 시간적으로 가까운 이미지 프레임들에 대해 수행될 수 있다. 따라서, 시간적으로 가까운 프레임들에 대해, 항등 매트릭스는 상대적 포즈 최적화(322)를 수행하기 위한 초기화로서 직접 사용될 수 있다. 예로서, 시간적으로 가까운 프레임들로부터의 깊이 데이터는 이미지 프레임들 사이의 최적화된 상대적 포즈를 제공하기 위해 정렬될 수 있다. 예컨대, ICP(iterative closest point) 기반 정렬은 상대적 포즈를 최적화하기 위해 깊이 데이터와 함께 활용될 수 있다. 도 6a를 참조하면, 시간적으로 가까운 이미지 프레임 쌍들은 매트릭스의 주대각선에 인접한다.

[0046] 시간적으로 먼 이미지 프레임 쌍들에 대해, 카메라 포즈의 변화들의 결과로서 이미지 프레임들 사이에 큰 오버랩을 발견할 가능성은 더 적다. 결과로서, 초기화는 프로세스들(332, 334 및 336)에 의해 제공된다. 시간적으로 먼 이미지 프레임 쌍들에 대해, 방법은 충분한 장면 오버랩을 가진 후보 피처 쌍들의 세트를 제공하기 위해 이미지 프레임들에 대한 RGB 데이터를 사용하여 피처 검출 및 피처 매칭(332)을 수행하는 것을 포함한다. 피처 검출은 SIFT(scale-invariant feature transform), SURF(speeded up robust features), FAST(features from accelerated segment test) 등을 포함하는 방법들에 의해 달성될 수 있다. 피처 매칭은 어휘-트리(vocabulary-tree) 기반 방법들 또는 Kd-트리 기반 방법들을 포함하는 방법들에 의해 달성될 수 있다.

[0047] 도 4a는 본 발명의 실시예에 따라 제1 카메라 포즈로부터 캡처되며, 피처 기술자(descriptor)들에 기반하여 검출 및 매칭된 피처들로 마킹되는 제1 RGB 이미지 프레임이다. 도 4b는 본 발명의 실시예에 따라 제2 카메라 포즈로부터 캡처되며, 피처 기술자들에 기반하여 검출 및 매칭된 피처들로 마킹되는 제2 RGB 이미지 프레임이다. 도 4c는 본 발명의 실시예에 따른 3D 피처 필터링 이후 생성된 피처 매칭들로 마킹된 도 4a에 예시된 제1 RGB 이미지 프레임이다. 도 4d는 본 발명의 실시예에 따른 3D 피처 필터링 이후 예컨대, 도 3의 프로세스(336)에 후속하여 생성된 피처 매칭들로 마킹된 도 4b에 예시된 제2 RGB 이미지 프레임이다.

[0048] 도 4a 및 도 4b를 참조하면, 도 4a 및 도 4b에 예시된 2개의 이미지 프레임들 사이에 매칭되는 검출된/매칭된 피처들은 각각 RGB 이미지상에 오버레이(overlay)된 다양한 컬러들의 도트(dot)들에 의해 표시된다. 피처들이 검출되었다면, 자신의 이웃하는 픽셀들에 기반하여 각각의 피처에 대해 기술자가 컴퓨팅된다. 이어서, 피처 기술자들은 예컨대, 피처 기술자들 사이의 거리에 임계치를 적용함으로써 이미지 프레임들 사이의 피처들을 매칭시키는데 사용된다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0049] 예시로써, 피처 검출 및 피처 매칭의 구현을 통해, 검출 및 매칭된 피처들은 이미지 프레임들 상에 도트들의 쌍들로 라벨링될 수 있고, 각각의 도트는 각각의 이미지 프레임의 특정 피처의 위치를 결정한다. 도 4a 및 도 4b를 참조하면, 적색 도트(410)에 의해 표현된 피처는 양쪽 이미지 프레임들에서 검출 및 매칭된다. 부가적으로, 청록색 도트(412)에 의해 표현된 제2 피처는 또한 양쪽 이미지 프레임들에서 검출 및 매칭된다. 도 4a 및 도 4b에 예시된 바와 같이, 2개의 이미지 프레임들에서 적색 도트(410) 및 적색 도트(411)는 한 측이 어두운 재료를 포함하고 다른 측이 더 밝은 재료를 포함한다. 그러나, 컬러 특성들이 유사하거나 동일하더라도, 이들 영역들은 서로 매우 상이한 위치들에 위치되는데, 즉 도 4a의 적색 도트(410)는 벤치(bench) 옆의 벽에 위치되지만, 도 4b의 적색 도트(411)는 등받이의 에지 상에 위치된다. 따라서, 도 4c 및 도 4d에 예시된 바와 같이, 양쪽 피처들(410 및 411)(및 이들 사이의 매칭들)은, 3D 피처 필터링이 수행되었다면 존재하지 않는다. 따라서, 처음에 검출 및 매칭된 피처들의 서브세트는 통상적으로, 3D 필터링 이후 유지될 것이다.

[0050] 피처 매칭들의 수가 미리결정된 임계치, 예컨대 10 피처 매칭들을 초과하면 결정이 이루어진다(333). 피처 매칭들의 수가 임계치 미만이면, 분석되는 이미지 프레임 쌍은 타입 1 비분류된 이미지 프레임 쌍으로서 정의된다(350). 도 6a에서, 이들 비분류된 타입 1 쌍들은 밝은 회색으로 예시되고, 밝은 회색은, 상대적 포즈가 존재하지 않았다는 것 및 피처 매칭들의 수가 적기 때문에, 이 경우에 이미지 프레임 쌍들 사이의 상대적 포즈를 컴퓨팅하기 위한 시도가 이루어지지 않았다는 것을 표시한다.

[0051] 방법은 또한, 피처 매칭들의 수가 미리결정된 임계치를 초과하면, 3D 피처 필터링으로서 또한 지칭될 수 있는 후보 피처 쌍 필터링을 시도하는 것을 포함한다(334). 피처 검출 및 매칭(332) 이후 획득된 피처들은 2D 피처들의 대응하는 3D 포인트들을 얻기 위해, 연관된 깊이 이미지들 상에 역-투영된다. 실시예에서, 후보 피처 쌍들은 적어도 K개(K개는 미리세팅된 수임)의 인라이어(inlier) 매칭들을 가진 프레임 쌍들을 획득하기 위해, 모든 역-투영된 3D 피처 매칭들 상에 RANSAC(random sample consensus) 알고리즘을 사용하여 필터링된다. 도 4c 및 도 4d는 RANSAC를 사용하는 후보 피처 필터링 이후 매칭된 3D 피처들 쌍들(K=10임)을 도시한다. 당업자에게 명백할 바와 같이, 프레임간 매칭을 최대화하는 최적 피처 매칭들의 세트는 본원에 설명된 방법들을 사용하여 발견될 수 있다.

[0052] 위에서 논의된 바와 같이, 후보 피처 쌍들은, 3D 피처 매칭들의 수가 제2 미리결정된 임계치, 예컨대 10개의 3D 피처 매칭들을 초과하는지를 결정하기 위해 분석된다. 피처 매칭들의 수가 제2 미리결정된 임계치 미만이면, 분석되는 이미지 프레임 쌍은 타입 1 비분류된 이미지 프레임 쌍으로서 정의된다(351). 도 6a에서, 이들 비분류된 타입 1 쌍들은 밝은 회색으로 예시되고, 밝은 회색은, 상대적 포즈가 존재하지 않았다는 것 및 3D 피처 매칭들의 수가 적기 때문에, 이 경우에 이미지 프레임 쌍들 사이의 상대적 포즈를 컴퓨팅하기 위한 시도가 이루어지지 않았다는 것을 표시한다.

[0053] 3D 피처 매칭들의 수가 제2 임계치를 초과하면, 프로크루스테스(Procrustes) 분석은 프로세스(334) 이후 획득된 인라이어 3D 피처 매칭들 상에서 수행된다(336). 이런 분석 프로세스 동안, 이미지 쌍들 사이의 상대적 변환(즉, 상대적 포즈)의 최소 제곱 해가 추정된다. 예로서, 이미지 쌍들과 연관된 포인트 클라우드들의 세트는 도 5a 및 도 5b에 예시된다. 도 5a는 본 발명의 실시예에 따른 2개의 상이한 카메라 포즈들과 연관된 포인트 클라우드(point cloud)들의 세트의 사시도를 예시한다. 상대적 포즈 계산의 중간 결과가 도 5a에 예시된다. 도 5b는 본 발명의 실시예에 따른 도 5a에 예시된 2개의 상이한 카메라 포즈들과 연관된 포인트 클라우드들의 세트의 평면도를 예시한다. 글로벌 기준 프레임(505)이 도 5a 및 도 5b에 예시된다. 상대적 포즈 계산의 중간 결과가 도 5a에 예시된다. 따라서, 도 5a 및 도 5b는 2개의 상이한 시점들로부터의 동일한 상대적 포즈를 예시한다: 도 5a의 사시도 또는 경사도 및 도 5b의 상부-하부도 또는 평면도. 도 5a 및 도 5b 둘 모두에서, 카메라 포즈(510)는 회색 포인트 클라우드를 캡처하는 카메라 포즈에 대응하고 카메라 포즈(512)는 적색 포인트 클라우드를 캡처하는 카메라 포즈에 대응한다.

[0054] 도 5a 및 도 5b를 참조하면, 회색 포인트 클라우드는 도 4a에 예시된 이미지에 대응하는 3D 깊이 맵을 표현하고 적색 포인트 클라우드는 도 4b에 예시된 이미지에 대응하는 3D 깊이 맵을 표현한다. 도 4c의 벽(430)은 도 5a에서 단면(530)으로 제시된다. 부가적으로, 도 4c의 테이블(434)에 인접한 벽(432)은 도 5a에서 단면(532)으로 제시된다. 이들 포인트 클라우드들을 사용하면, 최소 제곱 해는 상대적 포즈 최적화(322) 동안 활용된 초기화를 제공하기 위해 실시예에서 사용될 수 있다. 도 4c 및 도 4d에 예시된 매칭들이 도 5a 및 도 5b에 예시된 깊이 맵들 상에 오버레이되고 포즈 정렬 프로세스들에 활용될 수 있다는 것이 또한 주목되어야 한다.

[0055] 시간적으로 가까운 프레임들의 논의로 돌아가면, 항등 매트릭스는 상대적 포즈 최적화(322)에 제공된 초기화로서 직접 사용될 수 있다. 프로크루스테스 분석 이후 제공된 출력은 또한, 아래에서 설명된 바와 같이 가장 가까운 포인트 쌍들의 수의 분석 이후 상대적 포즈 최적화 프로세스(322)에 대한 입력으로서 사용될 수 있다.

[0056] 시간적으로 먼 이미지 프레임 쌍 사이에 충분한 수의 가장 가까운 포인트 쌍들이 존재하는지, 즉 제3 미리결정된 임계치보다 큰 가장 가까운 포인트 쌍들의 수가 존재하는지가 결정된다. 가장 가까운 포인트 쌍들의 수를 결정하는 것에 관련된 부가적인 설명은 도 9에 관련하여 제공된다. 충분한 수가 존재하면, 프로세스는 프로세스(322)로 계속된다. 충분한 수의 가장 가까운 포인트 쌍들이 존재하지 않으면, 분석을 겪는 프레임 쌍은 타입 1 비분류된 프레임 쌍(352)으로 식별된다(예컨대, 이미지 프레임 쌍들 사이에 상대적 포즈를 컴퓨팅하기 위한 시도가 이루어졌었기 때문에 어두운 회색 프레임 쌍이지만, 이미지 프레임 쌍들 사이의 상대적 포즈가 존재하지 않음).

[0057] 일부 실시예들에서, 프로세스(322)에 관하여 논의된 최적화 프로세스뿐만 아니라 충분한 수의 가장 가까운 포인트 쌍들이 존재하는지의 결정이 단일 프로세스로서 결합되어, 비분류된 프레임 쌍들의 식별뿐만 아니라 다른 프레임 쌍들 사이의 유효한 상대적 포즈 둘 다를 포함하는 출력을 제공하는 것이 결정된다. 이들 실시예들에서, 어두운 회색 프레임 쌍들은 상대적 포즈 컴퓨테이션이 시도된 것으로 식별되지만, 프레임 쌍은 상대적 포즈 최적화 프로세스의 초기 부분 동안 비분류된 것으로 식별되었다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0058] 상대적 포즈 최적화 프로세스(322)는 최적화된 상대적 포즈 솔루션(예컨대, 도 5c 및 도 5d에 예시된 상대적 포즈들)을 제공하도록 초기 상대적 포즈 솔루션(예컨대, 도 5a 및 도 5b에 예시된 상대적 포즈들)을 정교화하기 위해 수치 최적화를 사용할 수 있다. 최적화는 가장 가까운 포인트 제약들, 경계 포인트 제약들, 3D 피처 제약들, IMU 회전 제약들 등으로 최적화하는 것을 포함할 수 있다. 가장 가까운 포인트 제약들은, 2개의 깊이 이미지들이 얼마나 잘 정렬되는지를 측정할 수 있다. 경계 포인트 제약들은, 2개의 깊이 이미지들의 객체 경계들이 얼마나 잘 정렬되는지를 측정할 수 있다. 3D 피처 제약들은, 2개의 프레임들 사이의 매칭된 피처 3D 거리들의 불일치에 불이익을 줄 수 있다. IMU 회전 제약들은, 한 쌍 사이의 상대적 회전이 IMU-측정 상대적 회전과 근접하는 것을 보장할 수 있다.

[0059] 상대적 포즈 최적화(322)로부터 생성된 상대적 포즈들은 도 5c 및 도 5d에 도시되고, 이들은, 대응하게, 도 5a 및 도 5b에 예시된 바와 같은 초기화에 의해 제공되는 포즈들(시간적으로 가까운 포즈들에 대해 310을 따르고, 시간적으로 먼 포즈들에 대한 336 또는 338을 따름)보다 더 정확하다.

[0060] 도 3에 예시된 방법의 출력은 복수의 이미지 프레임 쌍들 사이의 상대적 회전 및 병진이다(340). 따라서, 요약하여, 도 3은 상대적 포즈를 컴퓨팅(210)하는데 사용되는 방법을 예시한다.

[0061] 도 3에 예시된 특정 단계들이 본 발명의 실시예에 따라 이미지 프레임들 사이의 상대적 포즈를 컴퓨팅하는 특정 방법을 제공하는 것이 인지되어야 한다. 단계들의 다른 시퀀스들이 대안적인 실시예들에 따라 또한 수행될 수 있다. 예컨대, 본 발명의 대안적인 실시예들은 상이한 순서로 위에서 서술된 단계들을 수행할 수 있다. 게다가, 도 3에 예시된 개별 단계들은, 개별 단계에 적합한, 다양한 시퀀스들에서 수행될 수 있는 다수의 서브-단계들을 포함할 수 있다. 게다가, 부가적인 단계들은 특정 애플리케이션들에 따라 부가되거나 제거될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0062] 다시 한번 도 2를 참조하면, 방법은 오분류된 포즈들을 검출하는 단계(212)를 포함한다. 본원에 설명된 바와 같이, 이미지 프레임들 사이의 상대적 포즈들은 글로벌 포즈 추정을 수행하는데 활용된다. 그러나, 단계(210)로부터 컴퓨팅된 일부 상대적 포즈들은 올바르지 않을 수 있다. 본 발명자들은, 매우 큰 수의 오분류된 상대적 포즈들이 글로벌 포즈 추정 프로세스(단계 214)를 실패하게 할 수 있다고 결정했다. 따라서, 본 발명의 실시예들은, 단계(210)에서 결정된 각각의 상대적 포즈가 분석되어, 오분류된 상대적 포즈들을 필터링 아웃하고 유효한 상대적 포즈들을 가진 이미지 프레임 쌍들로부터, 오분류된 상대적 포즈들을 가진 이미지 프레임 쌍들을 분리하는 오분류된 포즈 검출 프로세스(단계(212))를 제공한다. 본 개시내용에서 오분류된 상대적 포즈들은 포즈 추정에 사용될 수 없거나 사용되지 않아야 하는 포즈들을 포함할 수 있다.

[0063] 오분류된 상대적 포즈들은 (1) 반복된 패턴들; (2) 잘못된 3D 피처 필터링(예컨대, 잘못된 RANSAC 매칭들); 및 (3) 상대적 포즈 최적화에서 로컬 최소치를 포함하는 다수의 환경들 하에서 발생할 수 있다. 예컨대, 도 7a 및 도 7b는 오분류된 상대적 포즈들을 가진 이미지 쌍을 도시한다.

[0064] 도 7a 및 도 7b는 본 발명의 실시예에 따른 2개의 이미지 프레임들에 대한 RGB 이미지들이다. 도 7a를 참조하면, 벤치의 뒤쪽 등받이는 이미지 프레임에 포함된다. 등받이는 반복 패턴을 특징으로 하는 다수의 수직 스트라이프(stripe)들을 포함한다. 도 7b를 참조하면, 등받이의 좌측은 이미지 프레임에 포함된다. 피처 검출 및 매칭 동안, 도 7a의 피처들(710 및 712)이 검출되었다. 도 7b의 피처들(720 및 722)은 피처들(710 및 712)로 검출 및 매칭되었다. 이런 올바르지 않은 매칭이 등받이에서 스트라이프들의 반복 패턴으로부터 발생할 개연성이 있다. 따라서, 등받이의 중간 근처 피처들(710 및 712)은 각각 등받이의 좌측 상의 피처들(720 및 722)과 올바르지 않게 매칭되었다. 이런 올바르지 않은 매칭은, 실제로 이미지 프레임들이 임의의 오버랩핑 영역들을 가지지 않을 때 이미지 프레임들의 쌍이 서로에 대해 상대적 포즈 정렬을 가지는 것을 결정하는 것을 초래할 수 있다. 아래에서 설명된 바와 같이, 예컨대 위에서 설명된 올바르지 않은 컬러 매칭으로부터 발생하는 잘못 특성화된 포즈들은 본 발명의 실시예들에 의해 검출 및 제거된다.

[0065] 본 발명의 실시예들에 따라, 몇몇 상이한 메커니즘들은 회전 및 포지션, IMU 측정, 오클루전(Occlusion), 정렬된 포인트 카운트(Aligned Point Count), 및 픽셀 단위 차이(이 각각은 아래에서 더 충분히 설명됨)를 포함하는, 부정확하거나 올바르지 않은 상대적 포즈들로 또한 지칭되는 오분류된 포즈들을 검출 및 필터링하는데 사용될 수 있다. 일부 구현들에서, 잘못 특성화된 포즈들의 검출에 관련된 이미지 프레임 쌍들 통과 규칙들은 후속적인 포즈 추정 프로세스들에 활용될 수 있다.

[0066] 회전 및 포지션. 이 메커니즘은 시간적으로 가까운 쌍들에 적용될 수 있다. 이들 쌍들이 가까운 타임스탬프들에서 캡처되기 때문에(비디오 스트림 예가 사용되면), 각각의 쌍에 작은 양의 움직임만이 있어야 한다. 그러므로, 시간적으로 가까운 쌍은, 컴퓨팅된 상대적 회전 또는 포지션이 (예컨대, 미리결정된 임계치에 비해) 너무 크면, 폐기될 수 있다.

[0067] IMU 측정. 이 메커니즘은 단계(210)(즉, 프로세스 단계(340)의 출력)으로부터 추정된 상대적 포지션 및/또는 회전과 IMU 측정들로부터 컴퓨팅된 상대적 포지션 및/또는 회전 사이의 차이를 미리결정된 임계치와 비교한다. IMU는 각각의 이미지 프레임과 연관된 카메라의 포지션 및 배향에 대한 정보를 제공한다. 일부 실시예들에서, IMU 측정들은 포지션, 배향, 또는 포지션 및 배향과 연관된 부정확도를 가질 수 있다. 따라서, 본 발명의 실시예들은 다른 정보와 함께 IMU 측정들을 활용한다.

[0068] 이미지 프레임 쌍들에 대한 IMU 측정들(또는 이들 측정들에 기반한 정보)은 비교되고, IMU 측정들 사이의 차이가 주어진 이미지 쌍에 대한 임계치를 초과하면, 주어진 이미지 쌍은 도 6a 또는 도 6b의 오렌지색(타입 4) 픽셀들에 의해 표현된 이미지 쌍들에 예시된 바와 같이 오분류된 상대적 포즈를 가지는 것으로 식별될 수 있다. 이들 이미지 쌍들에 대해, 상대적 포즈는 이미지 프레임 쌍을 오분류된 상대적 포즈를 가지는 것으로 분류함으로써 글로벌 포즈 추정 프로세스 동안 무시될 수 있다.

[0069] 도 6c를 참조하면, 카메라 포즈(660)는 영역의 하부 좌측 사분면에 포지션 및 배향을 가진다. 카메라 포즈(680)는 영역의 상부 우측 사분면에 포지션 및 배향을 가진다. 공통 피처들이 이미지 프레임들(662 및 682) 둘 모두에 존재할 수 있는 것이 가능하다. 예컨대, 카메라가 복잡한 유사한 빌딩들의 안뜰을 지나 이동했다면, 이미지 프레임들 둘 모두는 이들 유사한 빌딩들을 이미징할 때 공통 엘리먼트들을 공유할 수 있다. 결과로서, 상대적 포즈 컴퓨테이션은, 유효한 상대적 포즈가 존재했다는 것을 결정할 수 있다. 그러나, IMU 측정은 실질적으로 서로 반대인, 상이한 시간들에서 카메라의 배향에 대한 정보를 제공할 것이다. 결과로서, IMU 측정들을 사용하면, 이들 이미지 프레임들에 대한 초기 상대적 포즈 컴퓨테이션은, 오분류된 상대적 포즈가 결정되었다는 것을 표시하기 위해 업데이트될 것이다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0070] 오클루전. 이 메커니즘은 이미지 쌍의 깊이 맵들 및 카메라 포즈들을 3D로 시험할 수 있고, 이들의 상대적 포즈가 가시성 체크를 통해 올바른지를 결정할 수 있다. 도 7c 및 도 7d는 2개의 상이한 뷰들의 수퍼임포즈된(superimposed) 이미지들로부터 상호 오클루딩된 깊이 맵들을 결정하는 예를 설명한다. 도 7c 및 도 7d 둘 모두에서, 상대적 포즈는 올바르지 않다. 결과로서, 이들 상대적 포즈는 오분류된 포즈로서 검출되고 무시되어야 한다.

[0071] 도 7c는 도 7a 및 도 7b의 RGB 이미지들과 연관된 포인트 클라우드들의 세트의 사시도를 예시한다. 도 7d는 도 7a 및 도 7b의 RGB 이미지들과 연관된 포인트 클라우드들의 세트의 평면도를 예시한다. 도 7c를 참조하면, 카메라 포즈(750)는 도 7a의 RGB 이미지와 연관된 회색 포인트 클라우드를 캡처하는 카메라 포즈에 대응한다. 카메라 포즈(752)는 도 7b의 RGB 이미지와 연관된 적색 포인트 클라우드를 캡처하는 카메라 포즈에 대응한다. 깊이 맵들 사이의 정렬은 도 7a 및 도 7b에 관련하여 논의된 바와 같이 등받이에 대한 피처들의 매칭에 기반한다. 도 7d에 예시된 바와 같이, 매칭 피처들을 가진 등받이의 부분들은 오버랩핑 섹션(760)에 의해 예시된다. 도 7a-도 7d에 예시된 바와 같이, 테이블(710)의 뒤쪽 뒷벽의 짧은 섹션(755)은 도 7a, 도 7c 및 도 7d에 예시된다. 테이블(710) 뒤쪽 뒷벽의 더 긴 섹션(757)은 도 7b, 도 7c 및 도 7d에 예시된다.

[0072] 도 7d에 예시된 바와 같이, 뒷벽(짧은 섹션(755) 및 긴 섹션(757))은 오클루전 메커니즘을 위반한다. 도 7b의 RGB 이미지와 연관된 적색 깊이 맵이 정확하면, 도 7a의 RGB 이미지와 연관된 회색 깊이 맵과 연관된 카메라(시점(view point))는 적색 깊이 맵에 의해 표현된 불투명 객체 뒤에 물리적으로 위치된 뒷벽 패턴을 관찰하지 못할 것이다. 다른 말로, 피처 매칭에 기반한 상대적 포즈가 올바르면, 짧은 섹션(755) 및 긴 섹션(757)은 정렬될 것이다. 대신, 이들은 거리(D)만큼 오프셋된다. 도 6a 및 도 6b의 타입 5 픽셀들은 이 오클루전 규칙을 통과할 수 없는 예시적인 쌍들이다.

[0073] 정렬된 포인트 카운트. 이 메커니즘은, 쌍 사이의 정렬된 깊이 포인트들의 수가 임계치 미만이면 상대적 포즈가 오분류된 것을 결정한다. 정확한 상대적 포즈를 가진 이미지 쌍은, 이들 깊이 맵들이 잘 정렬되고 정렬된 깊이 포인트들의 수가 (예컨대, 미리결정된 임계치에 비해) 매우 큰 것을 의미할 수 있다.

[0074] 픽셀-단위 차이. 이 메커니즘은, 대응하는 프레임들의 컬러 불일치가 너무 크면 상대적 포즈를 오분류된 것으로 결정한다. 깊이 맵의 모든 깊이 포인트들은 대응하는 RGB 이미지로부터 연관된 컬러들을 가진다. 예들은 도 7c 및 도 7d의 깊이 맵들 및 도 7a 및 도 7b의 대응하는 RGB 이미지들이다. 우수한 상대적 포즈의 정렬된 깊이 포인트들은 잘 정렬된 컬러들을 가질 수 있다. 컬러 불일치는 모든 정렬된 깊이 포인트들에 걸쳐 누적될 수 있다. 깊이 포인트들의 각각의 쌍 사이의 컬러 차이를 비교하고 특정 수의 포인트들에 걸친 합산에 의해, 전체 컬러 불일치가 양자화될 수 있다. 양자화된 전체 컬러 불일치를 미리결정된 임계치와 비교하는 것은 상대적 포즈의 품질을 결정하고 오분류된 포즈들을 검출하는데 사용될 수 있다.

[0075] 도 6a는 단계들(210 및 212)의 상대적 포즈 컴퓨테이션 및 검출 및 제거(즉, 마킹)로부터 생성된 상대적 포즈들의 매트릭스 표현을 예시한다. 도 6b는 단계들(216 및 218)을 참조하여 아래에서 설명된, 확장된 상대적 포즈 컴퓨테이션 및 확장된 잘못 특성화된 상대적 포즈들의 검출 및 제거(즉, 마킹)로부터 생성된 확장된 상대적 포즈들의 매트릭스 표현을 예시한다. 매트릭스 표현들의 축들은 아래에서 더 충분히 설명된 프레임 번호들이다.

[0076] 도 6a 및 도 6b 각각은 N x N 매트릭스를 예시하고, 여기서 N은 특정 입력 이미지 또는 이미지 프레임의 프레임 번호이다. 상부 우측 또는 하부 좌측 삼각형들 각각에서 각각의 픽셀은 픽셀의 열 번호에 대응하는 제1 이미지 프레임 및 픽셀의 행 번호에 대응하는 제2 이미지 프레임을 포함하는 이미지 프레임들의 쌍을 표현한다. 주대각선을 따라 놓이는 매트릭스의 엘리먼트들은, 주대각선이 단지 이미지 프레임을 그 자체와 비교하기 때문에 값을 가지지 않는다.

[0077] 도 6a의 최상부-우측 삼각형에서 픽셀 컬러들(즉, 값들)은 주어진 이미지 프레임들 사이의 상대적 포즈를 결정하기 위해 달성된 컴퓨테이션 결과를 표현한다. 예컨대, 원(610)은 이미지 프레임 번호들(28 x 10 및 29 x 10)을 강조한다. 이들 2개의 이미지 프레임 쌍들 사이의 상대적 포즈는 210에서 유효한 상대적 포즈로서 컴퓨팅되고 이들 이미지 프레임 쌍들은, 이들 이미지 프레임 쌍들 사이의 유효한 상대적 포즈가 존재하기 때문에, 아래에서 더 충분히 설명된 바와 같이, 밝은 녹색으로 표시된다. 원(612)은 이미지 프레임 번호들(1-10 x ~50-60)을 강조한다. 이들 이미지 프레임 쌍들에 대해, 이미지 프레임 쌍들 중 일부는 유효한 상대적 포즈들(밝은 녹색)을 가지는 반면, 다른 이미지 프레임 쌍들은 프로세스(212)에 관련하여 더 충분히 설명된 바와 같이 오분류된 상대적 포즈들(오렌지 색)을 가진다.

[0078] 도 6a의 최하부-좌측 삼각형에서 픽셀 컬러들(즉, 회색스케일)은 최상부-우측 삼각형의 대응하는 컴퓨팅된 상대적 포즈들과 연관된 신뢰도 값 또는 레벨을 표현하고, 더 밝은 픽셀 강도는 상대적 포즈 컴퓨테이션에서 더 높은 신뢰도를 표시한다. 컴퓨테이션의 신뢰도는 본 발명의 실시예들에 따른 하나 또는 그 초과의 파라미터들의 함수이다. 예컨대, 가중치로서 또한 지칭될 수 있는 신뢰도는 이미지 프레임 쌍 사이의 오버랩 영역의 사이즈에 대한 프록시(proxy)로서 사용될 수 있는, 도 9에 관련하여 논의된 가장 가까운 포인트 쌍들의 수의 함수일 수 있다. 신뢰도는 프로세스(334)에 의해 결정된 바와 같이 이미지 프레임 쌍들 사이의 3D 피처 매칭들의 수의 함수일 수 있다. 부가적으로, 신뢰도는, 확장된 유효한 상대적 포즈들이 프로세스들(210-214)에 관련하여 논의된 유효한 상대적 포즈들의 초기 결정에 기반하기 때문에, 프레임 쌍들에 대한 유효한 상대적 포즈와 비교하여 프레임 쌍들에 대해 확장된 유효한 상대적 포즈를 처리할 때 더 낮을 수 있다.

[0079] 도 6c는 본 발명의 실시예에 따른 일련의 카메라 포즈들 및 이미지 프레임들을 예시하는 다이어그램이다. 도 6c에서, 시간의 함수로써 일련의 카메라 포즈들은 좌표 축들(655)과 연관된 글로벌 기준 프레임을 통해 이동하는 카메라를 표현하는 청색 삼각형들에 의해 예시된다. 연관된 깊이 맵들은 또한 도 6c에 예시된다. 카메라 포즈(660)에서, 카메라는 이미지 프레임(662)(황갈색)과 연관된 시야를 캡처하여, 예시된 영역의 최하부 좌측 코너를 이미징한다. 카메라 포즈(670)에서, 카메라는 이미지 프레임(672)(적색)과 연관된 시야를 캡처하여, 예시된 영역의 최상부 중앙을 이미징한다. 카메라 포즈(680)에서, 카메라는 이미지 프레임(682)과 연관된 시야를 캡처하여, 예시된 영역의 최상부 우측 코너를 이미징한다.

[0080] 도 6c에 예시된 바와 같이, 카메라 포즈(660)는 카메라 포즈(670) 또는 카메라 포즈(680)와 연관된 이미지 프레임과 오버랩을 공유하지 않는 연관된 이미지 프레임(662)이다. 도 6a를 참조하면, 이미지 프레임 쌍(1 x 30)은 유효한 상대적 포즈를 가지지 않고, 이는 상대적 포즈 컴퓨테이션이, 이미지 프레임(30)의 포즈에 대해 이미지 프레임(1)의 상대적 포즈를 결정하는 것이 가능하지 않다는 결정을 초래하는 것을 표시한다. 대조하여, 카메라 포즈들(670 및 680)은 오버랩 영역을 공유하는 이미지 프레임들(672 및 682)과 연관된다. 따라서, 연관된 이미지 프레임들의 쌍에 존재하는 공통 피처들에 기반하여 카메라 포즈들(670 및 680) 사이의 상대적 포즈를 결정하는 것이 가능할 수 있다.

[0081] 이미지 프레임들(672 및 682)과 유사하게, 이들 이미지 프레임들(즉, 10 내지 28 및 10 내지 29)을 서로 참조하기에 충분한 오버랩 및/또는 공통 정보가 프레임 쌍(10 및 28) 및 프레임 쌍(10 및 29)에 존재한다. 다른 말로, 이미지 프레임들(10 및 28)은 서로 참조될 수 있고, 예컨대, 이미지 프레임(10)과 연관된 카메라 포즈는 미리결정된 포즈(P₁₀)이다. 이미지 프레임(28)(P₂₈)과 연관된 카메라 포즈는 카메라의 병진 및 회전, 예건대 x-축을 따라 100 cm의 병진 및 y-축을 중심으로 30° 회전하여 P₁₀에 참조될 수 있다.

[0082] 도 6a는 상대적 프레임간 포즈 컴퓨테이션과 연관된 몇몇 조건들을 예시한다:

어두운 회색(타입 1) - 비분류됨 - 이미지 프레임 쌍들 사이의 상대적 포즈를 컴퓨팅하기 위한 시도가 수행되었지만, 이미지 프레임 쌍들 사이의 상대적 포즈가 존재하지 않음

밝은 회색(타입 1) - 비분류됨 - 이미지 프레임 쌍들 사이의 상대적 포즈를 컴퓨팅하기 위한 시도가 수행되지 않음. 이미지 프레임 쌍들 사이의 상대적 포즈가 존재하지 않음

밝은 녹색(타입 2) - 이미지 프레임 쌍들 사이의 유효한 상대적 포즈가 존재함

오렌지 색(타입 4) - (IMU 측정들에 기반한) 이미지 프레임 쌍들 사이의 오분류된 상대적 포즈가 존재함

검정색(타입 4) - (오클루전에 기반한) 이미지 프레임 쌍들 사이의 오분류된 상대적 포즈가 존재함

[0083] 비록 IMU 측정들 또는 오클루전에 기반한 오분류가 도 6a에 예시되지만, 다른 정보에 기반한 다른 오분류들이 또한 타입 4 카테고리의 범위 내에 포함되는 것이 주목되어야 한다. 예들로서, 회전 및 포지션, 정렬된 포인트 카운트, 픽셀 단위 차이 등.

[0084] 위의 분류들을 참조하면, 타입 1 프레임 쌍들은 비분류된 것으로 지칭되고 상대적 카메라 포즈를 결정하기 위한 시도가 이루어졌지만 유효한 상대적 포즈가 발견되지 않은 프레임 쌍들(어두운 회색) 뿐 아니라 상대적 포즈를 결정하기 위한 시도가 시도되지 않은 프레임 쌍들(밝은 회색)을 포함한다. 예로서, 상대적 포즈를 결정(즉, 컴퓨팅)하기 위한 시도는 공통 피처들이 존재하지 않는 프레임 쌍들에 대해 이루어질 수 없다.

[0085] 다시 한번 도 2를 참조하면, 방법(200)은 또한 상대적 포즈들을 사용하여 글로벌 포즈들을 추정하는 것을 포함한다(214). 글로벌 포즈 추정(214)은 글로벌 좌표들에서 모든 이미지 프레임들에 대한 글로벌 포즈들을 컴퓨팅할 수 있는 대규모 최적화 프레임워크에서 수행될 수 있다. 이 프로세스에서, 글로벌 포즈 추정은 대규모 최적화 문제의 엘리먼트로서, 상대적 포즈 제약들, IMU 제약들, 평면 제약들, 평활도 제약들 등을 포함하는 다수의 제약들에 기반하여 글로벌 좌표들에 대해 이미지 포즈들(예컨대, 모든 이미지 포즈들)을 참조하는데 활용된다.

[0086] 상대적 포즈 제약들은, 결과적인 글로벌 포즈들이 상대적 포즈들에 의해 설명된 상대적 변환을 만족하도록 보장할 수 있다. IMU 제약들은 결과적인 글로벌 포즈의 회전과 이의 대응하는 IMU 측정 사이의 편차에 불이익을 줄 수 있다. 평면 제약들은, 벽 표면들이 잘 정렬되는 것을 보장할 수 있다. 예로서, 각각의 깊이 맵들에 대해, 평면들이 추출될 수 있다. 이어서, 글로벌 좌표들을 참조하는 프로세스는 이들 추출된 평면들의 정렬을 수행한다. 비디오 스트림 입력이 활용되는 실시예들에서, 평활도 제약들은, 카메라 움직임이 부드러운 것을 보장하게 할 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0087] 글로벌 포즈 추정 프로세스에서, 카메라 포즈들은 글로벌 좌표들(805)로 복구된다. 각각의 카메라 포즈 및 이의 관련된 RGBD 이미지는 글로벌하게 관련된 방식으로 공간에 배치된다. 이미지 쌍들 사이의 다수의 상대적 포즈들은 프로세스(212)로부터 획득되고 이 프로세스는 도 8에 도시된 바와 같이 캡처 경로의 본래 궤적을 따르는 복구된 카메라 포지션들을 추정한다. 도 8은 또한 글로벌 좌표들에서 포인트 클라우드로서 가시화된 연관된 깊이 맵들을 도시한다. 예컨대, 라인은 벽을 표현할 수 있고 많은 이미지들의 그런 라인들이 수퍼임포징될 때, 크리스프(crisp) 라인은, 이미지들이 잘-정렬되고 연관된 포즈 추정이 정확하다는 것을 의미할 수 있지만, 두꺼운 라인은 그 반대를 의미할 수 있다.

[0088] 도 8은 본 발명의 실시예에 따른 글로벌 좌표들에 참조되는 깊이 맵들 및 일련의 이미지 포즈들을 도시하는 평면도를 예시한다. 도 8에서, 다수의 이미지 프레임들과 연관된 모든 깊이 맵들(810)은 오버레이되고 글로벌 기준 프레임(805)에 참조된다. 상대적 포즈들 및 연관된 깊이 맵들이 주어지면, 최적화 프로세스는 수행되어 각각의 카메라 포즈를 글로벌 좌표들에 참조한다. 각각의 이미지 프레임에 대한 카메라 포즈(820)는, 카메라가 영역을 통해 이동할 때 시간의 함수로써 예시된다. 따라서, 도 8에 예시된 바와 같은 카메라의 복구된 궤적 및 이의 배향은 프로세스(214) 이후 제공된다.

[0089] RGBD 포즈들이 글로벌 좌표들에 등록된 이후, 모든 입력 RGBD 이미지들 사이의 개선된 공간적 관계는 아래에서 설명된 바와 같이 획득될 수 있다.

[0090] 방법(200)은, 예컨대 프로세스(214)에서 글로벌 포즈들의 추정 이후 확장된 상대적 포즈들을 컴퓨팅하는 것(216)을 포함한다. 확장된 상대적 포즈라는 용어는, 부가적인 데이터, 예컨대 공간적 데이터의 가용성으로 인해 유효한 상대적 포즈들의 수가 더 큰 수로 확장되기 때문에 활용된다. 이 프로세스에서, 상대적 포즈들의 정교화는 이용가능한 공간적 정보를 사용하여 수행되고 출력은 도 6b에 예시된 확장된 상대적 포즈들의 매트릭스 표현에 의해 표현될 수 있다. 프로세스(216)에서, RGBD 포즈들은 글로벌 좌표들에 등록되어, 모든 입력 RGBD 이미지들 사이의 공간적 관계를 훨씬 잘 이해하는 것을 제공한다. 다른 말로, 미리, 시간적으로 가까운 쌍들 및 충분한 피처 매칭들을 가진 쌍들에 대해 상대적 포즈들이 컴퓨팅될 수 있다. 프로세스(216)에서, 프로세스(214)에서 컴퓨팅된 확장된 상대적 포즈들이 제공되면, 포즈들이 글로벌 좌표들에 등록되기 때문에, 모든 공간적으로 가까운 쌍들에 대한 상대적 포즈들은 도 9에 관련하여 논의된 바와 같이 컴퓨팅될 수 있다.

[0091] 일부 실시예들에서, 프로세스들(216-220)은 프로세스(214) 이후 유효하지 않은 프레임 쌍들에 대해서만 수행된다. 예컨대, 프로세스는 도 6a에 예시된 바와 같이 타입 1 프레임 쌍들(유효하지 않은 상대적 포즈) 및 타입들 4 및 5 프레임 쌍들(오분류된 상대적 포즈)에 대해서만 수행될 수 있다. 일부 경우들에서, 오분류된 프레임 쌍들은, 더 나은 초기화가 방법(200)의 이 스테이지에서 이용가능하기 때문에 올바르게 분류될 수 있다.

[0092] 도 3에 예시된 프로세스에서, 이미지 프레임들에 대한 RGB 정보는 예컨대 피처 검출 및 매칭에 활용되었다. 프로세스들(210-214)과 대조하여, 프로세스들(216-220)은 이용가능한 글로벌 포즈 추정 정보를 가진다. 도 8을 참조하면, 지역(830) 근처의 카메라 포즈들은, 예컨대 카메라가 루프(832)를 통해 이동되기 이전 및 이후, 카메라 포즈들이 상이한 시간들에서 캡처되었다는 사실에도 불구하고, 밀접하게 정렬될 수 있다. 공간적으로 가깝지만 시간적으로 먼 카메라 포즈들에 대해, 이미지 프레임들 사이의 유효한 상대적 포즈가 존재하는지를 결정하기 위해 정렬이 시도될 수 있다.

[0093] 도 9는 본 발명의 실시예에 따른 확장된 상대적 포즈를 컴퓨팅하는 방법을 예시하는 단순화된 흐름도이다. 도 9를 참조하면, 방법(900)은, 이미지 프레임 쌍이 공간적으로 가까운 이미지 프레임들인지를 결정하는 것(프로세스들(910 및 911))을 포함한다. 공간적으로 가까운 프레임들은, 이런 맥락에서, 뷰잉 범위 및 뷰잉 방향을 특징으로 할 수 있는 이미지 프레임 쌍들의 시야들 사이의 교차점, 및 포인트 쌍들 사이의 오버랩을 특징으로 하는 이미지 프레임 쌍들을 지칭한다. 시야는 또한 절두체(frustum)로서 지칭될 수 있다.

[0094] 일부 실시예들에서, 도 9에 도시된 바와 같이, 이미지 프레임 쌍들이 공간적으로 가까운 이미지 프레임 쌍들인지를 결정하는 것은 절두체 교차 분석(910)을 수행하는 것을 포함한다. 유효한 상대적 포즈를 가진 프레임 쌍들 이외의 모든 이미지 프레임 쌍들에 대해, 각각의 프레임에 대한 절두체는 쌍의 매칭 프레임에 대한 절두체와 비교된다. 3D의 오버랩이 존재하면, 절두체들 세트 사이에 교차가 존재하는 것을 결정하는 것이 가능하다. 이런 교차 분석은 일부 실시예들에서 효율적으로 수행된다.

[0095] 2개의 절두체들이 교차하면, 이것은, 2개의 장면들의 객체가 교차하는 것을 보장하지 않는다. 예컨대, 2개의 뷰들은 벽의 상이한 측들을 가질 수 있어서, 절두체들이 교차하더라도, 둘 모두의 장면들에 존재하는 객체들이 필수적으로 존재하지 않을 것이다. 다시 한번 도 6b를 참조하면, 절두체 교차는 시야(672)의 우측과 시야(682)의 좌측 사이의 오버랩에 의해 예시된다.

[0096] 910에서, 빠르게 수행될 수 있는 교차 체크가 통과되면, 더 철저한 포인트 단위 깊이 맵 오버랩핑 체크가 수행될 수 있다(911). 이것은 또한, 충분한 수의 가장 가까운 포인트 쌍들이 주어진 이미지 프레임 쌍에 존재하는지의 결정으로 지칭될 수 있다. 각각의 이미지 프레임 쌍에 대해, 2개의 프레임들 내의 포인트 쌍들 사이의 오버랩의 결정이 이루어진다. (예컨대, 주어진 임계치 하에서) 가까운 포인트 쌍들의 수를 카운팅함으로써, 오버랩핑 표면 영역은 가까운 포인트 쌍들의 수에 기인할 수 있다. 제1 프레임(포인트 a, 프레임 1)의 각각의 포인트에 대해, 제2 프레임(포인트 b, 프레임 2)의 가장 가까운 포인트의 결정이 이루어진다. 제2 프레임(포인트 b, 프레임 2)에 대해, 제1 프레임(포인트 c, 프레임 1)에서 가장 가까운 포인트의 결정이 이루어진다. 제1 프레임(포인트 a, 프레임 1)의 포인트가 제2 프레임(포인트 c, 프레임 1)의 원근법으로부터 가장 가까운 포인트와 동일하도록 이런 가장 가까운 포인트 프로세스가 루프를 형성하면, 이 포인트 쌍은 카운팅된다. 가까운 포인트 쌍들의 수는 일부 실시예들에서 오버랩핑 표면 영역에 대한 프록시로서 사용될 수 있다.

[0097] 이어서, 이들 공간적으로 가까운 이미지 프레임 쌍들은 상대적 회전 및 병진(914)의 더 정확한 추정을 획득하기 위해 확장된 상대적 포즈 최적화(912)를 겪을 수 있다. 프로세스(912)는 프로세스(322)와 유사하고 프로세스(914)는 프로세스(340)와 유사하지만, 확장된 버전이다.

[0098] 도 9에 예시된 특정 단계들이 본 발명의 실시예에 따라 확장된 상대적 포즈를 컴퓨팅하는 특정 방법을 제공하는 것이 인지되어야 한다. 단계들의 다른 시퀀스들이 대안적인 실시예들에 따라 또한 수행될 수 있다. 예컨대, 본 발명의 대안적인 실시예들은 상이한 순서로 위에서 서술된 단계들을 수행할 수 있다. 게다가, 도 9에 예시된 개별 단계들은 개별 단계에 적합한 다양한 시퀀스들에서 수행될 수 있는 다수의 서브-단계들을 포함할 수 있다. 게다가, 부가적인 단계들은 특정 애플리케이션들에 따라 부가되거나 제거될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0099] 도 6b는 확장된 상대적 프레임간 포즈 컴퓨테이션과 연관된 몇몇 조건들을 예시한다:

어두운 회색(타입 1) - 비분류된 이미지 프레임 쌍들 - 이미지 프레임 쌍들 사이의 상대적 포즈를 컴퓨팅하기 위한 시도가 수행되었지만, 이미지 프레임 쌍들 사이의 상대적 포즈가 존재하지 않음

밝은 회색(타입 1) - 비분류된 이미지 프레임 쌍들 - 이미지 프레임 쌍들 사이의 상대적 포즈를 컴퓨팅하기 위한 시도가 수행되지 않음. 이미지 프레임 쌍들 사이의 상대적 포즈가 존재하지 않음

어두운 녹색(타입 3) - 이미지 프레임 쌍들 사이의 유효한 확장된 상대적 포즈가 존재함

[0100] 프로세스(216)에서 활용된 분류화 프로세스 동안, 부가적인 공간 정보가 활용되어, 시도된 프레임 쌍 매칭들의 수가 증가할 수 있기 때문에, 도 6b가 더 큰 수의 어두운 회색 타입 1 프레임 쌍들을 포함하는 것이 주목되어야 한다.

[0101] 최상부-우측 삼각형들에서, 타입 1 픽셀들은 상대적 포즈들이 발견되지 않은 이미지(프레임) 쌍들을 표현하고, 타입 2 픽셀들은 유효한 상대적 포즈들을 가진 이미지(프레임) 쌍들을 표현하고, 타입 3 픽셀들은 유효한 확장된 상대적 포즈들을 가진 이미지(프레임) 쌍들을 표현하고, 그리고 타입 4 픽셀들은 오분류된 상대적 포즈들을 가진 이미지(프레임) 쌍들을 표현한다. 최하부-좌측 삼각형들에서, 픽셀들은 상부-우측 삼각형들에서 대응하는 상대적 포즈들의 신뢰도 레벨들을 표현한다. 더 밝은 픽셀들은 더 신뢰성 있는 상대적 포즈들을 표시한다.

[0102] 도 6a와 비교하면, 유효한 상대적 포즈들의 밀도는, 확장된 상대적 포즈 컴퓨테이션을 수행한 이후 도 6b에서 더 높다. 예컨대, 지역(650)에서, 다수의 부가적인 프레임 쌍들에는 유효한 확장된 상대적 포즈가 부가되었다. 부가적으로, 지역(655)에서, 일부 임계치들 하에서 시간적으로 가깝지 않은 프레임들은 유효한 확장된 상대적 포즈를 가지는 것으로 식별되었다.

[0103] 다시 한번 도 2를 참조하면, 방법은, 위에서 설명된 프로세스(212)와 유사할 수 있지만, 새롭게 생성된 확장된 상대적 포즈들로부터 오분류된 상대적 포즈들을 필터링 아웃하는 것을 포함할 수 있는 부가적인 오분류된 포즈들을 검출하는 것(218)을 포함한다. 방법은 확장된 상대적 포즈들을 사용하여 글로벌 포즈들을 추정하는 것(220)을 더 포함한다. 이 프로세스에서, 예컨대 더 정확한 포즈들을 획득하기 위해, 이전 글로벌 포즈 추정(214)에 활용된 제약들 플러스 새로운 확장된 상대적 포즈 제약들 및 구조적 형상 제약들 모두를 포함하는 제약들이 사용될 수 있다.

[0104] 방법(200)은 포즈 정확도를 추가로 개선하는 포즈들을 정교화하는 것(222)을 부가적으로 포함한다. 포즈 정교화는 도 10에 예시된 바와 같이, 포즈 추정에 로컬 일관성 및 정확도를 부가할 수 있다.

[0105] 도 10은 본 발명의 실시예에 따른 글로벌 좌표들을 참조하는 일련의 정교화된 이미지 포즈들 및 깊이 맵들을 도시하는 평면도를 예시한다. 도 10은 도 8과 비교될 수 있고, 도 8은 이미지 포즈들이 정교화되기 전에 글로벌 좌표들을 참조하는 일련의 이미지 포즈들 및 깊이 맵들을 도시하는 평면도를 예시한다. 도 8 및 도 10을 비교하여 알 수 있는 바와 같이, 포인트들, 이를테면 벽들 또는 다른 기하구조 피처들에 의해 표현된 기하구조는 포즈들이 정교화된 이후 더 선명하고 깨끗하며, 이는 상이한 프레임들로부터 대응하는 깊이 맵들이 더 잘 정렬되고 연관된 추정된 포즈들이 훨씬 더 정확하다는 것을 의미한다. 예로서, 도 8의 벽(840)은, 일단 포즈들이 정교화되었다면 도 10의 동일한 벽에 존재하지 않는 조도를 포함한다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0106] 포즈 정교화는 기본 장면 기하구조 및 카메라 포즈들에 대해 반복적으로 풀(solve) 수 있다. 충분히 가까운 초기화 및 충분한 반복들로 인해, 기하구조 및 카메라 포즈들 둘 모두는 아래에서 설명된 바와 같이 지상 검증 솔루션(ground truth solution)들에 수렴할 수 있다.

[0107] 도 11은 본 발명의 실시예에 따른 포즈들을 정교화하기 위한 방법을 예시하는 단순화된 흐름도이다. 포즈들이 글로벌 스케일 상에서 비교적 정확할 수 있지만, 로컬 비정확성이 도 11에 예시된 방법을 사용하여 제거될 수 있다. 방법(1100)은 정교화되지 않은 포즈들을 수신하는 것(1110) 및 모든 깊이 맵들을 절두된 부호화 거리 함수로 융합하기 위해 볼루메트릭 융합(volumetric fusion)(예컨대, 컬리스 및 르보이(Curless and Levoy) 알고리즘을 적용)을 수행하는 것(1112)을 포함한다. 볼류메트릭 홀 충진은 부호화 거리 함수(예컨대, 볼류메트릭 확산 기반 접근법)에 대해 수행된다(1114). 방법(1220)은 또한 부호화 거리 함수를 삼각형 메시로 변환하기 위해 마칭 큐브(marching cube)들을 적용하는 것(1116)을 포함한다. 다양한 스테이지들의 정교화에서 예시적인 3D 메시들은 도 12a-도 12c에 예시된다.

[0108] 각각의 RGBD 이미지에 대해 깊이 맵들이 렌더링된다(1118). 깊이 맵 렌더링 프로세스에서, 각각의 RGBD 이미지의 포즈는 각각의 깊이 이미지를 생성된 삼각형 메시에 정렬, 즉 모든 깊이 이미지들을 서로 정렬함으로써 미세-조정된다. 일 예에서, 각각의 RGBD 이미지에 대해, 깊이 맵은 동일한 카메라 포즈로부터 렌더링된다. 그러나, 렌더링된 깊이 맵과 각각의 RGBD 이미지와 연관된 캡처된 깊이 맵 사이에 차이들이 있을 수 있고, 이는 주로 추정된 포즈와 지상 검증 포즈 사이의 차이들을 표현한다. 따라서, 렌더링된 깊이 맵들 및 캡처된 깊이 맵들은 정렬된다(1120). ICP(iterative closest point) 기반 정렬은 추정된 포즈를 조정하기 위해 렌더링된 깊이 맵에 대해 구현될 수 있다.

[0109] 프로세스들(1112-1116)은 기하구조를 업데이팅하는 것으로 고려될 수 있고 프로세스들(1118-1122)은 카메라 포즈들을 업데이팅하는 것으로 고려될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0110] 일단 포즈들이 정교화/업데이트되면(1122), 정교화 프로세스의 반복에 대해 판정이 이루어진다(1124). 반복이 수행되면, 기하구조가 프로세스(1122)에서 수신된 정교화된 포즈들의 사용을 통해 잠재적으로 개선될 수 있기 때문에 기하구조는 다시 업데이트된다. 차례로, 개선된 기하구조는 포즈들을 추가로 정교화하는데 사용될 수 있다. 이런 사이클은 하나 또는 그 초과의 반복들 또는 각각의 반복들에서 거시-대-미세 복셀 해상도(1130)의 수정을 통해 N회 반복들 동안 반복될 수 있다. 다른 실시예에서, 반복들의 수는, 카메라 포즈들에 대한 임계치 및/또는 가장 최근 반복 이전 및 이후 포즈들의 차이에 기반하여 결정될 수 있다. 충분한 수의 반복들 이후, 프로세스가 종료된다(1140).

[0111] 도 11에 예시된 특정 단계들이 본 발명의 실시예에 따라 포즈들을 정교화하는 특정 방법을 제공하는 것이 인지되어야 한다. 단계들의 다른 시퀀스들이 대안적인 실시예들에 따라 또한 수행될 수 있다. 예컨대, 본 발명의 대안적인 실시예들은 위에서 서술된 단계들을 상이한 순서로 수행할 수 있다. 게다가, 도 11에 예시된 개별 단계들은 개별 단계에 적합한 다양한 시퀀스들로 수행될 수 있는 다수의 서브-단계들을 포함할 수 있다. 게다가, 부가적인 단계들은 특정 애플리케이션들에 따라 부가되거나 제거될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0112] 도 12a-도 12c는 도 11에 관하여 설명된 바와 같은 3회 반복들에 걸쳐 개선된 기하구조를 예시한다. 도 12a-도 12c 각각은 각각의 반복으로부터 추정된 포즈들을 가진 모든 입력 깊이 맵들로부터 마칭 큐브들을 통해 생성된 3D 메시이다. 포즈 추정이 정확하면, 부드러운 표면이 관찰되고; 그렇지 않으면, 거친 표면이 관찰된다. 도 12a는, 1회 반복 이후, 많은 거친 표면들을 포함하는 캡처된 이미지의 표현을 도시한다. 점진적으로 더 많은 반복들로 인해, 더 높은 정확도의 본래 장면이 도 12b 및 도 12c에서 복구된다. 반복은, N회 반복들 이후 포즈들이 매우 높은 정확도에 도달할 때까지 계속될 수 있다.

[0113] 다시 한번 도 2를 참조하면, 요약하여, 본 발명의 실시예들은 복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하는 방법을 제공한다. 방법은 카메라(예컨대, RGBD 카메라)를 사용하여 복수의 이미지 프레임들을 캡처하는 것 및 상대적 포즈 세트 및 비분류된 포즈 세트를 제공하기 위해 이미지 프레임 쌍들의 각각의 세트 사이의 상대적 포즈들을 컴퓨팅하는 것을 포함한다. 상대적 포즈 세트는 타입 2(즉, 유효한 상대적 포즈들) 및 타입 4(오분류된 상대적 포즈들) 이미지 프레임 쌍들을 포함하고 비분류된 상대적 포즈 세트는 타입 1 이미지 프레임 쌍들을 포함한다. 복수의 이미지 프레임들은 예컨대 비디오 구현에서 미리결정된 프레임 레이트로 캡처될 수 있다. 복수의 이미지 프레임들은 복수의 이미지 프레임들 각각에서 각각의 픽셀에 대한 깊이 데이터뿐 아니라 컬러 데이터를 포함할 수 있다.

[0114] 도 3에 관하여 논의된 바와 같이, 이미지 프레임 쌍들의 각각의 세트 사이의 상대적 포즈들을 컴퓨팅하는 것은 이미지 프레임 쌍들의 시간적으로 가까운 서브세트에 대한 제1 프로세스 및 이미지 프레임 쌍들의 시간적으로 먼 서브세트에 대한 제2 프로세스를 수행하는 것을 포함할 수 있다. 제2 프로세스는 시간적으로 먼 서브세트에서 이미지 프레임 쌍들 사이의 피처들을 검출 및 매칭하는 것을 포함할 수 있다. 제2 프로세스는 시간적으로 먼 서브세트에서 이미지 프레임 쌍들 사이의 깊이 매칭을 수행하는 것을 더 포함할 수 있다.

[0115] 방법은 또한 나머지 상대적 포즈 세트를 제공하기 위해 상대적 포즈 세트로부터 오분류된 상대적 포즈들을 검출 및 제거하는 것을 포함한다. 이 나머지 상대적 포즈 세트는 도 6a에서 밝은 녹색 쌍들에 의해 표시된, 이미지 프레임 쌍들 사이의 타입 2 유효한 상대적 포즈를 포함할 것이다. 방법은 나머지 상대적 포즈 세트를 사용하여 복수의 이미지 프레임들에 대한 글로벌 포즈들을 결정하는 것을 더 포함한다.

[0116] 부가적으로, 방법은 확장된 상대적 포즈 세트를 제공하기 위해 오분류된 상대적 포즈들의 적어도 일부 및 비분류된 상대적 포즈 세트의 적어도 일부에 대한 확장된 상대적 포즈들을 컴퓨팅하는 것을 포함한다. 이런 확장된 상대적 포즈 세트는 도 6b의 어두운 녹색 쌍들에 의해 예시된, 이미지 프레임 쌍들 사이의 유효한 확장된 상대적 포즈들을 가진 타입 3 프레임 쌍들 및 도 6b의 오렌지 색 및 흑색 프레임 쌍들에 의해 표시된, 확장된 오분류된 상대적 포즈들을 가진 프레임 쌍들(타입 4 프레임 쌍들)을 포함할 것이다. 새로운 타입 1 프레임 쌍들을 포함하는 확장된 비분류된 상대적 포즈 세트가 또한 존재할 수 있다.

[0117] 방법은 도 6b의 어두운 녹색으로 예시된 타입 3 나머지 확장된 상대적 포즈들에 의해 예시된, 나머지 확장된 상대적 포즈 세트를 제공하기 위해 확장된 상대적 포즈 세트로부터 확장된 오분류된 상대적 포즈들을 검출 및 제거하는 것을 더 포함한다. 방법은 또한 프로세스(214)에 관하여 논의된 나머지 상대적 포즈 세트 및 나머지 확장된 상대적 포즈 세트를 사용하여 복수의 이미지 프레임들에 대한 업데이트된 글로벌 포즈들을 결정하는 것을 포함한다. 복수의 이미지 프레임들에 대한 글로벌 포즈들은 글로벌 기준 프레임을 참조한다.

[0118] 일부 실시예들에서, 방법은 또한 N회 반복들을 통해 업데이트된 글로벌 포즈들을 정교화하는 것을 포함하고, N회는 반복들의 미리결정된 수 또는 반복들 사이에서 카메라 포즈들의 차이들에 대한 임계치에 기반한 반복들의 수일 수 있다. 게다가, 업데이트된 글로벌 포즈들을 정교화하는 것은 복수의 이미지 프레임들의 상이한 이미지 프레임들과 연관된 깊이 맵들로부터 유도된 장면 기하구조를 정렬하는 것을 포함할 수 있다. 업데이트된 글로벌 포즈들을 정교화하는 것은 부가적으로, 업데이트된 글로벌 포즈들을 업데이트된 글로벌 포즈들 각각에 대한 수렴으로 조정하는 것을 포함할 수 있다.

[0119] 도 2에 예시된 특정 단계들이 본 발명의 실시예에 따라 대규모 RGBD 포즈 추정을 수행하는 특정 방법을 제공하는 것이 인지되어야 한다. 단계들의 다른 시퀀스들이 대안적인 실시예들에 따라 또한 수행될 수 있다. 예컨대, 본 발명의 대안적인 실시예들은 위에서 서술된 단계들을 상이한 순서로 수행할 수 있다. 게다가, 도 2에 예시된 개별 단계들은 개별 단계에 적합한 다양한 시퀀스들로 수행될 수 있는 다수의 서브-단계들을 포함할 수 있다. 게다가, 부가적인 단계들은 특정 애플리케이션들에 따라 부가되거나 제거될 수 있다. 당업자는 많은 변형들, 수정들 및 대안들을 인식할 것이다.

[0120] 전술한 설명은 대규모 RGBD 추정을 위한 방법들 및 시스템들을 위해 제시되었다. 예시된 단계들은 도시된 예시적인 실시예들을 설명하기 위해 제시되었고, 특정 기능들이 수행되는 방식을 진행중인 기술 개발이 변화시킬 것임을 예상할 수 있어야 한다. 따라서, 이들 예들은 제한이 아닌 예시 목적들을 위해 본원에서 제시된다. 예컨대, 본원에 개시된 단계들 또는 프로세스들은 설명된 순서로 수행되는 것으로 제한되는 것이 아니라, 임의의 순서로 수행될 수 있고, 일부 단계들은 개시된 실시예들과 관련되어 생략될 수 있다. 게다가, 기능적 빌딩 블록들의 경계들은 설명의 편의를 위해 본원에서 임의로 정의되었다. 대안적인 경계들은, 특정 기능들 및 이의 관계들이 적당하게 수행되는 한 정의될 수 있다. 대안들(본원에 설명된 것들의 등가물들, 확장들, 변형들, 편차들 등을 포함함)은 본원에 포함된 교시들에 기반하여 당업자들에게 자명할 것이다. 그런 대안들은 개시된 실시예들의 범위 및 사상 내에 속한다.

[0121] 개시된 원리들의 예들 및 특징들이 본원에 설명되지만, 수정들, 적응들 및 다른 구현들은 개시된 실시예들의 사상 및 범위에서 벗어나지 않고 가능하다. 또한, "포함하는", "가지는" 등의 단어들 및 다른 유사한 형태들은 의미가 등가인 것으로 의도되고 그리고 이들 단어들 중 임의의 하나를 따르는 아이템 또는 아이템들이 그런 아이템 또는 아이템들의 총망라하는 리스팅을 의미하는 것이 아니거나, 또는 리스팅된 아이템 또는 아이템들로만 제한됨을 의미하는 것이 아니라는 점에서 제약되지 않는다. 본원에 사용된 바와 같이, 단수 형태들은, 문맥이 명확하게 다르게 표시하지 않으면, 복수의 참조들을 포함하는 것이 또한 주목되어야 한다.

[0122] 게다가, 하나 또는 그 초과의 컴퓨터-판독가능 저장 매체들은 본 개시내용과 관련된 실시예들을 구현하는데 활용될 수 있다. 컴퓨터-판독가능 저장 매체는, 프로세서에 의해 판독가능한 정보 또는 데이터가 저장될 수 있는 임의의 타입의 물리적 메모리를 지칭한다. 따라서, 컴퓨터-판독가능 저장 매체는, 프로세서(들)로 하여금 본원에 설명된 실시예들과 관련된 단계들 또는 스테이지들을 수행하게 하기 위한 명령들을 포함하는, 하나 또는 그 초과의 프로세서들에 의해 실행하기 위한 명령들을 저장할 수 있다. "컴퓨터-판독가능 저장 매체"라는 용어는 유형의 아이템들을 포함하고 반송파들 및 과도 신호들을 배제하는 것으로 즉 비-일시적인 것으로 이해되어야 한다. 예들은 RAM, ROM, 휘발성 메모리, 비휘발성 메모리, 하드 드라이브들, CD ROM들, DVD들, 플래시 드라이브들, 디스크들, 및 임의의 다른 알려진 물리적 저장 매체들을 포함한다. 위에서 설명된 모듈들/유닛들은 소프트웨어, 하드웨어, 펌웨어, 또는 소프트웨어, 하드웨어 및 펌웨어의 임의의 조합으로 구현될 수 있다. 예컨대, 모듈들/유닛들은 컴퓨터-판독가능 메모리들에 저장된 소프트웨어 명령들을 실행하는 프로세서에 의해 구현될 수 있다.

[0123] 본원에 설명된 예들 및 실시예들이 단지 예시 목적들을 위한 것이고 이를 고려하여 다양한 수정들 또는 변화들이 당업자들에게 제안될 것이고 이 출원의 사상 및 범위와 첨부된 청구항들의 범위 내에 포함되는 것이 또한 이해된다.

Claims

복수의 이미지 프레임들에 대한 카메라 포즈(pose)들을 결정하기 위한 방법으로서,
카메라를 사용하여 상기 복수의 이미지 프레임들을 캡처(capture)하는 단계;
상대적 포즈 세트 및 비분류된 상대적 포즈 세트를 제공하기 위해 이미지 프레임 쌍들의 각각의 세트 사이의 상대적 포즈들을 컴퓨팅(computing)하는 단계;
나머지 상대적 포즈 세트를 제공하기 위해 상기 상대적 포즈 세트로부터 오분류된 상대적 포즈들을 검출 및 제거하는 단계;
상기 나머지 상대적 포즈 세트를 사용하여 상기 복수의 이미지 프레임들에 대한 글로벌(global) 포즈들을 결정하는 단계;
확장된 상대적 포즈 세트 및 확장된 비분류된 상대적 포즈 세트를 제공하기 위해 상기 오분류된 상대적 포즈들의 적어도 일부 및 상기 비분류된 상대적 포즈 세트의 적어도 일부에 대한 확장된 상대적 포즈들을 컴퓨팅하는 단계;
나머지 확장된 상대적 포즈 세트를 제공하기 위해 상기 확장된 상대적 포즈 세트로부터 확장된 오분류된 상대적 포즈들을 검출 및 제거하는 단계; 및
상기 나머지 상대적 포즈 세트 및 상기 나머지 확장된 상대적 포즈 세트를 사용하여 상기 복수의 이미지 프레임들에 대한 업데이트된 글로벌 포즈들을 결정하는 단계
를 포함하는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
제1 항에 있어서,
N회의 반복들을 통해 상기 업데이트된 글로벌 포즈들을 정교화(refine)하는 단계를 더 포함하는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
제2 항에 있어서,
상기 업데이트된 글로벌 포즈들을 정교화하는 단계는 상기 복수의 이미지 프레임들의 상이한 이미지 프레임들과 연관된 깊이 맵들로부터 유도된 장면 기하구조를 정렬하는 단계를 포함하는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
제2 항에 있어서,
상기 업데이트된 글로벌 포즈들을 정교화하는 단계는 상기 업데이트된 글로벌 포즈들을 상기 업데이트된 글로벌 포즈들 각각에 대한 수렴으로 조정하는 단계를 포함하는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
제2 항에 있어서,
N회 반복들을 통해 상기 업데이트된 글로벌 포즈들을 정교화하는 단계는 미리결정된 수의 반복들을 수행하는 단계를 포함하는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
제2 항에 있어서,
N회 반복들을 통해 상기 업데이트된 글로벌 포즈들을 정교화하는 단계는 반복들 사이의 카메라 포즈들의 차이들에 대한 임계치에 기반하여 미리결정된 수의 반복들을 수행하는 단계를 포함하는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
제1 항에 있어서,
상기 상대적 포즈 세트는 유효한 상대적 포즈들 및 오분류된 상대적 포즈들을 포함하는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
제1 항에 있어서,
상기 확장된 상대적 포즈 세트는 유효한 확장된 상대적 포즈들 및 확장된 오분류된 상대적 포즈들을 포함하는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
제1 항에 있어서,
상기 복수의 이미지 프레임들에 대한 글로벌 포즈들은 글로벌 기준 프레임을 참조하는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
제1 항에 있어서,
상기 카메라는 RGBD 카메라를 포함하는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
제1 항에 있어서,
상기 복수의 이미지 프레임들은 미리결정된 프레임 레이트(rate)로 캡처되는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
제1 항에 있어서,
상기 복수의 이미지 프레임들은 상기 복수의 이미지 프레임들 각각에서 각각의 픽셀(pixel)에 대한 컬러 데이터 및 깊이 데이터를 포함하는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
제1 항에 있어서,
상기 이미지 프레임 쌍들의 각각의 세트 사이의 상기 상대적 포즈들을 컴퓨팅하는 단계는 상기 이미지 프레임 쌍들의 시간적으로 가까운 서브세트에 대한 제1 프로세스 및 상기 이미지 프레임 쌍들의 시간적으로 먼 서브세트에 대한 제2 프로세스를 수행하는 단계를 포함하는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
제13 항에 있어서,
상기 제2 프로세스는 시간적으로 먼 서브세트에서 상기 이미지 프레임 쌍들 사이의 피처들을 검출 및 매칭하는 단계를 포함하는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
제14 항에 있어서,
상기 제2 프로세스는 시간적으로 먼 서브세트에서 상기 이미지 프레임 쌍들 사이의 깊이 매칭을 수행하는 단계를 더 포함하는,
복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하기 위한 방법.
데이터 프로세서에 의해 실행될 때, 복수의 이미지 프레임들에 대한 카메라 포즈들을 결정하는, 컴퓨터-판독가능 저장 매체상에 유형적으로 구현되는 복수의 컴퓨터-판독가능 명령들을 포함하는 비-일시적 컴퓨터-판독가능 저장 매체로서,
상기 복수의 명령들은:
상기 데이터 프로세서로 하여금, 카메라를 사용하여 상기 복수의 이미지 프레임들을 캡처하게 하는 명령들;
상기 데이터 프로세서로 하여금, 상대적 포즈 세트 및 비분류된 상대적 포즈 세트를 제공하기 위해 이미지 프레임 쌍들의 각각의 세트 사이의 상대적 포즈들을 컴퓨팅하게 하는 명령들;
상기 데이터 프로세서로 하여금, 나머지 상대적 포즈 세트를 제공하기 위해 상기 상대적 포즈 세트로부터 오분류된 상대적 포즈들을 검출 및 제거하게 하는 명령들;
상기 데이터 프로세서로 하여금, 상기 나머지 상대적 포즈 세트를 사용하여 상기 복수의 이미지 프레임들에 대한 글로벌 포즈들을 결정하게 하는 명령들;
상기 데이터 프로세서로 하여금, 확장된 상대적 포즈 세트 및 확장된 비분류된 상대적 포즈 세트를 제공하기 위해 상기 오분류된 상대적 포즈들의 적어도 일부 및 상기 비분류된 상대적 포즈 세트의 적어도 일부에 대한 확장된 상대적 포즈들을 컴퓨팅하게 하는 명령들;
상기 데이터 프로세서로 하여금, 나머지 확장된 상대적 포즈 세트를 제공하기 위해 상기 확장된 상대적 포즈 세트로부터 확장된 오분류된 상대적 포즈들을 검출 및 제거하게 하는 명령들; 및
상기 데이터 프로세서로 하여금, 상기 나머지 상대적 포즈 세트 및 상기 나머지 확장된 상대적 포즈 세트를 사용하여 상기 복수의 이미지 프레임들에 대한 업데이트된 글로벌 포즈들을 결정하게 하는 명령들
을 포함하는,
비-일시적 컴퓨터-판독가능 저장 매체.
제16 항에 있어서,
상기 복수의 명령들은, 상기 데이터 프로세서로 하여금 N회의 반복들을 통해 상기 업데이트된 글로벌 포즈들을 정교화하게 하는 명령들을 더 포함하는,
비-일시적 컴퓨터-판독가능 저장 매체.
제16 항에 있어서,
상기 상대적 포즈 세트는 유효한 상대적 포즈들 및 오분류된 상대적 포즈들을 포함하는,
비-일시적 컴퓨터-판독가능 저장 매체.
제16 항에 있어서,
상기 복수의 이미지 프레임들에 대한 글로벌 포즈들은 글로벌 기준 프레임을 참조하는,
비-일시적 컴퓨터-판독가능 저장 매체.
제16 항에 있어서,
상기 카메라는 RGBD 카메라를 포함하고, 상기 복수의 이미지 프레임들은 미리결정된 프레임 레이트로 캡처되는,
비-일시적 컴퓨터-판독가능 저장 매체.