KR102367361B1

KR102367361B1 - 위치 측정 및 동시 지도화 방법 및 장치

Info

Publication number: KR102367361B1
Application number: KR1020197039024A
Authority: KR
Inventors: 야후이 왕; 샤오쥔 차이
Original assignee: 우이시 테크놀로지스 (베이징) 리미티드.
Priority date: 2018-06-07
Filing date: 2018-12-28
Publication date: 2022-02-23
Also published as: EP3806036A1; WO2019233090A1; US11017545B2; EP3806036A4; JP7096274B2; JP2021505979A; KR20200014858A; US20210082137A1

Abstract

이 응용 프로그램은 위치 측정 및 동시 지도화 방법 및 장치 그리고 비 - 일시적 컴퓨터 판독 가능 기록 매체. 를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법：광시야 카메라를 통해 광시야 영상을 획득하는 단계; 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라를 포함하며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 카메라 중심은 상기 광시야 카메라의 카메라 중심과 겹치는 멀티 가상 핀홀 카메라 모형에 기초하여, 상기 광시야 영상에 대응하는 왜곡 보정 영상을 얻는 단계; 상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계.

Description

위치 측정 및 동시 지도화 방법 및 장치

본 발명은 위치 측정 및 동시 지도화 분야에 관한 것으로, 특히 광시야 카메라의 위치 측정 및 동시 지도화 분야에 관한 것이다.

위치 측정 및 동시 지도화(Simultaneous Localization And Mapping, SLAM이라 약칭)는 실시간으로 로봇의 이동을 추적하고 이 과정에서 주변 환경의 지도를 구축함으로써 위치 측정 내비게이션과 같은 목표를 달성하는 기술이다.

종래의 SLAM에서 사용하는 카메라는 투시 카메라(perspective camera)이거나 또는 핀홀 카메라(pinhole camera)로 불리운다. 카메라의 시야(Field-of-View)가 제한되었기에, 획득한 영상 간에 공통적인 특징이 부족하여 SLAM 알고리즘 추적 손실이 발생할 수 있다. 종래의 SLAM에서 사용하는 핀홀 카메라와 비교할 때, 광시야 카메라는 더 큰 시야를 가지며, 따라서 광범위한 연구와 주목을 받고 있다.

기존의 광시야 영상 기반 SLAM 기술적 해결방안은 주로 두 가지가 있다.

하나는 광시야 카메라가 획득한 광시야 영상에 종래의 왜곡 보정 방법을 사용하여 왜곡 보정 처리를 진행한 다음, 왜곡 보정한 영상을 일반 영상으로 삼아 종래의 SLAM 기술을 활용해 위치 측정 및 동시 지도화를 구현하는 것이다. 이 기술적 해결방안은 간단하고 실행하기 쉬우나 종래의 왜곡 보정 방법은 많은 시야를 손실보기에 광시야 카메라의 넓은 시야각을 충분히 활용하지 못한다.

다른 하나는 광시야 카메라 결상 모형에 기초하여 왜곡 보정을 하지 않은 광시야 영상을 직접 SLAM 처리하는 것이다. 즉 왜곡 보정을 하지 않은 광시야 영상에서 특징을 추출하여 처리하는 것이다. 이 기술적 해결방안에서 추출한 특징은 영상 왜곡의 영향을 받을 수 있고, 동시에 복잡한 광시야 카메라 결상 모형은 최적화를 아주 복잡하게 하여 시스템 성능을 영향줄 수 있다.

따라서, 광시야 카메라의 모든 시야를 보류함과 동시에 영상 왜곡 영향을 피면할 수 있고, 또한 초점심도의 탐측, 위치 측정, 매핑을 함께 고려할 수 있는 새로운 SLAM 기술이 절박히 필요하다.

본 출원의 목적은 동시 위치 결정 및 매핑을위한 방법을 제공하는 것이다. 이 방법은, 다중 가상 핀홀 카메라 모델에 기초하여, 큰 시야 카메라에 의해 획득 된 큰 시야 이미지를 제거하고, 왜곡 된 이미지에 기초하여 동시 위치 결정 및 맵핑을 수행 할 수 있다.

본 출원은 한편으로 제공한다 를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법：광시야 카메라를 통해 광시야 영상을 획득하는 단계;적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라를 포함하며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 카메라 중심은 상기 광시야 카메라의 카메라 중심과 겹치는 멀티 가상 핀홀 카메라 모형에 기초하여, 상기 광시야 영상에 대응하는 왜곡 보정 영상을 얻는 단계;상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계.

일부 실시 양태에서，상기 광시야 카메라는 단안 광시야 카메라이고, 상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 초기화 단계는, 제1 시각에 대응하는 왜곡 보정 영상과 제2 시각에 대응하는 왜곡 보정 영상을 획득하는 단계;상기 제1 시각에 대응하는 왜곡 보정 영상과 상기 제2 시각에 대응하는 왜곡 보정 영상 간 상호 매칭되는 특징점을 확정하는 단계;상기 상호 매칭되는 특징점에 기초하여 초기 지도를 구축하는 단계.

일부 실시 양태에서，상기 상호 매칭되는 특징점에 기초하여 초기 지도를 구축하는 방법은,상기 제1 시각에 대응하는 왜곡 보정 영상의 특징점과 상기 제1 시각에서 상기 광시야 카메라의 카메라 중심에 기초하여, 제1 특징점에 대응하는 방향 벡터를 확정하는 단계;상기 제2 시각에 대응하는 왜곡 보정 영상에서 매칭되는 특징점과 상기 제2 시각에서 상기 광시야 카메라의 카메라 중심에 기초하여, 제2 특징점에 대응하는 방향 벡터를 확정하는 단계;상기 제1 특징점에 대응하는 방향 벡터와 제2 특징점에 대응하는 방향 벡터에 삼각 측정을 진행하고, 상기 특징점에 대응하는 지도점을 얻는 단계;상기 지도점에 기초하여 초기 지도를 구축하는 단계.

일부 실시 양태에서，상기 광시야 카메라는 단안 광시야 카메라이고, 상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 전역 번들 최적화 단계를 포함하되, 상기 전역 번들 최적화 단계는,상기 지도에서 각각의 광시야 키프레임에 대해,상기 광시야 키프레임과 연관된 각각의 지도점을 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 광시야 키프레임과 연관된 지도점의 재투영 오차에 따라 재투영 오차를 확정하는 단계;상기 재투영 오차에 기초하여, 상기 광시야 키프레임의 자세 및 상기 광시야 키프레임과 연관된 모든 지도점의 위치를 업데이트하는 단계.

일부 실시 양태에서，상기 광시야 카메라는 단안 광시야 카메라이고, 상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 추적 단계를 포함하되, 상기 추적 단계는,현재 광시야 프레임과 연관된 각각의 지도점에 대해,상기 지도점을 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 광시야 키프레임과 연관된 지도점의 재투영 오차에 따라 재투영 오차를 확정하는 단계;상기 재투영 오차에 기초하여, 상기 광시야 키프레임의 자세를 업데이트하는 단계.

일부 실시 양태에서，상기 광시야 카메라는 단안 광시야 카메라이고, 상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 맵핑 단계를 포함하되, 상기 맵핑 단계는,현재 광시야 프레임 및 그 참조 프레임과 상호 매칭되는 특징점을 확정하는 단계;상기 현재 광시야 프레임의 특징점과 현재 상기 광시야 카메라의 카메라 중심에 기초하여, 제1 특징점에 대응하는 방향 벡터를 확정하는 단계;상기 참조 프레임에 매칭되는 특징점과 상기 참조 프레임에 대응하는 상기 광시야 카메라의 카메라 중심에 기초하여, 제2 특징점에 대응하는 방향 벡터를 확정하는 단계;상기 제1 특징점에 대응하는 방향 벡터와 제2 특징점에 대응하는 방향 벡터에 삼각 측정을 진행하고, 상기 특징점에 대응하는 지도점을 얻는 단계;상기 지도점에 기초하여 지도를 구축하는 단계.

일부 실시 양태에서，상기 맵핑 단계는 로컬 번들 최적화 단계를 더 포함하되, 상기 로컬 번들 최적화 단계는,로컬 지도에서 각각의 광시야 키프레임에 대해,상기 광시야 키프레임과 연관된 각각의 지도점을 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 광시야 키프레임과 연관된 지도점의 재투영 오차에 따라 재투영 오차를 확정하는 단계;상기 재투영 오차에 따라, 상기 광시야 키프레임의 자세 및 당해 광시야 키프레임과 연관된 모든 지도점의 위치를 업데이트하는 단계.

일부 실시 양태에서，상기 광시야 카메라는 양안 광시야 카메라이고, 상기 양안 광시야 카메라에 의해 좌 시야 영상과 우 시야 영상을 획득하는 단계; 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라를 포함하며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 카메라 중심은 상기 양안 광시야 카메라의 좌측 카메라 중심과 겹치는 제1 멀티 가상 핀홀 카메라 모형에 기초하여, 상기 좌 시야 영상에 대응하는 왜곡 보정 영상을 얻는 단계;적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라를 포함하며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 카메라 중심은 상기 양안 광시야 카메라의 우측 카메라 중심과 겹치는 제2 가상 핀홀 카메라 모형에 기초하여, 상기 우 시야 영상에 대응하는 왜곡 보정 영상을 얻는 단계;상기 왜곡보정 좌영상과 상기 왜곡 보정 우영상에 기초하여, 상기 양안 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계.

일부 실시 양태에서，상기 왜곡 보정 좌영상과 상기 왜곡 보정 우영상에 기초하여, 상기 양안 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 초기화 단계를 포함하되, 상기 초기화 단계는,상기 왜곡 보정 좌영상과 상기 왜곡 보정 우영상이 상호 매칭되는 특징점을 확정하는 단계;상기 상호 매칭되는 특징점에 기초하여 초기 지도를 구축하는 단계.

일부 실시 양태에서，상기 왜곡 보정 좌영상과 상기 왜곡 보정 우영상이 상호 매칭되는 특징점을 확정하는 방법은,상기 왜곡 보정 좌영상의 특징점이 상기 왜곡 보정 우영상에서 대응하는 다선분 꺾은선인 극선을 확정하는 단계;상기 극선에서 상기 왜곡 보정 좌영상의 특징점과 매칭되는 특징점을 검색하는 단계.

일부 실시 양태에서，상기 상호 매칭되는 특징점에 기초하여 초기 지도를 구축하는 방법은,상기 왜곡 보정 좌영상의 특징점과 상기 양안 광시야 카메라의 좌측 카메라 중심에 기초하여, 제1 특징점에 대응하는 방향 벡터를 확정하는 단계;상기 왜곡 보정 우영상의 특징점과 상기 양안 광시야 카메라의 우측 카메라 중심에 기초하여, 제2 특징점에 대응하는 방향 벡터를 확정하는 단계;상기 양안 광시야 카메라의 기선에 기초하여, 상기 제1 특징점에 대응하는 방향 벡터와 상기 제2 특징점에 대응하는 방향 벡터에 삼각 측정을 진행하고, 상기 특징점에 대응하는 지도점을 얻는 단계;상기 지도점에 기초하여 초기 지도를 구축하는 단계.

일부 실시 양태에서，상기 왜곡 보정 좌영상과 상기 왜곡 보정 우영상에 기초하여, 상기 양안 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 전역 번들 최적화 단계를 포함하되, 상기 전역 번들 최적화 단계는,상기 지도에서 각각의 양안 영상 키프레임에 대해,상기 양안 영상 키프레임과 연관된 지도점을 제1 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 양안 영상 키프레임과 연관된 지도점의 재투영 오차에 따라 좌 재투영 오차를 확정하는 단계; 또는상기 양안 영상 키프레임과 연관된 지도점을 제2 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 양안 영상 키프레임과 연관된 지도점의 재투영 오차에 따라 우 재투영 오차를 확정하는 단계;상기 좌 재투영 오차, 상기 우 재투영 오차 또는 상기 좌 재투영 오차와 상기 우 재투영 오차의 합에 기초하여, 상기 양안 영상 키프레임의 자세 및 상기 양안 영상 키프레임과 연관된 모든 지도점의 위치를 업데이트하는 단계.

일부 실시 양태에서，상기 왜곡 보정 좌영상과 상기 왜곡 보정 우영상에 기초하여, 상기 양안 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 추적 단계를 포함하되, 상기 추적 단계는,현재 양안 영상 프레임과 연관된 각각의 지도점에 대해,상기 지도점을 제1 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 현재 양안 영상 프레임과 연관된 지도점의 재투영 오차에 따라 좌 재투영 오차를 확정하는 단계; 또는상기 지도점을 제2 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 현재 양안 영상 프레임과 연관된 지도점의 재투영 오차에 따라 우 재투영 오차를 확정하는 단계;상기 좌 재투영 오차, 상기 우 재투영 오차 또는 상기 좌 재투영 오차와 상기 우 재투영 오차의 합에 기초하여, 상기 현재 양안 영상 프레임의 자세를 업데이트하는 단계.

일부 실시 양태에서，상기 왜곡 보정 좌영상과 상기 왜곡 보정 우영상에 기초하여, 상기 양안 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 맵핑 단계를 포함하되, 상기 맵핑 단계는,현재 왜곡 보정 좌영상과 현재 왜곡 보정 우영상이 상호 매칭되는 특징점을 확정하는 단계;상기 현재 왜곡 보정 좌영상의 특징점과 현재 상기 양안 광시야 카메라의 좌측 카메라 중심에 기초하여, 제1 특징점에 대응하는 방향 벡터를 확정하는 단계;상기 현재 왜곡 보정 우영상의 특징점과 현재 상기 양안 광시야 카메라의 우측 카메라 중심에 기초하여, 제2 특징점에 대응하는 방향 벡터를 확정하는 단계;상기 제1 특징점에 대응하는 방향 벡터와 제2 특징점에 대응하는 방향 벡터에 삼각 측정을 진행하고, 상기 특징점에 대응하는 지도점을 얻는 단계;상기 지도점에 기초하여 지도를 구축하는 단계.

일부 실시 양태에서，상기 맵핑 단계는 로컬 번들 최적화 단계를 더 포함하되, 상기 로컬 번들 최적화 단계는,로컬 지도에서 각각의 양안 영상 키프레임에 대해,상기 양안 영상 키프레임과 연관된 지도점을 제1 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 양안 영상 키프레임과 연관된 지도점의 재투영 오차에 따라 좌 재투영 오차를 확정하는 단계; 또는상기 양안 영상 키프레임과 연관된 지도점을 제2 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 양안 영상 키프레임과 연관된 지도점의 재투영 오차에 따라 우 재투영 오차를 확정하는 단계;상기 좌 재투영 오차, 상기 우 재투영 오차 또는 상기 좌 재투영 오차와 상기 우 재투영 오차의 합에 기초하여, 상기 양안 영상 키프레임의 자세 및 상기 양안 영상 키프레임과 연관된 모든 지도점의 위치를 업데이트하는 단계.

일부 실시 양태에서，상기 왜곡 보정 영상에 기초하여, 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 폐쇄루프 검출 처리 단계를 포함하되, 상기 폐쇄루프 검출 처리 단계는,현재 광시야 프레임이 광시야 키프레임인 경우, 지도 데이터베이스에서 상기 현재 광시야 프레임과 유사한 폐쇄루프 광시야 프레임을 확정하는 단계; 상기 현재 광시야 프레임과 상기 폐쇄루프 광시야 프레임이 상호 매칭되는 특징점을 확정하는 단계;상기 현재 광시야 프레임에서 각각의 매칭되는 특징점에 대해, 당해 특징점과 연관된 지도점을 상기 폐쇄루프 광시야 프레임에 대응하는 멀티 가상 핀홀 카메라 모형의 좌표계로 변환하고, 다시 상기 멀티 가상 핀홀 카메라 모형의 결상 평면에 투영하여, 당해 지도점이 상기 폐쇄루프 광시야 프레임에서의 재투영점을 얻으며, 당해 재투영점이 상기 폐쇄루프 광시야 프레임에서 매칭되는 특징점에 따라 제1 재투영 오차를 확정하는 단계;현재 광시야 프레임에서 모든 매칭되는 특징점의 제1 재투영 오차에 따라 제1 누적 재투영 오차를 확정하는 단계;상기 폐쇄루프 광시야 프레임에서 각각의 매칭되는 특징점에 대해, 당해 특징점과 연관된 지도점을 상기 폐쇄루프 광시야 프레임에 대응하는 멀티 가상 핀홀 카메라 모형의 좌표계로 변환하고, 다시 상기 멀티 가상 핀홀 카메라 모형의 결상 평면에 투영하여, 당해 지도점이 상기 폐쇄루프 광시야 프레임에서의 재투영점을 얻으며, 당해 재투영점이 상기 폐쇄루프 광시야 프레임에서 매칭되는 특징점에 따라 제2 재투영 오차를 확정하는 단계;상기 폐쇄루프 광시야 프레임에서 모든 매칭되는 특징점의 제2 재투영 오차에 따라 제2 누적 재투영 오차를 확정하는 단계; 상기 제1 누적 재투영 오차와 상기 제2 누적 재투영 오차를 이용하여, 지도에서 상기 현재 광시야 프레임과 공통 뷰 관계를 갖는 광시야 키프레임 및 이와 연관되는 지도점을 교정하는 단계.

일부 실시 양태에서，상기 적어도 두 개의 서로 다른 방향은 입방체의 앞 방향, 위 방향, 아래 방향, 왼쪽 방향 또는 오른쪽 방향을 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.일부 실시 양태에서，본 출원은 한편으로 제공한다 일련의 명령을 포함하는 적어도 하나의 저장장치; 그리고상기 적어도 하나의 저장장치와 통신하는 적어도 하나의 프로세서를 포함하는 위치 측정 및 동시 지도화 장치에 있어서, 상기 일련의 명령 실행 시, 상기 적어도 하나의 프로세서는 상기 위치 측정 및 동시 지도화 장치로 하여금 광시야 카메라를 통해 광시야 영상을 획득하는 단계;적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라를 포함하며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 카메라 중심은 상기 광시야 카메라의 카메라 중심과 겹치는 멀티 가상 핀홀 카메라 모형에 기초하여, 상기 광시야 영상에 대응하는 왜곡 보정 영상을 얻는 단계;상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계.

본 출원의 추가 특징은 이하의 설명에서 부분적으로 설명 될 것이다. 이 설명에 의해, 다음의 도면 및 실시 예에서 설명 된 내용은 당업자에게 명백해질 것이다. 본 출원에서 본 발명의 요점은 아래에서 논의되는 상세한 예에 제시된 방법, 수단 및 이들의 조합을 실시하거나 사용함으로써 충분히 설명 될 수있다.

다음의 도면들은 본 출원에 개시된 예시적인 실시 예들을 상세히 설명한다. 동일한 참조 번호는 도면의 여러 도면에서 유사한 구조를 나타낸다. 당업자는 이들 실시 예가 비 제한적이고, 예시적인 실시 예이며, 도면은 단지 예시 및 설명을위한 것이며, 본 개시의 범위를 제한하려는 것이 아님을 이해할 것이다. 본 출원에서 본 발명의 의도는 또한 충족된다. 도면은 축척대로 도시되지 않았다는 것을 이해해야한다. 어느 것：
도 1은 본 출원에 따른 일부 실시예에 표시된 위치 측정 및 동시 지도화 시스템을 도시한다.
도 2는 본 출원에 따른 일부 실시예에 표시된 위치 측정 및 동시 지도화 방법의 흐름도를 도시한다.
도 3은 본 출원에 따른 일부 실시예에 표시된 두 개 방향을 포함하는 멀티 가상 핀홀 카메라 모형을 도시한다.
도 4는 본 출원에 따른 일부 실시예에 표시된 다섯 개 방향을 포함하는 멀티 가상 핀홀 카메라 모형을 도시한다.
도 5는 본 출원에 따른 일부 실시예에 표시된 멀티 가상 핀홀 카메라 모형에 기초한 왜곡 보정 설명도를 도시한다. 이하 제1 멀티 가상 핀홀 카메라 모형과 좌시야 영상을 예시로 한다.
도 6은 본 출원에 따른 일부 실시예에 표시된 원시 단안 어안 영상, 종래의 왜곡 보정 단안 어안 영상, 그리고 본 개시의 방법을 활용하여 왜곡 보정한 단안 어안 영상을 도시한다.
도 7은 본 출원에 따른 일부 실시예에 표시된 원시 양안 어안 영상과 종래의 왜곡 보정된 양안 어안 영상을 도시한다.
도 8은 본 출원에 따른 일부 실시예에 표시된 카메라의 자세를 확정하고 지도를 구축하는 흐름도를 도시한다.
도 9은 본 출원에 따른 일부 실시예에 표시된 지도 포인트를 구성하기위한 단안 대형 FOV 카메라 설명도를 도시한다.
도 10은 본 출원에 따른 일부 실시예에 표시된 양안 광시야 카메라의 극선 검색 설명도를 도시한다.
도 11은 본 출원에 따른 일부 실시예에 표시된 양안 광시야 카메라가 지도점을 구축하는 설명도를 도시한다.

이하의 설명은 당업자가 본 출원의 내용을 제작하고 이용할 수 있도록하기 위해 본 출원의 특정 적용 시나리오 및 요건을 제공한다. 개시된 실시 예에 대한 다양한 변형은 당업자에게 명백 할 것이며, 본 명세서에 정의 된 일반적인 원리는 본 발명의 사상 및 범위를 벗어나지 않고 다른 실시 예에 적용될 수있다. 신청. 따라서, 본 개시는 예시 된 실시 예들로 제한되지 않고 청구 범위와 일치하는 가장 넓은 범위이다.

본 명세서에서 사용 된 용어는 특정 예시적인 실시 예들만을 설명하기위한 것이며 제한적인 것은 아니다. 예를 들어, 문맥 상 달리 명확하게 나타내지 않는 한, 본원에 사용 된 단수 형태 "a", "an"및 "the"는 복수 형태를 포함 할 수있다. 본 명세서에서 사용되는 용어 "포함하는", "포함하는"및 / 또는 "함유하는"은 관련된 정수, 단계, 연산, 요소 및 / 또는 구성 요소가 존재하지만 하나 이상의 다른 특징을 배제하지는 않음을 의미한다 , 정수, 단계, 연산, 요소, 구성 요소 및 / 또는 기타 기능, 정수, 단계, 연산, 요소, 구성 요소를 시스템 / 방법에 추가 할 수 있습니다.

이하의 설명을 고려하여, 본 개시의 이들 및 다른 특징, 구조의 관련 요소의 작동 및 기능, 및 구성 요소의 조합 및 제조의 경제성이 크게 개선 될 수있다. 도면을 참조하면, 모두 본 개시의 일부를 형성한다. 그러나, 도면은 단지 예시 및 설명을위한 것이며 본 개시의 한계를 정의하기위한 것이 아님을 명백히 이해해야한다.

본 개시에서 사용되는 흐름도는 본 개시의 일부 실시 예들에 따른 시스템에 의해 구현되는 동작들을 예시한다. 플로우 차트의 동작은 순서에 관계없이 구현 될 수 있음을 분명히 이해해야한다. 대신 작업을 역순 또는 동시에 수행 할 수 있습니다. 또한 플로우 차트에 하나 이상의 다른 조치를 추가 할 수 있습니다. 플로우 차트에서 하나 이상의 조치를 제거 할 수 있습니다.

본 개시의 한 측면은 위치 측정 및 동시 지도화 방법에 관한 것이다. 구체적으로, 당해 방법은 멀티 가상 핀홀 카메라 모형에 기초하여, 광시야 카메라가 획득한 광시야 영상을 왜곡 보정하여 왜곡 보정 영상을 얻는 단계와, 왜곡 보정 영상에 기초하여 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계를 포함한다. 상기 멀티 가상 핀홀 카메라 모형은 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라를 포함하며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 카메라 중심은 상기 광시야 카메라의 카메라 중심과 겹친다.

도 1은 본 출원에 따른 일부 실시예에 표시된 위치 측정 및 동시 지도화 시스템을 도시한다.

위치 측정 및 동시 지도화 시스템(100)은 광시야 영상을 획득할 수 있고, 위치 측정 및 동시 지도화 방법을 수행할 수 있다. 상기 위치 측정 및 동시 지도화 방법은 도 2 내지 도 11의 설명을 참조할 수 있다.

도면과 같이, 위치 측정 및 동시 지도화 시스템(100)은 광시야 카메라(101)와 위치 측정 및 동시 지도화 장치(102)를 포함할 수 있다. 상기 광시야 카메라(101)와 위치 측정 및 동시 지도화 장치(102)는 전체로 장착할 수 있고 각각 장착할 수도 있다. 본 개시의 발명 포인트를 편리하게 설명하기 위해, 본 개시에서의 광시야 카메라는 어안 카메라를 예로 든다.

광시야 카메라(101)는 경물의 어안 영상을 획득하는데 사용된다. 일부 실시예에서, 광시야 카메라(101)는 어안 카메라, 반사 굴절 카메라, 파노라마 결상 카메라가 될 수 있다. 일부 실시예에서, 광시야 카메라(101)는 단안 광시야 카메라, 양안 광시야 카메라 또는 다안 광시야 카메라가 될 수 있다.

예시로서, 광시야 카메라(101)는 단안 어안 카메라와 양안 어안 카메라를 포함한다. 양안 어안 카메라의 왼쪽 카메라를 좌안이라 하고, 양안 어안 카메라의 오른쪽 카메라를 우안이라고 한다. 좌안이 획득한 영상은 좌어안 영상(좌시야 영상)이라 불리우고, 우안이 획득한 영상은 우어안 영상(우시야 영상)이라고 한다.

위치 측정 및 동시 지도화 장치(102)는 위치 측정 및 동시 지도화 방법을 수행할 수 있는 예시적 계산 장치이다.

일부 실시 예들에서, 동시 위치 결정 및 매핑을위한 장치 (102)는 데이터 통신을 용이하게하기 위해 COM 포트 (150)를 포함 할 수있다. 동시에 포지셔닝 및 매핑하기위한 장치 (102)는 컴퓨터 명령을 실행하기위한 하나 이상의 프로세서 형태의 프로세서 (120)를 더 포함 할 수있다. 컴퓨터 명령은 예를 들어, 루틴, 프로그램, 객체, 구성 요소, 데이터 구조, 절차, 모듈 및 본 명세서에 설명 된 특정 기능을 수행하는 기능을 포함 할 수있다. 예를 들어, 프로세서 (120)는 복수의 가상 핀홀 카메라 모델에 기초하여 어안 이미지의 왜곡 된 이미지를 결정할 수있다. 다른 예로서, 프로세서 (120)는 큰 시야 카메라 (101)의 포즈를 결정하고 왜곡 된 이미지에 기초하여지도를 구성 할 수있다.

일부 실시 예들에서, 프로세서 (120)는 마이크로 컨트롤러, 마이크로 프로세서, 축소 명령어 세트 컴퓨터 (RISC), 주문형 집적 회로 (ASIC), 주문형 애플리케이션과 같은 하나 이상의 하드웨어 프로세서를 포함 할 수있다. 명령어 세트 프로세서 (ASIP), 중앙 처리 장치 (CPU), 그래픽 처리 장치 (GPU), 물리 처리 장치 (PPU), 마이크로 컨트롤러 장치, DSP (디지털 신호 프로세서), FPGA (Field Programmable Gate Array) ), 고급 RISC 머신 (ARM), 프로그래머블 로직 디바이스 (PLD), 하나 이상의 기능을 수행 할 수있는 회로 또는 프로세서 등 또는 이들의 조합.

일부 실시 예들에서, 동시 포지셔닝 및 매핑을위한 장치 (102)는 내부 통신 버스 (110), 프로그램 저장 및 상이한 형태의 데이터 저장 (예를 들어, 디스크 (170), 판독 전용 메모리 (ROM) (130) 또는 랜덤 액세스))을 포함 할 수있다. 메모리 (RAM) 140). 동시 위치 결정 및 매핑을위한 장치 (102)는 또한 프로세서 (120)에 의해 실행될 ROM (130), RAM (140) 및 / 또는 다른 유형의 비 일시적 저장 매체에 저장된 프로그램 명령을 포함 할 수있다. 본 출원의 방법 및 / 또는 프로세스는 프로그램 명령으로서 구현 될 수있다. 동시 위치 결정 및 매핑을위한 장치 (102)는 또한 컴퓨터와 다른 구성 요소 (예를 들어, 사용자 인터페이스 요소) 사이의 입력 / 출력을 지원하는 I / O 구성 요소 (160)를 포함한다. 동시에 포지셔닝 및 매핑하기위한 장치 (102)는 네트워크 통신을 통해 프로그래밍 및 데이터를 수신 할 수있다.

예시적인 목적으로 만, 본 출원에서 동시 위치 결정 및 매핑을 위해 하나의 프로세서 만이 장치 (102)에 기술되어있다. 그러나, 본 출원에서 동시 포지셔닝 및 매핑을위한 장치 (102)는 또한 다수의 프로세서를 포함 할 수 있으므로, 본 명세서에 개시된 동작 및 / 또는 방법 단계는 본 명세서에 기술 된 바와 같이 하나의 프로세서에 의해 수행 될 수 있다는 점에 유의해야한다. 또한 여러 프로세서에서 공동으로 수행 할 수도 있습니다. 예를 들어, 본 출원에서 포지셔닝 및 매핑을위한 장치 (102)의 프로세서 (120)가 단계 A 및 B를 실행하는 경우, 단계 A 및 B는 정보 처리에서 2 개의 상이한 프로세서에 의해 결합되거나 분리 될 수도 있음을 이해해야한다. 수행 (예를 들어, 제 1 프로세서는 단계 A를 수행하거나, 제 2 프로세서는 단계 B를 수행하거나, 제 1 및 제 2 프로세서가 단계 A 및 B를 함께 수행함)를 수행한다.

도 2는 본 출원에 따른 일부 실시예에 표시된 위치 측정 및 동시 지도화 방법의 흐름도를 도시한다. 프로세스(200)는 위치 측정 및 동시 지도화 장치(102)에 있는 비일시적 저장매체 중 일련의 명령으로 실행될 수 있다. 위치 측정 및 동시 지도화 장치(102)는 당해 일련의 명령을 실행할 수 있고, 또한 상응하게 프로세스(200)의 단계를 수행할 수 있다.

아래에 제시된 예시 된 프로세스 (200)의 동작은 예시적인 것이며 제한적인 것은 아니다. 일부 실시 예들에서, 프로세스 (200)는 설명되지 않은 하나 이상의 추가 동작을 추가 및 / 또는 여기에 설명 된 하나 이상의 동작을 삭제할 수있다. 또한,도 2에 도시되고 후술되는 동작 순서는 이에 제한되지 않는다.

210에서, 위치 측정 및 동시 지도화 장치(102)는 광시야 카메라(101)에 의해 광시야 영상을 획득할 수 있다.

광시야 카메라(101)가 단안 광시야 카메라이면 단안 광시야 카메라는 광시야 영상을 획득하고, 광시야 카메라(101)가 양안 광시야 카메라이면 양안 광시야 카메라는 좌시야 영상과 우시야 영상을 포함하는 광시야 영상을 획득한다.

220에서, 위치 측정 및 동시 지도화 장치(102)는 멀티 가상 핀홀 카메라 모형에 기초하여 상기 광시야 영상에 대응하는 왜곡 보정 영상을 획득할 수 있다.

광시야 카메라(101)가 단안 광시야 카메라이면, 위치 측정 및 동시 지도화 장치(102)는 멀티 가상 핀홀 카메라 모형에 기초하여 상기 광시야 영상에 대응하는 왜곡 보정 영상을 획득할 수 있다.

상기 멀티 가상 핀홀 카메라 모형은 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라를 포함할 수 있으며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 카메라 중심은 상기 단안 광시야 카메라의 카메라 중심과 겹친다.

광시야 카메라(101)가 양안 광시야 카메라이면, 위치 측정 및 동시 지도화 장치(102)는 제1 멀티 가상 핀홀 카메라 모형에 기초하여 상기 좌시야 영상에 대응하는 왜곡 보정 영상을 획득할 수 있고, 제2 멀티 가상 핀홀 카메라 모형에 기초하여 상기 우시야 영상에 대응하는 왜곡 보정 영상을 얻을 수 있다. 상기 제1 멀티 가상 핀홀 카메라 모형과 상기 제2 멀티 가상 핀홀 카메라 모형은 같거나 다를 수 있다.

상술한 제1 멀티 가상 핀홀 카메라 모형은 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라를 포함할 수 있으며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 카메라 중심은 광시야 카메라(101)의 좌안 카메라 중심과 겹치고; 상기 제2 멀티 가상 핀홀 카메라 모형은 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라를 포함할 수 있으며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 카메라 중심은 광시야 카메라(101)의 우안 카메라 중심과 겹친다.

예시로서, 도 3은 본 출원에 따른 일부 실시예에 표시된 두 개 방향을 포함하는 멀티 가상 핀홀 카메라 모형을 도시한다. 두 개 가상 핀홀 카메라의 방향은 90도 협각이고, 카메라 중심은 광시야 카메라의 카메라 중심과 C점에서 겹친다.

예시로서, 도 4는 본 출원에 따른 일부 실시예에 표시된 다섯 개 방향을 포함하는 멀티 가상 핀홀 카메라 모형을 도시한다. 도면에 표시된 바와 같이, 당해 멀티 가상 핀홀 카메라 모형은 입방체의 앞 방향, 위 방향, 아래쪽 방향, 왼쪽 방향 및 오른쪽 방향 총 5개 방향의 가상 핀홀 카메라를 포함한다. 5개 가상 핀홀 카메라의 카메라 중심은 광시야 카메라의 카메라 중심과 C점에서 겹친다. 여기서, 상기 왜곡 보정 방법을 큐브맵 기반 왜곡 보정 방법(cubemap-based undistortion method)(이하 Cube 또는 입방체 모형이라 약칭)이라 한다.

구체적으로, 위치 측정 및 동시 지도화 장치(102)는 광시야 영상(또는 좌시야 영상, 우시야 영상)을 멀티 가상 핀홀 카메라 모형(또는 제1 멀티 가상 핀홀 카메라 모형, 제2 멀티 가상 핀홀 카메라 모형)에 투영하고, 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 투영도를 얻으며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 투영도를 전개하면 상기 좌어안 영상에 대응하는 왜곡 보정 영상을 획득할 수 있다.

참조도 5는 본 출원에 따른 일부 실시예에 표시된 멀티 가상 핀홀 카메라 모형에 기초한 왜곡 보정 설명도를 도시한다. 이하 제1 멀티 가상 핀홀 카메라 모형과 좌시야 영상을 예시로 한다.

점 A는 양안 광시야 카메라의 좌안 카메라 중심이고, 점 B, 점 C 및 점 D는 좌시야 영상의 예시적 화소이다. 제1 멀티 가상 핀홀 카메라(510)는 입방체 모형으로서, 다섯 개 방향의 가상 핀홀 카메라를 포함하며, 각각 입방체의 앞 방향, 위 방향, 아래쪽 방향, 왼쪽 방향 및 오른쪽 방향이다. 상기 다섯 개 방향의 가상 핀홀 카메라의 카메라 중심은 점A에서 겹친다.

도면에 표시된 바와 같이, 좌시야 영상을 제1 멀티 가상 핀홀 카메라 모형(510)의 다섯 개 서로 다른 방향의 가상 핀홀 카메라의 결상 평면에 투영한다. 상응하게, 다섯 개 서로 다른 방향의 투영도를 획득할 수 있다. 상기 다섯 개 서로 다른 방향의 투영도를 전개하면 왜곡 보정 좌영상을 획득할 수 있다.

참조도 6은 본 출원에 따른 일부 실시예에 표시된 원시 단안 어안 영상, 종래의 왜곡 보정 단안 어안 영상, 그리고 본 개시의 방법을 활용하여 왜곡 보정한 단안 어안 영상을 도시한다.

도 610은 단안 어안 카메라에 의해 획득한 광시야 영상이다. 이로부터 알 수 있는바, 당해 광시야 영상은 일반 카메라에 의해 획득한 영상보다 더 넓은 시야를 갖지만 전반 영상에 공간 왜곡이 존재하고 영상 중심에서 멀어질 수록 왜곡이 심하다.

도 620은 종래의 왜곡 보정 방법에 의해 당해 광시야 영상을 왜곡 보정 처리하여 얻은 왜곡 보정 영상이다. 일반 카메라가 획득하는 영상 시야각은 통상적으로 약 80도이고, 도 620에서 시야각은 100도이다. 일반 카메라가 획득하는 영상 시야각에 비해 향상되었지만, 왜곡 보정 처리 전의 영상보다는 않은 시야각이 손실되었다. 따라서, 광시야 영상의 모든 시야각을 포함하는 지도를 구축할 수 없다.

도 630은 본 발명 일 실시예에 따른 5개 방향의 멀티 가상 핀홀 카메라 모형에 기초하여 왜곡 보정하고 전개한 광시야 왜곡 보정 영상이다. 즉 입방체 모형에 의해 획득한 왜곡 보정 영상이다. 도면에 표시된 바와 같이, 도 630은 광시야 영상의 모든 시야각을 보류한다. 당해 광시야 왜곡 보정 영상을 기반으로 SLAM을 진행하여 기존의 모든 시야각 내용을 포함하는 지도를 구축할 수 있다.

참조도 7은 본 출원에 따른 일부 실시예에 표시된 원시 양안 어안 영상과 종래의 왜곡 보정된 양안 어안 영상을 도시한다.

도면에 표시된 바와 같이, 영상 701과 영상 702는 각각 광시야 카메라(101)가 실제 세계에서 획득한 원시 좌어안 영상과 우어안 영상이다. 영상 703과 영상 704는 각각 종래의 왜곡 보정된 좌영상과 왜곡 보정된 우영상이다.

입방체 모형에 의해 처리된 왜곡 보정 좌영상 및 왜곡 보정 우영상(도면에 전부 표시됨)과의 대비로서, 영상 601과 영상 602는 종래의 왜곡 보정 방법으로 획득한 단일 영상이고, 영상의 가로 및 세로 시야각은 모두 100도에 불과하다. 이로부터 알 수 있다시피, 광시야 카메라(101)가 획득한 넓은 시야각 영상에 대해, 본 출원에서 제공하는 왜곡 보정 방법은 넓은 시야각을 보류함과 동시에 영상 왜곡을 효과적으로 방지할 수 있다.

230에서, 위치 측정 및 동시 지도화 장치(102)는 상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축할 수 있다.

일부 실시예에서, 단안 광시야 카메라에 대해, 위치 측정 및 동시 지도화 장치(102)는 왜곡 보정 영상의 특징점을 추출하고, 추출한 특징점에 기초하여 대응하는 광시야 프레임을 구축한 다음, 상기 광시야 프레임에 기초하여 단안 광시야 카메라의 자세를 확정하고 지도를 구축할 수 있다.

선택적으로, 광시야 왜곡 보정 영상의 특징점, 즉 광시야 왜곡 보정 영상의 키와 기술자를 추출하여, 광시야 왜곡 보정 영상의 특징점을 기반으로 카메라 운동의 자세를 추적하고 지도를 구축한다. 선택적으로, 키와 기술자를 계산하지 않고 직접 광시야 왜곡 보정 영상의 화소 밝기 정보에 근거하여 카메라 운동의 자세를 추정하고 지도를 구축한다.

상기 멀티 가상 핀홀 카메라 모형을 기초로 왜곡을 보정하는 방법에 의해 획득하는 광시야 왜곡 보정 영상은 원시 광시야 영상의 모든 시야각을 보류한다. 따라서 광시야 영상 간 풍부한 공통적인 특징에 기초해 위치 측정 및 동시 지도화를 진행하여, 더욱 고효율적인 위치 측정과 더욱 정확한 지도를 획득할 수 있다. 이와 동시에, 상술한 방법은 또한 광시야 카메라의 복잡한 투영 모형이 시스템에 대한 별도의 계산 원가를 피면한다.

일부 실시예에서, 양안 광시야 카메라에 대해, 위치 측정 및 동시 지도화 장치(102)는 왜곡 보정 좌영상과 왜곡 보정 우영상의 특징점을 추출하고, 추출한 특징점에 기초하여 대응하는 양안 영상 프레임을 구축한 다음, 상기 양안 영상 프레임에 기초하여 양안 광시야 카메라의 자세를 확정하고 지도를 구축할 수 있다.

광시야 프레임(또는 양안 영상 프레임)에 왜곡 보정 영상(또는 왜곡 보정 좌영상, 왜곡 보정 우영상)의 모든 특징점 정보가 포함되기에 광시야 카메라(101) 운동의 자세를 추적하여 지도를 구축할 수 있다.

예시로서, 위치 측정 및 동시 지도화 장치(102)는 상술한 왜곡 보정 영상(왜곡 보정 좌영상, 왜곡 보정 우영상)을 축소 확대하고, 당해 왜곡 보정 영상(또는 왜곡 보정 좌영상, 왜곡 보정 우영상)에 대응하는 영상 피라미드(Image Pyramid)를 획득한다. 당해 영상 피라미드의 각 척도 영상에서 코너 포인트를 추출하고 기술자를 계산한다. 상기 코너 포인트와 기술자로 영상의 특징점을 구성한다. 상기 코너 포인트는 영상에서 식별도가 높고 대표적인 영역으로, 영상에 있는 특징점의 위치 정보를 나타낸다. 기술자는 벡터로 표시될 수 있고, 코너 포인트 주변 화소의 정보를 묘사한다. 기술자는 외관이 유사한 특징점에 따라 유사한 기술자가 설계될 수 있어야 한다.

왜곡 보정 영상(또는 왜곡 보정 좌영상, 왜곡 보정 우영상)에 대해 특징점을 추출하고, 추출한 특징점에 기초해 대응하는 광시야 프레임(또는 양안 영상 프레임)을 구축한다. 당해 광시야 프레임(또는 양안 영상 프레임)은 대응하는 왜곡 보정 영상(또는 왜곡 보정 좌영상, 왜곡 보정 우영상)의 모든 특징점을 포함한다. 광시야 프레임(또는 양안 영상 프레임) 구축 완료 후, 당해 광시야 프레임(또는 양안 영상 프레임)에 대응하는 왜곡 보정 영상(또는 왜곡 보정 좌영상, 왜곡 보정 우영상)의 화소 데이터를 버림으로써 저장 공간을 절약하고 시스템 공률을 낮출 수 있다.

단계 230에 대한 추가 설명은 도 8 및 관련 설명을 참조한다.

광시야 카메라(101)가 양안 광시야 카메라인 경우, 양안 광시야 카메라의 좌안과 우안의 광축이 평행되지 않을 수 있다는 점에 유의해야 할 것이다. 따라서, 프로세스(200)는 더 나아가 광시야 카메라(101)의 좌안과 유안의 광축 평행을 포함할 수 있다. 예를 들어, 위치 측정 및 동시 지도화 장치(102)는 양안 카메라 교정 프로그램에 의해 양안 어안 카메라 좌안 및 우안의 가상 광축을 조정하여 양자의 가상 광축이 평행되게 할 수 있다.

도 8은 본 출원에 따른 일부 실시예에 표시된 카메라의 자세를 확정하고 지도를 구축하는 흐름도를 도시한다. 프로세스(230)는 위치 측정 및 동시 지도화 장치(102)에 있는 비일시적 저장매체 중 일련의 명령으로 실행될 수 있다. 위치 측정 및 동시 지도화 장치(102)는 당해 일련의 명령을 실행할 수 있고, 또한 상응하게 프로세스(200)의 단계를 수행할 수 있다.

아래에 표시된 프로세스(230)의 작업은 한정이 아닌 설명을 목적으로 한다. 일부 실시예에서, 프로세스(230)는 실행 시 하나 또는 복수의 기술되지 않은 별도의 작업을 추가하거나 여기에 기술된 하나 또는 복수의 작업을 삭감하는 것 중 적어도 하나를 진행할 수 있다. 또한, 도 8에 표시된 순서와 아래에 기술된 작업 순서에서 이에 대해 한정하지 않는다.

810에서, 위치 측정 및 동시 지도화 장치(102)는 초기화 단계를 수행할 수 있으며, 상기 초기화 단계는 초기 지도를 구축할 수 있다.

단안 광시야 카메라에 대해, 위치 측정 및 동시 지도화 장치(102)는 두 개의 서로 다른 시각의 왜곡 보정 영상(또는 광시야 프레임)을 획득할 수 있고, 상기 두 개 서로 다른 시각의 왜곡 보정 영상(또는 광시야 프레임)이 상호 매칭되는 특징점을 찾으며, 상기 상호 매칭되는 특징점에 기초하여 초기 지도를 구축한다.

예시로서, 위치 측정 및 동시 지도화 장치(102)는 제1 시각에 대응하는 왜곡 보정 영상(또는 광시야 프레임)과 제2 시각에 대응하는 왜곡 보정 영상(또는 광시야 프레임)을 획득하고, 상기 제1 시각에 대응하는 왜곡 보정 영상(또는 광시야 프레임)과 상기 제2 시각에 대응하는 왜곡 보정 영상(또는 광시야 프레임)이 상호 매칭되는 특징점을 찾으며, 상기 상호 매칭되는 특징점에 기초하여 초기 지도를 구축할 수 있다.

일부 실시예에서, 제1 시각에 대응하는 광시야 프레임과 제2 시각에 대응하는 광시야 프레임은 현재 광시야 프레임과 참조 광시야 프레임이 될 수 있다. 상기 현재 광시야 프레임과 참조 광시야 프레임은 연속적인 프레임이 될 수 있고, 양자 사이 하나 또는 복수의 간격 프레임이 있을 수도 있다. 현재 광시야 프레임과 참조 광시야 프레임 사이에는 초기화가 원활하게 진행될 수 있도록 일정한 시차가 필요하다.

일부 실시예에서, 위치 측정 및 동시 지도화 장치(102)는 멀티 가상 핀홀 카메라 모형(예를 들어, 도 4에 도시된 멀티 가상 핀홀 카메라 모형)에 기초하여, 제1 시각에 대응하는 왜곡 보정 영상(또는 광시야 프레임)과 제2 시각에 대응하는 왜곡 보정 영상(또는 광시야 프레임)을 각각의 가상 핀홀 카메라에 대응하는 서브 시야 프레임으로 분해할 수 있다. 따라서 각각의 가상 핀홀 카메라는 그에 대응하는 두 개의 서브 시야 프레임을 획득하며, 이 두 개 서브 시야 프레임은 각각 제1 시각에 대응하는 왜곡 보정 영상(또는 광시야 프레임)과 제2 시각에 대응하는 왜곡 보정 영상(또는 광시야 프레임)으로부터 온 것이다. 이 두 개 서브 시야 프레임에 프레임 간 매칭을 진행함으로써 상호 매칭되는 특징점을 확정한다.

일부 실시예에서, 상호 매칭되는 특징점에 기초하여 초기 지도를 구축하는 방법은, 상기 제1 시각에 대응하는 왜곡 보정 영상의 특징점과 상기 제1 시각에서 상기 광시야 카메라의 카메라 중심에 기초하여 제1 특징점에 대응하는 방향 벡터를 확정하는 단계; 상기 제2 시각에 대응하는 왜곡 보정 영상 중 매칭되는 특징점과 상기 제2 시각에서 상기 광시야 카메라의 카메라 중심에 기초하여 제2 특징점에 대응하는 방향 벡터를 확정하는 단계; 상기 제1 특징점에 대응하는 방향 벡터와 상기 제2 특징점에 대응하는 방향 벡터에 삼각 측정을 진행하고 상기 특징점에 대응하는 지도점을 확정하는 단계; 상기 지도점에 기초하여 초기 지도를 구축하는 단계를 포함한다.

구체적으로, 위치 측정 및 동시 지도화 장치(102)는 참조 광시야 프레임(F1)을 당해 멀티 가상 핀홀 카메라 모형에 기초하여 각각의 가상 핀홀 카메라에 대응하는 서브 시야 프레임 F11, F12, F13, F14 및 F15로 분해하고, 현재 광시야 프레임(F2)도 당해 멀티 가상 핀홀 카메라 모형에 기초하여 각각의 가상 핀홀 카메라에 대응하는 서브 시야 프레임 F21, F22, F23, F24 및 F25로 분해한다. 여기서, 서브 시야 프레임 F11 및 F21은 앞 방향 가상 핀홀 카메라에 대응하고, 서브 시야 프레임 F12 및 F22는 위 방향 가상 핀홀 카메라에 대응하며, 서브 시야 프레임 F13 및 F23은 아래 방향 가상 핀홀 카메라에 대응하고, 서브 시야 프레임 F14 및 F24는 왼쪽 방향 가상 핀홀 카메라에 대응하며, 서브 시야 프레임 F15 및 F25는 오른쪽 방향 가상 핀홀 카메라에 대응한다. 서브 시야 프레임 F11 및 F21, F12 및 F22, F13 및 F23, F14 및 F24, F15 및 F25에 대해 프레임 간 매칭을 진행하여 현재 광시야 프레임과 참조 광시야 프레임이 상호 매칭되는 특징점을 확정한다.

아래 서브 시야 프레임 F11 및 F21을 예로 프레임 간 매칭에 대해 설명하도록 한다.

먼저, 서브 시야 프레임 F11 및 F21의 특징점을 매칭하고, 매칭된 특징점 쌍의 개수가 초기화 임계값보다 크거나 같은지 확인하며, 초기화 임계값보다 작으면 초기화에 실패한 것이다. 매칭된 특징점 쌍의 개수가 초기화 임계값을 초과하면, 무작위 샘플 합의(Random Sample Consensus, RANSAC이라 약칭)와 같은 알고리즘을 적용하여 매칭되는 특징점 쌍의 방향 벡터를 기반으로 두 프레임 간 기본(Essential)행렬을 계산한다. 여기서, 초기화 임계값은 지도를 초기화 구축하는데 필요한 최소 특징점 쌍의 수량을 나타내며, 100과 같은 디폴트 값을 직접 사용할 수 있고, 사용자가 사전 설정할 수도 있다.

다음, 기본행렬을 분해하여 현재 광시야 프레임과 참조 광시야 프레임 간 상대적 자세를 얻으며, 상기 상대적 자세는 자세 행렬에 의해 표시될 수 있다. 현재 광시야 프레임과 참조 광시야 프레임 사이 상대적 자세에 따라 매칭되는 특징점 쌍에 삼각 측정을 진행하고, 당해 특징점 쌍에 대응하는 지도점의 삼차원 좌표, 즉 지도점 위치를 획득한다.

도 9에 도시된 바와 같이 점 O1은 서브 시야 프레임 F11에 해당하는 가상 핀홀 카메라의 카메라 중심이고, 점 O2는 서브 시야 프레임 F12에 해당하는 가상 핀홀 카메라의 카메라 중심이며, p1과 p2는 매칭되는 특징점이다. 벡터 O1p1의 방향과 벡터 O2p2의 방향에 의해 지도점의 삼차원 좌표, 즉 점 P의 위치를 확정할 수 있다. SLAM에서 노이즈의 영향으로 인해 벡터 O1p1과 벡터 O2p2가 교점이 없을 수 있는데, 이때 최소제곱법과 같은 방법을 운용하여 오차가 가장 작은 점 P의 좌표를 구할 수 있다. O1과 O2 사이 거리는 삼각 측정 오차에 대해 영향이 아주 크다. 거리가 너무 짧으면, 다시 말하여 카메라의 병진이 너무 작으면 점 P에 대한 관측 각도 오차가 비교적 큰 깊이 오차를 일으킨다. 그러나 거리가 너무 멀면, 장면의 겹침 부분이 많이 적어져 특징 매칭이 어려워지게 된다. 따라서, 현재 광시야 프레임과 참조 광시야 프레임 사이에는 일정한 시차가 필요하다. 선택한 두 개의 광시야 프레임이 요구를 충족시키지 못하면 초기화에 실패하며, 이 두 광시야 프레임을 포기하고 다시 초기화한다.

마지막에 상술한 삼각 측정에 기초하여 지도점의 삼차원 좌표를 획득하고 초기 지도점을 구축한다. 여기서, 당해 삼차원 좌표를 지도점의 좌표로 삼고, 당해 삼차원 좌표에 대응하는 특징점의 기술자를 지도점의 기술자로 삼는다.

양안 광시야 카메라에 대하여, 위치 측정 및 동시 지도화 장치(102)는 상술한 단안 광시야 카메라의 초기화 단계를 수행할 수 있고, 같은 시각 왜곡 보정 좌영상과 왜곡 보정 우영상의 상호 매칭되는 특징점을 기초로 초기 지도를 구축할 수도 있다.

예시로서, 위치 측정 및 동시 지도화 장치(102)는 왜곡 보정 좌영상과 왜곡 보정 우영상이 상호 매칭되는 특징점을 확정하고, 상기 상호 매칭되는 특징점에 기초하여 초기 지도를 구축할 수 있다.

일부 실시예에서, 위치 측정 및 동시 지도화 장치(102)는 왜곡 보정 좌영상의 특징점이 왜곡 보정 우영상에서 대응하는 극선을 확정한 다음, 상기 극선에서 상기 왜곡 보정 좌영상의 특징점과 매칭되는 특징점을 검색할 수 있다. 여기서, 상기 극선은 다선분 꺾은선이다.

참조도 10은 본 출원에 따른 일부 실시예에 표시된 양안 광시야 카메라의 극선 검색 설명도를 도시한다. 왜곡 보정 좌영상(1010)에 극선 1001이 있고, 왜곡 보정 좌영상(1020)에 극선 1002가 있다. 왜곡 보정 좌영상(1010)의 특징점과 매칭되는 특징점은 반드시 극선 1002에 있다. 반대로, 왜곡 보정 우영상(1020)의 특징점과 매칭되는 특징점은 반드시 극선 1001에 있다. 따라서, 극선 검색에 의해 왜곡 보정 좌영상과 왜곡 보정 우영상이 상호 매칭되는 특징점을 신속하게 검색할 수 있다.

도면에 표시된 바와 같이, 극선 1001과 극선 1002는 기울어진 두 경사 선분과 하나의 수평 선분을 포함하는 세 선분의 꺾은선이다.

도면에 표시된 바와 같이, 왜곡 보정 좌영상(1010)과 왜곡 보정 우영상(1020)은 각각 좌어안 영상과 우어안 영상의 모든 시야각을 보류한다. 왜곡 보정 좌영상(1010)과 왜곡 보정 우영상(1020)을 기반으로 위치 측정 및 동시 지도화를 진행하여 기존의 모든 시야각 내용을 포함하는 지도를 구축할 수 있다.

일부 실시예에서, 상술한 상호 매칭되는 특징점에 기초하여 지도를 구축하는 방법은, 먼저 왜곡 보정 좌영상의 특징점과 광시야 카메라(101) 좌안의 카메라 중심에 기초하여 제1 특징점에 대응하는 방향 벡터를 확정하는 단계; 다음 왜곡 보정 우영상의 매칭되는 특징점과 광시야 카메라(101)의 카메라 중심에 기초하여 제2 특징점에 대응하는 방향 벡터를 확정하는 단계; 그 다음 상기 양안 어안 카메라의 기선에 기초하여, 상기 제1 특징점에 대응하는 방향 벡터와 상기 제2 특징점에 대응하는 방향 벡터에 삼각 측정을 진행하고 상기 특징점에 대응하는 지도점을 확정하는 단계; 마지막에 상기 지도점에 기초하여 지도를 구축하는 단계를 포함한다.

참조도 11은 본 출원에 따른 일부 실시예에 표시된 양안 광시야 카메라가 지도점을 구축하는 설명도를 도시한다. 이하 광시야 카메라(101) 앞면의 지도점을 예로 든다.

점 01은 광시야 카메라(101) 좌안의 카메라 중심이고, 왜곡 보정 좌영상의 특징점과 점 01을 연결하면 제1 특징점에 대응하는 방향 벡터를 획득한다. 점 02는 광시야 카메라(101) 우안의 카메라 중심이고, 왜곡 보정 우영상의 특징점과 점 02를 연결하면 제2 특징점에 대응하는 방향 벡터를 획득한다. 일부 실시예에서, 제1 특징점에 대응하는 방향 벡터와 제2 특징점에 대응하는 방향 벡터는 단위화한 벡터일 수 있다.

상기 제1 특징점에 대응하는 방향 벡터와 제2 특징점에 대응하는 방향 벡터는 점 E에서 교차되고, 선분 O1E와 선분 O2E를 얻는다. 점 O1과 점 O2를 연결하여 선분 O1O2를 얻으며, 선분 O1O2의 길이는 b(즉 광시야 카메라(101)의 기선)이다. 선분 O1O2는 선분 O1E 및 선분 O2E와 삼각형을 이룬다. 상기 삼각형의 해를 구하여, 선분 O1E의 길이 d1, 선분 02E의 길이 d2, O1O2와 선분 O1E의 협각 α1, O1O2와 선분 O2E의 협각 α2를 얻고, 더 나아가 특징점에 대응하는 지도점 E의 좌표를 얻을 수 있다. 다시 광시야 카메라(101)의 현재 자세를 결합하여, 지도점 E를 광시야 카메라(101)의 좌표계에서 세계 좌표계로 변환한다. 다음, 세계 좌표계에서 점 E의 위치에 따라 지도를 구축한다.

구체적으로, 위치 측정 및 동시 지도화 장치(102)는 이하 공식에 기초하여 삼각 측정을 진행할 수 있다. 먼저 사인, 코사인 법칙에 기초하여 공식 (1), (2) 및 (3)을 얻는다.

, 공식 (1)

, 공식 (2)

, 공식 (3)

공식 (2)와 공식 (3)을 통합하면 공식 (4)를 얻을 수 있으며, 다음과 같다.

, 공식 (4)

공식 (1)과 공식 (4)를 통합하여 공식 (5)를 얻으며, 다음과 같다.

, 공식 (5)

이와 동시에, 공식 (6)과 결합하여, 공식 (1), (2), (3), (4), (5)의 해를 구하고, d1과 d2를 얻을 수 있다.

, 공식 (6)

일부 실시예에서, 단안 광시야 카메라와 양안 광시야 카메라가 새로 구축한 지도점에 대해 연관 처리가 필요하다. 하나의 지도점이 복수의 광시야 키프레임에 의해 관측될 수 있고, 당해 지도점을 관측한 광시야 키프레임과 당해 지도점을 연관시킴과 동시에, 광시야 키프레임에서 어느 특징점이 당해 지도점과 연관 되는지, 다시 말해서 어느 특징점이 측정에 사용되어 당해 지도점을 얻을 수 있는지 기록한다. 상술한 초기화에서 획득한 지도점에 대해, 초기화에서 건립한 두 개의 광시야 키프레임을 연관시킴과 동시에, 이 두 광시야 키프레임에서 어느 특징점이 당해 지도점과 연관되는지 기록한다.

구축된 초기 지도는 상술한 두 광시야 키프레임과 상술한 초기 지도점, 그리고 이들 간 연관 관계 정보를 포함한다.

일부 실시예에서, 초기화 단계는, 매칭되는 특징점 쌍의 개수가 초기화 임계값을 초과하는 경우, 상술한 두 개의 광시야 키프레임에 따라 단어 주머니(Bag of Word) 모형에 기초한 벡터를 구축하고, 상기 단어 주머니 모형에 기초한 벡터를 지도 데이터베이스에 추가한다. 단어 주머니 모형에서 다양한 영상 특징에 따라 클러스터링을 진행한다. 예를 들어, 눈, 코, 귀, 입, 다양한 특징의 가장자리와 각 등은 부동한 특징류이다. 10000개 종류가 있다고 가정하면, 각각의 광시야 프레임에 대해 어떤 종류가 들어 있는지 분석할 수 있으며, 1은 있음을 표시하고, 0은 없음을 표시한다. 그러면 이 광시야 프레임은 하나의 10000차원의 벡터로 표시될 수 있다. 서로 다른 광시야 프레임에 대해, 단어 주머니 모형에 기초한 이들의 벡터를 비교하여 이들의 유사 정도를 판단할 수 있다. 상기 지도 데이터베이스는 광시야 키프레임에 따라 구축된 단어 주머니 모형 기반의 벡터를 저장하는데 사용된다.

820에서, 위치 측정 및 동시 지도화 장치(102)는 전역 번들 최적화 단계를 수행할 수 있다. 전역 번들 최적화는 SLAM이 현재 건립한 지도(이하 현재 지도)의 모든 광시야 키프레임(또는 키 양안 영상 프레임)과 모든 지도점을 최적화한다. 예를 들어, 단계 810에서 구축한 초기 지도에 전역 번들 최적화를 진행, 즉 상술한 두 개의 광시야 키프레임과 지도점 뿐인 지도에 전역 번들 최적화를 진행한다. 초기 지도 외에, 맵핑 과정의 임의 시각에, 당해 시각의 현재 지도에도 이 전역 번들 최적화를 수행할 수 있음을 이해할 수 있다. 번들 최적화의 목적은 지도의 광시야 키프레임(또는 양안 영상 키프레임)의 자세 및 지도점의 위치에 미세 조정을 진행하여, SLAM이 구축한 지도에서 지도점의 광시야 키프레임(또는 양안 영상 키프레임) 상에서의 재투영 오차를 최소화하여 구축된 지도를 최적화하려는데 있다.

단안 광시야 카메라에 대해, 위치 측정 및 동시 지도화 장치(102)는 지도에서 광시야 키프레임과 연관된 각각의 지도점을 멀티 가상 핀홀 카메라 모형에 투영시켜, 각 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 각 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점과 당해 지도점이 대응하는 특징점에 따라 각 지도점의 재투영 오차를 확정하고, 모든 상기 광시야 키프레임과 연관된 지도점의 재투영 오차에 따라 재투영 오차를 확정하며, 상기 재투영 오차에 기초하여 상기 광시야 키프레임의 자세 및 상기 광시야 키프레임과 연관된 모든 지도점의 위치를 업데이트한다.

여기서 주의해야 할 것은, 본 출원에서, 프레임의 자세(예를 들어, 광시야 키프레임의 자세)는 광시야 카메라(101)가 당해 프레임을 획득하는 시각의 광시야 카메라(101) 운동 자세이며, 간결하기 위해 프레임의 자세라고 한다.

도 4에 표시된 5개 방향의 멀티 가상 핀홀 카메라 모형을 예로, 당해 멀티 가상 핀홀 카메라 모형에 기초하여 지도점을 대응하는 가상 핀홀 카메라의 좌표계로 변환한다. 예를 들어, 당해 지도점과 대응하는 가상 핀홀 카메라가 앞 방향 가상 핀홀 카메라이면, 앞 방향 가상 핀홀 카메라의 결상 평면에 재투영하여 당해 지도점의 재투영점을 획득한다. 여기서 사용하는 멀티 가상 핀홀 카메라 모형은 단계 220에서 광시야 영상 왜곡 보정 처리 시 사용하는 멀티 가상 핀홀 카메라 모형과 같은 모형이기에 당해 결상 평면은 당해 광시야 키프레임이 앞 방향 가상 핀홀 카메라에 분해된 서브 시야 프레임에 대응한다. 당해 재투영점은 당해 서브 시야 프레임에 기초한 자세가 당해 지도점에 대한 관측값으로 이해될 수 있다. 당해 지도점이 당해 광시야 키프레임에서 연관된 특징점(즉 삼각 측정을 통해 당해 지도점이 의거하는 특징점 획득) 및 당해 지도점의 재투영점에 따라 당해 지도점의 재투영 오차를 확정한다. SLAM이 건립한 지도에 오차가 없는 이상적인 상황에서 재투영 오차는 0이다. 그러나 현실 조건에서 측정 오차와 같은 오차가 불가피하게 도입되어, 재투영 오차가 완전히 제거되지 않기 때문에 SLAM은 당해 재투영 오차를 최소화하여 구축된 지도를 최적화한다.

양안 광시야 카메라에 대해, 위치 측정 및 동시 지도화 장치(102)는 지도에서 양안 영상 키프레임과 연관된 각각의 지도점을 제1 멀티 가상 핀홀 카메라 모형에 투영시켜, 각 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 양안 영상 키프레임과 연관된 지도점의 재투영 오차에 따라 좌 재투영 오차를 확정한다.

대체 가능하게, 위치 측정 및 동시 지도화 장치(102)는 상기 양안 영상 키프레임과 연관된 지도점을 제2 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 양안 영상 키프레임과 연관된 지도점의 재투영 오차에 따라 우 재투영 오차를 확정한다.

또한, 위치 측정 및 동시 지도화 장치(102)는 좌 재투영 오차, 우 재투영 오차 또는 양자의 합에 기초하여 양안 영상 키프레임의 자세 및 상기 양안 영상 키프레임과 연관된 모든 지도점의 위치를 업데이트한다. 구체적으로, 단안 지도점에 대하여, 위치 측정 및 동시 지도화 장치(102)는 좌 재투영 오차 또는 우 재투영 오차에 기초하여 양안 영상 키프레임의 자세 및 양안 영상 프레임과 연관된 모든 지도점의 위치를 업데이트할 수 있으며, 양안 지도점에 대해, 위치 측정 및 동시 지도화 장치(102)는 좌 재투영 오차와 우 재투영 오차의 합에 기초하여, 양안 영상 키프레임의 자세 및 양안 영상 프레임과 연관된 모든 지도점의 위치를 업데이트할 수 있다.

일부 실시예에서, 위치 측정 및 동시 지도화 장치(102)는 재투영 오차(예를 들어, 좌 재투영 오차, 우 재투영 오차, 좌 재투영 오차와 우 재투영 오차의 합)에 따라 손실 함수를 확정할 수 있다. 손실 함수를 획득한 후, 선택적으로, 가우스 뉴턴법(Gauss-Newton), 리븐버그 마크워트방법(Levenberg-Marquardt)과 같은 경사하강법에 의해 광시야 키프레임(또는 양안 영상 키프레임)의 자세 및 이와 연관된 지도점의 위치가 각자 대응하는 경사도에 대해 반복하여 해를 구하고, 각자 대응하는 경사도에 의해 광시야 키프레임(또는 양안 영상 키프레임)의 자세 및 이와 연관된 지도점의 위치를 업데이트하고, 마지막에 현재 지도가 재투영 오차가 가장 작은 최적화 상태로 되도록 한다.

상술한 번들 최적화는 광시야 영상 왜곡 보정 처리 시와 같은 멀티 가상 핀홀 카메라 모형을 기초로 하여, 복잡한 광시야 카메라의 투영 모형을 멀티 가상 핀홀 카메라 투영 모형으로 변환한다. 이리하여 광시야 카메라의 복잡한 투영 모형으로 인한 복잡한 최적화 처리를 피면함으로써 시스템 처리 성능을 향상시킨다.

830에서, 위치 측정 및 동시 지도화 장치(102)는 추적 단계를 수행할 수 있다. 상기 추적 단계는 지도점이 현재 광시야 프레임(또는 현재 양안 영상 프레임)에서의 재투영 오차를 최소화하여 현재 광시야 카메라의 자세를 최적화한다. 추적 단계에서, 현재 광시야 카메라의 자세만 최적화하고, 다른 시각의 광시야 카메라의 자세 및 지도점의 위치는 그대로 유지된다. 단계 830은, 예를 들어 상기 초기화 단계 810에서 구축한 초기 지도 또는 상기 전역 번들 최적화 단계 820에서 최적화한 지도를 기초로, 지도 구축의 임의 시각에 진행 가능한 것으로, SLAM은 새로운 광시야 프레임(또는 양안 영상 프레임)에 따라 지속적으로 광시야 카메라 운동의 자세를 추적한다.

단안 광시야 카메라에 대해, 위치 측정 및 동시 지도화 장치(102)는 현재 광시야 프레임과 연관된 각각의 지도점을 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점과 당해 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 현재 광시야 프레임과 연관된 지도점의 재투영 오차에 따라 재투영 오차를 확정하며, 상기 재투영 오차에 기초하여 상기 현재 광시야 프레임의 자세를 업데이트한다.

일부 실시예에서, 위치 측정 및 동시 지도화 장치(102)는 이하 세 단계를 수행하여 추적 단계를 완수할 수 있다.

추적 서브 단계 1: 현재 광시야 프레임의 참조 광시야 프레임을 확정한다.

선택적으로, 현재 광시야 프레임의 이전 광시야 프레임을 참조 광시야 프레임으로 확정할 수 있다.

선택적으로, 로컬 지도에서 현재 광시야 프레임과의 공통 뷰 정도가 가장 높은 광시야 키프레임을 참조 광시야 프레임으로 삼는다. 여기서, 현재 지도의 광시야 키프레임 수량이 N보다 작은 경우, 로컬 지도는 현재 지도의 모든 광시야 키프레임 및 모든 지도점을 포함하며, 여기서 N은 2보다 큰 정수이다. N은 10과 같은 디폴트 값을 직접 사용할 수 있고, 사용자가 사전 설정할 수도 있다. 현재 지도가 초기화를 통해 얻은 지도이면, 로컬 지도는 바로 현재 지도이며, 초기 두 개 광시야 키프레임 및 이와 연관된 지도점을 포함한다. 현재 지도의 광시야 키프레임 수량이 N보다 작지 않은 경우, 로컬 지도는 현재 지도에서 현재 광시야 프레임과 공통 뷰 정도가 가장 높은 적어도 N개의 광시야 키프레임 및 상기 적어도 N개의 광시야 키프레임과 연관된 지도점을 포함한다.

선택적으로, 로컬 지도에서 현재 광시야 프레임의 이전 광시야 프레임과 공통 뷰 정도가 가장 높은 광시야 키프레임을 참조 광시야 프레임으로 삼는다. 현재 광시야 프레임과 그 이전 광시야 프레임 간 통상적으로 아주 높은 공통 뷰를 가지기에, 후자에 따라 현재 광시야 프레임의 참조 광시야 프레임을 선택할 수 있다. 방금 생성한 현재 광시야 프레임과의 공통 뷰 정도가 가장 높은 광시야 키프레임과 비교할 때, 그 이전 광시야 프레임과의 공통 뷰 정도가 가장 높은 광시야 키프레임이 선택에 더욱 용이하다. 따라서, SLAM 방법의 원활한 구현에 유리하다.

선택적으로, 전역 매칭을 통해 참조 광시야 프레임을 확정한다. 먼저, 현재 광시야 프레임에 따라 단어 주머니 모형 기반의 벡터를 구축한다. 다음, 당해 단어 주머니 모형 기반의 벡터에 따라 초기화 단계 810에서 건립한 지도 데이터베이스를 조회하여 현재 광시야 프레임과 매칭되는 광시야 키프레임을 획득하고, 참조 광시야 프레임으로 삼는다.

일 예시에서, 현재 광시야 프레임과 그 이전 광시야 프레임을 매칭하여, 매칭되는 특징점 쌍을 얻는다. 매칭되는 특징점의 쌍 수량이 추적 임계값보다 큰 경우, 현재 광시야 프레임의 이전 광시야 프레임을 참조 광시야 프레임으로 확정한다. 여기서, 추적 임계값은 광시야 카메라의 자세를 추적하는데 필요한 최소 특징점 쌍의 수량을 나타내며, 20과 같은 디폴트 값을 직접 사용할 수 있고, 사용자가 사전 설정할 수도 있다.

현재 광시야 프레임과 그 이전 광시야 프레임이 매칭되는 특징점 쌍의 수량이 추적 임계값보다 크지 않으면, 로컬 지도에서 현재 광시야 프레임 또는 그 이전 광시야 프레임과의 공통 뷰 정도가 가장 높은 광시야 키프레임을 선택하고, 현재 광시야 프레임과 당해 광시야 키프레임을 매칭하여, 매칭되는 특징점 쌍을 얻는다. 매칭되는 특징점의 쌍 수량이 추적 임계값보다 큰 경우, 당해 광시야 키프레임을 참조 광시야 프레임으로 확정한다.

현재 광시야 프레임과 당해 광시야 키프레임이 매칭되는 특징점의 쌍 수량이 추적 임계값보다 크지 않을 경우, 전역 매칭을 통해 참조 광시야 프레임을 확정한다. 구체적인 확정 과정은 앞에서 서술하였기에 여기서 더 이상 설명하지 않는다.

따라서, 보다 참고적인 현재 광시야 프레임의 참조 광시야 프레임을 획득할 수 있기에 SLAM 추적이 더욱 정확하고 맵핑이 더욱 고효율적이 된다.

추적 서브 단계 2: 현재 광시야 프레임과 위에서 확정된 참조 광시야 프레임에 따라, 멀티 가상 핀홀 카메라 모형에 기초하여 현재 광시야 프레임의 자세를 확정한다. 일 예시에서, 현재 광시야 프레임과 참조 광시야 프레임 간 상대 자세를 확정하여 현재 광시야 프레임의 자세를 확정한다.

현재 광시야 프레임을 멀티 가상 핀홀 카메라 모형에 기초하여 각각의 가상 핀홀 카메라에 대응하는 서브 시야 프레임으로 분해하고, 참조 광시야 프레임에도 같은 작업을 수행한다. 따라서 각각의 가상 핀홀 카메라는 그에 대응하는 두 개의 서브 시야 프레임을 얻는다. 서로 다른 가상 핀홀 카메라에 각각 대응하는 서브 시야 프레임 쌍에서, 매칭되는 특징점 쌍의 수량이 가장 많은 서브 시야 프레임 쌍을 선택한다. 당해 서브 시야 프레임 쌍의 두 개 서브 시야 프레임에 대해 프레임 간 매칭을 진행하여 이들 간 상대 자세를 획득한다. 구체적인 서브 시야 프레임의 프레임 간 매칭 과정과 초기화 단계 810의 프레임 간 매칭 처리는 일치하기에 여기에서 더이상 설명하지 않는다.

각 가상 핀홀 카메라의 카메라 중심은 광시야 카메라의 카메라 중심과 겹치에, 멀티 가상 핀홀 카메라 모형에서 각각의 가상 핀홀 카메라와 광시야 카메라 사이에는 고정적인 회전 각도가 있다. 각각의 가상 핀홀 카메라의 회전 각도는 하나의 확정된 회전 행렬에 대응한다. 따라서, 광시야 프레임의 자세 행렬은 대응하는 회전 행렬을 통해 서브 시야 프레임의 자세 행렬로 변환될 수 있다. 반대로, 서브 시야 프레임의 자세 행렬도 대응하는 회전 행렬을 통해 광시야 프레임의 자세 행렬로 변환될 수 있다.

상술한 방안은 멀티 가상 핀홀 카메라 모형을 통해, 복잡한 광시야 카메라 투영 모형 기반의 자세 산출을 간단한 가상 핀홀 카메라 투영 모형 기반의 자세 산출로 변환함으로써, 광시야 SLAM의 알고리즘을 크게 단순화하고 성능을 현저하게 향상시킨다.

추적 서브 단계 3: 상술한 추적 서브 단계 2에서 획득한 현재 광시야 프레임의 자세를 업데이트한다.

현재 광시야 프레임과 참조 광시야 프레임 간 매칭되는 특징점 쌍에 따라, 참조 광시야 프레임에서 매칭되는 각각의 특징점에 대해, 당해 특징점과 연관되는 지도점을 멀티 가상 핀홀 카메라 모형에 기초하여 현재 광시야 프레임의 대응하는 가상 핀홀 카메라의 좌표계로 변환한다. 다음, 당해 지도점을 당해 가상 핀홀 카메라의 결상 평면에 투영하여 당해 지도점이 현재 광시야 프레임에서의 재투영점을 얻는다.

일 예시에서, 현재 광시야 프레임과 참조 광시야 프레임 사이에는 큰 시차가 있다. 도 4에 표시된 5개 방향의 멀티 가상 핀홀 카메라 모형에 기초하여 처리한다. 참조 광시야 프레임에서 어느 한 매칭되는 특징점은 왼쪽 방향 가상 핀홀 카메라의 결상 평면에 있다. 당해 특징점과 연관되는 지도점을 멀티 가상 핀홀 카메라 모형에 기초하여 변환한 다음, 현재 광시야 프레임의 앞 방향 가상 핀홀 카메라의 좌표계에 대응시킨다. 현재 광시야 프레임의 앞 방향 가상 핀홀 카메라의 결상 평면에서 당해 지도점의 재투영점을 얻는다. 참조 광시야 프레임의 자세에서 멀티 가상 핀홀 카메라 모형의 왼쪽 방향 가상 핀홀 카메라를 통해 당해 지도점을 관찰할 수 있고, 현재 광시야 프레임의 자세에서 멀티 가상 핀홀 카메라 모형의 앞 방향 가상 핀홀 카메라를 통해 당해 지도점을 관찰할 수 있음을 이해할 수 있다.

당해 재투영점과 현재 광시야 프레임 중 매칭되는 특징점에 따라 당해 지도점의 재투영 오차를 확정한다. 참조 광시야 프레임에서 모든 매칭되는 특징점과 연관된 지도점의 재투영 오차에 따라 현재 광시야 프레임의 자세를 업데이트한다. 본 단계의 재투영 오차 계산 및 재투영 오차에 따라 현재 광시야 프레임의 자세를 업데이트하는 처리는 단계 820의 전역 번들 최적화 처리방법과 일치하기에 여기서 더 이상 설명하지 않는다.

현재 광시야 프레임의 자세를 더 한층 최적화 업데이트하여 현재 광시야 프레임 자세의 신뢰성을 향상하고 추적 오차를 줄인다. SLAM 추적이 더욱 정확하고, 맵핑이 더욱 고효율적이 되도록 한다.

양안 광시야 카메라에 대해, 위치 측정 및 동시 지도화 장치(102)는 현재 양안 영상 프레임과 연관된 각각의 지도점을 제1 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 현재 양안 영상 프레임과 연관된 지도점의 재투영 오차에 따라 좌 재투영 오차를 확정한다.

대체 가능하게, 위치 측정 및 동시 지도화 장치(102)는 상기 지도점을 제2 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 양안 영상 프레임과 연관된 지도점의 재투영 오차에 따라 우 재투영 오차를 확정한다.

또한, 위치 측정 및 동시 지도화 장치(102)는 좌 재투영 오차, 우 재투영 오차 또는 양자의 합에 기초하여 현재 양안 영상 프레임의 자세를 업데이트한다. 예를 들어, 단안 지도점에 대하여, 위치 측정 및 동시 지도화 장치(102)는 좌 재투영 오차 또는 우 재투영 오차에 기초하여 현재 양안 영상 프레임의 자세를 업데이트할 수 있으며, 양안 지도점에 대해, 위치 측정 및 동시 지도화 장치(102)는 또한 좌 재투영 오차와 우 재투영 오차의 합에 기초하여, 현재 양안 영상 프레임의 자세를 업데이트할 수 있다.

구체적으로 위치 측정 및 동시 지도화 장치(102)는 좌 재투영 오차, 우 재투영 오차, 또는 좌 재투영 오차와 우 재투영 오차의 합의 해를 구하여 광시야 카메라(101)의 자세 증량을 확정한 다음, 선험적 정보와 결합하여 광시야 카메라(101)의 현재 자세를 확정한다.

일부 실시예에서, 상술한 선험적 정보는 이전 프레임 광시야 카메라(101)의 자세, 또는 이전 프레임 광시야 카메라(101)의 자세와 이전 프레임 자세 증량의 합이 될 수 있다. 상기 이전 프레임 자세 증량은 이전 광시야 카메라(101)의 자세와 이전 두 개 프레임 광시야 카메라(101) 자세 간 자세 증량이다.

일부 실시예에서, 위치 측정 및 동시 지도화 장치(102)는 아래에 기술된 복수의 공식을 통해 좌 투영 오차 및 우 투영 오차 중 적어도 하나를 계산하고, 자세 증량의 해를 구할 수 있다. 공식 (7)은 다음과 같다.

, 공식 (7)

여기서, P는 세계좌표계의 지도점을 표시하는데

는 좌표 변환 행렬을 표시하며, 지도점 P를 세계좌표계에서 멀티 가상 핀홀 카메라 모형의 좌표계로 변환할 수 있고,

는 회전 벡터를 표시하며, 지도점 P를 멀티 가상 핀홀 카메라 모형의 좌표계에서 상기 멀티 가상 핀홀 카메라 모형 한 개 면의 좌표계로 변환할 수 있다. K는 가상 멀티 핀홀 카메라의 각개 면에 대응하는 핀홀 카메라의 카메라 행렬을 표시하며, 당해 행렬에는 영상의 중심 및 초점거리 정보와 같은 카메라의 매개 변수가 포함된다. u는 지도점 P가 상기 멀티 가상 핀홀 카메라 모형 한개 면에서의 재투영점을 표시한다.

이상의 설명에서 알 수 있다시피, 공식 (7)은 더 나아가 공식 (8)로 표현될 수 있다.

, 공식 (8)

여기서, P2는 지도점 P가 멀티 가상 핀홀 카메라 모형 좌표계에서의 투영점을 표시하고, P1은 점 P2가 상기 멀티 가상 핀홀 카메라 모형 한 개 면 좌표계에서의 투영점을 표시한다.

따라서, 연쇄법칙에 따라 u에서 카메라 자세까지의 야코비안 행렬을 유도해낼 수 있다. 공식 (9)는 다음과 같다.

, 공식 (9)

는 u에서 카메라 자세까지의 야코비안 행렬을 표시하며,

는 P2의 교대행렬을 표시한다.

공식 (9)에 따라 지도점 P의 야코비안 행렬을 확정할 수 있으며, 다음과 같다.

, 공식 (10)

여기서,

는 지도점 P의 야코비안 행렬을 표시하고,

는 좌표 변환 행렬의 회전 분량을 표시한다.

광시야 카메라(101)에 대해, 위치 측정 및 동시 지도화 장치(102)는 공식 (7), (8), (9) 및 (10)을 기초로 광시야 카메라(101)의 좌 재투영 오차를 확정하고, 광시야 카메라(101)의 자세를 확정한다.

같은 원리로, 위치 측정 및 동시 지도화 장치(102)는 광시야 카메라(101)의 우 재투영 오차를 확정한 다음, 상기 우 재투영 오차 또는 좌 재투영 오차와 우 재투영 오차의 합을 기초로 광시야 카메라(101)의 자세를 확정할 수 있음을 이해할 수 있다.

구체적으로, 공식 (11)을 통해 우 재투영 오차를 확정할 수 있다. 여기서,

은 지도점 P가 제2 멀티 가상 핀홀 카메라 모형의 한 개 면에 있는 재투영점을 표시하고,

는 광시야 카메라(101) 좌안이 우안에 상대한 오프셋 량을 표시하며, b는 광시야 카메라(101)의 기선 길이를 표시한다.

, 공식 (11)

840에서, 위치 측정 및 동시 지도화 장치(102)는 맵핑 단계(또는 지도 업데이트 단계라고 불리움)를 수행할 수 있다. 맵핑 단계는 현재 지도를 기초로, 광시야 카메라의 운동에 따라 지도를 확장한다. 다시 말해, 맵핑 단계에서는 현재 지도에 새로운 지도점을 삽입한다. 선택적으로, 맵핑 단계(840)는 추적 단계(830) 다음에 진행하며, 현재 광시야 프레임(또는 현재 양안 영상 프레임)에 대해 추적 단계(830)를 통해 그 자세를 확정하며, 이른바 현재 시각 광시야 카메라 운동 자세도 확정한다.

단안 광시야 카메라에 대해, 위치 측정 및 동시 지도화 장치(102)는 현재 광시야 프레임 및 그 참조 프레임이 상호 매칭되는 특징점을 확정하고, 상기 현재 광시야 프레임의 특징점과 현재 상기 광시야 카메라의 카메라 중심에 기초하여, 제1 특징점에 대응하는 방향 벡터를 확정하며, 상기 참조 프레임에 매칭되는 특징점과 상기 참조 프레임에 대응하는 상기 광시야 카메라의 카메라 중심에 기초하여, 제2 특징점에 대응하는 방향 벡터를 확정하고, 상기 제1 특징점에 대응하는 방향 벡터와 상기 제2 특징점에 대응하는 방향 벡터에 삼각 측정을 진행하여 상기 특징점에 대응하는 지도점을 확정하며, 상기 지도점에 기초하여 지도를 구축할 수 있다.

일부 실시예에서, 위치 측정 및 동시 지도화 장치(102)는 이하 세 서브 단계를 수행하여 맵핑 단계를 완수할 수 있다.

맵핑 서브단계 1: 현재 광시야 프레임이 광시야 키프레임인지 확정한다.

광시야 카메라가 지속적인 운동으로 데이터를 수집하기에, 획득한 각각의 광시야 프레임에 지도 업데이트 작업을 수행하면 엄청난 계산량을 가져올 수 있다. 따라서, 중요하다고 여겨지는 광시야 프레임을 광시야 키프레임으로 선택하고, 광시야 키프레임에 따라 지도 업데이트 작업을 수행할 수 있다. 광시야 키프레임의 확정은 어떠한 종래 기술 또는 미래에 개발되는 기술이든지 채택 가능하다. 예를 들어 초기의 광시야 키프레임에 기초하여 10개 광시야 프레임당 간격으로 1개를 선택하여 광시야 키프레임으로 한다. 즉 11번째, 21번째, 31번째... 를 광시야 키프레임으로 한다. 또 예를 들어, 이전 광시야 키프레임과 적절한 시차를 갖는 광시야 프레임을 광시야 키프레임으로 선택한다.

현재 광시야 프레임이 광시야 키프레임인 경우에 대해, 이어서 지도 업데이트 서브 단계 2를 수행하여, 현재 광시야 프레임에 따라 지도 업데이트를 진행한다. 현재 광시야 프레임이 광시야 키프레임이 아닌 경우에 대해, 이어서 지도 업데이트 서브 단계 3을 수행하여, 현재 광시야 프레임에 지도점 연관 처리를 진행한다.

맵핑 서브 단계 2: 현재 광시야 프레임이 광시야 키프레임인 경우에 대해, 현재 광시야 프레임에 따라 지도 업데이트를 진행한다.

로컬 지도의 각개 광시야 키프레임에 대해, 당해 광시야 키프레임을 멀티 가상 핀홀 카메라 모형에 기초하여 각각의 가상 핀홀 카메라에 대응하는 서브 시야 프레임으로 분해하고, 현재 광시야 프레임에도 같은 작업을 수행한다. 따라서 각각의 가상 핀홀 카메라는 그에 대응하는 두 개의 서브 시야 프레임을 얻으며, 당해 두 개의 서브 시야 프레임에 의해 프레임 간 매칭을 진행하여 새로운 지도점을 구축한다.

선택적으로, 당해 두 개의 서브 시야 프레임에 대해 프레임 간 매칭을 진행하는 과정에 단어 주머니 모형 기반의 벡터를 채택하여 특징점 간 매칭을 가속화할 수 있다. 단어 주머니 모형을 통해 매칭된 특징점 쌍에 대해 에피폴라 제약조건에 부합되는지 측정한다. 에피폴라 제약조건에 부합되는 특징점 쌍에 대해, 당해 특징점 쌍 기반의 삼각 측정을 통해 새로운 지도점의 삼차원 좌표점을 얻는다.

여기서 서브 시야 프레임의 프레임 간 매칭 처리 및 특징점 쌍 기반의 삼각 측정을 통해 새로운 지도점의 삼차원 좌표점을 얻는 과정은 초기화 단계 810의 대응하는 처리와 일치하기에 여기에서 더 이상 설명하지 않는다.

새로운 지도점 구축 후 현재 광시야 프레임의 자세에 기초하여 당해 새로운 지도점을 세계좌표계의 지도점으로 변환하고 현재 지도에 삽입하며, 현재 광시야 프레임을 현재 지도에 삽입한다. 통상적으로 초기화에서 지도를 구축하는데 사용하는 첫 번째 광시야 키프레임의 좌표계를 세계좌표계로 삼는다. 그다음 새로운 지도점에 대해 카메라 좌표계와 세계좌표계를 변환해야 한다.

당해 분야에서 통상의 지식을 가진 자는 새로운 지도점과 새로운 광시야 키프레임을 끊임없이 삽입하여 현재 지도가 점차 “성장” 보완됨을 이해할 수 있을 것이다.

선택적으로, 현재 광시야 프레임에 따라 새로운 단어 주머니 모형 기반의 벡터를 구축하고, 상기 새로운 단어 주머니 모형 기반의 벡터를 상술한 지도 데이터베이스에 추가한다. 지도 데이터베이스에 따라 단어 주머니 모형 기반의 벡터 가속화 특징점 간 매칭을 진행하여, SLAM 추적과 맵핑 효율을 향상시킨다.

맵핑 서브 단계 3: 현재 광시야 프레임이 광시야 키프레임이 아닌 경우에 대해, 현재 광시야 프레임에 지도점 연관을 진행한다.

로컬 지도의 각개 지도점에 대해, 현재 광시야 프레임의 자세에 따라 당해 지도점을 멀티 가상 핀홀 카메라 모형에 기초하여 당해 광시야 프레임의 대응하는 가상 핀홀 카메라의 좌표계로 변환한다. 다시 당해 지도점을 당해 가상 핀홀 카메라의 결상 평면에 투영하여 당해 지도점이 현재 광시야 프레임에서의 재투영점을 얻는다. 투영에 실패하면 현재 광시야 프레임의 자세에서 당해 지도점을 관측할 수 없음을 표시한다. 투영에 성공하면 현재 광시야 프레임의 자세에서 당해 지도점을 관측할 수 있고, 당해 지도점의 재투영점을 획득할 수 있음을 표시한다. 현재 광시야 프레임의 모든 특징점에서, 당해 재투영점 부근의 특징점 중 당해 지도점과 가장 매칭되는 특징점을 선택하여 당해 지도점과 연관시킨다. 이 단계를 통해, 현재 광시야 프레임 및 당해 현재 광시야 프레임의 자세에서 관측할 수 있는 지도점을 연관시킴을 이해할 수 있다. 이와 같이, 다음 광시야 프레임 처리 시, 당해 현재 광시야 프레임은 곧 바로 다음 광시야 프레임의 이전 광시야 프레임으로 추적 처리에 사용될 수 있어, SLAM 추적이 더욱 연결되고, 위치 측정이 더욱 정확하며, 구축된 지도가 더욱 정확하다.

양안 광시야 카메라에 대하여, 위치 측정 및 동시 지도화 장치(102)는 상기 단안 광시야 카메라의 맵핑 단계를 수행할 수 있고, 같은 시각 왜곡 보정 좌영상과 왜곡 보정 우영상의 상호 매칭되는 특징점을 기초로 지도를 구축할 수도 있다.

후자에 대해, 위치 측정 및 동시 지도화 장치(102)는 현재 왜곡 보정 좌영상과 현재 왜곡 보정 우영상이 상호 매칭되는 특징점을 확정하고, 상기 왜곡 보정 좌영상의 특징점과 현재 상기 양안 광시야 카메라 좌측 카메라의 중심에 기초하여, 제1 특징점에 대응하는 방향 벡터를 확정하며, 상기 왜곡 보정 우영상의 특징점과 현재 양안 광시야 카메라 우측 카메라의 중심에 기초하여, 제2 특징점에 대응하는 방향 벡터를 확정하고, 상기 제1 특징점에 대응하는 방향 벡터와 상기 제2 특징점에 대응하는 방향 벡터에 삼각 측정을 진행하여 상기 특징점에 대응하는 지도점을 확정하며, 상기 지도점에 기초하여 지도를 구축할 수 있다.

일부 실시예에서, 양안 광시야 카메라에 대해, 위치 측정 및 동시 지도화 장치(102)는 초기화 단계(810)의 관련 설명을 참조하여, 상기 제1 특징점에 대응하는 방향 벡터와 제2 특징점에 대응하는 방향 벡터를 확정하고 삼각 측정을 진행할 수 있다.

현재 광시야 프레임(또는 현재 양안 영상 프레임)이 광시야 키프레임(또는 양안 영상 키프레임)이면, 맵핑 단계(840)는 더 나아가 로컬 번들 최적화를 포함할 수 있다. 로컬 번들 최적화의 목적은 로컬 지도의 광시야 키프레임(또는 양안 영상 키프레임)의 자세 및 지도점의 위치에 미세 조정을 진행하여, 로컬 지도에서 지도점이 광시야 키프레임(또는 양안 영상 키프레임) 상에서의 재투영 오차를 최소화하여 구축된 지도를 최적화하려는데 있다.

단안 광시야 카메라에 대해, 로컬 지도에서 각각의 광시야 키프레임에 대한 번들 최적화 처리는 이하와 같다.

당해 광시야 키프레임과 연관된 각각의 지도점에 대해, 상기 멀티 가상 핀홀 카메라 모형에 기초하여 당해 지도점을 대응하는 가상 핀홀 카메라의 좌표계로 변환하고, 다시 가상 핀홀 카메라의 결상 평면에 재투영하여 당해 지도점의 재투영점을 얻는다. 또한 당해 지도점과 연관된 특징점과 당해 지도점의 재투영점에 따라 당해 지도점의 재투영 오차를 확정한다. 당해 광시야 키프레임과 연관된 모든 지도점의 재투영 오차에 따라, 당해 광시야 키프레임의 자세 및 당해 광시야 키프레임과 연관된 모든 지도점의 위치를 업데이트한다. 이 단계에서 번들 최적화 처리과정은 상술한 전역 번들 최적화 단계(820)에서의 처리과정과 일치하기에 여기서 더 이상 설명하지 않는다.

양안 광시야 카메라에 대해, 로컬 지도에서 각각의 양안 영상 키프레임에 대한 번들 최적화 처리는 이하와 같다.

상기 양안 영상 키프레임과 연관된 지도점을 제1 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 양안 영상 키프레임과 연관된 지도점의 재투영 오차에 따라 좌 재투영 오차를 확정한다.

대체 가능하게, 상기 양안 영상 키프레임과 연관된 지도점을 제2 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 양안 영상 키프레임과 연관된 지도점의 재투영 오차에 따라 우 재투영 오차를 확정한다.

또한, 상기 좌 재투영 오차, 상기 우 재투영 오차 또는 상기 좌 재투영 오차와 상기 우 재투영 오차의 합에 기초하여, 상기 양안 영상 키프레임의 자세 및 상기 양안 영상 키프레임과 연관된 모든 지도점의 위치를 업데이트한다.

850에서, 위치 측정 및 동시 지도화 장치(102)는 폐쇄루프 검출 처리 단계를 수행할 수 있다. 단안 광시야 카메라와 양안 광시야 카메라의 폐쇄루프 검출 처리 단계는 동일할 수 있으며, 이하 단안 광시야 카메라의 폐쇄루프 검출 처리를 예시로 한다.

현재 광시야 프레임이 광시야 키프레임인 경우, 단어 주머니 모형의 벡터에 기초하여 현재 지도 데이터베이스의 현재 광시야 프레임과 유사한 폐쇄루프 광시야 프레임을 검출한다.

당해 폐쇄루프 광시야 프레임과 현재 광시야 프레임 간 매칭되는 특징점 쌍을 확정한다. 선택적으로, 단어 주머니 모형 기반의 벡터를 채택하여 특징점 간 매칭을 가속화할 수 있다.

당해 폐쇄루프 광시야 프레임과 현재 광시야 프레임 간 매칭되는 특징점 쌍에 따라, 닮음 변환 연산자(Sim3Solver) 및 RANSAC알고리즘에 의해 당해 폐쇄루프 광시야 프레임과 현재 광시야 프레임 간 닮음 변환 행렬을 계산한다.

현재 광시야 프레임에서 각각의 매칭되는 특징점에 따라, 당해 특징점과 연관되는 지도점을 멀티 가상 핀홀 카메라 모형에 기초하여 현재 폐쇄루프 광시야 프레임의 대응하는 가상 핀홀 카메라의 좌표계로 변환한다. 다시 당해 지도점을 당해 가상 핀홀 카메라의 결상 평면에 투영하여 당해 지도점이 당해 폐쇄루프 광시야 프레임에서의 재투영점을 얻는다. 당해 재투영점과 당해 폐쇄루프 광시야 프레임 중 매칭되는 특징점에 따라 제1 재투영 오차를 확정한다. 현재 광시야 프레임에서 모든 매칭되는 특징점의 제1 재투영 오차에 따라 제1 누적 재투영 오차를 확정한다.

당해 폐쇄루프 광시야 프레임에서 각각의 매칭되는 특징점에 대해, 당해 특징점과 연관되는 지도점을 멀티 가상 핀홀 카메라 모형에 기초하여 현재 광시야 프레임의 대응하는 가상 핀홀 카메라의 좌표계로 변환한다. 다시 당해 가상 핀홀 카메라의 결상 평면에 투영하여 당해 지도점이 현재 광시야 프레임에서의 재투영점을 얻는다. 당해 재투영점과 당해 광시야 프레임 중 매칭되는 특징점에 따라 제2 재투영 오차를 확정한다. 당해 폐쇄루프 광시야 프레임에서 모든 매칭되는 특징점의 제2 재투영 오차에 따라 제2 누적 재투영 오차를 확정한다.

상기 제1 누적 재투영 오차와 상기 제2 누적 재투영 오차에 따라 손실 함수를 확정한다. 손실을 최소화하여 상기 닮음 변환 행렬을 최적화한다.

폐쇄루프 과정의 누적 오차를 제거하기 위해, 현재 지도에서 현재 광시야 프레임과 공통 뷰 관계를 갖는 광시야 키프레임 및 이와 연관되는 지도점을 교정한다. 먼저 현재 광시야 프레임과 공통 뷰 관계를 갖는 광시야 키프레임을 획득한다. 두 개 광시야 프레임이 관찰한 공통 지도점의 수량이 공통 뷰 관계 임계값보다 크면 이 두 개 광시야 프레임이 공통 뷰 관계임을 나타낸다. 여기서, 공통 뷰 관계 임계값은 두 개 광시야 키프레임이 공통 뷰 관계를 갖는데 필요한 최소 공통 지도점의 수량을 나타내며, 20과 같은 디폴트 값을 직접 사용할 수 있고, 사용자가 사전 설정할 수도 있다. 다음, 상술한 닮음 변환 행렬에 의해 이러한 광시야 키프레임의 자세 및 이러한 광시야 키프레임과 연관된 지도점의 위치를 교정한다. 이로써 폐쇄루프 검출 처리는 완료된다.

광시야 카메라의 운동에 따라, 추적 계산한 광시야 카메라의 자세, 삼각 측정한 지도점의 위치에는 모두 오차가 있다. 로컬 번들 최적화 또는 전역 번들 최적화를 이용하여 최적화하더라도 여전히 누적 오차가 있게 된다. 상술한 폐쇄루프 검출 처리에 의해, 효과적으로 누적 오차를 제거함으로써 SLAM이 구축한 지도가 더욱 정확하도록 한다.

선택적으로, 폐쇄루프 검출 처리는, 자세 그래프 최적화(pose-graph optimization)를 통해 현재 지도에서 모든 광시야 키프레임의 자세 및 모든 지도점의 위치를 더 한층 최적화하는 단계를 더 포함한다. 선택적으로, 폐쇄루프 검출 처리는 중복된 키프레임과 지도점을 찾고 제거하는 단계를 더 포함하여, 시스템 저장공간을 절약함과 동시에 중복된 연산 조작을 피면한다.

상술한 실시예의 단계 810 내지 850은, 멀티 가상 핀홀 카메라 모형에 기초한 광시야 SLAM의 단계 230의 실시형태를 제시한다. 단계 220에 기초하여 획득하는 왜곡 보정 영상은, 종래 기술 또는 미래에 개발되는 광시야 SLAM 방법을 모두 채택할 수 있다. 예를 들어, 상술한 멀티 가상 핀홀 카메라 모형에 기초하여 재투영 오차 계산을 진행하는 최적화 업데이트 처리 방법은, 단위 방향 벡터에 기초하여 오차 계산을 진행하는 최적화 업데이트 처리 방법으로 대체 가능하다. 상기 단위 방향 벡터에 기초한 오차 계산 방법은 지도점에 대응하는 단위 방향 벡터와 당해 지도점과 연관되는 특징점에 대응하는 단위 방향 벡터 간 차이를 최소화하여 최종 최적화 목표를 달성한다. 최적화하는 목표 손실은 단위 방향 벡터 사이 거리이거나, 단위 벡터 사이 협각, 또는 벡터 오차를 나타내는 다른 지표일 수 있다.

마지막으로, 본 출원에서 언급 된 "왼쪽"및 "오른쪽", 예를 들어 "왼쪽 눈", "오른쪽 눈", "왼쪽 어안 이미지", "오른쪽 어안 이미지", "왼쪽" 왜곡되지 않은 이미지 ","우측 왜곡되지 않은 이미지 ","좌측 재 투사 오류 "및"오른쪽 재 투사 오류 "는 단지 예시를위한 것이며, 본 출원의 보호 범위를 제한하지 않는다.

요약하면,이 상세한 설명을 읽은 후, 당업자는 전술 한 상세한 설명이 단지 예로서 제시 될 수 있고 제한적이지 않을 수 있음을 이해할 수있다. 여기에 명시 적으로 언급되지 않았지만, 당업자는 본 출원이 실시 예들에 대한 다양한 합리적인 변경, 개선 및 수정을 포함하도록 의도된다는 것을 이해할 수있다. 이러한 변경, 개선 및 수정은 본 개시에 의해 제안되도록 의도되며, 본 개시의 예시적인 실시 예의 사상 및 범위 내에있다.

또한, 본 출원의 특정 용어는 본 발명의 실시 예를 설명하기 위해 사용되었다. 예를 들어, "일 실시 예", "실시 예"및 / 또는 "일부 실시 예"는 실시 예와 관련하여 설명 된 특정 특징, 구조 또는 특성이 본 개시의 적어도 하나의 실시 예에 포함될 수 있음을 의미한다. 그러므로, 본 명세서의 다양한 부분에서 "일 실시 예"또는 "일 실시 예"또는 "대체 실시 예"에 대한 둘 이상의 참조가 반드시 모두 동일한 실시 예를 나타내는 것은 아니라는 것이 강조되고 이해 될 수있다. 또한, 특정 특징, 구조 또는 특성은 본 발명의 하나 이상의 실시 예에서 적절하게 조합 될 수있다.

본 개시의 실시 예들의 전술 한 설명에서, 특징을 이해하는 것을 돕기 위해, 본 개시를 단순화하기 위해, 본 출원은 종종 단일 실시 예, 도면 또는 그 설명에서 다양한 특징들을 결합한다는 것을 이해해야한다. . 대안 적으로, 본 출원은 본 발명의 다수의 실시 예에서 다양한 특징을 분산시킨다. 그러나, 이는 이들 특징들의 조합이 필요하다는 것을 말하는 것은 아니며, 당업자는 본 출원을 읽을 때 이들 특징 중 일부를 별도의 실시 예로서 추출 할 가능성이있다. 즉, 본 출원의 실시 예는 또한 다수의 이차 실시 예의 통합으로 이해 될 수있다. 각각의 이차 실시 예의 내용이 이전에 개시된 단일 실시 예의 모든 특징보다 적다는 것이 또한 사실이다.

일부 실시 양태에서, 본 출원의 특정 실시 양태를 기재하고 청구하기 위해 사용 된 양 또는 특성을 나타내는 숫자는 경우에 따라 "약", "대략"또는 "본질적으로"라는 용어로 이해된다. "수정되었습니다. 예를 들어, 달리 언급되지 않는 한, "약", "대략"또는 "실질적으로"는 설명하는 값의 ± 20 % 변화를 의미 할 수있다. 따라서, 일부 실시 예에서, 기재된 설명 및 첨부 된 청구 범위에 제시된 수치 파라미터는 특정 실시 예에 의해 얻어 질 원하는 특성에 따라 변할 수있는 근사치이다. 일부 실시 예들에서, 수치 파라미터들은보고 된 유효 자릿수의 수에 기초하여 그리고 일반적인 반올림 기술을 적용함으로써 해석되어야한다. 본 출원에 제시된 일부 실시 예가 광범위한 수치 범위 및 파라미터가 근사치이지만, 특정 예는 가능한 정확한 수치를 열거 하였다.

각각의 특허, 특허 출원, 특허 출원 공개, 및 논문, 서적, 명세서, 출판물, 문서, 기사 등과 같은 본 명세서에 인용 된 다른 자료는 본 명세서에 참조로 통합 될 수있다. 관련 기소 문서의 이력,이 문서와 일치하지 않거나 충돌 할 수있는 내용 또는 청구 범위의 가장 넓은 범위에 제한적 영향을 줄 수있는 동일한 기소 문서를 제외한 모든 목적의 전체 내용 역사. 현재 또는 나중에이 문서와 연관되어 있습니다. 예를 들어, 설명, 정의 및 / 또는이 문서에 포함 된 자료와 관련된 용어의 사용간에 불일치 또는 충돌이있는 경우, 용어가 우선합니다.

마지막으로, 본 명세서에 개시된 애플리케이션의 실시 예는 애플리케이션의 실시 예의 원리의 예시 인 것으로 이해되어야한다. 다른 수정 된 실시 예도 본 출원의 범위 내에있다. 그러므로, 본 출원에 개시된 실시 예는 단지 예일 뿐이며 제한적인 것은 아니다. 당업자는 본 출원의 실시 예에 따라 본 출원에서 본 발명을 구현하기 위해 대안적인 구성을 취할 수있다. 그러므로, 본 출원의 실시 예들은 본 출원에서 어떤 실시 예들이 정확하게 기술되는지에 한정되지 않는다.

Claims

광시야 카메라를 통해 광시야 영상을 획득하는 단계;
멀티 가상 핀홀 카메라 모형에 기초하여, 상기 광시야 영상에 대응하는 왜곡 보정 영상을 얻는 단계;
상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계;를 포함하되,
그중, 상기 멀티 가상 핀홀 카메라 모형은 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라를 포함하며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 카메라 중심은 상기 광시야 카메라의 카메라 중심과 겹치고, 이에 따라 상기 멀티 가상 핀홀 카메라 모형에서 각각의 가상 핀홀 카메라와 상기 광시야 카메라 사이에는 고정적인 회전 각도를 가지는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 1에 있어서,
상기 광시야 카메라는 단안 광시야 카메라이고, 상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 초기화 단계는,
제1 시각에 대응하는 왜곡 보정 영상과 제2 시각에 대응하는 왜곡 보정 영상을 획득하는 단계;
상기 제1 시각에 대응하는 왜곡 보정 영상과 상기 제2 시각에 대응하는 왜곡 보정 영상 간 상호 매칭되는 특징점을 확정하는 단계;
상기 상호 매칭되는 특징점에 기초하여 초기 지도를 구축하는 단계;
를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 2에 있어서,
상기 상호 매칭되는 특징점에 기초하여 초기 지도를 구축하는 방법은,
상기 제1 시각에 대응하는 왜곡 보정 영상의 특징점과 상기 제1 시각에서 상기 광시야 카메라의 카메라 중심에 기초하여, 제1 특징점에 대응하는 방향 벡터를 확정하는 단계;
상기 제2 시각에 대응하는 왜곡 보정 영상에서 매칭되는 특징점과 상기 제2 시각에서 상기 광시야 카메라의 카메라 중심에 기초하여, 제2 특징점에 대응하는 방향 벡터를 확정하는 단계;
상기 제1 특징점에 대응하는 방향 벡터와 제2 특징점에 대응하는 방향 벡터에 삼각 측정을 진행하고, 상기 특징점에 대응하는 지도점을 확정하는 단계;
상기 지도점에 기초하여 초기 지도를 구축하는 단계;
를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 1에 있어서,
상기 광시야 카메라는 단안 광시야 카메라이고, 상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 전역 번들 최적화 단계를 포함하되, 상기 전역 번들 최적화 단계는,
상기 지도에서 각각의 광시야 키프레임에 대해,
상기 광시야 키프레임과 연관된 각각의 지도점을 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 광시야 키프레임과 연관된 지도점의 재투영 오차에 따라 재투영 오차를 확정하는 단계;
상기 재투영 오차에 기초하여, 상기 광시야 키프레임의 자세 및 상기 광시야 키프레임과 연관된 모든 지도점의 위치를 업데이트하는 단계;
를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 4에 있어서,
상기 광시야 카메라는 단안 광시야 카메라이고, 상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 추적 단계를 포함하되, 상기 추적 단계는,
현재 광시야 프레임과 연관된 각각의 지도점에 대해,
상기 지도점을 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 광시야 키프레임과 연관된 지도점의 재투영 오차에 따라 재투영 오차를 확정하는 단계;
상기 재투영 오차에 기초하여, 상기 광시야 키프레임의 자세를 업데이트하는 단계;
를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 1에 있어서,
상기 광시야 카메라는 단안 광시야 카메라이고, 상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 맵핑 단계를 포함하되, 상기 맵핑 단계는,
현재 광시야 프레임 및 그 참조 프레임과 상호 매칭되는 특징점을 확정하는 단계;
상기 현재 광시야 프레임의 특징점과 현재 상기 광시야 카메라의 카메라 중심에 기초하여, 제1 특징점에 대응하는 방향 벡터를 확정하는 단계;
상기 참조 프레임에 매칭되는 특징점과 상기 참조 프레임에 대응하는 상기 광시야 카메라의 카메라 중심에 기초하여, 제2 특징점에 대응하는 방향 벡터를 확정하는 단계;
상기 제1 특징점에 대응하는 방향 벡터와 제2 특징점에 대응하는 방향 벡터에 삼각 측정을 진행하고, 상기 특징점에 대응하는 지도점을 확정하는 단계;
상기 지도점에 기초하여 지도를 구축하는 단계;
를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 6에 있어서,
상기 맵핑 단계는 로컬 번들 최적화 단계를 더 포함하되, 상기 로컬 번들 최적화 단계는,
로컬 지도에서 각각의 광시야 키프레임에 대해,
상기 광시야 키프레임과 연관된 각각의 지도점을 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 광시야 키프레임과 연관된 지도점의 재투영 오차에 따라 재투영 오차를 확정하는 단계;
상기 재투영 오차에 따라, 상기 광시야 키프레임의 자세 및 당해 광시야 키프레임과 연관된 모든 지도점의 위치를 업데이트하는 단계;
를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 1에 있어서,
상기 광시야 카메라는 양안 광시야 카메라이고,
상기 양안 광시야 카메라에 의해 좌 시야 영상과 우 시야 영상을 획득하는 단계;
제1 멀티 가상 핀홀 카메라 모형에 기초하여, 상기 좌 시야 영상에 대응하는 왜곡 보정 영상을 얻는 단계;
제2 멀티 가상 핀홀 카메라 모형에 기초하여, 상기 우 시야 영상에 대응하는 왜곡 보정 영상을 얻는 단계;
상기 왜곡보정 좌영상과 상기 왜곡 보정 우영상에 기초하여, 상기 양안 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계;를 포함하되,
그중, 상기 제1 멀티 가상 핀홀 카메라 모형은 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라를 포함하며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 카메라 중심은 상기 양안 광시야 카메라의 좌측 카메라 중심과 겹치고,
상기 제2 멀티 가상 핀홀 카메라 모형은 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라를 포함하며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 카메라 중심은 상기 양안 광시야 카메라의 우측 카메라 중심과 겹치는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 8에 있어서,
상기 왜곡 보정 좌영상과 상기 왜곡 보정 우영상에 기초하여, 상기 양안 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 초기화 단계를 포함하되, 상기 초기화 단계는,
상기 왜곡 보정 좌영상과 상기 왜곡 보정 우영상이 상호 매칭되는 특징점을 확정하는 단계;
상기 상호 매칭되는 특징점에 기초하여 초기 지도를 구축하는 단계;
를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 9에 있어서,
상기 왜곡 보정 좌영상과 상기 왜곡 보정 우영상이 상호 매칭되는 특징점을 확정하는 방법은,
상기 왜곡 보정 좌영상의 특징점이 상기 왜곡 보정 우영상에서 대응하는 극선을 확정하는 단계;
상기 극선에서 상기 왜곡 보정 좌영상의 특징점과 매칭되는 특징점을 검색하는 단계;를 포함하되,
그중, 상기 극선은 다선분 꺾은선인 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 9에 있어서,
상기 상호 매칭되는 특징점에 기초하여 초기 지도를 구축하는 방법은,
상기 왜곡 보정 좌영상의 특징점과 상기 양안 광시야 카메라의 좌측 카메라 중심에 기초하여, 제1 특징점에 대응하는 방향 벡터를 확정하는 단계;
상기 왜곡 보정 우영상의 특징점과 상기 양안 광시야 카메라의 우측 카메라 중심에 기초하여, 제2 특징점에 대응하는 방향 벡터를 확정하는 단계;
상기 양안 광시야 카메라의 기선에 기초하여, 상기 제1 특징점에 대응하는 방향 벡터와 상기 제2 특징점에 대응하는 방향 벡터에 삼각 측정을 진행하고, 상기 특징점에 대응하는 지도점을 확정하는 단계;
상기 지도점에 기초하여 초기 지도를 구축하는 단계;
를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 8에 있어서,
상기 왜곡 보정 좌영상과 상기 왜곡 보정 우영상에 기초하여, 상기 양안 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 전역 번들 최적화 단계를 포함하되, 상기 전역 번들 최적화 단계는,
상기 지도에서 각각의 양안 영상 키프레임에 대해,
상기 양안 영상 키프레임과 연관된 지도점을 제1 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 양안 영상 키프레임과 연관된 지도점의 재투영 오차에 따라 좌 재투영 오차를 확정하는 단계; 또는
상기 양안 영상 키프레임과 연관된 지도점을 제2 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 양안 영상 키프레임과 연관된 지도점의 재투영 오차에 따라 우 재투영 오차를 확정하는 단계;
상기 좌 재투영 오차, 상기 우 재투영 오차 또는 상기 좌 재투영 오차와 상기 우 재투영 오차의 합에 기초하여, 상기 양안 영상 키프레임의 자세 및 상기 양안 영상 키프레임과 연관된 모든 지도점의 위치를 업데이트하는 단계;
를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 8에 있어서,
상기 왜곡 보정 좌영상과 상기 왜곡 보정 우영상에 기초하여, 상기 양안 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 추적 단계를 포함하되, 상기 추적 단계는,
현재 양안 영상 프레임과 연관된 각각의 지도점에 대해,
상기 지도점을 제1 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 현재 양안 영상 프레임과 연관된 지도점의 재투영 오차에 따라 좌 재투영 오차를 확정하는 단계; 또는
상기 지도점을 제2 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 현재 양안 영상 프레임과 연관된 지도점의 재투영 오차에 따라 우 재투영 오차를 확정하는 단계;
상기 좌 재투영 오차, 상기 우 재투영 오차 또는 상기 좌 재투영 오차와 상기 우 재투영 오차의 합에 기초하여, 상기 현재 양안 영상 프레임의 자세를 업데이트하는 단계;
를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 8에 있어서,
상기 왜곡 보정 좌영상과 상기 왜곡 보정 우영상에 기초하여, 상기 양안 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 맵핑 단계를 포함하되, 상기 맵핑 단계는,
현재 왜곡 보정 좌영상과 현재 왜곡 보정 우영상이 상호 매칭되는 특징점을 확정하는 단계;
상기 현재 왜곡 보정 좌영상의 특징점과 현재 상기 양안 광시야 카메라의 좌측 카메라 중심에 기초하여, 제1 특징점에 대응하는 방향 벡터를 확정하는 단계;
상기 현재 왜곡 보정 우영상의 특징점과 현재 상기 양안 광시야 카메라의 우측 카메라 중심에 기초하여, 제2 특징점에 대응하는 방향 벡터를 확정하는 단계;
상기 제1 특징점에 대응하는 방향 벡터와 제2 특징점에 대응하는 방향 벡터에 삼각 측정을 진행하고, 상기 특징점에 대응하는 지도점을 얻는 단계;
상기 지도점에 기초하여 지도를 구축하는 단계;
를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 14에 있어서,
상기 맵핑 단계는 로컬 번들 최적화 단계를 더 포함하되, 상기 로컬 번들 최적화 단계는,
로컬 지도에서 각각의 양안 영상 키프레임에 대해,
상기 양안 영상 키프레임과 연관된 지도점을 제1 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제1 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 양안 영상 키프레임과 연관된 지도점의 재투영 오차에 따라 좌 재투영 오차를 확정하는 단계; 또는
상기 양안 영상 키프레임과 연관된 지도점을 제2 멀티 가상 핀홀 카메라 모형에 투영시켜, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점을 획득하며, 상기 지도점이 상기 제2 멀티 가상 핀홀 카메라 모형에서의 재투영점과 상기 지도점이 대응하는 특징점에 따라 상기 지도점의 재투영 오차를 확정하고, 모든 상기 양안 영상 키프레임과 연관된 지도점의 재투영 오차에 따라 우 재투영 오차를 확정하는 단계;
상기 좌 재투영 오차, 상기 우 재투영 오차 또는 상기 좌 재투영 오차와 상기 우 재투영 오차의 합에 기초하여, 상기 양안 영상 키프레임의 자세 및 상기 양안 영상 키프레임과 연관된 모든 지도점의 위치를 업데이트하는 단계;
를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 1에 있어서,
상기 왜곡 보정 영상에 기초하여, 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계는 폐쇄루프 검출 처리 단계를 포함하되, 상기 폐쇄루프 검출 처리 단계는,
현재 광시야 프레임이 광시야 키프레임인 경우, 지도 데이터베이스에서 상기 현재 광시야 프레임과 유사한 폐쇄루프 광시야 프레임을 확정하는 단계;
상기 현재 광시야 프레임과 상기 폐쇄루프 광시야 프레임이 상호 매칭되는 특징점을 확정하는 단계;
상기 현재 광시야 프레임에서 각각의 매칭되는 특징점에 대해, 당해 특징점과 연관된 지도점을 상기 폐쇄루프 광시야 프레임에 대응하는 멀티 가상 핀홀 카메라 모형의 좌표계로 변환하고, 다시 상기 멀티 가상 핀홀 카메라 모형의 결상 평면에 투영하여, 당해 지도점이 상기 폐쇄루프 광시야 프레임에서의 재투영점을 얻으며, 당해 재투영점이 상기 폐쇄루프 광시야 프레임에서 매칭되는 특징점에 따라 제1 재투영 오차를 확정하는 단계;
현재 광시야 프레임에서 모든 매칭되는 특징점의 제1 재투영 오차에 따라 제1 누적 재투영 오차를 확정하는 단계;
상기 폐쇄루프 광시야 프레임에서 각각의 매칭되는 특징점에 대해, 당해 특징점과 연관된 지도점을 상기 폐쇄루프 광시야 프레임에 대응하는 멀티 가상 핀홀 카메라 모형의 좌표계로 변환하고, 다시 상기 멀티 가상 핀홀 카메라 모형의 결상 평면에 투영하여, 당해 지도점이 상기 폐쇄루프 광시야 프레임에서의 재투영점을 얻으며, 당해 재투영점이 상기 폐쇄루프 광시야 프레임에서 매칭되는 특징점에 따라 제2 재투영 오차를 확정하는 단계;
상기 폐쇄루프 광시야 프레임에서 모든 매칭되는 특징점의 제2 재투영 오차에 따라 제2 누적 재투영 오차를 확정하는 단계;
상기 제1 누적 재투영 오차와 상기 제2 누적 재투영 오차를 이용하여, 지도에서 상기 현재 광시야 프레임과 공통 뷰 관계를 갖는 광시야 키프레임 및 이와 연관되는 지도점을 교정하는 단계;
를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
청구항 1에 있어서,
상기 적어도 두 개의 서로 다른 방향은 입방체의 앞 방향, 위 방향, 아래 방향, 왼쪽 방향 또는 오른쪽 방향을 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 방법.
일련의 명령을 포함하는 적어도 하나의 저장장치; 그리고
상기 적어도 하나의 저장장치와 통신하는 적어도 하나의 프로세서를 포함하는 위치 측정 및 동시 지도화 장치에 있어서,
상기 일련의 명령 실행 시, 상기 적어도 하나의 프로세서는 상기 위치 측정 및 동시 지도화 장치로 하여금 광시야 카메라를 통해 광시야 영상을 획득하는 단계;
멀티 가상 핀홀 카메라 모형에 기초하여, 상기 광시야 영상에 대응하는 왜곡 보정 영상을 얻는 단계;
상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계;를 수행하도록 하되,
그중, 상기 멀티 가상 핀홀 카메라 모형은 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라를 포함하며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 카메라 중심은 상기 광시야 카메라의 카메라 중심과 겹치고, 이에 따라 상기 멀티 가상 핀홀 카메라 모형에서 각각의 가상 핀홀 카메라와 상기 광시야 카메라 사이에는 고정적인 회전 각도를 가지는 위치 측정 및 동시 지도화 장치.
청구항 18에 있어서,
상기 광시야 카메라는 단안 광시야 카메라이고, 상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하기 위해, 상기 적어도 하나의 프로세서는 상기 위치 측정 및 동시 지도화 장치가 초기화 단계를 수행하는데 사용되되, 상기 초기화 단계는,
제1 시각에 대응하는 왜곡 보정 영상과 제2 시각에 대응하는 왜곡 보정 영상을 획득하는 단계;
상기 제1 시각에 대응하는 왜곡 보정 영상과 상기 제2 시각에 대응하는 왜곡 보정 영상이 상호 매칭되는 특징점을 확정하는 단계;
상기 상호 매칭되는 특징점에 기초하여 초기 지도를 구축하는 단계;
를 포함하는 것을 특징으로 하는 위치 측정 및 동시 지도화 장치.
컴퓨터 프로그램 제품을 포함하는 비일시적 컴퓨터 판독가능 매체에 있어서,
상기 컴퓨터 프로그램 제품은 일부 명령을 포함하되,
상기 명령은 계산 장치로 하여금 광시야 카메라를 통해 광시야 영상을 획득하는 단계;
멀티 가상 핀홀 카메라 모형에 기초하여, 상기 광시야 영상에 대응하는 왜곡 보정 영상을 얻는 단계;
상기 왜곡 보정 영상에 기초하여 상기 광시야 카메라의 자세를 확정하고 지도를 구축하는 단계;를 수행하도록 하되,
그중, 상기 멀티 가상 핀홀 카메라 모형은 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라를 포함하며, 상기 적어도 두 개의 서로 다른 방향의 가상 핀홀 카메라의 카메라 중심은 상기 광시야 카메라의 카메라 중심과 겹치고, 이에 따라 상기 멀티 가상 핀홀 카메라 모형에서 각각의 가상 핀홀 카메라와 상기 광시야 카메라 사이에는 고정적인 회전 각도를 가지는, 컴퓨터 프로그램 제품을 포함하는 비일시적 컴퓨터 판독가능 매체.