KR20210110514A

KR20210110514A - 지도를 구축하기 위한 방법 및 장치

Info

Publication number: KR20210110514A
Application number: KR1020210026106A
Authority: KR
Inventors: 지하오 왕; 첸슈 자오; 지웬 친
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-02-28
Filing date: 2021-02-26
Publication date: 2021-09-08
Also published as: EP3872764B1; CN111292420B; KR102502651B1; JP7150917B2; CN111292420A; US11417014B2; EP3872764A1; JP2021140780A; US20210272313A1

Abstract

본 개시의 실시예는 지도를 구축하기 위한 방법 및 장치를 개시한다. 해당 방법의 일 구체적인 실시예는, 대상 영역의 파노라마 이미지 시퀀스로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하는 단계와, 인접한 각 파노라마 이미지 프레임에 대응하는 원근 이미지 시퀀스를 기반으로 파노라마 이미지 시퀀스에 대응하는 특징 궤적을 결정하는 단계와, 특징 궤적 및 각 파노라마 이미지 프레임의 포즈 정보를 기반으로 대상 영역의 비전 지도를 구축하는 단계를 포함한다. 본 개시의 실시예에서 제공하는 지도를 구축하기 위한 방법 및 장치는, 대상 영역의 파노라마 이미지 시퀀스로부터 결정된 원근 이미지 시퀀스를 기반으로, 대응되는 특징 궤적을 결정하고, 각 파노라마 이미지 프레임의 포즈 정보를 결부하여 비전 지도를 구축함으로써, 지도 구축 과정에서 이미지를 수집하는 난이도를 낮추고, 수집한 이미지의 품질이 비전 지도를 구축하는 정밀도에 미치는 불리한 영향을 저감시킨다.

Description

지도를 구축하기 위한 방법 및 장치{METHOD AND DEVICE FOR GENERATING MAPS}

본 개시의 실시예는 컴퓨터 기술 분야에 관한 것으로, 구체적으로 컴퓨팅 기술 비전 기술 분야에 관한 것이며, 특히는 지도를 구축하기 위한 방법 및 장치에 관한 것이다.

비전 지도의 구축을 기반으로 하는 분야에 있어서, 일반적으로 주문형 단안 또는 쌍안 카메라를 이용하여 대상 장면의 이미지 데이터를 수집한다. 이어서, 수집된 비디오 스트리밍 또는 이미지를 입력 데이터로 하여, 비전 SLAM(Simultaneous Localization and Mapping, 동기화 위치 결정 및 지도 구축) 기술 또는 SFM(Structure From Motion, 운동 회복 구조) 알고리즘을 이용하여 대상 장면의 비전 지도를 구축한다.

관련된 기술에 있어서, 대상 장면의 이미지 데이터를 수집할 경우, 상이한 장면은 서로 다른 수집 방식이 필요하고, 이미지 사이에 일정한 중복도가 있도록 확보하여야 하므로, 데이터 수집 인원에 대한 전문가급의 요구가 상대적으로 높으며, 특히는 일부의 특수한 장면에서, 카메라의 시야 각도가 충분히 크지 못하여, 전반적인 이미지의 텍스처가 아주 적은 경우(예컨대, 흰벽, 바닥, 큰 조각의 유리 등)가 자주 나타나게 되며, 이러한 경우는 이미지 간의 특징 추적의 실패를 초래하게 되며, 지도 구축의 정밀도에 일정한 정도로 영향을 미칠 수도 있다.

본 개시의 실시예는 지도를 구축하기 위한 방법 및 장치를 제공한다.

제1 양태에 있어서, 본 개시의 실시예는 지도를 구축하기 위한 방법을 제공하며, 해당 방법은, 대상 영역의 파노라마 이미지 시퀀스로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하는 단계와, 인접한 각 파노라마 이미지 프레임에 대응하는 원근 이미지 시퀀스를 기반으로 파노라마 이미지 시퀀스에 대응하는 특징 궤적을 결정하는 단계와, 특징 궤적 및 각 파노라마 이미지 프레임의 포즈 정보를 기반으로 대상 영역의 비전 지도를 구축하는 단계를 포함한다.

일부의 실시예에 있어서, 특징 궤적은 파노라마 이미지 시퀀스에 대해 특징 포인트 매칭 단계를 수행하여 획득한 것으로, 특징 포인트 매칭 단계는, 파노라마 이미지 시퀀스 중의 제1 파노라마 이미지 프레임을 대상 프레임으로 결정하고, 파노라마 이미지 시퀀스 중 대상 프레임 뒤에 따르는 기정 수량의 파노라마 이미지 프레임을 매칭 프레임 시퀀스로 결정하는 단계 - 상기 기정 수량은 1보다 큼 - 와, 대상 프레임에 대응하는 원근 이미지 시퀀스, 매칭 프레임 시퀀스 중 각 매칭 프레임에 대응하는 원근 이미지 시퀀스를 각각 기정의 슬라이드 창에 판독시켜, 슬라이드 창에서 대상 프레임과 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 기반으로 부분 특징 궤적을 획득하는 단계와, 대상 프레임과 각 매칭 프레임의 프레임 간 특징 포인트 매칭의 완료에 응답하여, 슬라이드 창을 비우고, 파노라마 이미지 시퀀스로부터 대상 프레임을 삭제하여, 업데이트된 파노라마 이미지 시퀀스를 획득하는 단계와, 파노라마 이미지 시퀀스 중의 마지막 파노라마 이미지 프레임이 이미 매칭 프레임으로서 대상 프레임과 프레임 간 특징 포인트 매칭이 완료될 때까지, 업데이트된 파노라마 이미지 시퀀스에 대해 특징 포인트 매칭 동작을 수행하여, 특징 궤적을 획득하는 단계를 포함한다.

일부의 실시예에 있어서, 슬라이드 창에서 대상 프레임과 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 기반으로 부분 특징 궤적을 획득하는 단계는, 슬라이드 창에서 대상 프레임과 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 부분 특징 궤적으로 이용하는 단계를 포함한다.

일부의 실시예에 있어서, 슬라이드 창에서 대상 프레임과 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 기반으로 부분 특징 궤적을 획득하는 단계는, 슬라이드 창에서 대상 프레임과 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 제1 매칭 결과로 이용하는 단계와, 대상 프레임에 대응하는 원근 이미지 시퀀스 중의 각 원근 이미지를 각각 대상 프레임과의 거리가 가장 가까운 매칭 프레임에 대응하는 원근 이미지 시퀀스와 프레임 간 특징 포인트 매칭을 진행하여, 제2 매칭 결과를 획득하는 단계와, 제1 매칭 결과 및 제2 매칭 결과를 기반으로 부분 특징 궤적을 획득하는 단계를 포함한다.

일부의 실시예에 있어서, 대상 영역의 파노라마 이미지 시퀀스로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하는 단계는, 각 파노라마 이미지 프레임에 대해 시맨틱 분할을 진행하고, 기정의 분할 대상을 각 파노라마 이미지 프레임으로부터 삭제하여, 사전 처리된 파노라마 이미지 프레임을 획득하는 단계와, 사전 처리된 파노라마 이미지 프레임으로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하는 단계를 더 포함한다.

일부의 실시예에 있어서, 해당 방법은, 비전 지도에 대해, 비전 지도 중의 특징 포인트에 대해 삼각 측량 단계를 수행하여, 특징 포인트의 3차원 좌표를 결정하는 단계와, 특징 포인트 및 포즈 정보에 대해 비전 제약 및 상대적 포즈 제약 기반의 글로벌 빔 조정 최적화 단계를 수행하여, 업데이트된 특징 포인트 및 포즈 정보를 획득하는 단계와, 업데이트된 특징 포인트에 대해 RANSAC 기반의 삼각 측량 단계를 수행하여 특징 포인트 중의 매칭 오류 포인트를 삭제하여, 2차 업데이트된 특징 포인트를 획득하는 단계와, 업데이트된 포즈 정보 및 2차 업데이트된 특징 포인트에 대해 다시 비전 제약 및 상대적 포즈 제약 기반의 글로벌 빔 조정 최적화 단계를 수행하여, 2차 업데이트된 포즈 정보 및 3차 업데이트된 특징 포인트를 획득하는 단계와, 2차 업데이트된 포즈 정보 및 3차 업데이트된 특징 포인트를 기반으로 업데이트된 비전 지도를 결정하는 단계를 더 포함한다.

제2 양태에 있어서, 본 개시의 실시예는 지도를 구축하기 위한 장치를 제공하며, 해당 장치는, 대상 영역의 파노라마 이미지 시퀀스로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하도록 구성되는 이미지 처리 유닛과, 인접한 각 파노라마 이미지 프레임에 대응하는 원근 이미지 시퀀스를 기반으로 파노라마 이미지 시퀀스에 대응하는 특징 궤적을 결정하도록 구성되는 특징 매칭 유닛과, 특징 궤적 및 각 파노라마 이미지 프레임의 포즈 정보를 기반으로 대상 영역의 비전 지도를 구축하도록 구성되는 지도 구축 유닛을 포함한다.

일부의 실시예에 있어서, 특징 매칭 유닛은, 파노라마 이미지 시퀀스 중의 제1 파노라마 이미지 프레임을 대상 프레임으로 결정하고, 파노라마 이미지 시퀀스 중 대상 프레임 뒤에 따르는 기정 수량의 파노라마 이미지 프레임을 매칭 프레임 시퀀스로 결정하도록 구성되는 대상 프레임 결정 유닛 - 기정 수량은 1보다 큼 -과, 대상 프레임에 대응하는 원근 이미지 시퀀스, 매칭 프레임 시퀀스 중 각 매칭 프레임에 대응하는 원근 이미지 시퀀스를 각각 기정의 슬라이드 창에 판독시켜, 슬라이드 창에서 대상 프레임과 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 기반으로 부분 특징 궤적을 획득하도록 구성되는 슬라이드 창 매칭 유닛과, 대상 프레임과 각 매칭 프레임의 프레임 간 특징 포인트 매칭의 완료에 응답하여, 슬라이드 창을 비우고, 파노라마 이미지 시퀀스로부터 대상 프레임을 삭제하여, 업데이트된 파노라마 이미지 시퀀스를 획득하도록 구성되는 시퀀스 업데이트 유닛과, 파노라마 이미지 시퀀스 중의 마지막 파노라마 이미지 프레임이 이미 매칭 프레임으로서 대상 프레임과 프레임 간 특징 포인트 매칭이 완료될 때까지, 업데이트된 파노라마 이미지 시퀀스에 대해 특징 포인트 매칭 동작을 수행하여, 특징 궤적을 획득하도록 구성되는 궤적 획득 유닛을 포함한다.

일부의 실시예에 있어서, 슬라이드 창 매칭 유닛은, 슬라이드 창에서 대상 프레임과 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 부분 특징 궤적으로 이용하는 방식을 통해 부분 특징 궤적을 획득하도록 구성된다.

일부의 실시예에 있어서, 슬라이드 창 매칭 유닛은, 슬라이드 창에서 대상 프레임과 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 제1 매칭 결과로 이용하고, 대상 프레임에 대응하는 원근 이미지 시퀀스 중의 각 원근 이미지를 각각 대상 프레임과의 거리가 가장 가까운 매칭 프레임에 대응하는 원근 이미지 시퀀스와 프레임 간 특징 포인트 매칭을 진행하여, 제2 매칭 결과를 획득하고, 제1 매칭 결과 및 제2 매칭 결과를 기반으로 부분 특징 궤적을 획득하는 방식을 통해 부분 특징 궤적을 획득하도록 더 구성된다.

일부의 실시예에 있어서, 해당 장치는, 각 파노라마 이미지 프레임에 대해 시맨틱 분할을 진행하고, 기정의 분할 대상을 각 파노라마 이미지 프레임으로부터 삭제하여, 사전 처리된 파노라마 이미지 프레임을 획득하는 단계와, 사전 처리된 파노라마 이미지 프레임으로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하는 단계를 수행하도록 구성되는 시맨틱 분할 유닛을 더 포함한다.

일부의 실시예에 있어서, 해당 장치는, 비전 지도에 대해, 비전 지도 중의 특징 포인트에 대해 삼각 측량 단계를 수행하여, 특징 포인트의 3차원 좌표를 결정하는 단계와, 특징 포인트 및 포즈 정보에 대해 비전 제약 및 상대적 포즈 제약 기반의 글로벌 빔 조정 최적화 단계를 수행하여, 업데이트된 특징 포인트 및 포즈 정보를 획득하는 단계와, 업데이트된 특징 포인트에 대해 RANSAC 기반의 삼각 측량 단계를 수행하여 특징 포인트 중의 매칭 오류 포인트를 삭제하여, 2차 업데이트된 특징 포인트를 획득하는 단계와, 업데이트된 포즈 정보 및 2차 업데이트된 특징 포인트에 대해 다시 비전 제약 및 상대적 포즈 제약 기반의 글로벌 빔 조정 최적화 단계를 수행하여, 2차 업데이트된 포즈 정보 및 3차 업데이트된 특징 포인트를 획득하는 단계와, 2차 업데이트된 포즈 정보 및 3차 업데이트된 특징 포인트를 기반으로 업데이트된 비전 지도를 결정하는 단계를 수행하도록 구성되는 지도 업데이트 유닛을 더 포함한다.

본 개시의 실시예에서 제공하는 지도를 구축하기 위한 방법 및 장치는, 대상 영역의 파노라마 이미지 시퀀스로부터 결정된 원근 이미지 시퀀스를 기반으로, 대응되는 특징 궤적을 결정하고, 파노라마 이미지 프레임의 포즈 정보를 결부하여 비전 지도를 구축함으로써, 지도 구축 과정에서 이미지를 수집하는 난이도를 낮추고, 수집한 이미지의 품질이 비전 지도를 구축하는 정밀도에 미치는 불리한 영향을 저감시킨다.

본 개시의 기타 특징, 과제 및 이점들은 아래의 첨부된 도면들을 참조하여 진행한 비 한정적인 실시예들에 대한 상세한 설명으로부터 명확해 질 것이다.
도 1은 본 개시의 일부의 실시예가 적용 가능한 예시적 체계 구조도이다.
도 2는 본 개시에 따른 지도를 구축하기 위한 방법의 일 실시예의 흐름도이다.
도 3은 본 개시의 실시예에 따른 지도를 구축하기 위한 방법의 일 응용 정경의 개략도이다.
도 4는 본 개시에 따른 지도를 구축하기 위한 방법의 다른 일 실시예의 흐름도이다.
도 5는 본 개시에 따른 지도를 구축하기 위한 장치의 일 실시예의 구조의 개략도이다.
도 6은 본 개시의 실시예를 구현하기에 적합한 전자 기기의 구조의 개략도이다.

이하, 첨부된 도면 및 실시예들을 결부하여 본 개시에 대한 보다 상세한 설명을 진행하기로 한다. 여기에 설명되는 구체적인 실시예들은 단지 관련된 발명을 해석하기 위한 것일 뿐, 해당 발명을 한정하기 위한 것이 아님을 이해할 수 있을 것이다. 또한, 설명의 편의를 위해 첨부된 도면에는 단지 관련 발명에 관한 부분만이 도시됨을 설명하고자 한다.

본 개시의 실시예 및 실시예 중의 특징들은 모순되지 않는 한 서로 조합될 수 있음을 설명하고자 한다. 이하, 첨부된 도면을 참조하고 실시예들을 결부하여 본 개시에 대한 상세한 설명을 진행하기로 한다.

도 1은 본 개시의 실시예의 지도를 구축하기 위한 방법 또는 지도를 구축하기 위한 장치가 적용 가능한 예시적 체계 구조(100)를 나타낸다.

도 1에 도시된 바와 같이, 체계 구조(100)는, 단말기 장치(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 단말기 장치(101, 102, 103)와 서버(105) 사이에서 통신 링크의 매체를 제공하도록 이용된다. 네트워크(104)는 예컨대 유선 통신 링크, 무선 통신 링크 또는 광섬유 케이블 등과 같은 다양한 연결 유형을 포함할 수 있다.

사용자는 단말기 장치(101, 102, 103)를 이용하여 네트워크(104)를 통해 서버(105)와 교호를 진행하여 데이터를 수신하거나 발송할 수 있다. 단말기 장치(101, 102, 103)는 획득한 대상 영역의 파노라마 이미지 시퀀스(예컨대, 파노라마 이미지로 구성된 비디오)를 서버(105)에 발송하여, 서버(105)로 본 개시의 실시예에서 제출하는 지도를 구축하기 위한 방법을 수행하고, 획득한 대상 영역의 파노라마 이미지 시퀀스를 기반으로 비전 지도를 구축하고, 구축된 비전 지도를 단말기 장치에 발송할 수 있다.

단말기 장치(101, 102, 103)는 하드웨어일 수 있으며, 소프트웨어일 수도 있다. 단말기 장치(101, 102, 103)가 하드웨어일 경우, 스크린을 구비하고, 정보 교환을 지원하는 다양한 전자 기기일 수 있으며, 이는 스마트 폰, 태블릿 PC, 전자책 리더, 랩톱형 휴대용 컴퓨터, 데스크톱형 컴퓨터 등을 포함하나, 이에 한정되지 않는다. 단말기 장치(101, 102, 103)가 소프트웨어일 경우, 상술한 예시된 전자 기기에 장착될 수 있다. 이는 예컨대 분산형 서비스를 제공하기 위한 다수의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며, 단일의 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 여기서 이에 대한 구체적인 한정을 진행하지 않는다.

서버(105)는 다양한 서비스를 제공하는 서버일 수 있으며, 예를 들어, 단말기 장치(101, 102, 103) 상에서 획득한 대상 영역의 파노라마 이미지 시퀀스에 대해 지원을 제공하는 백엔드 응용 서버일 수 있다. 백엔드 응용 서버는 수신된 파노라마 이미지 시퀀스를 기반으로 대상 영역의 비전 지도를 구축하고 구축된 비전 지도를 단말기 장치에 발송할 수 있다.

본 개시의 실시예에서 제공하는 지도를 구축하기 위한 방법은 단말기 장치(101, 102, 103)로 수행할 수 있으며, 서버(105)로 수행될 수도 있음을 설명하고자 한다. 따라서, 지도를 구축하기 위한 장치는 단말기 장치(101, 102, 103)에 설치될 수 있으며, 서버(105)에 설치될 수도 있다. 여기서 이에 대한 구체적인 한정을 진행하지 않는다.

서버는 하드웨어일 수도 있고, 소프트웨어일 수도 있음을 설명하고자 한다. 서버가 하드웨어일 경우, 다수의 서버로 구성된 분산형 서버 클러스터로 구현될 수 있으며, 단일 서버로 구현될 수도 있다. 서버가 소프트웨어일 경우, 예컨대 분산형 서버를 제공하기 위한 다수의 소프트웨어 또는 소프트웨어 모듈로 구현될 수 있으며, 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 여기서 이에 대한 구체적인 한정을 진행하지 않는다.

도 1의 단말기 장치, 네트워크 및 서버의 수량은 단지 예시적인 것임을 이해하여야 한다. 구현 수요에 따라, 임의의 수량의 단말기 장치, 네트워크 및 서버를 구비할 수 있다.

계속하여 도 2를 참조하면, 이는 본 개시에 따른 지도를 구축하기 위한 방법의 일 실시예의 흐름(200)을 나타낸다. 지도를 구축하기 위한 해당 방법은 아래와 같은 단계들을 포함한다.

단계(201)에서, 대상 영역의 파노라마 이미지 시퀀스로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정한다.

본 실시예에 있어서, 원근 이미지 시퀀스는 파노라마 이미지 시퀀스의 특징 궤적을 결정하도록 이용되고, 특징 궤적 및 포즈 정보는 즉 비전 지도를 구축하는 관건적인 데이터이다.

본 실시예에 있어서, 지도를 구축하기 위한 방법의 수행 주체(예컨대, 도 1에 도시된 서버)는 유선 연결 방식 또는 무선 연결 방식을 통해 사용자가 이용하여 지도를 구축하는 단말기 또는 파노라마 카메라로부터 대상 영역의 파노라마 이미지 시퀀스를 수신할 수 있다. 상술한 무선 연결 방식은 3G/4G 연결, WiFi 연결, 블루투스 연결, WiMAX 연결, Zigbee 연결, UWB(ultra wideband) 연결, 및 기타의 이미 알려지거나 미래에 개발될 무선 연결 방식을 포함할 수 있으나, 이에 한정되지 않음은 자명할 것이다.

일 구체적인 예시에 있어서, 작업자는 파노라마 카메라를 통해 대상 영역의 파노라마 이미지 시퀀스를 수집하고, 이어서 파노라마 이미지 시퀀스를 본 실시예의 수행 주체(예컨대, 도 1에 도시된 서버 또는 단말기 장치일 수 있음)에 발송하여, 수행 주체로 상술한 단계를 통해 파노라마 이미지 시퀀스로부터 각 파노라마 이미지 프레임의 포즈 정보 및 대응되는 하나의 원근 이미지 시퀀스를 결정할 수 있다.

상술한 파노라마 이미지는 파노라마 카메라를 통해 수집된 이미지를 가리키며, 360°의 관측 각도로 전방위로 대상 영역의 이미지 정보를 수집할 수 있으며, 일반적인 카메라로 수집된 원근 이미지에 비해, 파노라마 이미지에 포함되는 정보는 더욱 풍부하므로, 이미지 수집 과정에서 정보가 분실되는 경우를 피면할 수 있다. 그러나, 이에 따라, 파노라마 이미지에는 일정한 정도의 이미지 왜곡이 존재하여, 일반적인 카메라로 수집된 원근 이미지와 같이, 지도 구축에 직접적으로 이용될 수 없으므로, 파노라마 이미지에 대해 사전 처리를 진행하여야만, 후속적인 이미지 구축 단계를 수행하는데 이용될 수 있다.

본 실시예에 있어서, 수행 주체(예컨대, 도 1에 도시된 서버)로 대상 영역의 파노라마 이미지 시퀀스(예컨대, 파노라마 카메라로 촬상된 대상 영역의 파노라마 비디오일 수 있음)를 수신한 후, 이미지 사전 처리 단계를 수행하되, 여기서, 파노라마 이미지 시퀀스 중의 각 이미지 프레임은 모두 대상 영역의 파노라마 이미지이다. 예시로서, 먼저 비전 SLAM 기술을 기반으로 시퀀스 중의 각 파노라마 이미지 프레임의 포즈 정보를 결정할 수 있으며, 여기서, 포즈 정보는 카메라로 이미지를 수집할 때의 위치 및 포즈를 나타낸다. 이어서, 각 파노라마 이미지 프레임으로부터 다수의 원근 이미지를 결정하되, 여기서 각 원근 이미지는 각각 상이한 기정 관측 각도에 대응되고, 이러한 과정에서 파노라마 이미지 프레임에서 왜곡된 이미지 부분에 대해 수정을 진행한다. 예를 들어, 0°, 90°, 180° 및 270°의 이러한 4개의 관측 각도를 기반으로 파노라마 이미지 프레임에 대해 분할을 진행하고, 순차적으로 4개의 원근 이미지를 결정하고, 관측 각도에 따라 원근 이미지에 대해 순서 배열을 진행하여, 해당 파노라마 이미지 프레임에 대응하는 원근 이미지 시퀀스를 획득할 수 있다. 비전 SLAM 기술은 지도 구축 분야의 선행 기술에 해당되므로, 여기서 이에 대한 중복된 설명은 생략하기로 한다. 관측 각도를 기반으로 파노라마 이미지로부터 다수의 원근 이미지를 결정하는 기술은 마찬가지로 컴퓨터 이미지 분야의 선행기술에 해당하며, 예를 들어, OpenCV 알고리즘을 통해 구현할 수 있으며, 본 개시의 실시예는 이에 대한 한정을 진행하지 않는다.

본 실시예의 일부의 선택적인 구현 방식에 있어서, 대상 영역의 파노라마 이미지 프레임에 대해 시맨틱 분할을 진행하여 파노라마 이미지 시퀀스로부터 기정의 분할 대상을 삭제하여, 사전 처리된 파노라마 이미지 데이터를 획득하는 단계와, 사전 처리된 파노라마 이미지 프레임으로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하는 단계를 통해 파노라마 이미지 프레임으로부터 포즈 정보 및 원근 이미지 시퀀스를 결정할 수도 있다. 구체적인 상황을 결부하여 예를 들어 설명을 진행하면, 대상 영역의 파노라마 이미지에 지도 구축에 무효한 내용이 존재할 경우, 파노라마 이미지로부터 이를 삭제하여, 불필요한 연산을 감소시켜야 한다. 예를 들어, 사람, 동물, 식물 등의 대상을 분할 대상으로 설정하고, 파노라마 이미지 프레임을 시맨틱 분할 모델(예컨대, 완전 컨볼루션 신경망 모델)에 입력하고, 파노라마 이미지로부터 분할 대상을 삭제하여 사전 처리된 파노라마 이미지 프레임을 획득하고, 이어서 비전 SLAM 기술을 기반으로 사전 처리된 파노라마 이미지 프레임의 포즈 정보를 결정하고, 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정할 수 있다.

단계(202)에서, 인접한 각 파노라마 이미지 프레임에 대응하는 원근 이미지 시퀀스를 기반으로 파노라마 이미지 시퀀스에 대응하는 특징 궤적을 결정한다.

지도 구축 분야에 있어서, 상이한 이미지 프레임에서 동일한 특징 포인트를 함께 매칭시켜 각 이미지 프레임에 대응하는 특징 궤적(feature track)을 획득할 수 있다. 특징 궤적을 통해 카메라의 운동 상태를 추산하고, 이어서 특징 포인트의 위치 정보 및 카메라의 운동 상태를 기반으로 하여 특징 포인트의 3차원 좌표를 획득할 수 있으며, 이는 비전 지도를 구축하는 과정에서 필수적인 단계이다.

본 실시예에 있어서, 단계(201)에서 획득한 각 파노라마 이미지 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행하고, 이를 통해 파노라마 이미지 시퀀스에 대응하는 특징 궤적을 획득한다. 구체적으로, 먼저, 각 원근 이미지 시퀀스로부터 특징 포인트를 결정하는 단계를 포함하되, 특징 포인트는 키 포인트 및 기술자(descriptor)를 포함하고, 여기서 키 포인트는 이미지 프레임에서 지도 구축의 관건적인 정보가 포함되는 포인트(예컨대, 각도 스케일, 회전 특성 등의 정보)이고, 기술자는 즉 각 특징 포인트를 구분하기 위한 것이로, 상이한 이미지 프레임 사이에서 특징 포인트의 매칭을 진행하도록 이용되고, 기술자의 유사도가 높을 수록, 대응되는 특징 포인트의 유사도가 더욱 높음을 의미한다. 이어서, 인접한 파노라마 이미지 프레임에 대응하는 원근 이미지 시퀀스 사이에서 프레임 간 특징 포인트 매칭을 진행하고, 예를 들어, 두개의 원근 이미지 시퀀스에서 동일한 배열 순서에 위치한 원근 이미지를 매칭 대상으로 이용하여, 그중의 동일하거나 유사한 특징 포인트에 대해 매칭을 진행할 수 있다.

특징 포인트를 추출하는 방법과 특징 포인트의 유사도를 산출하는 방법은 선행 기술 또는 미래에 개발될 기술 중의 특징 포인트를 추출하는 방법과 특징 포인트의 유사도를 산출하는 방법일 수 있으며, 본 출원은 이에 대한 한정을 진행하지 않는다.

일 구체적인 예시에 있어서, ORB(Oriented FAST and Rotated BRIEF) 특징 포인트 알고리즘을 이용하여 두개의 원근 이미지로부터 특징 포인트를 추출하되, 그중의 특징 포인트에 포함되는 기술자는 BRIEF 이진법 기술자이고, 해밍 거리(Hamming distance)를 이용하여 두개의 특징 포인트 사이의 유사 정도를 나타낸다. 해밍 거리는 길이가 동일한 두개의 문자열 사이에서 상이한 데이터 비트의 개수를 가리키며, 예를 들어, 두개의 8비트의 이진법 열 00110100와 10110100에 있어서 이들 사이에는 단지 첫번째 데이터 비트가 상이하므로, 이들의 해밍거리는 1이다. ORB 알고리즘의 특징 매칭에서, 해밍 거리가 작을 수록, 특징 포인트의 유사도가 더욱 높다. 이로써, 두개의 원근 이미지 사이에서 유사도가 기정의 표준에 부합되는 두개의 특징 포인트를 동일한 포인트로 간주하고, 즉, 특징 매칭이 완료된다.

관련 기술에서 두개의 인접한 독립적인 이미지 프레임을 통해 프레임 간 특징 포인트 매칭을 진행하는 것과의 다른 점은, 본 개시의 실시예에서 인접한 두개의 파노라마 이미지 프레임에 대응하는 두개의 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행하는 것에 있다. 원근 이미지 시퀀스에서 동일한 순서 배열 위치에 있는 원근 이미지에 대응하는 관측 각도는 동일한 것이므로, 이를 매칭 대상으로 프레임 간 특징 포인트 매칭을 진행할 수 있으며, 이어서 원근 이미지 시퀀스 중의 모든 원근 이미지의 특징 매칭 결과를 병합시켜 획득되는 특징 매칭 결과는 즉 두개의 파노라마 이미지 프레임 사이의 특징 매칭 결과이다. 최종으로, 각 파노라마 이미지 프레임의 특징 매칭 결과를 병합시키면 즉 파노라마 이미지 시퀀스에 대응하는 특징 궤적을 획득할 수 있다.

본 개시의 실시예에서 관련되는 특징 매칭 결과와 특징 궤적의 병합에 있어서, 이의 규칙은 모든 특징 포인트를 보류하고 그중의 동일한 특징 포인트를 하나로 병합시키는 것임을 설명하고자 한다.

아래에 구체적인 정경을 결부하여 예를 들어 설명을 진행하면, 파노라마 이미지 시퀀스에는 A, B, C의 3개의 파노라마 이미지 프레임이 포함되고, 이는 각각 a, b, c의 3개의 원근 이미지 시퀀스에 대응되고, 각 원근 이미지 시퀀스는 4개의 원근 이미지를 포함하고, 관측 각도의 크기 순서에 따라 순차적으로 배열하면, 각각 a1, a2, a3, a4, b1, b2, b3, b4, c1, c2, c3, c4이다. a1과 b1, a2와 b2, a3과 b3, a4와 b4를 매칭 대상으로 각각 프레임 간 특징 포인트 매칭을 진행하고, 매칭 결과를 병합시키면 즉 원근 이미지 시퀀스 a와 b의 매칭 결과를 획득하고, 이러한 방식으로 유추하면, 원근 이미지 시퀀스 b와 c의 매칭 결과를 획득할 수 있으며, 이러한 두개의 그룹의 원근 이미지 시퀀스의 매칭 결과를 병합시키면 즉 파노라마 이미지 시퀀스의 특징 궤적을 획득한다.

본 실시예의 일부의 선택적인 구현 방식에 있어서, 슬라이드 창 매칭 방법을 통해 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행하고, 대상 프레임에 대응하는 원근 이미지 시퀀스를 통해 인접한 다수의 매칭 프레임에 대응하는 원근 이미지 시퀀스와 동시에 프레임 간 특징 포인트 매칭을 진행하여, 파노라마 이미지에 대응하는 특징 궤적을 획득할 수 있다. 슬라이드 창 매칭 방법은, 파노라마 이미지 시퀀스 중의 제1 파노라마 이미지 프레임을 대상 프레임으로 결정하고, 파노라마 이미지 시퀀스 중 대상 프레임 뒤에 따르는 기정 수량의 파노라마 이미지 프레임을 매칭 프레임 시퀀스로 결정하는 단계 - 상기 기정 수량은 1보다 큼 -와, 대상 프레임에 대응하는 원근 이미지 시퀀스, 매칭 프레임 시퀀스 중 각 매칭 프레임에 대응하는 원근 이미지 시퀀스를 각각 기정의 슬라이드 창에 판독시켜, 슬라이드 창에서 대상 프레임과 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 기반으로 부분 특징 궤적을 획득하는 단계와, 대상 프레임과 각 매칭 프레임의 프레임 간 특징 포인트 매칭의 완료에 응답하여, 슬라이드 창을 비우고, 파노라마 이미지 시퀀스로부터 대상 프레임을 삭제하여, 업데이트된 파노라마 이미지 시퀀스를 획득하는 단계와, 파노라마 이미지 시퀀스 중의 마지막 파노라마 이미지 프레임이 이미 매칭 프레임으로서 대상 프레임과 프레임 간 특징 포인트 매칭이 완료될 때까지, 업데이트된 파노라마 이미지 시퀀스에 대해 특징 포인트 매칭 단계를 수행하여, 특징 궤적을 획득하는 단계를 포함할 수 있다.

본 실시예의 일부의 선택적인 구현 방식에 있어서, 상술한 상기 슬라이드 창에서 상기 대상 프레임과 상기 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 기반으로 부분 특징 궤적을 획득하는 단계는, 상기 슬라이드 창에서 상기 대상 프레임과 상기 각 매칭 프레임의 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 부분 특징 궤적으로 이용하는 단계를 포함할 수 있다.

일 구체적인 예시에 있어서, 파노라마 이미지 시퀀스 중의 제1 파노라마 이미지 프레임 A을 대상 프레임으로 결정하되, 기정 수량은 3개이고, 이러할 경우, 제2, 제3, 제4 파노라마 이미지 프레임은 매칭 프레임이 각각 파노라마 이미지 프레임 B, C, D인 것으로 결정한다. 상기 4개의 파노라마 이미지 프레임에 대응하는 원근 이미지 시퀀스는 각각 a, b, c, d이고, 각 원근 이미지 시퀀스에는 4개의 원근 이미지가 포함된다. 상기 4개의 파노라마 이미지 프레임에 대응하는 원근 이미지 시퀀스를 동시에 기정의 슬라이드 창에 판독시키고, 아래와 같은 방식에 따라 프레임 간 특징 포인트 매칭을 진행한다. 원근 이미지 시퀀스 a 중의 제1 원근 이미지 a1를 b1, c1, d1과 동시에 프레임 간 특징 포인트 매칭을 진행하고, 이러한 방식으로 유추하면, a 중의 4개의 원근 이미지에 대해 각각 프레임 간 특징 포인트 매칭을 진행한 후, 원근 이미지 시퀀스 a의 매칭 결과를 획득하고, 원근 이미지 시퀀스 a의 매칭 결과를 파노라마 이미지 프레임 A에 대응하는 부분 특징 궤적으로 이용할 수 있다. 이어서, 파노라마 이미지 시퀀스로부터 A를 삭제하고, B를 대상 프레임으로 업데이트하며, 이러할 경우, 상응한 C, D, F는 매칭 프레임으로 업데이트되고, 상술한 단계를 경유하여 파노라마 이미지 프레임 B에 대응하는 부분 특징 궤적을 획득한다. 파노라마 이미지 시퀀스 중의 마지막 파노라마 이미지가 매칭 프레임으로서 슬라이드 창에 판독되어 프레임 간 특징 포인트 매칭이 수행되고, 즉 전반적인 파노라마 이미지 시퀀스에 대한 프레임 간 특징 포인트 매칭이 완료될 때까지, 상술한 단계를 반복하고, 각 파노라마 이미지 프레임에 대응하는 다수의 부분 특징 궤적과 병합시켜 즉 파노라마 이미지 시퀀스에 대응하는 특징 궤적을 획득한다.

본 실시예의 일부의 선택적인 구현 방식에 있어서, 상술한 상기 슬라이드 창에서 상기 대상 프레임과 상기 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 기반으로 부분 특징 궤적을 획득하는 단계는, 슬라이드 창에서 대상 프레임과 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 제1 매칭 결과로 이용하는 단계와, 대상 프레임에 대응하는 원근 이미지 시퀀스 중의 각 원근 이미지를 각각 대상 프레임과의 거리가 가장 가까운 매칭 프레임에 대응하는 원근 이미지 시퀀스와 프레임 간 특징 포인트 매칭을 진행하여, 제2 매칭 결과를 획득하는 단계와, 제1 매칭 결과 및 제2 매칭 결과를 기반으로 부분 특징 궤적을 획득하는 단계를 포함할 수 있다.

계속하여 상술한 예시를 결부하여 예를 들어 설명하면, 원근 이미지 시퀀스 a 중의 제1 원근 이미지 a1를 b1, c1, d1와 동시에 프레임 간 특징 포인트 매칭을 진행하며, 이러한 방식으로 유추하면, a 중의 4개의 원근 이미지에 대해 각각 프레임 간 특징 포인트 매칭을 진행한 후, 원근 이미지 시퀀스 a의 매칭 결과를 획득하고, 이러한 방식으로 획득한 원근 이미지 시퀀스 a의 매칭 결과를 파노라마 이미지 프레임 A에 대응하는 제1 매칭 결과로 이용할 수 있다. 또한, a1을 각각 b1, b2, b3, b4와 프레임 간 특징 포인트 매칭을 진행하고, a2를 각각 b1, b2, b3, b4와 프레임 간 특징 포인트 매칭을 진행할 수도 있으며, 이러한 방식으로 유추하면, a 중의 4개의 원근 이미지에 대해 각각 프레임 간 특징 포인트 매칭을 진행한 후, 원근 이미지 시퀀스 a의 다른 일 매칭 결과를 획득하고, 이러한 매칭 결과를 파노라마 이미지 프레임 A에 대응하는 제2 매칭 결과로 이용할 수 있다. 그리고, 제1 매칭 결과과 제2 매칭 결과를 병합시키면, 즉 파노라마 이미지 프레임 A에 대응하는 부분 특징 궤적을 획득할 수 있으며, 상술한 단계를 반복하면 즉 파노라마 이미지 시퀀스에 대응하는 특징 궤적을 획득할 수 있다.

단계(203)에서, 특징 궤적 및 각 파노라마 이미지 프레임의 포즈 정보를 기반으로 대상 영역의 비전 지도를 구축한다.

본 실시예에 있어서, 파노라마 이미지 프레임의 포즈 정보를 결부하여, 단계(202)에서 획득한 특징 궤적에 대해 삼각 측량을 진행함으로써, 그중의 특징 포인트의 3차원 좌표를 결정하여, 대응되는 일련의 3차원 포인트를 획득할 수 있으며, 이러한 3차원 포인트로 구성된 3차원 공간 이미지는 즉 대상 영역의 비전 지도의 초기 형태이다. 이어서, 폐쇠 루프 검출을 통해 포즈를 최적화하고 유사한 3차원 포인트를 병합시키고, 다시 전역 포즈 및 3차원 포인트 연합 최적화를 진행하여 대상 영역의 비전 지도를 획득할 수 있다. 특징 궤적을 기반으로 비전 지도를 구축하는 것은 당해 분야의 선행 기술에 해당되므로, 본 개시의 실시예는 이에 대한 한정을 진행하지 않는다.

계속하여 도 3을 참조하면, 도 3은 본 실시예에 따른 지도를 구축하기 위한 방법의 응용 정경의 일 개략도이다. 도 3의 응용 정경에 있어서, 사용자는 대상 영역의 파노라마 이미지 시퀀스를 수행 주체(301)(도 1에 도시된 서버일 수 있으며, 단말기일 수도 있음)에 발송하여, 수행 주체로 이미지 처리를 통해 파노라마 이미지 시퀀스로부터 포즈 정보 및 원근 이미지 시퀀스를 결정하고, 이어서 프레임 간 특징 포인트 매칭 단계를 수행하여 특징 궤적을 획득하고, 최종으로 특징 궤적 및 각 파노라마 이미지 프레임의 포즈 정보를 기반으로 대상 영역의 비전 지도를 구축함으로써, 파노라마 이미지를 기반으로 비전 지도를 구축하는 과정을 구현한다.

본 개시의 실시예에서 제공하는 지도를 구축하기 위한 방법 및 장치는, 대상 영역의 파노라마 이미지 시퀀스로부터 결정된 원근 이미지 시퀀스를 기반으로, 대응되는 특징 궤적을 결정하고, 파노라마 이미지 프레임의 포즈 정보를 결부하여 비전 지도를 구축함으로써, 지도 구축 과정에서 이미지를 수집하는 난이도를 낮추고, 수집한 이미지의 품질이 비전 지도를 구축하는 정밀도에 미치는 영향을 저감시킨다.

나아가 도 4를 참조하면, 이는 지도를 구축하기 위한 방법의 다른 일 실시예의 흐름(400)을 나타낸다. 지도를 구축하기 위한 방법의 해당 흐름(400)은 아래와 같은 단계들을 포함한다.

단계(401)에서, 대상 영역의 파노라마 이미지 시퀀스로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정한다. 본 단계는 전술한 단계(201)에 대응되므로, 여기서 이에 대한 중복된 설명은 생략하기로 한다.

단계(402)에서, 파노라마 이미지 시퀀스 중의 제1 파노라마 이미지 프레임을 대상 프레임으로 결정하고, 파노라마 이미지 시퀀스 중 대상 프레임 뒤에 따르는 기정 수량의 파노라마 이미지 프레임을 매칭 프레임 시퀀스로 결정하되, 본 실시예에 있어서, 기정 수량은 1 보다 큰 정수로 설정된다.

단계(403)에서, 대상 프레임에 대응하는 원근 이미지 시퀀스, 매칭 프레임 시퀀스 중 각 매칭 프레임에 대응하는 원근 이미지 시퀀스를 각각 기정의 슬라이드 창에 판독시킨다.

단계(404)에서, 슬라이드 창에서 대상 프레임과 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 제1 매칭 결과로 한다. 본 단계에 대하여, 이미 전술한 실시예의 선택적인 구현 방식에서 설명하였으므로, 여기서 이에 대한 중복된 설명은 생략하기로 한다. 인접한 두개의 원근 이미지 시퀀스 사이에 대해 프레임 간 특징 포인트 매칭을 진행하는 과정에, 이미지 흐림 또는 물체 차단이 발생하게 될 경우, 매칭 실패를 초래하게 되고, 슬라이드 창 매칭 방법을 이용하여 대상 프레임을 동시에 다수의 매칭 프레임과 프레임 간 특징 포인트 매칭을 진행하면, 어느 한 원근 이미지가 매칭이 성공하지 못하더라도, 여전히 기타 대응되는 원근 이미지와 매칭을 진행할 수 있으므로, 매칭 실패의 확율을 저감시키고, 이미지 구축 과정의 강인성을 향상시키는 것을 설명하고자 한다.

단계(405)에서, 대상 프레임에 대응하는 원근 이미지 시퀀스 중의 각 원근 이미지를 각각 대상 프레임과의 거리가 가장 가까운 매칭 프레임에 대응하는 원근 이미지 시퀀스와 프레임 간 특징 포인트 매칭을 진행하여, 제2 매칭 결과를 획득한다. 본 단계에 대하여, 이미 전술한 실시예의 선택적인 구현 방식에서 설명하였으므로, 여기서 이에 대한 중복된 설명은 생략하기로 한다. 제1 매칭 결과에 비해, 제2 매칭 결과는 카메라의 운동으로 인해 일부의 특징의 하나의 원근 이미지의 관측 범위에서 다른 하나의 원근 이미지의 관측 범위에 이동될 가능성이 존재하는 경우를 감안하므로, 이러한 매칭 결과는 카메라의 운동 상태를 보다 정확하게 추산하는데 유리하다.

단계(406)에서, 제1 매칭 결과 및 제2 매칭 결과를 기반으로 부분 특징 궤적을 획득한다. 본 단계에 대하여, 이미 전술한 실시예의 선택적인 구현 방식에서 설명하였으므로, 여기서 이에 대한 중복된 설명은 생략하기로 한다. 제1 매칭 결과과 제2 매칭 결과를 병합시켜 대상 프레임에 대응하는 부분 특징 궤적을 획득할 수 있다. 제1 매칭 결과와 제2 매칭 결과를 서로 결부시킴으로써, 이미지 구축 과정의 강인성을 향상시킬 뿐만 아니라, 구축된 비전 지도의 정밀도를 향상시키는 것을 설명하고자 한다.

단계(407)에서, 대상 프레임과 각 매칭 프레임의 프레임 간 특징 포인트 매칭의 완료에 응답하여, 슬라이드 창을 비우고, 파노라마 이미지 시퀀스로부터 대상 프레임을 삭제하여, 업데이트된 파노라마 이미지 시퀀스를 획득한다. 본 단계에 대하여, 이미 전술한 실시예의 선택적인 구현 방식에서 설명하였으므로, 여기서 이에 대한 중복된 설명은 생략하기로 한다.

단계(408)에서, 파노라마 이미지 시퀀스 중의 마지막 파노라마 이미지 프레임이 이미 매칭 프레임으로서 대상 프레임과 프레임 간 특징 포인트 매칭이 완료될 때까지, 업데이트된 파노라마 이미지 시퀀스에 대해 특징 포인트 매칭 단계를 수행하여, 특징 궤적을 획득한다. 단계(403) 내지 단계(408)에서 획득한 파노라마 이미지 프레임에 대응하는 부분 특징 궤적에 대해 병합을 진행하여 파노라마 이미지 시퀀스에 대응하는 특징 궤적을 획득한다. 본 단계에 대하여, 이미 전술한 실시예의 선택적인 구현 방식에서 설명하였으므로, 여기서 이에 대한 중복된 설명은 생략하기로 한다.

단계(409)에서, 특징 궤적 및 각 파노라마 이미지 프레임의 포즈 정보를 기반으로 대상 영역의 비전 지도를 구축한다. 본 단계는 전술한 단계(203)에 대응되므로, 여기서 이에 대한 중복된 설명은 생략하기로 한다.

단계(410)에서, 비전 지도를 기반으로 업데이트된 비전 지도를 획득한다. 본 실시예에서, 업데이트된 비전 지도를 획득하고, 비전 지도 중의 특징 포인트에 대해 삼각 측량 단계를 수행하여, 특징 포인트의 3차원 좌표를 결정하고, 특징 포인트 및 포즈 정보에 대해 비전 제약 및 상대적 포즈 제약 기반의 글로벌 빔 조정 최적화 단계를 수행하여, 업데이트된 특징 포인트 및 포즈 정보를 획득하고, 업데이트된 특징 포인트에 대해 RANSAC(Random Sample Consensus) 기반의 삼각 측량 단계를 수행하여 특징 포인트 중의 매칭 오류 포인트를 삭제하여, 2차 업데이트된 특징 포인트를 획득하고, 업데이트된 포즈 정보 및 2차 업데이트된 특징 포인트에 대해 다시 비전 제약 및 상대적 포즈 제약 기반의 글로벌 빔 조정 최적화 단계를 수행하여, 2차 업데이트된 포즈 정보 및 3차 업데이트된 특징 포인트를 획득하고, 2차 업데이트된 포즈 정보 및 3차 업데이트된 특징 포인트를 기반으로 업데이트된 비전 지도를 결정하는 단계를 통해 비전 지도의 정밀도를 더 향상시킬 수 있다.

상술한 단계를 통해, 이미 구축된 비전 지도에 대해 최적화를 진행할 수 있으며, 예컨대, RANSAC 기반의 삼각 측량 단계를 통해 비전 지도 중의 일부의 매칭 오류 포인트를 제거할 수 있으며, 비전 제약 및 상대적 포즈 제약 기반의 글로벌 빔 조정 최적화 단계를 통해 특징 포인트의 중복 투영 오류를 감소시켜, 정밀도가 더욱 높은 비전 지도를 획득할 수도 있다.

비록 상술한 삼각 측량 및 비전 제약 및 상대적 포즈 제약 기반의 글로벌 빔 조정 최적화 단계 자체는 모두 당해 분야에서 상대적으로 성숙된 기술적 수단이나, 상술한 단계의 조합 방식은 당해 분야의 선행 기술이 아니므로, 본 실시예에 한정되는 것은 각 단계의 조합 방식일 뿐, 각 단계를 구현하는 기술적 수단이 아님을 설명하고자 한다.

도 4로부터 알 수 있듯이, 도 2에 대응하는 실시예에 비해, 본 실시예 중의 지도를 구축하기 위한 방법의 흐름(400)은 슬라이드 창 매칭 방법을 기반으로 특징 궤적을 결정하는 단계와 구축된 비전 지도에 대해 최적화를 진행하는 단계를 구현하여, 슬라이드 창 매칭 방법을 통해 특징 포인트 매칭 실패로 인해 초래되는 관건적인 정보의 결실을 효과적으로 피면하고, 이미지 구축 과정의 강인성을 향상시키고, 비전 지도에 대한 최적화를 통해 비전 지도의 정밀도를 향상시킬 수 있다.

계속하여 도 5를 참조하면, 상술한 각 도면에 도시된 방법에 대한 구현으로, 본 개시는 지도를 구축하기 위한 장치의 일 실시예를 제공하며, 해당 장치 실시예는 도 2에 도시된 방법 실시예와 대응되고, 해당 장치는 구체적으로 다양한 전자 기기에 적용될 수 있다.

도 5에 도시된 바와 같이, 본 실시예의 지도를 구축하기 위한 장치(500)는, 대상 영역의 파노라마 이미지 시퀀스로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하도록 구성되는 이미지 처리 유닛(501)과, 인접한 각 파노라마 이미지 프레임의 원근 이미지 시퀀스를 기반으로 파노라마 이미지 시퀀스에 대응하는 특징 궤적을 결정하도록 구성되는 특징 매칭 유닛(502)과, 특징 궤적 및 각 파노라마 이미지 프레임의 포즈 정보를 기반으로 대상 영역의 비전 지도를 구축하도록 구성되는 지도 구축 유닛(503)을 포함한다.

본 실시예에 있어서, 특징 매칭 유닛(502)은, 파노라마 이미지 시퀀스 중의 제1 파노라마 이미지 프레임을 대상 프레임으로 결정하고, 파노라마 이미지 시퀀스 중 대상 프레임 뒤에 따르는 기정 수량의 파노라마 이미지 프레임을 매칭 프레임 시퀀스로 결정하도록 구성되되, 기정 수량은 1보다 큰 대상 프레임 결정 유닛과, 대상 프레임에 대응하는 원근 이미지 시퀀스, 매칭 프레임 시퀀스 중 각 매칭 프레임에 대응하는 원근 이미지 시퀀스를 각각 기정의 슬라이드 창에 판독시켜, 슬라이드 창에서 대상 프레임과 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 기반으로 부분 특징 궤적을 획득하도록 구성되는 슬라이드 창 매칭 유닛과, 대상 프레임과 각 매칭 프레임의 프레임 간 특징 포인트 매칭의 완료에 응답하여, 슬라이드 창을 비우고, 파노라마 이미지 시퀀스로부터 대상 프레임을 삭제하여, 업데이트된 파노라마 이미지 시퀀스를 획득하도록 구성되는 시퀀스 업데이트 유닛과, 파노라마 이미지 시퀀스 중의 마지막 파노라마 이미지 프레임이 이미 매칭 프레임으로서 대상 프레임과 프레임 간 특징 포인트 매칭이 완료될 때까지, 업데이트된 파노라마 이미지 시퀀스에 대해 특징 포인트 매칭 동작을 수행하여, 특징 궤적을 획득하도록 구성되는 궤적 획득 유닛을 포함한다.

본 실시예에 있어서, 슬라이드 창 매칭 유닛은, 슬라이드 창에서 대상 프레임과 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 부분 특징 궤적으로 이용하는 방식을 통해 부분 특징 궤적을 획득하도록 구성된다.

본 실시예에 있어서, 슬라이드 창 매칭 유닛은, 슬라이드 창에서 대상 프레임과 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 제1 매칭 결과로 이용하고, 대상 프레임에 대응하는 원근 이미지 시퀀스 중의 각 원근 이미지를 각각 대상 프레임과의 거리가 가장 가까운 매칭 프레임에 대응하는 원근 이미지 시퀀스와 프레임 간 특징 포인트 매칭을 진행하여, 제2 매칭 결과를 획득하고, 제1 매칭 결과 및 제2 매칭 결과를 기반으로 부분 특징 궤적을 획득하는 방식을 통해 부분 특징 궤적을 획득하도록 더 구성된다.

본 실시예에 있어서, 해당 장치는, 각 파노라마 이미지 프레임에 대해 시맨틱 분할을 진행하고, 기정의 분할 대상을 각 파노라마 이미지 프레임으로부터 삭제하여, 사전 처리된 파노라마 이미지 프레임을 획득하는 단계와, 사전 처리된 파노라마 이미지 프레임으로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하는 단계를 수행하도록 구성되는 시맨틱 분할 유닛을 더 포함한다.

본 실시예에 있어서, 해당 장치는, 비전 지도에 대해, 비전 지도 중의 특징 포인트에 대해 삼각 측량 단계를 수행하여, 특징 포인트의 3차원 좌표를 결정하는 단계와, 특징 포인트 및 포즈 정보에 대해 비전 제약 및 상대적 포즈 제약 기반의 글로벌 빔 조정 최적화 단계를 수행하여, 업데이트된 특징 포인트 및 포즈 정보를 획득하는 단계와, 업데이트된 특징 포인트에 대해 RANSAC 기반의 삼각 측량 단계를 수행하여 특징 포인트 중의 매칭 오류 포인트를 삭제하여, 2차 업데이트된 특징 포인트를 획득하는 단계와, 업데이트된 포즈 정보 및 2차 업데이트된 특징 포인트에 대해 다시 비전 제약 및 상대적 포즈 제약 기반의 글로벌 빔 조정 최적화 단계를 수행하여, 2차 업데이트된 포즈 정보 및 3차 업데이트된 특징 포인트를 획득하는 단계와, 2차 업데이트된 포즈 정보 및 3차 업데이트된 특징 포인트를 기반으로 업데이트된 비전 지도를 결정하는 단계를 수행하도록 구성되는 지도 업데이트 유닛을 더 포함한다.

아래에 도 6을 참조하면, 이는 본 개시의 실시예를 구현하기에 적합한 전자 기기(600)(예컨대, 도 1 중의 서버 또는 단말기 장치)의 구조의 개략도를 나타낸다. 본 개시의 실시예 중의 단말기 장치는, 휴대폰, 랩톱 컴퓨터, 디지털 방송 수신기, PDA (개인용 디지털 어시스트), PAD (태블릿 PC), PMP (휴대용 멀티미디어 플레이어), 차량용 단말기(예컨대, 차량용 내비게이션 단말기) 등과 같은 모바일 단말기, 및 디지털 TV, 데스크톱 컴퓨터 등과 같은 고정 단말기를 포함할 수 있으나, 이에 한정되지 않는다. 도 6에 도시된 단말기 장치/서버는 단지 일 예시일 뿐, 본 개시의 실시예의 기능 및 사용 범위에 대한 임의의 한정으로 간주하여서는 아니된다.

도 6에 도시된 바와 같이, 전자 기기(600)는 처리 장치(601)(예컨대, 중앙 프로세서, 그래픽 프로세서 등)을 포함할 수 있으며, 이는 판독 전용 메모리 장치(602; ROM)에 저장된 프로그램 또는 저장부(608)로부터 랜덤 액세스 메모리 장치(603; RAM)에 로딩된 프로그램에 의해 다양한 적당한 동작과 처리를 수행할 수 있다. RAM(603)에는 전자 기기(600)의 동작에 필요한 다양한 프로그램 및 데이터가 더 저장된다. 처리 장치(601), ROM(602) 및 RAM(603)은 버스라인(604)을 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(605)도 버스라인(604)에 연결된다.

통상적으로, I/O 인터페이스(605)에 연결될 수 있는 장치로서, 예컨대 터치 스크린, 터치보드, 키보드, 마우스, 카메라, 마이크, 가속도계, 자이로 스코프 등을 포함하는 입력 장치(606)와, 예컨대 액정 표시 장치(LCD), 스피커, 진동기 등을 포함하는 출력 장치(607)와, 예컨대 카세트 테이프, 하드 디스크 등과 같은 메모리 장치(608)와, 통신 장치(609)가 있다. 통신 장치(609)는 전자 기기(600)가 기타의 기기와 무선 또는 유선 통신을 진행하여 데이터를 교환하는 것을 허용할 수 있다. 도 6은 다양한 장치를 구비하는 전자 기기(600)를 도시하였으나, 도시된 모든 장치를 실시하거나 구비하는 것을 요구하지 않음을 이해하여야 한다. 대체적으로 보다 많거나 보다 적은 장치를 실시하거나 구비할 수 있다. 도 6에 도시된 각 블록은 하나의 장치를 대표할 수 있으며, 수요에 따라 다수의 장치를 대표할 수도 있다.

특히, 본 개시의 실시예에 의하면, 흐름도를 참조하여 설명한 상기 과정들은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있다. 예를 들어, 본 개시의 실시예는 컴퓨터 프로그램 제품을 포함하고, 상기 컴퓨터 프로그램 제품은 컴퓨터 판독 가능한 매체에 유형적으로 적재된 컴퓨터 프로그램을 포함하며, 해당 컴퓨터 프로그램은 흐름도에 도시된 방법을 수행하기 위한 컴퓨터 코드를 포함한다. 이러한 실시예에 있어서, 해당 컴퓨터 프로그램은 통신 장치(609)를 경유하여 네트워크로부터 다운로드되어 설치되거나, 또는 메모리 장치(608)로부터 설치되거나, 또는 ROM(602)으로부터 설치될 수 있다. 해당 컴퓨터 프로그램이 처리 장치(601)에 의해 수행될 경우, 본 개시의 실시예의 방법에 한정된 상술한 기능을 수행시킨다. 본 개시의 실시예에 상술한 컴퓨터 판독 가능한 매체는컴퓨터 판독 가능한 저장 매체일 수 있음을 설명하고자 한다. 컴퓨터 판독 가능한 저장 매체는 예컨대 전기, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 소자, 또는 이들의 임의의 조합일 수 있으나, 이에 한정되지 않는다. 컴퓨터 판독 가능한 저장 매체의 보다 구체적인 예시로서, 하나 또는 다수의 도선을 구비하는 전기적 연결, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 및 프로그래밍 가능한 판독 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 콤팩트 디스크 판독 전용 메모리(CD-ROM), 광학 메모리 소자, 자기 메모리 소자, 또는 이들의 임의의 적합한 조합을 포함할 수 있으나, 이에 한정되지 않는다. 본 개시의 실시예에 있어서, 컴퓨터 판독 가능한 저장 매체는 프로그램을 포함하거나 저장하는 유형 매체일 수 있고, 해당 프로그램은 명령어 실행 시스템, 장치 또는 소자에 의해 사용되거나 이들과 결합되어 사용될 수 있다. 컴퓨터 판독 가능한 매체에 포함된 프로그램 코드는 전선, 광섬유 케이블, RF(주파수) 등, 또는 이들의 임의의 적합한 조합을 포함하는 임의의 적당한 매체로 전송할 수 있으나, 이에 한정되지 않는다.

상술한 컴퓨터 판독 가능한 매체는 상술한 전자 기기에 포함된 것일 수 있으며, 별도로 존재하여 해당 기기에 장착되지 않은 것일 수도 있다. 상술한 컴퓨터 판독 가능한 매체에는 하나 또는 다수의 프로그램이 적재되고, 상술한 하나 또는 다수의 프로그램이 해당 전자 기기에 의해 수행될 경우, 해당 전자기기로, 대상 영역의 파노라마 이미지 시퀀스로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하고, 인접한 각 파노라마 이미지 프레임에 대응하는 원근 이미지 시퀀스를 기반으로 파노라마 이미지 시퀀스에 대응하는 특징 궤적을 결정하고, 특징 궤적 및 각 파노라마 이미지 프레임의 포즈 정보를 기반으로 대상 영역의 비전 지도를 구축한다.

본 개시의 실시예의 동작을 실행하기 위한 컴퓨터 프로그램 코드는 한가지 또는 여러가지 프로그래밍 언어 또는 이들의 조합으로 작성될 수 있으며, 프로그래밍 언어는 Java, Smalltalk, C++와 같은 객체 지향의 프로그래밍 언어를 포함하며, "C" 언어 또는 유사한 프로그래밍 언어와 같은 범용의 절차적 프로그래밍 언어를 포함하기도 한다. 프로그램 코드는 완전히 사용자 컴퓨터에서 실행되거나, 부분적으로 사용자 컴퓨터에서 실행되어 독립적인 소프트웨어 패킷으로서 실행되거나, 부분적으로 사용자 컴퓨터에서 실행되고 부분적으로 원격 컴퓨터에서 실행되거나, 또는, 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터에 관련된 정경에 있어서, 원격 컴퓨터는 임의의 유형의 네트워크(근거리 통신망(LAN) 또는 광역 통신망(WAN))를 통해 사용자 컴퓨터에 연결될 수 있으며, 또는, 외부 컴퓨터에 연결될 수 있으며, 예컨대, 인터넷 서비스 제공 업체를 이용하여 인터넷을 통해 연결될 수 있다.

첨부된 도면 중의 흐름도 및 블록도는 본 개시의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계구조, 기능 및 동작을 도시하였다. 이러한 방면에서, 흐름도 또는 블록도 중의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 코드의 일부분을 대표할 수 있고, 해당 모듈, 프로그램 세그먼트 또는 코드의 일부분은 규정된 로직 기능을 구현하기 위한 하나 또는 다수의 실행 가능한 명령어를 포함한다. 일부 대체 구현에 있어서, 블록에 표기된 기능들은 첨부된 도면에 표기된 순서와 다른 순서로 발생할 수도 있음을 유의하여야 한다. 예를 들어, 순차적으로 표시된 두개의 블록은 실제적으로 거의 동시에 실행될 수 있고, 경우에 따라 반대된 순서에 따라 실행될 수도 있으며, 이는 관련된 기능에 따라 결정된다. 블록도 및/또는 흐름도 중의 각 블록 및 블록도 및/또는 흐름도 중의 블록들의 조합은 규정된 기능 또는 동작을 실행하는 하드웨어 기반의 전용 시스템으로 구현되거나, 전용 하드웨어와 컴퓨터 명령어의 조합으로 구현될 수 있음을 유의하여야 한다.

본 개시의 실시예에 설명된 관련된 유닛은 소프트웨어 방식으로 구현될 수 있으며, 하드웨어 방식으로 구현될 수도 있다. 설명된 유닛은 프로세서에 설치될 수 있으며, 예를 들어, 일 프로세서가 이미지 처리 유닛, 특징 매칭 유닛 및 지도 구축 유닛을 포함하는 것으로 설명할 수 있다. 여기서, 이러한 유닛의 명칭은 일부의 경우에 해당 모듈 자체에 대한 한정을 구성하지 않으며, 예를 들어, 이미지 처리 유닛은 "대상 영역의 파노라마 이미지 시퀀스로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하는 유닛"으로 설명될 수도 있다.

이상의 설명은 단지 본 개시의 비교적 바람직한 실시예 및 운용한 기술적 원리에 대한 설명이다. 본 개시의 실시예에 관련된 발명의 범위는 상기 기술적 특징들의 특정 조합으로 이루어진 기술적 방안들에 한정되는 것이 아니라, 본 발명의 주지를 벗어나지 않고서 상기 기술적 특징들 또는 그들의 균등한 특징들의 임의의 조합으로 형성되는 기타의 기술적 방안들도 포함하여야 함을 해당 기술분야의 당업자는 이해하여야 한다. 예를 들어, 상기 특징들과 본 개시의 실시예에 개시되어 있으나 이에 한정되지 않는 유사한 기능을 구비한 기술적 특징을 서로 대체하여 형성되는 기술적 방안도 포함한다.

Claims

지도를 구축하기 위한 방법에 있어서,
대상 영역의 파노라마 이미지 시퀀스로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하는 단계와,
인접한 각 파노라마 이미지 프레임에 대응하는 원근 이미지 시퀀스를 기반으로 상기 파노라마 이미지 시퀀스에 대응하는 특징 궤적을 결정하는 단계와,
상기 특징 궤적 및 상기 각 파노라마 이미지 프레임의 포즈 정보를 기반으로 상기 대상 영역의 비전 지도를 구축하는 단계를 포함하는 지도를 구축하기 위한 방법.
제1항에 있어서,
상기 특징 궤적은 상기 파노라마 이미지 시퀀스에 대해 특징 포인트 매칭 단계를 수행하여 획득한 것으로, 상기 특징 포인트 매칭 단계는,
상기 파노라마 이미지 시퀀스 중의 제1 파노라마 이미지 프레임을 대상 프레임으로 결정하고, 상기 파노라마 이미지 시퀀스 중 상기 대상 프레임 뒤에 따르는 기정 수량의 파노라마 이미지 프레임을 매칭 프레임 시퀀스로 결정하는 단계 - 상기 기정 수량은 1보다 큼 -,
상기 대상 프레임에 대응하는 원근 이미지 시퀀스, 상기 매칭 프레임 시퀀스 중 각 매칭 프레임에 대응하는 원근 이미지 시퀀스를 각각 기정의 슬라이드 창에 판독시켜, 상기 슬라이드 창에서 상기 대상 프레임과 상기 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 기반으로 부분 특징 궤적을 획득하는 단계와,
상기 대상 프레임과 각 매칭 프레임의 프레임 간 특징 포인트 매칭의 완료에 응답하여, 상기 슬라이드 창을 비우고, 상기 파노라마 이미지 시퀀스로부터 상기 대상 프레임을 삭제하여, 업데이트된 파노라마 이미지 시퀀스를 획득하는 단계와,
상기 파노라마 이미지 시퀀스 중의 마지막 파노라마 이미지 프레임이 이미 매칭 프레임으로서 상기 대상 프레임과 프레임 간 특징 포인트 매칭이 완료될 때까지, 상기 업데이트된 파노라마 이미지 시퀀스에 대해 특징 포인트 매칭 동작을 수행하여, 상기 특징 궤적을 획득하는 단계를 포함하는 것을 특징으로 하는 지도를 구축하기 위한 방법.
제2항에 있어서,
상기 슬라이드 창에서 상기 대상 프레임과 상기 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 기반으로 부분 특징 궤적을 획득하는 상기 단계는,
상기 슬라이드 창에서 상기 대상 프레임과 상기 각 매칭 프레임의 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 부분 특징 궤적으로 이용하는 단계를 포함하는 것을 특징으로 하는 지도를 구축하기 위한 방법.
제2항에 있어서,
상기 슬라이드 창에서 상기 대상 프레임과 상기 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 기반으로 부분 특징 궤적을 획득하는 상기 단계는,
상기 슬라이드 창에서 상기 대상 프레임과 상기 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 제1 매칭 결과로 이용하는 단계와,
상기 대상 프레임에 대응하는 원근 이미지 시퀀스 중의 각 원근 이미지를 각각 상기 대상 프레임과의 거리가 가장 가까운 매칭 프레임에 대응하는 원근 이미지 시퀀스와 프레임 간 특징 포인트 매칭을 진행하여, 제2 매칭 결과를 획득하는 단계와,
상기 제1 매칭 결과 및 상기 제2 매칭 결과를 기반으로 부분 특징 궤적을 획득하는 단계를 포함하는 것을 특징으로 하는 지도를 구축하기 위한 방법.
제1항에 있어서,
상기 대상 영역의 파노라마 이미지 시퀀스로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하는 단계는,
각 파노라마 이미지 프레임에 대해 시맨틱 분할을 진행하고, 기정의 분할 대상을 상기 각 파노라마 이미지 프레임으로부터 삭제하여, 사전 처리된 파노라마 이미지 프레임을 획득하는 단계와,
사전 처리된 파노라마 이미지 프레임으로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하는 단계를 포함하는 것을 특징으로 하는 지도를 구축하기 위한 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 비전 지도에 대해, 상기 비전 지도 중의 특징 포인트에 대해 삼각 측량 단계를 수행하여, 상기 특징 포인트의 3차원 좌표를 결정하는 단계와,
상기 특징 포인트 및 포즈 정보에 대해 비전 제약 및 상대적 포즈 제약 기반의 글로벌 빔 조정 최적화 단계를 수행하여, 업데이트된 특징 포인트 및 포즈 정보를 획득하는 단계와,
상기 업데이트된 특징 포인트에 대해 RANSAC 기반의 삼각 측량 단계를 수행하여 상기 특징 포인트 중의 매칭 오류 포인트를 삭제하여, 2차 업데이트된 특징 포인트를 획득하는 단계와,
상기 업데이트된 포즈 정보 및 상기 2차 업데이트된 특징 포인트에 대해 다시 비전 제약 및 상대적 포즈 제약 기반의 글로벌 빔 조정 최적화 단계를 수행하여, 2차 업데이트된 포즈 정보 및 3차 업데이트된 특징 포인트를 획득하는 단계와,
상기 2차 업데이트된 포즈 정보 및 3차 업데이트된 특징 포인트를 기반으로 업데이트된 비전 지도를 결정하는 단계를 더 포함하는 것을 특징으로 하는 지도를 구축하기 위한 방법.
지도를 구축하기 위한 장치에 있어서,
대상 영역의 파노라마 이미지 시퀀스로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하도록 구성되는 이미지 처리 유닛과,
인접한 각 파노라마 이미지 프레임에 대응하는 원근 이미지 시퀀스를 기반으로 상기 파노라마 이미지 시퀀스에 대응하는 특징 궤적을 결정하도록 구성되는 특징 매칭 유닛과,
상기 특징 궤적 및 상기 각 파노라마 이미지 프레임의 포즈 정보를 기반으로 상기 대상 영역의 비전 지도를 구축하도록 구성되는 지도 구축 유닛을 포함하는 지도를 구축하기 위한 장치.
제7항에 있어서,
상기 특징 매칭 유닛은,
상기 파노라마 이미지 시퀀스 중의 제1 파노라마 이미지 프레임을 대상 프레임으로 결정하고, 상기 파노라마 이미지 시퀀스 중 상기 대상 프레임 뒤에 따르는 기정 수량의 파노라마 이미지 프레임을 매칭 프레임 시퀀스로 결정하도록 구성되는 대상 프레임 결정 유닛 - 상기 기정 수량은 1보다 큼- 과,
상기 대상 프레임에 대응하는 원근 이미지 시퀀스, 상기 매칭 프레임 시퀀스 중 각 매칭 프레임에 대응하는 원근 이미지 시퀀스를 각각 기정의 슬라이드 창에 판독시켜, 상기 슬라이드 창에서 상기 대상 프레임과 상기 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 기반으로 부분 특징 궤적을 획득하도록 구성되는 슬라이드 창 매칭 유닛과,
상기 대상 프레임과 각 매칭 프레임의 프레임 간 특징 포인트 매칭의 완료에 응답하여, 상기 슬라이드 창을 비우고, 상기 파노라마 이미지 시퀀스로부터 상기 대상 프레임을 삭제하여, 업데이트된 파노라마 이미지 시퀀스를 획득하도록 구성되는 시퀀스 업데이트 유닛과,
상기 파노라마 이미지 시퀀스 중의 마지막 파노라마 이미지 프레임이 이미 매칭 프레임으로서 상기 대상 프레임과 프레임 간 특징 포인트 매칭이 완료될 때까지, 상기 업데이트된 파노라마 이미지 시퀀스에 대해 특징 포인트 매칭 동작을 수행하여, 상기 특징 궤적을 획득하도록 구성되는 궤적 획득 유닛을 포함하는 것을 특징으로 하는 지도를 구축하기 위한 장치.
제8항에 있어서,
상기 슬라이드 창 매칭 유닛은,
상기 슬라이드 창에서 상기 대상 프레임과 상기 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 부분 특징 궤적으로 이용하는 방식을 통해 상기 부분 특징 궤적을 획득하도록 구성되는 것을 특징으로 하는 지도를 구축하기 위한 장치.
제8항에 있어서,
상기 슬라이드 창 매칭 유닛은,
상기 슬라이드 창에서 상기 대상 프레임과 상기 각 매칭 프레임에 대응하는 원근 이미지 시퀀스에 대해 프레임 간 특징 포인트 매칭을 진행한 결과를 제1 매칭 결과로 이용하고,
상기 대상 프레임에 대응하는 원근 이미지 시퀀스 중의 각 원근 이미지를 각각 상기 대상 프레임과의 거리가 가장 가까운 매칭 프레임에 대응하는 원근 이미지 시퀀스와 프레임 간 특징 포인트 매칭을 진행하여, 제2 매칭 결과를 획득하고,
상기 제1 매칭 결과 및 상기 제2 매칭 결과를 기반으로 부분 특징 궤적을 획득하는 방식을 통해 상기 부분 특징 궤적을 획득하도록 더 구성되는 것을 특징으로 하는 지도를 구축하기 위한 장치.
제7항에 있어서,
각 파노라마 이미지 프레임에 대해 시맨틱 분할을 진행하고, 기정의 분할 대상을 상기 각 파노라마 이미지 프레임으로부터 삭제하여, 사전 처리된 파노라마 이미지 프레임을 획득하는 단계와,
사전 처리된 파노라마 이미지 프레임으로부터 각 파노라마 이미지 프레임의 포즈 정보를 결정하고, 각 파노라마 이미지 프레임으로부터 하나의 원근 이미지 시퀀스를 결정하는 단계를 수행하도록 구성되는 시맨틱 분할 유닛을 더 포함하는 것을 특징으로 하는 지도를 구축하기 위한 장치.
제7항 내지 제11항 중 어느 한 항에 있어서,
상기 비전 지도에 대해, 상기 비전 지도 중의 특징 포인트에 대해 삼각 측량 단계를 수행하여, 상기 특징 포인트의 3차원 좌표를 결정하는 단계와,
상기 특징 포인트 및 포즈 정보에 대해 비전 제약 및 상대적 포즈 제약 기반의 글로벌 빔 조정 최적화 단계를 수행하여, 업데이트된 특징 포인트 및 포즈 정보를 획득하는 단계와,
상기 업데이트된 특징 포인트에 대해 RANSAC 기반의 삼각 측량 단계를 수행하여 상기 특징 포인트 중의 매칭 오류 포인트를 삭제하여, 2차 업데이트된 특징 포인트를 획득하는 단계와,
상기 업데이트된 포즈 정보 및 상기 2차 업데이트된 특징 포인트에 대해 다시 비전 제약 및 상대적 포즈 제약 기반의 글로벌 빔 조정 최적화 단계를 수행하여, 2차 업데이트된 포즈 정보 및 3차 업데이트된 특징 포인트를 획득하는 단계와,
상기 2차 업데이트된 포즈 정보 및 3차 업데이트된 특징 포인트를 기반으로 업데이트된 비전 지도를 결정하는 단계를 수행하도록 구성되는 지도 업데이트 유닛을 더 포함하는 것을 특징으로 하는 지도를 구축하기 위한 장치.
전자 기기에 있어서,
하나 또는 다수의 프로세서와,
하나 또는 다수의 프로그램이 저장된 메모리 장치를 포함하되,
상기 하나 또는 다수의 프로그램이 상기 하나 또는 다수의 프로세서에 의해 수행될 경우, 제1항에 따른 지도를 구축하기 위한 방법을 구현하는 전자 기기.
컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체에 있어서,
상기 컴퓨터 프로그램이 프로세서에 의해 수행될 경우, 제1항에 따른 지도를 구축하기 위한 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 프로세서에 의해 실행될 경우 제1항에 따른 지도를 구축하기 위한 방법을 수행하는 것을 특징으로 하는 컴퓨터 프로그램.