KR20210064019A

KR20210064019A - 포지셔닝 정보를 획득하는 방법, 장치 및 매체

Info

Publication number: KR20210064019A
Application number: KR1020200038705A
Authority: KR
Inventors: 위통 장
Original assignee: 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드
Priority date: 2019-11-22
Filing date: 2020-03-31
Publication date: 2021-06-02
Also published as: CN111105454A; KR102410879B1; CN111105454B; US20210158560A1; EP3825960A1; JP2021082244A

Abstract

본 발명은 포지셔닝 정보를 획득하는 방법, 장치 및 매체에 관한 것이다. 상기 방법은, 이미지 정보 및 이미지 정보의 관련 정보를 획득하는 단계 - 관련 정보는 뎁스맵, 포인트 클라우드 맵, 리포지셔닝 후의 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산을 포함함 - ; 뎁스맵에 기반하여, 공간적 장애 포인트의 3 차원 좌표를 획득하는 단계; 리포지셔닝 포즈, 리포지셔닝된 포지셔닝 분산 및 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하는 단계; 공간적 장애 포인트의 3 차원 좌표와 환경 3 차원 좌표를 스캔 매칭시켜, 매칭 결과 정보를 얻는 단계; 및 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하는 단계를 포함한다. 상기 방법은 기존의 시각적 포지셔닝 시스템에서 리포지셔닝 모듈이 시각적 알고리즘을 지나치게 의존하여 야기되는 포지셔닝 견고성이 약한 단점을 해결함으로써, 포지셔닝의 견고성을 증가시킨다.

Description

포지셔닝 정보를 획득하는 방법, 장치 및 매체{METHOD AND DEVICE FOR OBTAINING POSITIONING INFORMATION AND MEDIUM}

본 발명은 시각적 포지셔닝 기술분야에 관한 것으로서, 특히 포지셔닝 정보를 획득하는 방법, 장치 및 매체에 관한 것이다.

시각적 포지셔닝 기술은 머신 시각을 통해 포지셔닝 작업을 완료하는 것을 가리키고, 이는 최근 증강현실(Augmented Reality, AR) 기술 및 모바일 로봇 분야의 연구 핫스팟으로서, 다음과 같이 반영된다. 한편으로, 많은 핸드폰 제조 업체가 핸드폰의 카메라 및 시각적 포지셔닝 알고리즘을 이용하여 일부 핸드폰의 AR 기능을 구현하였지만, 기존 포지셔닝 기술의 정확도의 제한으로 인해, 핸드폰의 AR의 응용을 제약하므로, 핸드폰 제조 업체는 시각적 포지셔닝의 연구에 전념하며; 다른 한편으로, 기존의 레이저 등 센서에 비해 머신 시각적의 장점으로 인해, 기존 문제를 해결하기 위해, 일부 모바일 로봇 회사도 시각적 포지셔닝 연구 개발에 꾸준히 투자하고 있다.

관련 기술에서 존재하는 문제를 해결하기 위해, 시각적 포지셔닝이 실제 환경에서 포지셔닝의 견고성을 향상시키도록, 본 발명은 포지셔닝 정보를 획득하는 방법, 장치 및 매체를 제공한다.

본 발명의 실시예의 제1 측면에 따르면, 포지셔닝 정보를 획득하는 방법을 제공하고, 상기 방법은,

이미지 정보, 및 상기 이미지 정보의 관련 정보를 획득하는 단계 - 상기 관련 정보는 뎁스맵, 포인트 클라우드 맵, 리포지셔닝 후의 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산을 포함함 - ;

상기 뎁스맵에 기반하여, 공간적 장애 포인트의 3 차원 좌표를 획득하는 단계;

상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하는 단계;

상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜, 매칭 결과 정보를 얻는 단계; 및

상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하는 단계를 포함한다.

여기서, 상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하는 단계는,

상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여, 입자 세트를 획득하는 단계 - 상기 입자 세트 중 각 입자는 하나의 상기 타겟 포즈에 대응됨 - ; 및

상기 포인트 클라우드 맵에 기반하여, 각 입자의 상기 환경 3 차원 좌표를 획득하는 단계 - 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표는 상기 타겟 포즈에 대응되는 입자의 환경 3 차원 좌표임 - 를 포함한다.

여기서, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 입자 세트를 획득하는 단계는,

상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여, 가우시안 확률 분포의 확률 밀도를 획득하는 단계; 및

상기 가우시안 확률 분포의 확률 밀도에 따라, 상기 리포지셔닝 포즈를 샘플링하여, 상기 입자 세트를 획득하는 단계를 포함하고;

상기 포인트 클라우드 맵에 기반하여 각 입자의 상기 환경 3 차원 좌표를 획득하는 단계는,

상기 포인트 클라우드 맵에 기반하여, 레이 캐스팅 알고리즘을 통해 각 입자의 상기 환경 3 차원 좌표를 획득하는 단계를 포함한다.

여기서, 상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜 매칭 결과 정보를 얻고, 상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하는 단계는,

상기 공간적 장애 포인트의 3 차원 좌표와 상기 각 입자의 환경 3 차원 좌표를 스캔 매칭시키는 것을 통해, 상기 각 입자의 매칭 점수를 획득하는 단계; 및

최고 매칭 점수가 기설정된 임계값보다 클 경우, 상기 리포지셔닝 포즈를 포지셔닝 결과로 결정하는 단계를 포함한다.

여기서, 상기 공간적 장애 포인트의 3 차원 좌표와 상기 각 입자의 환경 3 차원 좌표를 스캔 매칭시키는 것을 통해, 상기 각 입자의 매칭 점수를 획득하는 단계는,

우도 필드 모델을 이용하여, 상기 공간적 장애 포인트의 3 차원 좌표와 상기 각 입자의 환경 3 차원 좌표를 스캔 매칭시켜, 상기 각 입자의 매칭 점수를 획득하는 단계를 포함한다.

본 발명의 실시예의 제2 측면에 따르면, 포지셔닝 정보를 획득하는 장치를 제공하고, 상기 장치는,

이미지 정보, 및 상기 이미지 정보의 관련 정보를 획득하도록 구성된 획득 모듈 - 상기 관련 정보는 뎁스맵, 포인트 클라우드 맵, 리포지셔닝 후의 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산을 포함함 - ;

상기 뎁스맵에 기반하여, 공간적 장애 포인트의 3 차원 좌표를 획득하도록 구성된 장애 포인트 좌표 계산 모듈;

상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하도록 구성된 환경 좌표 계산 모듈; 및

상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜, 매칭 결과 정보를 얻고; 상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하도록 구성된 스캔 매칭 모듈을 포함한다.

여기서, 상기 환경 좌표 계산 모듈은 또한,

상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여, 입자 세트를 획득하고 - 상기 입자 세트 중 각 입자는 하나의 상기 타겟 포즈에 대응됨 - ;

상기 포인트 클라우드 맵에 기반하여, 각 입자의 상기 환경 3 차원 좌표를 획득하도록 구성되며, 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표는 상기 타겟 포즈에 대응되는 입자의 환경 3 차원 좌표이다.

여기서, 상기 환경 좌표 계산 모듈은 또한,

상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여, 가우시안 확률 분포의 확률 밀도를 획득하고;

상기 가우시안 확률 분포의 확률 밀도에 따라, 상기 리포지셔닝 포즈를 샘플링하여, 상기 입자 세트를 획득하며;

상기 포인트 클라우드 맵에 기반하여, 레이 캐스팅 알고리즘을 통해 각 입자의 상기 환경 3 차원 좌표를 획득하도록 구성된다.

여기서, 상기 스캔 매칭 모듈은 또한,

상기 공간적 장애 포인트의 3 차원 좌표와 상기 각 입자의 환경 3 차원 좌표를 스캔 매칭시키는 것을 통해, 상기 각 입자의 매칭 점수를 획득하고,

최고 매칭 점수가 기설정된 임계값보다 클 경우, 상기 리포지셔닝 포즈를 포지셔닝 결과로 결정하도록 구성된다.

여기서, 상기 스캔 매칭 모듈은 또한,

우도 필드 모델을 이용하여, 상기 공간적 장애 포인트의 3 차원 좌표와 상기 각 입자의 환경 3 차원 좌표를 스캔 매칭시켜, 상기 각 입자의 매칭 점수를 획득하도록 구성된다.

본 발명의 실시예의 제3 측면에 따르면, 포지셔닝 정보를 획득하는 장치를 제공하고, 상기 장치는,

프로세서; 및

프로세서에 의해 실행될 수 있는 명령어를 저장하기 위한 메모리를 포함하고;

여기서, 상기 프로세서는,

이미지 정보, 및 상기 이미지 정보의 관련 정보를 획득하고 - 상기 관련 정보는 뎁스맵, 포인트 클라우드 맵, 리포지셔닝 후의 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산을 포함함 - ;

상기 뎁스맵에 기반하여, 공간적 장애 포인트의 3 차원 좌표를 획득하며;

상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하며;

상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜, 매칭 결과 정보를 얻으며;

상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하도록 구성된다.

본 발명의 실시예의 제4 측면에 따르면, 비 일시적 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 저장 매체에서의 명령어가 단말의 프로세서에 의해 실행될 경우, 단말로 하여금 포지셔닝 정보를 획득하는 방법을 실행할 수 있도록 하며, 상기 방법은,

본 발명의 실시예에서 제공하는 기술방안에 있어서, 기존 포지셔닝 기기를 사용하면, 추가적인 하드웨어 센싱 기기를 추가하거나, 시각적 포지셔닝 시스템의 주요 아키텍처를 변경할 필요가 없이, 뎁스맵을 통해 공간적 장애 포인트의 3 차원 좌표를 획득하고, 리포지셔닝 포즈, 포지셔닝 분산 및 포인트 클라우드 맵을 통해 각 추측된 포즈에 대응되는 환경 3 차원 좌표를 획득하며, 공간적 장애 포인트의 3 차원 좌표와 각 추측된 포즈에 대응되는 환경 3 차원 좌표를 스캔 매칭시켜, 리포지셔닝 포즈가 사용 가능한지 여부를 결정함으로써, 포지셔닝 정보를 획득한다. 상기 방식을 통해, 기존의 시각적 포지셔닝 시스템에서 리포지셔닝 모듈이 시각적 알고리즘을 지나치게 의존하여 야기되는 포지셔닝 견고성이 약한 단점을 해결함으로써, 포지셔닝의 견고성을 증가시킨다.

설명해야 할 것은, 레이저 센서를 추가하여 알고리즘 융합을 수행하거나, 지상 이동 로봇을 사용하는 분야에서 로봇 본체에 설치된 코드 디스크를 사용하여 알고리즘 융합을 수행하는 것과 같이 시각적 포지셔닝 시스템 외에 추가적인 센서를 추가하여, 상기 문제를 해결할 수도 있다. 그러나, 이러한 외부 센서를 추가하는 방안은 비용, 전력 소비 및 체적 측면에서, 모두 이점을 갖고 있지 않는다. 본 방법은 추가적인 하드웨어 센싱 기기를 추가할 필요 없이, 병렬 모듈을 추가하는 방법을 통해, 시각적 포지셔닝 시스템에서 리포지셔닝 모듈이 실제 작동 중 포지셔닝 에러의 문제를 해결함으로써, 시각적 포지셔닝 시스템의 실제 환경에서의 포지셔닝의 견고성을 향상시킨다.

이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 예시적이고 한정적인 것이며 본 발명을 한정하지 않는다.

본문의 도면은 본 명세서에 포함되어 본 명세서의 일부를 구성하며, 본 발명에 부합되는 실시예를 도시하고, 명세서와 함께 본 발명의 원리의 해석에 사용된다.
도 1은 현재 시각적 포지셔닝 중 리포지셔닝의 프로세스 예시도이다.
도 2는 일 예시적 실시예에 따라 도시된 포지셔닝 정보를 획득하는 방법의 흐름도이다.
도 3은 일 예시적 실시예에 따라 도시된 상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하는 단계의 흐름도이다.
도 4는 일 예시적 실시예에 따라 도시된 상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하는 단계의 흐름도이다.
도 5는 일 예시적 실시예에 따라 도시된 상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜 매칭 결과 정보를 얻고, 상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하는 단계의 흐름도이다.
도 6은 일 예시적 실시예에 따라 도시된 공간적 장애 포인트의 3 차원 좌표와 각 입자의 환경 3 차원 좌표를 스캔 매칭시키는 것을 통해, 각 입자의 매칭 점수를 획득하는 단계의 흐름도이다.
도 7은 일 예시적 실시예에 따라 도시된 포지셔닝 정보를 획득하는 방법의 흐름도이다.
도 8은 일 예시적 실시예에 따라 도시된 포지셔닝 정보를 획득하는 장치의 블록도이다.
도 9는 일 예시적 실시예에 따라 도시된 장치의 블록도이다.
도 10은 일 예시적 실시예에 따라 도시된 장치의 블록도이다.

아래에 예시적 실시예에 대해 상세히 설명하며, 그 예는 도면에 도시된다. 아래의 설명에서 도면을 참조할 때, 다른 표시가 없는 한, 상이한 도면에서의 동일한 숫자는 동일하거나 유사한 요소를 나타낸다. 아래의 예시적 실시예에서 설명된 실시형태는 본 발명과 일치하는 모든 실시형태를 나타내는 것은 아니다. 이와 반대로, 이들은 다만 청구범위에 상세히 설명된 바와 같이 본 발명의 일부 측면과 일치하는 장치 및 방법의 예일 뿐이다.

현재 개시된 시각적 포지셔닝 기술방안은 몇 가지가 있으며, 아래에 설명의 편의을 위해, 시각적 위치 측정 및 동시 지도화(simultaneous localization and mapping, SLAM) 기술을 예로 들어, 본 발명의 기술방안을 설명한다.

시각적 센서의 관점으로 말하면, 시각적 SLAM은 단안 + 관성 측정 장치(Inertial Measurement Unit, IMU) SLAM, 쌍안 SLAM 및 레드 그린 블루 깊이(Red Green Blue Depth, RGBD) - SLAM을 주로 포함한다. 이 세 가지 시각적 SLAM은 3 차원 시각적 계산 방법이 상이하나, 시각적 SLAM의 필요로 인해, 전체 시각적 SLAM의 프레임워크 컴포넌트는 대체적으로 동일하고, 프론드엔드 최적화 및 백엔드 최적화 두 부분을 포함하며, 포지셔닝, 매핑, 리포지셔닝, 클로즈 루프 이 네 개의 메인 모듈로 분할되며, 이 네 개의 모듈을 통해 SLAM의 작업을 완료한다. 리포지셔닝 모듈은 시각적 시스템에서의 포지셔닝 에러를 수정하는 방법으로서, 시각적 포지셔닝 시스템의 견고성을 향상시킴에 있어서 중요하지만, 많은 실제 시나리오의 네비게이션 포지셔닝에 있어서, 시각적 시스템의 특징 포인트의 분포가 유사하므로, 리포지셔닝 알고리즘이 실패하게 되어, 잘못된 포지셔닝을 정정할 수 없을뿐만 아니라, 잘못된 포지셔닝으로 더욱 쉽게 이어질 수 있다. 잘못된 포지셔닝이 생기면, 전체 기존 시각적 SLAM 시스템의 실패를 초래할 수 있다.

도 1은 현재 시각적 SLAM 리포지셔닝의 프로세스 예시도이고, 리포지셔닝 모듈은 이미지의 특징으로 입력되어, 리포지셔닝 후의 포즈를 출력하며, 시스템 자체의 포즈 추정을 최적화하는 프로세스를 수행한다.

그러나, 포즈 추정의 누적 오류 문제를 해결하기 위해 도입된 리포지셔닝 모듈은, 현실의 복잡한 시나리오로 인해, 리포지셔닝 모듈에 의해 사용된 알고리즘(예를 들어, 단어 주머니, Bag Of Words) 및 키 프레임 휴리스틱 선택 규칙은 키 프레임이 공간에서 양호한 분포를 갖는 동시에 모든 키 프레임 특징 벡터가 비교적 강한 차별성을 갖도록 보장하는 것이 어렵다. 이는 실제로 리포지셔닝 모듈에 의해 잘못된 포즈가 제공될 가능성이 있어, 포지셔닝 에러로 이어지며, 이 에러는 다음 정확한 리포지셔닝 전까지 시각적 SLAM 시스템 자체를 통해 제거될 수 없으므로, 시각적 SLAM 포지셔닝의 에러로 이어질 수 있다.

본 발명은 포지셔닝 정보를 획득하는 방법을 제공하고, 원래 시각적 포지셔닝 시스템의 기반 하에, 리포지셔닝 모듈 및 병렬된 처리 모듈을 추가하는 것을 통해, 리포지셔닝 모듈에 의해 출력된 포즈가 정확한지 여부를 결정하여, 시각적 포지셔닝의 견고성을 향상시킨다.

본 발명은 포지셔닝 정보를 획득하는 방법을 제공하고, 도 2에 도시된 바와 같이, 상기 방법은 아래와 같은 단계를 포함한다,

단계 201에 있어서, 이미지 정보, 및 상기 이미지 정보의 관련 정보를 획득하고, 상기 관련 정보는 뎁스맵, 포인트 클라우드 맵, 리포지셔닝 후의 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산을 포함한다.

단계 202에 있어서, 뎁스맵에 기반하여, 공간적 장애 포인트의 3 차원 좌표를 획득한다.

단계 203에 있어서, 상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득한다.

단계 204에 있어서, 상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜, 매칭 결과 정보를 얻는다.

단계 205에 있어서, 상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득한다.

단계 201에 있어서, 도 1에 도시된 바와 같은 포지셔닝 프로세스에서의 이미지 정보를 획득하고, 이미지 정보는 한 프레임 이미지일 수 있으며, 상기 프레임 이미지를 처리하여 포인트 클라우드 맵을 얻으며, 상기 프레임 이미지에 기반하여 리포지셔닝하여 리포지셔닝 포즈 및 상응하는 리포지셔닝된 포지셔닝 분산을 얻을 수 있다. 여기서 포인트 클라우드 맵, 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산은 도 1에 도시된 바와 같다. 또한, 획득된 뎁스맵은 상기 프레임 이미지와 대응된다. 즉, 상기 프레임 이미지 및 이에 대응되는 뎁스맵은 모두 동일한 시나리오에서 동일한 시각에 촬영된 것이다.

단계 201에서의 뎁스맵은 고밀도 뎁스맵을 가리키고, 쌍안 시각적 기기 및 RGBD 시각적 기기는 상기 고밀도 뎁스맵 정보를 직접 출력할 수 있으며, 단안 + IMU 시각적 기기는 비록 스파스 뎁스맵으로부터 추가로 처리하여 고밀도 뎁스맵을 획득할 수 있으나, 이미지 품질이 한정적이므로, 본 발명의 방법은 단안 + IMU 를 사용한 시각적 기기에 적용되지 않는다.

단계 202에 있어서, 뎁스맵에 기반하여 획득된 공간적 장애 포인트의 3 차원 좌표는, 비디오 카메라 공식을 통해 계산하여 얻을 수 있고, 이 계산 프로세스는 본 분야 기술분야의 기술자에게 알려져 있으므로, 여기서 더이상 반복하지 않는다.

단계 203에 있어서, 상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈 및 각 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하는 단계는, 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산에 기반하여 타겟 포즈를 획득하는 단계를 포함하고, 여기서 타겟 포즈는 입자로 나타내고, 입자 및 포인트 클라우드 맵을 통해 타겟 포즈에 대응되는 환경 3 차원 좌표가 획득된다. 구체적인 과정은 아래의 구체적인 실시예에서 설명된다.

단계 204 및 단계 205에 있어서, 스캔 매칭의 방식을 통해, 각 타겟 포즈에 대응되는 환경 3 차원 좌표와 공간적 장애 포인트의 3 차원 좌표를 매칭시키고, 매칭 점수를 계산하여, 이러한 타겟 포즈의 매칭 점수 중 최고 매칭 점수를 결정하며, 최고 매칭 점수가 기설정된 임계값보다 큰 요구사항을 만족시킬 경우, 금번 리포지셔닝 포즈가 정확한 것으로 간주되고, 최고 매칭 점수가 임계값의 요구사항을 만족시키지 못할 경우, 금번 리포지셔닝 포즈가 잘못된 것으로 간주되어, 상기 리포지셔닝의 결과를 사용하지 않는다.

상기 방법을 통해, 리포지셔닝 출력 포즈의 정확성을 보장함으로써, 리포지셔닝 모듈에 의해 잘못된 포즈 결과의 문제를 해결하여, 시각적 포지셔닝의 견고성을 향상시킨다.

도 2에 도시된 실시예에 대한 세부화 및 추가적인 확장으로서, 본 실시예는 다른 한 가지 포지셔닝 방법을 개시한다. 도 3을 참조하면, 도 3은 상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하는 단계의 흐름도이다. 도 3에 도시된 바와 같이, 도 2에 도시된 단계 203은 또한 아래와 같은 단계를 더 포함할 수 있다.

단계 301에 있어서, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여, 입자 세트를 획득하고, 상기 입자 세트 중 각 입자는 하나의 상기 타겟 포즈에 대응된다.

단계 302에 있어서, 상기 포인트 클라우드 맵에 기반하여, 각 입자의 상기 환경 3 차원 좌표를 획득하고, 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표는 상기 타겟 포즈에 대응되는 입자의 환경 3 차원 좌표이다.

단계 301에 있어서, 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산에 기반하여, 입자 세트를 획득한다. 구체적으로 가우시안 확률 분포, 칼만 필터 또는 베이지안 추정방법을 사용할 수 있다. 구체적인 계산 과정은 본 분야의 기술자에게 알려진 방법을 사용하여 수행할 수 있고, 여기서 더이상 반복하지 않는다.

단계 302에 있어서, 각 입자의 환경 3 차원 좌표는, 즉 포인트 클라우드 맵이 각 타겟 포즈(입자)에 대응되는 좌표계에 투영되는 좌표이다.

도 3에 도시된 실시예에 대한 세부화 및 추가적인 확장으로서, 본 실시예는 다른 한 가지 포지셔닝 방법을 개시한다. 도 4를 참조하면, 도 4는 상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하는 단계를 나타내는 흐름도이다. 도 4에 도시된 바와 같이, 도 3에 도시된 단계 301에서 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산에 기반하여, 입자 세트를 획득하는 단계는 아래와 같은 단계를 포함한다.

단계 401에 있어서, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여, 가우시안 확률 분포의 확률 밀도를 획득한다.

단계 402에 있어서, 상기 가우시안 확률 분포의 확률 밀도에 따라, 상기 리포지셔닝 포즈를 샘플링하여, 상기 입자 세트를 획득한다.

도 3에 도시된 단계302에서 상기 포인트 클라우드 맵에 기반하여 각 입자의 상기 환경 3 차원 좌표를 획득하는 단계는 아래와 같은 단계를 포함한다.

단계 403에 있어서, 포인트 클라우드 맵에 기반하여, 레이 캐스팅 알고리즘을 통해 각 입자의 환경 3 차원 좌표를 획득한다.

단계 401 및 단계 402에 있어서, 가우시안 확률 분포의 확률 밀도를 통해 타겟 포즈, 즉 입자 세트를 획득한다. 여기서 가우시안 확률 분포를 사용하는 것은, 가우시안 분포의 계산 속도가 더욱 빨라, 복잡한 야코비안 행렬 연산을 처리할 필요가 없으며, 또한 모델링하기 용이하기 때문이다.

단계 403에 있어서, 포인트 클라우드 맵 및 각 입자는 레이 캐스팅 알고리즘을 통해 상응한 입자의 환경 3 차원 좌표를 계산한다. 레이 캐스팅 알고리즘은 본 분야의 기술자에게 알려진 방법을 사용할 수 있고, 여기서 더이상 반복하지 않는다.

도 2에 도시된 실시예에 대한 세부화 및 추가적인 확장으로서, 본 실시예는 다른 한 가지 포지셔닝 방법을 개시한다. 도 5를 참조하면, 도 5는 상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜 매칭 결과 정보를 얻고, 상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하는 단계를 나타내는 흐름도이다. 도 5에 도시된 바와 같이, 도 2에 도시된 단계 204 및 단계 205는 아래와 같은 단계를 더 포함할 수 있다.

단계 501에 있어서, 공간적 장애 포인트의 3 차원 좌표와 각 입자의 환경 3 차원 좌표를 스캔 매칭시켜, 각 입자의 매칭 점수를 획득한다.

단계 502에 있어서, 최고 매칭 점수가 기설정된 임계값보다 클 경우, 리포지셔닝 포즈를 포지셔닝 결과로 결정한다.

상기 실시예에 있어서, 각 입자의 환경 3 차원 좌표는 즉 포인트 클라우드 맵에 기반하여 획득된 입자에 대응되는 타겟 포즈의 환경 3 차원 좌표이고, 이 두 가지의 3 차원 좌표를 스캔 매칭시키면, 각 입자(즉 타겟 포즈)의 매칭 점수를 획득할 수 있다. 입자의 매칭 점수가 기설정된 임계값보다 큰 경우, 이번 리포지셔닝 포즈가 정확한 것으로 간주된다. 따라서 최고 매칭 점수를 선택하고, 최고 매칭 점수가 기설정된 임계값보다 큰지 여부를 판단한다. 여기서, 기설정된 임계값은 구체적인 응용 시나리오에 따라 오프라인 실험을 통해 미리 얻을 수 있다.

도 5에 도시된 실시예에 대한 세부화 및 추가적인 확장으로서, 본 실시예는 다른 한 가지 포지셔닝 방법을 개시한다. 도 6을 참조하면, 도 6은 상기 공간적 장애 포인트의 3 차원 좌표와 상기 각 입자의 환경 3 차원 좌표를 스캔 매칭시켜, 상기 각 입자의 매칭 점수를 획득하는 단계를 나타내는 흐름도이다. 도 6에 도시된 바와 같이, 도 5에 도시된 단계 501은 아래와 같은 단계를 더 포함할 수 있다.

단계 601에 있어서, 우도 필드 모델을 이용하여, 공간적 장애 포인트의 3 차원 좌표와 각 입자의 환경 3 차원 좌표를 스캔 매칭시켜, 각 입자의 매칭 점수를 획득한다.

스캔 매칭 알고리즘을 실행할 경우, 우도 필드 모델을 이용하여 입자의 매칭 점수를 계산한다. 여기서 매칭 알고리즘 및 우도 필드 모델은 본 분야의 기술자에게 공지된 방식을 사용할 수 있고, 여기서 더이상 반복하지 않는다.

도 7은 본 출원에 따라 도시된 하나의 구체적인 실시예이고, 상기 실시예에서, SLAM 리포지셔닝의 결과에 기반하여 포지셔닝 정보를 획득한다. 상기 구체적인 실시예의 방법은 아래와 같은 단계를 포함한다.

단계 701에 있어서, 금번 SLAM 리포지셔닝이 적용되는 하나의 프레임 이미지, 상기 프레임 이미지와 동시에 획득된 동일한 시나리오에 대한 뎁스맵, 상기 프레임 이미지에 기반한 포인트 클라우드 맵 및 상기 프레임 이미지에 기반하여 리포지셔닝하여 얻은 리포지셔닝 포즈 및 상응한 리포지셔닝된 포지셔닝 분산을 획득한다.

단계 702에 있어서, 뎁스맵에 기반하여, 공간적 장애 포인트의 3 차원 좌표를 획득한다.

단계 703에 있어서, 리포지셔닝 포즈, 리포지셔닝된 포지셔닝 분산에 기반하여, 가우시안 확률 분포의 확률 밀도를 획득하고, 가우시안 확률 분포의 확률 밀도에 따라, 리포지셔닝 포즈를 샘플링하여, 입자 세트를 획득한다.

단계 704에 있어서, 상기 포인트 클라우드 맵에 기반하여, 레이 캐스팅 알고리즘을 통해 각 입자의 환경 3 차원 좌표를 획득한다.

단계 705에 있어서, 우도 필드 모델을 이용하여, 공간적 장애 포인트의 3 차원 좌표와 각 입자의 환경 3 차원 좌표를 스캔 매칭시켜, 각 입자의 매칭 점수를 획득한다.

단계 706에 있어서, 최고 매칭 점수가 기설정된 임계값보다 클 경우, 금번 리포지셔닝 포즈를 포지셔닝 결과로 결정하고; 최고 매칭 점수가 기설정된 임계값보다 작거나 같을 경우, 금번 리포지셔닝 포즈를 사용하지 않는다.

상기 구체적인 실시예에서 볼 수 있다시피, 기존 포지셔닝 기기를 사용함으로써, 추가적인 하드웨어 센싱 기기를 추가하거나, 시각적 포지셔닝 시스템의 주요 아키텍처를 변경할 필요도 없이, 뎁스맵을 통해 공간적 장애 포인트의 3 차원 좌표를 획득하고, 리포지셔닝 포즈, 포지셔닝 분산 및 포인트 클라우드 맵을 통해 각 예산된 포즈에 대응되는 환경의 3 차원 좌표를 획득하며, 공간적 장애 포인트의 3 차원 좌표와 각 예산된 포즈에 대응되는 환경의 3 차원 좌표를 스캔 매칭시켜, 리포지셔닝 포즈가 사용 가능한지 여부를 결정한 다음, 포지셔닝 정보를 획득한다. 상기 방식을 통해, 기존의 시각적 포지셔닝 시스템에서 리포지셔닝 모듈이 시각적 알고리즘을 지나치게 의존하여 야기되는 포지셔닝 견고성이 약한 단점을 해결함으로써, 포지셔닝의 견고성을 증가시킨다.

설명해야 할 것은, 레이저 센서를 추가하여 알고리즘 융합을 수행하거나, 지상 이동 로봇을 사용하는 분야에서 로봇 본체에 설치된 코드 디스크를 사용하여 알고리즘 융합을 수행하는 것과 같이 시각적 포지셔닝 시스템 외에 추가적인 센서를 추가하여, 상기 문제를 해결할 수도 있다. 그러나, 이러한 외부 센서를 추가하는 방안은 비용, 전력 소비 및 체적 측면에서, 모두 이점을 갖고 있지 않는다. 본 방법은 추가적인 하드웨어 센싱 기기를 추가할 필요 없이, 병렬 모듈을 추가하는 방법을 통해, 시각적 포지셔닝 시스템에서 리포지셔닝 모듈이 실제 작동 중 포지셔닝 에러의 문제를 해결함으로써, 시각적 포지셔닝 시스템이 실제 환경에서의 포지셔닝의 견고성을 향상시킨다.

본 출원은 또한 포지셔닝 정보를 획득하는 장치를 제공하고, 도 8에 도시된 바와 같이, 상기 장치는,

이미지 정보, 및 상기 이미지 정보의 관련 정보를 획득하도록 구성된 획득 모듈(801) - 상기 관련 정보는 뎁스맵, 포인트 클라우드 맵, 리포지셔닝 후의 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산을 포함함 - ;

상기 뎁스맵에 기반하여, 공간적 장애 포인트의 3 차원 좌표를 획득하도록 구성된 장애 포인트 좌표 계산 모듈(802);

상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경의 3 차원 좌표를 획득하도록 구성된 환경 좌표 계산 모듈(803); 및

상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜, 매칭 결과 정보를 얻고; 상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하도록 구성된 스캔 매칭 모듈(804)을 포함한다.

선택 가능한 실시예에 있어서, 상기 환경 좌표 계산 모듈(803)은 또한,

상기 포인트 클라우드 맵에 기반하여, 각 입자의 상기 환경 3 차원 좌표를 획득하도록 구성되고, 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표는 상기 타겟 포즈에 대응되는 입자의 환경 3 차원 좌표이다.

선택 가능한 실시예에 있어서, 상기 스캔 매칭 모듈(804)은 또한,

상기 공간적 장애 포인트의 3 차원 좌표와 상기 각 입자의 환경 3 차원 좌표를 스캔 매칭시키는 것을 통해, 상기 각 입자의 매칭 점수를 획득하고;

상기 실시예에서의 장치에 관련하여, 여기서 각 모듈이 동작을 실행하는 구체적인 형태는 상기 방법에 관련된 실시예에서 상세히 설명되었으므로, 여기서 더이상 반복적으로 설명하지 않는다.

도 9는 일 예시적 실시예에 따라 도시된 포지셔닝 정보를 획득하는 장치(900)의 블록도이다. 예를 들어, 장치(900)는 휴대폰, 컴퓨터, 디지털 방송 단말, 메시징 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인 휴대 정보 단말 등일 수 있다.

도 9를 참조하면, 장치(900)는 처리 컴포넌트(902), 메모리(904), 전력 컴포넌트(906), 멀티미디어 컴포넌트(908), 오디오 컴포넌트(910), 입력/출력(I/O) 인터페이스(912), 센서 컴포넌트(914) 및 통신 컴포넌트(916) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.

처리 컴포넌트(902)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 장치(900)의 전체적인 동작을 제어한다. 처리 컴포넌트(902)는, 상기 방법의 전부 또는 일부 단계를 완료하기 위한 명령어를 실행하는 하나 또는 복수 개의 프로세서(920)를 포함할 수 있다. 또한, 처리 컴포넌트(902)는 처리 컴포넌트(902) 및 다른 컴포넌트 사이의 상호 작용을 용이하게 하는, 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(902)는 멀티미디어 컴포넌트(908) 및 처리 컴포넌트(902) 사이의 상호 작용을 용이하게 하기 위해, 멀티미디어 모듈을 포함할 수 있다.

메모리(904)는 장치(900)의 동작을 지원하기 위해, 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 장치(900)에서 동작하는 임의의 애플리케이션 또는 방법의 명령어, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(904)는 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 읽기 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능한 프로그래머블 읽기 전용 메모리(Erasable Programmable Read Only Memory, EPROM), 프로그래머블 읽기 전용 메모리(Programmable Read Only Memory, PROM), 읽기 전용 메모리(Read Only Memory, ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크 중 어느 한 타입의 휘발성 또는 비 휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전력 컴포넌트(906)는 장치(900)의 다양한 컴포넌트에 전력을 공급한다. 전력 컴포넌트(906)는 전원 관리 시스템, 하나 또는 복수 개의 전원 및 장치(900)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(908)는 상기 장치(900) 및 사용자 사이의 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 모니터(Liquid Crystal Display, LCD) 및 터치 패널(Touch Panel, TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하기 위해 스크린은 터치 스크린으로 구현될 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 스와이프 동작의 경계를 감지할 뿐만 아니라, 상기 터치나 스와이프 동작과 관련된 지속 시간 및 압력을 검출할 수 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(908)는 전방 카메라 및 후방 카메라 중 적어도 하나를 포함한다. 장치(900)가 촬영 모드 또는 비디오 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 하나의 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(910)는 오디오 신호를 출력 및 입력 중 적어도 하나를 하도록 구성된다. 예를 들어, 오디오 컴포넌트(910)는 하나의 마이크로폰(MICrophone, MIC)을 포함하며, 장치(900)가 콜 모드, 녹음 모드 및 음성 인식 모드와 같은 동작 모드에 있을 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(904)에 추가로 저장되거나 통신 컴포넌트(916)에 의해 전송될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(910)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.

I/O 인터페이스(912)는 처리 컴포넌트(902)와 외부 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼에는 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼이 포함되지만 이에 한정되지 않는다.

센서 컴포넌트(914)는 장치(900)를 위한 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(914)는 기기(900)의 온/오프 상태, 컴포넌트의 상대 위치를 검출할 수 있으며, 예를 들어, 상기 컴포넌트는 장치(900)의 모니터와 키패드이며, 센서 컴포넌트(914)는 장치(900) 또는 장치(900)에서 하나의 컴포넌트의 위치 변화, 사용자와 장치(900) 접촉의 존재 유무, 장치(900) 방향 또는 가속/감속 및 장치(900)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(914)는 그 어떤 물리적 접촉이 없이 근처의 물체의 존재를 검출하도록 구성되는 근접 센서를 포함할 수 있다. 센서 컴포넌트(914)는 이미징 애플리케이션에 사용하기 위한 상보성 금속 산화막 반도체(Complementary Metal Oxide Semiconductor, CMOS) 이미지 센서 또는 전하 결합 소자(Charged Coupled Device, CCD) 이미지 센서와 같은 광 센서를 더 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(914)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(916)는 장치(900)와 다른 기기 사이의 유선 또는 무선 방식으로 통신을 용이하게 하도록 구성된다. 장치(900)는 WiFi, 2G 또는 3G 또는 이들의 조합과 같은 통신 기준에 기반한 무선 인터넷에 액세스할 수 있다. 하나의 예시적 실시예에 있어서, 통신 컴포넌트(916)는 방송 채널에 의해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 하나의 예시적 실시예에 있어서, 상기 통신 컴포넌트(916)는 근거리 통신을 추진하는 근거리 무선 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별자(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역 (Ultra Wideband, UWB) 기술, 블루투스 기술 및 다른 기술에 기반하여 구현될 수 있다.

예시적 실시예에 있어서, 장치(900)는 하나 또는 복수 개의 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 장치(Digital Signal Processor Device, DSPD), 프로그래머블 논리 장치(Programmable Logic Device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로 제어기, 마이크로 프로세서 또는 다른 전자 부품에 의해 구현되며, 장치(800)는 상기 방법을 실행하기 위한 것이다.

예시적 실시예에 있어서, 명령어를 포함하는 메모리(904)와 같은 명령어를 포함하는 비 일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 명령어는 상기 방법을 완료하도록 장치(900)의 프로세서(920)에 의해 실행된다. 예를 들어, 상기 비 일시적 컴퓨터 판독 가능 저장 매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 기기 등일 수 있다.

비 일시적 컴퓨터 판독 가능한 저장 매체로서, 상기 저장 매체에서의 명령어는 단말의 프로세서에 의해 실행될 경우, 단말로 하여금 포지셔닝 정보를 획득하는 방법을 실행할 수 있도록 하고, 상기 방법은, 이미지 정보, 및 상기 이미지 정보의 관련 정보를 획득하는 단계 - 상기 관련 정보는 뎁스맵, 포인트 클라우드 맵, 리포지셔닝 후의 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산을 포함함 - ; 상기 뎁스맵에 기반하여, 공간적 장애 포인트의 3 차원 좌표를 획득하는 단계; 상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하는 단계; 상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜, 매칭 결과 정보를 얻는 단계; 및 상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하는 단계를 포함한다.

도 10은 일 예시적 실시예에 따라 도시된 포지셔닝 정보를 획득하는 장치(1000)의 블록도이다. 예를 들어, 장치(1000)는 하나의 서버로 제공될 수 있다. 도 10을 참조하면, 장치(1000)는 프로세스 컴포넌트(1022)를 포함하고, 또한 하나 또는 복수 개의 프로세서 및 메모리(1032)로 대표되는 메모리 자원을 포함하고, 프로세스 컴포넌트(1022), 예를 들어 애플리케이션 프로그램에 의해 실행될 수 있는 명령어를 저장하기 위한 것이다. 메모리(1032)에 저장된 애플리케이션 프로그램은 하나 또는 하나 이상의 각각 명령어 세트에 대응되는 모듈을 포함할 수 있다. 또한, 프로세스 컴포넌트(1022)는 명령어를 실행하도록 구성되어, 이미지 정보, 및 상기 이미지 정보의 관련 정보를 획득하는 단계 - 상기 관련 정보는 뎁스맵, 포인트 클라우드 맵, 리포지셔닝 후의 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산을 포함함 - ; 상기 뎁스맵에 기반하여, 공간적 장애 포인트의 3 차원 좌표를 획득하는 단계; 상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하는 단계; 상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜, 매칭 결과 정보를 얻는 단계; 및 상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하는 단계를 포함하는 상기 단계를 실행한다.

장치(1000)는 장치(1000)의 전원 관리를 실행하도록 구성된 하나의 전력 컴포넌트(1026), 장치(1000)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(1050) 및 하나의 입력 출력(I/O) 인터페이스(1058)를 더 포함할 수 있다. 장치(1000)는 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 등과 같은 메모리(1032)에 저장된 운영체제에 기반하여 동작할 수 있다.

본 기술분야의 기술자는 명세서를 고려하고 본문에 개시된 발명을 실천한 후, 본 발명의 다른 실시방안을 용이하게 생각해낼 수 있을 것이다. 본 출원은 본 발명의 임의의 변형, 용도 또는 적응성 변화를 포함하도록 의도되며, 이러한 변형, 용도 또는 적응성 변화는 본 발명의 일반적인 원리에 따르며, 본 발명에서 개시되지 않은 본 기술분야의 공지된 상식이나 통상적인 기술수단을 포함한다. 명세서 및 실시예는 다만 예시적인 것으로 간주되며, 본 발명의 진정한 범위 및 사상은 아래의 청구범위에 의해 지시된다.

이해해야 할 것은, 본 발명은 위에서 설명되고 도면에 도시된 정확한 구조에 한정되지 않으며, 이 범위를 벗어나지 않는 한 다양한 수정 및 변경을 진행할 수 있다. 본 발명의 범위는 첨부된 청구범위에 의해서만 한정된다.

Claims

포지셔닝 정보를 획득하는 방법으로서,
상기 방법은,
이미지 정보, 및 상기 이미지 정보의 관련 정보를 획득하는 단계 - 상기 관련 정보는 뎁스맵, 포인트 클라우드 맵, 리포지셔닝 후의 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산을 포함함 - ;
상기 뎁스맵에 기반하여, 공간적 장애 포인트의 3 차원 좌표를 획득하는 단계;
상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하는 단계;
상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜, 매칭 결과 정보를 얻는 단계; 및
상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 정보를 획득하는 방법.
제1항에 있어서,
상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하는 단계는,
상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여, 입자 세트를 획득하는 단계 - 상기 입자 세트 중 각 입자는 하나의 상기 타겟 포즈에 대응됨 - ; 및
상기 포인트 클라우드 맵에 기반하여, 각 입자의 상기 환경 3 차원 좌표를 획득하는 단계 - 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표는 상기 타겟 포즈에 대응되는 입자의 환경 3 차원 좌표임 - 를 포함하는 것을 특징으로 하는 포지셔닝 정보를 획득하는 방법.
제2항에 있어서,
상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 입자 세트를 획득하는 단계는,
상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여, 가우시안 확률 분포의 확률 밀도를 획득하는 단계; 및
상기 가우시안 확률 분포의 확률 밀도에 따라, 상기 리포지셔닝 포즈를 샘플링하여, 상기 입자 세트를 획득하는 단계를 포함하고,
상기 포인트 클라우드 맵에 기반하여 각 입자의 상기 환경 3 차원 좌표를 획득하는 단계는,
상기 포인트 클라우드 맵에 기반하여, 레이 캐스팅 알고리즘을 통해 각 입자의 상기 환경 3 차원 좌표를 획득하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 정보를 획득하는 방법.
제2항에 있어서,
상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜 매칭 결과 정보를 얻고, 상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하는 단계는,
상기 공간적 장애 포인트의 3 차원 좌표와 상기 각 입자의 환경 3 차원 좌표를 스캔 매칭시키는 것을 통해, 상기 각 입자의 매칭 점수를 획득하는 단계; 및
최고 매칭 점수가 기설정된 임계값보다 클 경우, 상기 리포지셔닝 포즈를 포지셔닝 결과로 결정하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 정보를 획득하는 방법.
제4항에 있어서,
상기 공간적 장애 포인트의 3 차원 좌표와 상기 각 입자의 환경 3 차원 좌표를 스캔 매칭시키는 것을 통해, 상기 각 입자의 매칭 점수를 획득하는 단계는,
우도 필드 모델을 이용하여, 상기 공간적 장애 포인트의 3 차원 좌표와 상기 각 입자의 환경 3 차원 좌표를 스캔 매칭시켜, 상기 각 입자의 매칭 점수를 획득하는 단계를 포함하는 것을 특징으로 하는 포지셔닝 정보를 획득하는 방법.
포지셔닝 정보를 획득하는 장치로서,
이미지 정보, 및 상기 이미지 정보의 관련 정보를 획득하도록 구성된 획득 모듈 - 상기 관련 정보는 뎁스맵, 포인트 클라우드 맵, 리포지셔닝 후의 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산을 포함함 - ;
상기 뎁스맵에 기반하여, 공간적 장애 포인트의 3 차원 좌표를 획득하도록 구성된 장애 포인트 좌표 계산 모듈;
상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하도록 구성된 환경 좌표 계산 모듈; 및
상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜, 매칭 결과 정보를 얻고; 상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하도록 구성된 스캔 매칭 모듈을 포함하는 것을 특징으로 하는 포지셔닝 정보를 획득하는 장치.
제6항에 있어서,
상기 환경 좌표 계산 모듈은 또한,
상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여, 입자 세트를 획득하고 - 상기 입자 세트 중 각 입자는 하나의 상기 타겟 포즈에 대응됨 - ;
상기 포인트 클라우드 맵에 기반하여, 각 입자의 상기 환경 3 차원 좌표를 획득하도록 구성된 것 - 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표는 상기 타겟 포즈에 대응되는 입자의 환경 3 차원 좌표임 - 을 특징으로 하는 포지셔닝 정보를 획득하는 장치.
제7항에 있어서,
상기 환경 좌표 계산 모듈은 또한,
상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여, 가우시안 확률 분포의 확률 밀도를 획득하고;
상기 가우시안 확률 분포의 확률 밀도에 따라, 상기 리포지셔닝 포즈를 샘플링하여, 상기 입자 세트를 획득하며;
상기 포인트 클라우드 맵에 기반하여, 레이 캐스팅 알고리즘을 통해 각 입자의 상기 환경 3 차원 좌표를 획득하도록 구성된 것을 특징으로 하는 포지셔닝 정보를 획득하는 장치.
제7항에 있어서,
상기 스캔 매칭 모듈은 또한,
상기 공간적 장애 포인트의 3 차원 좌표와 상기 각 입자의 환경 3 차원 좌표를 스캔 매칭시키는 것을 통해, 상기 각 입자의 매칭 점수를 획득하고;
최고 매칭 점수가 기설정된 임계값보다 클 경우, 상기 리포지셔닝 포즈를 포지셔닝 결과로 결정하도록 구성된 것을 특징으로 하는 포지셔닝 정보를 획득하는 장치.
제9항에 있어서,
상기 스캔 매칭 모듈은 또한,
우도 필드 모델을 이용하여, 상기 공간적 장애 포인트의 3 차원 좌표와 상기 각 입자의 환경 3 차원 좌표를 스캔 매칭시켜, 상기 각 입자의 매칭 점수를 획득하도록 구성된 것을 특징으로 하는 포지셔닝 정보를 획득하는 장치.
포지셔닝 정보를 획득하는 장치로서,
프로세서; 및
프로세서에 의해 실행될 수 있는 명령어를 저장하기 위한 메모리를 포함하며;
상기 프로세서는,
이미지 정보, 및 상기 이미지 정보의 관련 정보를 획득하고 - 상기 관련 정보는 뎁스맵, 포인트 클라우드 맵, 리포지셔닝 후의 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산을 포함함 - ;
상기 뎁스맵에 기반하여, 공간적 장애 포인트의 3 차원 좌표를 획득하며;
상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하며;
상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜, 매칭 결과 정보를 얻으며;
상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하도록 구성된 것을 특징으로 하는 포지셔닝 정보를 획득하는 장치.
비 일시적 컴퓨터 판독 가능한 저장 매체로서,
상기 저장 매체에서의 명령어가 단말의 프로세서에 의해 실행될 경우, 단말로 하여금 포지셔닝 정보를 획득하는 방법을 실행할 수 있도록 하며, 상기 방법은,
이미지 정보, 및 상기 이미지 정보의 관련 정보를 획득하는 단계 - 상기 관련 정보는 뎁스맵, 포인트 클라우드 맵, 리포지셔닝 후의 리포지셔닝 포즈 및 리포지셔닝된 포지셔닝 분산을 포함함 - ;
상기 뎁스맵에 기반하여, 공간적 장애 포인트의 3 차원 좌표를 획득하는 단계;
상기 리포지셔닝 포즈, 상기 리포지셔닝된 포지셔닝 분산 및 상기 포인트 클라우드 맵에 기반하여, 타겟 포즈, 및 각 상기 타겟 포즈에 대응되는 환경 3 차원 좌표를 획득하는 단계;
상기 공간적 장애 포인트의 3 차원 좌표와 상기 환경 3 차원 좌표를 스캔 매칭시켜, 매칭 결과 정보를 얻는 단계; 및
상기 매칭 결과 정보가 기설정된 조건을 만족시킬 경우, 상기 리포지셔닝 포즈 및 상기 리포지셔닝된 포지셔닝 분산에 기반하여 포지셔닝 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 비 일시적 컴퓨터 판독 가능한 저장 매체.