KR20220113977A

KR20220113977A - 로컬 포인트 클라우드 맵 생성 방법 및 시각 로봇

Info

Publication number: KR20220113977A
Application number: KR1020227022513A
Authority: KR
Inventors: 용셴 옌; 친웨이 라이; 강준 샤오
Original assignee: 아미크로 세미컨덕터 씨오., 엘티디.
Priority date: 2020-10-30
Filing date: 2021-06-03
Publication date: 2022-08-17
Also published as: CN112348893A; JP2023509153A; CN112348893B; EP4083921A1; JP7375206B2; EP4083921A4; WO2022088680A1; US20230249353A1

Abstract

본 발명은 로컬 포인트 클라우드 맵 생성 방법 및 시각 로봇을 개시하며, 상기 로컬 포인트 클라우드 맵 생성 방법은 사전에 설정된 현저한 위치 포즈 변화 조건에 따라 로봇 주변 큰 범위 영역 위치를 반영하는 포인트 클라우드를 샘플링하여, 이동 로봇이 이러한 키프레임을 이용하여 이동 로봇 전방의 장애물 분포 상황을 완전히 커버할 수 있는 로컬 포인트 클라우드 맵을 설정한 다음, 3차원 히스토그램의 형식으로 서로 다른 높이 위치의 포인트 클라우드를 설명하여, 포인트 클라우드가 서로 다른 검출 블록의 3차원 영역에서 분포 특징을 이용하여 스퓨리어스 포인트를 쉽게 제거함으로써, 너무 가깝거나 너무 먼 장애물 장면에서의 로컬 포인트 클라우드 맵의 적응성을 향상하며, 초근접 거리에서의 장애물 위치에 대해 식별하여 포지셔닝하는 난이도 및 오판단 확율을 현저하게 감소한다.

Description

로컬 포인트 클라우드 맵 생성 방법 및 시각 로봇

본 발명은 로컬 포인트 클라우드 맵의 기술 분야에 관한 것으로, 특히 포인트 클라우드 데이터에 기반하는 로컬 포인트 클라우드 맵 생성 방법 및 시각 로봇에 관한 것이다.

3d-tof(Time of flight, 비행시간) 기술은 유효 범위 내에서 3차원 포인트 클라우드 맵을 복원할 수 있지만, 3d-tof 카메라의 현재 아직 존재하는 문제는 다음과 같다. 3d-tof는 비교적 정확한 심도 값을 완전하게 획득할 수 없으므로, 일반적으로 오차가 크다. 구체적으로, 장애물의 거리가 너무 가깝거나 너무 멀 경우, 심도 값에 모두 명확한 오차가 나타나, 단일 프레임을 기반으로 하는 심도 데이터 분석은 초근접 거리에서의 장애물을 효과적으로 식별할 수 없으므로, 장애물에 대한 포지셔닝을 완성하기 위해 보다 더 정확한 포인트 클라우드 맵이 필요하다.

중국 특허 CN110031825A에서 개시되는 레이저 포지셔닝 초기화 방법은, 이어 맞춤 연결하여 취득한 다중 프레임 레이저 포인트 클라우드를 통해 포인트 클라우드를 샘플링하여 3차원 좌표계를 생성하며, 실시간 히스토그램으로 샘플링한 포인트 클라우드 정보를 저장하지만, 상기 레이저 포지셔닝 초기화 방법은 대량의 특징 행렬 알고리즘을 호출해야 하고, 복수의 좌표계를 생성하여 복수의 사분면 내에서 실시간 3차원 히스토그램을 설정해야 하며, 또한 포인트 클라우드 데이터에 대응되는 특징 매칭 알고리즘은 너무 복잡하고, 간결한 로컬 포인트 클라우드 맵을 생성하는데 도움이 되지 않으며, 또한 상기에서 언급되는 근접 거리의 장애물에 대한 포지셔닝 식별 문제를 여전히 해결할 수 없다.

보다 더 간결한 로컬 포인트 클라우드 맵을 생성하여, 3d-tof 카메라에 의해 수집되는 포인트 클라우드 데이터에 존재하는 잡음 오차 문제를 극복함으로써,로컬 포인트 클라우드 맵에 의해 현재 위치의 초근접 장애물을 실시간으로 정확하게 포지셔닝 식별하기 위해, 본 발명은 로컬 포인트 클라우드 맵 생성 방법을 개시하며, 구체적인 기술방안은 아래와 같다.

이동 로봇이 움직이는 과정에서, 이동 로봇의 3d-tof 카메라가 심도 이미지를 계속 수집하도록 제어하고, 사전에 설정된 현저한 위치 포즈 변화 조건에 따라 3d-tof 카메라가 실시간으로 수집하는 현재 프레임 심도 이미지를 키프레임 시퀀스 내에 삽입하며, 그 다음 단계2로 진입하는 단계1; 키프레임 시퀀스 내의 심도 이미지의 사전에 설정된 유효 특징 포인트 위치 포즈 변경하여, 카메라 좌표계에서의 포인트 클라우드가 되도록 제어하며, 그 다음 단계3으로 진입하는 단계2; 이동 로봇의 3d-tof 카메라의 실시간 시야각 범위 내에서, 수평 지면에 위치하는 하나의 사전에 설정된 타깃 평면 영역을 설정하고, 상기 사전에 설정된 타깃 평면 영역에 이와 매칭되는 검출 블록을 설정하여, 포인트 클라우드가 사전에 설정된 타깃 평면 영역의 바로 상방에 3차원 히스토그램의 형식으로 라벨링되게 하며, 그다음 단계4로 진입하는 단계3; 포인트 클라우드가 각 검출 블록에서의 높이 위치 분포 특징에 따라, 먼저 상응하는 검출 블록 내의 이산 분포 상태를 나타내는 포인트 클라우드를 제거하고, 다음으로 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 제거하며, 그 다음 단계5로 진입하는 단계4; 각 검출 블록 내에 분포되는 나머지 포인트 클라우드의 위치를 로컬 포인트 클라우드 맵의 3차원 위치로 라벨링하여, 로컬 포인트 클라우드 맵의 생성을 실현하는 단계5;를 포함하는 로컬 포인트 클라우드 맵 생성 방법을 제공한다.

기존 기술과 비교할 경우, 상기 기술방안은 사전에 설정된 현저한 위치 포즈 변화 조건에 따라 로봇 주변 큰 범위 영역 위치를 반영하는 포인트 클라우드를 샘플링하여, 이동 로봇이 이러한 키프레임을 이용하여 이동 로봇 전방의 장애물 분포 상황을 완전히 커버할 수 있는 로컬 포인트 클라우드 맵을 설정한 다음, 3차원 히스토그램의 형식으로 서로 다른 높이 위치의 포인트 클라우드를 설명하여, 포인트 클라우드가 서로 다른 검출 블록의 3차원 영역에서의 분포 특징을 이용하여 스퓨리어스 포인트 및 현재 위치에서 수집 시선이 차단된 포인트 클라우드를 쉽게 제거함으로써, 너무 가깝거나 너무 먼 장애물 장면에서의 로컬 포인트 클라우드 맵의 적응성을 향상하며, 초근접 거리에서의 장애물 위치에 대해 식별하여 포지셔닝하는 난이도 및 오판단 확율을 현저하게 감소한다.

추가적으로, 상기 사전에 설정된 현저한 위치 포즈 변화 조건에 따라 3d-tof 카메라가 실시간으로 수집하는 현재 프레임 심도 이미지를 키프레임 시퀀스 내에 삽입하는 방법은 구체적으로, 이동 로봇의 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지에서의 사전에 설정된 유효 특징 포인트와 상기 키프레임 시퀀스 내의 각 키프레임에서의 동일한 사전에 설정된 유효 특징 포인트의 상대적인 위치 포즈를 각각 계산하는 단계; 모든 계산된 상대적인 위치 포즈가 모두 사전에 설정된 현저한 위치 포즈 변화 조건을 만족할 경우, 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지를 새로운 키프레임으로 설정한 다음, 상기 새로운 키프레임을 상기 키프레임 시퀀스에 삽입하여, 다음번 전술한 상대적인 위치 포즈 계산에 참여하는 키프레임이 이동 로봇의 최신 상대적인 위치 관계를 반영하게 하는 단계;를 포함하며, 사전에 설정된 유효 특징 포인트는 상기 3d-tof 카메라의 시야각 범위 내에서 이동 로봇 전방의 장애물의 분포 위치 특징을 토큰하기 위한 것이고, 장애물의 분포 위치 특징은 장애물이 존재하거나 및/또는 장애물이 존재하지 않는 것을 포함하며, 키프레임 시퀀스는 이동 로봇에 의해 사전에 저장되는 연속으로 배열되는 사전에 설정된 유효 특징을 포함하는 심도 이미지의 시퀀스이다.

기존 기술과 비교할 경우, 이동 로봇이 이러한 키프레임을 이용하여 이동 로봇 전방의 장애물 분포 상황을 큰 범위로 커버할 수 있는 로컬 포인트 클라우드 맵을 설정함으로써, 현재 프레임 심도 이미지와 이러한 업데이트를 지원하는 키프레임의 상대적인 위치 포즈를 융합 처리하는 것을 통해 로봇이 실시간으로 수집하는 단일 프레임 심도 이미지에 기반하여 몸체 가장자리 위치에 접근하는 장애물 또는 몸체에서 너무 가까운 장애물을 식별하여 포지셔닝할 수 없는 문제를 해결한다.

추가적으로, 상기 키프레임 시퀀스 내의 각 키프레임에서의 사전에 설정된 유효 특징 포인트와 이에 대응되는 키프레임에서의 3d-tof 카메라의 거리 및 편향 각도가 모두 평행이동 회전의 방식을 통해 상기 현재 프레임 심도 이미지가 대응하게 속하는 카메라 좌표계로 변환되어, 상기 위치 포즈 변경을 실현하며; 상기 로컬 포인트 클라우드 맵의 맵 좌표계는 현재 프레임 심도 이미지에 대응되는 카메라 좌표계이다. 이는 보다 더 정확한 로컬 포인트 클라우드 맵을 생성하는데 유리하고, 이동 로봇의 인스턴트 포지셔닝 네비게이션에 편리하다.

추가적으로, 상기 모든 계산된 상대적인 위치 포즈가 모두 사전에 설정된 현저한 위치 포즈 변화 조건을 만족하는 것은 구체적으로, 계산된 상대적인 위치 포즈는, 이동 로봇의 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지에서의 사전에 설정된 유효 특징 포인트와 상기 위치 포즈 변경이 발생한 후의 키프레임 시퀀스 내의 각 키프레임에서의 동일한 사전에 설정된 유효 특징 포인트 사이의 심도 거리 변화량 및 이에 대응되는 편향 각도 변화량을 포함하며, 모든 심도 거리 변화량이 모두 사전에 설정된 거리 변화 임계값보다 크고, 또한 모든 편향 각도 변화량이 모두 사전에 설정된 각도 변화 임계값보다 클 경우, 상기 사전에 설정된 현저한 위치 포즈 변화 조건을 만족하는 것으로 결정한다.

기존 기술과 비교할 경우, 상기 기술방안은 2개 프레임의 심도 이미지 사이의 사전에 설정된 유효 특징 포인트에 대응되는 실제 위치 포인트(고정되어 변하지 않는 것으로 간주함)와 3d-tof 카메라의 거리의 변화량이 충분히 큰지를 판단하고, 또한 3d-tof 카메라의 편향 각도에 대한 2개 프레임의 심도 이미지 사이의 사전에 설정된 유효 특징 포인트에 대응되는 실제 위치 포인트(고정되어 변하지 않는 것으로 간주함)의 변화량이 충분히 큰지를 판단하여, 몸체의 변위가 충분히 큰지 또는 몸체의 회전 각도가 충분히 큰지를 토큰함으로써, 새로운 키프레임으로 설정된 심도 이미지와 현재 프레임 심도 이미지의 간격이 충분히 크게 되어, 선명하고 광역의 로봇 주변 정보를 제공할 수 있으며, 키프레임 시퀀스 내에 속하는 심도 이미지에 의해 커버되는 가시 범위가 충분히 크게 되어(예를 들면, 각도의 경우, 하나는 좌측에서 보고, 하나는 우측에서 보거나 또는 변위의 경우, 가깝게 보는 것과 멀리 보는것은, 상기 각도 위치 사이의 로봇의 위치 포즈 변경이 충분히 커야 함), 키프레임 시퀀스 내의 심도 이미지에 장애물을 포함하는 키프레임이 존재할 뿐만 아니라, 장애물을 포함하지 않는 키프레임도 존재한다.

추가적으로, 상기 키프레임 시퀀스 내의 각 키프레임에서의 동일한 사전에 설정된 유효 특징 포인트와 이에 대응되는 키프레임에서의 3d-tof 카메라의 거리는, 상기 3d-tof 카메라에 의해 사전에 수집되어 상기 키프레임 시퀀스에 삽입되는 심도 이미지의 사전에 설정된 유효 특징 포인트에 대응되는 실제 위치 포인트에서 3d-tof 카메라의 이미징 평면까지의 심도 거리이고, 상기 심도 거리의 변화량은 상기 이동 로봇이 발생하는 변위 크기의 정도를 나타내기 위한 것이며, 상기 키프레임 시퀀스 내의 각 키프레임에서의 동일한 사전에 설정된 특징 포인트가 이에 대응되는 키프레임에서의 3d-tof 카메라에 대한 편향 각도는, 상기 3d-tof 카메라가 심도 이미지를 수집하고 상기 키프레임 시퀀스에 삽입할 경우의 렌즈 방향 각도이고, 상기 렌즈 방향 각도의 변화량은 상기 이동 로봇 회전의 각도를 나타내기 위한 것이다.

기존 기술과 비교할 경우, 상기 기술방안은 이동 로봇의 상대적인 위치 포즈가 비교적 큰 복수 프레임의 키프레임을 쉽게 선별하고, 특히는 이동 로봇의 몸체가 비교적 큰 각도의 회전이 발생하거나 비교적 큰 변위가 발생한 후, 3d-tof 카메라가 너무 가까운 장애물을 식별할 수 없을 경우 사전에 저장된 키프레임 시퀀스에서 상호 관련되는 유효 특징 포인트(즉 사전에 저장된 장애물이 포함된 키프레임)에서 상기 너무 가까운 장애물의 정확한 위치를 보조하여 포지셔닝한다.

추가적으로, 상기 단계1는, 이동 로봇의 3d-tof 카메라가 현재 프레임 심도 이미지를 현재 수집할 경우, 이동 로봇 내부에 설치되는 관성 센서를 호출하여 이동 로봇의 현재 위치 포즈를 측정하는 단계; 그 다음 사전에 저장된 키프레임 시퀀스 내의 각 키프레임에 대응되는 이동 로봇의 실시간 위치 포즈를 호출하여, 이동 로봇의 현재 위치 포즈와 각 키프레임에 대응되는 이동 로봇의 실시간 위치 포즈 사이의 상대적인 위치 포즈를 각각 계산하는 단계;를 포함한다.

기존 기술과 비교할 경우, 본 기술방안은 몸체 내부의 관성 센서를 이용하여 현재 프레임 심도 이미지의 유효 수집 위치와 각 키프레임의 유효 수집 위치 사이의 상대적인 위치 포즈를 계산하여, 상기 이동 로봇의 사전에 설정된 유효 특징 포인트 사이의 위치 변화량을 직접 구함으로써, 로봇의 포지셔닝 연산을 간략화하는 것에 유리하고, 이동 로봇의 인스턴트 포지셔닝 네비게이션에 편리하다.

추가적으로, 상기 모든 계산된 상대적인 위치 포즈가 모두 사전에 설정된 현저한 위치 포즈 변화 조건을 만족하는 것은 구체적으로, 계산된 상대적인 위치 포즈는, 이동 로봇의 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지에서의 사전에 설정된 유효 특징 포인트와 사전에 수집된 상기 키프레임에서 동일한 또는 동일 유형의 사전에 설정된 유효 특징 포인트 사이에 생성되는 이동 로봇의 주행 거리 변화량 및 동일한 수집 과정에서 발생되는 편향 각도 변화량을 포함하며; 모든 주행 거리 변화량이 모두 사전에 설정된 거리 변화 임계값 보다 크고, 또한 모든 편향 각도 변화량이 모두 사전에 설정된 각도 변화 임계값보다 클 경우, 상기 사전에 설정된 현저한 위치 포즈 변화 조건을 만족하는 것으로 결정하며, 상기 사전에 설정된 유효 특징 포인트는 상기 3d-tof 카메라의 시야각 범위 내에서 이동 로봇 전방의 장애물의 분포 위치 특징을 토큰하기 위한 것이고, 장애물의 분포 위치 특징은 장애물이 존재하거나 및/또는 장애물이 존재하지 않는 것을 포함한다.

기존 기술과 비교할 경우, 상기 기술방안은 2개 프레임의 심도 이미지에 대응되는 실제 수집 위치 포인트의 변화량이 충분히 큰지를 판단하고, 또한 2개 프레임의 심도 이미지에 대응되는 실제 몸체 편향 각도의 변화량이 충분히 큰지를 판단하여, 몸체의 변위가 충분히 큰지 또는 몸체의 회전 각도가 충분히 큰지를 토큰함으로써, 새로운 키프레임으로 설정된 심도 이미지와 현재 프레임 심도 이미지의 간격이 충분히 크게 되어, 선명하고 광역의 로봇 주변 정보를 제공할 수 있으며, 키프레임 시퀀스 내에 속하는 심도 이미지에 의해 커버되는 가시 범위가 충분히 크게 되어(예를 들면, 각도의 경우, 하나는 좌측에서 보고, 하나는 우측에서 보거나 또는 변위의 경우, 가깝게 보는 것과 멀리 보는것은, 상기 각도 위치 사이의 로봇의 위치 포즈 변경이 충분히 커야 함), 키프레임 시퀀스 내의 심도 이미지에 장애물을 포함하는 키프레임이 존재할 뿐만 아니라, 장애물을 포함하지 않는 키프레임도 존재한다.

추가적으로, 상기 관성 센서는 이동 로봇의 몸체 중심에 내장된 인코딩디스크 및 이동 로봇의 몸체 중심에 내장된 자이로스코프를 포함하며, 인코딩디스크는 이동 로봇의 주행 거리 변화량을 측정하기 위한 것이고, 자이로스코프는 동일한 수집 과정에서 이동 로봇의 편향 각도 변화량을 측정하기 위한 것이며; 여기서, 인코딩디스크가 측정하여 얻은 이동 로봇의 위치 좌표는 상기 이동 로봇의 몸체 중심과 3d-tof 카메라의 강체 연결 관계를 통해 상기 현재 프레임 심도 이미지가 대응하게 속하는 카메라 좌표계로 변환되여, 로컬 포인트 클라우드 맵을 생성한다.

추가적으로, 상기 키프레임 시퀀스 내에 3프레임 또는 3프레임 이상의 심도 이미지가 존재한다. 상기 로컬 포인트 클라우드 맵을 생성하기 위한 것이다. 상기 기술방안은 로컬 포인트 클라우드 맵을 생성하고 유효 특징 포인트로 장애물을 포지셔닝하기 위해 충분한 포인트 클라우드 샘플을 제공함으로써, 로컬 포인트 클라우드 맵이 보다 더 안정하고 효과적이게 한다.

추가적으로, 상기 이동 로봇이 선입선출의 메모리 저장 형식을 적용하여 상기 키프레임 시퀀스를 캐시함으로써, 상기 이동 로봇이 이동 과정에서 3d-tof 카메라가 현재 실시간 수집하는 한프레임 심도 이미지와 시간 상에서 가장 가까운 상기 키프레임을 획득한다. 저장 공간의 최적화를 실현하기 위해, 상기 기술방안은 선입선출의 방식을 적용하여 대기행열에 저장되는 최신으로 선별하여 삽입된 키프레임을 저장하고, 가장 유효한 프레임 시퀀스만 저장하도록 확보하며, 현재 프레임에서 가장 가까운 3프레임 심도 이미지일 수 있다.

추가적으로, 상기 사전에 설정된 타깃 평면 영역이 하나의 직사각형 영역이고, 직사각형 영역의 일 변의 중간 포인트가 3d-tof 카메라의 위치이며, 상기 변의 길이는 상기 이동 로봇의 몸체 직경과 같고, 상기 변과 수직되는 다른 일 변은 3d-tof 카메라의 시야각 전방에 설정되며, 상기 3d-tof 카메라가 수집하는 심도 이미지에서의 사운딩 가능한 심도 거리를 토큰하기 위한 것다. 따라서, 상기 사전에 설정된 타깃 평면 영역은 상기 이동 로봇이 순리롭게 통행하는 타깃 사운딩 영역을 수용할 수 있도록 설정되고, 전술한 단계2의 키프레임 위치 포즈가 변경되어 형성된 카메라 좌표계에서의 포인트 클라우드를 결합하여, 상기 영역 상방의 장애물 포인트 클라우드의 최대 높이 위치 및 분포 특징을 포지셔닝하고, 가까운 거리 조건에서의 장애물에 대한 장애물 회피 경로를 효과적으로 계획한다.

추가적으로, 상기 단계4에서, 하나의 상기 포인트 클라우드의 3차원 좌표 위치가 그 중 하나의 상기 검출 블록 내에 포함될 경우, 상기 포인트 클라우드가 상기 검출 블록에 분포되는 것으로 결정하고, 상기 포인트 클라우드의 높이를 기록한다. 따라서 포인트 클라우드의 위치 정보를 저장하여 적용하는 방식을 간략화한다.

추가적으로, 상기 각 포인트 클라우드를 3차원 히스토그램의 형식으로 저장하는 방법은, 상기 3차원 히스토그램이 속하는 3차원 좌표계의 좌표 원점이 3d-tof 카메라의 위치이도록 설정하고, 상기 사전에 설정된 타깃 평면 영역이 상기 3차원 좌표계의 수평축의 양의 방향의 상기 몸체 직경의 절반의 거리를 커버하도록 설정하고, 상기 사전에 설정된 타깃 평면 영역이 상기 3차원 좌표계의 수평축의 음의 방향의 상기 몸체 직경의 절반의 거리를 커버하도록 설정하고, 상기 사전에 설정된 타깃 평면 영역이 상기 3차원 좌표계의 세로축의 양의 방향의 상기 사운딩 가능한 심도 거리를 커버하도록 설정하고, 상기 검출 블록이 상기 3차원 좌표계의 수직축을 따라 분포되도록 설정하며, 상기 검출 블록이 상기 3차원 좌표축의 수직축 상에서 차지하는 수직 높이가 상기 검출 블록에 분포되는 포인트 클라우드 높이를 표시하는데 사용되도록 설정함으로써, 상기 포인트 클라우드를 구분하여 상기 사전에 설정된 수량의 3차원 히스토그램을 획득하고, 3차원 히스토그램의 형식으로 상기 포인트 클라우드에 대한 저장을 실현하는 단계를 포함하며, 여기서, 상기 3차원 히스토그램이 속하는 3차원 좌표계는 상기 로컬 맵의 좌표계와 동일하다. 따라서, 히스토그램 통계의 방식을 통해 로컬 맵의 포인트 클라우드를 로컬 맵의 좌표계에서의 특정 검출 영역 상의 3차원 포인트 형태의 맵으로 변환함으로써, 3차원 포인트 형태의 맵에 분포되는 직사각형 블록의 높이를 이용하여 장애물의 포인트 클라우드 높이를 토큰하는 것을 실현하여, 스퓨리어스 포인트 클라우드를 현저하고 신속하게 선별하여 제거한다.

추가적으로, 상기 사전에 설정된 타깃 평면 영역의 면적과 상기 검출 블록의 수평 투영 면적의 비율은 사전에 설정된 정수이므로, 사전에 설정된 타깃 평면 영역이 전부 사전에 설정된 정수의 검출 블록에 의해 균등하게 구분되어 차지된다. 이는 상기 검출 블록이 상기 사전에 설정된 타깃 평면 영역의 포인트 클라우드에 대한 커버율을 향상한다.

추가적으로, 상기 단계4에서, 상기 상응하는 검출 블록 내의 이산 분포 상태를 나타내는 포인트 클라우드를 제거하는 방법은 구체적으로, 상기 검출 블록 내에 분포되는 포인트 클라우드의 수량이 포지셔닝 수 임계값보다 작은지 여부를 판단하며, 포지셔닝 수 임계값보다 작을 경우 상기 검출 블록에 분포되는 포인트 클라우드를 제거한 다음, 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 제거하고; 포지셔닝 수 임계값보다 작지 않을 경우 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 직접 제거하는 단계; 및/또는, 검출 블록의 근처에 모두 포인트 클라우드가 분포되지 않은 것인지 여부를 판단하며, 검출 블록의 근처에 모두 포인트 클라우드가 분포되지 않은 경우 상기 검출 블록 내에 분포되는 포인트 클라우드를 제거한 다음, 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 제거하고; 검출 블록의 근처에 포인트 클라우드가 분포될 경우 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 직접 제거하는 단계;를 포함하며, 상기 포지셔닝 수 임계값은 상기 이산 분포 상태를 설명하기 위한 것이다. 기존 기술과 비교할 경우, 너무 이산 분포되는 포인트 클라우드가 장애물을 식별하여 포지셔닝하는 것에 대한 잡음 간섭, 특히는 너무 먼 장애물로 인한 포지셔닝 오차 문제를 감소함으로써, 너무 가까운 장애물을 식별하는 정확성을 향상한다.

추가적으로, 상기 단계4에서, 상기 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 제거하는 방법은, 3d-tof 카메라에서 멀리 떨어지는 방향을 따라 각 열의 검출 블록에 분포되는 포인트 클라우드의 높이를 검출하여, 각 열의 검출 블록에 낮은 것에서부터 높은 것으로 변화되는 검출 블록 시퀀스가 존재하는지 여부를 각각 판단하며, 낮은 것에서부터 높은 것으로 변화되는 검출 블록 시퀀스가 존재할 경우 단계42로 진입하고, 낮은 것에서부터 높은 것으로 변화되는 검출 블록 시퀀스가 존재하지 않을 경우 단계43으로 진입하는 단계41; 상기 검출 블록 시퀀스에서의 높이가 가장 큰 포인트 클라우드가 속하는 검출 블록을 기록하고, 상기 기록된 검출 블록 후방의 높이가 상대적으로 작은 검출 블록에 분포되는 포인트 클라우드를 제거하며, 그 다음 단계41로 리턴하는 단계42; 상기 검출 블록 시퀀스에서의 높이가 가장 큰 포인트 클라우드가 속하는 검출 블록을 기록하고, 상기 기록된 검출 블록 후방의 검출 블록에 분포되는 포인트 클라우드를 제거하는 단계43;를 포함하며, 여기서, 낮은 것에서부터 높은 것으로 변화되는 것은 대응되게 판단에 참여한 각 검출 블록에 분포되는 최대 높이의 포인트 클라우드의 높이 위치 변화이고, 각 검출 블록에 분포되는 포인트 클라우드의 최고 높이는 각 검출 블록의 높이를 나타낸다.

기존 기술과 비교할 경우, 검출 블록에 분포되는 포인트 클라우드에 대한 제거 방식은 높이가 가장 큰 포인트 클라우드의 기초상에서 설정된 것이고, 구체적으로 실제 물리적 환경에서의 산비탈 형태에 따라, 산봉우리 높이 위치로 들어 올리기 전의 포인트 클라우드를 선택하여 보류하고, 산의 배면의 수집 시선이 차단된 비교적 낮은 포인트 클라우드는 삭제함으로써, 이동 로봇이 현재 위치에서 현저한 시선 차단 효과가 있는 장애물을 보류하며, 사전에 설정된 타깃 평면 영역에 대응되는 검출 블록에서 실제 높이 위치의 차단으로 인해 실제 장면의 장애물 포티셔닝에 사용될 수 없는 포인트 클라우드를 삭제하여, 심도 이미지에서 사전 수집된 비교적 낮은 포인트 클라우드 위치로 인한 오판단 현상을 극복함으로써, 너무 가까운 장애물의 위치의 오판단 현상을 현저하게 감소한다.

추가적으로, 상기 키프레임 시퀀스 내의 키프레임에서의 사전에 설정된 유효 특징 포인트는 너무 노출되지 않은 포인트, 노출 부족하지 않은 포인트, 너무 멀지 않은 포인트, 너무 가깝지 않은 포인트 및 최대 수직 높이가 20mm보다 큰 픽셀 포인트를 포함하며, 여기서, 너무 멀지 않은 포인트의 심도 값 및 너무 가깝지 않은 포인트의 심도 값은 모두 200mm 내지 500mm 사이에 있다. 기존 기술과 비교할 경우, 신뢰할 수 없는 특징 포인트의 영향은 배제된다.

추가적으로, 상기 사전에 설정된 유효 특징 포인트는 상기 장애물의 특징 포인트를 토큰하기 위한 것이고, 또는 상기 장애물 이외의 표준 도로표지판의 특징 포인트를 토큰하기 위한 것이며; 상기 3d-tof 카메라가 이동 로봇이 이동하는 과정에서 상기 사전에 설정된 유효 특징 포인트의 서로 다른 프레임 심도 이미지를 서로 다른 방향으로부터 수집한다. 따라서, 3d-tof 카메라의 시야각 범위 내에서 이동 로봇 전방의 장애물의 분포 위치 특징을 토큰한다.

추가적으로, 검출 블록의 8개 근처에 모두 포인트 클라우드가 분포되지 않은 것인지 여부를 판단하며, 검출 블록의 8개 근처에 모두 포인트 클라우드가 분포되지 않은 경우 상기 검출 블록 내에 분포되는 포인트 클라우드를 제거한다. 따라서, 이산 포인트를 제거하여, 가까운 거리에서의 장애물에 대한 효과적인 식별을 실현한다.

3d-tof 카메라 및 상기 로컬 포인트 클라우드 맵 생성 방법을 실행하기 위한 처리 유닛을 포함하며, 3d-tof 카메라가 몸체에 조립되어, 상기 3d-tof 카메라의 시야각이 전방을 커버하는 시각 로봇을 제공한다. 이는 상기 3d-tof 카메라가 이동 로봇이 이동하는 과정에서 서로 다른 시야각으로 타깃 장애물의 포인트 클라우드를 샘플링한 다음, 상기 시각 로봇이 어느 한 위치에 이동할 시, 3d-tof 카메라의 현재 시야각 범위 내의 사전에 설정된 타깃 평면 영역의 포인트 클라우드의 높이 위치 분포 특징을 이용하여, 스퓨리어스 포인트를 제거하고, 로컬 맵에 정확하게 포지셔닝하기 위한 최대 높이 및 합리적으로 분포된 포인트 클라우드만 보류하는 것을 허용하며, 상기 시각 로봇은 회전 과정에서, 회전 전 시야각 범위 내에서 식별된 몸체 가장자리 위치에 접근하는 장애물 또는 몸체에서 너무 가까운 장애물을 다시 식별함으로써, 너무 가깝거나 너무 먼 장애물 장면에서의 포지셔닝 적응성을 향상하고, 초근접 거리에서의 장애물 위치의 오판단 확율을 현저하게 감소한다.

도1은 본 발명의 일 실시예에서 개시되는 로컬 포인트 클라우드 맵 생성 방법의 흐름도이다.

아래 본 발명의 실시예에서의 도면을 참조하여, 본 발명의 실시예에서의 기술방안에 대해 상세하게 설명한다.

본 발명의 실시예는 로컬 포인트 클라우드 맵 생성 방법을 개시한다. 도1에 도시된 바와 같이, 상기 로컬 포인트 클라우드 맵 생성 방법은 아래 단계를 포함한다.

단계1에서, 이동 로봇이 움직이는 과정에서, 이동 로봇의 3d-tof 카메라가 심도 이미지를 계속 수집하도록 제어하고, 사전에 설정된 현저한 위치 포즈 변화 조건에 따라 3d-tof 카메라가 실시간으로 수집하는 현재 프레임 심도 이미지를 키프레임 시퀀스 내에 삽입하며; 그 다음 단계2로 진입한다.

설명해야 할 것은, 이동 로봇의 주행 규칙에는 주로 2가지가 있고, 가장자리를 따른 주행 및 "ㄹ"자형 주행을 포함하며, 여기서, "ㄹ"자형 주행은 텅빈 영역을 청소하는 것을 실현하기 위한 것이고; 상기 이동 로봇이 "ㄹ"자형으로 주행하는 과정에서, 서로 다른 장애물을 만날 수 있으며, "ㄹ"자형 경로를 따라 90도 회전하기 전에 거리가 아주 가까운 하나의 장애물이 검출될 경우, 90도 회전하는 과정에서는 동일한 장애물이 검출되지 않고, 계획되는 "ㄹ"자형 경로는 장애물의 방위에 따라 하나의 비교적 큰 각도를 선택하여 회전해야 하므로, 장애물을 회피하기 위해 청소 로봇은 장애물과 멀어지는 방향으로 회전하게 된다. 상기 이동 로봇은 청소 로봇일 수 있으며, 자동 청소기, 스마트 흡진기, 로봇 흡진기 등으로도 칭할 수 있고, 스마트 가전제품 중의 한가지로서, 소정의 인공지능을 통해, 자동으로 방 내부에서 "ㄹ"자형 계획 청소 동작을 완성한다.

일 실시예로서, 단계1에서, 상기 사전에 설정된 현저한 위치 포즈 변화 조건에 따라 3d-tof 카메라가 실시간으로 수집하는 현재 프레임 심도 이미지를 키프레임 시퀀스 내에 삽입하는 방법은 구체적으로 아래 단계를 포함한다.

이동 로봇의 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지에서의 사전에 설정된 유효 특징 포인트와 상기 키프레임 시퀀스 내의 각 키프레임(위치 포즈 변경을 거친 후의 키프레임)에서의 동일한 사전에 설정된 유효 특징 포인트의 상대적인 위치 포즈를 각각 계산하고; 여기서, 키프레임 시퀀스는 이동 로봇에 의해 사전에 저장되는 연속으로 배열되는 사전에 설정된 유효 특징 포인트를 포함하는 심도 이미지의 시퀀스이고, 연속적인 심도 이미지 프레임에서 각 프레임의 몸체에 상대적인 위치 정보 및 커메라의 방향 정보, 순회하여 식별된 몸체에서 너무 가깝거나 몸체에 접한 장애물을 포함하는 심도 이미지 정보를 저장하여, 후속으로 상기 유형의 장애물을 식별할 수 없을 경우, 이러한 상호 관련되는 심도 이미지의 참조 좌표 정보를 이용하여 포지셔닝하는 것을 보조하기 위한 것이다. 여기서, 사전에 설정된 유효 특징 포인트는 상기 3d-tof 카메라의 시야각 범위 내에서 이동 로봇 전방의 장애물의 분포 위치 특징을 토큰하기 위한 것이고, 장애물의 분포 위치 특징은 장애물이 존재하거나 및/또는 장애물이 존재하지 않는 것을 포함한다.

모든 계산된 상대적인 위치 포즈가 모두 사전에 설정된 현저한 위치 포즈 변화 조건을 만족할 경우, 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지를 새로운 키프레임으로 설정한 다음, 상기 새로운 키프레임을 상기 키프레임 시퀀스에 삽입하여, 다음번 전술한 상대적인 위치 포즈 계산에 참여하는 키프레임이 이동 로봇의 최신 상대적인 위치 관계를 반영하게 한다. 상기 단계1은 이동 로봇의 3d-tof 카메라의 현재 수집하는 심도 이미지와 키프레임 시퀀스 내의 각 프레임 심도 이미지 사이의 상대적인 위치 포즈의 크기 정도를 판단하여, 몸체의 현저한 변위 정도가 충분히 큰 심도 이미지 또는 몸체의 현저한 회전 정도가 충분히 큰 심도 이미지를 후속으로 선별하기 위한 것이다. 단계1에서 계산된 상대적인 위치 포즈에 포함되는 편향 각도 및 상대적인 거리가 모두 비교적 큰 것으로 결정하여, 이동 로봇이 비교적 큰 변위가 발생하거나 비교적 선명한 코너 변화가 발생함을 토큰하는 경우, 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지를 새로운 키프레임으로 설정한 다음, 상기 새로운 키프레임을 상기 키프레임 시퀀스에 삽입하여, 다음번 전술한 상대적인 위치 포즈 계산에 참여하는 키프레임이 이동 로봇의 최신 상대적인 위치 관계를 반영하게 한다.

상기 모든 계산된 상대적인 위치 포즈가 모두 사전에 설정된 현저한 위치 포즈 변화 조건을 만족하는 것은 구체적으로 아래와 같다. 계산된 상대적인 위치 포즈는, 이동 로봇의 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지에서의 사전에 설정된 유효 특징 포인트와 상기 위치 포즈 변경이 발생한 후의 키프레임 시퀀스 내의 각 키프레임에서의 동일한 사전에 설정된 유효 특징 포인트 사이의 심도 거리 변화량 및 이에 대응되는 편향 각도 변화량, 고정되어 움직이지 않는 상기 사전에 설정된 유효 특징 포인트에 대해 발생되는 이동 로봇의 변위 변화량(상기 심도 거리 변화량에 대응됨) 및 상기 사전에 설정된 유효 특징 포인트를 에둘러 발생되는 각도 편향량(상기 편향 각도 변화량에 대응됨)을 포함한다. 모든 심도 거리 변화량이 모두 사전에 설정된 거리 변화 임계값보다 크고, 또한 모든 편향 각도 변화량이 모두 사전에 설정된 각도 변화 임계값보다 클 경우, 상기 사전에 설정된 현저한 위치 포즈 변화 조건을 만족하는 것으로 결정하고, 이동 로봇이 비교적 큰 변위가 발생하거나 비교적 선명한 코너 변화가 발생(예를 들면, "ㄹ"자형 계획 주행 과정에서 90도 회전하는 것과 같음)하는 것으로 토큰한다. 기존 기술과 비교할 경우, 본 실시예는 2개 프레임의 심도 이미지 사이의 사전에 설정된 유효 특징 포인트에 대응되는 실제 위치 포인트(고정되어 변하지 않는 것으로 간주함)와 3d-tof 카메라의 거리의 변화량이 충분히 큰지를 판단하고, 또한 3d-tof 카메라의 편향 각도에 대한 2개 프레임의 심도 이미지 사이의 사전에 설정된 유효 특징 포인트에 대응되는 실제 위치 포인트(고정되어 변하지 않는 것으로 간주함)의 변화량이 충분히 큰지를 판단하여, 몸체의 변위가 충분히 큰지 또는 몸체의 회전 각도가 충분히 큰지를 토큰함으로써, 새로운 키프레임으로 설정된 심도 이미지와 현재 프레임 심도 이미지의 간격이 충분히 크게 되어, 선명하고 광역의 로봇 주변 정보를 제공할 수 있으며, 키프레임 시퀀스 내에 속하는 심도 이미지에 의해 커버되는 가시 범위가 충분히 크게 되어(예를 들면, 각도의 경우, 하나는 좌측에서 보고, 하나는 우측에서 보거나 또는 변위의 경우, 가깝게 보는 것과 멀리 보는것은, 상기 각도 위치 사이의 로봇의 위치 포즈 변경이 충분히 커야 함), 키프레임 시퀀스 내의 심도 이미지에 장애물을 포함하는 키프레임이 존재할 뿐만 아니라, 장애물을 포함하지 않는 키프레임도 존재하며, 후속으로 처리되어 생성된 로컬 포인트 클라우드 맵의 정보를 보조하여 장애물에 대한 정확한 포지셔닝 기능을 실행한다.

바람직하게, 상기 키프레임 시퀀스 내의 각 키프레임에서의 동일한 사전에 설정된 유효 특징 포인트와 이에 대응되는 키프레임에서의 3d-tof 카메라의 거리는 상기 3d-tof 카메라에 의해 사전에 수집되어 상기 키프레임 시퀀스에 삽입된 심도 이미지의 사전에 설정된 유효 특징 포인트에 대응되는 실제 위치 포인트에서 3d-tof 카메라의 이미징 평면까지의 심도 거리이고, 상기 심도 거리의 변화량은 상기 이동 로봇이 발생하는 변위 크기의 정도를 나타내기 위한 것이다. 상기 키프레임 시퀀스 내의 각 키프레임에서의 동일한 사전에 설정된 특징 포인트가 이에 대응되는 키프레임에서의 3d-tof 카메라에 대한 편향 각도는 상기 3d-tof 카메라가 상기 키프레임 시퀀스에 삽입되는 것을 실현하는 심도 이미지를 수집할 경우의 렌즈 방향 각도이고, 상기 렌즈 방향 각도의 변화량은 상기 이동 로봇 회전의 각도를 나타내기 위한 것이다. 기존 기술과 비교할 경우, 본 실시예는 사전에 설정된 유효 특징 포인트의 위치 포즈 정보를 추출하고 프레임 간의 오프셋 비교 연산에 참여함으로써, 이동 로봇의 상대적인 위치 포즈가 비교적 큰 복수 프레임의 키프레임을 쉽게 선별하고, 특히는 이동 로봇의 몸체가 비교적 큰 각도의 회전이 발생하거나 비교적 큰 변위가 발생한 후, 3d-tof 카메라가 너무 가까운 장애물을 식별할 수 없을 경우 후속적인 포인트 클라우드 제거 동작을 협력하여 사전에 저장된 키프레임 시퀀스에서 상호 관련되는 유효 특징 포인트(즉 사전에 저장된 장애물이 포함된 키프레임)에서 상기 너무 가까운 장애물의 구체적인 위치를 포지셔닝한다.

다른 일 실시예로서, 단계1에서, 상기 사전에 설정된 현저한 위치 포즈 변화 조건에 따라 3d-tof 카메라가 실시간으로 수집하는 현재 프레임 심도 이미지를 키프레임 시퀀스 내에 삽입하는 방법의 단계는 구체적으로 아래의 단계를 포함한다.

단계S101에서, 이동 로봇이 현재 작동 영역 내에서 사전에 계획된 "ㄹ"자형 경로를 따라 이동하고, 이동 과정에서 이동 로봇이 3d-tof 카메라를 사용하여 현재 작동 영역 내의 장애물을 포함하는 심도 이미지를 수집하며, 그 다음 단계S102로 진입한다.

단계S102에서, 이동 로봇의 3d-tof 카메라가 현재 프레임 심도 이미지를 현재 수집할 경우, 이동 로봇 내부에 설치되는 관성 센서를 호출하여 이동 로봇의 현재 위치 포즈를 측정하여 저장하며, 설명해야 할 것은, 3d-tof 카메라가 수집하는 심도 이미지에는 몸체 전방의 너무 노출되지 않은 포인트, 노출 부족하지 않은 포인트, 너무 멀지 않은 포인트, 너무 가깝지 않은 포인트 및 최대 수직 높이가 20mm보다 큰 픽셀 포인트를 포함하는 유효 특징 포인트를 포함하면, 상기 단계를 실행 할 수 있으며, 그 다음 단계S103으로 진입한다.

단계S103에서, 사전에 저장된 키프레임 시퀀스 내의 각 키프레임에 대응되는 이동 로봇의 실시간 위치 포즈(수집 위치)를 호출하여, 이동 로봇의 현재 위치 포즈와 각 키프레임에 대응되는 이동 로봇의 실시간 위치 포즈(사전 저장된 수집 위치) 사이의 상대적인 위치 포즈를 각각 계산하며, 그다음 단계S104로 진입한다. 바람직하게, 상기 키프레임 시퀀스는 이동 로봇에 의해 사전에 저장되는 연속으로 배열되는 사전에 설정된 유효 특징 포인트를 포함하는 심도 이미지의 시퀀스이고, 연속적인 심도 이미지 프레임에서 각 프레임의 몸체에 상대적인 위치 정보 및 커메라의 방향 정보, 순회하여 식별된 몸체에서 너무 가깝거나 몸체에 접한 장애물을 포함하는 심도 이미지 정보를 저장하여, 후속으로 상기 유형의 장애물을 식별할 수 없을 경우, 이러한 심도 이미지와 동기화 수집되는 관성 정보를 이용하여 쉽게 포지셔닝을 보조한다. 여기서, 사전에 설정된 유효 특징 포인트는 상기 3d-tof 카메라의 시야각 범위 내에서 이동 로봇 전방의 장애물의 분포 위치 특징을 토큰하기 위한 것이고, 장애물의 분포 위치 특징은 장애물이 존재하거나 및/또는 장애물이 존재하지 않는 것을 포함한다.

상기 모든 계산된 상대적인 위치 포즈가 모두 사전에 설정된 현저한 위치 포즈 변화 조건을 만족하는 것은 구체적으로 아래와 같다. 계산된 상대적인 위치 포즈는, 이동 로봇의 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지에서의 사전에 설정된 유효 특징 포인트와 사전에 수집된 상기 키프레임에서 동일한 또는 동일 유형의 사전에 설정된 유효 특징 포인트 사이의 이동 로봇의 주행 거리 변화량 및 동일한 수집 과정에서 발생되는 편향 각도 변화량을 포함한다. 모든 주행 거리 변화량이 모두 사전에 설정된 거리 변화 임계값 보다 크고, 또한 모든 편향 각도 변화량이 모두 사전에 설정된 각도 변화 임계값보다 클 경우, 상기 사전에 설정된 현저한 위치 포즈 변화 조건을 만족하는 것으로 결정한다. 설명해야 할 것은, 상기 관성 센서는 이동 로봇의 몸체 중심에 내장된 인코딩디스크 및 이동 로봇의 몸체 중심에 내장된 자이로스코프를 포함하며, 인코딩디스크는 이동 로봇의 주행 거리 변화량을 측정하기 위한 것이고, 자이로스코프는 동일한 수집 과정에서 이동 로봇의 편향 각도 변화량을 측정하기 위한 것이다. 여기서, 인코딩디스크가 측정하여 얻은 이동 로봇의 위치 좌표는 상기 이동 로봇의 몸체 중심과 3d-tof 카메라의 강체 연결 관계를 통해 상기 현재 프레임 심도 이미지가 대응하게 속하는 카메라 좌표계로 변환되여, 로컬 포인트 클라우드 맵을 생성함으로써, 로컬 포인트 클라우드 맵에 이동 로봇이 상기 사전에 설정된 유효 특징 포인트를 수집할 시 발생되는 이동 궤적을 라벨링한다. 본 실시예는 관성 데이터를 적용하여 이동 로봇의 위치 포즈 변화 정보를 직접 획득하므로, 상기 실시예의 특징 포인트 계산에 비해, 상대적인 위치 포즈의 계산량을 간략화한다.

바람직하게, 상기 키프레임 시퀀스의 각 키프레임에서 동일한 타깃 장애물에 관한 특징 포인트는 위치 포즈 변경을 통해 동일한 로컬 포인트 클라우드 맵으로 변환되고, 동일한 타깃 장애물을 라벨링하고 서로 다른 키프레임에서의 이동 로봇의 위치 포즈를 획득하기 위한 것이다.

단계S104에서, 단계S103에서 모든 계산된 상대적인 위치 포즈가 모두 사전에 설정된 현저한 위치 포즈 변화 조건을 만족할지 여부를 판단하며, 사전에 설정된 현저한 위치 포즈 변화 조건을 만족할경우 단계S105로 진입하고, 사전에 설정된 현저한 위치 포즈 변화 조건을 만족하지 않을 경우 단계S106로 진입한다. 상기 단계는 현재 프레임 심도 이미지에 대응되는 로봇 위치 포즈와 키프레임 시퀀스 내의 각 시퀀스 심도 이미지에 대응되는 로봇 위치 포즈 사이의 상대적인 위치 포즈의 크기 정도를 판단하여, 몸체의 현저한 변위 정도가 충분히 큰 심도 이미지 또는 몸체의 현저한 회전 정도가 충분히 큰 심도 이미지를 후속으로 쉽게 선별하기 위한 것이다.

단계S105에서, 단계S103에서 계산된 상대적인 위치 포즈에 포함되는 편향 각도 및 상대적인 거리가 모두 비교적 큰 것으로 결정하여, 이동 로봇이 비교적 큰 변위가 발생하거나 비교적 선명한 코너 변화가 발생함을 토큰하는 경우, 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지를 새로운 키프레임으로 설정한 다음, 상기 새로운 키프레임을 상기 키프레임 시퀀스에 삽입하여, 다음번 전술한 상대적인 위치 포즈 계산에 참여하는 키프레임이 이동 로봇의 최신 상대적인 위치 관계를 반영하게 하고; 그 다음 단계S201로 리턴함으로써, 현재 작동 영역 내의 심도 이미지를 계속 이동하여 수집한다.

단계S106에서, 단계S103에서 계산된 상대적인 위치 포즈에 포함되는 편향 각도 및 상대적인 거리가 모두 비교적 작은 것으로 결정하여, 이동 로봇이 비교적 작은 변위가 발생하거나 비교적 선명하지 않은 코너 변화가 발생함을 토큰하는 경우, 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지를 새로운 키프레임으로 설정하지 않고, 단계S101로 리턴함으로써, 현재 작동 영역 내의 심도 이미지를 계속 이동하여 수집한다.

전술한 단계에서 3d-tof 카메라를 이용하여 현재 프레임 심도 이미지를 수집할 시 동기화 취득되는 관성 데이터와 키프레임 시퀀스 내의 모든 심도 이미지를 수집할 시 동기화 취득되는 관성 데이터를 융합 연산하여, 이동 로봇 위치 변화 상황을 토큰하는 상대적인 위치 포즈를 구하고, 사전에 설정된 현저한 위치 포즈 변화 조건에 따라 선명하고 광역의 로봇 주변 정보를 반영하는 키프레임을 선택한다. 기존 기술과 비교할 경우, 이동 로봇이 이러한 키프레임을 이용하여 이동 로봇 전방의 장애물 분포 상황을 큰 범위로 커버할 수 있는 로컬 포인트 클라우드 맵을 설정함으로써, 현재 프레임 심도 이미지와 이러한 업데이트를 지원하는 키프레임의 상대적인 위치 포즈를 융합 처리하는 것을 통해 로봇이 실시간으로 수집하는 단일 프레임 심도 이미지에 기반하여 몸체 가장자리 위치에 접근하는 장애물 또는 몸체에서 너무 가까운 장애물을 식별하여 포지셔닝할 수 없는 문제를 해결한다.

설명해야 할 것은, 이동 로봇이 "ㄹ"자형으로 청소할 시, 90도 회전 후, 존재하는 장애물이 몸체에서 아주 가까운 거리에 있을 경우 사운딩되지 않는 문제를 해결하기 위해, 본 실시예에서 사전에 저장되는 이미지 시퀀스에서의 심도 이미지를 사용하며, 예를 들면, 현재 수집 시각이 t일 경우, t-1 시각, t-2 시각, t-3 시각에 수집되는 심도 이미지 프레임, 또는 다른 더 오래전의 순차성을 갖는 키프레임 이미지를 사용할 수 있지만, 반드시 심도 이미지의 가장자리에 대응되는 장애물인 것은 아니며, 키프레임에서 몸체 전방에 나타나는 유효 포인트이면 모두 현재 프레임을 융합하여 상대적인 위치 포즈를 계산하는데 사용될 수 있다. 동시에 몸체 중심의 관성 센서가 실시간으로 수집하는 위치 정보도 획득해야 한다.

일 실시예에서, 모든 심도 거리 변화량이 모두 사전에 설정된 거리 변화 임계값보다 크고, 또한 모든 편향 각도 변화량이 모두 사전에 설정된 각도 변화 임계값보다 클 경우, 상기 사전에 설정된 현저한 위치 포즈 변화 조건을 만족하는 것으로 결정하고, 이동 로봇이 비교적 큰 변위가 발생하거나 비교적 선명한 코너 변화가 발생(예를 들면, "ㄹ"자형 계획 주행 과정에서 90도 회전하는 것과 같음)하는 것으로 토큰한다. 기존 기술과 비교할 경우, 상기 기술방안은 2개 프레임의 심도 이미지에 대응되는 실제 수집 위치 포인트의 변화량이 충분히 큰지를 판단하고, 2개 프레임의 심도 이미지에 대응되는 실제 몸체 편향 각도의 변화량이 충분히 큰지를 판단하여, 몸체의 변위가 충분히 큰지 또는 몸체의 회전 각도가 충분히 큰지를 토큰함으로써, 새로운 키프레임으로 설정된 심도 이미지와 현재 프레임 심도 이미지의 간격이 충분히 크게 되어, 선명하고 광역의 로봇 주변 정보를 제공할 수 있으며, 키프레임 시퀀스 내에 속하는 심도 이미지에 의해 커버되는 가시 범위가 충분히 크게 되어(예를 들면, 각도의 경우, 하나는 좌측에서 보고, 하나는 우측에서 보거나 또는 변위의 경우, 가깝게 보는 것과 멀리 보는것은, 여기서 상기 각도 위치 사이의 로봇의 위치 포즈 변경이 충분히 커야 함), 키프레임 시퀀스 내의 심도 이미지에 장애물을 포함하는 키프레임이 존재할 뿐만 아니라, 장애물을 포함하지 않는 키프레임도 존재하며, 장애물에 대한 포지셔닝 계산 단계를 간략화하게 한다.

단계2에서, 키프레임 시퀀스 내의 심도 이미지의 사전에 설정된 유효 특징 포인트를 위치 포즈 변경하여, 카메라 좌표계에서의 포인트 클라우드가 되도록 제어하며, 그 다음 단계3으로 진입한다. 상기 키프레임 시퀀스 내의 각 키프레임에서의 사전에 설정된 유효 특징 포인트와 이에 대응되는 키프레임에서의 3d-tof 카메라의 거리 및 편향 각도는 모두 평행이동 회전의 방식을 통해 상기 현재 프레임 심도 이미지가 대응하게 속하는 카메라 좌표계로 변환되어, 상기 위치 포즈 변경을 실현하며; 또는, 인코딩디스크가 측정하여 얻은 이동 로봇의 위치 좌표는 상기 이동 로봇의 몸체 중심과 3d-tof 카메라의 강체 연결 관계를 통해 상기 현재 프레임 심도 이미지가 대응하게 속하는 카메라 좌표계로 변환되여, 상기 위치 포즈 변경을 실현할 수도 있다; 여기서, 상기 로컬 포인트 클라우드 맵의 맵 좌표계는 현재 프레임 심도 이미지에 대응되는 카메라 좌표계이다. 따라서, 각 방위에서 수집되는 사전 설정된 유효 특징 포인트를 모두 동일한 로컬 포인트 클라우드 좌표계(상대적인 거리 정보 및 편향 각도 정보)에 변환되어, 이동 로봇의 상대적인 위치 포즈를 결정하고, 이동 로봇의 전방에 장애물이 존재하는지 여부를 쉽게 판단함과 동시에, 이동 로봇이 상기 사전에 설정된 유효 특징 포인트를 수집할 시 발생되는 이동 궤적을 라벨링할 수도 있다. 여기서, 동일한 로컬 포인트 클라우드 좌표계는 현재 프레임 심도 이미지에 대응되는 카메라 좌표계이다. 본 실시예는 보다 더 정확한 로컬 포인트 클라우드 맵을 복원하는데 유리하고, 이동 로봇의 인스턴트 포지셔닝 네비게이션에 편리하다. 바람직하게, 상기 키프레임 시퀀스 내의 각 키프레임에서 동일한 타깃 장애물에 관한 특징 포인트는 위치 포즈 변경을 통해 동일한 로컬 포인트 클라우드 맵으로 변환되고, 동일한 타깃 장애물을 획득한 서로 다른 키프레임에서의 이동 로봇의 위치 포즈에 라벨링하기 위한 것이다.

단계3에서, 이동 로봇의 3d-tof 카메라의 실시간 시야각 범위 내에서, 수평 지면에 위치하는 하나의 사전에 설정된 타깃 평면 영역을 설정하고, 상기 사전에 설정된 타깃 평면 영역에 이와 매칭되는 검출 블록을 설정하여, 포인트 클라우드가 사전에 설정된 타깃 평면 영역의 바로 상방에 3차원 히스토그램의 형식으로 라벨링되게 하며, 그다음 단계4로 진입한다.

구체적으로, 상기 사전에 설정된 타깃 평면 영역은 하나의 직사각형 영역이고, 직사각형 영역의 일 변의 중간 포인트는 3d-tof 카메라의 위치이며, 이 변의 길이는 상기 이동 로봇의 몸체 직경과 같고, 상기 변과 수직되는 다른 일 변은 3d-tof 카메라의 시야각 전방에 설정되며, 상기 3d-tof 카메라가 수집하는 심도 이미지에서의 사운딩 가능한 심도 거리를 토큰하기 위한 것이다. 따라서, 상기 사전에 설정된 타깃 평면 영역은 상기 이동 로봇이 순리롭게 통행하는 타깃 사운딩 영역을 수용할 수 있도록 설정되고, 전술한 단계2의 키프레임 위치 포즈가 변경되어 형성된 카메라 좌표계에서의 포인트 클라우드를 결합하여, 상기 영역 상방의 장애물 포인트 클라우드의 최대 높이 위치 및 분포 특징을 포지셔닝하고, 가까운 거리 조건에서의 장애물에 대한 장애물 회피 경로를 효과적으로 계획한다.

상기 각 포인트 클라우드를 3차원 히스토그램의 형식으로 라벨링하는 방법은 아래의 단계를 포함한다. 상기 3차원 히스토그램이 속하는 3차원 좌표계의 좌표 원점이 3d-tof 카메라의 위치이도록 설정하고, 상기 사전에 설정된 타깃 평면 영역이 상기 3차원 좌표계의 수평축의 양의 방향의 상기 몸체 직경의 절반의 거리를 커버하도록 설정하고, 상기 사전에 설정된 타깃 평면 영역이 상기 3차원 좌표계의 수평축의 음의 방향의 상기 몸체 직경의 절반의 거리를 커버하도록 설정하고, 상기 사전에 설정된 타깃 평면 영역이 상기 3차원 좌표계의 세로축의 양의 방향의 상기 사운딩 가능한 심도 거리를 커버하도록 설정하고, 상기 검출 블록이 상기 3차원 좌표계의 수직축을 따라 분포되도록 설정하며, 상기 검출 블록이 상기 3차원 좌표축의 수직축 상에서 차지하는 수직 높이가 상기 검출 블록에 분포되는 포인트 클라우드 높이를 표시하는데 사용되도록 설정함으로써, 상기 포인트 클라우드를 구분하여 상기 사전에 설정된 수량의 3차원 히스토그램을 획득하고, 3차원 히스토그램의 형식으로 상기 포인트 클라우드에 대한 저장을 실현한다. 여기서, 상기 3차원 히스토그램이 속하는 3차원 좌표계는 상기 로컬 맵의 좌표계와 동일하다. 따라서, 히스토그램 통계의 방식을 통해 로컬 맵의 포인트 클라우드를 로컬 맵의 좌표계에서의 특정 검출 영역 상의 3차원 포인트 형태의 맵으로 변환함으로써, 3차원 포인트 형태의 맵에 분포되는 직사각형 블록의 높이를 이용하여 장애물의 포인트 클라우드 높이를 토큰하는 것을 실현하여, 스퓨리어스 포인트 클라우드를 현저하고 신속하게 제거한다.

본 실시예에서, 상기 사전에 설정된 타깃 평면 영역에 대응되는 사전에 설정된 값의 좌표 값 범위는 아래와 같다. 상기 3d-tof 카메라의 중심을 좌표 원점으로 하여, 수평축 방향에서 좌표에 의해 커버되는 범위는 맨 좌측 -150mm 내지 맨 우측 +150mm이고, 세로축 방향에서 좌표 범위(심도 거리로 표현됨)는 가장 가까운 측 0mm 내지 가장 먼 측 300mm이다. 본 실시예는 각 수평 투영 면적 30mm*30mm의 검출 블록에서 상기 로컬 맵의 포인트 클라우드 위치에 대해 3차원 히스토그램 통계를 진행하며, 사전에 설정된 타깃 평면 영역의 좌표 값 범위 내에 없는 것은 모두 블로킹 기록하지 않고, 그 중에 포함되는 포인트 클라우드 최대 높이는, 유효한 타깃 공간 영역 내에서 포인트 클라우드 최대 높이가 라벨링된 3차원 포인트 형태 맵을 생성한다. 따라서, 상기 사전에 설정된 타깃 평면 영역을 상기 이동 로봇이 순리롭게 통행하는 타깃 사운딩 영역을 수용할 수 있도록 설정하고, 상기 영역 상방의 장애물 포인트 클라우드의 최대 높이 위치 및 분포 특징을 식별하여 포지셔닝함으로써, 가까운 거리 조건에서의 장애물에 대한 장애물 회피 경로를 실시간으로 유효하게 계획한다.

바람직하게, 상기 사전에 설정된 타깃 평면 영역의 면적과 상기 검출 블록의 수평 투영 면적의 비율은 사전에 설정된 정수이므로, 사전에 설정된 타깃 평면 영역이 전부 사전에 설정된 정수의 검출 블록에 의해 균등하게 구분되어 차지된다. 각 행에 N개의 검출 블록이 배열되고, 각 열에 M개의 검출 블록이 배열되며, 행의 방향은 몸체가 저진하는 방향과 상호 수직되는 측 방향이고, 열의 방향은 몸체가 전진하는 방향이며, 본 실시예에서 3d-tof 카메라의 광축방향과 등가적이고, 사전에 설정된 정수는 N과 M의 곱셈이며, 상기 검출 블록이 상기 사전에 설정된 목표 평면 영역에 대한 포인트 클라우드 커버율을 향상한다.

단계4에서, 포인트 클라우드가 각 검출 블록에서의 높이 위치 분포 특징에 따라, 먼저 상응하는 검출 블록 내의 이산 분포 상태를 나타내는 포인트 클라우드를 제거하고, 다음으로 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 제거하며, 그 다음 단계5로 진입한다. 상기 단계4에서, 하나의 상기 포인트 클라우드의 3차원 좌표 위치가 그 중 하나의 상기 검출 블록 내에 포함될 경우, 상기 포인트 클라우드가 상기 검출 블록에 분포되는 것으로 결정하고, 상기 포인트 클라우드의 높이를 기록함으로써, 포인트 클라우드의 위치 정보를 저장하여 적용하는 방식을 간략화한다. 추가적으로, 포인트 클라우드가 각 검출 블록에 포함되는 상황에 따라, 각 검출 블록 내에 분포되는 포인트 클라우드의 최대 높이를 포함하는 각 검출 블록 내에 분포되는 포인트 클라우드 높이를 각각 기록하고, 각 검출 블록 내에 분포되는 최대 높이의 포인트 클라우드를 상기 검출 블록의 최대 높이 위치로 식별하여, 상기 포인트 클라우드가 3차원 히스토그램의 형식으로 사전에 설정된 타깃 평면 영역의 바로 상방에 라벨링되게 한다. 여기서, 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드는 어느 한 높이가 비교적 큰 검출 블록에 의해 수집 시선이 차단된 비교적 낮은 검출 블록 내에 분포되는 포인트 클라우드이고, 상기 비교적 낮은 포인트 클라우드는 상기 3d-tof 카메라의 전방에서, 또한 상기 3d-tof 카메라와 멀리 떨어지는 방향을 따라 높이가 비교적 큰 검출 블록의 후방에 배열된다.

상기 단계4에서, 상기 상응하는 검출 블록 내의 이산 분포 상태를 나타내는 포인트 클라우드를 제거하는 방법은 구체적으로 아래의 단계를 포함한다. 상기 검출 블록 내에 분포되는 포인트 클라우드의 수량이 포지셔닝 수 임계값보다 작은지 여부를 판단하며, 포지셔닝 수 임계값보다 작을 경우 상기 검출 블록에 분포되는 포인트 클라우드를 제거한 다음, 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 제거하고; 포지셔닝 수 임계값보다 작지 않을 경우 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 직접 제거하며; 여기서, 상기 포지셔닝 수 임계값은 상기 이산 분포 상태를 설명하기 위한 것이다; 및/또는, 검출 블록의 근처에 모두 포인트 클라우드가 분포되지 않은 것인지 여부를 판단하며, 검출 블록의 근처에 모두 포인트 클라우드가 분포되지 않은 경우 상기 검출 블록 내에 분포되는 포인트 클라우드를 제거한 다음, 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 제거하고; 검출 블록의 근처에 포인트 클라우드가 분포될 경우 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 직접 제거한다.

구체적으로는, 외부의 간섭, 예를 들면, 시선 가림, 장애물 등 요소의 영향을 받아, 포인트 클라우드 데이터에는 종종 포지셔닝 식별될 장애물의 포인트 클라우드와 비교적 멀리 떨어진 일부 이산 포인트, 즉 아웃라이어스가 존재하며, 포인트 클라우드 맵 포지셔닝 네비게이션의 정확성에 영향준다. 본 실시예에서, 상기 단계4는 구체적으로 아래의 단계를 포함한다.

상기 검출 블록 내에 분포되는 포인트 클라우드 수량이 포지셔닝 수 임계값보다 작은 것으로 판단할 경우, 상기 검출 블록 내에 분포되는 포인트 클라우드를 제거하며, 구체적으로는 상기 검출 블록 내에 분포되는 포인트 클라우드를 지우고, 그 포인트 클라우드를 사전에 설정된 타깃 평면 영역의 바로 상방에서 제거한다.

또는, 상기 검출 블록 내에 분포되는 포인트 클라우드 수량이 포지셔닝 수 임계값보다 작은 것으로 판단할 경우, 상기 검출 블록의 근처에 모두 포인트 클라우드가 분포되지 않은 것인지 여부를 계속 판단하며, 상기 검출 블록의 근처에 모두 포인트 클라우드가 분포되지 않을 경우 상기 검출 블록 내에 분포되는 포인트 클라우드를 제거한다.

또는, 검출 블록의 근처에 모두 포인트 클라우드가 분포되지 않는 것으로 판단할 경우, 상기 검출 블록 내에 분포되는 포인트 클라우드는 사전에 설정된 타깃 평면 영역의 바로 상방에 상대적으로 고립되어 존재함을 나타내므로, 상기 검출 블록 내에 분포되는 포인트 클라우드를 제거하며, 구체적으로는 상기 검출 블록 내에 분포되는 포인트 클라우드를 지우고, 그 포인트 클라우드를 사전에 설정된 타깃 평면 영역의 바로 상방에서 제거한다.

또는, 검출 블록의 근처에 모두 포인트 클라우드가 분포되지 않는 것으로 판단할 경우, 상기 검출 블록 내에 분포되는 포인트 클라우드의 수량이 포지셔닝 수 임계값보다 작은지 여부를 계속 판단하며, 포지셔닝 수 임계값보다 작으면 상기 검출 블록 내부에 분포되는 포인트 클라우드를 제거한다.

전술한 단계는 너무 이산 분포되는 포인트 클라우드가 장애물을 식별하여 포지셔닝하는 것에 대한 잡음 간섭, 특히는 너무 먼 장애물로 인한 포지셔닝 오차 문제를 감소함으로써, 너무 가까운 장애물을 식별하는 정확성을 향상한다.

상기 단계4에서, 상기 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 제거하는 방법은 아래의 단계를 포함한다.

단계41에서, 3d-tof 카메라에서 멀리 떨어지는 방향을 따라 각 열의 상기 검출 블록에 분포되는 포인트 클라우드의 높이를 검출하여, 각 열의 검출 블록에 낮은 것에서부터 높은 것으로 변화되는 검출 블록 시퀀스가 존재하는지 여부를 각각 판단하며, 낮은 것에서부터 높은 것으로 변화되는 검출 블록 시퀀스가 존재할 경우 단계42로 진입하고, 낮은 것에서부터 높은 것으로 변화되는 검출 블록 시퀀스가 존재하지 않을 경우 단계43으로 진입하며; 여기서, 낮은 것에서부터 높은 것으로 변화되는 것은 대응되게 판단에 참여한 각 검출 블록에 분포되는 최대 높이의 포인트 클라우드의 높이 위치 변화이고, 각 검출 블록에 분포되는 포인트 클라우드의 최고 높이는 각 검출 블록의 실제 높이를 나타내며, 상기 3차원 히스토그램의 각 직사각형 블록의 안정적인 높이로 반영된다.

단계42에서, 상기 검출 블록 시퀀스에서의 높이가 가장 높은 포인트 클라우드가 속하는 검출 블록을 기록하고, 상기 기록된 검출 블록 후방의 높이가 상대적으로 작은 검출 블록에 분포되는 포인트 클라우드를 제거하며, 그 다음 단계41로 리턴하여, 기존 검출 순회 방향을 따라 일열에 대응되는 나머지 검출 블록(포인트 클라우드를 제거한 검출 블록을 포함할 수 있음)에 낮은 것에서부터 높은 것으로 변화되는 검출 블록 시퀀스가 더 존재하는지 여부를 계속 판단하며, 더 존재할 경우 상기 검출 블록 시퀀스가 전번에 판단된 검출 블록 시퀀스의 높이가 가장 큰 포인트 클라우드보다 더 높은 것으로 결정하고, 전술한 제거 단계를 계속 중복하여, 일열에 대응되는 검출 블록에서의 높이가 가장 큰 포인트 클라우드가 속하는 검출 블록의 후방의 검출 블록에 분포되는 포인트 클라우드를 모두 제거하는 것을 실현한다.

단계43에서, 상기 검출 블록 시퀀스에서의 높이가 가장 큰 포인트 클라우드가 속하는 검출 블록을 기록하고, 상기 기록된 검출 블록 후방의 검출 블록에 분포되는 포인트 클라우드를 제거한다.

본 실시예에서, 먼저 좌표계가 변환된 후의 포인트 클라우드에서의 존재하는 현재 포지셔닝에 불리한 오류 포인트를 필터링해야 하고, 본 실시예의 단계4에서 3차원 히스토그램 형식으로 저장된 포인트 클라우드에는 아주 많은 불합리한 포인트가 존재한다. 예를 들면, 벽을 마주할 경우, 포인트 클라우드에서의 두께는 10cm에 도달하므로, 전술한 단계에 기반하여, 몸체의 현재 위치 전방에서 수집되는 상기 벽 포인트 클라우드 높이를 토큰하는 검출 블록이 시선을 충분히 가리는지 여부를 판단할 수 있으며, 충분히 가릴 경우 상기 검출 블록 뒤의 검출 블록 내의 포인트 클라우드가 유효하다 하더라도(즉 3d-tof 카메라에 의해 사전에 수집되고 상기 로컬 맵에 라벨링됨) 현재 위치에서의 3d-tof 카메라에 의해 수집될 수 없을 것이므로, 상기 검출 블록 뒤의 검출 블록 내의 포인트 클라우드를 모두 제거하여, 사전에 수집되고 상기 로컬 맵에 라벨링된 대응되는 포인트 클라우드 위치 포지셔닝을 직접 사용하는 것을 방지해야 하지만, 현재 위치에서의 3d-tof 카메라의 시야각 범위 내의 포인트 클라우드 실제 높이 위치의 영향을 고려하지 않아, 이동 로봇이 현재 위치에서 장애물 회피 동작을 실행하는데 불리하다; 이해할 수 있는 것은, 포인트 클라우드 본신의 오차로 인한 실시간 포지셔닝의 간섭 요소로 인해, 현재 위치에서 너무 높은 장애물의 후방을 볼 수 없지만, 3d-tof 카메라는 관련되는 심도 이미지를 이미 수집하고, 본 실시예의 이동 로봇은 높이가 가장 큰 검출 블록 후면의 검출 블록 내의 포인트 클라우드를 쉽게 사용하여 장애물을 포지셔닝하므로, 포지셔닝 오차가 쉽게 발생한다. 따라서 전방의 실제로 만나는 장애물을 실시간 포지셔닝 및 식별하기 위해, 상기 검출 블록 후면의 비교적 낮은 검출 블록 내의 포인트 클라우드를 모두 제거하고, 높이가 가장 큰 검출 블록 앞의 포인트 클라우드를 보류해야 함으로써, 포인트 클라우드 위치 측정 오차로 인한 영향을 극복한다.

따라서, 기존 기술과 비교할 경우, 전술한 단계41 내지 단계43에 기반하여, 검출 블록에 분포되는 포인트 클라우드에 대한 제거 방식은 높이가 가장 큰 포인트 클라우드의 기초상에서 만들어진 것이고, 구체적으로 실제 물리적 환경에서의 산비탈 형태에 따라, 산봉우리 높이 위치로 들어 올리기 전의 포인트 클라우드를 선택하여 보류하고, 산의 배면에 대응되는 비교적 낮은 포인트 클라우드(수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드)는 삭제함으로써, 이동 로봇이 현재 위치에 현저한 시선 차단 효과가 있는 장애물을 보류하며, 사전에 설정된 타깃 평면 영역에 대응되는 검출 블록에서 실제 높이 위치의 차단으로 인해 현재 위치의 장애물 포지셔닝에 사용될 수 없는 포인트 클라우드를 삭제하여, 로컬 맵의 포인트 클라우드 데이터에 대한 필터링 최적화를 실현하고, 포인트 클라우드 자체의 측정 오차(실제 장면에서 너무 높은 장애물 뒤의 검출 블록이 보이지 않지만, 심도 이미지는 이미 수집되어 로컬 맵으로 변환됨)로 인한 포지셔닝 간섭 요소를 극복하여, 너무 가까운 장애물의 포인트 클라우드 위치의 오판단 현상을 현저하게 감소하고, 상기 로컬 맵의 실시간 포지셔닝의 정확성을 향상하는 것으로 이해할 수 있다.

단계5에서, 각 검출 블록 내에 분포되는 나머지 포인트 클라우드의 위치를 로컬 포인트 클라우드 맵의 3차원 위치로 라벨링하여, 로컬 포인트 클라우드 맵의 생성을 실현한다. 본 실시예에서, 상기 키프레임 시퀀스 내에 3프레임 또는 3프레임 이상의 심도 이미지가 존재하여, 로컬 포인트 클라우드 맵의 생성 및 유효 특징 포인트를 통한 장애물 포지셔닝을 위해 보다 더 충분한 포인트 클라우드 샘플을 제공할 수 있고, 단계5까지 실행할 시 각 검출 블록 내의 일부분 쉽게 오차를 일으킬수 있는 포인트 크라우드는 제거되지만, 상기 키프레임 시퀀스 내에 존재하는 심도 이미지에 관한 포지셔닝 샘플 특징 포인트가 충분히 많으므로, 로컬 포인트 클라우드 맵이 보다 더 안정하고 유효하도록 확보할 수 있다.

바람직하게, 상기 이동 로봇은 선입선출(FIFO 대기행렬)의 메모리 저장 형식을 적용하여 상기 키프레임 시퀀스를 캐시함으로써, 상기 이동 로봇이 이동 과정에서 상기 키프레임 시퀀스 내의 최신으로 삽입된 상기 키프레임을 리프레쉬하고, 3d-tof 카메라가 현재 실시간 수집하는 한프레임 심도 이미지와 시간 상에서 가장 가까운 상기 키프레임을 획득한다. 저장 공간의 최적화를 실현하기 위해, 본 실시예는 선입선출의 방식을 적용하여 대기행열에 저장되는 최신으로 선별하여 삽입된 키프레임을 저장하고, 가장 유효한 프레임 시퀀스만 저장하도록 확보하며, 현재 프레임에서 가장 가까운 3프레임 심도 이미지일 수 있다. 선입선출(FIFO 대기행렬)의 형식으로 캐시된 심도 이미지 데이터는 중복되지 않으므로, 유효한 로컬 포인트 클라우드 맵 포지셔닝 정보를 더 정확하게 유지한다.

정리하면, 전술한 단계에서, 이동 로봇이 이러한 키프레임을 이용하여 이동 로봇 전방의 장애물 분포 상황을 큰 범위로 커버할 수 있는 로컬 포인트 클라우드 맵을 설정함으로써, 현재 프레임 심도 이미지와 이러한 업데이트를 지원하는 키프레임의 상대적인 위치 포즈를 융합 처리하는 것을 통해, 사전에 설정된 현저한 위치 포즈 변화 조건에 따라 로봇 주변 큰 범위 영역 위치를 반영하는 포인트 클라우드를 샘플링하여, 이동 로봇이 이러한 키프레임을 이용하여 이동 로봇 전방의 장애물 분포 상황을 완전히 커버할 수 있는 로컬 포인트 클라우드 맵을 설정한 다음, 3차원 히스토그램의 형식으로 서로 다른 높이 위치의 포인트 클라우드를 설명하여, 포인트 클라우드가 서로 다른 검출 블록의 3차원 영역에서 분포 특징을 이용하여 스퓨리어스 포인트를 쉽게 제거함으로써, 로봇이 실시간으로 수집하는 단일 프레임 심도 이미지에 기반하여 몸체 가장자리 위치에 접근하는 장애물 또는 몸체에서 너무 가까운 장애물을 식별하여 포지셔닝할 수 없는 문제를 해결하고, 너무 가깝거나 너무 먼 장애물 장면에서의 로컬 포인트 클라우드 맵의 적응성을 향상하며, 초근접 거리에서의 장애물 위치에 대한 식별하여 포지셔닝하는 난이도 및 오판단 확율을 현저하게 감소한다.

전술한 실시예에서, 상기 사전에 설정된 유효 특징 포인트는 너무 노출되지 않은 포인트, 노출 부족하지 않은 포인트, 너무 멀지 않은 포인트, 너무 가깝지 않은 포인트 및 최대 수직 높이가 20mm보다 큰 픽셀 포인트를 포함하며, 여기서, 너무 멀지 않은 포인트의 심도 값 및 너무 가깝지 않은 포인트의 심도 값은 모두 200mm 내지 500mm 사이에 있고, 3d-tof 카메라의 시야각 범위 내에서 이동 로봇 전방의 장애물의 유효 위치 특징 포인트의 집합을 토큰하기 위한 것이다. 구체적으로, 너무 노출되지 않은 포인트 및 노출 부족하지 않은 포인트는 3d-tof 카메라에 의해 직접 획득된 것이고, 각 프레임 심도 이미지에서의 각 픽셀 포인트는 모두 너무 노출되고, 노출이 부족하며, 너무 멀고, 너무 가까운 4가지 상태가 있으며, 너무 노출된 포인트 및 노출 부족 포인트는 모두 신뢰할 수 없는 포인트이고, 너무 가까운 포인트 및 너무 먼 포인트는 모두 대기행렬(FIFO)에 저장되지 않는다. 따라서, 심도 이미지에서의 조도 영향을 비교적 크게 받는 너무 노출된 포인트 및 노출 부족 포인트, 거리 오차 영향을 비교적 크게 받는 너무 먼 포인트 및 너무 가까운 포인트를 포함하는 신뢰되지 않는 픽셀 포인트를 배제함으로써, 심도 이미지 포지셔닝 안정성을 향상한다. 여기서, 상기 사전에 설정된 유효 특징 포인트는, 이동 로봇의 전진 방향에서의 유효 표시물의 특징 포인트이고, 상기 3d-tof 카메라는 이동 로봇의 이동 과정에서 서로 다른 방향으로부터 상기 사전에 설정된 유효 특징 포인트의 서로 다른 프레임 심도 이미지를 수집하며, 이는 회전 과정에서, 상기 사전에 설정된 유효 특징 포인트를 선후로 좌측에서 수집하고, 접근하여 수집하고, 우측에서 수집하며, 멀어지면서 수집하는 것을 포함함으로써, 동일한 표시물의 시선이 차단되지 않은 심도 이미지 및 동일한 표시물의 시선이 차단된 심도 이미지를 선후로 수집하고, 이동 로봇이 상기 로컬 포인트 클라우드 맵 생성 방법을 완료할 시, 먼저 3차원 히스토그램 형식으로 최대 높이의 포인트 클라우드를 저장하는 것은 상기 표시물이 수집 시선이 차단된 환경 위치 특징을 토큰하는 것일 수 있다.

시각 로봇은, 3d-tof 카메라 및 처리 유닛을 포함하며, 처리 유닛은 상기 로컬 포인트 클라우드 맵 생성 방법을 실행하기 위한 것이고; 3d-tof 카메라는 시각 로봇의 몸체에 조립되어, 상기 3d-tof 카메라의 시야각이 상기 시각 로봇의 전방을 커버하게 한다. 상기 3d-tof 카메라가 이동 로봇이 이동하는 과정에서 서로 다른 시야각으로 타깃 장애물의 포인트 클라우드를 샘플링한 다음, 상기 시각 로봇이 어느 한 위치에 이동할 시, 3d-tof 카메라의 현재 시야각 범위 내의 사전에 설정된 타깃 평면 영역의 포인트 클라우드의 높이 위치 분포 특징을 이용하여, 스퓨리어스 포인트를 제거하고, 로컬 맵에 정확하게 포지셔닝하기 위한 최대 높이 및 합리적으로 분포된 포인트 클라우드만 보류하는 것을 허용하며, 상기 시각 로봇은 회전 과정에서, 회전 전 시야각 범위 내에서 식별된 몸체 가장자리 위치에 접근하는 장애물 또는 몸체에서 너무 가까운 장애물을 다시 식별함으로써, 너무 가깝거나 너무 먼 장애물 장면에서의 포지셔닝 적응성을 향상하고, 초근접 거리에서의 장애물 위치의 오판단 확율을 현저하게 감소한다.

자명한 것은, 상기 실시예는 단지 명확하게 설명하기 위해 예시한 것일 뿐이며, 실시형태에 대한 한정은 아니다. 당업자는 상기 설명의 기초상에서 기타 서로 다른 형식의 변화 또는 변동을 진행할 수도 있다. 여기에서 모든 실시형태를 완전하게 할 필요도 없고 완전하게 할 수도 없다. 이로 인한 자명한 변화 또는 변동은 여전히 본 발명 창조의 보호 범위에 포함된다.

Claims

이동 로봇이 움직이는 과정에서, 이동 로봇의 3d-tof 카메라가 심도 이미지를 계속 수집하도록 제어하고, 사전에 설정된 현저한 위치 포즈 변화 조건에 따라 3d-tof 카메라가 실시간으로 수집하는 현재 프레임 심도 이미지를 키프레임 시퀀스 내에 삽입하며, 그 다음 단계2로 진입하는 단계1;
키프레임 시퀀스 내의 심도 이미지의 사전에 설정된 유효 특징 포인트를 위치 포즈 변경하여, 카메라 좌표계에서의 포인트 클라우드가 되도록 제어하며, 그 다음 단계3으로 진입하는 단계2;
이동 로봇의 3d-tof 카메라의 실시간 시야각 범위 내에서, 수평 지면에 위치하는 하나의 사전에 설정된 타깃 평면 영역을 설정하고, 상기 사전에 설정된 타깃 평면 영역에 이와 매칭되는 검출 블록을 설정하여, 포인트 클라우드가 사전에 설정된 타깃 평면 영역의 바로 상방에 3차원 히스토그램의 형식으로 라벨링되게 하며, 그다음 단계4로 진입하는 단계3;
포인트 클라우드가 각 검출 블록에서의 높이 위치 분포 특징에 따라, 먼저 상응하는 검출 블록 내의 이산 분포 상태를 나타내는 포인트 클라우드를 제거하고, 다음으로 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 제거하며, 그 다음 단계5로 진입하는 단계4;
각 검출 블록 내에 분포되는 나머지 포인트 클라우드의 위치를 로컬 포인트 클라우드 맵의 3차원 위치로 라벨링하여, 로컬 포인트 클라우드 맵의 생성을 실현하는 단계5;를 포함하는 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 1에 있어서,
상기 사전에 설정된 현저한 위치 포즈 변화 조건에 따라 3d-tof 카메라가 실시간으로 수집하는 현재 프레임 심도 이미지를 키프레임 시퀀스 내에 삽입하는 방법은 구체적으로,
이동 로봇의 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지에서의 사전에 설정된 유효 특징 포인트와 상기 키프레임 시퀀스 내의 각 키프레임에서의 동일한 사전에 설정된 유효 특징 포인트의 상대적인 위치 포즈를 각각 계산하는 단계;
모든 계산된 상대적인 위치 포즈가 모두 사전에 설정된 현저한 위치 포즈 변화 조건을 만족할 경우, 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지를 새로운 키프레임으로 설정한 다음, 상기 새로운 키프레임을 상기 키프레임 시퀀스에 삽입하여, 다음번 전술한 상대적인 위치 포즈 계산에 참여하는 키프레임이 이동 로봇의 최신 상대적인 위치 관계를 반영하게 하는 단계;를 포함하며,
사전에 설정된 유효 특징 포인트는 상기 3d-tof 카메라의 시야각 범위 내에서 이동 로봇 전방의 장애물의 분포 위치 특징을 토큰하기 위한 것이고, 장애물의 분포 위치 특징은 장애물이 존재하거나 및/또는 장애물이 존재하지 않는 것을 포함하며,
키프레임 시퀀스는 이동 로봇에 의해 사전에 저장되는 연속으로 배열되는 사전에 설정된 유효 특징을 포함하는 심도 이미지의 시퀀스인 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 2에 있어서,
상기 키프레임 시퀀스 내의 각 키프레임에서의 사전에 설정된 유효 특징 포인트와 이에 대응되는 키프레임에서의 3d-tof 카메라의 거리 및 편향 각도가 모두 평행이동 회전의 방식을 통해 상기 현재 프레임 심도 이미지가 대응하게 속하는 카메라 좌표계로 변환되어, 상기 위치 포즈 변경을 실현하며;
상기 로컬 포인트 클라우드 맵의 맵 좌표계는 현재 프레임 심도 이미지에 대응되는 카메라 좌표계인 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 3에 있어서,
상기 모든 계산된 상대적인 위치 포즈가 모두 사전에 설정된 현저한 위치 포즈 변화 조건을 만족하는 것은 구체적으로,
계산된 상대적인 위치 포즈는, 이동 로봇의 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지에서의 사전에 설정된 유효 특징 포인트와 상기 위치 포즈 변경이 발생한 후의 키프레임 시퀀스 내의 각 키프레임에서의 동일한 사전에 설정된 유효 특징 포인트 사이의 심도 거리 변화량 및 이에 대응되는 편향 각도 변화량을 포함하며,
모든 심도 거리 변화량이 모두 사전에 설정된 거리 변화 임계값보다 크고, 또한 모든 편향 각도 변화량이 모두 사전에 설정된 각도 변화 임계값보다 클 경우, 상기 사전에 설정된 현저한 위치 포즈 변화 조건을 만족하는 것으로 결정하는 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 4에 있어서,
상기 키프레임 시퀀스 내의 각 키프레임에서의 동일한 사전에 설정된 유효 특징 포인트와 이에 대응되는 키프레임에서의 3d-tof 카메라의 거리는, 상기 3d-tof 카메라에 의해 사전에 수집되어 상기 키프레임 시퀀스에 삽입되는 심도 이미지의 사전에 설정된 유효 특징 포인트에 대응되는 실제 위치 포인트에서 3d-tof 카메라의 이미징 평면까지의 심도 거리이고, 상기 심도 거리의 변화량은 상기 이동 로봇이 발생하는 변위 크기의 정도를 나타내기 위한 것이며,
상기 키프레임 시퀀스 내의 각 키프레임에서의 동일한 사전에 설정된 특징 포인트가 이에 대응되는 키프레임에서의 3d-tof 카메라에 대한 편향 각도는, 상기 3d-tof 카메라가 심도 이미지를 수집하고 상기 키프레임 시퀀스에 삽입할 경우의 렌즈 방향 각도이고, 상기 렌즈 방향 각도의 변화량은 상기 이동 로봇 회전의 각도를 나타내기 위한 것인 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 1에 있어서,
상기 단계1는,
이동 로봇의 3d-tof 카메라가 현재 프레임 심도 이미지를 현재 수집할 경우, 이동 로봇 내부에 설치되는 관성 센서를 호출하여 이동 로봇의 현재 위치 포즈를 측정하는 단계;
그 다음 사전에 저장된 키프레임 시퀀스 내의 각 키프레임에 대응되는 이동 로봇의 실시간 위치 포즈를 호출하여, 이동 로봇의 현재 위치 포즈와 각 키프레임에 대응되는 이동 로봇의 실시간 위치 포즈 사이의 상대적인 위치 포즈를 각각 계산하는 단계;를 포함하는 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 6에 있어서,
상기 모든 계산된 상대적인 위치 포즈가 모두 사전에 설정된 현저한 위치 포즈 변화 조건을 만족하는 것은 구체적으로,
계산된 상대적인 위치 포즈는, 이동 로봇의 3d-tof 카메라가 현재 수집하는 현재 프레임 심도 이미지에서의 사전에 설정된 유효 특징 포인트와 사전에 수집된 상기 키프레임에서 동일한 또는 동일 유형의 사전에 설정된 유효 특징 포인트 사이에 생성되는 이동 로봇의 주행 거리 변화량 및 동일한 수집 과정에서 발생되는 편향 각도 변화량을 포함하며;
모든 주행 거리 변화량이 모두 사전에 설정된 거리 변화 임계값 보다 크고, 또한 모든 편향 각도 변화량이 모두 사전에 설정된 각도 변화 임계값보다 클 경우, 상기 사전에 설정된 현저한 위치 포즈 변화 조건을 만족하는 것으로 결정하며,
상기 사전에 설정된 유효 특징 포인트는 상기 3d-tof 카메라의 시야각 범위 내에서 이동 로봇 전방의 장애물의 분포 위치 특징을 토큰하기 위한 것이고, 장애물의 분포 위치 특징은 장애물이 존재하거나 및/또는 장애물이 존재하지 않는 것을 포함하는 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 7에 있어서,
상기 관성 센서는 이동 로봇의 몸체 중심에 내장된 인코딩디스크 및 이동 로봇의 몸체 중심에 내장된 자이로스코프를 포함하며, 인코딩디스크는 이동 로봇의 주행 거리 변화량을 측정하기 위한 것이고, 자이로스코프는 동일한 수집 과정에서 이동 로봇의 편향 각도 변화량을 측정하기 위한 것이며;
여기서, 인코딩디스크가 측정하여 얻은 이동 로봇의 위치 좌표는 상기 이동 로봇의 몸체 중심과 3d-tof 카메라의 강체 연결 관계를 통해 상기 현재 프레임 심도 이미지가 대응하게 속하는 카메라 좌표계로 변환되여, 로컬 포인트 클라우드 맵을 생성하는 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 8에 있어서,
상기 키프레임 시퀀스 내에 3프레임 또는 3프레임 이상의 심도 이미지가 존재하는 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 9에 있어서,
상기 이동 로봇이 선입선출의 메모리 저장 형식을 적용하여 상기 키프레임 시퀀스를 캐시함으로써, 상기 이동 로봇이 이동 과정에서 3d-tof 카메라가 현재 실시간 수집하는 한프레임 심도 이미지와 시간 상에서 가장 가까운 상기 키프레임을 획득하는 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 1 내지 청구항 10 중 어느 한 항에 있어서,
상기 사전에 설정된 타깃 평면 영역이 하나의 직사각형 영역이고, 직사각형 영역의 일 변의 중간 포인트가 3d-tof 카메라의 위치이며, 상기 변의 길이는 상기 이동 로봇의 몸체 직경과 같고, 상기 변과 수직되는 다른 일 변은 3d-tof 카메라의 시야각 전방에 설정되며, 상기 3d-tof 카메라가 수집하는 심도 이미지에서의 사운딩 가능한 심도 거리를 토큰하기 위한 것인 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 11에 있어서,
상기 단계4에서, 하나의 상기 포인트 클라우드의 3차원 좌표 위치가 그 중 하나의 상기 검출 블록 내에 포함될 경우, 상기 포인트 클라우드가 상기 검출 블록에 분포되는 것으로 결정하고, 상기 포인트 클라우드의 높이를 기록하는 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 11에 있어서,
상기 각 포인트 클라우드를 3차원 히스토그램의 형식으로 라벨링하는 방법은, 상기 3차원 히스토그램이 속하는 3차원 좌표계의 좌표 원점이 3d-tof 카메라의 위치이도록 설정하고, 상기 사전에 설정된 타깃 평면 영역이 상기 3차원 좌표계의 수평축의 양의 방향의 상기 몸체 직경의 절반의 거리를 커버하도록 설정하고, 상기 사전에 설정된 타깃 평면 영역이 상기 3차원 좌표계의 수평축의 음의 방향의 상기 몸체 직경의 절반의 거리를 커버하도록 설정하고, 상기 사전에 설정된 타깃 평면 영역이 상기 3차원 좌표계의 세로축의 양의 방향의 상기 사운딩 가능한 심도 거리를 커버하도록 설정하고, 상기 검출 블록이 상기 3차원 좌표계의 수직축을 따라 분포되도록 설정하며, 상기 검출 블록이 상기 3차원 좌표축의 수직축 상에서 차지하는 수직 높이가 상기 검출 블록에 분포되는 포인트 클라우드 높이를 표시하는데 사용되도록 설정함으로써, 상기 포인트 클라우드를 구분하여 상기 사전에 설정된 수량의 3차원 히스토그램을 획득하고, 3차원 히스토그램의 형식으로 상기 포인트 클라우드에 대한 저장을 실현하는 단계를 포함하며,
여기서, 상기 3차원 히스토그램이 속하는 3차원 좌표계는 상기 로컬 맵의 좌표계와 동일한 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 13에 있어서,
상기 사전에 설정된 타깃 평면 영역의 면적과 상기 검출 블록의 수평 투영 면적의 비율은 사전에 설정된 정수이므로, 사전에 설정된 타깃 평면 영역이 전부 사전에 설정된 정수의 검출 블록에 의해 균등하게 구분되어 차지되는 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 13에 있어서,
상기 단계4에서, 상기 상응하는 검출 블록 내의 이산 분포 상태를 나타내는 포인트 클라우드를 제거하는 방법은 구체적으로,
상기 검출 블록 내에 분포되는 포인트 클라우드의 수량이 포지셔닝 수 임계값보다 작은지 여부를 판단하며, 포지셔닝 수 임계값보다 작을 경우 상기 검출 블록에 분포되는 포인트 클라우드를 제거한 다음, 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 제거하고; 포지셔닝 수 임계값보다 작지 않을 경우 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 직접 제거하는 단계; 및/또는,
검출 블록의 근처에 모두 포인트 클라우드가 분포되지 않은 것인지 여부를 판단하며, 검출 블록의 근처에 모두 포인트 클라우드가 분포되지 않은 경우 상기 검출 블록 내에 분포되는 포인트 클라우드를 제거한 다음, 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 제거하고; 검출 블록의 근처에 포인트 클라우드가 분포될 경우 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 직접 제거하는 단계;를 포함하며,
상기 포지셔닝 수 임계값은 상기 이산 분포 상태를 설명하기 위한 것인 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 15에 있어서,
상기 단계4에서, 상기 수집 시선이 차단되는 높이 특징을 갖는 검출 블록 내의 포인트 클라우드를 제거하는 방법은,
3d-tof 카메라에서 멀리 떨어지는 방향을 따라 각 열의 검출 블록에 분포되는 포인트 클라우드의 높이를 검출하여, 각 열의 검출 블록에 낮은 것에서부터 높은 것으로 변화되는 검출 블록 시퀀스가 존재하는지 여부를 각각 판단하며, 낮은 것에서부터 높은 것으로 변화되는 검출 블록 시퀀스가 존재할 경우 단계42로 진입하고, 낮은 것에서부터 높은 것으로 변화되는 검출 블록 시퀀스가 존재하지 않을 경우 단계43으로 진입하는 단계41;
상기 검출 블록 시퀀스에서의 높이가 가장 큰 포인트 클라우드가 속하는 검출 블록을 기록하고, 상기 기록된 검출 블록 후방의 높이가 상대적으로 작은 검출 블록에 분포되는 포인트 클라우드를 제거하며, 그 다음 단계41로 리턴하는 단계42;
상기 검출 블록 시퀀스에서의 높이가 가장 큰 포인트 클라우드가 속하는 검출 블록을 기록하고, 상기 기록된 검출 블록 후방의 검출 블록에 분포되는 포인트 클라우드를 제거하는 단계43;를 포함하며,
여기서, 낮은 것에서부터 높은 것으로 변화되는 것은 대응되게 판단에 참여한 각 검출 블록에 분포되는 최대 높이의 포인트 클라우드의 높이 위치 변화이고, 각 검출 블록에 분포되는 포인트 클라우드의 최고 높이는 각 검출 블록의 높이를 나타내는 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 16에 있어서,
상기 키프레임 시퀀스 내의 키프레임에서의 사전에 설정된 유효 특징 포인트는 너무 노출되지 않은 포인트, 노출 부족하지 않은 포인트, 너무 멀지 않은 포인트, 너무 가깝지 않은 포인트 및 최대 수직 높이가 20mm보다 큰 픽셀 포인트를 포함하며, 여기서, 너무 멀지 않은 포인트의 심도 값 및 너무 가깝지 않은 포인트의 심도 값은 모두 200mm 내지 500mm 사이에 있는 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 16에 있어서,
상기 사전에 설정된 유효 특징 포인트는 상기 장애물의 특징 포인트를 토큰하기 위한 것이고, 또는 상기 장애물 이외의 표준 도로표지판의 특징 포인트를 토큰하기 위한 것이며;
상기 3d-tof 카메라가 이동 로봇이 이동하는 과정에서 상기 사전에 설정된 유효 특징 포인트의 서로 다른 프레임 심도 이미지를 서로 다른 방향으로부터 수집하는 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
청구항 15에 있어서,
검출 블록의 8개 근처에 모두 포인트 클라우드가 분포되지 않은 것인지 여부를 판단하며, 검출 블록의 8개 근처에 모두 포인트 클라우드가 분포되지 않은 경우 상기 검출 블록 내에 분포되는 포인트 클라우드를 제거하는 것을 특징으로 하는 로컬 포인트 클라우드 맵 생성 방법.
3d-tof 카메라 및 청구항 1 내지 청구항 19 중 어느 한 항에 따른 로컬 포인트 클라우드 맵 생성 방법을 실행하기 위한 처리 유닛을 포함하며,
3d-tof 카메라가 몸체에 조립되어, 상기 3d-tof 카메라의 시야각이 전방을 커버하게 하는 것을 특징으로 하는 시각 로봇.