KR102576304B1

KR102576304B1 - 로봇 및/또는 자율주행 무인 운반 시스템을 제어하기 위한 방법

Info

Publication number: KR102576304B1
Application number: KR1020187003634A
Authority: KR
Inventors: 도미닉 요호; 다니엘 마이어-델리우스
Original assignee: 쿠카 도이칠란트 게엠베하
Priority date: 2015-07-10
Filing date: 2016-07-08
Publication date: 2023-09-07
Also published as: EP3320483A1; US20180203460A1; WO2017008895A1; DE102015212932A1; CN107851181A; CN107851181B; US10809739B2; KR20180030572A; EP3320483B1

Abstract

본 발명은 센서 기반의 물체인식을 토대로 로봇 및/또는 자율주행 무인 운반 시스템을 제어하기 위한 방법에 관한 것이다. 이때, 상기 인식되어야 하는 물체의 2D-표면윤곽을 토대로, 상기 2D-표면윤곽의 포인트쌍-피쳐들이 만들어내진다. 주변의 포인트군은 거리센서를 이용해 파악되고, 각각의 포인트를 위해 표면법선이 추정되고, 주변의 상응하는 포인트쌍-피쳐들이 만들어내진다. 보팅 방법에서, 효율적으로 포즈가설들을 발생시키기 위해 주변-피쳐들은 모델-피쳐들과 비교되고, 상기 포즈가설들은 그 밖의 단계들에서 최적화되고, 결국 검출로서 받아들여지기 위해 또는 거부되기 위해 일관성 검사를 받는다.

Description

로봇 및/또는 자율주행 무인 운반 시스템을 제어하기 위한 방법

본 발명은 로봇 및/또는 자율주행 무인 운반 시스템을 제어하기 위한 방법 및 상응하는 운반 시스템에 관한 것이다.

센서를 이용해 물체를 인식할 수 있기 위해 다수의 장치와 방법이 선행기술로부터 알려져 있다. 센서 기반의 (sensor-based) 물체인식은 다수의 애플리케이션을 위해 유용할 수 있다. 예컨대, 오류 또는 결함을 검출하기 위해, 대량제조 공정에서 제조된 부품들은 자동적으로 특정 특징들에 관해 검사될 수 있다. 센서 기반의 물체인식은, 예컨대 매니퓰레이터를 이용해 물체를 자동적으로 붙잡거나 또는 핸들링하는 것을 가능하게 하기 위해, 산업용 로봇과 같은 매니퓰레이터와 관련하여서도 유용하다. 자율주행 무인 운반 시스템의 제어에 있어서도, 안전한, 센서 기반의 물체인식이 중요하다. 여기서, 물체인식은 예컨대 물류 시나리오 (logistics scenario) 안의 운반화물을 찾아내기 위해 사용될 수 있고 또는 물체의 타겟팅된 (targeted) 그리고 자율적인 액추에이팅 (actuating) 을 가능하게 하기 위해 사용될 수 있다.

DE 10 2014 211 948 로부터, 광학적 검사 시스템이 사전 공지되어 있고, 상기 검사 시스템으로, 제조된 물체들 (예컨대 부품들) 은 오류 및 결함에 관해 검사될 수 있다. 물체인식을 위해 예컨대 카메라가 이용되어야 하고, 상기 카메라는 인식되어야 하는 물체의 3차원적 포인트군 (point cloud) 을 제공한다. 상기 포인트군은 부피물체의 표면 위의 3차원적 포인트들의 군 (group) 이어야 하고, 예컨대 CAD-부피모델로부터도 도출될 수 있다. 주변 (environment) 안의 물체를 인식할 수 있기 위해, 상기 카메라에 의해 제공된 3차원적 포인트군들은, 예컨대 미리 저장된 물체를 인식할 수 있기 위해, 미리 알려져 있는 포인트군 본보기와 비교된다.

Bertram Drost, et al. 의 출판물 “Model Globally, Match Locally: Efficient and Robust 3D Object Recognition”로부터, 마찬가지로 3차원적 물체를 센서를 기반으로 인식하기 위한 방법이 사전 공지되어 있다. 이 사전 공지된 방법에 있어서, 마찬가지로 3차원적 포인트군이 만들어내지고, 상기 포인트군의 표면 위의 각각 2개의 포인트는 포인트쌍-피쳐 (point pair-feature) 로 통합된다. 상기 포인트쌍-피쳐들은, 상기 선택된 두 포인트 사이의 거리, 및 상기 두 포인트 사이의 거리선에 대한 법선들의 각도와 같은, 상기 선택된 두 포인트의 특정한 기하학적 파라미터들로 형성된다. 그러나 이 방법은 비교적 비용이 많이 드는데, 왜냐하면 무엇보다도 3차원적 영상처리가 전제되어야 하고, 큰 수의 포인트쌍-피쳐들이 주시되어야 하기 때문이다. 또한, 검출가설 (detection hypothesis) 이 받아들여지는지 또는 거부되는지의 여부에 관한 최종적 결정은 다만 보팅 (Voting) 방법 및 클러스터링 (Clustering) 방법을 기초로 하고, 이는 본 발명의 애플리케이션 시나리오 (application scenario) 에게 있어, 충분히 견고한 (robust) 것은 아니다라고 평가된다.

그러므로, 본 발명의 목적은, 적합한 액추에이팅을 가능하게 하기 위해 가능한 한 적은 비용으로 안전한 그리고 간단한 물체인식을 가능하게 하는, 로봇 및/또는 자율주행 무인 운반 시스템을 제어하기 위한 개선된 방법을 제공하는 것이다. 또한, 검출가설의 승인 또는 거부에 관한 결정을 위한 새로운 방법이 소개된다. 이 방법은, 측정 공정의 물리적 및 기하학적 특성을 고려하면서, 검출가설이 얻어진 측정 데이터와 일치하는지의 여부를 검사한다. 또한, 여기에 소개되는 보팅 방법은 Drost et al. 의 상기 언급된 공개에서의 방법과 구별된다.

상기에서 언급된 목적은 청구항 제 1 항에 따른 로봇 및/또는 자율주행 무인 운반 시스템을 제어하기 위한 방법 및 청구항 제 16 항에 따른 상응하는 운반 시스템을 통해 달성된다.

특히, 상기에서 언급된 목적은, 개선된, 센서 기반의 물체인식이 이용되는, 로봇 및/또는 자율주행 무인 운반 시스템을 제어하기 위한 방법을 통해 달성된다. 제 1 단계에서, 인식되어야 하는 물체의 물체모델은 2D-표면윤곽의 형태로 제공된다. 이는 바람직하게는 상기 인식되어야 하는 물체의 CAD-모델의 수동적 및 자동적 처리를 통해 수행될 수 있다. 상기 물체모델은 정의된 내면과 외면을 갖는, 원, 다각형 등등과 같은, 예컨대 기하학적 프리미티브 (primitive) 의 집합일 수 있다. 이로써, 상기 물체모델은 유리하게, 예컨대 후에 사용되어야 하는 센서에 의해 인식될 수 있는 표현 (representation) 으로의, 상기 인식되어야 하는 물체의 환원 (reduction) 에 상응한다. 예컨대, 이는 수평으로 부착된 2D-레이저 스캐너의 경우 상기 레이저 스캐너의 높이에서 상기 물체를 통한 수평 단면일 수 있다. 또한, 바람직하게는 상기 물체의 상기 물체모델을 위해, 임의로 정의될 수 있는 물체 기준포즈 (object reference pose) 가 제공되고, 그러나 상기 물체 기준포즈는 예컨대 상기 CAD-모델에서 사용된 방위 O 을 갖는 좌표원점에 반드시 상응할 수는 없다.

2D-표면윤곽 형태의 상기 물체모델은 예컨대, 예컨대 떨어져 배치될 수 있는 데이터 뱅크 (data bank) 안에 저장되어 있을 수 있고, 또는 떨어져 배치된 데이터 뱅크와 동기화되어 (synchronized) 있을 수 있고, 그러므로 다수의 사용자에 또는 애플리케이션에 데이터를 제공한다. 상기 방법이 예컨대 자율주행 무인 운반 시스템과 관련하여 이용되면, 상기 운반 시스템은 또는 상기 운반 시스템의 제어장치는 예컨대 무선으로, 예컨대 전산 센터에 있는 데이터 뱅크에 액세스 (access) 할 수 있고, 필요한 데이터를 물어본다. 이러한 방식으로, 다수의 운반 시스템들은 동일한 데이터에 액세스할 수 있고, 이는 예컨대 사용된 데이터의 업데이트를 상당히 간단하게 한다.

상기 물체모델의 상기 2D-표면윤곽 (또는 2D-윤곽들) 위에, 컨피규레이션 가능한, 규칙적인 간격들로 포인트들 (모델포인트들 (model points)) 이 배치됨으로써, 상기 물체모델로부터 예컨대 모델포인트군 (model point cloud) 이 만들어내진다. 이 포인트들 각각은, 이 장소에서의 상기 2D-표면윤곽의 표면법선에 상응하는 표면법선과 연관된다 (associated). 상기 모델포인트군은 방향지어진 포인트들의 이렇게 만들어내진 이 집합에 상응한다.

그 밖의 단계에서, 상기 모델포인트군을 토대로 (즉, 상기 2D-표면윤곽을 토대로) 포인트쌍-피쳐들이 형성된다. 이를 위해, 예컨대 상기 모델포인트들의 모든 가능한 포인트쌍들의 부분집합이 주시된다. 이 부분집합은 예컨대 랜덤으로 또는 체계적으로 선택될 수 있다. 이 부분집합의 각각의 포인트쌍을 위해 포인트쌍-피쳐 f=(d₁₂, α₁, α₂) 가 형성된다. 이때, 상기 포인트쌍-피쳐들은 적어도 포인트쌍의 포인트들 (P ₁ 과 P ₂) 사이의 거리 (d₁₂), 및 상기 두 포인트 사이의 거리선에 대한 상기 포인트들 각각의 표면법선의 두 각도 (α₁, α₂) 를 기초로 한다. 상기 인식되어야 하는 물체의 복잡성에 따라, 이렇게 예컨대 2D-표면윤곽의 수천 또는 수만개의 포인트쌍-피쳐들이 형성될 수 있다.

포인트쌍-피쳐를 토대로, 또한 바람직하게는 피쳐-포즈 (feature-pose) 가 다음과 같이 할당된다: 예컨대 포인트쌍의 포인트들 사이의 연결선의 중앙에 있는 포인트 (M) 가 정의된다. 또한, M 과 상기 포인트쌍의 포인트들 중 하나 사이의 방향벡터가 정의된다. 상기 피쳐-포즈의 위치성분은 포인트 (M ) 로서 발생하고, 방위성분은 상기 방향벡터의 방위로서 발생한다. 또한, 상기 각각의 포인트쌍-피쳐를 위해, 피쳐-포즈에 대해 상대적인 상기 인식되어야 하는 물체의 상대적 물체포즈 (즉, 물체 기준포즈) 가 정의된다. 이러한 방식으로, 상기 인식되어야 하는 물체의 상기 2D-표면윤곽의 포인트쌍-피쳐들 (이 점에 있어서 “모델-피쳐”라고도 불린다) 은 상대적 물체포즈와 결합된다.

선택적으로, 상기 모델-피쳐들은 (상기 상대적 물체포즈들을 포함하여) 미리 계산되어 있을 수도 있고, 상기 2D-표면윤곽과 같이 데이터 뱅크 안에 저장되어 있을 수 있고, 상기 데이터 뱅크는 예컨대 떨어져 배치될 수 있고 또는 떨어져 배치된 데이터 뱅크와 동기화될 수 있다.

그 밖의 단계에서, 적어도 주변의 2D-포인트군 (주변포인트군) 이 거리센서를 이용해 파악되고, 주변의 상기 파악된 2D-포인트군의 포인트쌍-피쳐들이 형성되고, 즉 상기 포인트쌍-피쳐들은 상기 모델-피쳐들과 유사하게 형성된다. 즉, 포인트쌍-피쳐들과 유사하게, 각각의 포인트를 위해 표면법선이 추정된다. 그러므로, 주변포인트군은 방향지어진 포인트들의 집합으로 구성된다. 원칙적으로 바람직하게는 상기 거리센서는 레이저 센서이고, 가장 바람직하게는 2D-레이저 스캐너이다. 주변의 상기 2D-포인트군의 이렇게 형성된 포인트쌍-피쳐들은 상기 2D-표면윤곽의 포인트쌍-피쳐들과 (모델-피쳐들과) 비교되고, 비슷한 포인트쌍-피쳐들이 결정된다. 그 후, 상기 비슷하다고 결정된 포인트쌍-피쳐들을 토대로, 바람직하게는 보팅 방법을 근거로, 상기 인식되어야 하는 물체가 인식되었는지 또는 아닌지의 여부가 결정되고, 예컨대 상기 인식된 물체를 붙잡기 위해 또는 그를 향해 가기 위해, 상기 로봇 및/또는 상기 자율주행 무인 운반 시스템은 상응하여 액추에이팅된다.

상기 포인트쌍-피쳐들의 상기 비교의 단계는 바람직하게는, 상기 비슷하다고 결정된 포인트쌍-피쳐들을 근거로 상기 인식되어야 하는 물체의 포즈가설들을 결정하는 것을 포함한다. 예컨대, 상기 주변포인트군을 토대로, 또는 그를 토대로 하여 형성된 포인트쌍-피쳐들을 토대로, 보팅 방법의 과정에서, 상기 인식되어야 하는 물체의 포즈에 관한 가설들 (이른바 포즈가설들) 이 발생된다.

상기 보팅 방법은 바람직하게는 다음과 같이 실행될 수 있다: 제 1 단계에서, 모두 정확히 하나의 포인트 (기준점) 에서 시작하는, 주변의 2D-포인트군의 포인트쌍-피쳐들이 만들어내질 수 있고 또는 결정될 수 있다. 이를 위해, 예컨대 상기 주변포인트군의 부분집합이 선택되고, 이 부분집합의 각각의 포인트는 포즈가설들을 발생시키기 위해 기준점으로서 보팅 방법에 참여한다. 상기 각각의 기준점은 이때 바람직하게는 상기 주변포인트군의 다른 포인트들과 짝지워지고, 각각의 이러한 포인트 페어링 (point pairing) 을 위해, 포인트쌍-피쳐는 상기 비교를 위해 쓰이는 모델포인트군의 포인트쌍-피쳐들과 동일한 방식으로 계산된다. 하기에서, 이 포인트쌍-피쳐들은 주변-피쳐라고도 불린다. 그러나, 상기 모델-피쳐들과 달리, 상기 주변-피쳐들은 상대적 물체포즈와 연관되어 있지 않은데, 왜냐하면 상기 물체포즈의 결정이 바로 상기 보팅 방법의 목적이기 때문이다. 이를 위해, 보팅 방법에서 발생된 각각의 주변-피쳐를 위해, 비슷한 모델-피쳐들이 탐색되고, 각각의 찾아내진 비슷한 모델-피쳐를 위해, 상기 모델-피쳐의 피쳐-포즈를 상기 주변-피쳐의 피쳐-포즈로 사상시키는 변환이 결정된다. 상기 각각의 변환을 통해, 상기 모델-피쳐와 연관된 상대적 물체포즈들은 이 장면 (scene) 으로 변환되고, 이를 통해 잠정적 (provisional) 포즈가설들이 발생된다.

상기 포즈가설들은 그 후 바람직하게는 보팅 그리드 (Voting grid) 안에 기입된다. 상기 보팅 그리드는 자신의 편에서, 이산적 셀들 (cells) 로의 포즈-가설공간의 분할이고, 이때 상기 셀들은 그들에 속하는 (잠정적인) 포즈가설들을 포함한다. 상기 보팅 그리드는 바람직하게는 효율적으로 해시 테이블 (hash table) 을 통해 실현되고, 이때 키 (key) 는, 또다시 상기 포즈가설의 이산화에 상응하는 3차원적 셀 인덱스 (cell index) 에 상응한다. 바람직하게는 이 단계에서 모두가 하나의 그리고 동일한 기준점을 기초로 하는, 모든 잠정적인 포즈가설들이 상기 보팅 그리드 안에 기입되면, 적어도 하나의 잠정적인 포즈가설이 상기 보팅 그리드에서 선택되고, 상기 보팅 방법의 결과적 (resulting) 포즈가설로서 정의된다. 바람직하게는, 이를 위해, 가장 많은 포즈가설들을 갖는 셀만 주시되고, 바람직하게는 이 셀 안에 포함된 포즈들에서 하나가 우연히 선택된다. 상기 보팅 그리드의 다른 포즈가설들은 거부되고, 고려되지 않는다. 이에 따라서, 상기 보팅 그리드는 삭제된다.

상기 보팅 그리드를 이용한 상기 보팅 방법은 바람직하게는 독립적으로 다수의 기준점을 위해 반복되고, 따라서 다수의 결과적 또는 있을 법한 포즈가설들이 밝혀내진다. 그러나, 이렇게 찾아내진 결과적 포즈가설들의 집합은, 상기 보팅 그리드 안에 기입된 적 있던 모든 잠정적인 포즈가설들의 집합보다 훨씬 작다. 상기 이렇게 선택된 결과적 또는 있을 법한 포즈가설들은 동의 형성을 통해 상기 보팅 방법 동안 생겼기 때문에 (예컨대 각각 상기 가장 많은 포즈들을 갖는 보팅-그리드 셀 (Voting-grid cell) 에서 선택된다), 그들은, 실제의 물체포즈가, 우연히 선택된 잠정적인 포즈가설에서보다 큰 확률을 갖고 결과적 (있을 법한) 포즈가설의 근처에 있다는 의미에서, 보다 있을 법한 가설들이다. 포즈가설들의 집합의 이 환원을 통해, 다음의 처리단계들이 가속화되고, 상기 처리단계들로 상기 결과적 포즈가설들은 바람직하게는 추가로 최적화되고, 일관성 (consistency) 검사를 받는다.

유리하게 후속하는 최적화 단계에서, 포즈 추정의 정확성을 더욱 높이고자 하는 목적을 갖고, 상기 각각의 보팅 방법들로부터 생기는 포즈가설들은 변화된다. 바람직하게는, 이는 Iterative-Closest-Point 방법 (ICP) 을 통해 실현되고, 상기 방법에 있어서 상기 방법의 각각의 부분단계에서 상기 주변포인트군의 포인트들은 상기 모델포인트군의, 상기 장면으로 변환된 포인트들의 각각 가장 가까운 포인트와 연관된다. 이때, 포인트들은 바람직하게는, 상기 포인트들의 거리가, 주어져 있는 한계값을 넘지 않고, 상기 포인트들의 표면법선들 사이의 각도 차이가, 주어져 있는 한계값을 넘지 않는 경우에만 연관된다. 상기 이렇게 연관된 포인트들을 토대로, 단일값 분해를 통해 효율적으로 새로운 포즈가설이 찾아내질 수 있고, 상기 포즈가설은 상기 각각 연관된 포인트들의 제곱된 포인트거리들에 걸친 합계를 최소화한다. 이 이렇게 결정된 새로운 포즈가설은, 수렴 (convergence) 까지 또는 상기 포즈가설을 위한 반복단계들의 주어져 있는 최대 수에 도달할 때까지 실행되는 상기 ICP 방법의 바로 다음의 반복을 위한 출발포인트이다.

상기 인식되어야 하는 물체가 정확히 인식되었는지 또는 아닌지의 여부에 관한 결정의 과정에서, 상기 결과적 그리고 경우에 따라서는 최적화된 포즈가설들은, 틀린 가설들 자체를 인식하기 위해 그리고 추려내기 위해 바람직하게는 일관성 검사를 받는다. 상기 일관성 검사는, 개별적으로 또는 누적적으로도 사용될 수 있는 여러 가지의 개별기준을 기초로 할 수 있다. 하기에서, 상기 물체모델은 상기 각각 바로 검사되어야 하는 포즈가설의 포즈로 변환되었고, 상기 주변포인트군의 포인트들은 상기 변환된 2D-표면윤곽의 포인트들과 또는 상기 상응하는 모델포인트군과 연관되었다고 가정된다. 이때, 주변점은 상기 2D-표면윤곽의 가장 가까운 모델포인트와 연관되고, 그러나 상기 포인트들의 거리와, 상기 포인트들의 표면법선들의 각도 차이가 각각의 한계값을 넘지 않을 경우에만 연관된다.

제 1 기준은 상기 물체의 자유공간 모델을 기초로 하고, 상기 자유공간 모델은, 그의 내부에서 그 밖의 물체들이 물체 자체로서 예상될 수 없는 영역으로서 이해된다. 예컨대, 테이블 (table) 의 물체모델은 4개의 원으로 구성될 수 있고, 상기 원들은 상기 거리센서의 높이에서 상기 테이블 다리들을 통한 수평 단면을 모델링하고, 상기 자유공간 모델은 이 4개의 원을 포함하는 직사각형일 수 있다. 이 4 다리 테이블을 인식하려고 하면 그리고 그가 잘못하여, 실제로는 그러나 6개의 다리를 갖는 비슷한 테이블이 서 있는 포즈에서 추측되면, 상기 추가적인 2개의 다리는, 한편으로는 상기 4 다리 테이블의 상기 자유공간 모델의 내부에 있는 그러나 다른 한편으로는 상기 4 다리 테이블의 모델포인트들에 대해 연관될 수 없는 측정을 초래할 것이다. 그렇기 때문에, 상기 제 1 기준은, 상기 물체의 상기 자유공간 모델의 내부에 있는 그리고 모델포인트들과 연관될 수 없는 주변포인트군의 포인트들의 수를 위한 한계값을 기초로 한다. 다른 말로 하자면, 상기 센서는, 포즈가설이 옳으면 아마 아무 것도 없을 위치들에서 포인트들을 파악한다. 주어져 있는 포즈가설을 위한 이 한계값을 넘으면, 상기 포즈가설은 거부된다.

그 밖의 기준은 상기 센서의 자유공간 모델을 기초로 하고, 상기 자유공간 모델은, 그의 내부에서 방해물들이 측정되지 않은 영역으로서 이해된다. 예컨대, 이는 2D-레이저 스캐너의 경우, 레이저 센서의 위치와 레이저 광선들의 마지막 포인트들로 구성되는 다각형일 수 있다. 예컨대, 물체모델에서 6개의 원으로 구성되는 6 다리 테이블을 인식하려고 하면, 그리고 그가 잘못하여, 실제로는 그러나 단지 4개의 다리를 갖는 비슷한 테이블이 서 있는 장소에서 추측되면, 상기 6 다리 테이블의 다리들 중 2개의 모델포인트는 상기 센서의 상기 자유공간 모델 안에 있을 것이다 (상기 영역이 상기 센서에게, 상기 물체의 자체 차폐를 통해 감지할 수 없는 채로 있지 않는 한). 즉, 모델포인트들은, 상기 센서가 아무것도 파악하지 않은 장소들에서 존재할 것이다. 그렇기 때문에, 이 그 밖의 기준은, 상기 센서의 상기 자유공간 모델의 내부에 있는 모델포인트군의 포인트들의 수를 위한 한계값을 기초로 한다. 이 한계값을 넘으면, 포즈가설은 거부된다.

그 밖의 기준은 마찬가지로 상기 센서의 자유공간 모델을 기초로 하며, 그러나 상기 센서의 상기 자유공간 모델 안으로의 모델포인트의 최대 침입깊이를 주시한다 (상기 자유공간 모델의 내부에 있는 포인트들을 위한, 상기 자유공간 모델의 윤곽에 대한 상기 포인트의 거리). 이 거리가, 주어져 있는 한계값을 넘을 경우, 포즈가설은 거부된다.

그 밖의 기준은, 주변의 2D-포인트군의 실제로 파악된 포인트들 (관찰된 모델포인트들) 에 대한, 원래는 상기 거리센서에 의해 파악되어야 하는 (예상된 모델포인트들), 상기 인식되어야 하는 물체의 2D-표면윤곽의 포인트들 (모델포인트) 의 수의 비율을 기초로 한다. 상기 예상된 모델포인트들은 기하학적으로 쉽게 계산될 수 있는데, 왜냐하면 포즈가설은 상기 센서의 포즈에 대해 상대적인 물체모델의 자세 (예컨대 CAD-모델 및 모델포인트군을 토대로) 를 명시하고, 다른 한편으로는 상기 센서의 시야 영역은 충분한 정확성을 갖고 알려져 있다고 가정될 수 있기 때문이다. 즉, 상기 예상된 모델포인트들은, 이 조망으로부터 이론적으로 볼 수 있는 모델포인트들만을 포함하고, 이는 예컨대, 자체 차폐에 의해 볼 수 없는 영역들로부터의 포인트들과 마찬가지로, 상기 모델의 뒷벽에서의 포인트들을 배제한다. 상기 관찰된 모델포인트들을 결정하기 위해, 이제 상기 예상된 모델포인트들은 주변포인트군의 포인트들에 대해 연관되고 (지금까지와 같이 하는 대신에 역으로, 모델포인트들에 대한 주변포인트들), 이때 또다시 최대 포인트거리 및 각도 차이가 고려된다. 예상된 모델포인트는, 그가 주변포인트군의 포인트와 연관될 수 있을 경우에만 바로 관찰된 모델포인트이다. 모든 예상된 모델포인트들이 관찰된 경우, 예상된 모델포인트들에 대한 관찰된 모델포인트들의 수의 비율은 1 이고, 상기 물체가 예컨대 다른 물체들에 의해 더 많이 가려져 있으면 있을수록, 또는 상기 실제로 관찰된 물체가 이 포즈에서의 예상된 물체모델로부터 더 많이 벗어나면 벗어날수록, 영 (zero) 을 향하여 간다. 그렇기 때문에, 이 그 밖의 기준은 이 비율을 위한 한계값을 정의하고, 이 한계값을 넘으면 포즈가설이 거부된다.

그 밖의 기준은 상기 물체모델의 관찰된 영역들의 수를 기초로 한다. 이를 위해, 상기 물체모델은 사용자에 의해 여러 가지의 영역들로 분할되고 또는 상기 물체모델의 각각의 기하학적 프리미티브 (예컨대, 원, 다각형 등등) 는 암시적으로 자신의 영역으로서 이해된다. 상기 물체모델로부터 모델포인트군을 만들어낼 때, 각각의 모델포인트를 위해, 어떤 영역으로부터 그가 발생되었는지가 인지된다. 상기 영역과 결합된 모델포인트가 관찰된 모델포인트인 한, 즉 파악된 2D-포인트군의 한 포인트가 상기 영역에 할당될 수 있으면, 상기 영역은 관찰된 것으로 간주된다. 이 기준은 관찰된 영역들의 수를 위한 한계값을 정의하고, 상기 한계값을 넘으면 포즈가설은 거부된다.

포즈가설이 거부되지 않았으면, 상기 물체는 이 장소에서 검출된 것으로 간주된다. 그 후, 받아들여진 포즈가설은, 상기 받아들여진 포즈가설 주위의 병진적 및 회전적 허용오차범위 내에 있는 비슷한 포즈가설들을 거부한다. 그 후, 상기 이렇게 거부된 포즈가설들은 추후처리될 필요가 없고, 이는 후속 처리단계들을 가속화한다.

상기 물체가 인식되지 않은 경우 (예컨대 그가 상기 장면에서 실제로 존재하지 않기 때문에) 검출방법은 포즈를 반송하지 않고, 상기 물체가 여러 번 상기 장면에서 존재하는 경우 상기 방법은 다수의 포즈를 반송할 수 있다. 또한, 상기 물체가 대칭을 구비하는 경우, 동일한 물리적 물체는 다수의 포즈에서 검출될 수 있다. 예컨대, 90도 만큼 회전대칭적인 물체는, 이상적으로는 동일한 위치성분들을 갖는, 그러나 상이한 방위성분들을 갖는 4개의 상이한 포즈들에서 찾아내진다.

바람직하게는, 물체를 인식한 후 또는 포즈가설을 정확하다고 결정한 후, 상기 물체는, 센서와 물체의 상대적 배치의 확정의 정확성을 상기 두 요소 상호간의 상대적 운동시에도 높이기 위해, SMC 필터를 사용하여 추적된다. SMC 필터는 파티클 필터로도 알려져 있고, 장소의 그리고 물체의 속도의 정확한 그리고 연속적으로 업데이트된 결정을 허용한다. 이 방법에 관한 상세내용은 예컨대 전문 서적 “Probabilistic Robotics”, The MIT Press, 2005 에서 도출 가능하다.

본 발명은 또한, 적어도 하나의 거리센서와, 상기에서 언급된 방법들을 실행하기 위해 셋업되는 제어장치를 포함하는, 물체를 인식하기 위한 시스템을 포함하는 자율주행 무인 운반 시스템에 관한 것이다. 특히, 상기 제어장치에 의해 실행되어야 하는 단계들은 인식되어야 하는 물체의 적어도 하나의 2D-표면윤곽의 포인트쌍-피쳐들을 데이터 뱅크에서 불러오는 것을 포함하고, 이때 상기 포인트쌍-피쳐들은 적어도 포인트쌍의 두 포인트 사이의 거리, 및 상기 두 포인트 사이의 거리선에 대한 상기 포인트들 각각의 법선들 (표면법선들 또는 곡선법선들) 의 두 각도를 기초로 한다. 상기 데이터 뱅크는 이때 상기 제어장치 안에 통합되어 있을 수 있고, 그러나 상기 제어장치가 액세스할 수 있는 외부 데이터 뱅크일 수도 있다. 실제로, CAD-모델의 2D-표면윤곽들을 갖는 데이터 뱅크가 중앙 데이터 뱅크이거나 또는 다수의 시스템에 의해 사용될 수 있는 중앙 데이터 뱅크와 동기화되는 것이 더욱이 바람직하다. 이는 CAD-모델의 데이터의 업데이트 또는 추가를 쉽게 한다.

또한, 상기 제어장치는 주변의 적어도 하나의 2D-포인트군을 상기 거리센서를 이용해 파악하기 위해 그리고 주변의 상기 파악된 2D-포인트군의 상응하는 포인트쌍-피쳐들을 형성하기 위해 셋업된다. 상기 제어장치는 또한, 상기 2D-표면윤곽의 포인트쌍-피쳐들을 주변의 2D-포인트군의 포인트쌍-피쳐들과 비교하기 위해 그리고 비슷한 포인트쌍-피쳐들을 결정하기 위해 셋업된다. 이와 같은 비교는 예컨대 상기 제어장치가 액세스하는 별도의 컴퓨터 상에서도 실행될 수 있다. 또한, 상기 제어장치는 비슷한 모델-포인트쌍피쳐들을 결정할 수 있기 위해 그리고 그들을 토대로, 바람직하게는 보팅 방법에서, 포즈가설들을 결정하기 위해 셋업된다. 상기 포즈가설들은 그 후 바람직하게는 그 밖의 단계에서 최적화될 수 있고, 일관성 검사 후 검출로서 받아들여지거나 또는 거부될 수 있다.

상기 제어장치에 의해 이때 실행되는 방법단계들은 본질적으로 상기에서 기술된 방법단계들에 상응하고, 따라서 반복되는 상세한 설명은 여기서 생략된다.

본 발명은 첨부된 도면들을 근거로 예시적으로 설명된다.

도 1 은 본 발명에 따른 방법을 실행할 수 있는 자율주행 무인 운반 시스템의 도식적인 측면도를 나타내고;
도 2 는 도 1 의 배열체의 평면도를 나타내고;
도 3 은 2D-표면윤곽을 토대로 한 포인트쌍-피쳐의 결정을 예시적으로 도해하고;
도 4 는 CAD-모델의 만들어내진 2D-표면윤곽의 포인트쌍-피쳐의 형성을 도해하고;
도 5 는 파악된 2D-표면윤곽의 상응하는 포인트쌍-피쳐의 형성을 도해하고;
도 6 은 물체의 자유공간 모델을 근거로 하는 일관성 검사시의 절차를 도식적으로 도해하고;
도 7 은 센서의 자유공간 모델을 근거로 하는 일관성 검사시의 절차를 도식적으로 도해하고;
도 8 은 센서의 자유공간 모델, 및 모델포인트의 침입깊이를 근거로 하는 일관성 검사시의 절차를 도식적으로 도해하고;
도 9 는 예상된 그리고 실제로 관찰된 모델포인트들을 근거로 하는 일관성 검사시의 절차를 도식적으로 도해하고;
도 10 은 물체모델의 관찰된 영역들을 근거로 하는 일관성 검사시의 절차를 도식적으로 도해한다.

도 1 에는 도식적인 측면도로 자율주행 무인 운반 시스템 (10) 이 도시되고, 상기 자율주행 무인 운반 시스템은 2D-레이저 스캐너 (20) 형태의 거리센서를 구비하고, 상기 거리센서는 제어장치 (15) 와 연결된다. 제어장치 (15) 는, 바퀴들 (13) 을 이용해 움직여질 수 있는 운반 시스템 (10) 의 차체 (12) 위에 있다. 운반 시스템 (10) 의 주변에 테이블 (30) 이 있고, 상기 테이블은 다수의 다리 (31, 32, 33, 34) 를 구비한다. 운반 시스템 (10) 은 예컨대 테이블 (30) 에 대해 상대적으로 특정 위치를 향해 주행해야 한다. 이를 위해, 운반 시스템 (10) 은, 운반 시스템 (10) 에게 테이블 (20) 쪽으로의 자율적 정렬을 가능하게 하는 정보를 필요로 한다. 이 정보는 본 발명에 따른 방법으로 제공될 수 있다.

도 2 에는 도 1 의 배열체의 평면도가 도시된다. 상기 테이블의 테이블판 (30) 은 도해로 나타내기 위해 도시되지 않고, 그러나 4개의 다리 (31, 32, 33, 34) 를 알아볼 수 있다. 운반 시스템 (10) 의 2D-레이저 스캐너 (20) 는 레이저 광선들 (21) 의 부채를 내보내고, 상기 레이저 광선들은 도 2 에 파선 화살표들 (21) 로 도시된다. 레이저 광선들 (21) 이, 예컨대 상기 테이블의 상기 다리들과 같은, 물체와 마주치면, 광선들은 반사되고, 그러므로 2D-레이저 스캐너 (20) 에게 또는 관련 제어장치 (15) 에게, 주변의 2차원적 모사, 즉 주변의 2D-포인트군을 만들어내는 것을 허용한다. 이는 도 4 및 도 5 와 관련하여 하기에서 상세히 설명된다.

도 3 과 관련하여, 예시적으로 2D-표면윤곽 (K) 의 포인트쌍-피쳐들의 형성이 설명되어야 한다. 2D-표면윤곽 (K) 은 2차원적 곡선에 상응하고, 예컨대 3차원적 CAD-모델로부터, 이 CAD-모델을 통해 2차원적 절단이 수행됨으로써 발생될 수 있다. 이 2D-표면윤곽에서, 이제 2개의 임의의 포인트 (P₁, P₂) 이 선택되고, 이 두 포인트의 법선들 (n₁, n₂) 이 형성된다. 또한, 두 포인트 P₁ 과 P₂ 사이의 거리와 거리선 (d₁₂) 이 결정된다. 그러면, 이 데이터로, 거리선 (d₁₂) 에 대한 포인트들 (P₁, P₂) 의 법선들 (n₁, n₂) 의 두 각도 (α₁, α₂) 를 밝혀내는 것이 가능하다. 포인트쌍 (P₁, P₂) 의 이 값들은 함께 포인트쌍-피쳐, 즉 f=(d₁₂, α₁, α₂) 를 형성한다. 바람직하게는, 또한, 예컨대 상기 포인트쌍의 상기 포인트들 사이의 연결선 (d₁₂) 의 중앙에 있는 포인트 (M) 가 정의됨으로써 피쳐-포즈가 정의된다. 또한, M 에서 시작하는 실선 화살표를 통해 도 3 및 도 4 에 도시된 바와 같이, M 과 상기 포인트쌍의 상기 포인트들 중 하나 사이의 방향벡터가 정의된다. 이로써, 상기 피쳐-포즈의 위치성분은 포인트 (M) 로서 발생하고, 방위성분은 상기 방향벡터의 방위로서 발생한다. 이는 인식되어야 하는 물체의 물체포즈에 대한 각각의 포인트쌍-피쳐의 명백한 할당을 허용한다. 도 3 에 도시된 바와 같이, 즉, 상기 이렇게 결정된 또는 정의된 포인트쌍-피쳐를 위해, 상기 피쳐-포즈에 대해 상대적인 상기 인식되어야 하는 물체의 물체포즈 (물체 기준포즈) 가 정의될 수 있고 또는 할당될 수 있다. 2차원적 공간에서, 이를 위해, 상기 물체포즈의 위치로부터의 포인트 (M) 의 x 및 y 간격, 및 피쳐-포즈와 물체포즈의 두 방향벡터 사이의 각도면 충분하다. 이러한 방식으로, 상기 인식되어야 하는 물체의 상기 2D-표면윤곽의 각각의 포인트쌍-피쳐는 상기 각각의 상대적 물체포즈와 결합된다.

이 과정은 2D-윤곽 (K) 위의 다수의 포인트쌍을 위해 반복되고, 예컨대 수백 또는 수천개의 포인트쌍을 위해 반복된다. 이러한 방식으로, 2D-표면윤곽 (K) 의 다수의 포인트쌍-피쳐가 형성되고, 상기 포인트쌍-피쳐들은 결국 표면윤곽 (K) 의 2차원적 형태를 대표한다. 또한, 각각의 포인트쌍-피쳐에 상기 각각의 물체포즈가 할당된다. 예컨대 상기 2D-표면윤곽의 윤곽 (K) 이 3차원적 CAD-모델을 통한 단면에 상응하면, 상기 이렇게 검출된 포인트쌍-피쳐들은 데이터 뱅크 안에 저장될 수 있는, 상기 인식되어야 하는 물체의 수학적 묘사를 형성한다.

예컨대 2D-레이저 스캐너 (20) 를 이용해 주변의 2D-포인트군을 파악할 때, 주변의 다수의 포인트는, 얼마나 많은 반사하는 표면들이 상기 거리센서의 도달거리 안에 있는지에 의존하여 파악된다. 주변의 이 파악된 2D-포인트군을 위해, 마찬가지로 상응하는 포인트쌍-피쳐들이 형성되고, 즉 상기 인식되어야 하는 물체의 포인트쌍-피쳐들과 유사하게 형성되고, 그 후, 상기 데이터 뱅크 안에 저장되어 있는 상기 인식되어야 하는 물체의 포인트쌍-피쳐들과 비교될 수 있다.

도 4 에서는, 점선 직사각형들 (31', 32', 33', 34') 이 테이블 (30) 의 CAD-모델로부터 만들어내져 있어야 하고, 이때 테이블 (30) 의 상기 CAD-모델은 2D-레이저 스캐너 (20) 의 스캔 평면의 높이에서 2차원적으로 절단되었다. 이를 위해, 예컨대 CAD-데이터로부터, 상기 인식되어야 하는 물체의 물체모델이 2D-표면윤곽의 형태로 만들어내졌고, 그 후 상기 2D-표면윤곽 위에, 컨피규레이션 가능한 간격들로 포인트들이 배치되었다. 도 2 와의 비교는, 점선 윤곽들 (31' 내지 34') 이 다리들 (31 내지 34) 의 윤곽들에 상응한다는 것을 나타낸다. 상기 포인트들은 결국 실제의 센서 데이터와의 비교를 허용한다.

이를 위해, 도 4 에 도시된 바와 같이 그리고 위에서 도 3 과 관련하여 설명한 바와 같이, 상기 테이블 다리들의 상기 2D-표면윤곽을 토대로, 윤곽들 (31' 내지 34') 의 다수의 포인트쌍-피쳐들이 형성된다. 상기 쌍들의 모든 포인트를 위해 표면법선들 (n₁, n₂) 이 결정되고, 또한 상기 각각의 포인트쌍의 두 포인트 (P₁, P₂) 사이의 거리 (d₁₂) 가 결정된다. 또한, 그 후, 두 포인트 (P₁, P₂) 사이의 연결선 (d₁₂) 에 대한 각각의 포인트의 표면법선들의 각도들이 결정되고, 관련 방향벡터를 갖는 포인트 (M) 가 결정된다. 그러므로, 포인트쌍-피쳐는 이 경우 적어도 3개의 값으로 구성된다: 포인트들 (P₁, P₂) 사이의 거리 (d₁₂), 및 상기 포인트들 사이의 연결선에 대한 각각의 포인트의 표면법선들의 각도들 (α₁, α₂). 또한, 포인트 (M) 와 상기 방향벡터를 이용해, 상기 2D-표면윤곽의 각각의 포인트쌍-피쳐는 각각의 상대적 물체포즈와 결합된다. 이렇게 얻어진 데이터는 저장된다.

도 5 에는, 어떻게 테이블 (30) 의 실제의 다리들 (31 내지 34) 의 상기 2D-표면윤곽들이 2D-레이저 스캐너 (20) 를 통해 2D-포인트군들의 형태로 파악될 수 있는지가 도식적으로 도시된다. 당업자에게 이때, 도 5 안의 도면이 단순화를 나타낸다는 것은 명백한데, 왜냐하면 실제로 2D-레이저 스캐너 (20) 는 또한 주변의 많은 그 밖의 표면윤곽들, 예컨대 작업장 안의 벽, 또는 테이블 (30) 의 부분이 아닌 그 밖의 물체를 파악할 것이기 때문이다. 파악된 2D-포인트군들 (31'', 32'', 33'', 34'') 은 상기 2D-표면윤곽들, 또는 상기 CAD-모델로부터 도출된 모델포인트군들 (31' 내지 34') 과 동일하지 않은데, 왜냐하면 상기 2D-레이저 스캐너의 시야 범위가 제한되어 있고, 예컨대 다리들 (31 내지 34) 의 뒷벽들을 파악할 수 없기 때문이다. 그럼에도 불구하고, 파악된 2D-포인트군들 (31'' 내지 34'') 은 상기 CAD-모델로부터 결정된 2D-표면윤곽들 또는 모델포인트군들 (31' 내지 34') 과의 충분한 유사성을 갖는다. 이는 결국, 상기 인식되어야 하는 물체, 즉 “테이블 (30)”이 인식되었는지 또는 아닌지의 여부를 결정하는 것을 가능하게 한다. 파악된 2D-포인트군들 (31'' 내지 34'') 로부터, 상응하는 포인트쌍-피쳐들이 형성된다 (포인트쌍-피쳐들을 형성하기 위해 필요한 값들을 도 4 의 값들과 구별하기 위해, 도 5 에서 값들에 지수에 있어서 i 와 j 가 쓰여 있다). 이러한 방식으로, 상기 파악된 2D-포인트군들의 다수의 포인트쌍-피쳐들을 얻는다.

다음 단계에서, 비슷한 포인트쌍-피쳐들을 결정하기 위해, 상기 모델의 포인트쌍-피쳐들은 상기 파악된 2D-포인트군들의 포인트쌍-피쳐들과 비교된다. 2D-레이저 스캐너 (20) 는 실무상, 도 5 에 도시된 것보다 훨씬 넓은 윤곽들을 파악했기 때문에, 주변의 상기 파악된 2D-포인트군들의 포인트쌍-피쳐들은, 상기 모델의 포인트쌍-피쳐들로부터 많이 벗어나는 큰 수의 포인트쌍-피쳐들을 포함하는데, 왜냐하면 예컨대 간격 (d_ij) 은 상기 CAD-모델로부터의 가능한 한 가장 큰 거리 (d₁₂) 보다 몇 배 만큼 크기 때문이다.

비슷한 포인트쌍-피쳐들을 결정할시, 본 예에서, 거리 (d₁₂) 가 항상 특정한 범위들 안에 있어야 한다는 것도 이용될 수 있다. 왜냐하면 한 쌍의 두 포인트 (P₁, P₂) 은 동일한 윤곽 위에 있거나, 예컨대 둘 다 윤곽 (31') 위에 있거나 또는 그들은 상이한 윤곽들 위에 또는 그들 안에 있기 때문이다. 그들이 상이한 윤곽들 안에 있으면, 거리 (d₁₂) 는 두 윤곽 (31' 과 32') 의 거리에 (1.), 또는 윤곽들 (31' 과 33') 의 거리에 (2.) 또는 윤곽들 (31' 과 34') 의 거리에 (3.) 대략 상응해야 한다. 그러므로, 도시된 예에서 상기 모델의 2D-표면윤곽의 모든 포인트쌍-피쳐들의 거리 (d₁₂) 는 4개의 정확히 정의 가능한 영역들 중 하나 안에 있어야 한다. 거리 (d_ij) 가 이 4개의 영역으로부터 멀리 떨어져 있는, 주변의 상기 파악된 2D-포인트군들의 포인트쌍-피쳐들은 비슷하지 않다고 즉시 추려내질 수 있다.

도 6 내지 도 10 은 일관성 검사시, 즉 예컨대 상기에서 기술된 방법들을 근거로 결과적 (있을 법한) 포즈가설들이 결정된 후, 절차를 도식적으로 도해한다. 일관성 검사는 상기 인식되어야 하는 물체가 정확히 인식되었는지 또는 아닌지의 여부에 관한 결정을 보다 안전하게 그리고 보다 신뢰성 있게 만들기 위해 쓰여야 한다. 틀린 가설들을 인식하기 위해 그리고 추려낼 수 있기 위해, 일관성 검사시, 미리 결정된 포즈가설들이 테스트된다. 하기에서 상세히 설명되는 일관성 검사들은 이때 각각 단독으로 또는 조합하여서도 적용될 수 있다. 하기에서, 물체모델이 상기 각각 바로 검사되어야 하는 포즈가설의 포즈로 변환되었고 (또는 반대의 경우에도 또한 같다), 주변포인트군의 포인트들이 상기 변환된 2D-표면윤곽의 포인트들과 또는 상응하는 모델포인트군과 연관되었다고 가정된다.

도 6 은 상기 물체의 자유공간 모델을 근거로 하는 일관성 검사시의 절차를 도식적으로 도해한다. 도시된 상황에서, 파악된 레이저포인트들 (61'', 62'', 63'', 64'') 을 토대로, 4개의 다리를 갖는 테이블이 특정 장소에서 추측된다 (가설). 모델포인트군들 (61', 62', 63', 64') 은 도 4 의 실시예에서처럼 예컨대 상기 테이블의 CAD-모델로부터 만들어내져 있다. 실제로는 상기 장소에 6개의 다리를 갖는 테이블이 있고, 따라서 참조부호 66''로 표시된 장소에서 그 밖의 포인트들이 파악된다. 상기 추측된 4 다리 테이블의 물체모델은 상기 테이블 다리들의 상기 4개의 모델포인트군 (61', 62', 63', 64') 으로 구성되고, 상기 물체의 상기 자유공간 모델은 도시된 예에서 상기 4개의 모델포인트군 (61', 62', 63', 64') 을 포함하는 직사각형 (65) 이다. 자유공간 모델 (65) 의 내부에서 그 밖의 포인트들이 센서 (20) 를 통해 파악되어서는 안되며, 또는 자유공간 모델 (65) 의 내부에 있는, 하지만 상기 4개의 모델포인트군 (61', 62', 63', 64') 중 하나에 할당될 수 없는 주변포인트군의 포인트들의 수를 위한 한계값이 정의된다. 이에 따라서, 추가적으로 파악된 포인트군 (66'') 은, 아마 원래는 포인트들이 파악되지 않을, 자유공간 모델 (65) 안의 위치에서 파악된다. 그렇기 때문에, 센서 (20) 에 의해 감지된 상기 장소에 4개의 다리를 갖는 테이블이 있다는 가설은 틀리다고 거부된다.

도 7 은 상기 센서의 자유공간 모델을 근거로 하는 일관성 검사시의 절차를 도식적으로 나타낸다. 이 상황에서, 6개의 다리를 갖는 테이블이 한 장소에서 추측되고 (포즈가설), 상기 장소에 실제로는 4개의 다리를 갖는 테이블이 서 있다. 즉, 상기 포즈가설은 틀리다. 상기 센서의 자유공간 영역 (77) 은, 그 안에서 주변포인트들이 파악되지 않은/측정되지 않은 영역이다. 6개의 모델포인트군 (71', 72', 73', 74', 75', 76') 은 또다시 예컨대 상기 6 다리 테이블의 CAD-모델로부터 만들어내져 있다. 즉, 파악된 레이저포인트들 (71'', 72'', 75'', 76'') 을 토대로, 6개의 다리를 갖는 테이블이 특정 장소에서 추측된다; 그러나, 상기 센서의 자유공간 모델 (77) 안에, 레이저점과 연관될 수 없는 모델포인트군들 (73', 74') 이 있다. 즉, 상기 센서가 아무것도 파악하지 않은 장소들에서 모델포인트들 또는 모델포인트군들이 존재한다. 이 모델포인트들의 수가 특정 한계값을 넘으면, 상기 포즈가설은 거부된다.

도 8 은 상기 센서의 상기 자유공간 모델과, 모델포인트의 침입깊이를 근거로 하는 일관성 검사시의 절차를 도식적으로 나타낸다. 도시된 상황에서, 실제로 존재하는 4 다리 테이블의 실제의 위치에서 벗어나는 또는 포즈에서 벗어나는 장소에서 4 다리 테이블이 추측된다. 상기 실제의 위치는 파악된 포인트군들 (81'', 82'', 83'', 84'') 을 통해 도 8 에 도시된다. 그러나, 검사되어야 하는 포즈가설은, 모델포인트군들 (81', 82', 83', 84') 을 통해 도 8 에 도시된 위치에서의 테이블을 추측한다. 도 7 의 예에서의 절차와 유사하게, 여기서, 상기 센서의 자유공간 모델 (88) 의 내부에 있는 모델포인트들을 위한 한계값들이 주시된다. 그러나 이때, 자유공간 모델 (88) 의 내부에서의 개별적인 모델포인트들과 자유공간 모델 (88) 의 경계들 사이의 거리 (87) 가 결정적이다. 거리 (87) 가 특정 한계값을 넘을 경우, 상기 포즈가설은 거부된다. 그러나 상기 모델포인트들이 예컨대 자유공간 모델 (88) 의 경계에 가까이 있으면, 상기 포즈가설은 경우에 따라서는 옳다고 간주될 수 있다.

도 9 는 예상된 그리고 실제로 관찰된 모델포인트들의 비교를 근거로 하는 일관성 검사시의 절차를 도식적으로 나타낸다. 이 절차는, 주변의 2D-포인트군의 실제로 파악된 포인트들 (관찰된 모델포인트들) 에 대한, 원래는 거리센서에 의해 파악되어야 하는, 상기 인식되어야 하는 물체의 2D-표면윤곽의 다수의 포인트 (예상된 모델포인트들) 의 수의 비율을 기초로 한다. 도시된 예에서, 6 다리 테이블이 한 장소에서 추측되고 (포즈가설), 상기 장소에 실제로 6 다리 테이블이 존재한다. 즉, 상기 포즈가설은 옳다. 그러나, 상기 테이블의 2개의 다리는 방해물 (90) 에 의해 가려진다. 기하학적 계산으로부터, 센서 (20) 가 파악할 수 있다는 것이 예상되지 않는 모델포인트들 (91a', 92a', 93a', 94a', 95a', 96a') 이 결정될 수 있고, 왜냐하면 그들은 예컨대 센서 (20) 에서 볼 때 테이블 다리의 뒷면에 있기 때문이고 (91a', 92a', 93a', 95a', 96a' 처럼) 또는 그들은 다른 테이블 다리에 의해 가려지기 때문이다 (94a' 처럼). 또한, 원래는 센서에 의해 파악되어야 하는, 다수의 모델포인트 (91', 92', 93', 95', 96') 이 결정된다. 93'', 95'' 및 96'' 에 있어서, 상기 센서는 실제로도, 이가 예상되는 장소에서 포인트들을 파악한다. 그러나, 장소들 (91', 92') 에서는 상기 센서는, 이가 예상될지라도 방해물 (90) 에 근거하여 포인트들을 파악하지 않는다. 그러면, 일관성 검사는 예컨대 상기 예상된 포인트들의 전체수에 대한, 예상된 그리고 실제로 관찰된 모델포인트들 (93'', 95'', 96'') 의 비율을 기초로 한다.

도 10 은 물체모델의 관찰된 영역을 근거로 하는 일관성 검사시의 절차를 도식적으로 나타낸다. 도시된 예에서, 다시 6 다리 테이블이 한 장소에서 추측되고 (포즈가설), 상기 장소에 실제로 6 다리 테이블이 존재한다. 즉, 포즈가설이 옳다. 그러나, 2개의 테이블 다리들이 방해물 (100) 에 의해 가려지고, 따라서 센서 (20) 는 그들을 파악할 수 없고, 하나의 그 밖의 다리가 파악되지 않는데, 왜냐하면 그는 하나의 다른 다리에 의해 가려져 있기 때문이다. 이에 따라서, 포인트들은 장소들 (103'', 105'', 106'') 에서만 파악된다. 도시된 예에서, 물체모델은 사용자에 의해 6개의 직사각형 영역들 (101, 102, 103, 104, 105, 106) 로 분할되고, 상기 물체모델의 이 직사각형들 각각은 자신의 영역으로서 이해된다. 상기 물체모델로부터 모델포인트군을 만들어낼 때, 각각의 모델포인트를 위해, 어떤 영역으로부터 그가 발생되었는지가 인지된다. 영역은, 그와 결합된 적어도 하나의 모델포인트가 관찰된 모델포인트인 한, 즉 파악된 2D-포인트군의 한 포인트가 상기 영역에 할당될 수 있으면, 관찰된 것으로 간주된다. 도 10 의 예에서, 영역들 (103, 105, 106) 은, 구체적으로 말해서 포인트군들 (103'', 105'', 106'') 을 통해, 파악된 반면, 영역들 (101, 102, 104) 은 파악되지 않았다. 관찰된 영역들의 수를 위한 특정 한계값을 넘으면, 포즈가설은 예컨대 거부될 수 있다.

10 : 자율주행 무인 운반 시스템
12 : 차체
13 : 바퀴
15 : 제어장치
20 : 거리센서/레이저 스캐너
21 : 레이저 광선
30 : 테이블
31, 32, 33, 34 : 다리
31', 32', 33', 34' : CAD-모델로부터의 2D-표면윤곽 또는 포인트군
31'', 32'', 33'', 34'' : 센서에 의해 파악된 2D-포인트군
61', 62', 63', 64' : CAD-모델로부터의 2D-표면윤곽 또는 포인트군
61'', 62'', 63'', 64'', 66'' : 센서에 의해 파악된 2D-포인트군
65 : 물체의 자유공간
71', 72', 73', 74', 75', 76' : CAD-모델로부터의 2D-표면윤곽 또는 포인트군
71'', 72'', 75'', 76'' : 센서에 의해 파악된 다리들의 2D-포인트군
77 : 센서의 자유공간 모델
81', 82', 83', 84' : CAD-모델로부터의 다리들의 2D-표면윤곽 또는 포인트군
81'', 82'', 83'', 84'' : 센서에 의해 파악된 2D-포인트군
88 : 센서의 자유공간 모델
87 : 자유공간 모델의 경계와 모델포인트 사이의 거리
91', 92', 93', 95', 96' : 센서가 파악할 수 있다고 예상되는 모델포인트
91a', 92a', 93a'...96a' : 센서가 파악할 수 있다고 예상되지 않는 모델포인트
93'', 95'', 96'' : 예상된 그리고 파악된 모델포인트
90, 100 : 방해물
101, 102, 103...106 : 물체모델의 영역들
103'', 105'', 106'' : 센서에 의해 파악된 2D-포인트군

Claims

로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 제어하기 위한 방법으로서:
· 인식되어야 하는 물체의 물체모델을 2D-표면윤곽의 형태로 제공하는 단계;
· 상기 2D-표면윤곽을 토대로 포인트쌍-피쳐들을 형성하는 단계로서, 상기 포인트쌍-피쳐들은 적어도 포인트쌍의 두 포인트 (P1, P₂) 사이의 거리 (d₁₂), 및 상기 두 포인트 (P1, P₂) 사이의 거리선에 대한 포인트들 (P1, P₂) 각각의 법선들 (n₁, n₂) 의 두 각도 (α₁, α₂) 를 기초로 하는 단계;
· 거리센서 (20) 를 이용해 주변의 적어도 하나의 2D-포인트군을 파악하고, 주변의 파악된 상기 2D-포인트군의 상응하는 포인트쌍-피쳐들을 형성하는 단계;
· 상기 2D-표면윤곽의 상기 포인트쌍-피쳐들을 주변의 상기 2D-포인트군의 상기 포인트쌍-피쳐들과 비교하고, 비슷한 포인트쌍-피쳐들을 결정하는 단계; 그리고
· 비슷하다고 결정된 상기 포인트쌍-피쳐들을 토대로: 상기 인식되어야 하는 물체 (31, 32, 33, 34) 가 인식되었는지 또는 아닌지의 여부를 결정하는 단계, 그리고
· 로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 액추에이팅하는 단계를 포함하고,
비슷하다고 결정된 상기 포인트쌍-피쳐들을 근거로 상기 인식되어야 하는 물체의 포즈가설들이 결정되고, 상기 인식되어야 하는 물체 (31, 32, 33, 34) 가 인식되었는지 또는 아닌지의 여부에 관한 결정의 단계는 상기 포즈가설들의 일관성 검사를 포함하고,
상기 일관성 검사는:
· 상기 물체모델을 결정된 상기 포즈가설들로 변환하고, 주변의 포인트군의 포인트들을 상기 2D-표면윤곽의 포인트들과 연관짓는 단계, 그 후:
· 상기 물체의 자유공간 모델 (65) 의 내부에 있는 그리고 모델포인트들과 연관될 수 없는 주변의 변환된 2D-포인트군 (61'', 62'', 66'', 63'', 64'') 의 포인트들 (66'') 의 수를 결정하는 단계;
· 상기 거리센서 (20) 의 자유공간 모델 (77) 의 내부에 있는 상기 2D-표면윤곽의 포인트들 (73', 74') 의 수를 결정하는 단계;
· 상기 거리센서 (20) 의 자유공간 모델 (88) 의 내부에 있는 상기 2D-표면윤곽의 포인트들 (82') 을 위해, 상기 거리센서 (20) 의 상기 자유공간 모델 (88) 의 경계에 대한 상기 2D-표면윤곽의 포인트들 (82') 의 거리 (87) 를 결정하는 단계;
· 주변의 상기 2D-포인트군의 실제로 파악된 포인트들에 대한, 원래는 상기 거리센서 (20) 에 의해 파악되어야 하는, 상기 인식되어야 하는 물체의 상기 2D-표면윤곽의 포인트들의 수의 비율을 결정하는 단계; 및
· 상기 물체모델을 여러 가지의 영역으로 분할하고, 각각의 모델포인트에 대해, 어떤 영역으로부터 모델포인트가 발생되었는지를 인지하고, 상기 물체모델의 파악된 영역들의 수를 결정하는 단계 중 적어도 하나를 포함하는, 로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 제어하기 위한 방법.
제 1 항에 있어서,
상기 2D-표면윤곽의 상기 포인트쌍-피쳐들에 각각 하나의 피쳐-포즈가 할당되고, 상기 피쳐-포즈는 각각의 상기 포인트쌍-피쳐를 상기 인식되어야 하는 물체의 상대적 포즈와 결합하는, 로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 제어하기 위한 방법.
제 1 항에 있어서,
상기 포인트쌍-피쳐들의 비교의 단계는 비슷하다고 결정된 상기 포인트쌍-피쳐들을 근거로 상기 인식되어야 하는 물체의 포즈가설들을 결정하는 것을 추가로 포함하는, 로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 제어하기 위한 방법.
제 3 항에 있어서,
상기 포즈가설들의 결정은 주변의 상기 2D-포인트군의 상기 포인트쌍-피쳐의 피쳐-포즈로의, 상기 2D-표면윤곽의 상기 포인트쌍-피쳐의 피쳐-포즈의 변환을 포함하는, 로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 제어하기 위한 방법.
제 3 항에 있어서,
보팅 그리드 (Voting grid) 안에 상기 포즈가설들을 기입하고, 적어도 하나의 포즈가설을 선택하는 것을 추가로 포함하는, 로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 제어하기 위한 방법.
제 5 항에 있어서,
상기 적어도 하나의 포즈가설은 가장 큰 수의 기입된 포즈가설들을 갖는 그리드 셀 (grid cell) 에서 선택되는, 로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 제어하기 위한 방법.
제 6 항에 있어서,
상기 인식되어야 하는 물체가 인식되었는지 또는 아닌지의 여부에 관한 결정은 선택된 상기 포즈가설들을 기초로 하고, 동일한 보팅 그리드의 다른 포즈가설들은 고려되지 않는, 로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 제어하기 위한 방법.
제 5 항에 있어서,
상기 보팅 그리드 안에 기입된 상기 포즈가설들은, 모두 정확히 하나의 포인트에서 시작하는, 주변의 상기 2D-포인트군의 포인트쌍-피쳐들을 기초로 하는, 로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 제어하기 위한 방법.
제 8 항에 있어서,
다른 포인트에서 시작하는, 주변의 상기 2D-포인트군의 포인트쌍-피쳐들을 기초로 하는 포즈가설들을 결정하고, 보팅 방법을 반복하는 것을 추가로 포함하는, 로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 제어하기 위한 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 포인트쌍-피쳐들의 비교의 단계는 추가로, 비슷하다고 결정된 상기 포인트쌍-피쳐들을 근거로 상기 인식되어야 하는 물체의 포즈가설들을 결정하고, 결정된 상기 포즈가설들을 ICP (Iterative Closest Point) 알고리즘을 사용하여 최적화하는 것을 포함하는, 로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 제어하기 위한 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 포인트쌍의 두 포인트 사이의 연결선 (d12) 상에 포인트 (M) 가 정의되고, 상기 포인트 (M) 에서 시작하는 방향벡터 (R) 가 정의되고, 상기 방향벡터가 상기 인식되어야 하는 물체의 상대적 포즈와 결합됨으로써, 상기 2D-표면윤곽의 상기 포인트쌍-피쳐들에 각각 하나의 피쳐-포즈가 할당되는, 로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 제어하기 위한 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 거리센서 (20) 는 레이저 스캐너 (20) 또는 2D-레이저 스캐너인, 로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 제어하기 위한 방법.
삭제
삭제
제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
물체를 인식한 후 또는 포즈가설을 정확하다고 결정한 후, 상기 인식된 물체는 SMC 필터를 사용하여 추적되는, 로봇 및 자율주행 무인 운반 시스템 (10) 중 적어도 하나를 제어하기 위한 방법.
적어도 하나의 거리센서 (20) 와 제어장치 (15) 를 포함하는 물체를 인식하기 위한 시스템을 포함하는 자율주행 무인 운반 시스템 (10) 으로서,
상기 제어장치 (15) 는:
· 인식되어야 하는 물체의 물체모델의 적어도 하나의 2D-표면윤곽의 포인트쌍-피쳐들을 데이터 뱅크에서 불러오는 단계로서, 상기 포인트쌍-피쳐들은 적어도 포인트쌍의 두 포인트 (P1, P₂) 사이의 거리 (d₁₂), 및 상기 두 포인트 사이의 거리선에 대한 포인트들 (P1, P₂) 각각의 법선들 (n₁, n₂) 의 두 각도 (α₁, α₂) 를 기초로 하는, 상기 데이터 뱅크에서 불러오는 단계;
· 상기 거리센서 (20) 를 이용해 주변의 적어도 하나의 2D-포인트군을 파악하고, 주변의 파악된 상기 2D-포인트군의 상응하는 포인트쌍-피쳐들을 형성하는 단계;
· 상기 2D-표면윤곽의 상기 포인트쌍-피쳐들을 주변의 상기 2D-포인트군의 상기 포인트쌍-피쳐들과 비교하고, 비슷한 포인트쌍-피쳐들을 결정하는 단계; 그리고
· 비슷하다고 결정된 상기 포인트쌍-피쳐들을 토대로: 상기 인식되어야 하는 물체가 인식되었는지 또는 아닌지의 여부를 결정하는 단계, 그리고
· 상기 자율주행 무인 운반 시스템 (10) 을 엑추에이팅하는 단계를 실행하기 위해 셋업되고,
상기 제어장치 (15) 는 추가로, 비슷하다고 결정된 상기 포인트쌍-피쳐들을 근거로 상기 인식되어야 하는 물체의 포즈가설들이 결정되도록 구성되고,
상기 인식되어야 하는 물체가 인식되었는지 또는 아닌지의 여부에 관한 결정의 단계는 상기 포즈가설들의 일관성 검사를 포함하고,
상기 제어장치 (15) 는 추가로, 상기 일관성 검사에서,
· 상기 물체모델을 결정된 상기 포즈가설들로 변환하고, 주변의 포인트군의 포인트들을 상기 2D-표면윤곽의 포인트들과 연관짓는 단계, 그 후:
· 상기 물체의 자유공간 모델 (65) 의 내부에 있는 그리고 모델포인트들과 연관될 수 없는 주변의 변환된 2D-포인트군 (61'', 62'', 66'', 63'', 64'') 의 포인트들 (66'') 의 수를 결정하는 단계;
· 상기 거리센서 (20) 의 자유공간 모델 (77) 의 내부에 있는 상기 2D-표면윤곽의 포인트들 (73', 74') 의 수를 결정하는 단계;
· 상기 거리센서 (20) 의 자유공간 모델 (88) 의 내부에 있는 상기 2D-표면윤곽의 포인트들 (82') 을 위해, 상기 거리센서 (20) 의 상기 자유공간 모델 (88) 의 경계에 대한 상기 2D-표면윤곽의 포인트들 (82') 의 거리 (87) 를 결정하는 단계;
· 주변의 상기 2D-포인트군의 실제로 파악된 포인트들에 대한, 원래는 상기 거리센서 (20) 에 의해 파악되어야 하는, 상기 인식되어야 하는 물체의 상기 2D-표면윤곽의 포인트들의 수의 비율을 결정하는 단계; 및
· 상기 물체모델을 여러 가지의 영역으로 분할하고, 각각의 모델포인트에 대해, 어떤 영역으로부터 모델포인트가 발생되었는지를 인지하고, 상기 물체모델의 파악된 영역들의 수를 결정하는 단계 중 적어도 하나를 포함하는 단계를 실행하도록 구성되는, 자율주행 무인 운반 시스템 (10).
제 16 항에 있어서,
상기 제어장치 (15) 는 제 2 항 내지 제 9 항 중 어느 한 항에 따른 방법단계들을 실행하기 위해 추가로 셋업되는, 자율주행 무인 운반 시스템 (10).