KR102326097B1

KR102326097B1 - 물리적 길이의 단위를 사용하는 팔렛 검출

Info

Publication number: KR102326097B1
Application number: KR1020187033818A
Authority: KR
Inventors: 시안 필립스; 샨타누 패드헤이
Original assignee: 크라운 이큅먼트 코포레이션
Priority date: 2016-04-27
Filing date: 2017-04-07
Publication date: 2021-11-16
Also published as: CA3020661A1; EP3449466A1; CN108885792B; WO2017189210A1; AU2017255410A1; US20170316253A1; CN108885792A; BR112018069528A2; US9990535B2; KR20190003602A; AU2017255410B2; MX2018013090A; EP3449466B1

Abstract

복수의 픽셀들을 포함하는 물리적 환경의 이미지가 획득되고, 각각의 픽셀은 이미지 평면 내의 2 차원 픽셀 위치 및 물리적 환경의 영역과 이미지 평면 사이의 거리에 대응하는 깊이 값을 포함한다. 각각의 픽셀에 대해, 2 차원 픽셀 위치 및 깊이 값은 물리적 측정 단위의 값을 각각 갖는 3개의 좌표 성분에 의해 규정된 물리적 환경에서 대응하는 3 차원 점으로 전환된다. 한 세트의 에지 점들은 복수의 점들의 z 좌표 성분에 적어도 부분적으로 기초하여 복수의 3 차원 점들 내에서 결정되고 셀들의 행렬을 포함하는 거리 맵이 발생된다. 거리 맵의 각 셀에 대해, 셀과 그 셀에 최인접한 에지 점 사이의 거리를 나타내는 거리 값이 지정된다.

Description

물리적 길이의 단위를 사용하는 팔렛 검출

본 발명은 일반적으로 자재 취급 차량에 관한 것으로, 특히 차량에 의해 픽업되는 팔렛을 촬영하고 위치시키기 위한 시스템에 관한 것이다.

일반적인 창고 또는 물류 중심에서, 팔렛운반 재고 품목은 일반적으로 길고 평행하게 연장된 통로의 각 측부에 정렬된 랙 또는 기타 저장 구조에 저장된다. 사용 가능한 공간을 최대화하기 위해, 여러 저장 구조가 수직으로 적층되어, 재고품이 높은 높이에 저장될 수 있는 것이 일반적이다. 따라서, 재고품을 회수 및/또는 정리하는 자재 취급 차량의 작동자는 차량의 작동 위치로부터 상방을 보고 회수되거나 내려놓을 재고품에 대한 포크의 적절한 높이 및 측방향 위치를 식별하도록 요구될 수 있다.

팔렛운반 자재를 픽업하거나 내리는 지게차를 위치설정하는 것이 증가하는 높이에서 점점 더 어려워지고 있다. 시각적 관점이 더욱 어려워진다. 필요한 위치 조정을 효과적으로 수행하기 위해서는 광범위한 교육이 필요할 수 있다. 충분한 능력으로도 정확한 위치 설정은 자재 취급 차량의 효율적인 사용 및 작동자에 대해서 요구되는 것보다 더 많은 시간이 걸릴 수 있다. 또한, 품목을 픽업하거나 또는 내려놓기 위해 완전 자율주행 차량을 사용하는 저장 또는 창고 시설 또는 기타 자재 취급 환경에서, 랙 및 팔렛의 레이아웃 및 위치 설정은 다양한 랙 구조 및 다양한 팔렛 사이의 수직 간격 및/또는 수평 간격이 자율 주행 차량이 서비스하는 지역 전체에 걸쳐 균일하도록 확고하게 제어되는 경향이 있다. 완전 자율주행 차량이 서비스하는 지역에서 불균일한 랙 크기와 간격을 사용할 수 있는 것이 유익하다.

본 발명의 일 양태는 이미지 분석 방법에 관한 것이다. 복수의 픽셀들을 포함하는 물리적 환경의 이미지가 획득되고, 각각의 픽셀은 이미지 평면 내의 2 차원 픽셀 위치 및 물리적 환경의 영역과 이미지 평면 사이의 거리에 대응하는 깊이 값을 포함한다. 각각의 픽셀에 대해, 2 차원 픽셀 위치 및 깊이 값은 물리적 측정 단위의 값을 각각 갖는 3개의 좌표 성분에 의해 규정된 물리적 환경에서 대응하는 3 차원 점으로 전환된다. 한 세트의 에지 점들은 복수의 점들의 z 좌표 성분에 적어도 부분적으로 기초하여 복수의 3 차원 점들 내에서 결정되고 셀들의 행렬을 포함하는 거리 맵이 발생된다. 거리 맵의 각 셀에 대해, 셀과 그 셀에 최인접한 에지 점 사이의 거리를 나타내는 거리 값이 지정된다.

본 발명의 이 양태에 따르면, 컴퓨터는 에지 점들의 세트를 결정할 때 3 차원 점들 각각에 대해: a) 관련된 에지 값을 결정하기 위해, 상기 3 차원 점의 z 좌표 성분을 상기 3 차원 점들의 사전 규정된 이웃에 있는 각각의 3 차원 점의 각각의 z 좌표 성분과 비교하는 단계; 및 b) 그 관련된 에지 값이 미리 결정된 임계값을 초과할 때 상기 3 차원 점이 상기 에지 점들의 세트에 있는지를 결정하는 단계를 수행한다. 또한, 거리 맵에서 각각의 셀의 각각의 거리 값은 점의 3개의 좌표 성분들(x, y, z)과 동일한 물리적 측정 단위에 있고, 물리적 측정 단위는 센티미터 또는 밀리미터 중 하나이다.

본 발명의 일 양태에 따르면, 컴퓨터는 거리 맵 상의 제 1 복수의 상이한 위치들에서 제 1 템플릿을 위치시킬 수 있으며, 제 1 복수의 상이한 위치들 각각에서, 제 1 템플릿은 제 1 복수의 상이한 위치들과 정렬되고(제 1 템플릿은 관련된 제 1 복수의 셀들을 식별하는 데이터를 포함하고) 상기 셀들 중 하나와 관련된 원점을 가지며; 및 상기 제 1 복수의 상이한 위치들 각각에서, 상기 관련된 하나의 셀에 대한 제 1 대응 비용 함수 값을 계산한다. 특히, 제 1 템플릿은 랙 템플릿 및 팔렛 템플릿 중 하나일 수 있으며, 여기서 제 1 템플릿은 복수의 템플릿 점들을 포함하고, 각각의 템플릿 점은 물리적 측정 단위의 값을 각각 갖는 2개의 좌표 성분(m, n)에 의해 규정된다. 또한, 제 1 템플릿의 각 템플릿 점에 대해서, 그 대응 좌표 성분 값(m, n)은 각각 이미지의 픽셀들에 대응하는 3 차원 점들의 3개의 좌표 성분들(x, y, z)과 동일한 물리적인 측정 단위에 있다.

본 발명의 다른 양태에 따르면, 각각의 제 1 대응 비용 함수 값은 각각의 제 1 복수 셀들과 각각의 최인접한 하나의 에지 점 사이의 거리에 기초하여 계산될 수 있다. 일 예로서, 제 1 대응 비용 함수는: a) 복수의 제곱 값들을 발생하기 위해 제 1 복수의 셀들로부터의 각각의 거리 값들 각각을 그들 자신과 곱하는 단계; 및 b) 상기 복수의 제곱 값들의 평균의 제곱근을 결정하는 단계에 의해서 계산될 수 있다.

또한, 컴퓨터는 제 1 미리 결정된 임계값 미만의 제 1 대응 비용 함수 값을 갖는 거리 맵의 각 셀을 식별할 수 있다.

따라서, 컴퓨터는 또한 거리 맵 상의 제 2 복수의 상이한 위치들에 제 2 템플릿을 위치시킬 수 있고, 제 2 복수의 상이한 위치들 각각에서, 제 2 템플릿은 제 2 복수의 셀들과 정렬되고, 셀들 중 하나와 관련된 원점을 가지며; 및 상기 제 2 복수의 상이한 위치들 각각에서, 상기 관련된 하나의 셀에 대한 제 2 대응 비용 함수 값을 계산할 수 있다. 그 다음, 컴퓨터는 거리 맵의 각 셀을 식별할 수 있고, 상기 거리 맵의 각 셀은: a) 제 1 미리 결정된 임계값 미만의 제 1 대응 비용 함수 값, 및 b) 제 2 미리 결정된 임계값 미만의 제 2 대응 비용 함수 값을 갖는다. 위에서 언급한 것처럼, 제 1 템플릿은 랙 템플릿일 수 있고 제 2 템플릿은 팔렛 템플릿일 수 있다.

특히, 거리 맵의 셀들의 행렬은 (i × j)개의 셀을 규정하는 셀의 i개의 열과 셀의 j개의 행을 포함할 수 있으며, 각각의 열은 1과 i 사이의 제 1 색인 값(a)에 의해 참조되고, 각각의 행은 1과 j 사이의 제 2 색인 값(b)에 의해 참조되고, 각각의 셀은 색인 쌍(a, b)에 의해 참조되고; 상기 거리 맵의 각각의 셀에 대해, 대응 색인 쌍 값들(a, b)은 각각 상기 이미지의 픽셀들에 대응하는 3 차원 점들의 3개의 좌표 성분들(x, y, z)과 동일한 물리적 측정 단위에 있다. 또한, 거리 맵의 셀에 최인접한 하나의 에지 점은 각 에지 점들의 각각의 (x, y) 좌표 성분 및 그 셀의 (a, b) 색인 쌍에 기초하여 결정될 수 있고 최인접한 하나의 에지 점과 거리 맵의 셀 사이의 거리는 최인접한 하나의 에지 점의 (x, y) 좌표 성분과 그 셀의 (a, b) 색인 쌍 사이의 유클리드 거리와 관련될 수 있다.

또한, 컴퓨터는: a) 모든 에지 점들 중에서 x 좌표 성분의 최대 값을 식별할 수 있고; 및 b) 모든 에지 점들 중에서 y 좌표 성분의 최대 값을 식별할 수 있으며; i = x 좌표 성분의 최대 값; j = y 좌표 성분의 최대 값이다.

본 발명의 일 양태는 이미지를 분석하기 위한 시스템에 관한 것으로, 상기 시스템은 실행 가능한 명령들을 저장하는 메모리 장치 및 상기 메모리 장치와 통신하는 프로세서를 포함한다. 상기 실행 가능 명령들을 실행할 때, 상기 프로세서는: a) 물리적 환경의 이미지를 획득하는 단계로서, 상기 이미지는 복수의 픽셀들을 포함하고, 각각의 픽셀은 상기 이미지의 평면의 2 차원 픽셀 위치 및 상기 물리적 환경의 영역과 상기 이미지의 평면 사이의 거리에 대응하는 깊이 값을 포함하는, 상기 물리적 환경의 이미지를 획득하는 단계; b) 각각의 픽셀에 대해서, 상기 2 차원 픽셀 위치 및 상기 깊이 값을 상기 물리적 환경에서 대응하는 3 차원 점으로 전환하는 단계로서, 픽셀에 대응하는 각각의 3 차원 점이 물리적 측정 단위의 값을 각각 갖는 3개의 좌표 성분들(x, y, z)에 의해 규정되는, 상기 전환하는 단계; c) 상기 복수의 점들 중 하나 이상의 점의 z 좌표 성분에 적어도 부분적으로 기초하여 상기 복수의 3 차원 점들 내의 에지 점들의 세트를 결정하는 단계; d) 셀들의 행렬을 포함하는 거리 맵을 발생하는 단계; e) 상기 거리 맵의 각 셀에 대해, 상기 에지 점들 중 최인접한 것을 식별하는 단계; 및 f) 상기 거리 맵의 각 셀에, 상기 셀과 그 셀에 최인접한 하나의 에지 점 사이의 거리를 나타내는 각각의 거리 값을 할당하는 단계를 실행한다.

본 발명의 이 양태에 따르면, 에지 점들의 세트를 결정할 때 프로세서는 3 차원 점들 각각에 대해서: a) 관련된 에지 값을 결정하기 위해, 3 차원 점의 z 좌표 성분을 상기 3 차원 점들의 미리 규정된 이웃하는 각각의 3 차원 점의 각각의 z 좌표 성분과 비교하고; 및 b) 관련된 에지 값이 미리 결정된 임계값을 초과할 때 3 차원 점이 에지 점들의 세트에 존재하는지를 결정한다. 또한, 거리 맵에서 각각의 셀의 각각의 거리 값은 점들의 3개의 좌표 성분들(x, y, z)과 동일한 물리적 측정 단위에 있고, 물리적 측정 단위는 센티미터 또는 밀리미터 중 하나이다.

본 발명의 일 양태에 따르면, 프로세서는 거리 맵 상의 제 1 복수의 상이한 위치들에서 제 1 템플릿을 위치시킬 수 있으며, 제 1 복수의 상이한 위치들 각각에서, 제 1 템플릿은 제 1 복수의 셀들과 정렬되고(제 1 템플릿은 관련된 제 1 복수의 셀들을 식별하는 데이터를 포함하고), 상기 셀들 중 하나와 관련된 원점을 가진다; 및 상기 제 1 복수의 상이한 위치들 각각에서, 상기 관련된 하나의 셀에 대한 제 1 대응 비용 함수 값을 계산할 수 있다. 특히, 제 1 템플릿은 랙 템플릿 및 팔렛 템플릿 중 하나일 수 있으며, 여기서 제 1 템플릿은 복수의 템플릿 점들을 포함하고, 각각의 템플릿 점은 물리적 측정 단위의 값을 각각 갖는 2개의 좌표 성분(m, n)에 의해 규정된다. 또한, 제 1 템플릿의 각 템플릿 점에 대해서, 그 대응 좌표 성분 값(m, n)은 각각 상기 이미지의 픽셀들에 대응하는 3 차원 점의 3개의 좌표 성분들(x, y, z)과 동일한 물리적인 측정 단위에 있다.

또한, 실행 가능 명령들을 실행할 때 프로세서는 제 1 미리 결정된 임계값 미만의 제 1 대응 비용 함수 값을 갖는 거리 맵의 각 셀을 식별할 수 있다.

따라서, 프로세서는 거리 맵 상의 제 2 복수의 상이한 위치들에서 제 2 템플릿을 위치시킬 수 있으며, 제 2 복수의 상이한 위치들 각각에서, 제 2 템플릿은 제 2 복수의 셀들과 정렬되고, 셀들 중 하나와 관련된 원점을 가지며; 및 상기 제 2 복수의 상이한 위치들 각각에서, 상기 관련된 하나의 셀에 대한 제 2 대응 비용 함수 값을 계산할 수 있다. 그 다음, 프로세서는 거리 맵의 각 셀을 식별할 수 있고, 상기 거리 맵의 각 셀은: a) 제 1 미리 결정된 임계값 미만의 제 1 대응 비용 함수 값, 및 b) 제 2 미리 결정된 임계값 미만의 제 2 대응 비용 함수 값을 갖는다. 상술한 바와 같이, 제 1 템플릿은 랙 템플릿일 수 있고 제 2 템플릿은 팔렛 템플릿일 수 있다.

특히, 거리 맵의 셀들의 행렬은 (i × j)개의 셀을 규정하는 셀의 i개의 열과 셀의 j개의 행을 포함할 수 있으며, 각각의 열은 1과 i 사이의 제 1 색인 값(a)에 의해 참조되고; 각 행은 1과 j 사이의 제 2 색인 값(b)에 의해 참조되고; 각각의 셀은 색인 쌍(a, b)에 의해 참조되고; 상기 거리 맵의 각각의 셀에 대해, 대응 색인 쌍 값들(a, b)은 각각 상기 이미지의 픽셀들에 대응하는 3 차원 점들 중 3개의 좌표 성분들(x, y, z)과 동일한 물리적 측정 단위에 있다. 또한, 거리 맵의 셀에 최인접한 하나의 에지 점은 각각의 에지 점의 각각의 (x, y) 좌표 성분 및 그 셀의 (a, b) 색인 쌍 및 최인접한 하나의 에지 점과 거리 맵의 셀 사이의 거리는 최인접한 하나의 에지 점의 (x, y) 좌표 성분과 그 셀의 (a, b) 색인 쌍 사이의 유클리드 거리와 관련될 수 있다.

또한, 실행 가능한 명령들을 실행할 때, 프로세서는: a) 모든 에지 점들 중에서 x 좌표 성분의 최대 값을 식별할 수 있고; b) 모든 에지 점들 중에서 y 좌표 성분의 최대 값을 식별할 수 있으며; i = x 좌표 성분의 최대 값; j = y 좌표 성분의 최대 값이다.

도 1a 및 도 1b는 본 발명이 포함될 수 있는 지게차 또는 차량을 도시한다.
도 2a 내지 도 2c는 본 발명의 원리에 따라 핀홀 카메라의 사시 투영 모델을 도시한다.
도 3은 본 발명의 원리에 따라 촬영 카메라와 관련하여 물리적 환경에서 영역을 식별하는 기하 구조를 도시한다.
도 4a 및 도 4b는 본 발명의 원리에 따라 2개의 상이한 위치에 각각의 원점을 갖는 이미지 평면을 도시한다.
도 5는 본 발명의 원리에 따라 물리적 환경에서 랙 및/또는 팔렛을 위치시키기 위해 3D 이미지의 이미지 분석을 사용하는 예시적인 알고리즘의 플로차트이다.
도 6은 도 5의 알고리즘이 본 발명의 원리에 따라 사용될 수 있는 물리적 환경의 특징을 도시한다.
도 7a 및 도 7b는 본 발명의 원리에 따라 물리적 환경의 2개의 상이한 시각화를 도시한다.
도 8은 본 발명의 원리에 따라 3D 이미지에서 에지를 식별하기 위한 알고리즘의 일 예의 플로차트이다.
도 9a 및 도 9b는 도 8의 알고리즘을 본 발명의 원리에 따라 3D 점 군(3D point cloud)에 적용한 시각화를 도시한다.
도 10은 본 발명의 원리에 따라 거리 맵을 발생하기 위한 예시적인 알고리즘의 플로차트이다.
도 11a 내지 도 11d는 도 10의 플로차트에 따라 발생된 거리 맵의 일련의 도면이다.
도 12a는 본 발명의 원리에 따라 예시적인 랙 템플릿이다.
도 12b는 본 발명의 원리에 따라 예시적인 팔렛 템플릿이다.
도 13a 내지 도 13d는 템플릿이 본 발명의 원리에 따라 거리 맵의 복수의 상이한 위치들에 걸쳐 어떻게 이동될 수 있는지를 나타내는 일련의 도면을 제공한다.
도 14는 본 발명의 원리에 따라 랙 템플릿을 거리 맵에 적용하기 위한 예시적인 알고리즘의 플로차트이다.
도 15는 본 발명의 원리에 따라 거리 맵에 팔렛 템플릿을 적용하기 위한 예시적인 알고리즘의 플로차트이다.
도 16은 본 발명의 원리에 따라 거리 맵의 예시적인 팔렛 검색 영역이다.

첨부된 도면과 관련하여 하기에 기술되는 상세한 설명은 본 발명의 다양한 실시예에 대한 설명으로 의도되었으며, 본 발명이 실시될 수 있는 유일한 실시예를 나타내기 위한 것이 아니다. 상세한 설명은 본 발명의 완전한 이해를 제공하기 위한 특정 세부 사항을 포함한다. 그러나, 당업자에게는 본 발명이 이러한 특정 세부 사항없이 실시될 수 있음이 명백할 것이다. 어떤 경우에는, 본 발명의 개념을 모호하게 하는 것을 피하기 위해 잘 알려진 구조 및 구성요소가 블록도 형태로 도시된다.

이제 도 1a를 참조하면, 본 발명이 포함될 수 있는 지게차 또는 차량(10)이 도시되어 있다. 차량(10)은 작동자의 격실(22)을 포함하는 파워 유닛 또는 주요 본체(20)를 포함한다. 차량(10)은 도 1b에 가장 잘 도시된 마스트 조립체(30) 및 포크 캐리지 장치(40)를 추가로 포함한다. 스탠드-업 무게균형 화물차를 참조하여 본 발명을 설명하였지만, 본 발명 및 본 발명의 변형이, 그 전체 내용이 본원에 참고로 합체된 미국 특허 출원 공개 제 2010/0065377 호에 개시된 바와 같이, 모노마스트(monomast)를 포함하는 라이더 리치 포크 리프트 트럭을 포함하는 다른 자재 취급 차량의 변형에 더욱 일반적으로 적용될 수 있음은 당업자에게 명백할 것이다. 본 발명의 실시예가 포함될 수 있는 상이한 유형의 차량(10)은 수동 차량, 반자동 차량 및 자율주행 차량을 포함한다. 상술한 바와 같이, 자율주행 차량에 본 발명의 실시예를 적용하는 하나의 장점은 이들 차량이 작업 부에서 반드시 균일하게 구성될 필요가 없는 랙 및/또는 팔렛에 대한 작업을 수행할 수 있게 하는 것이다.

마스트 조립체(30)는 제 1, 제 2 및 제 3 마스트 용접부(32,34,36)를 포함하며, 제 2 용접부(34)는 제 1 용접부(32) 내에 중첩되고 제 3 용접부(36)는 제 2 용접부(34) 내에 중첩된다. 제 1 용접부(32)는 트럭 주요 본체(20)에 고정식으로 결합된다. 제 2 또는 중간 용접부(34)는 제 1 용접부(32)에 대해 수직 운동을 할 수 있다. 제 3 또는 내부 용접부(36)는 제 1 및 제 2 용접부(32, 34)에 대해 수직 운동을 할 수 있다.

제 1 및 제 2 리프트 램/실린더 조립체(35)(도 1a에는 제 1 조립체만 도시됨)는 제 1 용접부(32)에 대한 제 2 용접부(34)의 이동을 수행하기 위해 제 1 및 제 2 용접부(32 및 34)에 결합된다. 체인(35A)(제 1 조립체의 체인만이 도 1a에 도시됨)은 제 1 및 제 2 리프트 조립체의 실린더 및 제 3 용접부(36)에 고정되고 램의 대응하는 것에 결합된 풀리(35B) 위로 연장되어(제 1 조립체의 풀리만이 도 1a에 도시됨), 제 1 및 제 2 리프트 조립체의 램의 이동이 제 1 및 제 2 용접부(32, 34)에 대한 제 3 용접부(36)의 이동을 수행한다.

포크 캐리지 장치(40)는 또한 제 3 스테이지 용접부(36)에 대해 수직으로 이동하도록 제 3 스테이지 용접부(36)에 연결된다. 포크 캐리지 장치(40)는 또한 제 1 및 제 2 스테이지 용접부(32, 34)에 대해서 제 3 스테이지 용접부(36)와 함께 수직 이동한다.

도시된 실시예에서, 포크 캐리지 장치(40)는 제 1 및 제 2 포크(42A, 42B)가 장착되는 포크 캐리지 기구(44)를 포함한다(도 1a 및 도 1b 참조). 포크 캐리지 기구(44)는 다시 마스트 캐리지 조립체(48)에 장착된 리치 기구(reach mechanism;46)에 장착된다. 마스트 캐리지 조립체(48)는 제 3 용접부(36)에 이동 가능하게 연결된다. 리치 기구(46)는 팬터그래프 또는 가위 구조체(46)를 포함하고, 이는 포크 캐리지 기구(44) 및 제 1 및 제 2 포크(42A, 42B)가 마스트 캐리지 조립체(48) 및 제 3 용접부(36)를 향하여 또는 멀어지는 방향으로 이동하게 수행하게 한다.

포크 캐리지 기구(44)는 캐리지 지지 구조체(44A)와 포크 캐리지 프레임(44B)을 포함한다. 포크(42A, 42B)는 포크 캐리지 프레임(44B)에 장착된다. 프레임(44B)은 지지 구조체(44A)에 대해 측방향 및 선회 운동을 위해 캐리지 지지 구조체(44A)에 결합된다. 측부-변위 피스톤/실린더 유닛(44C)은 캐리지 지지 구조체(44A) 및 포크 캐리지 프레임(44B)에 장착되어서, 캐리지 지지 구조체(44A)에 대한 포크 캐리지 프레임(44B)의 측방향 이동을 수행한다.

도 1a에만 도시된 틸트 피스톤/실린더 유닛(44D)은 캐리지 지지 구조체(44A)에 고정적으로 부착되고 포크 캐리지 프레임(44B)과 접촉하여 포크 캐리지 프레임(44B)을 캐리지 지지 구조체(44A)에 대해 선회 운동을 수행한다.

격실(22) 내에 서있는 작동자는 틸러(12)를 통해 트럭(10)의 주행 방향을 제어할 수 있다. 작동자는 또한 트럭(10), 포크 캐리지 장치 및 마스트 조립체 연장 부의 주행 속도 및 제 1 및 제 2 포크(42A, 42B)의 틸트 및 측부 변위를 다기능 제어기(14)를 통해 제어할 수 있다.

본 발명에 따르면, 이미지 기반 팔렛 및/또는 랙 검출 시스템(100)은 포크 캐리지 장치(40)가 상승 및 하강함에 따라 물리적 세계 장면의 하나 이상의 깊이 이미지를 캡처하고, 하나 이상의 팔렛 및/또는 랙을 포함할 수 있는 이미지 프레임에서 하나 이상의 대상물을 식별하고, 포크 캐리지 장치(40)에 대한 그들의 위치를 결정하고 팔렛 및/또는 랙 위치 정보를 발생하여 차량 동력 유닛(20) 상에 위치된 차량 컴퓨터(50)에 전송하기 위해 제공된다.

시스템(100)은 포크 캐리지 프레임(44B)에 결합된 이미지 분석 컴퓨터(110), 포크 캐리지 프레임(44B)의 하부 섹션(144B)에 결합된 선택적인 광 또는 조명 소스(120), 포크 캐리지 프레임(44B)의 하부 섹션(144B)에 결합된 타임-오브-플라이트 카메라(time-of-flight camera)와 같은 촬영 카메라(130) 및 시스템(100)을 작동시키기 위해 작동자의 격실(22)에 배치된 트리거 스위치(140)를 포함한다. 일부 장착 위치가 다른 위치들보다 더 바람직할 수 있지만, 촬영 카메라(130)는 포크의 위 또는 밑에 위치할 수 있다. 카메라 측은 포크로 이동하는 것이 바람직하지만 포크에서 반드시 기울일 필요는 없다. 카메라와 선택적인 라이트가 장착되어 있지만, 포크는 접근하는 팔렛에 최대의 경고를 제공하기 위해 시야의 밑에 있어야 한다. 도시된 실시예에서, 촬영 카메라(130)는 포크 밑에 있다(도 1a 참조). 컴퓨터(110)는 트럭상의 어느 위치에나 위치될 수 있다. 품목들(110, 120 및 130)이 스마트 카메라를 포함하는 단일 패키지로 결합될 수도 있다. 이미지 분석 컴퓨터(110)는 유선 케이블로 또는 무선으로 팔렛 식별 및 위치 정보를 차량 컴퓨터(50)에 전송하여, 차량 컴퓨터(50)가 포크(42A 및 42B)를 X 축 및 Y 축으로 규정된 바와 같이 수직 및 측방향으로 정확하게 위치시킬 수 있다(도 1a 참조).

차량 및 이미지 분석 컴퓨터(50 및 110)는 입력 데이터를 수신하고, 컴퓨터 명령을 통해 그 데이터를 처리하며, 출력 데이터를 발생하는 임의의 종류의 장치를 포함할 수 있다. 그러한 컴퓨터는 휴대용 장치, 랩톱 또는 노트북 컴퓨터, 데스크톱 컴퓨터, 마이크로 컴퓨터, 디지털 신호 프로세서(DSP), 메인프레임, 서버, 휴대 전화, 개인용 정보 단말기, 다른 프로그램 가능한 컴퓨터 장치 또는 이들의 임의의 조합일 수 있다. 이러한 컴퓨터는 또한 필드 프로그래머블 게이트 어레이(FPGA)와 같은 프로그램 가능 논리 장치를 사용하여 구현되거나, 또는 대안으로 주문형 집적 회로(ASIC) 또는 유사한 장치로서 실현될 수 있다. "컴퓨터"라는 용어는 둘 이상의 언급된 장치들, 예를 들어, 둘 이상의 마이크로 컴퓨터들의 조합을 포함하는 것으로 의도된다. 차량 및 이미지 분석 컴퓨터(50 및 110)는 무선으로 또는 유선으로 상호 접속될 수 있다. 컴퓨터들(50 및 110)은 단일 컴퓨터로서 결합될 수 있다는 것이 또한 고려된다. 따라서, 본 발명의 양태들은 전체적으로 하드웨어로서, 전체적으로 소프트웨어(펌웨어, 상주 소프트웨어, 마이크로 코드 등)로서 또는 본 명세서에서 모두 일반적으로 " 회로", "모듈", "구성요소" 또는 "시스템"으로 지칭될 수 있는 조합된 소프트웨어 및 하드웨어 이행형태로서 실행될 수 있다. 또한, 본 발명의 양태는 컴퓨터 판독 가능 프로그램 코드가 구현된 하나 이상의 컴퓨터 판독 가능 매체에 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.

작동자가 팔렛(P)을 픽업하기를 원할 때, 작동자는 차량(10)이 픽업될 랙(R) 상의 원하는 팔렛(P)과 X 방향으로 직접적으로 그리고 일반적으로 측방향으로 정렬되도록 차량(10)을 조종한다(도 1a 참조). 작동자는 다기능 제어기(14)의 작동을 통해서 무시될 마지막 팔렛(P) 위의 위치로 포크(42A 및 42B)를 Y 방향으로 수직으로 들어 올린다. 이미지 분석 컴퓨터(110)는 포크 캐리지 장치(40)가 수직으로 계속 이동함에 따라, 촬영 카메라(130)가 10 내지 30fps(프레임/초)의 속도와 같은 이미지 프레임을 취하도록 한다. 하기에 더 상세히 설명되는 바와 같이, 이미지 분석 컴퓨터(110)는 이미지를 분석하고, 이미지 프레임 내의 하나 이상의 대상물을 식별하고, 하나 이상의 대상물 중 어느 것이 팔렛 및/또는 랙을 포함할 가능성이 높은가를 결정하고, 세계 좌표 원점에 대한 대상물의 위치를 결정하고 팔렛 위치 정보를 발생하여 차량 컴퓨터(50)에 전송할 수 있다. 차량 컴퓨터(50)가 포크(42A, 42B)를 수직 및 측방향으로 정확하게 배치하여, 포크(42A, 42B)가 팔렛의 개방부 전방에 직접 위치되도록 이미지 분석 컴퓨터(110)는 또한, 차량 컴퓨터(50)에 팔렛 위치 정보를 무선으로 전송할 수 있다. 그 후, 작동자는 포크 캐리지 장치를 팔렛을 향하여 이동시켜 포크가 팔렛 개방부로 들어갈 수 있도록 할 필요가 있다. 대안으로, 상술된 작동들의 전부 또는 일부는 차량 컴퓨터(50) 및 이미지 분석 컴퓨터(110)의 제어 하에 차량에 의해 자율적으로 수행될 수 있다.

도 5는 팔렛 및 랙이 위치하는 물리적 환경의 이미지를 분석함으로써 랙 및/또는 팔렛의 위치를 추정하기 위한 알고리즘의 일 예의 플로차트이다. 예시된 알고리즘은 예를 들어, 이미지 분석 컴퓨터(110)에 의해 수행될 수 있다. 초기 단계로서, 단계(502)에서, 물리적 환경의 하나 이상의 이미지가 캡처된다. 상술한 바와 같이, 촬영 카메라(130)는 차량(10)의 전방에 있는 물리적 환경의 이미지를 포착하거나 획득할 수 있도록 차량(10) 상에 위치될 수 있다. 팔렛 또는 랙의 위치를 결정하기 위하여 단일 이미지가 분석될 수 있어도, 마찬가지로 하나 초과의 이미지를 사용할 수 있다. 예를 들어, 카메라(130)가 30fps로 이미지를 캡처하는 경우, 분석을 위해 사용되는 합성 이미지를 발생하기 위해 복수의 이들 프레임을 함께 평균화하거나 다른 방식으로 통계적으로 조합할 수 있다. 특히, 이하에서 보다 상세하게 설명되는 바와 같이, 분석에 사용되는 이미지는 3D 카메라로부터 제공될 수 있고, 복수의 픽셀들로 구성될 수 있으며, 각각의 픽셀은 이미지의 평면 내에 2 차원 픽셀 위치와, 이미지의 평면과 물리적 환경의 영역 사이의 거리에 대응하는 깊이 값을 포함한다.

단계(504)에서, 픽셀은 3D 점 군으로 전환된다. 각 픽셀에 대해, 2 차원 픽셀 위치 및 깊이 값은 물리적 환경에서 대응하는 3D 점으로 전환되고 3D 점은 3개의 좌표 성분(Xc, Yc, Zc)에 의해 규정된다. 3D 좌표 성분은 예를 들어, 카메라(130)의 얼굴 중심에 위치된 원점을 참조하여 계산될 수 있다. 또한, 이들 3 차원 좌표 성분 각각은 밀리미터, 센티미터, 인치 등과 같은 물리적 측정 단위의 값을 가진다.

3D 점들의 집합은 단계(506)에서 3D 이미지 내의 임의의 에지의 위치를 결정하기 위해 분석되는 3D 점 군으로 고려될 수 있다. 하기에 더 자세히 기술되는 바와 같이, 3D 점은 대응 픽셀이 3D 이미지의 이미지 평면에 배열된 방법을 모방하는 방식으로 논리적으로 정렬될 수 있다. "에지"는 이미지로부터의 인접한 픽셀에 대응하는 2개의 3D 점의 각 Zc 좌표 성분 사이에 불연속이 있는 것으로 고려된다. 특히, 에지에 있는 3D 점 군의 점들을 "에지 점"으로 식별한다. 하기에 더욱 상세히 설명되는 바와 같이, 거리 전환이 단계(508)에서 수행될 수 있게 하는 거리 맵이 발생될 수 있다. 거리 맵은 셀들의 행렬로 구성되고, 거리 전환은 셀과 그 셀에 최인접한 하나의 에지 점 사이의 거리를 나타내는 각 셀에 대한 거리 값을 계산하고, 에지 점과 그것의 최인접한 에지 점 사이의 거리는 "0"이다. 또한, 하기에 더욱 충분히 설명되는 바와 같이, 거리 맵의 상이한 셀 위치는 거리 맵의 원점으로부터의 상이한 거리에 대응한다. 이러한 원점으로부터의 상이한 거리는 예를 들어, 3D 점 군의 점의 좌표 성분(Xc, Yc, Zc)과 동일한 물리적 측정 단위로 측정할 수 있다.

팔렛 또는 랙이 물리적 환경의 이미지 장면 내에 존재하는지 여부를 검색하는 방법으로서, 거리 맵의 다양한 위치에, 랙의 모델 또는 템플릿 및/또는 팔렛의 템플릿이 단계(510)에서 중첩될 수 있다. 템플릿은 거리 맵에 중첩될 때 각 템플릿 점이 거리 맵의 셀들 중 하나를 중첩하도록 다수의 템플릿 점을 포함할 수 있다. 그런 다음 중첩된 셀들의 거리 값에 기초하여 점수가 계산되어 단계(512)에서 템플릿의 현재 위치에서 정합이 발생하는지를 결정할 수 있다. 랙 템플릿은 팔렛 템플릿과 상이하다; 따라서, 단계(510)에서의 검색 및 단계(512)에서의 정합 판정은 랙 템플릿 및 팔렛 템플릿에 대해 개별적으로 수행될 수 있다. 팔렛은 전형적으로 랙 구조 상에 위치하기 때문에, 가능한 랙의 위치 검색이 먼저 수행될 수 있고 가능한 팔렛의 위치 검색은 가능한 랙 위의 일정 거리 내에 위치하는 거리 맵의 부분으로 제한될 수 있다. 팔렛 템플릿 및 랙 템플릿의 경우, 팔렛 및/또는 랙의 정합이 발생했음을 나타내는 점수를 발생하는 템플릿의 위치들 중 하나 초과가 거리 맵에 있을 수 있다. 따라서, 랙 및/또는 팔렛과 정합하는 것으로 식별되는 거리 맵 상의 위치의 수를 줄이기 위해 가장 높은 점수 또는 다른 인자가 고려될 수 있다.

단계(514)에서, 팔렛 및/또는 랙의 위치가 계산된다. 첫째, 거리 맵의 어느 셀이 그 위치에서 템플릿에 의해 중첩되는지를 식별하는 정합을 초래한 템플릿의 위치가 결정된다. 상술한 바와 같이, 각각의 셀 위치는 거리 맵의 원점으로부터 상이한 거리와 관련되므로, 중첩된 셀은 거리 맵의 원점에 대한 팔렛 및/또는 랙의 위치를 결정하는데 사용될 수 있으며, 이러한 팔렛 및/또는 랙의 위치는 교대로 카메라에 대한 팔렛 및/또는 랙의 위치를 결정하는데 사용될 수 있다.

도 6은 하나의 팔렛(604)이 있는 도 5의 알고리즘이 수행될 수 있는 환경의 예를 도시한다. 촬영 카메라(130)는 그것을 모호하게 하는 차량(10)의 구조없이 도시된다. 그러나, 차량(10)이 물리적 환경 내에서 이동하고 그것의 포크 및 캐리지가 상승될 때, 카메라(130)는 팔렛(604) 및 랙(602) 및 또한 높이(608)로부터의 거리(606)인 위치에 도달할 수 있다. 카메라(130)가 도 6에 도시된 위치에 있을 때, 본 발명의 실시예는 차량(10)의 포크가 자동적으로 또는 차량(10)의 작동자의 제어에 따라 팔렛(604) 내의 개방부 내로 삽입될 수 있도록 팔렛(604) 및/또는 랙(602)의 위치를 결정할 것이다.

언급한 바와 같이, 촬영 카메라(130)는, 예를 들어, 타임-오브-플라이트 카메라일 수 있어서, 카메라(130)에 의해 발생된 이미지는 물리적 세계에서 장면의 깊이 이미지로 고려되며, 이미지는 복수의 픽셀 위치로 구성되고 각각의 픽셀 위치는 관련된 대응하는 깊이 값을 갖는다. 종래의 이미지 캡쳐 디바이스와 마찬가지로, 타임-오브-플라이트 카메라는 각 픽셀 위치가 카메라를 통해 이미지 평면에 다시 투영되는 물리적 세계의 장면의 영역에 대응하도록, 이미지 평면 상의 행렬에 배열된 복수의 픽셀 위치들을 포함하는 이미지를 가질 수 있다. 그러나, 타임-오브-플라이트 카메라는 각 픽셀 위치에 대한 거리 또는 깊이 값을 측정한다. 당업자는 본 발명의 범위를 벗어나지 않으면서 유사한 데이터 구조를 갖는 깊이 이미지를 발생 또는 획득하기 위한 다른 기능적으로 동등한 기술이 있다는 것을 이해할 것이다.

하기에 더욱 상세히 설명하는 바와 같이, 각 픽셀 위치는 세계 좌표 세트로부터 측정된 물리적 세계 내의 위치에 대응하는 3D 점으로 전환된다. 세계 좌표에 대한 원점으로서 현재 카메라 위치를 선택함으로써, 이미지 데이터를 3D 점으로 전환하기 위한 계산 중 일부가 단순화된다. 이 전환은 픽셀 위치와 관련된 깊이 정보와 함께 이미지 평면 상의 2 차원 픽셀 위치(또는 픽셀 좌표)에 기초한다.

도 2a 내지 도 2c는 본 발명의 다양한 양태들을 설명하는데 도움이 되는 단순한 핀홀 카메라 사시 투영 모델을 도시한다. 카메라(130)는 카메라 중심을 X 축, Y 축 및 Z 축을 갖는 카메라 좌표계를 규정하는 원점(0, 0, 0)에 위치시키는 것으로 고려된다. 도 2a에서, 예를 들어, Y 축은 용지 시트의 표면으로부터 나오고, X 축 및 Z 축은 라벨링된다. 이미지 평면은 카메라(130)의 초점 길이인 카메라 중심으로부터 거리를 두고 위치한다. 카메라(130)에 의해 촬영되는 물리적 세계 장면의 작은 영역 또는 위치는 좌표가 카메라 좌표계 원점을 기준으로 함을 나타내는 첨자"C"를 갖는 좌표(Xc, Yc, Zc)에 위치한다. 도 2b는 도 2a와 유사하지만, 도시된 바와 같이 배치된 용지 시트로 하강하는 X 축 및 Y 축 및 Z 축의 사시로부터 도시된다.

유사한 삼각형의 원리에 기초하여, 값 x' 및 y'는 다음에 따라 계산될 수 있다:

수학식 1

수학식 2

도 2c는 용지 시트로부터 나오는 Z 축을 갖는 X-Y 평면 상으로 투사될 때의 영역(Xc, Yc, Zc)을 도시한다. 값 f, x'및 y'에 대한 측정 단위는 픽셀이 아니라 길이의 관점이므로 이미지의 특정 픽셀 위치를 결정하기 위해 "픽셀"로 전환될 필요가 있다. X 축방향으로 픽셀 단위로 측정한 초점 길이 f를 f_x로 하고, Y 축방향으로 측정했을 때 f_y로 하고, 각 픽셀은 X 축방향의 길이 m_x와 Y 축방향의 길이 m_y를 가지며, 여기서 m_x와 m_y는 각각 다음과 같이 표현된다:

(물리적 길이(예: mm))/픽셀

x'및 y'에 대응하는 이미지 평면의 픽셀 값 u 및 v는 다음과 같이 계산될 수 있다 :

수학식 3

수학식 4

여기서:

수학식 5

수학식 6

도 2a 내지 도 2c는 카메라 렌즈 왜곡 또는 비뚤어짐이 없다고 고려하는 단순한 사시 투영을 나타낸다. 또한, 추가로 추정할 수 있는 것은 세계 좌표계 원점을 카메라 좌표계 원점과 정렬하여 둘 사이에 회전 또는 병진 차이가 없도록 하는 것을 포함한다. 초기에, 광축이 통과하는 이미지 평면의 중심이 픽셀 위치(0, 0)에서 이미지 평면에 위치한다고 추정한다. 그러나, 당업자는 이러한 단순화 추정이 필요하지 않으며 잘 알려진 투영 행렬 및 공식이 전환, 왜곡, 회전, 축, 스큐 등을 고려하는데 사용될 수 있다는 것을 이해할 것이다.

상술한 바와 같이, 카메라(130)는 각각의 픽셀 위치에 대한 각각의 깊이 값을 캡처하고 이 정보는 각 픽셀이 물리적인 세계의 위치 또는 영역에 관련되는 좌표를 갖는 3D 점으로 전환되도록 실제 세계 좌표로 전환된다. 상기 추정에 기초하여, 이들 좌표는 카메라(130)의 중심에 위치한 원점에 상대적이다. 따라서, 수학식 3 및 수학식 4는 다음과 같이 다시 쓸 수 있다:

수학식 7

수학식 8

또한 도 3에 도시된 기하학적 형태는 세계(및 카메라) 원점으로부터의 점 또는 영역(Xc, Yc, Zc)의 거리 d가 다음에 따라 계산될 수 있다는 것을 보여준다:

수학식 9A

또는 수학식 9B

수학식 9B의 재정렬은 다음과 같이 제공될 수 있다:

수학식 10

이 수학식은 Xc, Yc 및 Zc의 세 좌표 각각에 대한 값을 결정하거나 계산하는 단순한 방법을 제공한다. 각각의 경우에, 수학식 10의 양측은 해결될 좌표를 제곱하고 그 다음 수학식 7 및 수학식 8은 알려진 값으로 대체하는데 사용된다. 예를 들어, Xc를 풀 때. 수학식 10은 다음과 같이 된다:

수학식 11

수학식 12

수학식 13

수학식 14

유사한 방식으로, Y_C 및 Z_C은 다음과 같이 해결될 수 있다:

수학식 15

수학식 16

따라서, 상기 수학식에 따라, 이미지 평면 상의 픽셀 좌표(u, v)를 그 관련된 깊이 값 d와 함께 갖는 모든 픽셀 위치는 좌표 성분(Xc, Yc, Zc)을 갖는 물리적 세계 내의 대응하는 위치로 전환될 수 있다. 이들 좌표에 대한 측정 단위는 카메라(130)에 의해 결정된 거리 d 값과 동일한 측정 단위(예: 밀리미터)로 존재할 수 있다.

위의 수학식에서 초기 추정 중 하나는 광축이 픽셀 위치가 측정되는 이미지 평면의 원점(0,0)을 통과한다는 것이다. 이 추정을 사용하는 예시적인 이미지 평면이 도 4b에 도시되어 있다. 그러나, 원점(0,0)이 예를 들어, 상단 좌측 모서리와 같은 곳에 위치하면, 수학식 14 내지 16을 적용하기 전에 사용할 수 있는 오프셋 값 O_x 및 O_y가 있다. 도 4a 및 도 4b에서, 픽셀(402)은 이미지 평면 상의 동일한 물리적 점에 위치하지만, 픽셀 위치 또는 픽셀 좌표는 원점(0,0)이 규정된 곳에 따라 변할 수 있다. 예를 들어, 촬영 카메라(130)가 이미지 평면의 상단 좌측 모서리에 위치한 원점으로부터 픽셀 좌표(u', v')를 계산하면, 이들 픽셀 좌표(u', v')는 광축이 이미지 평면을 통과하는 위치에 있는 원점으로부터 계산된 픽셀 좌표(u, v)로 병진이동할 수 있다.

수학식 17

수학식 18

이러한 병진이동한 픽셀 좌표(u, v)는 촬영 카메라가 병진이동하지 않은 픽셀 좌표(u', v')와 관련된 깊이 값 d와 함께 3D 좌표의 세트를 구하기 위해 위의 수학식에서 사용될 수 있다.

깊이 이미지의 각 픽셀에 대해 계산된 3D 좌표는 이미지의 각 픽셀 위치에 대한 개별 항목이 있는 배열인 3D 점 군으로 배열될 수 있다. 예를 들어, 500x500 픽셀의 크기를 갖는 이미지 평면을 갖는 촬영 카메라(130)는 250,000개의 개별 픽셀 또는 픽셀 위치를 가질 것이다. 따라서, 3D 군 점의 배열에는 250,000개의 개별 항목에 대한 색인을 가지며 각 항목에는 한 세트의 좌표(또는 좌표 성분)(Xc, Yc, Zc)가 포함된다.

3D 점 군의 요소를 배열할 수 있는 또 다른 방법은 3D 점 군을 시각화할 수 있는 깊이 맵에 있다. 도 7a는 카메라(130)에 의해 이미지에서 캡쳐될 수 있는 예시적인 장면을 도시하고 도 7b는 그 이미지의 픽셀들로 구성된 깊이 맵(702)을 도시한다. 예시적인 이미지 크기는 160 x 120 픽셀이므로 0 내지 19,199 범위의 색인 변수로 색인될 수 있는, 배열 3D 점 군에 19,200개의 3D 점이 있다. 깊이 맵(702)의 요소들은, 열이 0 내지 159의 색인 변수로, 행은 0 내지 119 사이의 색인 변수로 색인될 수 있도록, 폭(예: 160) 및 높이(예: 120)를 규정하는, 이미지 평면 내의 픽셀들의 배열을 모방한 열 및 행으로서 배열될 수 있다. 깊이 맵의 요소는 pc[g +(h* width)]로 표시할 수 있는 배열 3D 점 군의 요소에 대응하는 dm[g, h]로 표시할 수 있다. 즉, 깊이 맵 dm[17, 22]의 예시적 요소는 점 군 요소 pc[3537]에 대응한다. 따라서, 요소 dm[17, 22]에서 깊이 맵(702)에 플롯된 값은 점 군 요소 pc[3537]의 Zc 좌표 성분 값이다. 깊이 맵(702)은 팔렛 개방부(706) 및 랙 면(704)과 같은 특징을 나타낼 수 있는 3D 점 군 내의 점으로부터의 깊이 정보의 시각화를 제공한다.

3D 점 군의 점은 "조직화된 점 군"으로 배열될 수도 있다. 거리 맵과 유사하게, 조직화된 점 군은 획득된 이미지의 픽셀들의 배열에 대응하는 행들 및 열들로 배열될 수 있다. 따라서, 조직화된 점 군의 각 요소는 opc[g, h]로 표시할 수 있고, 여기서 색인 변수 g 및 h는 거리 맵과 관련하여 상술한 것과 같다. 차이는 조직화된 점 군의 각 요소에는 3D 점에 대한 모든 좌표 성분 값(Xc, Yc, Zc)이 포함되는 반면 깊이 맵 요소에는 Zc 좌표 성분만 나타내는 값이 있다는 점이다. 조직화된 3D 점 군의 각 요소는 배열 3D 점 군의 색인 값에 대응하는 값을 포함할 수도 있다; 그 값은 깊이 맵과 관련하여 상술한 바와 같이 값 g 및 h에 기초하여 계산될 수도 있다. 3D 점 군의 배열 구조에서는, 이미지의 인접하거나 이웃한 픽셀에 대응하는 요소를 결정하기가 어렵다. 그러나 조직화된 점 군은 이미지의 픽셀과 비슷하게 배열되기 때문에, 3D 점 군의 "이웃한" 또는 "인접한" 요소를 식별하여 분석에 사용할 수 있다.

앞서 설명한 분석의 한 단계는 3D 점 군의 어떤 점들이 에지에 속하는지를 결정하는 것이다. 하기에서 후술하는 도 8의 플로차트에서, 약점 표기 p → Zc는 그 점이 배열 3D 점 군인지 조직화된 점 군인지 또는 깊이 맵에 있든지, 3D 점 p의 Zc 좌표 성분의 값을 나타내기 위해 사용된다. 일반적으로, 에지 검출은 도 8의 예시적인 플로차트에 따라 수행될 수 있다. 단계(802)에서, 조직화된 점 군 또는 깊이 맵이 구성될 수 있고, 그 다음 단계(804)에서 그리고 점 군의 각 점 p에 대하여 806으로서 그룹화된 단계들에서, p → Zc는 p 주변의 미리 규정된 이웃에서 모든 3D 점 q의 q → Zc와 비교된다. 따라서, 단계(808)에서, 플로차트는

일 때 단계(812)에서 결정들이 이루어질 수 있도록 사전 규정된 이웃에 있는 모든 점 q을 반복한다. 사전 규정된 이웃의 한 예는 조직화된 점 군의 점 p에 인접한 8개의 점으로 구성된다. 예시적인 임계값(T)은 예를 들어, 20 내지 40 mm일 수 있다.

사전 규정된 이웃 점들 중 임의의 것에 대해, 2개의 Zc 값들 사이의 차이의 크기가 임계값(T)보다 큰 경우, 단계(814)에서, 이웃 점의 색인은 "에지 점"의 목록에 추가된다. 따라서, "에지"는 이미지 평면의 인접한 픽셀에 대응하는 두 점 사이의 Z 축의 불연속을 참조한다.

이러한 방식으로 에지 검출은 조직화된 3D 점 군의 각 점에 대해 완료되어 전체 에지 점 목록을 작성한다. 에지 목록의 점을 식별하는데 사용되는 색인은 배열 3D 점 군에 있는 점의 색인 값 또는 조직화된 점 군에서 3D 점을 식별하는데 사용되는 색인 값의 쌍일 수 있다. 에지 목록을 발생하는 것 이외에, 에지 목록에 없는 점에 대한 Zc 좌표 성분의 값이 "NaN(not a number)"으로 설정될 수 있도록 에지 조직화된 점 군이 구성될 수 있다. 따라서, 에지 조직화된 점 군의 에지 점만이 유용한 Zc 좌표 성분을 갖는다. "NaN"으로 설정된 점 또는 값은 플레이스홀더(placeholder)이다. 여전히 존재하지만 사용 가능한 값을 포함하지 않는다. 예를 들어, p → Zc가 카메라의 최대 범위를 초과하는 점 p는 Z 축방향에서 NaN"으로 고려될 수 있으며 그에 따라 Zc 좌표 성분이 설정된다. 이 규칙을 사용하면, 일부 분석 단계에서 간과될 수 있는 3D 점 군 요소를 식별할 수 있다.

에지 검출 알고리즘은 때때로 이웃 점들의 Zc 값에 단일한 급격한 변화가 없는 에지에 대해 두꺼운 선을 발생할 수 있다. 따라서, 단계(816)에서, 검출된 에지씨닝(thinning)을 위해 에지 목록으로부터 점들이 제거될 수 있다. 하나의 에지 씨닝 기법의 예는 에지 목록에 또한 포함된 8개의 이웃 점들을 모두 갖는 임의의 에지 점을 식별하는 것이다. 그러한 식별된 점은 Zc 값을 "NaN"으로 설정할 수 있다.

당업자는 사용될 수 있는 많은 상이한 에지 검출 알고리즘들이 존재하고 도 8은 에지 검출 및 씨닝을 위한 일반적인 프레임워크라는 것을 인식할 것이다. 사용할 수 있는 특정 알고리즘은 캐니 에지 검출기(Canny Edge Detector)로 알려져 있다. 캐니 에지 검출기에서, 예를 들어, 점 p와 그 8개의 이웃 점의 Zc 값을 가중치를 주고 더하여 기울기 값을 발생한다. 이 기울기 값이 미리 결정된 기준과 정합하면, 그 점 p는 에지 점으로 고려된다. 특히 점 p에 대한 기울기 값이 상부 임계값 초과이면, 그 점은 에지에 있는 것으로 수용된다. 기울기 값이 하부 임계값 미만이면, 그 점은 에지에 있지 않은 것으로 고려된다. 기울기 값이 두 임계값 사이에 있으면, 인접한 이웃 점들 중 적어도 하나가 상부 임계값 초과의 기울기 값을 갖는 경우에만 그 점을 에지 점으로 수용된다. 예를 들어, 도 9b의 에지 조직화된 점 군을 발생하기 위해 20의 하부 임계값 및 40의 상부 임계값이 사용되었다.

에지 조직화된 점 군은 에지 목록의 임의의 점에 대한 Zc 값을 표시하고 "NaN"을 검은 색으로 표시하여 플롯되거나 시각화될 수 있다. 도 9a는 조직화된 점 군의 Zc 값의 플롯이고, 도 9b는 도 8의 것과 유사한 에지 검출 및 씨닝 알고리즘을 적용한 후의 에지 조직화된 점 군의 플롯이다.

일단 에지 목록이 구성되면, 도 5로부터의 단계(508)가 수행될 수 있다. 단계(508)의 세부사항 중 일부는 도 10의 플로차트에 제공된다. 단계(1002)에서, 점 군 또는 조직화된 점 군의 3D 점에 의해 기술된 물리적 치수와 관련된 행렬이 구성된다. 특히 "NaN"과 다른 임의의 것인 Zc 값을 가진 에지 목록에서 식별되는 3D 점만 포함하는 신규 에지 점 군이 구성될 수 있다. 이 신규 에지 점 군을 분석하여 모든 점에 대한 Xc의 최대 값과 모든 점에 대한 Yc의 최대 값을 결정한다. 행렬의 크기는 열의 수가 최대 Xc 값에 기초하고 행의 수가 최대 Yc 값에 기초하도록 결정된다. 예시적인 행렬(1101)이 도 11에 도시되어 있다.

행렬(1101)의 특정 셀, 예를 들어, 1102는 M[a, b]로 표시될 수 있는데, a는 1과 최대 Xc 값 사이의 값(예: i로 나타낼 수 있음)으로부터의 범위이고 b는 1과 최대 Yc 값 사이의 값(예: j로 나타낼 수 있음)으로부터의 범위이다. 행렬(1101)의 셀 내의 값은 행렬을 발생하도록 초기에 설정되고 각각의 셀들은 예를 들어, 도 11b에 도시된 바와 같이 "0"으로 설정되는 신규 에지 점 군 내의 점에 대응한다. 이미지 분석 컴퓨터(110)는 예를 들어, 단계(1004)에서 e → Xc 및 e → Yc를 결정하기 위해 신규 에지 점 군에서 각 3D 점 e를 처리할 수 있다. 이들 값들은 그 다음, 행렬(1101)의 특정 셀의 값을 설정하는데 사용될 수 있다. 특히, 셀 M[e → Xc, e → Yc]은 단계(1006)에서 "0"으로 설정될 수 있다. 거리 전환은 그 다음, 단계(1008)에서 행렬(1101)의 넌-제로(non-zero) 값을 갖는 셀들에 대해 수행되어, 도 11c에 도시된 바와 같이, "0"의 값을 갖는 최인접한 셀과의 거리를 나타내는 각 셀에 값을 위치시킨다. 즉, 셀과 최인접한 에지 점 사이의 거리가 계산된다. 도 11c의 예시적인 셀들에 배치된 계산된 넌-제로 거리 값들은 d₁ 내지 d₇이다.

각 셀과 "0"의 값을 갖는 최인접한 셀 사이의 거리는 이 두 셀 사이의 유클리드 거리에 따라 계산될 수 있다. 예를 들어, 제 1 넌-제로 값 행렬 셀 M[a₁, b₁]과 제 2 제로 값 행렬 셀 M[a₂, b₂] 사이의 유클리드 거리는 다음과 같이 계산될 수 있다 :

그러나,정확한 유클리드 거리가 필요하지 않은 경우와 거리 계산시 거리를 추정함으로써 계산 오버헤드를 피할 수 있는 경우가 있다. 유클리드 거리를 추정하는 많은 알려진 거리 전환이 있지만, 사용될 수 있는 하나의 예는 도시 블록 방법, 체스보드 방법, 팔각형 방법, 모따기 3-4 방법 및 모따기 5-7-11 방법을 포함할 수 있다. 당업자는 다른 거리 전환이 본 발명의 범위를 벗어나지 않고 사용될 수 있다는 것을 인식할 것이다. 각각의 넌-제로 셀에 대한 거리 값을 계산하는데 사용된 방법에 관계없이, 계산된 거리 값은 단계(1010)에서 도 11c에 도시된 거리 맵을 구성하기 위해 행렬(1101)의 각 셀과 관련된다.

도 11a 내지 도 11c의 행렬은 단지 예로서 제공되며, 도 9b의 에지 점 군으로부터 초래될 실제 거리 맵은 보다 많은 셀을 가질 수 있고 도 11c에 도시된 것보다 더 많은 가변 거리 값을 가질 수 있다. 예를 들어, 거리 맵의 셀에 대한 각각의 거리 값이 상이한 회색 수준에 대응하면, 도 9b의 에지 점 군은 도 11d에 도시된 바와 같이 거리 맵을 발생할 것이다.

거리 맵의 각 셀은 그 셀로부터 최인접한 에지까지의 거리를 나타내는 관련 값을 가질뿐만 아니라 행렬(1101)이 구성되는 방식 때문에 행렬의 각 요소 또는 셀 또한 셀로부터 거리 맵의 원점까지의 거리를 나타낸다. 특히 거리 맵의 셀을 지칭하는데 사용되는 색인 값 쌍은 그 셀과 거리 맵의 원점 사이의 거리를 나타낼 수 있다. 예를 들어, 행렬 셀 또는 요소인 M[a, b]는 거리 맵의 원점에서 x 방향으로 a 밀리미터의 거리이고, 거리 맵의 원점에서 y 방향으로 b 밀리미터의 거리이다. 결과적으로, 거리 맵(M)[a₃, b₃] 및 M[a₄, b₄]의 2개의 상이한 셀에 대하여, x 방향으로 이들 사이의 |a ₃ -a ₄ | 밀리미터의 거리가 있고, y 방향으로 이들 사이의 |b ₃ - b ₄ | 의 거리가 있다. "밀리미터"의 단위는 예를 들어, 밀리미터와 같은 물리적 측정 단위인 3D 좌표 성분(Xc, Yc, Zc)의 결과이다. 3D 좌표 성분이 일부 다른 측정 단위에 있으면, 결과적 거리 맵이 될 수도 있다. 또한, 하기에 더욱 상세하게 설명되는 바와 같이, 에지 조직화된 점 군 및 거리 맵의 좌표 성분 값은 예를 들어, 거리 맵 및 후속 분석 단계를 계산하는 계산 오버헤드를 감소시키기 위해 밀리미터에서 센티미터로 스케일로 전환될 수 있다. 다시 말하면, 에지 점에 대한 Xc 및 Yc의 값이 계산되어 밀리미터로 저장되더라도, 이들을 그 에지 점에 대응하는 거리 맵의 셀을 결정하기 위해 센티미터로 전환할 수 있다.

도 11d에 도시된 바와 같은 거리 맵이 구축되고 그 모든 셀이 각각의 거리 값으로 채워지면, 템플릿과 유사한 거리 맵의 부분을 식별하기 위해 템플릿과 함께 사용될 수 있다. 템플릿은 예를 들어, 랙 템플릿 또는 팔렛 템플릿일 수 있다. 템플릿은 그것이 나타내는 구조의 하나 이상의 에지를 설명하는 점 군이다. 예를 들어, 랙 템플릿에는 랙의 에지 맵을 설명하는 점이 포함되며 팔렛 맵은 팔렛 개방부의 에지 맵을 설명할 수 있다.

예시적인 랙 템플릿이 도 12a에 도시되고 예시적인 팔렛 템플릿이 도 12b에 도시된다. 각 템플릿은 기본적으로 동일하게 구성되므로, 랙 템플릿에 대한 자세한 설명만 제공된다. 2개의 다른 크기들 사이의 적절한 비율 조정을 수행할 수 있지만 일반적으로 템플릿에는 거리 맵과 동일한 크기의 요소 또는 점이 있다. 예를 들어, 상술한 바와 같이, 거리 맵은 밀리미터가 아닌 센티미터를 나타낼 수 있는 셀을 가질 수 있다. 따라서, 2000 x 2000 셀의 거리 맵을 가지기 보다는, 200 x 200 셀이 될 수 있다. 따라서, 템플릿 요소 또는 점은 마찬가지로 센티미터로 표시된다.

도 12a의 랙 템플릿은 또한 예를 들어, 센티미터와 같은 물리적 측정 단위의 값을 각각 갖는 2개의 좌표 성분(m, n)에 의해 규정될 수 있는 복수의 템플릿 점들을 가질 수 있다. 도 12a에서, 랙 템플릿은 80개의 점을 포함하며, 다시 말해, 랙 템플릿을 기술하는 점 군에 80개의 점이 있다. 이 템플릿 점 군은 각 요소가 80 개 점들 중 하나의 각각의 두 좌표 성분(m, n)을 보유하도록 요소 배열로 배열되고 저장될 수 있다. 이 중 두 점은 도 12a에서 명시적으로 식별된다; 하나는 좌표 값(1, 1)을 갖는 점(1201)과 좌표 값(975, 66)을 갖는 제 2 점(1202)이다. 랙 템플릿 점 군의 78 개 점들 각각에는 고유한 좌표 값이 있다. 랙 템플릿의 각 점은 물리적 세계에서 1㎠를 나타내고 거리 맵에서 하나의 셀을 나타낸다. 따라서, 템플릿의 점(1202)은 점(1201)보다 65 센티미터 밑에 있으며, 이 거리는 대략 상단 에지와 하단 에지 사이의 랙 면의 폭이다. 따라서, 크기가 다른 랙은 크기가 다른 템플릿을 가진다.

도 12b의 팔렛 템플릿에 관해서, 이 템플릿은 포크가 삽입될 수 있는 팔렛의 2개의 개방부 둘레의 에지를 기술한다. 각 개방부는 48개의 분리된 점으로 규정되어 이 템플릿의 점 군이 96 점을 가진다. 각 개방부의 최좌측 점은 최우측 점에서 약 52.5cm이고 상단 에지와 하단 에지는 약 10cm 만큼 분리된다. 따라서, 랙 템플릿과 마찬가지로 이 팔렛 템플릿은 템플릿의 크기 또는 비율을 조정할 필요없이 셀의 크기가 센티미터 단위인 거리 맵을 사용하여 직접 사용할 수 있다.

본 발명의 원리에 따라, 템플릿은 거리 맵 또는 때로는 소위 "거리 전환 맵"을 가로질러 이동되어서, 템플릿이 그 맵에 가장 잘 맞는 위치를 결정한다. 도 12a 및 도 12b의 랙 및/또는 팔렛 템플릿의 템플릿 점의 수 및 도 11d의 거리 맵에서의 셀의 수는 이들이 쉽게 기술되고 예시되지 못하도록 하지만 이들의 작동 원리는 도 13a 내지 도 13d의 시리즈와 관련하여 기술된다.

도면들에서, 예시적인 템플릿(1302)은 잠재적으로 에지에 대응할 수 있는 12개의 셀들 또는 점들을 가질 수 있으며, 예시적인 템플릿(1302)에서, 4개의 점들은 에지를 나타내거나 모델링하도록 선택된다. 네 점은 (1,1),(4,1),(4,2) 및 (4,3)이다. 따라서, 예시적인 템플릿(1302)에 대한 점 군은 4개의 점을 갖는다. 템플릿의 기준점 또는 "원점"으로서 사용될 수 있는 예시적인 템플릿(1302)의 하나의 점(1304)이 있다. 예를 들어, 도 13b에 도시된 바와 같이, 예시적인 템플릿(1302)의 점(1,1)이 거리 맵(1102)에 중첩될 때, 예시적인 템플릿(1302)의 점(1,1)은 거리 맵(1101)의 셀(1,1)과 중첩된다. 이 발생은 거리 맵의 셀(1,1)과 관련된 원점을 갖는 템플릿(1302)에 대응하고 거리 맵(1101) 상의 하나의 "위치"(즉, 1, 1)에 템플릿을 배치하는 것을 나타낸다. 이 위치에서, 예시적인 템플릿(1302)의 점은 셀(1,1),(4,1),(4,2) 및(4,3)과 같은 거리 맵(1101)의 복수의 셀들과 정렬되어서, 비용 함수는 예시적인 템플릿(1302)과 정렬된 4개의 셀들 각각에서 각각의 거리 값에 기초하여 거리 맵(1101)의 위치(1, 1)에서 계산될 수 있다.

제곱 평균과 같은 비용 함수는 다음에 따라 거리 맵의 이 위치에 배치되는 템플릿에 대해 계산될 수 있다:

위의 수학식에서, 곱셈 계수 "1/3"은 예를 들어, 3-4 모따기를 사용하여 계산되는 거리 맵을 설명하기 위해 사용된다.

예시적인 템플릿(1302)은 도 13c에 도시된 것과 같은 거리 맵(1101) 상의 신규 위치(2,1)로 이동될 수 있다. 이 위치에서, 예시적인 템플릿(1302)의 점은 셀(2,1),(5,1),(5,2) 및(5,3) 등과 같이 거리 맵(1101)의 복수의 셀들과 정렬되어서, 비용 함수는 예시적인 템플릿(1302)과 정렬된 4개의 셀들 각각에서 각각의 거리 값에 기초하여 거리 맵(1101)의 위치(2, 1)에서 계산될 수 있다.

제곱 평균과 같은 비용 함수는 다음에 따라 거리 맵의 이 위치에 배치되는 템플릿에 대해 계산될 수 있다.

예시적인 템플릿(1302)은 결국 도 13d에 도시된 것과 같은 거리 맵(1101) 상의 신규 위치(2, 3)로 이동될 수 있다. 이 위치에서, 예시적인 템플릿(1302)의 점은 셀(2,3),(5,3),(5,4) 및 (5,5)와 같은 거리 맵(1101)의 복수의 셀들과 정렬되어서, 비용 함수는 예시적인 템플릿(1302)과 정렬된 4개의 셀들 각각에서 각각의 거리 값에 기초하여 거리 맵(1101)의 위치(2,3)에서 계산될 수 있다.

예시적인 템플릿(1302)은 예를 들어, 전체 템플릿(1302)이 거리 맵(1101)의 에지를 지나 연장하지 않고 적합할 수 있는 거리 맵(1101) 상의 위치들 각각에 위치될 수 있다. 위의 예에서, (1,1)에서 (7,7)까지의 49개의 다른 거리 맵 위치들 중 임의의 위치에 중첩되거나 위치하며, 각각의 비용 함수 값은 49 위치 각각에 대해 계산된다.

거리 맵(1101) 상의 특정 위치에 대한 비용 함수의 값은 위치가 예시적인 템플릿(1302)의 점들에 의해 모델링된 에지 구조와 얼마나 유사한지를 반영한다. 위치에 대한 비용 함수 값이 낮을수록, 더 많은 위치가 예시적인 템플릿의 점과 유사하다. 도 13c 내지 도 13d에 도시된 예시적인 템플릿(1302)의 배치에서, (2,3)에서의 비용 함수 값은 "0"이고 이는 거리 맵 상의 위치가 템플릿에 의해 모델링된 것과 유사한 구조가 위치되는 실제 세계 위치에 대응한다는 것을 의미한다. 따라서, 3D 이미지에서 정합 랙 및/또는 팔렛을 위치시키는 단계는, 거리 맵 상의 복수의 상이한 위치들에 템플릿을 위치시키는 단계를 포함하며, 상기 복수의 상이한 위치들 각각에서, 상기 템플릿은 복수의 셀들과 정렬되고, 상기 셀들 중 하나와 관련된 원점을 가져서, 대응 비용 함수 값이 관련된 하나의 셀에 대해 계산될 수 있다. 복수의 계산된 비용 함수에 기초하여, 거리 맵 상의 "가장 적합한" 위치가 식별될 수 있고, 랙 및/또는 팔렛이 물리적 환경에서 어디에 위치할 수 있는지를 결정하는데 사용될 수 있다.

도 14는 본 발명의 원리에 따라 거리 맵에 템플릿을 적용하는 하나의 반복에 대한 예시적인 알고리즘의 플로차트이다. 도 14의 알고리즘은 이미지가 본 발명의 원리들에 따라 분석될 때마다 수행된다. 단계(1402)에서, 사전 문제로서, 랙 템플릿(T_R) 점 군이 규정되고 거리 맵(M)이 상술한 바와 같이 구성된다. 그 다음, 단계(1404)에서, 템플릿(T_R)이 맵(M) 상의 초기 위치에 중첩된다. 초기 위치는 복수의 상이한 방식으로 선택될 수 있다. 예를 들어, 초기 위치는 하부 좌측 모서리[템플릿(T_R)이 맵(M)의 임의의 에지를 지나지 않고 맵(M)에 완전히 맞도록 허용하는]일 수 있다. 초기 위치는 무작위로 선택되거나 또는 맵(M)의 중심 셀 위치일 수 있다. 이전 이미지가 분석되고 랙 템플릿(T_R)과 정합하는 위치가 특정 위치에서 이전에 식별된 경우, 단계(1404)의 초기 위치는 이전에 식별된 위치일 수 있다.

단계(1406)에서, 템플릿 점들과 정렬된 맵(M)의 셀들로부터 거리 값들이 추출된다. 상술한 바와 같이, 도 12a 및 도 13a 내지 도 13d에 있어서, 랙 템플릿(T_R)은 템플릿(T_R)의 원점으로 고려되는 점을 갖고, 다른 템플릿 점은 이 원점에 대한 2D 좌표로 기술된다. 따라서, 템플릿(T_R)이 위치 M[a, b]에 중첩되고 80개의 템플릿 점들 각각이 T_R(m _i , n _i )로 표시될 수 있는 2D 좌표 값을 갖는다면, M[a+m _i, b+n _i ]에 의해서 참조되는 거리 맵의 80개의 셀 각각은 80개의 템플릿 점과 정렬된다.

이러한 추출된 거리 값들은 단계(1408)에서 다양한 방식으로 함께 결합되어 비용 함수의 값 또는 템플릿(T_R)이 위치되는 맵(M) 상의 위치가 템플릿(T_R)에 의해서 기술된 에지와 얼마나 잘 정합하는지를 나타내는 "점수(score)"를 계산할 수 있다. 거리 값의 제곱 평균은 계산할 수 있는 하나의 예시적인 점수이다. 단계(1410)에서, 현재 점수가 이 거리 맵의 다른 위치에서 임의의 이전에 계산된 점수보다 더 양호한 정합(즉, 낮으면)을 나타내는지의 여부에 대한 결정들이 내려진다. 그렇게 되면, 현재 점수는 신규 "최고" 점수가 되고 이 "최고" 점수와 관련된 거리 맵(M) 상의 위치도 역시 유지된다. 그렇지 않은 경우 "최고" 점수는 변경되지 않는다.

단계(1412)에서, 랙 템플릿(T_R)과 정합하는 거리 맵(M)의 영역에 대한 검색이 완료되었는지에 대한 결정들이 이루어진다. 검색 종료 기준은 본 발명의 범위를 벗어나지 않고 다양할 수 있다. 시도할 수 있는 최대 수의 맵 위치가 있을 수 있다. 예를 들어, 템플릿(T_R)이 40,000개의 위치에서 거리 맵(M) 상에 적합하면, 그 때 그 위치의 임의의 수(예: 20,000)가 시도되면 검색이 종료될 수 있다. 대안으로, 검색을 끝내기 전에 그 위치의 40,000 개를 모두 시도할 수 있다. 또한 정합이 발견된 일부 임계값 또는 신뢰 수준을 초과하는 "최고" 점수가 발견되면 검색이 종료될 수도 있다.

검색이 완료되지 않으면, 단계(1414)에서, 랙 템플릿(T_R)을 중첩하도록 맵(M) 상의 다음 위치에 대한 결정들이 이루어져서, 이 신규 맵 위치에 대해 다음 "점수"가 계산될 수 있다. 다음 맵 위치는 랙 템플릿(T_R)의 현재 위치에 인접한 셀일 수 있다. 이웃 셀들은 템플릿(T_R)이 연속적으로 배치되어 아래로 그리고 우측(또는 위측 및 좌측)으로 이동하도록 선택될 수 있다. 이웃 셀들은, 예를 들어, 랙 템플릿(T_R)이 연속적으로 배치되어서, 단계(1404)에서 선택된 초기 위치 주위에서 항상 팽창하는 나선형으로 이동하도록 채택될 수 있다. 검색에서 시험된 셀의 수를 줄이기 위해, 한 방향으로 이웃한 2개의 셀은 템플릿(T_R)이 매 3 번째 셀마다 맵(M)에 중첩되도록 스킵될 수 있다.

검색이 완료되면, 알고리즘은 단계(1416)에서 거리 맵 상의 "최고" 점수 및 그의 관련 위치(M[a_r, b_r]로 표시됨)를 식별한다

도 15는 본 발명의 원리에 따라 거리 맵에 팔렛 템플릿을 적용하기 위한 예시적인 알고리즘의 플로차트이다. 팔렛 템플릿(T_P)과 정합되는 거리 맵(M) 상의 위치에 대한 검색을 수행하는 것은 도 14와 관련하여 설명된 랙에 대한 검색 알고리즘과 실제 원칙적으로 동일하다.

그러나, 팰렛 검색을 시작하기 위해, 거리 맵(M)에 대해 계산된 최고의 랙 점수가 미리 결정된 임계값 또는 신뢰값보다 작은지의 여부에 관한 결정들이 단계(1502)에서 이루어진다. 예를 들어, 1.75 센티미터의 임계값을 선택하여, 그 값 미만인 최고의 랙 점수는 도 14의 검색 알고리즘 중에 랙이 위치한 것을 나타낸다.

최고의 랙 점수가 임계값을 초과할 때, 템플릿(T_P)을 위치시키기 위해 초기 맵 위치 M[a, b]를 선택하도록 알고리즘을 통해 처음으로 단계(1504)가 수행된다. 알고리즘을 통한 후속 루프에서, 단계(1506)는 팔렛 템플릿(T_P)을 위치시키기 위해 맵(M) 상의 신규 위치를 선택하도록 수행된다. 랙 템플릿(T_R)에 관해 상술한 바와 같이, 템플릿(T_P)의 시작 위치 및 후속 위치는 복수의 상이한 방식으로 선택될 수 있다.

최고의 랙 점수가 임계값 미만이면, 최고의 랙 점수와 관련된 위치는 팔렛(T_P)을 위치시키기 위한 검색 영역을 규정하는데 사용될 수 있다. (도 11a에 도시된 바와 같이) 거리 맵의 기준 원점의 위치가 상단 좌측 모서리이고 팔렛 템플릿(TP)의 점이 도 12b의 팔렛 템플릿에 따라 결정된다고 추정하면, 팔렛을 검색할 검색 영역은 도 16에 도시된 바와 같이 팔렛을 규정될 수 있다. 최고의 랙 점수와 관련된 위치 M[a_r, b_r]가 랙 템플릿의 상단 에지와 관련된 y-좌표 값으로서 b_r를 나타내는 것으로 추정하면, 그 다음에 팔렛 검색 영역은 팔렛이 랙 상에 앉아있는 것으로 추정된다. 팔렛 검색 영역(1602)은 팔렛 템플릿(T_P)의 크기에 부분적으로 기초하는 상한을 가질 수 있다. 도 12b의 예시적인 팔렛 템플릿에서, 임의의 템플릿 점의 y-방향에서 최대 좌표 값은 "100"이다. 검색 영역(1602)의 높이는 최대 좌표 값의 2 배(즉, "200")로 규정될 수 있다. 팔렛의 x- 방향 위치에 대한 추정은 없기 때문에, 검색 영역은 거리 맵(M)의 전체 폭을 연장시킨다. 따라서, 팔렛 템플릿(T_P)이 배치될 수 있는 위치는 팔렛 템플릿(T_P)이 완전히 검색 영역(1602) 내에 들어갈 수 있는 거리 맵(M)의 그 셀들로 제한될 수 있다. 단계(1508)에서, 이 알고리즘의 루프를 통해 처음으로, 검색 영역(1602)이 규정되고, 그 검색 영역(1602) 내에 팔렛 템플릿(T_P)을 놓는 개시 위치가 선택된다. 알고리즘을 통한 후속 루프에서, 단계(1510)에서 팔렛 템플릿(T_P)을 놓기 위한 다음 또는 후속 위치가 결정된다. 예를 들어, 팔렛 템플릿(T_P)은 검색 영역의 상단 좌측 모서리에 배치될 수 있고 연속적으로 배치되어서, 전체 검색 영역(1602)이 검색될 때까지 아래 및 우측으로 이동한다.

단계(1512)에서, 팔렛 템플릿(T_P)의 템플릿 점들과 정렬된 맵(M)의 셀들로부터 거리 값들이 추출된다. 상술한 바와 같이 도 12b 및 도 13a 내지 도 13d에 있어서, 팔렛 템플릿(T_P)은 템플릿(T_P)의 원점으로 고려되는 점을 갖고, 다른 템플릿 점은 이 원점에 대한 2D 좌표로 기술된다. 따라서, 템플릿(T_P)이 위치 M[a, b]에 중첩되고, 96개의 템플릿 점들 각각이 T_R(m _i , n _i )로 표시될 수 있는 2D 좌표 값을 갖는다면, M[a+m _i , b+n _i ]로 참조된 거리 맵의 각각의 96개의 셀은 96개의 템플릿 점과 정렬된다.

이러한 추출된 거리 값은 단계(1514)에서 다양한 방식으로 함께 결합되어, 비용 함수의 값 또는 템플릿(T_P)이 위치되는 맵(M) 상의 위치가 템플릿(T_P)에 의해서 기술된 에지와 얼마나 잘 정합하는지를 표시하는 점수를 계산한다. 거리 값의 제곱 평균은 계산할 수 있는 하나의 예시적인 점수이다. 단계(1516)에서, 현재 팔렛 정합 점수가 이 거리 맵(M)의 상이한 위치에서 임의의 이전에 계산된 팔렛 정합 점수보다 더 양호한 정합(즉, 보다 낮다는)을 나타내는지의 여부에 관한 결정들이 이루어진다. 점수는 신규 "최고의" 팔렛 정합 점수가 되고 이 "최고의" 팔렛 정합 점수와 관련된 거리 맵(M)의 위치 또한 유지된다. 그렇지 않은 경우 "최고의" 팔렛 정합 점수는 변경되지 않는다.

단계(1518)에서, 팔렛 템플릿(T_P)과 정합하는 거리 맵(M)의 영역에 대한 검색이 완료되었는지에 대한 결정들이 이루어진다. 상술한 바와 같이, 검색을 종료하기 위한 기준은 본 발명의 범위를 벗어나지 않고 다양할 수 있다. 시도할 수 있는맵 위치의 최대 수가 있을 수 있다. 일 예에서, 검색 영역(1602)이 규정되는지 그리고 전체 검색 영역이 검색되었는지가 결정된다. 다른 예에서, 템플릿(T_P)이 40,000개의 위치에서 거리 맵(M)에 맞으면, 임의의 수(예: 20,000)의 위치가 시도되면 검색이 종료될 수 있다. 대안으로, 검색을 종료되기 전에 그 위치의 40,000 개를 모두 시도할 수 있다. 정합이 발견된 신뢰 수준을 초과하는 "최고의" 팔렛 정합 점수가 발견되면, 검색이 종료될 수도 있다(예: 임계값이 약 1.25 내지 약 1.50일 수 있어서, 임계값 미만인 정합 점수가 신뢰 수준을 초과하는지를 표시한다).

검색이 완료되지 않은 경우, 알고리즘은 루프백(loops back)하고 단계(1510 및 1506) 중 하나를 수행하여 이러한 신규 맵 위치에 대한 다음 "점수"가 계산될 수 있도록 팔렛 템플릿(T_P)을 중첩하기 위해 맵(M) 상의 다음 위치에 대한 결정들을 수행한다. 검색이 완료되면, 알고리즘은 단계(1520)에서 거리 맵(M) 상의 "최고의" 팔렛 정합 점수 및 그의 관련 위치(M [a _p, b _p ]로 표시됨)를 식별한다

최고의 팰렛 정합 점수는 카메라(130)가 도 6에 도시된 바와 같이 실질적으로 위치되는 것을 지시하는 값을 갖는지를 결정하기 위해 분석될 수 있다. 예를 들어, 1.75를 초과하는 최고의 팔렛 정합 점수는 현재 이미지 프레임에서 적용된 템플릿과 정합하는 것이 없다는 것을 표시한다. 그러나, 최고의 팔렛 정합 점수가 1.75 미만이면, 최고의 팔렛 정합 점수와 관련된 좌표 위치를 사용하여 추가적인 단계가 수행될 수 있다. 좌표 위치 M[a_p, b_p]는 팔렛 대상물(또는 적절한 경우 랙)의 위치로 고려된다. 팔렛 대상물은 단일 좌표 위치보다 치수가 크기 때문에, 좌표 위치 M[a_p, b_p]는 팔렛 템플릿의 셀[0,0]과 유사한 물리적 구조를 갖는 팔렛 대상물의 일부 위치에 대응한다.

도 12b에 도시된 바와 같은 팔렛 템플릿(T_P)을 상단 좌측 모서리에 원점과 함께 규정하고, 도 11d의 거리 맵을 그 상단 좌측 모서리에 대해 측정된 셀과 함께 구성하고, 3D 점 군을 픽셀이 이미지 평면에 정렬되는 것과 동일한 배열로 조직함으로써, 위치 M[a_p, b_p]는 조직화된 3D 점 군 내의 점 중 하나에 다시 맵핑될 수 있다. 그러나, 상술한 많은 단계에서 다양한 템플릿, 점 군 및 거리 맵에 대한 각각의 원점을 다르게 규정하여, 특정 거리 맵 위치와 조직화된 점 군의 점 사이의 매핑을 다양한 원점 위치를 적절히 고려하여 수행한다.

카메라(130)는 점 군 좌표에서(0, 0)에 위치하는 것으로 고려될 수 있기 때문에, 팔렛 대상물의 계산된 (Xc, Yc) 좌표는 카메라 위치에 대한 물리적 측정 단위의 위치에 있는 것으로 고려된다. 팔렛 대상물의 (Xc, Yc) 좌표 중, Yc 좌표 값은, 예를 들어, 포크가 검출된 팔렛으로 전방으로 연장될 적절한 높이에 위치되는지를 결정하기 위해 차량(10)의 포크의 현재 높이와 비교될 수 있다. 이 결정들을 내릴 때, 팔렛 대상물의 Yc 좌표가 팔렛 개구의 높이와 정확하게 대응하지 않고, 대신에 팔렛 개구가 실제로 좌표계의 원점 군의 대상물의 Yc 좌표의 7cm 위 또는 밑에 위치할 수 있다. 이 추가 7cm 값은 차량(10)의 포크가 물리적 환경에서 물리적인 팔렛 개구와 수직으로 정렬되는지 여부를 고려할 때 사용될 수 있다. 유사한 방식으로, 포크의 높이와 카메라(130)의 위치 사이의 수직 오프셋은 포크가 원하는 높이에 있는지의 여부에 대해 고려될 수 있다.

다른 계산된 좌표 Xc 및 Zc는 또한 상이한 축에서 카메라(130)에 대한 차량(10)의 포크의 위치를 결정하는데 사용될 수 있다. 따라서, 조직화된 점 군의 점(또는 복수의 점)이 랙 상의 팔렛 구조의 개방부가 어디에 위치할 것인지를 나타내는 것으로 결정되면, 이들 점에 대한 하나 이상의 좌표 성분이 분석되어, 포크가 원하는 위치에서 팔렛 구조에 대해 배치되는 것을 드러내는지를 결정한다. 그렇게 하면, 포크는 트럭의 포크가 자동으로 정지될 수 있는 위치에 위치된다. 따라서, 이미지 분석 컴퓨터(110)는 차량 컴퓨터(50)에 포크의 이동을 정지시키도록 지시할 수 있다. 포크는 그 다음 자동으로 또는 차량 작동자에 의해서 전방으로 움직일 수 있다.

이전의 설명은 당업자가 본원에 기술된 다양한 실시예를 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 수정들이 당업자에게 용이하게 명백할 것이며, 본원에서 규정된 일반적인 원리들은 다른 실시예들에 적용될 수 있다. 따라서, 청구범위는 본 명세서에 도시된 실시예에 한정되는 것이 아니라 각 청구항의 언어와 일치하는 전체 범위를 따르도록 의도되며, 단수의 요소에 대한 참조는 "하나 및 단지 하나"를 의미하지 않고 구체적으로 그렇게 명시된 것이 아니라면 오히려 "하나 이상"으로 의도된다. 당해 기술 분야의 당업자에게 공지되거나 추후 공지될 본 개시물에 걸쳐 설명된 다양한 실시예의 요소에 대한 모든 구조적 및 기능적 등가물은 본원에 참조로서 명시적으로 포함되며 청구범위에 포함되는 것으로 의도된다.

더욱이, 본원에 개시된 어떠한 것도 그러한 개시물이 청구범위에 명시적으로 언급되었는지 여부에 관계없이 대중에게 전용되도록 의도된 것은 아니다. 요소가 "수단"이라는 문구를 사용하여 명시적으로 인용되지 않거나 또는 방법 청구항의 경우 요소가 "단계용"이라는 문구를 사용하여 인용되지 않는다면, 청구항 요소가 35 U.S.C.§112, 제 6 문단의 규정에 따라 해석되어서는 안된다.

Claims

이미지를 분석하는 방법으로서,
컴퓨터에 의해, 물리적 환경의 이미지를 획득하는 단계로서, 상기 이미지는 복수의 픽셀들을 포함하며, 각각의 픽셀은 상기 이미지의 평면에서의 2 차원 픽셀 위치와 상기 물리적 환경의 영역 및 상기 이미지의 평면 사이의 거리에 대응하는 깊이 값을 포함하는, 상기 물리적 환경의 이미지를 획득하는 단계;
각각의 픽셀에 대해, 상기 컴퓨터에 의해, 상기 2 차원 픽셀 위치 및 상기 깊이 값을 상기 물리적 환경 내의 대응하는 3 차원 점으로 전환하는 단계로서, 픽셀에 대응하는 각각의 3 차원 점은 물리적 측정 단위의 값을 각각 갖는 3개의 좌표 성분들(x, y, z)로 규정되는, 상기 전환하는 단계;
상기 컴퓨터에 의해, 상기 복수의 3 차원 점들 중 하나 이상의 z 좌표 성분에 적어도 부분적으로 기초하여 상기 복수의 3 차원 점들 내의 에지 점들의 세트를 결정하는 단계;
상기 컴퓨터에 의해, 셀들의 행렬(matrix)을 포함하는 거리 맵을 발생시키는 단계;
상기 컴퓨터에 의해, 상기 거리 맵의 각 셀에 대해, 상기 에지 점들 중 최인접한 것을 식별하는 단계;
상기 컴퓨터에 의해, 상기 거리 맵의 각 셀에 상기 셀과 그 셀에 최인접한 하나의 에지 점 사이의 거리를 나타내는 각각의 거리 값을 할당하는 단계; 및
상기 거리 맵의 셀들에서의 각각의 거리 값에 기초하여, 상기 물리적 환경 내의 팔렛 또는 랙 중 적어도 하나의 위치를 결정하는 단계;를 포함하는, 이미지를 분석하는 방법.
제 1 항에 있어서,
상기 컴퓨터에 의해, 상기 거리 맵 상의 제 1 복수의 상이한 위치들에 제 1 템플릿을 위치시키는 단계로서, 상기 제 1 복수의 상이한 위치들 각각에서, 상기 제 1 템플릿은 제 1 복수의 셀들과 정렬되고 상기 셀들 중 하나와 관련된 원점을 갖는, 상기 제 1 템플릿을 위치시키는 단계; 및
상기 제 1 복수의 상이한 위치들 각각에서, 상기 관련된 하나의 셀에 대한 제 1 대응 비용 함수 값을 상기 컴퓨터에 의해 계산하는 단계를 포함하는, 이미지를 분석하는 방법.
제 2 항에 있어서,
상기 제 1 템플릿은 랙 템플릿 및 팔렛 템플릿 중 하나인, 이미지를 분석하는 방법.
제 2 항에 있어서,
상기 제 1 템플릿은 복수의 템플릿 점들을 포함하고, 각각의 템플릿 점은 물리적 측정 단위의 값을 각각 갖는 2개의 좌표 성분들(m, n)에 의해 규정되는, 이미지를 분석하는 방법.
제 4 항에 있어서,
상기 제 1 템플릿의 각 템플릿 점에 대해, 그 대응 좌표 성분 값들(m, n)은 각각 상기 이미지의 픽셀들에 대응하는 3 차원 점들의 3개의 좌표 성분들(x, y, z)과 동일한 물리적 측정 단위인, 이미지를 분석하는 방법.
제 2 항에 있어서,
각각의 제 1 대응 비용 함수 값은 상기 제 1 복수 셀들 각각과 상기 제 1 복수 셀들 각각의 최인접한 하나의 에지 점 사이의 거리에 기초하여 계산되는, 이미지를 분석하는 방법.
제 6 항에 있어서, 상기 제 1 대응 비용 함수는,
a) 복수의 제곱 값들을 발생하기 위해 상기 제 1 복수의 셀들로부터의 각각의 거리 값들 각각을 그 자체와 곱하는 단계; 및
b) 상기 복수의 제곱 값들의 평균의 제곱근을 결정하는 단계에 의해서 계산되는, 이미지를 분석하는 방법.
제 6 항에 있어서,
제 1 미리 결정된 임계값 미만의 제 1 대응 비용 함수 값을 갖는 상기 거리 맵의 각 셀을 상기 컴퓨터에 의해 식별하는 단계를 포함하는, 이미지를 분석하는 방법.
제 8 항에 있어서,
상기 컴퓨터에 의해, 상기 거리 맵 상의 제 2 복수의 상이한 위치들에 제 2 템플릿을 위치시키는 단계로서, 상기 제 2 복수의 상이한 위치들 각각에서, 상기 제 2 템플릿은 제 2 복수의 셀들과 정렬되고, 상기 셀들 중 하나와 관련된 원점을 갖는, 상기 제 2 템플릿을 위치시키는 단계; 및
상기 제 2 복수의 상이한 위치들 각각에서, 상기 컴퓨터에 의해, 상기 관련된 하나의 셀에 대한 제 2 대응 비용 함수 값을 계산하는 단계를 포함하는, 이미지를 분석하는 방법.
제 9 항에 있어서,
상기 제 1 미리 결정된 임계값 미만의 제 1 대응 비용 함수 값, 및
제 2 미리 결정된 임계값 미만의 제 2 대응 비용 함수 값을 갖는 상기 거리 맵의 각 셀을 상기 컴퓨터에 의해 식별하는 단계를 포함하는, 이미지를 분석하는 방법.
제 9 항에 있어서,
상기 제 1 템플릿은 랙 템플릿이고 상기 제 2 템플릿은 팔렛 템플릿인, 이미지를 분석하는 방법.
제 2 항에 있어서,
상기 제 1 템플릿은 상기 관련된 제 1 복수의 셀들을 식별하는 데이터를 포함하는, 이미지를 분석하는 방법.
제 1 항에 있어서,
상기 거리 맵의 셀들의 행렬은 (i × j)개의 셀들을 규정하는 셀들의 i개의 열과 셀들의 j개의 행을 포함하되:
각 열은 1과 i 사이의 제 1 색인 값(a)으로 참조되고;
각 행은 1과 j 사이의 제 2 색인 값(b)으로 참조되고; 및
각 셀은 색인 쌍(a, b)에 의해 참조되는, 이미지를 분석하는 방법.
제 13 항에 있어서,
상기 거리 맵의 각 셀에 대해, 그 대응 색인 쌍 값들(a, b)은 각각 상기 이미지의 픽셀들에 대응하는 상기 3차원 점들의 3개의 좌표 성분들(x, y, z)과 동일한 물리적 측정 단위인, 이미지를 분석하는 방법.
제 14 항에 있어서,
상기 거리 맵의 셀에 최인접한 하나의 에지 점은 상기 에지 점들의 각각의 (x, y) 좌표 성분들 및 그 셀의 (a, b) 색인 쌍에 기초하여 결정되는, 이미지를 분석하는 방법.
제 15 항에 있어서,
상기 최인접한 하나의 에지 점과 상기 거리 맵의 셀 사이의 거리는 상기 최인접한 하나의 에지 점의 (x, y) 좌표 성분들과 그 셀의 (a, b) 색인 쌍 사이의 유클리드 거리(Euclidian distance)와 상관되는, 이미지를 분석하는 방법.
제 13 항에 있어서,
상기 컴퓨터에 의해, 모든 에지 점들 중에서 상기 x 좌표 성분의 최대 값을 식별하는 단계; 및
상기 컴퓨터에 의해, 모든 에지 점들 중에서 상기 y 좌표 성분의 최대 값을 식별하는 단계를 포함하는, 이미지를 분석하는 방법.
제 17 항에 있어서,
i = 상기 x 좌표 성분의 최대 값; 및
j = 상기 y 좌표 성분의 최대 값인, 이미지를 분석하는 방법.
제 1 항에 있어서, 상기 에지 점들의 세트를 결정하는 단계는:
상기 3 차원 점들 각각에 대해 :
관련된 에지 값을 결정하기 위해, 상기 3 차원 점의 z 좌표 성분을 상기 3 차원 점들의 사전 규정된 이웃에 있는 각각의 3 차원 점의 각각의 z 좌표 성분과 비교하는 단계; 및
그 관련된 에지 값이 미리 결정된 임계값을 초과할 때 상기 3 차원 점이 상기 에지 점들의 세트에 있다고 결정하는 단계를 포함하는, 이미지를 분석하는 방법.
제 1 항에 있어서,
상기 거리 맵 내의 각각의 셀의 각각의 거리 값은 상기 점들의 3개의 좌표 성분들(x, y, z)과 동일한 물리적 측정 단위인, 이미지를 분석하는 방법.
제 1 항에 있어서,
상기 물리적 측정 단위는 센티미터 또는 밀리미터 중 하나인, 이미지를 분석하는 방법.
이미지를 분석하기 위한 시스템에 있어서,
실행 가능한 명령들을 저장하는 메모리 장치; 및
상기 메모리 장치와 통신하는 프로세서를 포함하고, 상기 실행 가능 명령들을 실행할 때, 상기 프로세서는 :
물리적 환경의 이미지를 획득하되, 상기 이미지는 복수의 픽셀들을 포함하고, 각각의 픽셀은 상기 이미지의 평면에서의 2 차원 픽셀 위치 및 상기 물리적 환경의 영역과 상기 이미지의 평면 사이의 거리에 대응하는 깊이 값을 포함하며;
각각의 픽셀에 대해서, 상기 2 차원 픽셀 위치 및 상기 깊이 값을 상기 물리적 환경 내의 대응하는 3 차원 점으로 전환하되, 픽셀에 대응하는 각각의 3 차원 점이 물리적 측정 단위의 값을 각각 갖는 3개의 좌표 성분들(x, y, z)에 의해 규정되며;
상기 복수의 3 차원 점들 중 하나 이상의 점의 z 좌표 성분에 적어도 부분적으로 기초하여 상기 복수의 3 차원 점들 내의 에지 점들의 세트를 결정하며;
셀들의 행렬을 포함하는 거리 맵을 발생하고;
상기 거리 맵의 각 셀에 대해, 상기 에지 점들 중 최인접한 것을 식별하며;
상기 거리 맵의 각 셀에, 상기 셀과 그 셀에 최인접한 하나의 에지 점 사이의 거리를 나타내는 각각의 거리 값을 할당하고;
상기 거리 맵의 셀들에서의 각각의 거리 값에 기초하여, 상기 물리적 환경 내의 팔렛 또는 랙 중 적어도 하나의 위치를 결정하는, 이미지를 분석하기 위한 시스템.
제 22 항에 있어서,
상기 실행 가능한 명령들을 실행할 때, 상기 프로세서는 :
상기 거리 맵 상의 제 1 복수의 상이한 위치들에 제 1 템플릿을 위치시키되, 상기 제 1 복수의 상이한 위치들 각각에서, 상기 제 1 템플릿은 제 1 복수의 셀들과 정렬되고, 상기 셀들 중 하나와 관련된 원점을 가지며;
상기 제 1 복수의 상이한 위치들 각각에서, 상기 관련된 하나의 셀에 대한 제 1 대응 비용 함수 값을 계산하는, 이미지를 분석하기 위한 시스템.
제 23 항에 있어서,
상기 제 1 템플릿은 랙 템플릿 및 팔렛 템플릿 중 하나인, 이미지를 분석하기 위한 시스템.
제 23 항에 있어서,
상기 제 1 템플릿은 복수의 템플릿 점들을 포함하고, 각각의 템플릿 점은 물리적 측정 단위의 값을 각각 갖는 2개의 좌표 성분들(m, n)에 의해 규정되는, 이미지를 분석하기 위한 시스템.
제 25 항에 있어서,
상기 제 1 템플릿의 각 템플릿 점에 대해, 그 대응 좌표 성분 값들(m, n)은 각각 상기 이미지의 픽셀들에 대응하는 상기 3 차원 점들의 3개의 좌표 성분들(x, y, z)과 동일한 물리적 측정 단위인, 이미지를 분석하기 위한 시스템.
제 23 항에 있어서,
각각의 제 1 대응 비용 함수 값은 상기 제 1 복수 셀들 각각과 그들의 각각의 최인접한 하나의 에지 점 사이의 거리에 기초하여 계산되는, 이미지를 분석하기 위한 시스템.
제 27 항에 있어서,
상기 제 1 대응 비용 함수는:
a) 복수의 제곱 값들을 발생하기 위해 상기 제 1 복수의 셀들로부터의 각각의 거리 값들 각각을 그 자체와 곱하고; 및
b) 상기 복수의 제곱 값들의 평균의 제곱근을 결정함으로써 계산되는, 이미지를 분석하기 위한 시스템.
제 27 항에 있어서,
상기 실행 가능 명령들을 실행할 때, 상기 프로세서는:
제 1 미리 결정된 임계값 미만의 제 1 대응 비용 함수 값을 갖는 상기 거리 맵의 각 셀을 식별하는, 이미지를 분석하기 위한 시스템.
제 29 항에 있어서,
상기 실행 가능 명령들을 실행할 때, 상기 프로세서는 :
상기 거리 맵 상의 제 2 복수의 상이한 위치들에 제 2 템플릿을 위치시키되, 상기 제 2 복수의 상이한 위치들 각각에서, 상기 제 2 템플릿은 제 2 복수의 셀들과 정렬되고 상기 셀들 중 하나와 관련된 원점을 가지며,
상기 제 2 복수의 상이한 위치들 각각에서, 상기 관련된 하나의 셀에 대한 제 2 대응 비용 함수 값을 계산하는, 이미지를 분석하기 위한 시스템.
제 30 항에 있어서,
상기 실행 가능 명령들을 실행할 때, 상기 프로세서는:
상기 제 1 미리 결정된 임계값 미만의 제 1 대응 비용 함수 값, 및
제 2 미리 결정된 임계값 미만의 제 2 대응 비용 함수 값을 갖는
상기 거리 맵의 각 셀을 식별하는, 이미지를 분석하기 위한 시스템.
제 30 항에 있어서,
상기 제 1 템플릿은 랙 템플릿이고 상기 제 2 템플릿은 팔렛 템플릿인, 이미지를 분석하기 위한 시스템.
제 23 항에 있어서,
상기 제 1 템플릿은 상기 관련된 제 1 복수의 셀들을 식별하는 데이터를 포함하는, 이미지를 분석하기 위한 시스템.
제 22 항에 있어서,
상기 거리 맵의 셀들의 행렬은 (i × j)개의 셀들을 규정하는 셀들의 i개의 열과 셀들의 j개의 행을 포함하고:
각 열은 1과 i 사이의 제 1 색인 값(a)으로 참조되고;
각 행은 1과 j 사이의 제 2 색인 값(b)으로 참조되고; 및
각 셀은 색인 쌍(a, b)에 의해 참조되는, 이미지를 분석하기 위한 시스템.
제 34 항에 있어서,
상기 거리 맵의 각 셀에 대해, 그 대응 색인 쌍 값들(a, b)은 각각 상기 이미지의 픽셀들에 대응하는 3차원 점들의 3개의 좌표 성분들(x, y, z)과 동일한 물리적 측정 단위인, 이미지를 분석하기 위한 시스템.
제 35 항에 있어서,
상기 거리 맵의 셀에 최인접한 하나의 에지 점은 상기 에지 점들의 각각의 (x, y) 좌표 성분들과 그 셀의 (a, b) 색인 쌍에 기초하여 결정되는, 이미지를 분석하기 위한 시스템.
제 36 항에 있어서,
상기 최인접한 하나의 에지 점과 상기 거리 맵의 셀 사이의 거리는 상기 최인접한 하나의 에지 점의 상기 (x, y) 좌표 성분들과 그 셀의 (a, b) 색인 쌍 사이의 유클리드 거리에 상관되는, 이미지를 분석하기 위한 시스템.
제 34 항에 있어서,
상기 실행 가능 명령들을 실행할 때, 상기 프로세서는:
모든 에지 점들 중에서 상기 x 좌표 성분의 최대 값을 식별하고; 및
모든 에지 점들 중에서 상기 y 좌표 성분의 최대 값을 식별하는, 이미지를 분석하기 위한 시스템.
제 38 항에 있어서,
i = x 좌표 성분의 최대 값이고;
j = y 좌표 성분의 최대 값인, 이미지를 분석하기 위한 시스템.
제 22 항에 있어서,
상기 에지 점들의 세트를 결정할 때, 상기 프로세서는:
상기 3 차원 점들 각각에 대해:
관련된 에지 값을 결정하기 위해, 상기 3 차원 점의 z 좌표 성분을 상기 3차원 점들의 미리 규정된 이웃의 각각의 3 차원 점의 각 z 좌표 성분과 비교하고;
그 관련된 에지 값이 미리 결정된 임계값을 초과할 때, 상기 3 차원 점이 상기 에지 점들의 세트에 있다고 결정하는, 이미지를 분석하기 위한 시스템.
제 22 항에 있어서,
상기 거리 맵 내의 각각의 셀의 각각의 거리 값은 상기 점들의 3개의 좌표 성분들(x, y, z)과 동일한 물리적 측정 단위인, 이미지를 분석하기 위한 시스템.
제 22 항에 있어서,
상기 물리적 측정 단위는 센티미터 또는 밀리미터 중 하나인, 이미지를 분석하기 위한 시스템.