KR20070120949A

KR20070120949A - 다차원 에비던스 그리드 및 그를 적용한 시스템 및 방법

Info

Publication number: KR20070120949A
Application number: KR1020077020580A
Authority: KR
Inventors: 한스 모라벡
Original assignee: 씨그리드 코포레이션
Priority date: 2005-02-08
Filing date: 2006-02-08
Publication date: 2007-12-26
Also published as: KR101003168B1; EP1851728A1; EP3451296B1; US7446766B2; US20060178828A1; WO2006086519A1; EP3451296A1

Abstract

환경을 재현하는 에비던스 그리드를 생성하는 방법은 스테레오 센서들을 사용하여 상기 환경 내 다중 위치들에서 스테레오 이미지 세트를 수집하는 단계, 및 점유를 결정하기 위해 상기 스테레오 이미지 세트와 스테레오 이미지 세트에 나타낸 공간에서의 각 점과 연관된 거리 데이터를 처리하는 단계; 공간에서의 각 점을 재현하는 각 복셀의 점유 확률을 결정하기 위해 공간에서의 각 점에 센서 모델을 적용하는 단계; 및 각 복셀에 대한 확률을 조합하여 상기 환경의 에비던스 그리드를 생성하는 단계를 포함한다.

에비던스 그리드, 스테레오 센서, 스테레오 이미지, 복셀, 점유 확률

Description

다차원 에비던스 그리드 및 그를 적용한 시스템 및 방법{Multidimensional Evidence Grids and System and Methods for Applying Same}

본 출원서는 2005년 2월 8일에 출원된 가출원 일련 번호 제 60/650,904호의 권리를 주장한다.

본 발명은 환경의 다차원 지표들을 생성하고 이용하는 시스템 및 방법에 관한 것이다.

일례로, 환경의 2-차원(2-D) 또는 3-차원(3-D) 지표들을 생성하는 시스템 및 방법들은, 자동화된 네비게이션 시스템 및 방법들에서와 같이, 다양한 응용들에 유용할 수 있다. 예를 들면, 그러한 자동화 시스템 및 방법들은 환경을 통한 자동차 안내를 돕는데 사용될 수 있다. 여기에 사용된 바와 같은, 자동차는 환경을 통하여 번역 가능한 임의의 플랫폼일 수 있으며, 이는 승객들을 이송하기 위해 구성되거나 구성되지 않을 수도 있다.

자동화된 네비게이션을 제공함에 있어서 이전 시도들은 그 융통성, 그리고 또한 그 성공면에서 제한되어 왔다. 대부분의 현 상업 시스템은 "가이드-패스 팔로잉(guide-path following)" 기법을 사용한다. 이러한 유형의 시스템에서, 가이드-패스는, 예를 들어, 바닥에 고정되며 상기 자동차로 뒤따르게 된다. 상기 가이드- 패스는 와이어, 페인트, 또는 테이프, 또는 그것의 일부 조합으로 제작될 수 있다. 어떠한 경우에도, 상기 가이드-패스가 적합하게 설치 및 유지되어야 하며, 환경을 통과하는 자동차들의 이동에 변경사항이 있다면, 상기 가이드-패스는 수동으로(이를 테면, 물리적으로) 변경되어야 한다. 상기 가이드-패스의 브레이크는 시스템 고장(malfunction) 또는 장애(stoppage)에 이르게 할 수 있다.

기타 시스템들은 설비에 있어서 고정된 타겟을 사용하고 네비게이션에 사용된 지리학적 계산들의 사용을 위해 자동차에 대한 위치 데이터를 제공하는 레이저 기법들을 사용한다. 그러한 시스템들은 타겟의 공지된 위치와 타겟에 대한 설비의 맵핑을 필요로 한다. 레이저의 사용은 타겟 위치의 신중한 선택과, 자동차에 대한 "목시선(line of sight)" 관계를 유지를 필요로 한다. 그러므로 그러한 시스템의 유용함은 타켓의 안정과 유지 그리고 요구된 목시선 관계도에 매우 좌우된다. 타겟과 자동차의 레이저 또는 해당 수신기 간의 목시선 경로를 차단하는 것은 시스템 고장 및 장애를 일으킬 수 있다.

자유 측정 시스템은 오도메트리(odometry) 또는 관성 측정 유닛, 또는 둘 모두를 사용하여 설비 레이아웃의 선험적 지식에 근거한 네비게이션을 제공한다. 네비게이팅하기 위해, 시스템은 참조로서 설비 내 그것이 어디에 있는지를 알아야 하며, 그럼 다음 설비 레이아웃에 따른 설비에 대한 번역 측정을 통해 그 길을 추적해야 한다. 그러한 시스템은 전형적으로 적어도 하나의 공지된 위치 또는 참조점과 관련된 번역을 측정함으로써 그 위치를 결정하며 이러한 측정치에 따라 네비게이트 한다. 이러한 시스템들은 형성(build-up) 시간 초과 에러에 매우 민감하며, 이는 그 정확성을 제한한다. 기타 시스템들과 같은, 이러한 유형의 시스템들은 작업장에서의 변화에 응답할 수 없다.

"에비던스 그리드(Evidence grids)"는 면적(area) 또는 체적(volume)을 좀더 효과적으로 표현하기 위한 방법으로서 일부 문헌에 제시되어 왔다. 에비던스 그리드는 면적 또는 체적을 나타내는 "복셀(Voxels)"의 2-D 또는 3-D의 미리 규정된 패턴의 형태를 취할 수 있다. 각 "복셀"은 공간에서 점을 나타내며 그 점에 대한 점유 정보를 포함할 수 있다. 2-D 에비던스 그리드에서 데이터의 희소성 때문에, 그들은 실제 환경에서 신뢰할 수 없거나 비현실적이 되는 경향이 있다. 종래기술에 공지된 바와 같은, 삼차원 에비던스 그리드는 그들이 포함하려 하는 훨씬 더 풍부한 데이터 세트로 인해 더 향상되고 있다. 하지만, 그러한 3-D 에비던스 그리드의 구성은 제한된 실제 응용면에서 계산적인 부담이 있었다.

그러한 문제점들을 덜기 위하여, 대부분의 시스템 및 방법들은 하나 이상의 공지된 오브젝트의 특징을 나타내기 위해 가정된 복셀 정보의 패턴들에 근거한 환경 내에서 수집된 복셀 데이터로부터 비교적 정보에 입각한 추측들을 만듦으로써 - 전형적으로 계산적 부담을 줄이기 위해 일차적으로 "특징 추출(feature extraction)"에 의존한다. 이는 추측들이 틀리거나 또는 계산적인 부담이 실제 응용들에 대하여 시스템을 너무 느리게 할 때 불만족스럽고 어쩌면 참을 수 없는 데까지 이르게 할 수 있다.

환경을 재현하는 에비던스 그리드를 생성하는 방법은 스테레오 센서들을 사용하여 환경 내 다중 위치에서 스테레오 이미지 세트를 수집하는 단계, 및 성능 지수, 스테레오 이미지 세트에 나타낸 공간에서 각 점에 대한 점유 확률과 거리를 결정하기 위한 스테레오 이미지 세트를 프로세싱하는 단계; 공간에서 각 점을 나타내는 각 복셀의 점유 확률을 결정하기 위해 공간에서 각 점에 센서 모델을 적용하는 단계; 및 각 복셀에 대한 확률을 조합함으로써 환경의 에비던스 그리드를 생성하는 단계를 포함한다.

상기 방법은 이미지 데이터를 한번 흘끗 보고 상기 글림프스(glimpse)로부터 수취된 해당 복셀 데이터를 상기 에비던스 그리드의 복셀 데이터와 비교함으로써 환경을 통해 네비게이팅하는 단계를 더 포함할 수 있으며 - 이는 시스템이 그 현재 위치를 말해준다.

컴퓨터 시스템과 데이터베이스 세트는 상기 단계들을 구현하기 위해 구성될 수 있다.

본 발명의 일 양태에 따라, 환경을 재현하는 다차원 에비던스 그리드를 생성하는 방법은 스테레오 센서들을 사용하여 상기 환경 내 다중 위치에서 스테레오 데이터를 수집하는 단계를 포함할 수 있다. 상기 방법은 또한 상기 스테레오 데이터로부터 복셀들을 포함하는 확률 구름을 생성하는 단계로서, 각 복셀은 공간에서 해당 점의 점유를 나타내며; 상기 확률 구름으로부터, 공간에서 점들에 관한 복셀들의 조합된 확률을 포함하는 맵을 생성하는 단계; 및 다수의 복셀들을 가진 상기 환경을 재현하는 다차원 에비던스 그리드를 형성하는 맵을 조합하는 단계로서, 각 복셀은 공간에서 해당 점의 결과적인 점유 확률을 구체화하는, 단계들을 포함할 수 있다.

본 발명의 다른 양태에 따라, 환경 내 자동화된 네비게이션을 위해 구성된 모바일 장치는 환경 내 동력화된 번역을 위해 구성된 모바일 본체; 네비게이션 지령 세트에 응답하는 상기 모바일 본체를 번역하도록 구성된 번역기; 상기 환경 내 스테레오 데이터를 획득하기 위해 구성된 스테레오 센서 세트; 상기 환경을 재현하고 각 복셀의 점유 확률과 관련된 다수의 복셀들을 포함하는 다차원 에비던스 그리드를 포함하는 저장 장치를 포함할 수 있다. 프로세서는 상기 스테레오 센서들을 사용하여 환경을 한번 흘끗 보기 위해 구성된 네비게이션 로직 세트를 실행하기 위해 포함 및 구성될 수 있으며, 여기서 글림프스는 네이게이션 동안 수취된 글림프스 스테레오 데이터를 포함하며; 글림프스 스테레오 데이터로부터의 확률 및 위치 데이터와 에비던스 그리드의 복셀들과 연관시키는 단계; 및 상기 복셀들과 연관된 상기 글림프스 스테레오 데이터를 상기 에비던스 그리드의 해당 복셀들과 연관된 확률과 비교하여 모바일 장치의 위치를 결정하는 단계를 포함한다.

도면들은 제한 방법으로서가 아닌, 예로서 바람직한 실시예들을 도시한다. 도면들에서, 동일한 참조번호는 동일하거나 유사한 구성요소를 말한다.

도 1a 및 도 1b는 본 발명에 따른 에비던스 그리드를 구성하는 방법의 예시적인 실시예들을 그린 흐름도이다.

도 2a는 도 1의 방법에서 유용한 스테레오 센서 구성의 예시적인 실시예를 그린 도면이며 도 2b는 이미지 매트릭스의 관점이며 도 2c는 도 2a에서의 스테레오 센서 도면이다.

도 3a는 도 2a와 도 2b의 스테레오 센서에 의해 생성된 이미지 세트 도면이며 도 3b는 픽셀의 관점이며 도 3c는 도 3b의 베이스라인 이미지와 제 2 이미지의 픽셀 간의 관계도(relationship) 세트이다.

도 4a는 점에 대한 센서 모델 곡선 도면이며 도 4b는 도 4a의 센서 모델에 대한 확률 곡선이다.

도 5a는 확률 구름 데이터 도면이며 도 5b는 점 구름을 포함하는 입방면체를 조합함으로써 생성된 확장형 로컬 맵(extended local map, ELM)이다.

도 6은 도 1의 방법을 구현한 시스템 및 데이터베이스를 포함할 수 있는 다양한 기능 또는 프로그램 모듈의 대표적인 블록도이다.

도 7a는 환경 도면이며 도 7b는 도 7a의 홀웨이(hallway)를 나타내는 에비던스 그리드이다.

본 발명에 따라, 공간 또는 체적을 나타내는 개선형 다차원 에비던스 그리드를 형성하는 시스템 및 방법이 제공되며, 공간 또는 체적은 또한 "환경"이라고도 칭하는데, 이는 설비(facility)일 수도 있다. 스테레오 측정은 본 설명의 개시 관련 정보에서 논의된 바와 같이, 오브젝트(예, 벽, 가구, 비품, 또는 기타 유형물)에 의한 환경의 점유에 관련된 정보 및 데이터를 수집하는데 사용되며, 이는 에비던스 그리드에 대한 세부사항을 더 제공한다. 센서 세트는 적어도 두 개의 데이터 수집 센서를 포함하며, 때로는 여기에서 "스테레오 센서(stereo sensors)" 또는 " 스테레오 측정 센서(stereo ranging sensors)"로 칭한다. 센서 모델(SM)들은 스테레오 센서에 의해 도입된 노이즈 또는 기타 오류들로 특징지워지며, 그러한 노이즈 또는 오류를 제거하거나 보상함으로써 수집된 스테레오 데이터의 양과 정보를 개선하도록 적용된다. 예들 들어, 오브젝트, 오브젝트의 일부 또는 그것의 특징에 의한 공간에서 점의 점유 확률은 스테레오 데이터로부터 결정될 수 있다. 공간에서 점은 "복셀들(voxels)"로 나타낼 수 있으며 점유 확률은 "복셀 체적(voxel volume)"에 의해 나타낼 수 있다. 환경 내 다중 위치들로부터 공간에서 점의 스테레오 데이터를 수취하여 공간에서 각 점에 대한 확률 데이터 세트, 예를 들면, 다수의 확률 값을 산출한다. 맵은 공간에서 점의 확률 데이터의 조합 또는 파생(derivation)으로서 구성될 수 있으며 환경 내 공간에서 점에 대한 결과적인 점유 정보를 가지는 복셀들을 포함하는 다차원 에비던스 그리드는 그 후 상기 맵으로부터 형성될 수 있다. 상기 에비던스 그리드는 적어도 초기에, 때로는 "훈련(training)"으로 칭하는, 환경을 통해 시스템(또는 적어도 스테레오 센서 세트)을 한 번 이상 번역함으로써, 구성될 수 있다.

일단 에비던스 그리드가 형성되면 - 이를 테면, 실제 또는 실제 시간에 가까운 - 네비게이션 동안 수취하게 된 연속적인 에비던스 그리드 "글림프스(glimpse)"를 사용하여, 환경을 통한 매우 정확한 네비게이션이 가능하다. 각 글림프스는 스테레오 센서들로부터 수취된 스테레오 데이터의 집합이며, 상기 스테레오 데이터는 적어도 두 개의 기능들을 제공할 수 있다. 첫째, 네비게이션 목적으로, 글림프스는 상기 시스템이 에비던스 그리드 내 어디에 있는지 또는 상기 글림프스가 언제 수취 되는지를 결정하는데 사용될 수 있다. 여기서, 상기 에비던스 그리드는 상기 글림프스를 분석하거나 프로세싱하기 위한 참조 프레임의 역할을 한다. 상기 글림프스 스테레오 데이터로부터 생성된 확률 정보와 상기 에비던스 그리드의 확률 데이터와의 비교는, 상기 에비던스 그리드 내, 그로 인한 환경 내 위치의 결정을, 확신을 갖고, 산출할 수 있다.

종래 기술의 시스템과 달리, 본 발명은 현존 설비, 예를 들면, 지표(fiducial mark), 가이드패스 등등에 대한 어떠한 변형 없이 환경을 통한 네비게이션을 허용하며, 환경 변화들에 대한 자동화되며 동적인 보상을 허용하지 않는 설비의 정적인 상세 오프라인 맵을 제작할 필요 또한 없다. 글림프스의 두 번째 유용함은 에비던스 그리드의 실제(또는 실제에 가까운) 시간 업데이트를 제공하는 것이다. 즉, 글림프스 스테레오 데이터로부터의 확률 데이터는 에비던스 그리드로 병합될 수 있으며, 이는 시스템이 동적 업데이팅 성능을 갖게 한다. 이는 이동된 설비 및 장비와 같은 환경의 변화들을 반영하기 위해 자동으로 그리고 동적으로 업데이트될 에비던스 그리드를 허용한다. 그러므로, 다양한 이유들로, 본 발명에 따른 시스템 및 방법은 기타 네비게이션 시스템들에서 찾을 수 없는 견고성(robustness)을 갖는다.

도 1a는 에비던스 그리드를 형성하는 방법의 상위 레벨 흐름도(100)이며 도 1b는 에비던스 그리드를 형성하는 더욱 상세한 방법을 제공하며, 이는 도 1a의 방법의 실시예 역할을 할 수 있다. 도 1a와 흐름도(100)를 참조하면, 단계 110에서 스테레오 센서들은 환경을 통해 시스템들(또는 센서들)을 번역함으로써 스테레오 측정 데이터를 수집한다. 이 실시예에서, 우리는 상기 스테레오 센서가 스테레오 측정 카메라이고 상기 스테레오 데이터가 스테레오 이미지 데이터인 것으로 가정한다.

단계 120에서 하나 이상의 센서 모델들은 스테레오 이미지 데이터에 적용된다. 이 단계는 선택적일 수 있으나, 결과적인 에비던스 그리드의 최종 품질을 개선시킨다. 센서 모델은 총체적으로 "노이즈"라 칭하는, 스테레오 센서에 의해 도입된, 노이즈, 에러, 또는 둘 모두를 나타내는 모델이다. 따라서, 상기 센서 모델은 사용된 센서의 유형에 좌우되며, 센서의 유형 또는 사용된 센서뿐만 아니라 특정 센서 또는 사용된 센서들을 반영할 수 있다. 예들 들면, 각 센서에 의해 도입된 노이즈의 산정은 상기 센서에 의해 수취된 이미지들을 분석하고 그들 또는 그들에 관련된 데이터 또는 베이스라인 값을 비교함으로써 결정될 수 있다. 차이들은 상기 센서들에 의해 도입된 노이즈의 표시 또는 측정으로 해석될 수 있다. 상기 센서 모델들의 적용은 이미지 데이터로부터 노이즈를 제거하거나, 그렇지 않으면 그것을 보상하는데 사용될 수 있다. 이는 다양한 방식으로 실행될 수 있다. 예를 들면, 일 실시예에서, 센서 모델은 감지된 데이터에 대한 실시간 조정들로, 스테레오 데이터가 수집됨에 따라 적용될 수 있다. 다른 실시예들에서, 센서 데이터의 초기 저장 후, 센서 모델들은 스테레오 데이터의 개선된 세트를 생성하기 위해 스테레오 데이터에 적용될 수 있다. 또 다른 실시예들에서, 상기 센서 모델들은 연속된 포스트-프로세싱 단계 동안 적용될 수도 있다.

단계 130에서, 스테레오 센서에서의 각 센서로부터의 스테레오 데이터(예, 스테레오 카메라에서의 각 카메라로부터의 하나의 이미지)는 센서의 화각 내에 오브젝트, 오브젝트의 일부 또는 특징들의 존재("점유"라 칭하는)를 결정하기 위해 처리된다. 상기 처리 단계는 스테레오 이미지들의 픽셀들을 분석하는 단계와 스테레오 카메라들의 FOV 내 공간에서 점의 점유 확률을 결정하는 단계를 포함한다. 처리시, 환경 내 공간(또는 위치들)에서의 특정 점에서 오브젝트, 오브젝트의 일부 또는 특징들의 존재 확률을 결정하기 위해 사용될 두 개의 이미지들로부터 데이터를 허용하는 스테레오 센서(예, 두 개의 스테레오 카메라)에 의해 생산된 두 개의 이미지들 간의 관계도(relationship)가 존재한다. 그러므로, 스테레오 데이터의 처리 결과는 환경 내 공간(또는 위치들)에서의 점의 점유 확률이다.

일단 스테레오 데이터가 처리되었다면, 이미지들은 단계 140에서 (선택적으로)폐기될 수 있다. 이미지 데이터 파일들은 상대적으로 큰 경향이 있으며 바람직한 시스템은 큰 이미지 양을 가지므로, 이는 시스템을 수용하는 메모리 저장 기능이 될 수 있다. 단계 150에서, 에비던스 그리드는 확률 데이터로부터 형성된다. 에비던스 그리드는 복셀 체적과 관련되어 왔던 복셀들을 포함한다. 복셀 체적에 나타낸 값은 환경 내 공간에서의 점의 점유 확률을 반영한다 - 따라서 그 값은 특정 위치이다. 환경을 통한 초기 번역 세트는 시스템을 "훈련(train)"하도록 하기 위해, 이를 테면, 환경을 통한 네비게이션을 지지하는 초기 에비던스 그리드를 형성하도록 하기 위해 수행될 수도 있다. 네비게이션은 단계 160에 도시되며, 하기에 더 자세히 기술된 바와 같이, 네비게이션 동안 사용된 스테레오 센서들에 의해 수취된 "글림프스"를 사용하여 수행될 수도 있다.

도 1b는 도 1a의 방법(100)의 실시예일 수 있는 에비던스 그리드를 형성하는 더 자세한 방법의 흐름도(170)를 나타낸다. 이 실시예에서 스테레오 센서들은 스테레오 카메라들이고 스테레오 측정은 실질적으로 360도의 조합된 화각(FOV)을 달성함으로써 수행된다. 예로서, 카메라들은 "글로벌 셔터"를 갖춘 카메라일 수 있으며, 이는 종래 기술에 공지되어, 예를 들면, Micron Technology, Inc.에 의해 상업적으로 이용가능하다. 글로벌 셔터 카메라는 즉시 모든 픽셀을 이미지화하여 상기 이미지가 캡쳐될 때 번짐현상(smearing)을 피한다. 픽셀들을 개별적으로 또는 소그룹으로 이미지화하는 카메라들은 이미징 프로세스 동안 카메라가 이동된다면 그 셔터가 이미지화되는 영역을 교차하여 이동될 것이기 때문에 움직임에 의한 번짐현상에 취약하다. 따라서, 바람직하게는, 글로벌 셔터 카메라가 사용된다. 그러한 카메라들이 사용되지 않았으며 번짐현상이 발생되지 않았다면, 그런 번짐현상에 의해 발생된 에러들은 바람직하게 처리 및 보상될 것이다.

도 1b의 흐름도의 단계 172에서, 스테레오 카메라들은 환경 내 공간에서의 점들에 관계되는 스테레오 데이터를 수집하기 위해 환경을 통해 번역된다. 단계 174에서, 확률 데이터는 스테레오 데이터의 픽셀들로부터 생성되며, 이는 이미지의 형태를 취할 수 있다. 176 단계에서, 맵은 공간에서의 각 점에 연관된 확률로부터 생성된다. 즉, 다중 이미지는 공간에서의 각 점을 취하게 되기 때문에, 공간에서의 각 점과 연관된 하나 이상의 점유 확률일 수 있다. 단계 178에서, 에비던스 그리드는 맵으로부터 형성된다. 단계 180에서, 도 1a의 단계 160과 같이, 에비던스 그리드는 환경을 통한 네비게이션을 위해 사용될 수 있다.

스테레오 측정

도 2a에 도시된 바와 같이, 예시적인 실시예에서 실질적으로 360도의 조합된 FOV를 달성하기 위해 - 각 90도 FOV를 가지는, 4개의 스테레오 센서 세트가 사용된다. 360도 FOV를 달성하기 위해, 예제들에 따라, 스테레오 센서 세트들은 각각 동일한 FOV를 갖는, 예를 들면, 각각 45도 FOV를 갖는 8 개의 스테레오 센서 세트, 각각 90도 FOV를 갖는 4개의 스테레오 센서 세트, 각각 120도 FOV를 갖는 3개의 스테레오 센서 세트 등이 선택될 수 있다. 기타 실시예들에서 다른 FOV들을 가지는 스테레오 센서들 세트, 예를 들면, 각각 45도 FOV를 갖는 4개의 스테레오 세트와 각각 90도 FOV를 갖는 2개의 스테레오 세트가 사용될 수 있다. 1차 번역 방향에 대해 45도로 향하게 되면, 모든 카메라는 유용한 데이터(근거리 또는 장거리 측정)를 얻는다. 기타 조합들이 대안적으로 사용될 수 있다. 일부 실시예에서 다른 스테레오 세트들의 FOV들이 중첩될 수도 있다. 그리고 일부 실시예에서 조합된 FOV는 360도보다 작을 수 있다. 스테레오 센서의 방향은 꼭 그럴 필요는 없으나 동일평면상일 수도 있음에 또한 주목하여야 한다. 스테레오 센서가 동일평면상이 아니라면 공간에서의 각 점에 대한 다른 평면들에서 다른 센서들로부터의 데이터를 관련시키는 방법은 공지된 수학적 및 삼각법에 의한 접근법이며, 따라서 여기에서 자세히 논하지 않는다. 환경을 통해 실질적으로 360도 FOV를 제공하는 스테레오 센서를 구비한 시스템을 이동(또는 해석)하는 단계는 몇몇 다른 관점으로부터 이미지화될 환경에서의 각 오브젝트를 허용하며, 이는 궁극적으로 3-D 에비던스 그리드 내 오브젝트들의 더 풍부한 재현을 제공한다.

도 2a에서 제 1 스테레오 센서(210)는 센서(1) 및 센서(2)를 포함하며, 센서 스테레오(210)에 대한 FOV, 이를 테면, FOV1은 약 90도이다. 제 2 스테레오 센서(220)는 센서(3) 및 센서(4)를 포함하며, 스테레오 센서(22)에 대한 FOV, 이를 테면, FOV2는 약 90도이다. 제 3 스테레오 센서(230)는 센서(5) 및 센서(6)를 포함하며, 스테레오 센서(230)에 대한 FOV, 이를 테면, FOV3는 약 90도이다. 제 4 스테레오 센서(240)는 센서(7) 및 센서(8)를 포함하며, 스테레오 센서(240)에 대한 FOV, 이를 테면, FOV4는 약 90도이다. 제 1 실시예에서 센서 세트들(210,220,230,240)은 에비던스 그리드 형성, 네비게이션, 또는 둘 모두에 사용된 시스템에 장착 또는 통합되며, 제 1 센서 세트는 데이터를 수집하기 위해, 화살표 A로 나타낸, 움직임의 방향으로 향하게 된다. 다른 실시예에서 기타 각도들이 기타 실시예들에서 사용될 수도 있지만, 제 1 센서 세트는 데이터를 수집하기 위해 화살표 B로 나타낸, 움직임의 방향으로부터 약 45도의 각도로 향하게 된다. 또한 기타 실시예들에서, 센서 세트는 움직임 방향과 관련하여 고정될 필요는 없으나, 그러한 실시예들에서 움직임의 방향에 대한 센서 세트의 상대적 회전 움직임이 있다면, 그 상대적 회전 움직임은 예를 들어, 측정에 의해 바람직하게는 공지되거나 결정될 수 있다.

이러한 실시예에서 스테레오 센서는 세테레오 카메라들이다. 여기서 각 스테레오 카메라는 2개의 카메라를 포함하며, 이는 동시에 "스냅"을 이미지화한다. 즉, 그들은 동기화된다. 각 스냅샷은 2-D 이미지이나, 함께 촬영된 두 개의 동기화된 이미지들은 x, y 및 z 성분을 갖는 입방체인 스테레오 이미지를 산출한다. 즉, 두 개의 이미지들로 깊이, 또는 z축 데이터가 결정될 수 있다. 상기 2 개의 카메라로부터 촬영된 이미지들을 "스테레오 이미지"로 칭할 수 있다. 바람직한 방식에서, 표준 프레임 그래버(grabber) 접근법은 각 카메라로부터 이미지 데이터를 수집 및 저장하는데 사용된다. 상기 카메라들은 흑백이거나 컬러일 수 있다. 본 발명이 속하는 기술 분야의 당업자에 의해 알 수 있는 바와 같이, 스테레오 측정은 카메라들을 사용하여 달성될 필요가 없다. 다른 유형들의 데이터 수집 수단, 예를 들면, 초음파 센서들이 사용될 수 있다. 또한, 기타 실시예들에서, 스테레오 카메라 세트 보다 단일 카메라가 동기화 없이 사용될 수 있으나, 시스템의 움직임은 각 이미지에서 카메라의 상대적 위치가 결정되도록 하기 위해- 이러한 접근법은 일반적으로 바람직하지 않음 - 확정될 수 있도록 할 필요가 있을 것이다.

또한 바람직한 방식에서, 스테레오 카메라를 포함하는 두 개의 카메라 사이에, 단일 카메라는 "베이스라인"카메라로서 선택된다. 예를 들면, 도 2a의 제 1 스테레오 카메라(210)의 카메라(1)가 선택될 수 있다. 이와 같이, 카메라(1)로부터의 이미지는 베이스라인 이미지(또는 제 1 이미지)로 지정되며 규정된 좌표 시스템을 갖는다. 카메라(2)로부터의 이미지는 상기 베이스라인 이미지와 약간 다를 것으로 예상되며 제 2 이미지로 칭할 수 있다. 여기에 사용된 바와 같이, "이미지" 는 카메라 렌즈 상에 빛의 주입의 재현을 의미하며, 도 2b의 대표적인 이미지 매트릭스(270)에 나타낸 바와 같은, 픽셀들의 매트릭스(이를 테면, 로우 및 컬럼)에 해당하는 데이터로 구성된다. 상기 제 1 이미지와 제 2 이미지 간의 차이는 제 2 카메라가 도 2c에 도시된 바와 같이, 제 1 카메라로부터 물리적으로 배치된다는 사실 때문에 크며, 적어도 얼마간은, 그들 카메라 자체의 차이 때문일 수 있다.

바람직한 방식에서, 카메라들 간의, 또는 카메라 렌즈들 간의 물리적 배치는, 도 2c에 도시된 바와 같이, 여기에서는 D로 칭하는 공지된 거리이다. 보이는 바와 같이, 카메라(1 및 2)의 렌즈들 간의 물리적 배치는 동일한 오브젝트(280)를 이미지화할 때 각 카메라의 관점에서의 각도 차이로 귀결된다. 상기 카메라들이 바람직한 실시예에서 그들이 존재하는, 동일한 높이로 배치된다면, 수직이 아닌 단지 수평으로만 관점 차이들을 분석하는 것이 필요하다.

도 3a는 두 개의 스테레오 이미지, 이를 테면, 카메라(1)로부터 촬영된 베이스라인 또는 제 1 이미지(310)와 카메라(2)로부터 촬영된 제 2 이미지(320)를 도시한다. 도 3a는 각 이미지에 대한 규정된 좌표 시스템의 원점(이를 테면, Y-축과 X-축의 교점)이 이미지의 중심에 있는 예이다. 카메라들의 사이드-바이-사이드 방향 때문에, 이미지(310)와 이미지(320)는 상기에 논의된 바와 같이, 동일할 것으로 예상되지 않는다. 그들은 다른 원점들(O 및 O')과 Y-축(이를 테면, Y 및 Y')을 가질 것이다. 하지만, 두 개의 카메라들 간의 수직 차이는 실질적으로 없기 때문에 두 개의 좌표 시스템의 X-축(이를 테면, X 및 X')은 실질적으로 동일선상일 것이다.

바람직한 실시예의 스테레오 측정에서, 시스템은 스테레오 카메라로부터 두 개의 이미지 - 이를 테면, 베이스라인 이미지와 제 2 이미지 - 간의 "픽셀 불일치(pixel disparity)"를 찾는다. 그러므로, 베이스라인 이미지의 픽셀과 제 2 이미지의 픽셀 사이의 관계도가 규정되거나 결정되어야 한다. 이는 2개의 카메라들 간의 간격 라인, 예를 들면, 도 2의 카메라(1)와 카메라(2) 사이의 물리적 거리 D를 공지함으로써 달성된다. 상기 이미지 데이터를 사용하여 수행된 그 물리적 간격 및 거리 계산을 사용하면, 베이스라인 이미지의 원점(O)과 제 2 이미지의 원점(O')를 연결하는 라인(340)이 결정될 수 있다. 대부분은, 동일한 관계도가 베이스라인 이미지와 제 2 이미지의 모든 해당 픽셀들 간에 존재하는 것으로 추정된다. 따라서, 원점들(O 및 O')을 연결하는 라인(340)을 공지하는 단계는 라인(342)에 따라, 결정될 스테레오 이미지들의 해당 픽셀들 간의 관계도를 허용한다. 그러므로, 카메라(1)로부터의 이미지(312)의 픽셀 그룹(314) 중앙의 픽셀은 카메라(2)로부터의 이미지(322)의 픽셀 그룹(324)의 해당 픽셀로 맵핑될 수 있다. 라인(342)은 이러한 픽셀들 간의 관계도를 나타내며, 실질적으로 라인(340)과 동일하다.

픽셀에 의해 나타낸 공간에서의 점으로 오브젝트의 존재를 결정할 때, 시스템은 스테레오 카메라들에 의해 생산된 각 이미지로부터 데이터를 처리하며, 이는 공간에서 동일한 점들에 대한 다른 이미지 세트를 제공한다. 바람직한 방식에서, 시스템은 두 개의 픽셀들을 연결하는 라인(예, 도 3a의 라인(342)) - 각 이미지로부터 1픽셀 - 을 따라 픽셀 불일치를 찾는다. 두 개의 카메라들 간의 수직 배치 차이는 없기 때문에, 수직으로의 픽셀 불일치는 검사되지 않는다. 만약 수직 배치 있다면, 픽셀 불일치는 수직으로도 검사될 수 있다. 만약 스테레오 카메라들이 수직과 수평 방향(이를 테면, X 및 Y 방향) 모두에서 오프셋 된다면, 픽셀 불일치는 모두에서 검사될 수 있다. 만약 제 3 방향(이를 테면, Z 방향)으로 상대적 배치가 있다면, 픽셀 불일치는 거기에도 검사될 수 있다.

여기에 설명된 시스템 및 방법들은 이미지들을 처리하는데 있어서 "특징 추 출(feature extraction)"에 좌우되지 않으며, 많은 다른 시스템들에서 수행된 바와 같이, 그들은 이미지 인핸스먼트에 좌우되지도 않는다. 그러나 모두 설명된 시스템의 컨텍스트 내에 사용될 수도 있다. 반대로, 시스템 및 방법은 오브젝트가 존재하는지 아닌지를 결정하기 위해 각 픽셀을 주시한다. 픽셀들은, 예를 들어, 8 또는 16 비트수로도 또는 워드로도 나타낸다. 이는 시스템을 단지 흑백보다는, 그레이 스케일로 처리하도록 한다. 기타 실시예들에서 픽셀들은 크거나 작은 비트 워드에 의해 나타낼 수 있다. 일반적으로, 확률적 수학적 거리는 각 이미지에서 픽셀들의 "블롭(blob)"(또는 클러스터)에 적용된다. 시스템은 최저 성능지수(figure of merit,FOM)가 존재하는지를 결정하기 위해 각 블롭을 주시하는데, 이는 상기 블롭 내 픽셀에 대한 픽셀 콘트라스트 비(contrast ratio)의 함수이다. 시스템은 먼저 베이스라인 이미지를 그 후 상기 이미지들과 관계있는 라인(예, 도 3a의 라인들(340 및 342))에 따른 제 2 이미지에서의 해당 블롭을 주시한다.

도 3b에서, 도 3a의 오브젝트(314)로부터의 픽셀(316)은 픽셀들의 블롭(318) 내 중앙 픽셀로서 수취된다. 여기서, 예로서, 상기 블롭은 약 7 픽셀의 반경을 가지는 픽셀들의 원으로 선택된다. 시스템은 상기 블롭(318) 내 픽셀들 사이에서 콘트라스트가 있는지를 결정하기 위하여 상기 블롭을 주시한다. 바람직한 형태에서, 콘트라스트가 존재하는지 아닌지에 대한 결정은 상기 블롭에서 각 픽셀에 대한 명암도(이를 테면, 8 또는 16 워드)의 제곱의 합을 취함으로써 달성된다. 이를 테면, 마치 임의의 다양한 공지된 통계학적 분석 접근법과 같은, 당업계에 공지된 기타 수학적 접근법들이 콘트라스트를 찾기 위해 블롭들을 처리하는데 대안적으로 사용 될 수도 있다. 최저 FOM이 발견되면, 처리된 픽셀 블롭에 의해 나타낸 위치에 환경내에 오브젝트의 확률이 존재한다.

도 3c에 도시된 바와 같이, 도 3a의 제 1 이미지(312)에서 분석된 픽셀(316)에 대해, 시스템은 제 2 이미지(322)에서의 해당 픽셀(326)을 찾기 위해 두 개의 카메라들을 분리시키는 라인(342)을 따라 주시한다. 상기 시스템은, 이 실시예에서, 해당 중앙 픽셀(326)을 결정하기 위해 ±3 픽셀을 주시하며, 이는 제 1 이미지에 대하여 약간 일그러지게 제 2 이미지를 발생시킬 수도 있는 잠정적 에러들을 계산한다. 도 3c는 ±3 픽셀 블롭들을 포함하여, 라인(342)을 따라 제 2 이미지 블롭들과 관련된 제 1 이미지 블롭 세트(360)를 도시한다. 제 2 이미지에서의 ±3 픽셀 블롭 세트(360)로부터, 블롭(318)에 대한 가장 좋은 성능지수 매치를 가지는 블롭(328)은 블롭(318)에 해당하는 것으로 선택된다. 예를 들어, 그것은 "-1" 픽셀 위치에서 센터링된 블롭(328)일 수 있다. 즉, 상기 시스템은 동일한 값, 예를 들어, 제곱값의 합을 가진 블롭들을 찾아 제 2 이미지에서 최상의 것을 가려낸다. 일단, 실행이 되면, 이러한 해당 블롭들 내 주어진 픽셀에 대한 이미지 데이터는 에비던스 그리드 내 해당 복셀에서 오브젝트가 존재하는지 아닌지를 결정하도록 더 처리될 수 있다. 상기 시스템은 특징 추출이나 오브젝트 식별을 하지 않고, 단지 이미지들의 특성과 그들이 어디가 유사한지를 찾을 뿐이다.

별건에서와 같이, 그리고 상기에 간단히 언급된 바와 같은, 다른 오퍼레이터들은 픽셀 블롭 내의 콘트라스트, 예를 들어, 정규(Gaussian) 분포, 지수(exponential) 분포, 포물선(parabolic) 분포, 사인(sine) 분포를 산정하는데 사 용될 수 있을 것이다. 선택적으로, 상기 시스템은 처리 효율과 정확성 개선에 따른 - 노이즈 그리드를 얻기 위한 그러한 분포를 "클립(clip)"(이를 테면, 임계값 이상 또는 이하는 무시함)할 수도 있다.

블롭의 처리는 환경 맵을 생성시키며, 이는 관심 대상이 일부 FOM를 포함하며 또한 카메라로부터 관심 대상(이를 테면, 오브젝트)의 거리를 결정함을 말해준다. 상기 거리는 오른쪽에서 왼쪽으로의 픽셀 불일치에 비례하며, 이는 도 2c에 도시된 삼각형으로부터 계산될 수 있다. 이미지가 스냅된 곳인 점으로부터 계산된다. 픽셀 불일치는 하나의 이미지에서 다른 이미지까지, 이를 테면, 베이스라인 이미지에서 제 2 이미지까지의 픽셀 불일치이다. 따라서, 상기 시스템은: 각 점에 대한 FOM, 오브젝트들을 나타내는 점들의 3-D 위치, 및 카메라에서 각 점까지의 거리를 결정한다. 이 실시예에서, 라인을 따라 단지 주시할 때 상대적으로 유니크한 식별자 "구형물(spherous thing)"에서의 픽셀 그룹의 콘트라스트 차의 제곱 합을 구한다.

센서 모델 적용

센서 모델은 센서들의 부정확성을 나타낸다. 따라서, 상기 모델은 시스템을 제거하거나 노이즈를 상당히 줄이거나, 또는 다른 본래 시스템/센서가 에러를 도입하는 것을 줄이도록 한다. 도 1a에 대하여 상기에 언급한 바와 같이, 상기 센서 모델들은 스테레오 데이터를 수집 또는 처리하는 과정에 있어서 임의의 다양한 점들에서 적용될 수도 있다. 도 4a에 도시된 바와 같이, 상기 시스템은, 점들이 x, y 및 z 값을 갖기 때문에, 입방체 공간(410)을 조사하여, 그런 다음 이미지 데이터로 부터 상기 발견된 각 점(316)에 센서 모델(420)(공간에 존재하고 있는 오브젝트의 확률을 나타내는 3-D 형태)을 적용한다. 상기 센서 모델 형태는 점들에 관한 불확실성 또는 확률에 관련된다. 상기 형태는 또한 오브젝트 후방에서의 파악은 전형적으로 매우 낮으나, 오브젝트 전방에서의 파악은 전형적으로 매우 좋다. 도 4b는 (측면에서 본) 확률 곡선의 한 가능한 재현을 도시하며, 여기서, 에비던스 그리드 내 복셀에 의해 나타낸 주어진 점에 대하여, 0=엠프티(empty), 1= 점유(occupied), 0.5는 미지수(unknown)이다.

바람직한 실시예에서, 센서 모델은 일회용 이벤트로서, 오프라인이 형성될 수 있다(이를 테면, 도 4a 및 도 4b에서의 곡선들에 대한 값). 이는 더욱더 많은 이미지들이 촬영되고 처리됨에 따라, 이미지 세트로 시스템을 실행시키고, 깊이, 길이, 폭 등과 같은 파라미터들을 조정되게 함으로써 실행될 수 있다. 한 접근법은 낮 동안 한 번씩 "학습 모델"을 실행하도록 유지하는 것이며, 시스템이 파라미터들을 조절함에 따라, 우리는 언제 더욱더 가깝게 매치하고 있는지를 알 수 있다. 여기에서 사용된 바와 같은, 학습 모델은 센서들에 의해 도입된 에러를 판단하기 위해 이미지 데이터의 수집 및 처리를 포함하는 환경을 통하여 번역될 수 있다. 센서 모델들은 또한 주어진 스테레오 센서 세트에 대한 데이터 세트로서 앞으로 "스캔"될 수도, 이를 테면, 이용가능하게 될 수도 있다. 만약 스캔되지 않는다면, 센서 모델을 형성하는 것은 일반적으로 일회성이다. - 즉 시스템에 대해 다시 형성될 필요가 없다. 다른 접근법들에서, 상기 센서 모델은 초기에 스캔될 수도 있으며, 그런 다음 학습 모델을 사용하여, 예를 들면, 환경 내에서, 조절될 수도 있다. 일반 적인 센서 모델은 설비의 일부 특성들이 공통적일 수 있기 때문에, 전형적으로 시스템을 더 좋게 작동시키나, 기존 시스템에 대한 특정 특성 세트에 너무 크게 의존하면, 이러한 특성들이 추후에 변경될 경우 상기 시스템에서 에러들을 일으킬 수도 있다. 일단 형성되면, 상기 센서 모델은 계산들을 더 빠르게 하도록 하기 위해 룩-업 테이블로 적용될 수 있다.

에비던스 그리드 형성

이 실시예에서, 에비던스 그리도를 형성하는 것은, 도 5a에 도시된 바와 같이, 점 구름 세트를 합함으로써 생성된 맵으로부터 생성된다. 점 구름은 스테레오 이미지 데이터로부터 결정된 바와 같은, 공간에서 점들이 차지하는 확률을 나타낸다. 도 5a에서, 입방체(510) 내에 몇몇 더 작은 점 구름 입방체 집합들, 예를 들면, 점 구름(530)을 포함하는 입방체(520)가 있다. 점 구름에서의 각 점은 환경내의 해당 점에 오브젝트가 존재하는 확률을 포함하는 복셀들로 구성된다. 그러므로, 점 구름은 스테레오 이미지 데이터 세트 내 공간에서의 점들에 관련된 복셀 세트이다. 환경 내 다양한 위치들을 취한 많은 점 구름들은 공간에서의 동일한 점 또는 복셀에 대한 확률 정보를 포함할 수 있다.

상기 시스템은 환경을 통한 시스템의 번역을 추적하여, 다중 이미지들 사이에 관계도를 알고, 따라서 조합될 각각의 다중 이미지들에서의 해당 복셀들을 허용한다. 바람직한 실시예에서, 상기 시스템은 오도메트리(odometry)를 사용하여 환경을 통한 번역의 추적을 유지하나, 임의의 기타 공지된 추적 메커니즘을 사용하거나, 또는 이미지 데이터를 사용하여 번역을 추적하거나, 또는 접근법들의 조합을 사용할 수도 있다(그리고 어쩌면 이러한 다른 접근법들 사이의 평균 또는 가중 평균을 사용할 수도 있다). 그렇다면, 예를 들어, 하나의 이미지가 점유되어 있는 복셀을 나타내고 세 개의 다른 이미지들이 점유되어 있지 않은 복셀을 나타낸다면, 상기 하나의 복셀은 아마 노이즈였을 수도 있으며 그 노이즈는 시스템에서 버려질 것이다. 만약, 예를 들어, 모든 네 개의 이미지가 점유되어 있는 복셀을 나타낸다면, 복셀의 점유 확률은 매우 높다. 따라서, 결과적인 에비던스 그리드는 높은(또는 점유된) 복셀에서의 점유의 확률(이를 테면, 오브젝트의 존재)을 나타낸다.

각 복셀에 관계된 점 구름의 확률 조합은 공간에서의 다양한 점들에 관한 확률을 나타내는 맵을 생성하는데 사용될 수 있으며, ELM(extended local map)의 형태를 취할 수도 있다. 도 5b를 참조. 스테레오 이미지들이 다른 장소들에서 촬영되기 때문에, 결과적인 확률 데이터의 입방체는, 중첩된 입방체(550)로 보이는 것과 같이, 완전히 중첩되지 않는다. 입방체들 사이에 일부 작은 오프셋이 있음을 예상할 수도 있다.

상기 시스템은, 바람직하게는, 원시 이미지 데이터를 저장하지 않는다; 도 1a에 관해 상기에 논의한 바와 같이, 일단 사용된 이미지들이 폐기될 수 있다. 하지만, 상기 시스템은 새로운 이미지 데이터를 사용하여 확률을 계속 업데이트하도록 한다. 매번 상기 시스템이 이미지를 촬영할 때마다, 입방체 확률 구름들로 이미지 확률을 추가한다. 그래서 환경으로부터 무언가가 제거되면, 그것은 오버 타임 으로 판명될 것이다. 이러한 과정이 에비던스 그리드가 형성될 때까지 계속된다. 매번 새로운 이미지들이 촬영될 때마다, 상기 에비던스 그리드가 업데이트된다. 업 데이트는 또한 에비던스 그리드가 형성된 후에도 환경을 통한 네비게이션 작동 동안 수행될 수 있다.

이미지들로부터 위치 결정

번역 동안 환경에서의 시스템의 위치를 결정하기 위한 오도메트리 접근법에 더하여, 또는 조합하여, 상기에 논의했던, 시스템은 이미지들로부터 시스템의 위치를 결정할 수도 있다. 이를 실행하기 위해, 상기 시스템은 진행 방향, 이를 테면, 시스템의 측면들에서 바라보는 방향에 평행인 픽셀들의 평면을 주시한다. 상기 시스템은 시스템의 속도와 카메라들 사이의 물리적인 관계(예, 거리 간격)를 안다. 전술한 정보가 주어지면, 상기 시스템은 스테레오 이미지들과 형상 배치 사이에서 공통 특징들을 찾을 수 있으며, 따라서 시스템 위치를 제공할 수 있을 것이다. 이러한 접근법은 외부 소스들에 덜 좌우한다.

복셀들

일례로, 복셀들은 점유, 열(heat), 표면 방향과 같은 다른 종류의 에비던스 특성들이 가중된 정보를 포함한다. 가중된 에비던스의 유형은 데이터(예, 카메라, 레이더 등)를 축적하는데 사용된 센서 유형에 좌우된다. 에비던스 그리드 계산은 각 특정 센서에 대한 확률 모델을 이끌어내기 위해 바람직하게는 베이스의 정리(Bayes' Theorem)에 근거한다. 베이스의 정리는 이전 정보를 기존 상황이 존재하는 확률에 병합시키며, 이는 본 발명이 속하는 분야에 잘 공지되어 있다. 상기에 설명한 바와 같이, 확률 데이터는 각 복셀에 축적된다. 에비던스 그리드는 설비를을 통한 잇따른 번역들에 의해 업데이트될 수 있다. 업데이트는 에비던스 그리드에 서의 동적 변화들, 예를 들면, 설비 내 아이템들의 도입 또는 제거를 도모하기 위한 동적 변화들을 허용한다. 설비 맵은 그 후 설비를 네비게이팅하기 위한, 로봇, 또는 기타 자동화 장치 또는 자동차로 사용될 수도 있다. 상기 설비 맵은 정교한 네비게이션을 위해 "실제 세계" 관점에서의 매우 정교함이 필수요소는 아니라는 점을 주목해야 한다. 시설 맵은 로봇 관점에서의 정교함이 더 중요하다.

컴퓨터 다이어그램

도 6은 본 발명에 따른 에비던스 그리드 생성 시스템의 대표적인 실시예를 그린 블록도(600)이며, 이는 도 1의 흐름도를 구현할 수 있다. 도 6에 묘사된 모듈은 소프트웨어, 하드웨어, 펌웨어 또는 그에 따른 일부 기타 조합으로 구현될 수 있다. 스테레오 센서 세트(610)는 데이터를 수집하는데 사용되며, 이는 센서 데이터베이스(620)에 저장될 수 있다. 상기 센서들은 카메라, 소나(sonar), 레이더 또는 본 발명이 속하는 분야에 공지된 임의의 다른 유형의 센서일 수 있다. 바람직하게는 개별 센서들보다는 스테레오 센서가 사용되며, 상기 스테레오 센서들은 두 개 이상의 센서를 포함하나, 이전에 논의된 바와 같이 더 많거나 적은 센서들이 사용될 수도 있다. 하나의 센서는 일반적으로 최적상태는 아니나, 일부 환경에서 충분할 수도 있다. 또한, 바람직하게는, 상기 시스템은 360도 FOV를 사용하거나 그에 가까우며, 이는 전형적인 번역 동안 환경에 대한 대부분의 이미지 데이터를 제공한다.

에비던스 그리드 형성 모듈(630)은 에비던스 그리드의 복셀들과 연관된 점유 확률을 생성하기 위해 센서 데이터베이스(640)로부터의 센서 데이터를 센서 데이터 베이스(620)로부터의 이미지 데이터에 적용하는 스테레오 이미지 데이터 처리 모듈(632)를 포함한다. 상기 에비던스 그리드 형성/업데이트 모듈(634)은 에비던스 그리드를 형성하거나 업데이트하기 위해 다중의 이미지들로부터 각 복셀에 대한 확률들을 합하며, 이는 에비던스 그리드 데이터베이스(650)에 저장될 수 있다. 네이게이션 모듈(660)은 환경을 통한 번역을 위한 에비던스 그리드를 사용하기 위해 구성되도록 포함될 수 있다.

도 7a는 사각 홀웨이(700)이며 도 7b는, 예로서, 각각 도 1 및 6에 대한 방법 및 시스템으로 안출된 사각 홀웨이의 3-D 에비던스 그리드(750)이다. 본 발명에 속하는 기술분야의 당업자들에 의해 알게 될 것처럼, 본 발명은 설비와 통로 그리고 기타 관심 장소들에 대한 에비던스 그리드를 생성하기 위해 사용될 수 있다. 상기 시스템 및 방법은 실내 설비에 제한되어 필요한 것이 아니라 - 실외에서도 사용될 수 있다. 상기 시스템은 또한 데이터 수집이 특정한 소정의 최소 확실성 레벨을 가지는 에비던스 그리드를 제공하기에 충분할 때 표시를 생성하는, 그러한 에비던스 그리드 생성을 위한 임계값을 포함한다.

네이게이션 및 위치선정

에비던스 그리드를 사용한 네비게이션은 에비던스 그리드 내 시스템이 어디에 있는지를, 이미지 데이터로부터 결정하는 과정으로 달성될 수 있으며, 여기에서는 "위치선정(localization)"으로 칭한다. 즉, 네비게이션을 위해 시스템은 현 이미지 데이터와 저장된 맵 데이터(에비던스 그리드)를 비교함으로써, 현 이미지 데이터로부터 그 현재 위치를 계산하도록 구성된다. 상기 에비던스 그리드는 상기에 제공된 바와 같이 형성될 수도 있으며, 또는 일부 다른 수단들에 의해 형성될 수도 있다.

시스템을 번역할수록, 스테레오 센서들은 스테레오 측정을 수행하기 위해 스냅사진을 찍는다. 센서 모델은, 상기에 논의된 바와 같이, "글림프스(glimpse)"를 생성하기 위해 스테레오 측정 데이터에 적용된다. 글림프스는 소형 에비던스 그리드- 거기에 존재하는 오브젝트들의 확률 구름-이다 (도 5a 참조). 그 다음 에비던스 그리드 데이터를 보고 또 다른 제곱 합과 블롭들(이를 테면, 확률)의 매칭을 실행한다.

상기 시스템은 관심점이 현재 글림프스에 있는지를 결정하기 위해 "방사 광선(throwing rays)"에 대한 접근법을 사용한다. 이는 마지막 공지된 위치와 상기 시스템이 그것이 에비던스 그리드 내 존재한다고 여겨지는 곳에 근거한 추측이다. 그러므로, 시스템은 그것이 존재한다고 여겨지는 예상되는 곳이 있으며, 그에 따라, 상기 시스템은 특정 "히트(hits)"를 얻거나 특정 위치에서 매치되는 예상되는 곳으로 "광선을 방사한다(throw rays)". 매치되기 위해서는, 빈(또는 점유되지 않은) 공간들은 빈 공간들을 매치해야하며, 점유된 공간들은 점유된 공간들을 매치해야 한다. 히트의 패턴이 에비던스 그리드 내 복셀들의 패턴과 일치한다면, 상기 시스템은 그것이 - 에비던스 그리드의 참조 프레임 내- 어디에 위치하는지 알 수 있을 것이다. 이는 일부 개수의 점에 실행되며, 여기서 광선이 각 점으로부터 외부로 방출된다. 예를 들면, 최소 임계 개수의 점에는, 예를 들면, 적어도 350-400 히트가 사용될 수 있다. 예를 들면, 일부 에러 예상범위 내에서, 상기 시스템은 각 400개의 점으로부터 기존 에비던스 그리드 상에 광선을 방사함으로써 - 기존 에비던스 그리드의 400개의 점으로 된, 현재 이미지로부터 400개의 점을 테스트 핏(test fit)할 수 있다.

현재, 상기 시스템은 마지막 공지된 위치에 근거한 광선을 방사하여, 그것이 어디에 있는지 대략적으로 분간한다. 그러므로, 상기 시스템은 단지 에비던스 그리드 내 특정 범위에서 검색한다. 상기 시스템이 길을 잃으면, 상기 시스템은 중단하기 전에, 더 폭넓은 스케일 룩(간격이 넓은 그리드)을 실행할 수 있다. 상기 시스템은 정확성을 향상시키기 위해 안면 인식 소프트웨어로 구성될 수도 있다. 일단 에비던스 그리드가 만들어지고, 사물들이 이동되면, 무슨 일이 일어나는가? 매치될(예를 들면, 기둥들, 벽, 셸프 포스트 등) 여전히 충분한 데이터가 존재하여, 상기 시스템이 여전히 자신의 위치를 찾을 수 있어야 한다. 상기 시스템은 또한 이동된 사물들을 계산하기 위해 에비던스 그리드를 업데이트할 것이다.

임의의 다양한 실시예에서, 에비던스 그리드를 사용하여 네비게이팅하기 위해 구성된 상기 시스템은 모바일 본체에 이동가능하게 커플되고 포크리프트, 스태커, 오더 픽커 등과 같은 오브젝트를 지지하기 위해 구성된 체결 메커니즘을 포함하는 모바일 본체를 포함할 수 있다.

Claims

A. 스테레오 센서들을 사용하여 환경 내 다수의 위치들에서 스테레오 데이터를 수집하는 단계;

B. 상기 스테레오 데이터로부터, 복셀들을 포함하는 확률 구름을 생성하는 단계로서, 각 복셀은 공간에서 해당 점의 점유를 나타내며;

C. 상기 확률 구름으로부터, 공간에서 상기 점들에 관련된 복셀들의 조합된 확률을 포함하는 맵을 생성하는 단계; 및

D. 다수의 복셀들로 된 환경을 재현하는 다차원 에비던스 그리드를 형성하기 위한 맵을 조합하는 단계로서, 각 복셀은 공간에서 해당 점의 결과적인 점유 확률을 구체화하는, 환경을 재현하는 다차원 에비던스 그리드 생성 방법.
제 1 항에 있어서,

E. 상기 에비던스 그리드를 사용하여 상기 환경을 통한 모바일 장치를 네비게이팅하는 단계를 더 포함하는, 환경을 재현하는 다차원 에비던스 그리드 생성 방법.
제 2 항에 있어서, 네비게이팅 단계 E는,

1) 상기 스테레오 센서들을 사용하여 글림프스(glimpse) 스테레오 데이터를 획득하는 단계;

2) 상기 글림프스 스테레오 데이터로부터 글림프스 점유 확률을 결정하고 상기 에비던스 그리드에서 복셀들과 상기 글림프스 확률을 연관시키는 단계; 및

3) 상기 글림프스 확률과 상기 에비던스 그리드에서 해당 복셀들과 연관된 확률을 비교하여 상기 모바일 장치의 위치를 결정하는 단계를 포함하는, 환경을 재현하는 다차원 에비던스 그리드 생성 방법.
제 3 항에 있어서,

F. 상기 글림프스의 기능으로서 상기 에비던스 그리드를 업데이트하는 단계를 더 포함하는, 환경을 재현하는 다차원 에비던스 그리드 생성 방법.
제 4 항에 있어서, 단계 F는,

1) 상기 글림프스 스테레오 데이터와 상기 스테레오 데이터를 조합하는 단계 및 단계 E를 통하여 단계 B를 반복하는 단계를 포함하는, 환경을 재현하는 다차원 에비던스 그리드 생성 방법.
제 1 항에 있어서, 상기 스테레오 센서들은 스테레오 카메라들을 포함하는, 환경을 재현하는 다차원 에비던스 그리드 생성 방법.
제 1 항에 있어서, 상기 스테레오 센서들은 다른, 평행면 방향들로 향한 센서들을 포함하는, 환경을 재현하는 다차원 에비던스 그리드 생성 방법.
제 1 항에 있어서, 복셀의 높은 점유 확률은 상기 복셀에 의해 재현된 공간에서의 점에 유형 오브젝트의 존재를 나타내는, 환경을 재현하는 다차원 에비던스 그리드 생성 방법.
제 1 항에 있어서, 상기 다차원 에비던스 그리드는 3 차원 에비던스 그리드 인, 환경을 재현하는 다차원 에비던스 그리드 생성 방법.
제 1 항에 있어서, 스테레오 데이터의 수집 단계는 상기 스테레오 센서들로 인한 그리고 센서 모델들에서 재현된 노이즈 및 에러를 제거하는 단계를 포함하는, 환경을 재현하는 다차원 에비던스 그리드 생성 방법.
제 1 항에 있어서, 점유는 오브젝트, 오브젝트 일부 또는 특징의 부재 또는 존재와 관련 있는, 환경을 재현하는 다차원 에비던스 그리드 생성 방법.
A. 환경 내 동력화된 번역을 위해 구성된 모바일 본체;

B. 네비게이션 지령 세트에 응답하는 상기 모바일 본체를 번역하기 위해 구성된 번역기;

C. 상기 환경 내 스테레오 데이터를 획득하기 위해 구성된 스테레오 센서 세트;

D. 상기 환경을 재현하는 다수의 복셀들을 포함하고 각 복셀의 점유 확률과 연관된 다차원 에비던스 그리드를 포함하는 저장 장치; 및

E. 1) 상기 스테레오 센서들을 사용하여 상기 환경의 글림프스들을 수취하고, 글림프스는 네비게이션 동안 수취된 글림프스 스테레오 데이터를 포함하며,

2) 상기 글림프스 스테레오 데이터로부터의 확률 및 위치를 상기 에비던스 그리드의 복셀들과 연관시키며, 그리고

3) 상기 복셀들과 연관된 상기 글림프스 스테레오 데이터를 상기 에비던스 그리드의 해당 복셀들과 연관된 확률과 비교하여 상기 모바일 장치의 위치를 결정하기 위해 구성된 네비게이션 로직 세트를 수행하기 위해 구성된 프로세서를 포함하는, 환경 내 자동화된 네비게이션을 위해 구성된 모바일 장치.
제 12 항에 있어서, 상기 모바일 본체에 이동가능하게 커플되고 오브젝트를 지지하기 위해 구성된 체결 메커니즘을 더 포함하는, 환경 내 자동화된 네비게이션을 위해 구성된 모바일 장치.
제 13 항에 있어서, 상기 장치는 포크리프트(forklift)인, 환경 내 자동화된 네비게이션을 위해 구성된 모바일 장치.
제 13 항에 있어서, 상기 장치는 스태커(stacker)인, 환경 내 자동화된 네비게이션을 위해 구성된 모바일 장치.
제 13 항에 있어서, 상기 장치는 오더 피커(order picker)인, 환경 내 자동화된 네비게이션을 위해 구성된 모바일 장치.
제 12 항에 있어서, 상기 체결 메커니즘은 상기 오브젝트를 체결하고 지지하기 위해 구성된 체결 로직을 포함하는 것으로서, 상기 체결 로직은 스테레오 센서 세트에 의해 획득된 오브젝트 센서 데이터의 기능으로서 상기 오브젝트의 매개 정보(parametric information)를 결정하기 위해 구성된 오브젝트 식별 로직을 포함하는, 환경 내 자동화된 네비게이션을 위해 구성된 모바일 장치.
제 17 항에 있어서, 상기 매개 정보는 상기 오브젝트의 크기와 모양을 나타내는 정보를 포함하는, 환경 내 자동화된 네비게이션을 위해 구성된 모바일 장치.
제 12 항에 있어서, 상기 네비게이션 로직은 상기 글림프스의 기능으로서 상기 에비던스 그리드를 업데이트하기 위한 로직을 더 포함하는, 환경 내 자동화된 네비게이션을 위해 구성된 모바일 장치.
제 12 항에 있어서, 상기 스테레오 센서들은 세트레오 카메라들을 포함하는, 환경 내 자동화된 네비게이션을 위해 구성된 모바일 장치.
제 12 항에 있어서, 상기 스테레오 센서들은 다른, 평행면 방향들로 향한 센서들을 포함하는, 환경 내 자동화된 네비게이션을 위해 구성된 모바일 장치.
제 12 항에 있어서, 복셀의 높은 점유 확률은 상기 복셀에 의해 재현된 공간에서의 점에 유형 오브젝트의 존재를 나타내는, 환경 내 자동화된 네비게이션을 위해 구성된 모바일 장치.
제 12 항에 있어서, 상기 다차원 에비던스 그리드는 3차원 에비던스 그리드인, 환경 내 자동화된 네비게이션을 위해 구성된 모바일 장치.