KR20170016010A

KR20170016010A - 연계된 형태 쌍들을 사용하는 미확인 차량 회수

Info

Publication number: KR20170016010A
Application number: KR1020177002339A
Authority: KR
Inventors: 카쉬얍 챈드라세카르; 리얀 에스텝; 루카스 비. 왈츠; 쟈코브 자이 톰슨
Original assignee: 크라운 이큅먼트 코포레이션
Priority date: 2014-06-27
Filing date: 2015-06-25
Publication date: 2017-02-10
Also published as: AU2015280776B2; BR112016030104A2; WO2015199554A3; AU2015280776A1; US9984467B2; US10614588B2; EP3161572B1; KR101769284B1; AU2015280775A1; KR20170024072A; EP3161573A2; WO2015199553A3; US20150379704A1; CN106662451A; AU2015280776A2; EP3161572A2; KR102436081B1; CN106461400A; US20180247428A1; CN106662451B

Abstract

본원에 기술된 실시예들에 따라서, 연계된 형태 쌍들을 사용하는 미확인 차량 회수 방법은 미확인된 것으로 결정된 자재 취급 차량에 대해서, 2차원 UV 공간 정보를 포함하는 상기 카메라로부터의 차후 세트의 카메라 데이터를 검색하고, 상기 UV 공간 정보로부터의 쌍들을 형성하고 그리고 형성된 쌍을 상기 산업 설비 맵의 복수의 3차원 전체 형태 지점들의 각각으로부터의 쌍들과 연계시키는 단계를 포함한다. 상기 방법은 상기 복수의 연계된 형태 쌍들의 최고 등급 쌍에 기초하여 상기 연계된 형태 쌍들의 차량 자세들로부터 최상 평가 자세를 계산하는 단계, 상기 최상 평가 자세를 현재 국부적 위치로 갱신하기 위하여 축적된 주행거리측정방법을 사용하는 단계, 상기 시드 위치를 상기 현재 국부적 위치로서 갱신하는 단계, 그리고 상기 갱신된 시드 위치를 사용하여 상기 자재 취급 차량을 작동시키는 단계를 포함한다.

Description

연계된 형태 쌍들을 사용하는 미확인 차량 회수{LOST VEHICLE RECOVERY UTILIZING ASSOCIATED FEATURE PAIRS}

관련 출원들의 교차 참조

본원은 목록 번호 CRNZ 0052 MA로 2014년 6월 27일자 출원된 미국 가출원 62/018,094호의 우선권 유익을 청구하며, 이들의 전체 내용은 본원에서 참고로 합체되어 있다.

본 명세서는 일반적으로 천정등(ceiling light)의 특징에 기초하는 산업용 차량을 위한 전역 자기위치인식(global localization)을 제공하기 위한 시스템 및 방법에 관한 것으로서, 특히 알려진 또는 알려지지 않은 위치에 있는 산업용 차량의 위치를 추적하기 위하여 창고의 천정등들의 패턴 또는 유일한 별자리를 분석하도록 전역 자기위치인식의 사용을 위한 시스템 및 방법에 관한 것이다.

산업 환경 주위로 물품을 이동시키기 위하여, 작업자들은 예를 들어, 포크리프트 트럭, 핸드 및 모터 구동식 팰릿 트럭 및/또는 기타 자재 취급 차량을 포함하는 산업용 차량들을 사용한다. 산업용 차량들은 주위환경을 통해서 운행되는 자동 안내식 차량 또는 수동 안내식 차량으로 구성될 수 있다. 자동식 안내, 네비게이션 또는 양자 모두를 용이하게 하기 위하여, 산업용 차량은 환경 내에서 자기위치인식을 위하여 적합하게 구성될 수 있다. 즉, 산업용 차량은 예를 들어, 산업용 차량의 자세 및 위치와 같은 환경 내의 산업용 차량의 위치를 결정하기 위한 센서 및 프로세스와 함께 구성될 수 있다.

센서들은 환경 내의 대상물을 검출하도록 구성되고 자기위치인식은 이러한 검출 대상물로부터 추출된 형태에 따라 좌우될 수 있다.

일 실시예에 있어서, 자재 취급 차량은 카메라, 하나 이상의 차량 프로세서, 재고품 수송면을 따라 자재 취급 차량을 이동시키도록 구성된 구동 기구, 산업 설비의 저장 구역에서 상품을 저장 및 회수하도록 구성된 자재 취급 기구 및 상기 구동 기구 및 상기 자재 취급 기구와 통신하는 차량 제어 아키텍처를 포함한다. 상기 카메라는 상기 차량 프로세서(들)에 통신 결합되고 오버헤드 형태들의 입력 이미지를 캡처한다. 산업 설비 맵은 상기 오버헤드 형태들의 맵핑과 연계된 복수의 3차원 전체 형태 지점들을 포함한다. 상기 자재 취급 차량의 차량 프로세서(들)는 상기 산업 설비에 있는 상기 자재 취급 차량의 시드 위치 및 상기 자재 취급 차량과 연계된 추측 항법(dead reckoning)에 기초하여 상기 산업 설비의 재고품 수송면에 대한 상기 자재 취급 차량의 국부적 위치를 결정하도록; 상기 국부적 위치에 대한 보정 피드백을 제공하기 위하여 2차원 UV 공간 정보를 포함하는, 상기 카메라로부터의 초기 세트의 카메라 데이터를 사용하도록; 상기 재고품 수송면을 따른 상기 자재 취급 차량의 운행을 추적하고, 적어도 부분적으로 자동화된 방식으로 상기 재고품 수송면을 따라서 상기 자재 취급 차량을 운행하거나, 또는 양자 모두를 실행하기 위하여 상기 국부적 위치를 사용하도록 차량 기능들을 실행한다. 상기 자재 취급 차량의 차량 프로세서(들)는 상기 산업 설비 시드 위치가 부정확한 데이터를 포함하는지, 상기 카메라 데이터가 상기 추측 항법과 연계된 에러를 보정하기에 불충분한지, 또는 양자 모두에 기초하여 상기 자재 취급 차량이 미확인되었는지를 결정하도록; 미확인된 경우, 2차원 UV 공간 정보를 포함하는 상기 카메라로부터의 차후 세트의 카메라 데이터를 검색하고, 상기 UV 공간 정보로부터의 쌍들을 형성하고 그리고 상기 UV 공간 정보로부터의 쌍들을 상기 산업 설비 맵의 복수의 3차원 전체 형태 지점들로부터의 쌍들과 연계시킴으로써 복수의 연계된 형태 쌍들을 생성하도록 차량 기능들을 추가로 실행한다. 상기 자재 취급 차량의 차량 프로세서(들)는 상기 카메라의 시야 범위 내에서 연계된 형태 쌍들에 대한 각각의 차량 자세들을 계산하도록; 상기 복수의 연계된 형태 쌍들의 최고 등급 쌍에 기초하여 상기 계산된 차량 자세들로부터 상기 자재 취급 차량의 최상의 평가 자세를 계산하도록; 상기 최상의 평가 자세를 현재 국부적 위치로 갱신하기 위하여 축적된 주행거리측정방법을 사용하도록; 상기 시드 위치를 상기 현재 국부적 위치로서 갱신하도록; 그리고 상기 갱신된 시드 위치를 사용하여 상기 자재 취급 차량을 작동시키도록 차량 기능들을 추가로 실행한다.

일 실시예에 있어서, 시스템은 자재 취급 차량 및 관리 서버를 포함한다. 상기 자재 취급 차량은 카메라, 하나 이상의 차량 프로세서, 재고품 수송면을 따라 상기 자재 취급 차량을 이동시키도록 구성된 구동 기구, 산업 설비의 저장 구역에서 상품을 저장 및 회수하도록 구성된 자재 취급 기구 및 상기 구동 기구 및 상기 자재 취급 기구와 통신하는 차량 제어 아키텍처를 포함한다. 상기 카메라는 상기 차량 프로세서(들) 및 상기 관리 서버에 통신 결합되고 오버헤드 형태들의 입력 이미지를 캡처한다. 상기 차량 프로세서(들)는 상기 관리 서버에 통신 결합된다. 산업 설비 맵은 상기 관리 서버에 저장되고 상기 차량 프로세서(들)에 통신 결합되고, 상기 산업 설비 맵은 상기 오버헤드 형태들의 맵핑과 연계된 복수의 3차원 전체 형태 지점들을 포함한다. 상기 자재 취급 차량의 차량 프로세서(들)는 상기 산업 설비에 있는 상기 자재 취급 차량의 시드 위치 및 상기 자재 취급 차량과 연계된 추측 항법에 기초하여 상기 산업 설비의 재고품 수송면에 대한 상기 자재 취급 차량의 국부적 위치를 결정하도록; 상기 국부적 위치에 대한 보정 피드백을 제공하기 위하여 2차원 UV 공간 정보를 포함하는, 상기 카메라로부터의 초기 세트의 카메라 데이터를 사용하도록; 상기 재고품 수송면을 따른 상기 자재 취급 차량의 운행을 추적하고, 적어도 부분적으로 자동화된 방식으로 상기 재고품 수송면을 따라서 상기 자재 취급 차량을 운행하거나, 또는 양자 모두를 실행하기 위하여 상기 국부적 위치를 사용하도록 차량 기능을 실행할 수 있다. 상기 자재 취급 차량의 차량 프로세서(들)는 상기 자재 취급 차량이 미확인되었는지를 결정하도록; 미확인된 경우, 2차원 UV 공간 정보를 포함하는 상기 카메라로부터의 차후 세트의 카메라 데이터를 검색하고, 상기 UV 공간 정보로부터의 쌍들을 형성하고 그리고 상기 UV 공간 정보로부터의 쌍들을 상기 산업 설비 맵의 복수의 3차원 전체 형태 지점들로부터의 쌍들과 연계시킴으로써 복수의 연계된 형태 쌍들을 생성하도록; 상기 카메라의 시야 범위 내에서 연계된 형태 쌍들에 대한 차량 자세들을 계산하도록; 상기 복수의 연계된 형태 쌍들의 최고 등급 쌍에 기초하여 상기 자재 취급 차량의 최상의 평가 자세를 계산하도록; 상기 최상의 평가 자세를 현재 국부적 위치로 갱신하기 위하여 축적된 주행거리측정방법을 사용하도록; 상기 시드 위치를 상기 현재 국부적 위치로서 갱신하도록; 그리고 상기 갱신된 시드 위치를 사용하여 상기 자재 취급 차량을 작동시키도록 차량 기능들을 추가로 실행한다.

실시예들에서, 상기 자재 취급 차량의 상기 차량 프로세서(들)는 상기 시드 위치를 상기 현재 국부적 위치로서 갱신하기 전에 상기 현재 국부적 위치를 검증하도록 차량 기능들을 추가로 실행한다. 상기 검증은 상기 현재 국부적 위치로서의 상기 시드 위치가 검증되도록, 숫자가 임계값을 초과할 때까지 각각의 데이터 연계 단계 후에 유일한 전체 형태 지점들의 상기 숫자를 기록하는 기능들을 포함한다.

실시예들에서, 상기 자재 취급 차량의 상기 차량 프로세서(들)는 상기 시드 위치를 상기 현재 국부적 위치로서 갱신한 후에 디스플레이 상에 상기 시드 위치를 상기 현재 국부적 위치로서 공표함으로써 상기 자재 취급 차량이 확인되는지를 표시하도록 차량 기능들을 추가로 실행한다.

실시예들에서, 상기 자재 취급 차량의 상기 차량 프로세서(들)는 상기 국부적 위치를 표시하는 차량 데이터를 관리 서버로 전송하도록; 그리고 디스플레이 상에 상기 국부적 위치를 공표하도록 차량 기능들을 추가로 실행한다.

실시예들에서, 상기 자재 취급 차량의 미확인에 대한 결정은 적어도 부분적으로 상기 산업 설비 시드 위치가 부정확한 데이터를 포함하는지에 기초한다. 실시예들에서, 상기 자재 취급 차량의 미확인에 대한 결정은 적어도 부분적으로 상기 카메라 데이터가 상기 추측 항법과 연계된 에러를 보정하기에 불충분한지에 기초한다. 실시예들에서, 상기 복수의 연계된 형태 쌍들은 데이터 연계 단계들에 의해서 생성되고, 상기 데이터 연계 단계들은 UV 공간 정보 쌍들을 생성하는 단계; 각각의 전체 형태 지점을 각각의 UV 공간 정보 쌍에 있는 제 1 UV 공간 형태와 연계시키는 단계; 그리고 상기 카메라의 최대 시야 범위 내에 있는 각각의 전체 형태 지점을 각각의 UV 공간 정보 쌍에 있는 제 2 UV 공간 형태와 연계시키는 단계를 포함한다.

실시예들에서, 상기 카메라의 시야 범위 내에 있는 각각의 연계된 형태 쌍에 대한 차량 자세의 계산은 적어도 부분적으로 전역 자기위치인식 알고리즘의 사용에 기초한다. 상기 전역 자기위치인식 알고리즘은 고정된 형태를 포함하는 연계된 형태 쌍의 제 1 UV 공간 형태에 관한 상기 차량의 요잉(yaw)을 계산하는 공식을 포함한다. 상기 공식은 N은 2개의 3D 벡터들의 외적이고; T는 요잉 회전을 위한 타겟 3D 지점이고;

을 포함한다.

실시예들에서, 상기 복수의 연계된 형태 쌍들의 최고 등급 쌍에 기초하는 상기 자재 취급 차량의 최상 평가 자세의 계산은 적어도 부분적으로 각각의 계산된 차량 자세에 대한 자세 총계 에러의 계산에 기초하고 상기 최고 등급 쌍은 최하위 자세 총계 에러를 가진다.

또다른 실시예에서, 재고품 수송면을 따라 자재 취급 차량을 운행하거나, 또는 운행을 추적하는 방법은 자재 취급 차량을 산업 설비의 재고품 수송면 상에 배치하는 단계로서, 상기 자재 취급 차량은 관리 서버와 통신하고 카메라, 하나 이상의 차량 프로세서들, 상기 재고품 수송면을 따라 상기 자재 취급 차량을 이동시키도록 구성된 구동 기구, 상기 산업 설비의 저장 구역에서 상품을 저장 및 회수하도록 구성된 자재 취급 기구 및 상기 구동 기구 및 상기 자재 취급 기구와 통신하는 차량 제어 아키텍처를 포함하는, 상기 배치 단계를 포함한다. 상기 방법은 상기 재고품 수송면을 따라서 상기 자재 취급 차량을 이동시키기 위해 상기 구동 기구를 사용하는 단계; 상기 자재 취급 차량이 상기 재고품 수송면을 따라서 이동할 때 상기 카메라를 통해서, 상기 산업 설비의 오버헤드 형태들의 입력 이미지를 캡처하는 단계; 상기 천정등들의 맵핑과 연계된 복수의 3차원 전체 형태 지점들을 포함하는 산업 설비 맵을 제공하는 단계; 상기 산업 설비에 있는 상기 자재 취급 차량의 시드 위치 및 상기 자재 취급 차량과 연계된 추측 항법에 기초하여 상기 차량 프로세서(들)를 통해서, 상기 산업 설비의 재고품 수송면에 대한 상기 자재 취급 차량의 국부적 위치를 결정하는 단계를 추가로 포함한다. 상기 방법은 상기 국부적 위치에 대한 보정 피드백을 제공하기 위하여 2차원 UV 공간 정보를 포함하는 상기 카메라로부터의 초기 세트의 카메라 데이터를 사용하는 단계; 상기 재고품 수송면을 따른 상기 자재 취급 차량의 운행을 추적하고, 적어도 부분적으로 자동화된 방식으로 상기 재고품 수송면을 따라서 상기 자재 취급 차량을 운행하거나, 또는 양자 모두를 실행하기 위해 상기 차량 프로세서(들)를 통해서, 상기 국부적 위치를 사용하는 단계를 추가로 포함한다. 상기 방법은 상기 자재 취급 차량이 미확인되었는지를 결정하는 단계; 미확인된 경우, 2차원 UV 공간 정보를 포함하는 상기 카메라로부터의 차후 세트의 카메라 데이터를 검색하고, 상기 UV 공간 정보로부터의 쌍들을 형성하고 그리고 상기 UV 공간 정보로부터의 쌍들을 상기 산업 설비 맵의 복수의 3차원 전체 형태 지점들로부터의 쌍들과 연계시킴으로써 복수의 연계된 형태 쌍들을 생성하는 단계를 추가로 포함한다. 상기 방법은 상기 차량 프로세서(들)를 통해서, 상기 카메라의 시야 범위 내에 있는 연계된 형태 쌍들에 대한 차량 자세를 계산하는 단계; 상기 차량 프로세서(들)를 통해서, 상기 복수의 연계된 형태 쌍들의 최고 등급 쌍에 기초하여 상기 자재 취급 차량의 최상 평가 자세를 계산하는 단계; 상기 차량 프로세서(들)를 통해서, 상기 최상 평가 자세를 현재 국부적 위치로 갱신하기 위하여 축적된 주행거리측정방법을 사용하는 단계; 상기 시드 위치를 상기 현재 국부적 위치로서 갱신하는 단계; 그리고 상기 갱신된 시드 위치를 사용하여 상기 자재 취급 차량을 작동시키는 단계를 추가로 포함한다.

실시예들에서, 상기 방법은 상기 시드 위치를 상기 현재 국부적 위치로서 갱신하기 전에 상기 현재 국부적 위치를 검증하는 단계를 추가로 포함하고, 상기 검증은 상기 현재 국부적 위치로서의 상기 시드 위치가 검증되도록, 숫자가 임계값을 초과할 때까지 각각의 데이터 연계 단계 후에 유일한 전체 형태 지점들의 상기 숫자를 기록하는 단계를 추가로 포함한다. 실시예들에서, 상기 방법은 상기 시드 위치를 상기 현재 국부적 위치로서 갱신한 후에 디스플레이 상에 상기 시드 위치를 상기 현재 국부적 위치로서 공표함으로써 상기 자재 취급 차량이 확인되는지를 표시하는 단계를 추가로 포함한다. 실시예들에서, 상기 관리 서버는 디스플레이, 무선 통신 회로 및 상기 차량 프로세서(들)와 통신하고, 상기 방법은 상기 무선 통신 회로를 통해서, 상기 국부적 위치를 표시하는 차량 데이터를 상기 관리 서버에 전송하는 단계; 그리고 디스플레이 상에 상기 국부적 위치를 공표하는 단계를 추가로 포함한다.

본원에 기술된 실시예들에 의해서 제공된 상기 형태 및 추가 형태는 도면과 연계하여 하기 기술된 상세한 설명을 참고할 때 더욱 충분하게 이해될 것이다.

도면에 기술된 실시예들은 본질상 도해적 및 예시적이고 청구범위에 의해서 규정된 요지를 한정하도록 의도된 것이 아니다. 예시적 실시예의 하기 상세 설명은 다음 도면과 연계하여 읽을 때 이해될 수 있고, 도면에서 유사 구조는 유사 도면부호로 지정된다.
도 1은 본원에 도시되고 기술된 하나 이상의 실시예들에 따른 자기위치인식을 위한 차량을 도시한다.
도 2는 본원에 도시되고 기술된 하나 이상의 실시예들에 따른 예시적 자기위치인식 시스템을 도시하는 블록도를 도시한다.
도 3은 본원에 도시되고 기술된 하나 이상의 실시예들에 따른 자기위치인식 프로세스 내의 전역 자기위치인식 방법의 카메라 형태 추출 및 적용 및 확인을 위한 예시적 방법의 흐름도를 도시한다.
도 4는 본원에 도시되고 기술된 하나 이상의 실시예들에 따른 전역 자기위치인식 방법을 위한 예시적 방법의 흐름도 개요를 도시한다.
도 5는 본원에 도시되고 기술된 하나 이상의 실시예들에 따른 UV 공간 형태 (A,B,C,D)를 포함하는 예시적인 UV 이미지 공간 관찰을 도시한다.
도 6은 본원에 도시되고 기술된 하나 이상의 실시예들에 따른 전체 형태(1-12)를 포함하는 예시적 전체 지역 플롯(plot)을 도시한다.
도 7은 본원에 도시되고 기술된 하나 이상의 실시예들에 따르고 도 6에 기초하는 모든 가능한 전체 형태 쌍의 조합들의 목록을 도시한다.
도 8은 본원에 도시되고 기술된 하나 이상의 실시예들에 따른 카메라의 최대 시야 및 범위 및 전체 형태(1-12)를 포함하는 예시적 전체 지역 플롯을 도시한다.
도 9는 본원에 도시되고 기술된 하나 이상의 실시예들에 따르고 도 5에 도시된 UV 공간 관측과 정합하는 모든 가능한 차량 위치 및 자세를 포함하는 전체 형태 주위의 원형 경로를 포함하는 예시적 차량 경로 플롯을 도시한다.
도 10a는 전체 형태들의 쌍의 예시적 플롯을 도시하며, 상기 쌍의 제 2 전체 형태는 제 1 전체 형태 주위의 원형 경로를 따르고 양쪽 모두의 형태들은 본원에 도시되고 기술된 하나 이상의 실시예들에 따라서 실질적으로 동일 높이에 있다.
도 10b는 전체 형태들의 쌍의 예시적 플롯을 도시하며, 상기 쌍의 제 2 전체 형태는 제 1 전체 형태 주위의 원형 경로를 따르고 상기 형태들은 본원에 도시되고 기술된 하나 이상의 실시예들에 따라서 다른 높이에 있다.
도 11a는 유효 연계 형태(valid associated feature)들을 도시하는 도 10a의 예시적 플롯을 도시하고 본원에 도시되고 기술된 하나 이상의 실시예들에 따라서 제 1 전체 형태 지점 및 플롯된 관측 제 2 전체 형태 지점 사이의 라인의 각도인 차량의 헤드를 따라 플롯된 제 2 전체 형태의 관측된 UV 공간 지점을 도시한다.
도 l1b는 무효 연계 형태(invalid associated feature)들을 도시하는 도 10b의 예시적 플롯을 도시하고 본원에 도시되고 기술된 하나 이상의 실시예들에 따라서 제 1 전체 형태 지점 및 플롯된 관측 제 2 전체 형태 지점 사이의 라인의 각도인 차량의 헤드를 따라 플롯된 제 2 전체 형태의 관측된 UV 공간 지점을 도시한다.
도 12a는 UV 공간에 있는 관측 및 예측 전체 형태들 사이의 이미지 공간 에러의 제 1 세트의 예시적 플롯을 도시하고 그 연계된 총계 에러들은 본원에 도시되고 기술된 하나 이상의 실시예들에 따른 픽셀 차이들을 도시한다.
도 12b UV 공간에 있는 관측 및 예측 전체 형태들 사이의 이미지 공간 에러의 제 2 세트의 예시적 플롯을 도시하고 그 연계된 총계 에러들은 본원에 도시되고 기술된 하나 이상의 실시예들에 따른 픽셀 차이들을 도시한다.
도 13은 본원에 도시되고 기술된 하나 이상의 실시예들에 따른 예시적 축적 주행거리측정 프로그램 흐름 방법의 흐름도의 개요를 도시한다.
도 14는 본원에 도시되고 기술된 하나 이상의 실시예들에 따른 예시적 자기위치인식 시스템 검증 프로그램 흐름 방법의 흐름도의 개요를 도시한다.

본원에 기술된 실시예들은 일반적으로 채광창(skylight)을 포함하지만 이에 국한되지 않는 오버헤드 조명으로부터 형태를 추출하기 위한 자기위치인식 기술(localization technique)에 관한 것이다. 자기위치인식은 창고, 산업 설비 또는 기타 환경에서 차량 위치의 능동 추적을 가능하게 하는 임의의 다양한 시스템 구성들을 참조하기 위하여 본원에서 사용되는 어구이다. 본원의 개념은 임의의 특정 자기위치인식 시스템 구성에 국한되지 않고 임의의 다양한 종래 그리고 아직 개발될 자기위치인식 시스템에 적용가능한 것으로 간주된다. 하기에 더욱 상세하게 기술되는 바와 같이, 자기위치인식 시스템은 산업 차량이 자기위치인식 시스템 방법을 통해서 미확인된 경우, 전역 자기위치인식 방법(GLM)은 차량을 회수하는데 사용될 수 있고, 상기 검증 시스템은 새로운 현재 차량 위치를 공표하기 전에 회수의 정확도를 체크하는데 사용될 수 있도록, 전역 자기위치인식 방법(GLM) 및/또는 검증 시스템을 따라 사용될 수 있다. 추가로 또는 대안으로, 전역 자기위치인식 방법(GLM)은 자기위치인식 시스템 자체 뿐 아니라 회수 시스템으로서 사용될 수 있고 그리고/또는 검증 시스템은 자기위치인식 시스템 및/또는 전역 자기위치인식 방법(GLM)과 함께 사용될 수 있다.

상기 자기위치인식 시스템은 창고와 같은 빌딩 구조물을 통해서 산업 차량을 위치시키고 그리고/또는 운행하는데 사용될 수 있다. 적당하게는, 오버헤드 조명은 빌딩의 천장 내에 또는 천장에 설치될 수 있다. 그러나, 임의의 실시예들에서, 조명은 또한 또는 대안으로 적당한 구조물을 통해서 천장 또는 벽으로부터 매달릴 수 있다. 임의의 실시예들에서, 카메라는 창고를 통해서 운행되는 산업 차량(예를 들어, 자동 안내 차량 또는 수동 안내 차량)에 설치될 수 있다. 입력 이미지는 이미지로부터 형태를 추출하기 전에 카메라로부터 캡처된 임의의 이미지일 수 있다.

이제 도 1에 있어서, 차량(100)은 창고(110)와 같은 산업 설비를 통해서 운행하도록 구성될 수 있다. 차량(100)은 재고품 수송면을 따라 자재 취급 차량을 이동시키도록 구성된 구동 기구, 산업 설비의 저장 구역에서 상품을 저장 및 회수하도록 구성된 자재 취급 기구 및 상기 구동 기구 및 상기 자재 취급 기구와 통신하는 차량 제어 아키텍처를 포함하는, 자재 취급 차량을 포함할 수 있다. 차량(100)은 예를 들어, 포크리프트 트럭, 리치 트럭, 터렛 트럭(turret truck), 월데 스택커 트럭(wallde stacker truck), 토우 트럭, 팰릿 트럼, 하이/로우 스태커 트럭(high/low a stacker-truck), 트레일러 로더, 사이드로더, 포크 호이스트 등과 같은 페이로드(payload)를 들어올리고 이동시키기 위한 산업 차량을 포함할 수 있다. 산업 차량은 원하는 경로를 따라서 창고(110)의 표면(122)과 같은 재고품 수송면을 자동 또는 수동으로 운행하도록 구성될 수 있다. 따라서, 차량(100)은 하나 이상의 휠(124)의 회전에 의해서 전후로 안내될 수 있다. 추가로, 차량(100)은 하나 이상의 휠(124)을 조정하여 방향을 변경시키도록 유발될 수 있다. 선택적으로, 차량은 휠(124)의 속도, 휠(124)의 방위 등을 포함하지만, 이에 국한되지 않는 차량의 기능을 제어하기 위한 작동자 제어부(126)를 포함할 수 있다. 작동자 제어부(126)는 예를 들어, 스위치, 버튼, 레버, 핸들, 페달, 입력/출력 장치 등과 같은 차량(100)의 기능에 부여되는 제어부들을 포함할 수 있다. 본원에 사용되는 용어 "운행(navigate)"은 한 장소에서 다른 장소로의 차량의 이동을 제어하는 것을 의미할 수 있다.

차량(100)은 오버헤드 형태들의 입력 이미지와 같은 오버헤드 이미지를 캡처하기 위한 카메라(102)를 추가로 포함할 수 있다. 카메라(102)는 대상물의 시각적 외형을 캡처할 수 있고 시각적 외형을 이미지로 변환할 수 있는 임의의 장치일 수 있다. 따라서, 카메라(102)는 예를 들어, 충전 결합 장치, 상보 금속-산화물 반도체 센서 또는 그 동등 기능과 같은 이미지 센서를 포함할 수 있다. 임의의 실시예들에서, 차량(100)은 창고(110) 내에 위치할 수 있고 창고(110)의 천정(112)의 오버헤드 이미지들을 캡처하도록 구성될 수 있다. 오버헤드 이미지들을 캡처하기 위하여, 카메라(102)는 차량(100)에 설치될 수 있고 천정(112)에 집중될 수 있다. 본원을 규정하고 기술하기 위해, 본원에 사용되는 용어 "이미지"는 검출 대상물의 외형을 나타내는 것을 의미할 수 있다. 상기 이미지는 예를 들어, JPEG, JPEG 2000, Exif, TJJPF, 미가공 이미지 포맷들, GIF, BMP, PNG, Netpbm 포맷, WEBP, 래스터 포맷들, 벡터 포맷들, 또는 오버헤드 대상물을 캡처하기에 적합한 임의의 다른 포맷과 같은 다양한 기계 판독가능한 표현으로 제공될 수 있다.

상기 창고(110)의 천정(112)은 천정(112)으로부터 또는 일반적으로 창고에서 작동하는 차량 위로부터의 조명을 제공하기 위한 천정등(114)을 포함하지만 이들에 국한되지 않는 오버헤드 라이트를 포함할 수 있다. 천정등(114)은 예를 들어 채광창(116), 형광등 등과 같은 실질적으로 직사각형 라이트를 포함할 수 있고; 위로부터의 조명을 제공하기 위하여 천정 또는 벽 구조물에 설치되거나 또는 천정 또는 벽 구조물로부터 매달릴 수 있다. 본원에서 사용되는 바와 같이, 용어 "채광창"은 예를 들어, 공기, 유리, 플라스틱 등과 같은 일광을 허용하는 실질적인 광투과 매체가 설치된 천정 또는 지붕 내의 개구를 의미할 수 있다. 채광창은 다양한 형상 및 크기를 가질 수 있지만, 본원에 기술된 채광창은 거더 또는 크로스바에 의해서 일련의 패널로 분할되거나 또는 분할될 수 없는 "표준규격"의 긴, 실질적인 직사각형의 채광창을 포함할 수 있다. 대안으로, 채광창은 침실창과 유사한 크기 즉, 약 30인치×약 60인치(약 73 cm ×약 146 cm)의 원형 또는 직사각형의 소형 개별 채광창을 포함할 수 있다. 대안으로 또는 추가로, 상기 천정등(114)은 둥근 라이트(118), 병합 라이트(120)와 같은 실질적인 원형 라이트를 포함하고, 이들은 단일 대상물 등인 복수의 인접 둥근 라이트를 포함할 수 있다. 그러나, 오버헤드 라이트 또는 '천정등'은 자연광원(예를 들어, 햇빛) 및 인공광(예를 들어, 전기 동력의) 라이트를 포함할 수 있다.

본원에 기술된 실시예들은 카메라(102)에 통신 결합된 프로세서(104)와 같은 하나 이상의 차량 프로세서들을 포함할 수 있다. 하나 이상의 프로세서들(104)은 본원에 기술된 임의의 방법 또는 기능을 자동으로 실행하기 위하여 기계 판독가능한 지령을 실행할 수 있다. 기계 판독가능한 지령을 저장하기 위한 메모리(106)는 하나 이상의 프로세서(104), 카메라(102) 또는 임의의 조합에 통신 결합될 수 있다. 하나 이상의 프로세서(104)는 프로세서, 집적 회로, 마이크로칩, 컴퓨터 또는 기계 판독가능한 지령을 실행하거나 또는 기계 판독가능한 지령과 유사한 방식으로 기능을 실행하도록 구성된 임의의 다른 컴퓨팅 장치를 포함할 수 있다. 메모리(106)는 RAM, ROM, 플래쉬 메모리, 하드 드라이브 또는 기계 판독가능한 지령을 저장할 수 있는 임의의 비임시 장치를 포함할 수 있다.

하나 이상의 프로세서(104) 및 메모리(106)는 카메라(102)와 통합될 수 있다. 대안으로 또는 추가로, 하나 이상의 프로세서(104) 및 메모리(106)는 각각 차량(100)과 통합될 수 있다. 더우기, 하나 이상의 프로세서(104) 및 메모리(106)는 차량(100) 및 카메라(102)로부터 각각 분리될 수 있다. 예를 들어, 관리 서버, 서버 또는 이동형 컴퓨팅 장치는 하나 이상의 프로세서(104), 메모리(106) 또는 양자 모두를 포함할 수 있다. 하나 이상의 프로세서(104), 메모리(106) 및 카메라(102)는 본원의 범주 내에서 서로 통신 결합된 개별 구성요소들일 수 있다는 것을 주목해야 한다. 따라서, 임의의 실시예들에서, 하나 이상의 프로세서(104)의 구성요소, 메모리(106)의 구성요소 및 카메라(102)의 구성요소는 서로 물리적으로 분리될 수 있다. 본원에서 사용된 어구 "통신 결합된(communicatively coupled)"은 상기 구성요소들이 예를 들어, 전도성 매체를 통한 전기 신호, 공기를 통한 전자기 신호, 광 도파관 등을 통한 광학 신호와 같이, 서로 데이터 신호들을 교환할 수 있다는 것을 의미한다.

그러므로, 본원의 실시예들은 임의의 세대(예를 들어, 1GL, 2GL, 3GL, 4GL, 또는 5GL)의 임의의 프로그램 언어로 기록된 논리(logic) 또는 알고리즘을 포함할 수 있다. 논리 또는 알고리즘은 프로세서에 의해서 직접 실행될 수 있는 기계 판독가능한 지령으로 컴파일되거나 또는 어셈블리되고 기계 판독가능한 매체에 저장될 수 있는, 기계 언어 또는 어셈블리 언어, 객체 지향 프로그래밍(OOP), 스크립팅 언어, 마이크로코드 등으로서 기록될 수 있다. 대안으로 또는 추가로, 논리 또는 알고리즘은 하드웨어 기술 언어(HDL)로 기록될 수 있다. 추가로, 논리 또는 알고리즘은 필드 프로그램가능한 게이트 어레이(FPGA) 구성 또는 주문형 집적 회로(ASIC) 또는 그 동등물을 통해서 실행될 수 있다.

상술한 바와 같이, 차량(100)은 하나 이상의 프로세서(104)와 통신 결합되거나 또는 하나 이상의 프로세서를 포함할 수 있다. 따라서, 하나 이상의 프로세서(104)는 작동자 제어부(126)의 기능을 작동시키거나 또는 대체하는 기계 판독가능한 지령을 실행할 수 있다. 기계 판독가능한 지령은 메모리(106)에 저장될 수 있다. 따라서, 임의의 실시예들에서, 차량(100)은 기계 판독가능한 지령을 실행하는 하나 이상의 프로세서(104)에 의해서 자동으로 운행될 수 있다. 임의의 실시예들에서, 차량의 위치는 차량(100)이 운행될 때 자기위치인식 시스템에 의해서 감시될 수 있다.

예를 들어, 차량(100)은 차량(100)의 국부적 위치에 기초하여 원하는 경로를 따라서 창고(110)의 표면(122)을 따라 원하는 위치로 자동으로 운행할 수 있다. 임의의 실시예들에서, 차량(100)은 창고(110)에 대한 차량(100)의 국부적 위치를 결정할 수 있다. 차량(100)의 국부적 위치의 결정은 이미지 데이터를 맵 데이터에 비교함으로써 실행될 수 있다. 맵 데이터는 메모리(106)에 국부적으로 저장될 수 있고, 이는 서버 등에 의해서 제공된 맵 데이터를 주기적으로 갱신될 수 있다. 실시예들에서, 산업 설비 맵은 오버헤드 형태들의 맵핑과 연계된 복수의 3차원 전체 형태 지점들을 포함한다. 국부적 위치 및 원하는 위치가 주어진 상태에서, 차량(100)에 대한 주행 경로가 결정될 수 있다. 일단 주행 경로가 알려지면, 차량(100)은 창고(110)의 표면(122)을 운행하기 위하여 주행 경로를 따라서 이동할 수 있다. 구체적으로, 하나 이상의 프로세서(104)는 자기위치인식 시스템을 실행하고 차량(100)을 작동시키기 위하여 기계 판독가능한 지령을 실행할 수 있다. 일 실시예에 있어서, 하나 이상의 프로세서(104)는 휠(124)의 운전을 조정하고 스로틀을 제어하여 차량(100)이 표면(122)을 운행하게 한다.

이제, 도 2에 있어서, 주행거리측정 융합과 함께 형태 추출 알고리즘을 통합하는 자기위치인식 시스템을 위한 일련의 기능의 흐름도가 개략적으로 도시된다. 상기 기능은 도시된 실시예에서 특정 시퀀스로 실행되는 것으로 기술되고 도시되지만, 상기 기능은 본원의 범주 내에서 대안 순서로 실행될 수 있다는 것을 주목해야 한다. 하나 이상의 기능들이 본원에 기술된 실시예의 범주 내에서 생략될 수 있다는 것도 역시 주목해야 한다. 예시적인 목적을 위하여, 사용된 자기위치인식 시스템(200)의 예는 본원의 통합 부분을 형성하는 자기위치인식 시스템의 도 2에 도시된 블록도에서 추가로 도시된다. 도시된 시스템은 창고에 있는 공지된 위치(즉, 시드) 및 융합된 주행거리측정을 갖는 추측 항법에 의해서 작동한다. 추측 항법과 연계된 에러를 보정하기 위하여, 천정을 투시하는 카메라는 맵핑 형태와 정합되고 독립 데이터를 사용하여 보정 피드백을 제공한다. 예를 들어, 시스템(200)은 이더넷(204)과 같은 통신 결합 시스템을 따라서 이미지 처리 천정등 추출 시스템(206)에 연결된다. 제한적이지 않은 예로서, 이미지 처리 천정등 추출 시스템(206)은 4 Hz에서 작동하고 오버헤드 형태 또는 라이트로부터의 이미지 또는 2차원 UV 공간 지점과 같은 형태들을 추출하기 위하여 알고리즘을 사용할 수 있다. 시스템(200)은 예를 들어, 60 Hz에서 작동하는 IMU-주행거리측정 융합부(216)를 형성하기 위하여 경로(214)를 따라 조합되도록 60 Hz에서 작동하는 차량(100)의 주행거리측정부(212)와 상호작용하는 차량(100)과 연계되고 60 Hz에서 작동하는 초기 측정 유닛(IMU;210)을 추가로 포함한다. IMU-주행거리측정 융합부(216)는 경로(218)를 따라서 예를 들어, 연장된 칼만 필터를 통해서 배치된 센서 데이터 융합부(220)를 생성하기 위하여 이미지 처리 천정등 추출 시스템(206)과 조합된다. 라이트 맵(208)은 예를 들어, 60 Hz에서 작동하는 유선유도부(222) 및 센서 데이터 융합부(220)와 조합되어서 캔 버스 경로(226)를 따라 이동하고 x 좌표, y 좌표, 및 선두 또는 방향과 같은 자세 데이터를 포함하는 추적 위치(228)를 결정한다.

도 3에 있어서, 프로세스(300)는 자기위치인식 시스템 작동(300a), 회수 작동(300b) 및 검증 프로세스(300c)를 포함한다. 자기위치인식 시스템 작동(300a)이 도시되고, 여기서 신규 카메라 데이터(302) 및 신규 주행거리측정 데이터(304)는 조합되어서 차량(100)의 계산 단계(306)에서 현재의 자기위치인식 시스템 위치를 계산하고 그 다음 공표 단계(308)에서 현재의 자기위치인식 시스템 위치를 공표한다. 실시예들에서, 산업 설비의 재고품 수송면에 대한 상기 자재 취급 차량의 국부적 위치는 상기 자재 취급 차량과 연계된 추측 항법 및 상기 산업 설비에 있는 상기 자재 취급 차량의 시드 위치에 기초하여 결정된다. 예를 들어, 카메라로부터의 초기 세트의 카메라 데이터가 사용되고 국부적 위치에 대한 보정 피드백을 제공하기 위하여 2차원 UV 공간 정보를 포함한다. 상기 국부적 위치는 상기 재고품 수송면을 따른 상기 자재 취급 차량의 운행을 추적하고 그리고/또는 적어도 부분적인 자동 방식으로 상기 재고품 수송면을 따라 상기 자재 취급 차량을 운행하는데 사용된다.

만약, 카메라 데이터가 추측 항법 에러를 보정하기에 불충분하거나 또는 시드가 출발하기에 부정확하다면; 상기 시스템은 미확인으로 된다. 유사한 도전이 다른 유형의 자기위치인식 시스템과 연계된다. 실시예들에서, 상기 자재 취급 차량은 상기 산업 설비 시드 위치가 부정확한 데이터를 포함하는지 그리고/또는 카메라 데이터가 추측 항법과 연계된 에러를 보정하기에 불충분한지에 기초하여 미확인으로 결정된다. 자기위치인식 상태로 복귀하는 방법은 공지된 출발 위치에서 리-시드 위치인식(re-seed localization)이라는 것이 고려된다. 예를 들어, 본원에 기재되고 하기에 더욱 상세하게 기술되는 알고리즘을 포함하는 전역 자기위치인식 방법(GLM)은 카메라에 의해서 관측된 패턴 또는 빛 성좌[2차원(2D) UV 공간 좌표로 변환됨] 및 카메라의 시각적 범위 내에서 관측가능한 모든 빛의 맵핑된 전역 자기위치인식을 사용하여 비록 트럭의 위치를 모르거나 또는 잃어버려도 트럭의 위치를 계산한다. 이러한 전역 자기위치인식 방법(GLM)은 예를 들어 종래의 방법이 달성할 수 없는 창고의 다수의 그리고 상이한 높이에 있는 빛과 함께 실행된다. 실시예들에서, 전역 자기위치인식 방법(GLM)은 회수 작동(300b)에 대해서 하기에 기술되는 유사 프로세스를 따르는 초기 시드 위치를 위치시킬 수 있는 단독형 자기위치인식 시스템으로서 사용될 수 있다.

도 3은 어떻게 전역 자기위치인식 방법(GLM)이 미확인 상태에서 회수하기 위하여 자기위치인식 시스템에서 사용되는지를 도시한다. 사용된 자기위치인식 시스템이 미확인되어 산업 차량의 위치를 알 수 없을 때, 전역 자기위치인식 방법(GLM)은 신규 카메라 데이터의 개별 스레드에서 운영되기 시작한다. 전역 자기위치인식 방법(GLM)은 카메라 데이터에 의해서 제공된 2차원(2D) UV 공간 정보를 전체 형태로서 도시된 맵에서 3차원(3D) 빛으로 연계시키고, 그 다음 산업 차량의 전체 위치를 계산한다. 예를 들어, 복수의 연계된 형태 쌍들은 2차원 UV 공간 정보를 포함하는 카메라로부터의 초기 세트의 카메라 데이터를 검색하고, 상기 UV 공간 정보로부터 쌍들을 형성하고 그리고 상기 UV 공간 정보로부터의 각각의 쌍을 상기 산업 설비 맵의 복수의 3차원 전체 형태 지점들의 각각으로부터의 쌍과 연계시킴으로써 생성된다. 하기에 더욱 상세하게 기술된 바와 같이, 카메라의 시야 범위 내에 있는 각각의 연계된 형태 쌍에 대한 차량 자세가 계산되고 상기 복수의 연계된 형태 쌍들의 최고 등급 쌍에 기초하는 상기 자재 취급 차량의 최상위 평가 자세가 계산된다. 하기 기술된 바와 같이, 상기 자재 취급 차량과 연계된 축적된 주행거리측정은 최상의 평가 자세를 현재 국부적 위치로 갱신하는데 사용되고 시드 위치는 현재 국부적 위치로서 세팅된다. 상기 자재 취급 차량의 운행은 상기 재고품 수송면을 따라 추적되고 그리고/또는 상기 자재 취급 차량은 현재 국부적 위치를 사용하여 적어도 부분적으로 자동 방식으로 상기 재고품 수송면을 따라서 운행된다.

예를 들어, 자기위치인식 시스템의 스레드에서, 전역 자기위치인식 방법(GLM)이 운행되는 동안, 산업 차량에 대한 주행거리측정 데이터는 축적된다. 전역 자기위치인식 방법(GLM)이 성공할 때, 축적된 주행거리측정은 전역 자기위치인식 방법(GLM)으로부터 계산된 자세를 산업 차량의 현재 위치로 갱신하는데 사용된다. 이 산업 차량 위치는 검증 상태에서 자기위치인식 시스템을 시드(seed)하는데 사용된다. 자기위치인식 시스템의 검증 상태에서, 상기 자기위치인식 시스템은 정상 운영되지만, 현재 위치를 공표하지 않는다. 상기 검증이 예를 들어, 창고의 임의의 수와 같은 임계수의 라이트들과 정합함으로써 성공할 때, 자기위치인식 시스템은 현재 자세의 공표를 개시할 수 있다.

예를 들어, 도 3에 있어서, 단계(310)에서 현재 위치가 미확인되는지에 대한 결정이 이루어진 후에, 회수 작동(300b)은 개시된다. 회수 작동(300b)은 단계(312)에서 주행거리측정을 축적하는 것을 소거(clear)하고 단계(314)에서 전역 자기위치인식 방법(GLM)을 적용하는 것을 포함한다. 전역 자기위치인식 방법(GLM)의 적용은 현재 위치를 계산하기 위하여 신규 카메라 데이터(316)를 사용하는 것과 단계(324)에서 상기 방법이 성공적인지를 결정하는 것을 포함한다. 상기 방법이 성공적일 때, 신규 주행거리측정 데이터(318)는 단계(320)의 주행거리측정을 축적한 추측 항법과 함께 사용되어서, 단계(328)에서 현재 자기위치인식 시스템 위치를 계산하기 위하여 단계(324)의 성공적인 전역 자기위치인식 방법(GLM)과 함께 단계(326)에서 적용된 축적된 주행거리측정(322)을 제공한다.

검증 프로세스(300c)는 단계(308)에서 위치를 공표하기 전에 단계(328)의 계산 위치를 검출하기 위해 적용될 수 있다. 예를 들어, 신규 카메라 데이터(330) 및 신규 주행거리측정 데이터(332)는 단계(328)에서 현재 자기위치인식 시스템 위치를 계산하는데 사용되고 정합되는 신규 전체 형태들은 단계(324)에서 기록 및 계수된다. 차량(100)이 단계(336)에서 읽어지면, 회수 작동(300b)은 다시 개시된다. 만약, 차량(100)이 미확인되지 않고 정합되는 신규 전체 형태들의 계수가 하기에 추가로 상세하게 기술되는 바와 같이 임계값을 초과하면, 검증 상태는 단계(338)에서 완료된 것으로 고려되고 자기위치인식 시스템은 단계(308)에서 위치 데이터를 공표하기 위하여 검증 상태를 빠져나온다. 만약, 검증 단계가 단계(338)에서 완료된 것으로 고려되지 않으면, 검증 프로세스(300c)는 검증 단계가 완료로 고려될 때까지 계속된다.

본원은 하기에 전역 자기위치인식 방법(GLM)을 상세하게 기술하며, 상기 전역 자기위치인식 방법(GLM)은 자기위치인식 시스템 스레드[또는 자기위치인식 시스템으로서 사용된 개별 전역 자기위치인식 방법(GLM)]로부터 축적되는 주행거리측정을 성공적인 전역 자기위치인식 방법(GLM) 회수 스레드에 적용하는 것을 모으는 방법 및 프레임워크와 함께 알고리즘 및 여과 프로세스를 포함한다. 추가로, 자기위치인식 시스템 검증 알고리즘 또는 방법은 더욱 상세하게 설명되고 기술된다.

도 4에 있어서, 흐름도는 2차원의 UV 공간 좌표로 카메라에 의해서 관측된 형태들을 사용하는 산업 차량의 위치를 결정하는 전역 자기위치인식 방법(GLM)에서 단계들의 개요를 도시하고 상기 2차원의 UV 공간 좌표는 카메라가 관측하는 범위로부터 그리고 전체 형태 지점들을 나타내는 3D 좌표들의 전체 맵으로부터 대응 3차원(3D) 좌표들과 연계된다. 상기 연계된 형태들이 정합된 후에, 연계된 형태들에 대한 등급 또는 순위를 제공할 때 여과가 이루어진다. 예를 들어, 최소 순위의 쌍일 수 있는 상기 연계된 형태[이러한 연계된 형태는 알려진 2D UV 공간 좌표 및 전체 3D 좌표]의 팬(pan)은 전체 추적 위치를 결정하기에 충분하다.

전체적으로, 도 4는 신규 카메라 데이터를 캡처하는 단계(401)에서 개시하는 전역 자기위치인식 방법(GLM) 개요(400)를 도시한다. 신규 카메라 데이터는 단계(402)에서 제시된 바와 같이, [비록, 산업 설비 또는 창고에 있는 연계된 형태 쌍들의 모든 가능한 조합들은 마찬가지로 발생될 수 있지만] 산업 설비 또는 창고에 있는 연계된 형태 쌍들의 가능한 조합들을 생성하기 위하여 카메라의 시야 범위에 있는 전체 3D 좌표와 연계되는 2차원 UV 공간 좌표를 제공한다. 단계(404)에서, 상기 전역 자기위치인식 방법(GLM)이 적용되는 산업 차량의 자세는 각각의 연계된 형태 쌍으로부터 계산된다. 각각의 계산된 자세는 다른 계산된 자세들에 대해서 순위 및 등급 설정된다. 예를 들어, 단계(406)에서, 각각의 연계된 형태 쌍으로부터 각각 계산된 자세에 있는 총계 에러는 실제 관측된 카메라 뷰에 대한 예측 카메라 뷰의 비교에 의해서 추가로 계산되고, 하부 총계 에러는 예측 및 관측 뷰들 사이의 우수한 정합을 표시한다. 시스템 또는 사용자에 의해서 세팅된 임계값보다 큰 총계 에러를 갖는 산업 차량에 대한 자세는 무효 정합으로 간주되고 여과된다. 이러한 여과가 이루어지고 단계(412)에서 전역 자기위치인식 방법(GLM) 성공을 표시하는 단계(410)에서 단일 자세가 잔류할 때까지 단계(408)를 통해서 반복된다.

산업 설비 또는 창고에 있는 연계된 형태 쌍들의 가능한 조합의 생성을 도시하는 도 4의 단계(402)에 대해서, 도 5 내지 도 8은 상기 단계(402)에 관련된 추가 상세사항을 도시한다. 예를 들어, 산업 차량 위치를 모르거나 또는 잃어버렸을 때, 도 5의 밑에 도시된 2D UV 공간 형태를 도 6의 밑에 도시된 창고 맵에 있는 전체 형태와 직접 정합시키기에 정보가 충분하지 않다. 그러므로, 2D 공간 형태 및 3D 전체 형태의 쌍 사이의 모든 가능한 조합은 연계된 형태 쌍들로 발생될 수 있고, 검출된 부정확한 연계된 형태 쌍들은 목록 또는 발생된 연계 형태 쌍들로부터 여과될 수 있다. 연계된 형태들의 단순한 한 쌍이 산업 차량의 자세를 산출하도록 요구될 때, 2D UV 공간 형태들은 작업의 중복을 회피하기 위하여 단일 쌍으로 그룹으로 묶어진다. 예를 들어, 도 5의 4개의 형태들 A-D는 다음 6개의 쌍들 즉, AB, AD, AD, BC, BD, CD 그룹으로 된다.

도 5의 플롯(500)에 도시된 4개의 UV 공간 형태들로부터 유도될 수 있는 6개의 비중복 쌍들과 같은, 2D 공간 형태들의 쌍들은 도 6의 플롯(600)에 도시된 12개의 전체 형태들로부터 유도된 쌍들과 같은, 전체 형태들의 쌍들과 연계되지만, 영역(602)으로부터 그리고 그에 따라 카메라의 뷰 외부에 있는 단일 카메라 프레임에 캡처되기에 물리적으로 너무 이격되어 있는 전체 형태들은 연계된 형태 쌍들을 생성하기 위하여 이러한 연계에 대해서 적합하지 않다는 것을 이해해야 한다. 실시예들에서, 한 쌍의 정합 알고리즘은 A-B와 같은 UV 공간 형태의 제 1 쌍을 결정하고, 그리고 그 다음 각각의 전체 형태를 A-B:l 내지 A-B: 12와 같이, 상기 쌍의 제 1 UV 공간 형태에 연계시킬 것이다. 제 2 UV 공간 형태는 그 다음 제 1 연계 형태의 카메라의 최대 시야 범위 내에 있는 각각의 전체 형태에 연계된다. 예를 들어, 도 5 및 도 6에 있어서, 만약 전체 형태(1, 2, 3, 6)가 UV 공간 형태 A의 최대 시야 범위 내에 있다면, 예로서 A-B:l에 대한 상기 쌍들은 A-B:l-2, A-B:l-3, 및 A-B: l-6이다. 상기 쌍 정합 알고리즘을 적용하는 것은 발생될 동일 카메라 프레임 내에서 관측가능한 전체 형태들의 모든 가능한 순열(permutation)을 허용한다.

도 7에 있어서, 도 6의 12개의 전체 형태들의 모든 가능한 전체 형태 쌍들은 차트(700)에 기재되어 있다. 만약, 모든 가능한 연계된 형태 쌍이 기재된 상기 쌍들로부터 생성되면, 수학식 1의 하기 제시된 공식은 결과적으로 792 연계된 형태 쌍들이 얻어진다.

수학식 1 :

n의 k 순열에 대해서,

모든 가능한 비중복 연계된 형태 쌍들에 대한 수학식은

실시예들에서, 분석된 전체 형태 쌍들의 수를 감소시키는 알고리즘은 카메라의 뷰 및 시야 범위에서 보여질 수 있는 단지 이들 전체 형태들을 선택하는데 사용될 수 있다. 예를 들어, 도 7은 카메라의 시야 범위 내에 있는 볼드 프린트의 시각적 범위 쌍들을 도시한다. 수학식 1이 도 7에 있는 볼드 프린트 항목에 적용되어야 한다면, 수학식은 6(관측 쌍) * 45(볼드 프린트 전체 쌍) = 270 연계된 형태 쌍들이 된다. 다시 도 6에 있어서, 영역(802)으로부터의 시야 범위는 점선 원형 라인(804) 내의 영역으로서 도 8의 플롯(800)에 개략적으로 도시된다. 쌍들은 점선 원형 라인의 시각적 범위 내에 있는 모든 다른 전체 형태 지점들 및 중심 전체 형태 지점 사이에 생성된다. 볼드형 시야 범위 쌍들은 분석을 위해서 전체 형태 쌍들로서 선택되고, 수학식 1은 다음 결과를 발생시키기 위해 적용된다:

수학식 2:

그러므로, 전체 수의 792 연계된 형태 쌍들을 분석하는 것 대신에, 도 8의 카메라의 시야 범위 내에 있는 이들 연계된 형태 쌍들을 단지 분석할 때에만 180 연계된 형태 쌍들의 분석으로 감소된다.

각각의 분석된 연계 형태 쌍으로부터 산업 차량의 각각의 자세들의 계산을 나타내는, 도 4의 단계(404)에 대해서, 도 9 내지 도 11b는 상기 단계(404)에 관한 추가 상세사항을 제공한다. 예를 들어, 한 쌍의 연계 형태들에 의해서, 산업 차량의 전체 자세가 계산될 수 있다. 제 1 연계 형태 쌍은 UV 공간 형태 쌍 및 전체 형태 쌍 사이의 정확한 연계로 추정될 수 있다. 도 9에 도시된 바와 같이, 원형 경로는 UV 공간 관측과 정합하기 위하여 산업 차량에 대한 모든 가능한 위치들을 포함하는 전체 형태 지점 주위에 존재할 수 있다.

산업 차량이 도 9에 도시된 원형 경로 주위에서 주행해야 한다면, 연계된 카메라는 제 1 전체 형태 지점(1002a) 주위의 원형 경로를 추적하는 제 2 전체 형태 지점을 관측한다. 양자 모두의 전체 형태 지점들이 실질적으로 동일 높이일 때, 도시된 경로는 도 10a의 플롯(1000a)에 도시된 원(1004a)일 것이다. 상기 전체 형태 지점들이 상이한 높이일 때에는, 경로(1004b)는 도 10b의 플롯(1000b)에 도시된 지점(1002b) 주위에서 더욱 왜곡되고 덜 원형이 되고, P1은 정확하게 위치되는 것으로 추정되는 제 1 전체 형태 지점일 수 있고, P2는 연계된 형태 쌍의 예측된 제 2 전체 형태 지점에 대한 P1 주위의 경로일 수 있다.

도 11a의 플롯(1100a)에 있어서, 도 10a 상의 P1 지점(1102a) 주위에서 경로(1104a)로서 플롯된 제 2 전체 형태 지점의 예측 UV 공간 경로(P2)는 산업 차량의 방향 또는 방향각(heading)을 도시하는 라인(110a)과 함께 관측된 또는 실제 P2 UV 공간 지점(1106)과 함께 추가로 도시된다. 예를 들어, P1와 관측된 P2 지점 사이의 라인 각도는 UV 공간 플롯 상의 지점(P1)을 교차하는 수평 라인(1108)에 대한 산업 차량의 방향각을 나타낸다. 알려진 산업 차량의 방향각에 의해서, 도 9의 원형 경로에 또는 원형 경로 내의 산업 차량의 정확한 위치가 계산될 수 있다.

도 11b의 플롯(1100b)에 있어서, 무효 연계 형태 쌍이 도시된다. 예를 들어, 라인(1108)에 대한 방향각의 요잉 또는 각도는 도 11a에 도시된 것과 동일하다. 그러나, [P1 지점(1102b)에 대해서 제시된] 경로(1104b)를 따른 P2의 예측값은 라인(1110b)를 따른 관측된 P2 지점(1106)과 상이하다. 이러한 에러는 단계(406)의 여과 및 등급의 요구에 따라 하기에 기술된 알고리즘에서 파악되고 반영된다.

실시예들에서, 이행형태에서, 상술한 경험적 알고리즘보다 더욱 분석적인 유사 알고리즘은 산업 차량의 자세 또는 잠재적인 자세를 동일하게 계산하는데 사용될 수 있다. 예를 들어, 2개의 벡터들은 각각의 UV 공간 형태 지점들과 교차하도록 관측 카메라로부터 연장되는 전체 공간에 생성된다. (카메라가 위치하는) 산업 차량이 도 9에 도시딘 경로 상의 임의의 지점에 위치하면, 제 1 벡터는 제 1 전체 형태 지점을 통과한다.

수학식 3은 도 lla 및 도 llb에 도시되고 상술한 유사 분석을 사용하여 산업 차량의 요잉을 계산하는데 사용될 수 있는 알고리즘을 하기에 기술한다. 산업 차량의 피치, 롤 및 높이를 알아야 하고 그리고 고정된 형태(예를 들어, 쌍의 제 1 UV 공간 형태 지점)에 관한 요잉 회전은 제 2 벡터가 제 2 전체 형태 지점을 교차하도록 계산된다.

수학식 3:

N은 2개의 3D 벡터들의 외적이고;

T는 요잉 회전을 위한 타겟 3D 지점이며;

산업 차량의 계산된 요잉은 그 다음 예를 들어 도 9에 도시된 원형 경로 내의 산업 차량의 x 및 y 위치를 계산하는데 사용된다. 공식이 규정되지 않는다면, 그리고/또는 결과적 자세가 제 2 전체 형태가 관측 카메라의 시각적 범위 밖에 있게 유발할 때, 연계된 형태 쌍은 무효인 것으로 추정되고 하기에 더욱 상세하게 기술된 바와 같이, 낮은 등급으로 주어지고 그리고/또는 잠재적 현재 위치 자세로부터 여과될 수 있다.

수학식 3에 기술된 알고리즘은 산업 차량의 각각의 자세를 분석 및 계산하기 위하여 각각의 연계된 형태 쌍에 대해서 실행된다. 예를 들어, 수학식 2에 있어서, 분석하기 위해 180 연계된 형태 쌍이 있다면, 수학식 3의 알고리즘은 산업 차량에 대한 180의 각각의 계산된 잠재적 자세를 구하기 위하여 180번 실행될 것이다.

단일 자세가 현재 산업 차량의 전체 위치로서 선택을 위해 잔류할 때까지 산업 차량의 계산된 자세들의 여과 및 등급을 도시하는 도 4의 단계들(406,408,410)에 대해서, 도 12a 및 도 12b는 이들 단계들에 관한 추가 상세사항을 도시한다. 예를 들어, 수학식 3의 알고리즘의 결과는 알고리즘이 실행되는 각각의 연계된 형태 쌍에 대한 산업 차량에 대한 예측된 자세이다. 단계(402)에 대해서 상술한 연계된 형태 쌍들의 생성 방법으로 인하여, 관측된 전체 형태가 아닌 예측된 전체 형태를 갖는 대부분의 연계된 형태 쌍들은 부정확하게 정합될 것이다. 이는 결과적으로 산업 차량의 부정확한 자세 또는 위치 및 방위를 얻게 할 것이다. 예를 들어, 표 1은 아래에서 여과 프로세스를 겪는 다수의 연계된 형태 쌍들의 일부의 샘플 리스트를 도시한다.

실시예들에서, 단계(404)에서 이루어진 연계된 형태 쌍에 대한 잠재적 자세의 각각의 계산의 끝에서 제 1 라운드의 여과가 실행된다. 예를 들어, 연계된 형태 쌍으로부터 산업 차량의 잠재적 자세가 계산된 후에, 제 2 연계된 형태(예를 들어, 제 2 전체 형태 지점)의 유효성이 시험된다. 제 2 전체 형태 지점(1204a 또는 1204b)은 예측된 지점으로서 UV 공간 플롯 상으로 투영되고 도 12a 및 도 12b의 플롯(1200a 또는 1200b)에 도시된 바와 같이, 관측된 UV 공간 대응부분(1202a 또는 1204b)과 비교된다. 예측된 그리고 관측된 제 2 전체 형태 지점들 사이의 거리가 시스템의 최대 노이즈보다 클 경우에, 산업 차량의 각각의 그리고 비교 계산된 잠재적 자세는 무효로서 여과된다.

산업 차량의 잔여 계산된 잠재적 자세들은 각각의 계산된 자세를 생성하는데 사용된 각각의 쌍의 UV 공간 형태들과 정합되고 임의의 다른 관측된 형태들을 고려하지 않을 것이다. 도 12a 및 도 12b에 도시된 바와 같이, 산업 차량의 각각의 자세에서 실행된 UV 공간 형태들은 상기 산업 설비 또는 창고의 3D 전체 형태들의 맵을 사용하여 계산된다. 관측된 UV 공간 형태들은 최근접 예상 또는 예측 UV 공간 형태와 정합되고 모든 각각의 예상 및 관측된 픽셀들 사이의 픽셀 거리[예를 들어, 각각의 도 12a 및 도 12b의 d₁ 및 d₂]는 총계 에러값으로서 계산되고 기록된다. 예를 들어, 도 12a는 89.5 픽셀의 총계 에러를 도시하고 도 12b는 242.8 픽셀의 총계 에러를 도시한다. 추가 에러는 보관 시스템(racking system) 등을 통해서 형태를 관측하는 가능성을 허용하면서 명료한 관측을 갖는 산업 차량의 자세를 정확하게 지지하기 위하여 불명료한 관측으로 예상되는 각각의 관측 UV 공간 형태에 대해서 부가된다.

결과적으로 최대 관측 노이즈의 총계보다 큰 총계 에러를 갖는 산업 차량의 계산된 자세들은 여과된다. 잔여 자세들은 자세들의 등급설정 및 순위설정하는 총계 에러에 기초하여 하강 순서로 분류된다. 따라서, 단계(402)의 각각의 관측된 쌍은 결과적으로 동일 자세를 얻기 위해 정확하게 연계될 수 있다. 이행형태에서, 그러나, 수학식 3의 알고리즘의 제한 및 형태 추출 에러 및 카메라로 인하여, 모든 결과적 연계된 형태 쌍들이 결과적으로 정확한 자세가 되는 것은 아니다.

실시예들에서, 여과되지 않는 자세들로부터 구별되는 최하위 총계 에러를 갖는 트럭 자세들은 산업 차량의 중복 자세들을 제거하는 개재된 거리 임계값을 사용하면서 산업 차량의 가능한 현재 위치로서 선택된다. 예를 들어, 상술한 표 1에 대해서, 제 1 목록 자세는 모든 다른 목록 자세들의 최하위 총계 에러를 가질 때 산업 차량의 가능한 현재 자세들로서 선택된다. 제 1 선택 자세의 방향각 오차 및 위치 오차 내에 있는 잔류 자세들의 나머지는 중복으로 고려되고 산업 차량의 가능한 자세들의 목록에서 제거될 수 있다. 예를 들어, 표 1에 있는 산업 차량의 임의의 잔류 위치들이 1.5 미터 내에 있고 제 1 선택 자세 위치의 1도 내에 있다면, 이들 잔류 위치들은 중복으로 고려되고 본원에 기술된 바와 같이 여과 및 등급이 적용된 후에 산업 차량의 가능한 자세 또는 위치들의 최종 목록에 포함되지 않는다.

도 13에 있어서, 상술한 전역 자기위치인식 방법(GLM)이 도 4에 도시된 바와 같이 운영되지만, 산업 차량은 아직 이동중일 수 있다는 사실을 설명하는 축적된 주행거리측정 프로그램 흐름도 또는 시스템(1300)이 도시된다. 많은 가능한 형태(전역 및 UV 공간 모두에서)를 포함하는 큰 산업 설비 사이트 또는 창고에서, 전역 자기위치인식 방법(GLM)은 상술한 바와 같이 각각 선택되고 그리고/또는 가능한 연계된 형태 쌍을 분석하기 위하여 일분 미만에서 최대 수분까지의 임의의 시간이 소요될 수 있다. 도 13의 주행거리측정 축적 시스템은 전역 자기위치인식 방법(GLM)의 출발 위치 및 산업 차량의 현재 위치 사이에서 이 시간 중에 산업 차량에 의해서 주행된 거리의 추적을 유지할 수 있다.

도 13에 있어서, 일단 자기위치인식 시스템 미확인 이벤트(1300a)가 발생하면, 축적된 주행거리측정이 단계(1312)에서 소거된다. 전역 자기위치인식 방법(GLM)은 신규 카메라 데이터(1316)를 통해서 단계(1314)에서 적용된다. 만약 단계(1314)의 전역 자기위치인식 방법(GLM)이 단계(1324)에서 성공적이지 않은 것으로 결정되면, 프로세스는 단계(1312)에서 반복된다. 신규 주행거리측정 데이터(1318)는 단계(1320)에서 축적된 주행거리측정을 조정하고 단계(1322)에서 현재 축적된 주행거리측정을 계산하는데 사용된다. 만약, 단계(1314)의 전역 자기위치인식 방법(GLM)이 단계(1324)에서 성공적인 것으로 결정되면, 단계(1322)의 축적된 주행거리측정은 단계들(1314,1324)로부터의 전역 자기위치인식 방법(GLM) 결과들 및 단계(1326)의 추측 항법과 조합된다. 단계(1326)의 결과들은 그 다음 예를 들어 도 3의 검증 프로세스(300c)에 대해서 상술되고 도 14의 흐름도(1400)에 대해서 하기에 추가로 기술된 자기위치인식 시스템 검증 프로세스(1300c)를 통해서 검증되도록 전송된다.

실시예들에서, 전역 자기위치인식 방법(GLM)은 자기위치인식 시스템에서 개별 스레드로서 운영된다. 예를 들어 도 4에 대해서 기술된 바와 같이, 전역 자기위치인식 방법(GLM)의 알고리즘이 운영되고 실행되는 동안, 주요 자기위치인식 시스템 스레드는 0도의 방향각을 갖는 (0,0) 지점으로부터 추측 항법을 개시하여 원점에서 운영된다. 전역 자기위치인식 방법(GLM)이 성공일 때, 원점으로부터의 신규 현재 데이터 추측 항법 위치는 산업 차량의 전역 자기위치인식 방법(GLM)에 의해서 계산되는 개시된 출발 위치 또는 오히려 현재의 자세로 전치행렬되는 축적된 주행거리측정을 반영한다. 전역 자기위치인식 방법(GLM)이 실패하면, 주요 자기위치인식 시스템 스레드의 추측 항법은 처리가 개시되기 전에 또는 다른 신규(최신) 카메라 프레임 상에 재시도되기 전에 축적된 주행거리측정을 0으로 설정한다.

도 14에 있어서, 자기위치인식 시스템 검증 프로그램 흐름도(1400)가 제시되고 자세를 공표하기 전에 그리고 자기위치인식 시스템에서 정상 동작을 지속하기 전에 전역 자기위치인식 방법(GLM)에 의해서 계산된 산업 차량의 자세의 정확도 및 보정을 확인하기 위해 제공될 수 있다. 따라서, 작업자가 산업 차량의 자세를 인식하기 전에 자기위치인식 시스템이 정상이고 정확한 작동 상태에 있는지를 보장하도록 체크된다. 검증을 통해서, 자기위치인식 시스템은 전역 자기위치인식 방법(GLM)으로부터의 자세에 의해서 단계(1426)에서 시드(또는 오히려 재시드)되지만, 현재 위치를 보고하거나 또는 공표하지 않는다. 도 14의 단계(1428)에서, 다수의 유일한 전체 형태들은 정합 및 기록된다. 일단 유일한 전체 형태들의 상기 수가 임계값을 초과하면, 상기 자기위치인식 시스템은 검증 상태를 나오고 위치 데이터를 공표하기 시작한다. 유일한 전체 형태들에 대한 수에 대해서 선택된 특정 임계값은 산업 차량 및 산업 차량이 사용되는 산업 설비와 연계된 다양한 작동 요구조건에 따라 좌우될 수 있다는 것을 이해해야 한다. 예를 들어, 상기 임계값은 창고와 같은 산업 설비의 통상적인 통로에 있는 천정등들의 수와 동일하게 하는 것이 바람직하다. 대안으로 또는 추가로, 임계값은 검증 상태의 효과성을 감시하면서 시도 및 에러를 통해서 적어도 부분적으로 설정될 수 있다.

부정확한 산업 차량의 전역 자기위치인식 방법(GLM)으로 계산된 현재 자세 또는 시드에 대해서, 도 14의 단계(1428)는 정합 비율 하강으로서 신규 전체 형태들을 정합시킬 수 없어서, 자기위치인식 시스템은 [단계(1400b)에서 회수 유동으로 뒤로 복귀하기 위해] 단계(1436)에서 미확인되고 그리고/또는 단계(1438)에서 검증 실패된다. 단계(1438)에서 검증이 실패한다면, 상기 자기위치인식 시스템은 단계(1428)에서 계산된 현재 자기위치인식 시스템 위치를 제공하기 위하여 정확한 시드가 분석될 때까지 신규 세트의 카메라 데이터(1430)를 사용하여 전역 자기위치인식 방법(GLM)을 통해서 단계(1426)에서 신규 시드를 받도록 시도할 것이고 만약 단계(1436)에서 미확인되지 않았다면, 검증되어서 단계(1438)에서 완료된 검증으로 되고 단계(1400a)에서 일반 자기위치인식 시스템 동작으로 복귀한다.

본원에 기술된 전역 자기위치인식 방법(GLM) 알고리즘의 실시예들은 천정의 입력 이미지에 캡처된 대상물로부터의 형태들을 추출하는데 사용될 수 있다는 것을 이제 이해해야 한다. 그러므로, 예를 들어, 천정등과 같은 천정에 검출될 수 있는 대상물은 자기위치인식 시스템으로 보고될 수 있는 형태들을 생성하는데 사용될 수 있다. 자기위치인식 시스템은 차량의 자세, 차량의 위치 또는 양자 모두를 결정하기 위해 입력 이미지로부터 보고된 형태들을 사용할 수 있다. 예를 들어, 보고된 형태들은 연계하여 사용될 수 있는 지점 형태 및 중심선을 포함할 수 있다. 따라서, 차량의 자세 및 위치는 운항, 동시적 지역화 및 맵핑(SLAM) 등을 위한 파라미터로서 사용될 수 있다.

실시예들에서, 전역 자기위치인식 방법(GLM)은 자기위치인식 시스템을 따라 작동하는 회수 스레드 또는 기구일 수 있다. 다른 실시예들에서, 전역 자기위치인식 방법(GLM)은 종래의 자기위치인식 시스템을 대신하여 그리고/또는 종래의 자기위치인식 시스템에 대한 임의의 환경 조건에 대한 더욱 신뢰성있는 자기위치인식 방법을 제공하기 위하여 차량 배치 또는 운행 시스템에 대한 단독형 자기위치인식 알고리즘일 수 있다. 실시예들에서, 전역 자기위치인식 방법(GLM)의 알고리즘은 자기위치인식 시스템 위치를 검증하고 더욱 높은 안전 규격을 충족하기 위하여 검증 기구로서 작용하도록 자기위치인식 시스템과 평행하게 운영될 수 있다. 본원에 기술된 하나 이상의 전역 자기위치인식 방법(GLM) 알고리즘은 RFID-기초의 자기위치인식 시스템을 포함하지만, 이에 국한되지 않는 다양한 다른 차량 위치 및/또는 운행 시스템과 연계하여 사용될 수 있다는 것을 이해해야 한다. 추가로, 본원에 기술된 하나 이상의 전역 자기위치인식 방법(GLM) 알고리즘은 예를 들어 리프트 트럭과 같은 산업 차량의 리프트 높이 및/또는 속도와 같은, 산업 차량의 특정 기능을 제어하는 것을 보조하는데 사용될 수 있다. 본원에 기술된 전역 자기위치인식 방법(GLM)의 하나 이상의 알고리즘은 또한 다양한 차량 위치 및/또는 운행 시스템에 대한 진단 도구로서 사용될 수 있다는 것을 이해해야 한다.

그러므로, 상기 자기위치인식 시스템 및/또는 전역 자기위치인식 방법(GLM)은 차량의 운행을 위한 형태를 제공하는데 사용될 수 있거나 또는 자기위치인식 시스템 및/또는 전역 자기위치인식 방법(GLM)에 통신 결합된 디스플레이에 의해서 제공될 수 있다. 차량에 의해서 운행되는 특정 장소에 따른 전역 자기위치인식 방법(GLM) 알고리즘의 각각의 기능에 대해서 구성될 수 있는 다수의 파라미터(예를 들어, 임계값)들이 있다는 것을 주목해야 한다. 따라서, 본원에 기술된 실시예들은 파라미터에 대한 정확한 값들을 결정하기 위하여 눈금보정 단계를 추가로 포함할 수 있다.

본원의 "적어도 하나의" 구성요소, 요소 등의 용어는 "단수 표현"의 대안 사용이 단일 구성요소, 요소 등에 국한되어야 한다는 것으로 추론되도록 사용되지 않아야 한다는 것을 주목해야 한다. 예를 들어, "구동 기구"는 단일 구동 기구에 국한되지 않고 다수의 독립적 또는 통합된 구동 기구들을 사용한다는 것으로 고려될 수 있다.

하나 이상의 하기 청구항들은 임시적 또는 도입 어구로서 용어 "여기서", "기초하여" 그리고 "에 의해서" 등을 사용할 수 있다는 것을 주목해야 한다. 본원을 규정할 목적으로, 이들 용어들은 하나 이상의 청구항 인용을 도입하는데 사용되는 확장가능한 임시 또는 도입 어구로서 청구항에 도입된다는 것을 주목해야 하고 또한 더욱 일반적으로 사용된 확장가능한 용어 "포함하는"과 같은 방식으로 이해되어야 한다. 예를 들어, 설명한 변수에 기초하여 본원에 기술된 계산은 적어도 부분적으로 이들 변수에 기초할 수 있다. 추가로, 계수된 청구항 문단은 명시된 단계들의 수를 암시하는 것은 아니다.

본원을 기술하고 규정하기 위하여, 파라미터의 "함수"인 변수 또는 다른 변수에 대한 본원의 기술은 상기 변수가 오직 목록 파라미터 또는 변수의 함수라는 것을 지시하도록 의도된 것이 아니라는 것을 주목해야 한다. 오히려, 목록 파라미터의 "함수"인 변수에 대한 본원의 기술은 상기 변수가 단일 파라미터 또는 복수의 파라미터의 함수일 수 있도록 확장되도록 의도된 것이다.

특별한 특성을 구현하거나 또는 특정 방식으로 작용하도록 특정 방식으로 "구성" 또는 "프로그램"되는 본원의 구성요소의 본원 설명은 의도된 사용을 인용하는 것과 반대의 구조적 인용이라는 것을 주목해야 한다. 더욱 구체적으로 구성요소가 "구성"되거나 또는 "프로그램"되는 방식에 대한 설명은 구성요소의 기존의 물리적 상태를 지시하고 구성요소의 구조적 특징의 규정된 인용으로서 간주되어야 한다.

본원을 기술하고 규정하기 위해, 용어 "실질적으로" 그리고 "대략"은 정량적 비교, 값, 특정 또는 다른 제시에 기여할 수 있는 임의의 본질적인 불확실한 정도를 나타내기 위하여 본원에서 사용되는 것으로 주목해야 한다. 용어 "실질적으로" 그리고 "대략"은 또한 정량적 표현이 문제가 되는 요지의 기본 기능에서 변화를 유발하지 않고 기술된 상태에서 변화될 수 있는 정도를 나타내기 위해서 본원에서 사용된다.

특정 실시예들은 본원에 기술되고 도시되었지만, 청구된 요지의 정신 및 범주 내에서 여러 다른 변화 및 수정이 이루어질 수 있음을 이해해야 한다. 더우기, 비록 청구된 요지의 다양한 형태들이 본원에 기술되었지만, 이러한 형태들은 조합하여 사용될 필요는 없다. 따라서, 첨부된 청구범위는 청구된 요지의 범주 내에 있는 이러한 모든 변화 및 수정을 포괄하는 것으로 의도된다.

Claims

카메라, 하나 이상의 차량 프로세서, 재고품 수송면을 따라 자재 취급 차량을 이동시키도록 구성된 구동 기구, 산업 설비의 저장 구역에서 상품을 저장 및 회수하도록 구성된 자재 취급 기구 및 상기 구동 기구 및 상기 자재 취급 기구와 통신하는 차량 제어 아키텍처를 포함하는, 상기 자재 취급 차량으로서,
상기 카메라는 상기 차량 프로세서(들)에 통신 결합되고 오버헤드 형태들의 입력 이미지를 캡처하고;
산업 설비 맵이 상기 오버헤드 형태들의 맵핑과 연계된 복수의 3차원 전체 형태 지점들을 포함하고; 그리고
상기 자재 취급 차량의 차량 프로세서(들)는:
(i) 상기 산업 설비에 있는 상기 자재 취급 차량의 시드 위치 및 상기 자재 취급 차량과 연계된 추측 항법(dead reckoning)에 기초하여 상기 산업 설비의 재고품 수송면에 대한 상기 자재 취급 차량의 국부적 위치를 결정하도록;
(ii) 상기 국부적 위치에 대한 보정 피드백을 제공하기 위하여 2차원 UV 공간 정보를 포함하는, 상기 카메라로부터의 초기 세트의 카메라 데이터를 사용하도록;
(iii) 상기 재고품 수송면을 따른 상기 자재 취급 차량의 운행을 추적하고, 적어도 부분적으로 자동화된 방식으로 상기 재고품 수송면을 따라서 상기 자재 취급 차량을 운행하거나, 또는 양자 모두를 실행하기 위하여 상기 국부적 위치를 사용하도록;
(iv) 상기 산업 설비 시드 위치가 부정확한 데이터를 포함하는지, 상기 카메라 데이터가 상기 추측 항법과 연계된 에러를 보정하기에 불충분한지, 또는 양자 모두에 기초하여 상기 자재 취급 차량이 미확인되었는지를 결정하도록;
(v) 미확인된 경우, 2차원 UV 공간 정보를 포함하는 상기 카메라로부터의 차후 세트의 카메라 데이터를 검색하고, 상기 UV 공간 정보로부터의 쌍들을 형성하고 그리고 상기 UV 공간 정보로부터의 쌍들을 상기 산업 설비 맵의 복수의 3차원 전체 형태 지점들로부터의 쌍들과 연계시킴으로써 복수의 연계된 형태 쌍들을 생성하도록;
(vi) 상기 카메라의 시야 범위 내에서 연계된 형태 쌍들에 대한 각각의 차량 자세들을 계산하도록;
(vii) 상기 복수의 연계된 형태 쌍들의 최고 등급 쌍에 기초하여 상기 계산된 차량 자세들로부터 상기 자재 취급 차량의 최상의 평가 자세를 계산하도록;
(viii) 상기 최상의 평가 자세를 현재 국부적 위치로 갱신하기 위하여 축적된 주행거리측정방법(odometry)을 사용하도록;
(ix) 상기 시드 위치를 상기 현재 국부적 위치로서 갱신하도록; 그리고
(x) 상기 갱신된 시드 위치를 사용하여 상기 자재 취급 차량을 작동시키도록 차량 기능들을 실행하는, 자재 취급 차량.
제 1 항에 있어서,
상기 차량 프로세서(들)는 상기 시드 위치를 상기 현재 국부적 위치로서 갱신하기 전에 상기 현재 국부적 위치를 검증하도록 차량 기능들을 추가로 실행하고, 이러한 검증은:
상기 현재 국부적 위치로서의 상기 시드 위치가 검증되도록, 숫자가 임계값을 초과할 때까지 각각의 데이터 연계 단계 후에 유일한 전체 형태 지점들의 상기 숫자를 기록하는 기능들을 포함하는, 자재 취급 차량.
제 1 항에 있어서,
상기 차량 프로세서(들)는 상기 시드 위치를 상기 현재 국부적 위치로서 갱신한 후에 디스플레이 상에 상기 시드 위치를 상기 현재 국부적 위치로서 공표함으로써 상기 자재 취급 차량이 확인되는지를 표시하도록 차량 기능들을 추가로 실행하는, 자재 취급 차량.
제 1 항에 있어서,
상기 차량 프로세서(들)는:
(i) 상기 국부적 위치를 표시하는 차량 데이터를 관리 서버로 전송하도록; 그리고
(ii) 상기 관리 서버와 연계되고 상기 관리 서버와 통신하는 디스플레이 상에 상기 국부적 위치를 공표하도록 차량 기능들을 추가로 실행하는, 자재 취급 차량.
제 1 항에 있어서,
상기 복수의 연계된 형태 쌍들은 데이터 연계 단계들에 의해서 생성되고, 상기 데이터 연계 단계들은:
(i) UV 공간 정보 쌍들을 생성하는 단계;
(ii) 각각의 전체 형태 지점을 각각의 UV 공간 정보 쌍에 있는 제 1 UV 공간 형태와 연계시키는 단계; 그리고
(iii) 상기 카메라의 최대 시야 범위 내에 있는 각각의 전체 형태 지점을 각각의 UV 공간 정보 쌍에 있는 제 2 UV 공간 형태와 연계시키는 단계를 포함하는, 자재 취급 차량.
제 1 항에 있어서,
상기 카메라의 시야 범위 내에 있는 각각의 연계된 형태 쌍에 대한 차량 자세의 계산은 적어도 부분적으로 전역 자기위치인식 알고리즘의 사용에 기초하고, 상기 전역 자기위치인식 알고리즘은 고정된 형태를 포함하는 연계된 형태 쌍의 제 1 UV 공간 형태에 관한 상기 차량의 요잉(yaw)을 계산하는 공식을 포함하고, 상기 공식은:
(i) N은 2개의 3D 벡터들의 외적(cross product)이고;
(ii) T는 요잉 회전을 위한 타겟 3D 지점이고;
(iii)

(iv)

(v)

을 포함하는, 자재 취급 차량.
제 6 항에 있어서,
상기 복수의 연계된 형태 쌍들의 최고 등급 쌍에 기초하는 상기 자재 취급 차량의 최상 평가 자세의 계산은 적어도 부분적으로 각각의 계산된 차량 자세에 대한 자세 총계 에러의 계산에 기초하고 상기 최고 등급 쌍은 최하위 자세 총계 에러를 갖는, 자재 취급 차량.
자재 취급 차량 및 관리 서버를 포함하는 시스템으로서,
상기 자재 취급 차량은 카메라, 하나 이상의 차량 프로세서, 재고품 수송면을 따라 상기 자재 취급 차량을 이동시키도록 구성된 구동 기구, 산업 설비의 저장 구역에서 상품을 저장 및 회수하도록 구성된 자재 취급 기구 및 상기 구동 기구 및 상기 자재 취급 기구와 통신하는 차량 제어 아키텍처를 포함하는, 상기 시스템에 있어서,
상기 카메라는 상기 차량 프로세서(들) 및 상기 관리 서버에 통신 결합되고 오버헤드 형태들의 입력 이미지를 캡처하고;
상기 차량 프로세서(들)는 상기 관리 서버에 통신 결합되고;
상기 관리 서버에 저장된 산업 설비 맵이 상기 차량 프로세서(들)에 통신 결합되고, 상기 산업 설비 맵은 상기 오버헤드 형태들의 맵핑과 연계된 복수의 3차원 전체 형태 지점들을 포함하고; 그리고
상기 자재 취급 차량의 차량 프로세서(들)는:
(i) 상기 산업 설비에 있는 상기 자재 취급 차량의 시드 위치 및 상기 자재 취급 차량과 연계된 추측 항법에 기초하여 상기 산업 설비의 재고품 수송면에 대한 상기 자재 취급 차량의 국부적 위치를 결정하도록;
(ii) 상기 국부적 위치에 대한 보정 피드백을 제공하기 위하여 2차원 UV 공간 정보를 포함하는, 상기 카메라로부터의 초기 세트의 카메라 데이터를 사용하도록;
(iii) 상기 재고품 수송면을 따른 상기 자재 취급 차량의 운행을 추적하고, 적어도 부분적으로 자동화된 방식으로 상기 재고품 수송면을 따라서 상기 자재 취급 차량을 운행하거나, 또는 양자 모두를 실행하기 위하여 상기 국부적 위치를 사용하도록;
(iv) 상기 자재 취급 차량이 미확인되었는지를 결정하도록;
(v) 미확인된 경우, 2차원 UV 공간 정보를 포함하는 상기 카메라로부터의 차후 세트의 카메라 데이터를 검색하고, 상기 UV 공간 정보로부터의 쌍들을 형성하고 그리고 상기 UV 공간 정보로부터의 쌍들을 상기 산업 설비 맵의 복수의 3차원 전체 형태 지점들로부터의 쌍들과 연계시킴으로써 복수의 연계된 형태 쌍들을 생성하도록;
(vi) 상기 카메라의 시야 범위 내에서 연계된 형태 쌍들에 대한 차량 자세들을 계산하도록;
(vii) 상기 복수의 연계된 형태 쌍들의 최고 등급 쌍에 기초하여 상기 자재 취급 차량의 최상의 평가 자세를 계산하도록;
(viii) 상기 최상의 평가 자세를 현재 국부적 위치로 갱신하기 위하여 축적된 주행거리측정방법을 사용하도록;
(ix) 상기 시드 위치를 상기 현재 국부적 위치로서 갱신하도록; 그리고
(x) 상기 갱신된 시드 위치를 사용하여 상기 자재 취급 차량을 작동시키도록 차량 기능들을 실행하는, 시스템.
제 8 항에 있어서,
상기 차량 프로세서(들)는 상기 시드 위치를 상기 현재 국부적 위치로서 갱신하기 전에 상기 현재 국부적 위치를 검증하도록 차량 기능들을 추가로 실행하고, 이러한 검증은:
(i) 상기 현재 국부적 위치로서의 상기 시드 위치가 검증되도록, 숫자가 임계값을 초과할 때까지 각각의 데이터 연계 단계 후에 유일한 전체 형태 지점들의 상기 숫자를 기록하는 기능들을 포함하는, 시스템.
제 8 항에 있어서,
상기 차량 프로세서(들)는 상기 시드 위치를 상기 현재 국부적 위치로서 갱신한 후에 디스플레이 상에 상기 시드 위치를 상기 현재 국부적 위치로서 공표함으로써 상기 자재 취급 차량이 확인되는지를 표시하도록 차량 기능들을 추가로 실행하는, 시스템.
제 8 항에 있어서,
상기 차량 프로세서(들)는:
(i) 상기 국부적 위치를 표시하는 차량 데이터를 상기 관리 서버로 전송하도록; 그리고
(ii) 디스플레이 상에 상기 국부적 위치를 공표하도록 차량 기능들을 추가로 실행하는, 시스템.
제 8 항에 있어서,
상기 자재 취급 차량의 미확인에 대한 결정은 적어도 부분적으로 상기 산업 설비 시드 위치가 부정확한 데이터를 포함하는지에 기초하는, 시스템.
제 8 항에 있어서,
상기 자재 취급 차량의 미확인에 대한 결정은 적어도 부분적으로 상기 카메라 데이터가 상기 추측 항법과 연계된 에러를 보정하기에 불충분한지에 기초하는, 시스템.
제 8 항에 있어서,
상기 복수의 연계된 형태 쌍들은 데이터 연계 단계들에 의해서 생성되고, 상기 데이터 연계 단계들은:
(i) UV 공간 정보 쌍들을 생성하는 단계;
(ii) 각각의 전체 형태 지점을 각각의 UV 공간 정보 쌍에 있는 제 1 UV 공간 형태와 연계시키는 단계; 그리고
(iii) 상기 카메라의 최대 시야 범위 내에 있는 각각의 전체 형태 지점을 각각의 UV 공간 정보 쌍에 있는 제 2 UV 공간 형태와 연계시키는 단계를 포함하는, 시스템.
제 8 항에 있어서,
상기 카메라의 시야 범위 내에 있는 각각의 연계된 형태 쌍에 대한 차량 자세의 계산은 적어도 부분적으로 전역 자기위치인식 알고리즘의 사용에 기초하고, 상기 전역 자기위치인식 알고리즘은 고정된 형태를 포함하는 연계된 형태 쌍의 제 1 UV 공간 형태에 관한 상기 차량의 요잉을 계산하는 공식을 포함하고, 상기 공식은:
(i) N은 2개의 3D 벡터들의 외적이고;
(ii) T는 요잉 회전을 위한 타겟 3D 지점이고;
(iii)

(iv)

(v)

을 포함하는, 시스템.
제 15 항에 있어서,
상기 복수의 연계된 형태 쌍들의 최고 등급 쌍에 기초하는 상기 자재 취급 차량의 최상 평가 자세의 계산은 적어도 부분적으로 각각의 계산된 차량 자세에 대한 자세 총계 에러의 계산에 기초하고 상기 최고 등급 쌍은 최하위 자세 총계 에러를 갖는, 시스템.
재고품 수송면을 따라 자재 취급 차량을 운행하거나, 또는 운행을 추적하는 방법으로서,
자재 취급 차량을 산업 설비의 재고품 수송면 상에 배치하는 단계로서, 상기 자재 취급 차량은 관리 서버와 통신하고 카메라, 하나 이상의 차량 프로세서들, 상기 재고품 수송면을 따라 상기 자재 취급 차량을 이동시키도록 구성된 구동 기구, 상기 산업 설비의 저장 구역에서 상품을 저장 및 회수하도록 구성된 자재 취급 기구 및 상기 구동 기구 및 상기 자재 취급 기구와 통신하는 차량 제어 아키텍처를 포함하는, 상기 배치 단계;
상기 재고품 수송면을 따라서 상기 자재 취급 차량을 이동시키기 위해 상기 구동 기구를 사용하는 단계;
상기 자재 취급 차량이 상기 재고품 수송면을 따라서 이동할 때 상기 카메라를 통해서, 상기 산업 설비의 오버헤드 형태들의 입력 이미지를 캡처하는 단계;
상기 천정등들의 맵핑과 연계된 복수의 3차원 전체 형태 지점들을 포함하는 산업 설비 맵을 제공하는 단계;
상기 산업 설비에 있는 상기 자재 취급 차량의 시드 위치 및 상기 자재 취급 차량과 연계된 추측 항법에 기초하여 상기 차량 프로세서(들)를 통해서, 상기 산업 설비의 재고품 수송면에 대한 상기 자재 취급 차량의 국부적 위치를 결정하는 단계;
상기 국부적 위치에 대한 보정 피드백을 제공하기 위하여 2차원 UV 공간 정보를 포함하는 상기 카메라로부터의 초기 세트의 카메라 데이터를 사용하는 단계;
상기 차량 프로세서(들)를 통해서, 상기 재고품 수송면을 따른 상기 자재 취급 차량의 운행을 추적하고, 적어도 부분적으로 자동화된 방식으로 상기 재고품 수송면을 따라서 상기 자재 취급 차량을 운행하거나, 또는 양자 모두를 실행하기 위해 상기 국부적 위치를 사용하는 단계;
상기 자재 취급 차량이 미확인되었는지를 결정하는 단계;
미확인된 경우, 2차원 UV 공간 정보를 포함하는 상기 카메라로부터의 차후 세트의 카메라 데이터를 검색하고, 상기 UV 공간 정보로부터의 쌍들을 형성하고 그리고 상기 UV 공간 정보로부터의 쌍들을 상기 산업 설비 맵의 복수의 3차원 전체 형태 지점들로부터의 쌍들과 연계시킴으로써 복수의 연계된 형태 쌍들을 생성하는 단계;
상기 차량 프로세서(들)를 통해서, 상기 카메라의 시야 범위 내에 있는 연계된 형태 쌍들에 대한 차량 자세를 계산하는 단계;
상기 차량 프로세서(들)를 통해서, 상기 복수의 연계된 형태 쌍들의 최고 등급 쌍에 기초하여 상기 자재 취급 차량의 최상 평가 자세를 계산하는 단계;
상기 차량 프로세서(들)를 통해서, 상기 최상 평가 자세를 현재 국부적 위치로 갱신하기 위하여 축적된 주행거리측정방법을 사용하는 단계;
상기 시드 위치를 상기 현재 국부적 위치로서 갱신하는 단계; 그리고
상기 갱신된 시드 위치를 사용하여 상기 자재 취급 차량을 작동시키는 단계를 포함하는, 방법.
제 17 항에 있어서,
상기 시드 위치를 상기 현재 국부적 위치로서 갱신하기 전에 상기 현재 국부적 위치를 검증하는 단계를 추가로 포함하고, 이러한 검증은:
상기 현재 국부적 위치로서의 상기 시드 위치가 검증되도록, 숫자가 임계값을 초과할 때까지 각각의 데이터 연계 단계 후에 유일한 전체 형태 지점들의 상기 숫자를 기록하는 단계를 추가로 포함하는, 방법.
제 17 항에 있어서,
상기 시드 위치를 상기 현재 국부적 위치로서 갱신한 후에 디스플레이 상에 상기 시드 위치를 상기 현재 국부적 위치로서 공표함으로써 상기 자재 취급 차량이 확인되는지를 표시하는 단계를 추가로 포함하는, 방법.
제 17 항에 있어서,
상기 관리 서버는 디스플레이, 무선 통신 회로 및 상기 차량 프로세서(들)와 통신하고, 상기 방법은:
상기 무선 통신 회로를 통해서, 상기 국부적 위치를 표시하는 차량 데이터를 상기 관리 서버에 전송하는 단계; 그리고
디스플레이 상에 상기 국부적 위치를 공표하는 단계를 포함하는, 방법.
제 17 항에 있어서,
상기 자재 취급 차량의 미확인에 대한 결정은 적어도 부분적으로 상기 산업 설비 시드 위치가 부정확한 데이터를 포함하는지에 기초하는, 방법.
제 17 항에 있어서,
상기 자재 취급 차량의 미확인에 대한 결정은 적어도 부분적으로 상기 카메라 데이터가 상기 추측 항법과 연계된 에러를 보정하기에 불충분한지에 기초하는, 방법.
제 17 항에 있어서,
상기 복수의 연계된 형태 쌍들은 데이터 연계 단계들에 의해서 생성되고, 상기 데이터 연계 단계들은:
UV 공간 정보 쌍들을 생성하는 단계;
각각의 전체 형태 지점을 각각의 UV 공간 정보 쌍에 있는 제 1 UV 공간 형태와 연계시키는 단계; 그리고
상기 카메라의 최대 시야 범위 내에 있는 각각의 전체 형태 지점을 각각의 UV 공간 정보 쌍에 있는 제 2 UV 공간 형태와 연계시키는 단계를 포함하는, 방법.
제 17 항에 있어서,
상기 카메라의 시야 범위 내에 있는 각각의 연계된 형태 쌍에 대한 차량 자세의 계산은 적어도 부분적으로 전역 자기위치인식 알고리즘의 사용에 기초하고, 상기 전역 자기위치인식 알고리즘은 고정된 형태를 포함하는 연계된 형태 쌍의 제 1 UV 공간 형태에 관한 상기 차량의 요잉을 계산하는 공식을 포함하고, 상기 공식은:
(i) N은 2개의 3D 벡터들의 외적이고;
(ii) T는 요잉 회전을 위한 타겟 3D 지점이고;
(iii)

(iv)

(v)

을 포함하는, 방법.
제 24 항에 있어서,
상기 복수의 연계된 형태 쌍들의 최고 등급 쌍에 기초하는 상기 자재 취급 차량의 최상 평가 자세의 계산은 적어도 부분적으로 각각의 계산된 차량 자세에 대한 자세 총계 에러의 계산에 기초하고 상기 최고 등급 쌍은 최하위 자세 총계 에러를 갖는, 방법.