KR20180012287A - 자재 취급 차량을 위한 이미지 캡처 디바이스 교정을 위한 시스템들 및 방법들 - Google Patents

자재 취급 차량을 위한 이미지 캡처 디바이스 교정을 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20180012287A
KR20180012287A KR1020177036861A KR20177036861A KR20180012287A KR 20180012287 A KR20180012287 A KR 20180012287A KR 1020177036861 A KR1020177036861 A KR 1020177036861A KR 20177036861 A KR20177036861 A KR 20177036861A KR 20180012287 A KR20180012287 A KR 20180012287A
Authority
KR
South Korea
Prior art keywords
calibration
image capture
capture device
material handling
computing device
Prior art date
Application number
KR1020177036861A
Other languages
English (en)
Other versions
KR102490138B1 (ko
Inventor
제이콥 제이 톰슨
티모씨 윌리암 판셀로
Original Assignee
크라운 이큅먼트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 크라운 이큅먼트 코포레이션 filed Critical 크라운 이큅먼트 코포레이션
Publication of KR20180012287A publication Critical patent/KR20180012287A/ko
Application granted granted Critical
Publication of KR102490138B1 publication Critical patent/KR102490138B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G06K9/00476—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Or Security For Electrophotography (AREA)

Abstract

자재 취급 차량을 위한 이미지 캡처 디바이스를 교정하기 위한 시스템들 및 방법들. 시스템의 일 실시예는 이미지 캡처 디바이스 및 차량 컴퓨팅 디바이스를 포함하며, 차량 컴퓨팅 디바이스는 프로세서에 의해 실행될 때, 자재 취급 차량이 창고에서 자재 취급 차량의 현재 위치를 결정하며 이미지 캡처 디바이스와 연관된 시드 값을 결정하게 하는 로직을 저장하고, 상기 시드 값은 이미지 캡처 디바이스의 초기 교정 파라미터들을 나타낸다. 몇몇 실시예들에서, 로직은 자재 취급 차량이 창고에서 이미지 데이터를 캡처하고, 이미지 데이터를 사이트 맵과 비교하며, 비교 및 시드 값으로부터 이미지 캡처 디바이스에 대한 교정 값을 결정하게 한다.

Description

자재 취급 차량을 위한 이미지 캡처 디바이스 교정을 위한 시스템들 및 방법들
상호 참조
본 출원은, 2015년 5월 26일에 출원되고, 외적 카메라 교정이라는 제목의, 미국 가 특허 출원 일련 번호 제62/166,181호의 이득을 주장한다.
기술 분야
여기에서 설명된 실시예들은 일반적으로 자재 취급 차량 교정에 관한 것이며, 보다 구체적으로, 지게차와 같은, 자재 취급 차량의 오도메트리 교정 및 카메라 교정에 관한 것이다.
지게차들과 같은, 자재 취급 차량들은 그것의 구동 또는 비-구동 휠들의 마모로 인해 오도메트리(odometry) 저하를 겪을 수 있다. 휠들이 마모를 초래함에 따라, 트레드가 저하되며 휠의 둘레는 감소한다. 그 결과, 오도미터(odometer) 결정들의 정확도는 오도미터가 미리 결정된 크기의 휠에 대해 교정될 수 있기 때문에 저하될 수 있다. 유사하게, 휠, 또는 그것의 일 부분이 변경될 때, 오도메트리 결정들은 유사한 이유들로 급격하게 변할 수 있다.
유사하게, 오버헤드 등들의 식별을 통해 자재 취급 차량의 위치 및 라우팅을 결정하는 지게차들과 같은 자재 취급 차량들이 많은 환경들에서 이용된다. 이들 차량들은 매우 신뢰 가능할 수 있지만, 위치 및/또는 라우팅 정확도는 설치 시 교정되지 않을 수 있거나 또는 자재 취급 차량의 확장된 사용을 통해 저하될 수 있다. 이와 같이, 비효율성들 및 에러들은 이미지 캡처 디바이스가 교정되지 않는다면 생성될 수 있다. 이와 같이, 요구가 산업에서 존재한다.
자재 취급 차량을 위한 이미지 캡처 디바이스를 교정하기 위한 시스템들 및 방법들. 시스템의 일 실시예는 상기 이미지 캡처 디바이스 및 차량 컴퓨팅 디바이스를 포함하며, 여기에서 상기 차량 컴퓨팅 디바이스는 프로세서에 의해 실행될 때, 상기 자재 취급 차량이 창고에서 상기 자재 취급 차량의 현재 위치를 결정하게 하며 상기 이미지 캡처 디바이스와 연관된 시드 값을 결정하게 하는 로직을 저장하며, 상기 시드 값은 상기 이미지 캡처 디바이스의 초기 교정 파라미터들을 나타낸다. 몇몇 실시예들에서, 상기 로직은 상기 자재 취급 차량이 상기 창고에서 이미지 데이터를 캡처하게 하고, 상기 이미지 데이터를 사이트 맵과 비교하게 하며, 상기 비교 및 상기 시드 값으로부터 상기 이미지 캡처 디바이스에 대한 교정 값을 결정하게 한다.
또 다른 실시예에서, 자재 취급 차량은 이미지 캡처 디바이스 및 차량 컴퓨팅 디바이스를 포함한다. 상기 차량 컴퓨팅 디바이스는 프로세서에 의해 실행될 때, 상기 자재 취급 차량이 상기 자재 취급 차량의 현재 위치를 결정하게 하고, 상기 이미지 캡처 디바이스와 연관된 시드 값을 결정하게 하는 것으로서, 상기 시드 값은 상기 이미지 캡처 디바이스의 초기 교정 파라미터들을 나타내는, 상기 시드 값 결정하게 하기, 창고에서 이미지 데이터를 캡처하게 하는 것으로서, 상기 이미지 데이터는 상기 창고에서의 위치를 나타내는 위치 식별자를 포함하는, 상기 이미지 데이터를 캡처하게 하는 로직을 저장할 수 있다. 몇몇 실시예들에서, 상기 로직은 상기 자재 취급 차량이 상기 이미지 데이터와 사이트 맵을 비교하며 최적화 문제를 생성하도록 원격 컴퓨팅 디바이스와 통신하게 하며, 상기 최적화 문제는 매핑 라이브러리와의 통신을 통해 생성되며, 상기 사이트 맵은 창고에서 천장의 영상 및 위치 데이터를 나타낸다. 몇몇 실시예들에서, 상기 로직은 상기 자재 취급 차량이 상기 최적화 문제의 출력으로부터 상기 이미지 캡처 디바이스에 대한 교정 값을 결정하게 하며 상기 자재 취급 차량의 새로운 위치를 결정하기 위해 상기 교정 값을 이용하게 한다.
또 다른 실시예에서, 방법은 자재 취급 차량의 현재 위치를 결정하는 단계, 상기 이미지 캡처 디바이스와 연관된 시드 값을 추정하는 단계로서, 상기 시드 값은 다음, 즉: 상기 이미지 캡처 디바이스의 피치(pitch), 상기 이미지 캡처 디바이스의 롤(roll), 및 상기 이미지 캡처 디바이스의 요(yaw) 중 적어도 하나에 관련된 데이터를 포함하는, 상기 추정 단계를 포함한다. 상기 방법의 몇몇 실시예들은 환경에서 이미지 데이터를 캡처하는 단계로서, 상기 이미지 데이터는 창고에서의 위치를 나타내는 위치 식별자를 포함하는, 상기 캡처 단계, 최적화 문제를 생성하기 위해 상기 이미지 데이터를 사이트 맵과 비교하기 위해 원격 컴퓨팅 디바이스와 통신하는 단계로서, 상기 원격 컴퓨팅 디바이스는 상기 최적화 문제를 생성하며 상기 비교 및 상기 시드 값으로부터 상기 이미지 캡처 디바이스에 대한 교정 값을 결정하기 위해 평활화 및 매핑(smoothing and mapping; SAM)을 이용하는, 상기 통신 단계를 포함한다. 유사하게, 몇몇 실시예들은 상기 이미지 캡처 디바이스에 대한 상기 교정 값의 정확도에 관련된 교정 신뢰도를 계산하는 단계를 포함하며, 상기 교정 신뢰도는 상기 사이트 맵과 상기 이미지 데이터의 비교에 기초하여 상기 교정 값의 정확도를 나타낸다. 몇몇 실시예들은 상기 교정 신뢰도가 미리 결정된 임계치를 충족시키는지를 결정하는 단계를 포함한다. 상기 교정 신뢰도가 상기 미리 결정된 임계치를 충족시키지 않는다는 결정에 응답하여, 지시가 교정을 재시작하기 위해 제공될 수 있다. 상기 교정 신뢰도가 상기 미리 결정된 임계치를 충족시킨다는 결정에 응답하여, 상기 교정 값은 상기 자재 취급 차량의 새로운 위치를 결정하기 위해 이용될 수 있다.
본 개시의 실시예들에 의해 제공된 이들 및 부가적인 특징들은 도면들과 함께, 다음의 상세한 설명을 고려하여 보다 완전하게 이해될 것이다.
도면들에 제시된 실시예들은 사실상 예시적이며 대표적이고 본 개시를 제한하도록 의도되지 않는다. 예시적인 실시예들의 다음의 상세한 설명은 다음의 도면들과 함께 판독될 때 이해될 수 있으며, 여기에서 유사한 구조는 유사한 참조 번호들을 갖고 표시된다.
도 1은 여기에서 설명된 실시예들에 따라, 위치 및 내비게이션 서비스들을 위한 오버헤드 조명을 이용하는 자재 취급 차량을 묘사한다;
도 2는 여기에서 설명된 실시예들에 따라, 자재 취급 차량의 오도메트리를 교정하기 위한 흐름도를 묘사한다;
도 3은 여기에서 설명된 실시예들에 따라, 오도메트리 교정에서 스케일링 인자를 변경하기 위한 흐름도를 묘사한다;
도 4는 자재 취급 차량 상에서 이미지 캡처 디바이스를 교정하기 위한 흐름도를 묘사한다;
도 5는 자재 취급 차량 상에서 이미지 캡처 디바이스 교정을 위한 또 다른 흐름도를 묘사한다; 및
도 6은 여기에서 설명된 실시예들에 따라, 자재 취급 차량을 위해 이용될 수 있는 컴퓨팅 기반시설을 묘사한다.
여기에서 개시된 실시예들은 자재 취급 차량 교정을 위한 시스템들 및 방법들을 포함한다. 몇몇 실시예들은 오도메트리 교정을 위해 구성되지만, 몇몇 실시예들은 차량 이미지 캡처 디바이스 교정에 관련된다.
구체적으로, 여기에서 설명된 실시예들은 차량 오도미터가 교정되는지를 결정하도록 구성될 수 있으며, 아니라면, 미리 결정된 허용 오차 내로 오도미터를 교정할 수 있다. 오도메트리 교정은 스티어 각 바이어스 및 스케일링 인자를 포함한다. 스티어 각 바이어스 교정의 실시예들은 자재 취급 차량이 직선으로 물리적으로 이동할 때 차량이 직선 주행을 보고하게 하도록 구성될 수 있다. 스케일링 인자 교정의 실시예들은 자재 취급 차량이 이동된 정확한 거리를 보고하게 하도록 구성될 수 있다. 스케일링 인자는 적정한 성과를 갖고 수동으로 측정될 수 있지만, 휠 마모 및 휠 또는 타이어 교체로 인해 시간에 걸쳐 변할 수 있다. 본 개시는 정상 동작 동안 스케일링 인자를 조정하기 위한 시스템 및 방법을 제공한다. 실시예들은 실제 스케일링 인자를 측정하며 그것에 대한 변화들을 매끄럽게 하도록 구성될 수 있다.
이미지 캡처 디바이스 교정은 자재 취급 차량의 위치 결정 및/또는 라우팅을 위한 오버헤드 등 검출을 이용하는 자재 취급 차량들에 유용할 수 있다. 이미지 캡처 디바이스 교정은 내적 교정 및 외적 교정을 포함할 수 있다. 내적 교정은 에러의 적절한 범위 내에서 이미지 캡처 디바이스 모델 자체의 파라미터들을 결정하는 것을 포함한다. 외적 이미지 캡처 디바이스 교정은 에러의 적절한 범위 내에서 자재 취급 차량 상에서의 이미지 캡처 디바이스의 위치를 결정하는 것을 포함할 수 있다. 여기에서 설명된 실시예들은 이미지 캡처 디바이스의 외적 교정에 초점을 맞춘다. 이를 통합한 차량 교정을 위한 시스템들 및 방법들이, 이하에서, 보다 상세히 설명될 것이다.
이제 도면들을 참조하면, 도 1은 여기에서 설명된 실시예들에 따라, 자재 취급 하드웨어(105)를 포함하며 위치 및 내비게이션 서비스들을 위한 오버헤드 조명을 이용하는 자재 취급 차량(100)을 묘사한다. 예시된 바와 같이, 자재 취급 차량(100)은 창고와 같은, 환경(110)을 통해 이동하도록 구성될 수 있다. 자재 취급 차량(100)은 예를 들면, 지게차 트럭, 리치(reach) 트럭, 터렛(turret) 트럭, 워키 스태커(walkie stacker) 트럭, 견인 트랙터, 파레트 트럭(pallet truck), 하이/로우, 스태커-트럭, 트레일러 로더, 사이드로더, 포크 호이스트 등과 같은 페이로드를 리프트하며 이동시키기 위한 산업용 차량으로서 구성될 수 있다. 자재 취급 차량(100)은 원하는 루트를 따라 환경(100)의 바닥(122)을 자동으로 및/또는 수동으로 이동하도록 구성될 수 있다. 따라서, 자재 취급 차량(100)은 하나 이상의 휠들(124)의 회전에 의해 앞으로 및 뒤로 향해질 수 있다. 부가적으로, 자재 취급 차량(100)은 하나 이상의 휠들(124)을 조종함으로써 방향을 변경할 수 있다. 자재 취급 차량(100)은 또한 이에 제한되지 않지만, 휠들(124)의 속도, 휠들(124)의 방위 등과 같은, 자재 취급 차량(100)의 기능들을 제어하기 위한 조작자 제어들(126)을 포함할 수 있다.
조작자 제어들(126)은 예를 들면, 스위치들, 버튼들, 레버들, 핸들들, 페달들, 교정 표시자들 등과 같은 자재 취급 차량(100)의 기능들에 할당되는 입력들 및 출력들을 포함할 수 있다. 조작자 제어들(126)은 부가적으로 자재 취급 차량(100)이 이동하는 거리를 결정하기 위한 오도미터, 출력(오디오 및/또는 시각적 출력과 같은)을 제공하며 사용자로부터 데이터 및/또는 입력을 수신하기 위한 사용자 인터페이스를 포함할 수 있다. 오도미터는, 휠들(124)의 미리 결정된 둘레에 기초하여, 휠들(124) 중 하나 이상의 회전들의 결정된 수를 결정하며 이동된 거리를 산출하도록 구성될 수 있다. 조작자 제어들(126)은 부가적으로 위치 결정 시스템, 국소화 시스템, 가속 장치, 브레이크, 자율 모드 옵션, 및/또는 수동으로, 반-자동으로, 및/또는 전-자동으로 자재 취급 차량(100)을 동작시키기 위한 다른 제어들, 출력들, 하드웨어, 및 소프트웨어를 포함할 수 있다.
자재 취급 차량(100)은 또한 디지털 스틸 카메라, 디지털 비디오 카메라, 아날로그 스틸 카메라, 아날로그 비디오 카메라, 및/또는 오버헤드 이미지를 캡처하기 위한 다른 디바이스와 같은 이미지 캡처 디바이스(102)를 포함할 수 있다. 캡처된 이미지는 JPEG, JPEG 2000, Exif, TIFF, 원 이미지 포맷들, GIF, BMP, PNG, Netpbm 포맷, WEBP, 래스터(raster) 포맷들, 벡터 포맷들, 및/또는 다른 유형의 포멧으로서 포맷팅될 수 있다. 따라서, 이미지 캡처 디바이스(102)는, 예를 들면, 전하 결합 디바이스(CCD), 상보적 금속-산화물-반도체 센서, 또는 그것의 기능적 등가물들과 같은 이미지 센서를 포함할 수 있다. 몇몇 실시예들에서, 자재 취급 차량(100)은 환경(110) 내에 위치될 수 있으며 환경(100)의 천장(112)의 오버헤드 이미지들을 캡처하도록 구성될 수 있다. 오버헤드 이미지들을 캡처하기 위해, 이미지 캡처 디바이스(102)는 자재 취급 차량(100)에 장착되며 천장(112)에 집중될 수 있다.
환경(110)의 천장(112)은, 이에 제한되지 않지만 천장(112)으로부터 또는 일반적으로 창고에서 동작하는 자재 취급 차량(100) 위로부터 조명을 제공하기 위한 천장 등들(114)과 같은, 오버헤드 등들을 포함할 수 있다. 천장 등들(114)은 예를 들면, 천창들(116a), 형광등들(116b), 및/또는 다른 유형들의 등들(116c)과 같은 실질적으로 직사각형 등들을 포함할 수 있으며; 상기로부터 조명을 제공하도록 천장(112) 또는 벽 구조들에 장착되거나 또는 그로부터 매달려질 수 있다. 도 1은 직사각형 등들을 묘사하지만, 천장 등들(114)은 임의의 형태, 크기, 또는 유형일 수 있다는 것이 이해되어야 한다. 예를 들면, 천장 등들(114)은 둥근형, 아치형, 벽걸이 LED 스트립 등, 돔형 천창 등일 수 있으며, 천장 등(114)의 유형은 하이 베이(high bay) 등들, 트랙 조명, 스트링 등들, 스트립 조명, 확산 조명 등일 수 있다.
부가적으로, 자재 취급 차량(100)은 차량 컴퓨팅 디바이스(103)를 포함하고 및/또는 그것과 결합될 수 있다. 차량 컴퓨팅 디바이스(103)는 이미지 캡처 디바이스(102)에 통신적으로 결합된 프로세서(104)(하나 이상의 프로세서들로서 구현될 수 있는)를 포함할 수 있다. 프로세서(104)는 여기에서 자동으로 설명된 방법들 또는 기능들 중 임의의 것을 구현하도록 로직을 실행하기 위해 구성될 수 있다. 메모리 구성요소(106)가 또한 포함될 수 있으며, 프로세서(104), 이미지 캡처 디바이스(102), 또는 그것의 임의의 조합에 통신적으로 결합될 수 있는 기계-판독 가능한 지시들을 포함한, 로직을 저장하기 위해 이용될 수 있다.
프로세서(104)는 기계-판독 가능한 지시들을 실행하는 것이 가능한 또는 기계 판독 가능한 지시들과 유사한 방식으로 기능들을 실행하도록 구성된 집적 회로, 마이크로칩, 및/또는 다른 디바이스를 포함할 수 있다. 메모리 구성요소(106)는 기계 판독 가능한 지시들과 같은, 로직을 저장하는 것이 가능한 RAM, ROM, 플래시 메모리, 하드 드라이브, 또는 임의의 비-일시적 디바이스를 포함할 수 있다. 이와 같이, 메모리 구성요소(106)는 지시들을 제공하며 여기에서 설명된 기능을 가능하게 하기 위한 이미지 캡처 로직(144a) 및 오도메트리 로직(144b)을 저장할 수 있다.
예를 들면, 오도메트리 로직(144b)은 자재 취급 차량(100)이 목적지로의 원하는 루트 상에서 환경(110)의 바닥(122)을 따라 이동하게 할 수 있다. 몇몇 실시예들에서, 이미지 캡처 로직(144a)은 자재 취급 차량(100)이 천장 등들(114)의 캡처된 이미지를 통해 환경에 대하여 자재 취급 차량(100)의 국소화된 위치를 결정하게 할 수 있다. 자재 취급 차량(100)의 국소화된 위치의 결정은 이미지 데이터를 환경(110)의 사이트 맵 데이터에 비교함으로써 수행될 수 있다. 사이트 맵은 천장 및 연관된 위치 좌표들의 영상을 나타낼 수 있으며 메모리 구성요소(106)에 국소적으로 저장되고 및/또는 원격 컴퓨팅 디바이스에 의해 제공될 수 있다. 국소화된 위치 및 목적지를 고려해볼 때, 루트는 자재 취급 차량(100)에 대해 결정될 수 있다. 루트가 결정되면, 자재 취급 차량(100)은 환경(110)의 바닥(122)을 돌아다니기 위해 루트를 따라 이동할 수 있다.
동작 시, 자재 취급 차량(100)은 사용자 입력을 통해 그것의 현재 위치를, 차량 컴퓨팅 디바이스(103)(위치 결정 시스템을 통해, 라디오 주파수 식별자를 교차하는 자재 취급 차량(100)과 같은)를 통해 결정을, 및/또는 원격 컴퓨팅 디바이스를 통해 결정을 결정할 수 있다. 몇몇 실시예들에서, 하나 이상의 천장 등들(114)을 포함할 수 있는, 천장(112)의 이미지를 캡처하기 위해 이미지 캡처 디바이스(102)를 이용하도록 구성될 수 있다. 몇몇 실시예들에서, 하나 이상의 천장 등들(114)은 고유 식별자를 포함하며 및/또는 이를 차량 컴퓨팅 디바이스(103)로 제공하도록 구성될 수 있다. 유사하게, 몇몇 실시예들은 이미지 캡처 디바이스(102)가 캡처하는 이미지가 그 외 현재 차량 위치를 결정하기 위해 사이트 맵에 비교될 수 있도록 구성된다.
자재 취급 차량(100)의 현재 위치가 결정되면, 자재 취급 차량(100)은 목적지로의 루트를 가로지를 수 있다. 루트를 따라, 이미지 캡처 디바이스(102)는 천장(112) 및 천장 등들(114)의 이미지 데이터를 캡처할 수 있다. 실시예에 의존하여, 이미지 데이터는 랜드마크, 조명 기구로부터의 신호 등과 같은, 위치 식별자를 포함할 수 있다. 천장 등들(114)의 이미지들이 캡처됨에 따라, 차량 컴퓨팅 디바이스(103)는 사이트 맵과 천장(112) 및/또는 천장 등들(114)의 이미지를 비교할 수 있다. 비교에 기초하여, 차량 컴퓨팅 디바이스(103)는 루트를 따라 자재 취급 차량(100)의 현재 위치를 결정할 수 있다.
상기 설명된 기반시설이 자재 취급 차량(100)의 위치를 결정하기 위해 이용될 수 있지만. 종종, 오도미터는, 통상적으로 팽창 가능한 또는 비-팽창 가능한 타이어들을 포함하는, 휠들(124)이 마모되며 둘레가 변하기 때문에 부정확해질 수 있다. 부가적으로, 오도미터는, 휠(124)의 유효 둘레를 즉시 변경하는, 마모된 휠, 또는 단지 휠의 마모된 타이어 부분만이 교체될 때 부정확해질 수 있다. 용어("휠")는 자재 취급 차량(100)을 지원하며 표면에 걸친 그것의 일시적인 움직임을 가능하게 하는 자재 취급 차량(100)의 휠들을 나타낸다는 것이 주의된다.
유사하게, 이미지 캡처 디바이스(102)가 자재 취급 차량(100)의 위치를 결정하기 위해 이용되는 영상을 캡처하도록 구성될 수 있지만, 이미지 캡처 디바이스(102)는 이러한 기능을 수행하기 위해 처음에 교정될 필요가 있을 수 있다. 구체적으로, 도 1에서의 묘사에도 불구하고, 이미지 캡처 디바이스(102)는 천장(112)에 대해 각지고, 경사지며, 및/또는 회전될 수 있다. 부가적으로, 자재 취급 차량(100) 및/또는 이미지 캡처 디바이스(102)의 사용은 이미지 캡처 디바이스(102)가 교정을 잃게 하며, 그에 따라 재교정을 요구할 수 있다.
도 2는 여기에서 설명된 실시예들에 따라, 자재 취급 차량(100)의 오도메트리를 교정하기 위한 흐름도를 묘사한다. 블록(250)에서 예시된 바와 같이, 자재 취급 차량(100)의 현재 위치가 결정될 수 있다. 상기 논의된 바와 같이, 이러한 차량 위치는 사용자 입력을 통해, 및/또는 다른 유사한 메커니즘을 통해, 자재 취급 차량(100) 상에서 위치 결정 시스템 및/또는 국소화 시스템으로부터 결정될 수 있다. 여하튼, 블록(252)에서, 목적지 위치가 결정될 수 있다. 목적지 위치는 사용자 입력을 통해, 과거 동작들의 결정을 통해, 및/또는 다른 메커니즘을 통해, 원격 컴퓨팅 디바이스로부터 결정될 수 있다(작업을 완료하도록 지시를 제공하기 위해서와 같은). 목적지는 자재 취급 차량(100)의 최종 목적지일 필요는 없다는 것이 또한 이해되어야 한다. 몇몇 실시예들에서, 목적지는 단지 루트를 따르는 포인트일 수 있다.
블록(254)에서, 자재 취급 차량(100)은 현재 차량 위치로부터 목적지로의 루트를 가로지를 수 있다. 상기 설명된 바와 같이, 자재 취급 차량(100)은 수동 동작 모드, 반-자율 모드를 통해, 및/또는 전 자율 모드를 통해 루트를 가로지를 수 있다. 블록(256)에서, 오도메트리 거리가 결정될 수 있으며 위치 결정 시스템 거리가 결정될 수 있다. 상기 논의된 바와 같이, 오도메트리 거리는 오도미터에 의해 결정될 수 있다. 위치 결정 시스템 거리는 상기 설명된 바와 같이, 위치 결정 시스템으로부터 및/또는 이미지 데이터의 캡처로부터 결정될 수 있다. 블록(258)에서, 오도메트리 거리는 위치 결정 시스템 거리와 비교될 수 있으며, 이것은 스케일링 인자의 결정을 포함할 수 있다. 실제 스케일링 인자는 차량 위치에서의 실제 변화에 원래 축적된 오도메트리 거리를 비교함으로써 측정될 수 있다. 축적된 오도메트리 거리는 오도메트리에 따른 이동의 시작 및 끝 사이에서 이동된 총 거리이다(스케일링 인자를 사용하지 않고). 이동된 실제 거리는, 위치 결정 시스템에 의해 결정된 바와 같이, 이동의 시작 및 끝에서의 위치들(x, y) 사이에서의 직선 거리이다.
Figure pct00001
블록(260)에서, 스케일링 인자는 차이에 따라 변경될 수 있다. 스케일링 인자가 변경되면, 오도메트리 산출은, 거리의 산출이 변경된 스케일링 인자를 포함할 것이므로, 보다 정확할 것이다. 따라서, 업데이트된 오도메트리 거리는 변경된 스케일링 인자를 이용하여 결정될 수 있다. 예로서, 오도미터가 회전들의 수를 카운팅하고 휠들의 미리 결정된 둘레로 상기 수를 곱하면, 스케일링 인자는 이동된 실제 오도메트리 거리를 결정하기 위해 상기 곱으로 곱하여질 수 있다.
도 3은 여기에서 설명된 실시예들에 따른, 오도메트리 교정에서의 스케일링 인자를 변경하기 위한 흐름도를 묘사한다. 블록(350)에서 예시된 바와 같이, 초기 위치, 오도메트리, 및 이미지 데이터가 결정될 수 있다. 상기 설명된 바와 같이, 초기 위치는 사용자 입력, 이미지 캡처 디바이스(102)로부터의 데이터, 및/또는 위치 결정 시스템으로부터의 데이터로부터 결정될 수 있다. 오도메트리 데이터는 오도미터로부터, 원격 컴퓨팅 디바이스로부터, 및/또는 사용자 입력으로부터 결정될 수 있다. 이미지 캡처 디바이스(102)는 이미지 데이터를 캡처하기 위해 구성될 수 있으며 캡처된 이미지 데이터를 차량 컴퓨팅 디바이스(103)로 전송할 수 있다. 블록(352)에서, 자재 취급 차량(100)은 현재 차량 위치로부터 목적지로 루트를 가로지를 수 있다.
블록(354)에서, 오도메트리 거리 및 위치 결정 시스템 거리가 결정될 수 있다. 상기 설명된 바와 같이, 오도미터는 오도메트리 데이터를 차량 컴퓨팅 디바이스(103)로 제공할 수 있다. 부가적으로, 자재 취급 차량(100)이 이동한 거리는 위치 결정 시스템에 의해 및/또는 이미지 캡처 디바이스(102)로부터 수신된 이미지 데이터로부터 결정될 수 있다. 위치 결정 시스템은 전역적 위치 결정 시스템, 이미지 캡처 디바이스(102), 원격 컴퓨팅 디바이스, 및/또는 자재 취급 차량(100)의 위치를 결정하기 위한 다른 하드웨어 및 소프트웨어를 포함할 수 있다. 블록(356)에서, 오도메트리 거리(스케일링 인자를 이용한)는 위치 결정 시스템 거리(및/또는 사이트 맵)와 비교될 수 있다. 이러한 비교는 스케일링 인자의 교정이 현재인지를 결정하기 위해 이루어질 수 있다. 오도메트리 거리 및 위치 결정 시스템 거리 사이에서의 차이가 미리 결정된 임계치를 초과하면, 스케일링 인자가 조정될 수 있다.
구체적으로, 실시예들은, 잡음을 없애며 타이어 변화 또는 휠 변화에 빠르게 응답하면서, 스케일링 인자가 가장 최근의 측정치들에 대체로 매칭되도록 업데이트되기 위해 구성될 수 있다. 일반적으로, 스케일링 인자는 휠 마모를 수용하기 위해 시간에 걸쳐 느리게 변할 것이다. 이것은 휠 변화들에 의해 중단될 것이며, 여기에서 스케일링 인자는 갑자기 증가할 것이다. 휠들의 점진적인 마모 및 휠 또는 타이어 교체로부터 경험된 빠른 변화를 가능하게 하기 위해, 실시예들은 복수의 알파 필터들을 이용할 수 있으며, 이것은 오도메트리 로직(144b)의 부분으로서 지수적 이동 평균 필터들로서 구체화될 수 있다. 제 1 알파 필터는 비교적 빠르게 응답하며 여기에서 고속 필터로 불리운다. 제 2 알파 필터는 비교적 느리게 응답하며 여기에서 저속 필터로 불리운다.
두 개의 필터들이 일치하지만(미리 결정된 허용 오차 내에서), 스케일링 인자는 저속 필터 출력으로부터의 값과 대체로 동일하도록 설정될 수 있다. 이것은 스케일링 인자 측정들에서의 에러들이 제거됨을 보장한다. 두 개의 필터들이 일치하지 않을 때, 스케일링 인자는 고속 필터 값 출력으로부터의 값과 동일하도록 설정된다. 이것은 스케일링 인자가 휠 변화에 빠르게 응답하도록 허용한다. 실시예들은 성공적인 결과가 획득될 때마다 사용 중인 스케일링 인자를 업데이트하도록 구성될 수 있다. 히스테리시스의 정도는 필터들 사이에서 빠른 스위칭을 방지하기 위해 부가될 수 있다.
필터들은 다음과 같이 동작하도록 구성될 수 있으며: FV1 = FV0(α) + MV(1-α), 여기에서 FV1은 새로운 필터 값이고, FV0은 이전 필터 값이고, MV는 측정된 값이며, α는 필터의 알파 값이다. 일 실시예에서, 다음의 알파 값들은 본 개시의 교정 루틴에서 구현된다: α= 0.99(제 1 알파 필터 값 및/또는 저속 알파 필터 값으로서 불리우는); 및 α= 0.9(여기에서 제 2 알파 필터 값 및/또는 고속 알파 필터 값으로서 불리우는). 이들 필터들은 따라서 저속 알파 필터에 대한 저속 필터 결과 및 고속 알파 필터에 대한 고속 필터 결과를 제공할 수 있다.
상기 주지된 바와 같이, 두 개의 필터들이, 허용 오차 내에서, 일치할 때, 스케일링 인자는 저속 필터 출력과 동일하도록 설정된다. 하나의 고려된 실시예에서, 이러한 허용 오차는 약 0.075와 같다. 필터들 사이에서의 빠른 스위칭을 방지하기 위해, 약 0.0025의 히스테리시스 값을 갖고 구성된 몇몇 실시예들이 구현될 수 있다. 이러한 실시예에서, 필터 차이는 저속 필터로 다시 스위칭하기 전에 히스테리시스 값보다 낮아야 한다.
몇몇 실시예들에서, 앞서 언급한 알파, 허용 오차, 및/또는 히스테리시스 값들은, 로깅된 데이터에서의 몇몇 포인트에서 적어도 하나의 휠 변화를 포함하여, 자재 취급 차량들의 무리에서의 적어도 하나의 자재 취급 차량(100)에 걸쳐 원 스케일링 인자 측정(또는 복수의 원 스케일링 인자 측정들)을 로깅함으로써 결정될 수 있다. 이러한 원 데이터를 고려해볼 때, 조합된 필터 신호는 원 데이터 상에서 구동될 수 있으며 파라미터들은 모든 로그들에 걸쳐 적정한 결과를 획득하기 위해 필요에 따라 조정될 수 있다.
여기에서 설명된 실시예들은 휠이 자재 취급 차량(100) 상에서 변경되었을 때를 검출하기 위해 구현될 수 있다는 것이 고려된다. 휠이 변경되었을 때, 스케일링 인자에서의 빠른 증가는 보통의 마모 하에서의 스케일링 인자에서 보통의, 점진적 감소와 강하게 대조된다. 예를 들면, 저속 알파 필터는 자재 취급 차량(100)의 동작 동안 휠(124) 마모를 고려하기 위해 사용될 수 있다. 새로운 휠(124)이 자재 취급 차량(100) 상에 장착될 때, 스케일링 인자는 허용 오차 값을 초과하기 위해 빠르게 증가할 수 있어서, 고속 알파 필터가 스케일링 인자를 결정하기 위해 사용되는 것을 야기한다. 고속 알파 필터는 필터 차이가, 저속 알파 필터가 그 후 스케일링 인자를 결정하기 위해 사용되는 히스테리시스 값 미만일 때까지 사용된다. 다시 말해서, 고속 알파 필터는 스케일링 인자가 새로운 휠(124) 둘레를 감안할 때까지 휠(124)이 스케일링 인자를 빠르게 조정하기 위해 변경될 때 사용된다. 그때, 저속 알파 필터는 새로운 휠(124)의 타이어 마모를 감안하기 위해 사용된다. 실시예들은 또한, 예방적 유지 보수의 적용을 위해, 휠들(124)에서의 변화가 요구됨을 결정하기 위해 스케일링 인자 데이터를 이용하도록 구성될 수 있다.
다시 도 3을 참조하면, 블록(358)에서, 스케일링 인자는 차이에 따라 변경될 수 있다. 블록(360)에서, 신뢰 인자가 결정될 수 있다. 구체적으로, 스케일링 인자는 자재 취급 차량(100)에서의 변화들에 적응하기 위한 값으로 설정될 수 있다. 부가적으로, 상기 스케일링 인자가 자재 취급 차량(100)에 대한 오도메트리 데이터를 정확하게 제공하기 위해 설정되는지에 관한 결정이 이루어질 수 있다. 블록(362)에서, 교정 신뢰도와 연관된 신뢰 인자가 디스플레이를 위해 제공될 수 있다. 교정이 완료되면, 업데이트된 오도메트리 거리가 위치 결정 시스템을 동작하기 위해 이용될 수 있다.
몇몇 실시예들은 측정된 움직임의 시작 및 종료에서 위치 고정들을 저장하도록 구성될 수 있다. 예를 들면, 오버헤드 등들이 내비게이션 시 사용되는 경우, 몇몇 실시예들은 차량 위치를 결정할 때 적어도 두 개의 등들이 가시적이며 두 개의 등들을 판독할 때 등 신뢰도가 비교적 높음을 보장한다. 유사하게, 몇몇 실시예들은 또한 차량 컴퓨팅 디바이스(103)가 측정된 움직임의 지속 기간 동안 위치 고정들을 유지함을 보장할 수 있다. 이것은 차량 컴퓨팅 디바이스(103)가 앨리어싱되지 않음을 보장하도록 도울 수 있으며, 이것은 이동된 실제 거리의 잘못된 측정을 제공할 수 있다. 몇몇 실시예들은 이동된 총 거리가 미리 결정된 임계치를 초과함을 보장하도록 구성된다. 예를 들면, 측정된 거리가 ±0.1 미터들 내로 정확하며, 1%의 오도메트리 정확도가 요구될 때, 적어도 (0.1+0.1)/1% = 20미터들의 이동 거리가 요구될 수 있다.
여기에서 설명된 실시예들은 또한 이미지 캡처 디바이스(102)의 교정을 위해 구성될 수 있다. 상기 논의된 바와 같이, 자재 취급 차량(100)이 이미지 캡처 디바이스(102)를 구비할 때, 이미지 캡처 디바이스(102)는 각지고, 돌려지며, 및/또는 회전될 수 있다. 그 결과, 이미지 캡처 디바이스(102)는 사용 전에 교정될 수 있다. 유사하게, 자재 취급 차량(100)의 사용은 이미지 캡처 디바이스(102)가 교정을 잃게 할 수 있다. 그 결과, 교정에 대한 업데이트들이 제공될 수 있다.
따라서, 자재 취급 차량(100)은 알려진 좌표들을 가진 위치에 배치될 수 있다. 좌표들은 사용자가 좌표들을 입력하는 것, 자재 취급 차량(100)이 알려진 위치를 가진 라디오 주파수 식별자를 전달하는 것에 의해, 및/또는 다른 메커니즘들을 통해 결정될 수 있다. 부가적으로, 시드 값은 이미지 캡처 디바이스(102)에 대한 차량 컴퓨팅 디바이스(103)(및/또는 원격 컴퓨팅 디바이스)로 제공될 수 있다. 시드 값은 이미지 캡처 디바이스(102)의 위치(예로서, 피치, 롤, 요)를 나타내는 하나 이상의 숫자들, 및/또는 외부 교정에 관련된 다른 값들을 포함할 수 있다. 시드 값은 이미지 캡처 디바이스(102)의 제조사에 의해 제공되고, 설치 시 추정되고, 차량 컴퓨팅 디바이스(103)로 사전 프로그램되며, 및/또는 다른 메커니즘들을 통해 제공될 수 있다.
여하튼, 자재 취급 차량(100)은 그 후 환경(110)을 통해 미리 결정된 루트에 따라 돌아다닐 수 있다. 자재 취급 차량(100)이 환경(110)을 통해 진행함에 따라, 이미지 캡처 디바이스(102)는 천장(112)의 이미지들을 캡처할 수 있다. 차량 컴퓨팅 디바이스(103)는 상기 이미지를 캡처할 때 자재 취급 차량(100)이 위치된 위치를 결정하기 위해 사이트 맵과 캡처된 이미지들을 비교할 수 있다. 교정 신뢰도가 그 후 이미지 캡처 디바이스(102)의 현재 교정에 관해 결정될 수 있다. 교정 신뢰도에 관련된 데이터는 자재 취급 차량(100) 상에서의 사용자 인터페이스를 통해서와 같은, 시각적 표시를 통해서와 같이, 사용자에게 제공될 수 있다. 교정 신뢰도는 루트를 따라 복수의 위치들에서 캡처된 이미지를 통해 예상된 이미지의 비교를 통해 결정될 수 있다. 구체적으로, 교정 값이 결정된 후, 이미지들을 캡처하고 이미지들을 사이트 맵과 비교하는 프로세스가 계속될 수 있다. 캡처된 이미지들의 정확도가 증가함에 따라, 교정 신뢰도가 또한 그렇다. 교정 신뢰도가 미리 결정된 임계치를 충족하면, 자재 취급 차량(100)은 이미 교정된 것으로 간주될 수 있다. 그러나, 교정 신뢰도가 임계치를 충족시키지 않는다면, 교정이 요구될 수 있다.
구체적으로 국소화 및 내비게이션을 위한 천장 등 관찰들을 이용하는 실시예들을 참조하면, 차량 컴퓨팅 디바이스(103)는 천장(112) 및/또는 천장 등들(114)의 이전 관찰들의 기록을 유지하면서, 차량 궤적의 추정치를 구성 및 유지하도록 구성될 수 있다. 차량 컴퓨팅 디바이스(103)는 부가적으로 이미지 캡처 디바이스(102)의 교정의 추정치를 유지할 수 있다. 이미지 캡처 디바이스(102)의 교정, 자재 취급 차량(100)의 경로, 및 상기 경로를 따르는 천장 등들(114)의 관찰들의 공동 추정을 고려해볼 때, 차량 컴퓨팅 디바이스(103)는 관찰들의 세트 및 사이트 맵 사이에서의 정확도를 나타내는 통계적 에러 값을 계산할 수 있다. 결과적으로, 이러한 에러 함수는 에러-최소화 최적화기에서의 피드백으로서 사용될 수 있다. 이러한 방식으로, 추정된 궤적은 관찰들이 제공된 맵과 실질적으로 일치하게 하기 위해 변경될 수 있다.
따라서, 이미지 캡처 디바이스(102)가 교정될 것이라는 결정에 응답하여, 차량 위치가 결정될 수 있다. 부가적으로, 이미지 캡처 디바이스(102) 교정은 시드 값을 추정함으로써 초기화될 수 있다. 차량 궤적 추정치는, 가장 최근의 오도메트리 측정들에 기초하여, 결정될 수 있다. 이미지 캡처 디바이스(102)로부터의 가장 최근의 프레임이 취해질 수 있으며 결정이 주어진 프레임에서의 특징들 대 사이트 맵에서의 특징들의 대응성에 관해 이루어질 수 있다. 구체적으로, 결정은 자재 취급 차량(100)의 궤적, 교정 및 사이트맵에 기초하여 예상된 관찰을 비교하며, 이미지로부터의 관찰된 특징들에 예상된 특징들을 매칭시킴으로써 이루어질 수 있다. 추정된 궤적은 사이트 맵 및 특징 관찰들을 고려해볼 때 궤적 및 교정의 공동으로 최적의 추정치를 결정하기 위해 조정될 수 있다. 교정 신뢰도는 계산되고 출력될 수 있다.
교정 프로세스를 정지시킬 때를 결정하기 위해, 차량 컴퓨팅 디바이스(103)는 현재 교정 추정치에서 교정 신뢰도의 통계 측정치를 계산한다. 이러한 측정치는 이미지 캡처 디바이스(102)의 사이트 맵, 오도메트리, 및 특징 관찰들을 고려해볼 때 교정 변수들에 걸친 한계 공분산에 기초하여 산출된다. 시간에 걸쳐, 점점 더 많은 특징들이 관찰들로서 제공됨에 따라, 교정 추정치에서의 교정 신뢰도가 올라간다. 이것은 각각의 연속적 특징 관찰이 이미지 캡처 디바이스(102)의 가능한 교정들에 대한 추가 제약을 제공하기 때문이다. 따라서, 시간이 흐름에 따라, 교정의 추정은 점점 더 제한된다. 이들 제약들의 합계의 최종적 결과는 자재 취급 차량(100)에서, 교정 신뢰도의 측정치이며, 이것은 실시간으로 보고된다. 교정 신뢰도가 미리 결정된 임계치, 또는 다른 값에 도달할 때, 교정 프로세스는 정지될 수 있다.
따라서, 도 4는 자재 취급 차량(100) 상에서 이미지 캡처 디바이스(102)를 교정하기 위한 흐름도를 묘사한다. 블록(450)에서 예시된 바와 같이, 자재 취급 차량(100)의 위치가 결정될 수 있다. 블록(452)에서, 자재 취급 차량(100)은 루트의 다음 증가 부분일 수 있다. 몇몇 실시예들에서, 이것은 미리 결정된 목적지로의 루트를 가로지르는 것을 포함할 수 있는 반면, 다른 실시예들은 최종 목적지를 결정하지 않을 수 있다.
특정한 실시예에 의존하여, 루트는 비교적 간단한 직선 경로들, 및/또는 스팟상에서 350도 회전들의 세트에 앞서, 유도 와이어를 따르는 짧은 주행을 포함하는 보다 복잡한 경로 계획들일 수 있다. 몇몇 실시예들에서, 교정 기법은 또한 교정 신뢰도가 미리 결정된 임계치 아래로 떨어질 때까지 자유롭게 운전하는 조작자를 갖고 잘 기능할 수 있다. 몇몇 실시예들에서, 운전자는 교정 불확실성의 현재 레벨에 기초하여 수행하기 위해 특정 조작들에 대한 제안들을 자재 취급 차량(100)에 제공할 수 있다.
여하튼, 블록(454)에서, 이미지 데이터는 이미지 캡처 디바이스(102)로부터 수신될 수 있다. 상기 설명된 바와 같이, 이미지 캡처 디바이스(102)는 환경(110)에서 천장 등들(114), 천장(112), 및/또는 다른 조명 기구의 이미지들을 캡처할 수 있다. 블록(456)에서, 이미지 데이터는 에러를 결정하기 위해 사이트 맵과 비교될 수 있다. 구체적으로, 자재 취급 차량(100)은 시작 위치, 시드 값을 결정할 수 있으며, 자재 취급 차량(100)이 이동하는 곳을 결정하기 위해 오도메트리 및 다른 데이터를 계속 파악하고 있을 것이다. 이러한 정보를 갖고, 차량 컴퓨팅 디바이스(103)는 사이트 맵으로부터의 예상 이미지를 이미지 캡처 디바이스(102)에 의해 캡처된 실제 이미지와 비교할 수 있다.
블록(458)에서, 교정 신뢰도는, 비교에 기초하여, 결정될 수 있다. 교정 신뢰도는 이미지 캡처 로직(144a)을 통해 결정될 수 있으며, 이것은 차량 컴퓨팅 디바이스(103)가 사이트 맵으로부터의 픽셀들(및/또는 세그먼트들)과 캡처된 이미지로부터의 픽셀(및/또는 세그먼트)을 비교하게 할 수 있다. 교정 신뢰도는 매칭되는 세그먼트들의 퍼센티지에 관련될 수 있다. 부가적으로, 몇몇 실시예들은 사이트 맵으로부터 캡처된 이미지에서의 세그먼트들의 오프셋을 결정하며 오프셋에 기초하여 교정 신뢰도를 제공할 수 있다. 다른 비교들이 또한 교정 신뢰도를 결정하기 위해 수행될 수 있다.
블록(460)에서, 교정 신뢰도가 디스플레이를 위해 제공될 수 있다. 예로서, 교정 신뢰도는 자재 취급 차량(100) 상에서 사용자 인터페이스를 통해 제공될 수 있다. 블록(462)에서, 결정은 결정된 교정 신뢰도가 임계치를 충족시키는지에 대하여 이루어질 수 있다. 그렇다면, 교정이 완료할 수 있다. 교정 신뢰도가 임계치를 충족시키지 않는다면, 최적화 문제가 구성될 수 있다. 구체적으로, 최적화 문제는 C++ 클래스들의 Georgia Technology 평활화 및 매핑(GTSAM) 라이브러리 또는 다른 평활화 및 매핑(SAM) 라이브러리들과 같은, 라이브러리를 이용하여 구성될 수 있다. GTSAM 라이브러리는, 희소 행렬들보다는 기본 컴퓨팅 패러다임으로서 인자 그래프들 및 베이즈(Bayes) 네트워크들을 사용하여, 로봇 공학 및 비전에서 평활화 및 매핑을 구현한다.
SAM 라이브러리, 및 다른 유사한 라이브러리들은 다양한 연관된 불확실성들을 갖고 다수의 공간 제약들을 만족시키는 것에 관련된 최적화 문제들(466)을 구성하기 위한 범용 프레임워크를 제공한다. 동시 국소화 및 매핑(SLAM)을 타겟팅하는 라이브러리의 부분들이 또한 이용될 수 있다는 것이 고려된다. SAM 라이브러리의 SLAM 부분은 구체적으로 기준 프레임 인자들을 사용하여 센서 외적 교정을 최적화하기 위한 기능을 제공한다.
최적화 문제가 인자 그래프로서 SAM에 표현되면, 블록(468)에서, SAM은 다수의 범용 최적화기들 중 임의의 것을 사용하여 최적화를 수행할 수 있다. 예를 들면, 리벤버그-마카드(Levenberg-Marquardt)는 여기에서 설명된 실시예들의 최적화에 잘 맞는다. 이미지 캡처 디바이스(102)의 교정을 결정하기 위해, 센서 측정치들의 스트림은 별개의 SAM 인자들로서 표현될 수 있으며 이들 인자들은 최적화된 교정 추정치를 획득하기 위해 SAM 최적화기로 전달된다.
도 5는 자재 취급 차량(100) 상에서 이미지 캡처 디바이스(102)의 교정을 위한 또 다른 흐름도를 묘사한다. 블록(550)에서 예시된 바와 같이, 자재 취급 차량(100)의 위치가 결정될 수 있다. 위치는 자재 취급 차량(100)의 좌표, 뿐만 아니라 자재 취급 차량(100)의 방향을 포함할 수 있다. 블록(552)에서, 이미지 캡처 디바이스(102)의 교정은 시드 값을 추정함으로써 초기화될 수 있다. 시드 값은 피치, 롤, 요, 줌, 및/또는 이미지 캡처 디바이스(102)에 관련된 다른 데이터를 나타낼 수 있으며 이미지 캡처 디바이스(102)의 제조사에 의해 제공된 데이터로부터, 초기 사용자 추측으로부터, 이미지 캡처 디바이스(102)의 위치의 추정치 등으로부터 추정될 수 있다. 블록(554)에서, 자재 취급 차량(100)은 루트를 가로지를 수 있다. 실시예에 의존하여, 루트는 와이어 유도되고, 자율적으로 유도되며, 및/또는 사용자 유도되는 미리 결정된 루트일 수 있다. 유사하게, 몇몇 실시예들은 미리 결정된 목적지 또는 루트 없이 사용자가 간단히 자재 취급 차량(100)을 운전하는 것을 포함할 수 있다.
여하튼, 블록(556)에서, 자재 취급 차량(100)이 루트를 가로지르는 동안, 이미지 캡처 디바이스(102)는 천장(112)의 적어도 하나의 이미지를 캡처할 수 있다. 몇몇 실시예들에서, 차량 컴퓨팅 디바이스(103)는 부가적으로 루트 상에서의 하나 이상의 포인트들에서 자재 취급 차량(100)의 근사 위치를 추정하기 위해 오도메트리 데이터 및 시드 값을 수신할 수 있다. 블록(558)에서, 캡처된 이미지 데이터는, 루트를 따라 자재 취급 차량(100)의 예상 위치에 기초하여, 사이트 맵으로부터의 예상 이미지 데이터와 비교될 수 있다. 블록(560)에서, 차량 컴퓨팅 디바이스(103)는 사이트 맵, 시드 값, 및 추정된 오도메트리 데이터와 이미지 데이터의 비교를 통해 교정 값을 결정할 수 있다. 교정 값은 자재 취급 차량(100)의 새로운 위치를 결정하기 위해 이용될 수 있다.
블록(562)에서, 교정 값의 교정 신뢰도가 결정될 수 있다. 블록(564)에서, 결정은 교정 신뢰도가 미리 결정된 임계치를 충족시키는지에 대하여 이루어질 수 있다. 그렇다면, 블록(566)에서, 교정이 완료된다. 블록(564)에서, 임계치가 충족되지 않는다면, 프로세스는 교정을 재시작하기 위해 블록(550)으로 되돌아갈 수 있다.
도 6은 여기에서 설명된 실시예들에 따라, 자재 취급 차량(100)을 위해 이용될 수 있는 컴퓨팅 기반시설을 묘사한다. 예시된 바와 같이, 차량 컴퓨팅 디바이스(103)는 프로세서(104), 입력/출력 하드웨어(632), 네트워크 인터페이스 하드웨어(634), 데이터 저장 구성요소(636)(최적화 데이터(638a), 사이트 맵 데이터(638b), 및/또는 다른 데이터를 저장할 수 있는), 및 메모리 구성요소(106)를 포함한다. 메모리 구성요소(106)는 휘발성 및/또는 비휘발성 메모리로서 구성될 수 있으며, 이와 같이, 랜덤 액세스 메모리(SRAM, DRAM, 및/또는 다른 유형들의 RAM), 플래시 메모리, 보안 디지털(SD) 메모리, 레지스터들, 컴팩트 디스크들(CD), 디지털 다목적 디스크들(DVD), 및/또는 다른 유형들의 비-일시적 컴퓨터-판독 가능한 매체들을 포함할 수 있다. 특정한 실시예에 의존하여, 이들 비-일시적 컴퓨터-판독 가능한 매체들은 차량 컴퓨팅 디바이스(103) 내에 및/또는 차량 컴퓨팅 디바이스(103)의 외부에 존재할 수 있다.
메모리 구성요소(106)는 운영 시스템 로직(642), 이미지 캡처 로직(144a) 및 오도메트리 로직(144b)을 저장할 수 있다. 이미지 캡처 로직(144c) 및 오도메트리 로직(144d)은 각각 복수의 상이한 조각들의 로직을 포함할 수 있으며, 그 각각은 예로서, 컴퓨터 프로그램, 펌웨어, 및/또는 하드웨어로서 구체화될 수 있다. 로컬 통신 인터페이스(646)는 또한 도 6에 포함되며 차량 컴퓨팅 디바이스(103)의 구성요소들 간에 통신을 가능하게 하기 위해 버스 또는 다른 통신 인터페이스로서 구현될 수 있다.
프로세서(104)는 지시들(데이터 저장 구성요소(636) 및/또는 메모리 구성요소(106b)로부터와 같은)을 수신 및 실행하도록 동작 가능한 임의의 프로세싱 구성요소를 포함할 수 있다. 상기 설명된 바와 같이, 입력/출력 하드웨어(632)는 이미지 캡처 디바이스(102), 오도미터 등을 포함하는 도 1의 구성요소들을 포함하고 및/또는 그것과 인터페이스하도록 구성될 수 있다. 네트워크 인터페이스 하드웨어(634)는 안테나, 모뎀, LAN 포트, 무선 충실도(Wi-Fi) 카드, WiMax 카드, Bluetooth™ 모듈, 이동 통신 하드웨어, 및/또는 다른 네트워크들 및/또는 디바이스들과 통신하기 위한 다른 하드웨어를 포함하여, 임의의 유선 또는 무선 네트워킹 하드웨어를 포함하며 및/또는 그것과 통신하기 위해 구성될 수 있다. 이러한 연결로부터, 통신은 차량 컴퓨팅 디바이스(103) 및 다른 컴퓨팅 디바이스들(원격 컴퓨팅 디바이스와 같은) 사이에서 가능하게 될 수 있다.
운영 시스템 로직(642)은 차량 컴퓨팅 디바이스(103)의 구성요소들을 관리하기 위한 운영 시스템 및/또는 다른 소프트웨어를 포함할 수 있다. 상기 논의된 바와 같이, 이미지 캡처 로직(144a)은 메모리 구성요소(106)에 존재할 수 있으며 프로세서(104)가 여기에서 설명된 바와 같이 이미지 캡처 디바이스(102)를 동작시키며 및/또는 교정하게 하도록 구성될 수 있다. 유사하게, 오도메트리 로직(144d)은 여기에서 설명된 바와 같이, 오도메트리 데이터를 이용하며 교정하기 위해 이용될 수 있다.
도 6에서의 구성요소들은 차량 컴퓨팅 디바이스(103) 내에 존재하는 것으로 예시되지만, 이것은 단지 예라는 것이 이해되어야 한다. 몇몇 실시예들에서, 구성요소들 중 하나 이상은 차량 컴퓨팅 디바이스(103)의 외부에 존재할 수 있다. 차량 컴퓨팅 디바이스(103)가 단일 디바이스로서 예시되지만, 이것은 또한 단지 예라는 것이 또한 이해되어야 한다. 몇몇 실시예들에서, 이미지 캡처 로직(144a) 및 오도메트리 로직(144b)은 상이한 컴퓨팅 디바이스들 상에 존재할 수 있다. 예로서, 여기에서 설명된 기능들 및/또는 구성요소들 중 하나 이상은 원격 컴퓨팅 디바이스 및/또는 다른 디바이스들에 의해 제공될 수 있으며, 이것은 차량 컴퓨팅 디바이스(103)에 통신적으로 결합될 수 있다. 이들 컴퓨팅 디바이스들은 또한 여기에서 설명된 기능을 수행하기 위한 하드웨어 및/또는 소프트웨어(도 6에 묘사된 것과 같은)를 포함할 수 있다.
부가적으로, 차량 컴퓨팅 디바이스(103)는 별개의 로직 구성요소들로서 이미지 캡처 로직(144a) 및 오도메트리 로직(144b)을 갖고 예시되지만, 이것은 또한 예이다. 몇몇 실시예들에서, 로직의 단일 조각은 차량 컴퓨팅 디바이스(103)가 설명된 기능을 제공하게 할 수 있다.
본 개시의 이미지 캡처 디바이스 교정 기술들은 고객 사이트들에서, 전문화된 또는 일반 창고 구성들에서 잘 맞는다. 최적화 및 통계 기술들을 사용하여, 이미지 캡처 디바이스 교정은, 자재 취급 차량(100)이 사이트를 통해 주행됨에 따라, 온라인으로 추정된다. 이러한 추정에서 교정 신뢰도가 또한 산출되며 교정의 진행 시 실시간 피드백으로서 시운전 엔지니어에 제공되어, 그들이 교정 프로세스를 완료할 때를 알도록 허용한다.
본 개시의 주제가 상세히 및 그것의 특정 실시예들을 참조하여 설명되었지만, 여기에서 개시된 다양한 세부사항들은, 특정한 요소가 본 설명을 수반하는 도면들의 각각에서 예시되는 경우들에도, 이들 세부사항들이 여기에서 설명된 다양한 실시예들의 필수적 구성요소들인 요소들에 관한 것임을 의미하기 위해 취해져서는 안된다는 것이 주의된다. 뿐만 아니라, 수정들 및 변화들이, 이에 제한되지 않지만, 첨부된 청구항들에서 정의된 실시예들을 포함하여, 본 개시의 범위로부터 벗어나지 않고 가능하다는 것이 명백할 것이다. 보다 구체적으로, 본 개시의 몇몇 양상들은 선호되거나 또는 특히 유리한 것으로 여기에서 식별되지만, 본 개시는 반드시 이들 양상들에 제한되는 것은 아니라는 것이 고려된다.
본 개시의 특정한 실시예들 및 양상들이 여기에서 예시되고 설명되었지만, 다양한 다른 변화들 및 수정들이 본 개시의 사상 및 범위로부터 벗어나지 않고 이루어질 수 있다. 게다가, 다양한 양상들이 여기에서 설명되었지만, 이러한 양상들은 조합하여 이용될 필요는 없다. 따라서, 그러므로, 첨부된 청구항들은 여기에서 도시되고 설명된 실시예들의 범위 내에 있는 모든 이러한 변화들 및 수정들을 커버하도록 의도된다.
여기에서 개시된 실시예들은 설명된 자재 취급 차량을 교정하기 위한 시스템들, 방법들, 및 비-일시적 컴퓨터-판독 가능한 매체들을 포함한다는 것이 이제 이해되어야 한다. 이들 실시예들은 단지 대표적이며 본 개시의 범위를 제한하도록 의도되지 않는다는 것이 또한 이해되어야 한다.

Claims (19)

  1. 이미지 캡처 디바이스 및 차량 컴퓨팅 디바이스를 포함한 자재 취급 차량을 위해 상기 이미지 캡처 디바이스를 교정하기 위한 시스템으로서,
    상기 차량 컴퓨팅 디바이스는 로직을 저장하며, 상기 로직은 프로세서에 의해 실행될 때, 상기 자재 취급 차량이 적어도:
    창고에서 상기 자재 취급 차량의 현재 위치를 결정하는 것;
    상기 이미지 캡처 디바이스와 연관된 시드 값(seed value)을 결정하는 것으로서, 상기 시드 값은 상기 이미지 캡처 디바이스의 초기 교정 파라미터들을 나타내는, 상기 시드 값을 결정하는 것;
    상기 창고에서 이미지 데이터를 캡처하는 것으로서, 상기 이미지 데이터는 상기 창고에서의 위치를 나타내는 위치 식별자를 포함하는, 상기 이미지 데이터를 캡처하는 것;
    상기 이미지 데이터를 사이트 맵과 비교하는 것으로서, 상기 사이트 맵은 상기 창고에서의 천장의 영상 및 위치 데이터를 나타내는, 상기 이미지 데이터를 비교하는 것;
    상기 비교 및 상기 시드 값으로부터 상기 이미지 캡처 디바이스에 대한 교정 값을 결정하는 것; 및
    상기 자재 취급 차량의 새로운 위치를 결정하기 위해 상기 교정 값을 이용하는 것을 수행하게 하는, 이미지 캡처 디바이스를 교정하기 위한 시스템.
  2. 청구항 1에 있어서,
    상기 로직은 또한 상기 시스템이 적어도:
    상기 이미지 캡처 디바이스에 대한 상기 교정 값의 정확도에 관련된 교정 신뢰도를 계산하는 것으로서, 상기 교정 신뢰도는 상기 사이트 맵과 상기 이미지 데이터의 비교에 기초하여 상기 교정 값의 정확도를 나타내는, 상기 교정 신뢰도를 계산하는 것;
    상기 교정 신뢰도가 미리 결정된 임계치를 충족시키는지를 결정하는 것;
    상기 교정 신뢰도의 시각적 표시를 사용자에게 제공하는 것; 및
    상기 교정 신뢰도가 상기 미리 결정된 임계치를 충족시키지 않는다는 결정에 응답하여, 교정을 재시작하기 위한 지시를 제공하는 것을 수행하게 하는, 이미지 캡처 디바이스를 교정하기 위한 시스템.
  3. 청구항 2에 있어서,
    상기 로직은 또한 상기 시스템이 상기 교정 신뢰도를 상기 사용자에게 보고하게 하는, 이미지 캡처 디바이스를 교정하기 위한 시스템.
  4. 청구항 1에 있어서,
    상기 시드 값은: 상기 이미지 캡처 디바이스의 피치, 상기 이미지 캡처 디바이스의 롤, 및 상기 이미지 캡처 디바이스의 요 중 적어도 하나에 관련된 데이터를 포함하는, 이미지 캡처 디바이스를 교정하기 위한 시스템.
  5. 청구항 1에 있어서,
    상기 자재 취급 차량의 상기 현재 위치는: 사용자 입력 및 센서의 트리거링 중 적어도 하나로부터 수신되는, 이미지 캡처 디바이스를 교정하기 위한 시스템.
  6. 청구항 1에 있어서,
    원격 컴퓨팅 디바이스를 더 포함하며, 상기 로직은 또한 상기 차량 컴퓨팅 디바이스가 최적화 문제를 구성하기 위해 상기 원격 컴퓨팅 디바이스와 통신하게 하는, 이미지 캡처 디바이스를 교정하기 위한 시스템.
  7. 청구항 6에 있어서,
    상기 원격 컴퓨팅 디바이스는 상기 최적화 문제를 구성하기 위해 평활화 및 매핑(SAM : smoothing and mapping) 라이브러리를 이용하는, 이미지 캡처 디바이스를 교정하기 위한 시스템.
  8. 청구항 7에 있어서,
    상기 원격 컴퓨팅 디바이스는 상기 최적화 문제를 구성하기 위해 동시 국소화 및 매핑(SLAM : simultaneous localization and mapping)을 이용하는, 이미지 캡처 디바이스를 교정하기 위한 시스템.
  9. 청구항 7에 있어서,
    로직은 또한 상기 차량 컴퓨팅 디바이스가 상기 이미지 데이터, 상기 사이트 맵에 관련된 데이터, 및 상기 이미지 캡처 디바이스에 관련된 데이터 중 적어도 하나를 상기 원격 컴퓨팅 디바이스로 전달하게 하는, 이미지 캡처 디바이스를 교정하기 위한 시스템.
  10. 청구항 7에 있어서,
    상기 비교로부터 상기 이미지 캡처 디바이스에 대한 상기 교정 값을 결정하는 것은 상기 원격 컴퓨팅 디바이스로부터 데이터를 수신하는 것을 포함하는, 이미지 캡처 디바이스를 교정하기 위한 시스템.
  11. 청구항 1에 있어서,
    상기 로직은 상기 자재 취급 차량이 목적지에 도달하기 위해 미리 결정된 루트를 가로지르게 하는, 이미지 캡처 디바이스를 교정하기 위한 시스템.
  12. 청구항 1에 있어서,
    상기 이미지 데이터를 상기 사이트 맵과 비교하는 것은 상기 이미지 데이터에 적용하는 상기 사이트 맵의 세그먼트를 식별하는 것을 포함하는, 이미지 캡처 디바이스를 교정하기 위한 시스템.
  13. 청구항 1에 있어서,
    상기 이미지 데이터는 조명 기구의 이미지를 포함하는, 이미지 캡처 디바이스를 교정하기 위한 시스템.
  14. 이미지 캡처 디바이스 및 차량 컴퓨팅 디바이스를 포함한 자재 취급 차량으로서,
    상기 차량 컴퓨팅 디바이스는 로직을 저장하며, 상기 로직은 프로세서에 의해 실행될 때, 상기 자재 취급 차량이 적어도:
    상기 자재 취급 차량의 현재 위치를 결정하는 것;
    상기 이미지 캡처 디바이스와 연관된 시드 값을 결정하는 것으로서, 상기 시드 값은 상기 이미지 캡처 디바이스의 초기 교정 파라미터들을 나타내는, 상기 시드 값을 결정하는 것;
    창고에서 이미지 데이터를 캡처하는 것으로서, 상기 이미지 데이터는 상기 창고에서의 위치를 나타내는 위치 식별자를 포함하는, 상기 이미지 데이터를 캡처하는 것;
    상기 이미지 데이터를 사이트 맵과 비교하며 최적화 문제를 생성하기 위해 원격 컴퓨팅 디바이스와 통신하는 것으로서, 상기 최적화 문제는 매핑 라이브러리와의 통신을 통해 생성되며, 상기 사이트 맵은 상기 창고에서의 천장의 영상 및 위치 데이터를 나타내는, 상기 원격 컴퓨팅 디바이스와 통신하는 것;
    상기 최적화 문제의 출력으로부터 상기 이미지 캡처 디바이스에 대한 교정 값을 결정하는 것; 및
    상기 자재 취급 차량의 새로운 위치를 결정하기 위해 상기 교정 값을 이용하는 것을 수행하게 하는, 자재 취급 차량.
  15. 청구항 14에 있어서,
    상기 로직은 또한 상기 자재 취급 차량이 적어도:
    상기 이미지 캡처 디바이스에 대한 상기 교정 값의 정확도에 관련된 교정 신뢰도를 계산하는 것으로서, 상기 교정 신뢰도는 상기 사이트 맵과 상기 이미지 데이터의 비교에 기초하여 상기 교정 값의 정확도를 나타내는, 상기 교정 신뢰도를 계산하는 것;
    상기 교정 신뢰도가 미리 결정된 임계치를 충족시키는지를 결정하는 것; 및
    상기 교정 신뢰도가 상기 미리 결정된 임계치를 충족시키지 않는다는 결정에 응답하여, 교정을 재시작하기 위한 지시를 제공하는 것을 수행하게 하는, 자재 취급 차량.
  16. 청구항 14에 있어서,
    상기 시드 값은: 상기 이미지 캡처 디바이스의 피치, 상기 이미지 캡처 디바이스의 롤, 및 상기 이미지 캡처 디바이스의 요 중 적어도 하나에 관련된 데이터를 포함하는, 자재 취급 차량.
  17. 청구항 14에 있어서,
    상기 원격 컴퓨팅 디바이스는 상기 최적화 문제를 구성하기 위해 평활화 및 매핑(SAM) 라이브러리를 이용하는, 자재 취급 차량.
  18. 청구항 14에 있어서,
    상기 로직은 또한 상기 차량 컴퓨팅 디바이스가, 상기 이미지 데이터, 상기 사이트 맵에 관련된 데이터, 및 상기 이미지 캡처 디바이스에 관련된 데이터 중 적어도 하나를 상기 원격 컴퓨팅 디바이스로 전달하게 하는, 자재 취급 차량.
  19. 자재 취급 차량을 위해 이미지 캡처 디바이스를 교정하기 위한 방법으로서,
    상기 자재 취급 차량의 현재 위치를 결정하는 단계;
    상기 이미지 캡처 디바이스와 연관된 시드 값을 추정하는 단계로서, 상기 시드 값은: 상기 이미지 캡처 디바이스의 피치, 상기 이미지 캡처 디바이스의 롤, 및 상기 이미지 캡처 디바이스의 요 중 적어도 하나에 관련된 데이터를 포함하는, 상기 시드 값을 추정하는 단계;
    환경에서 이미지 데이터를 캡처하는 단계로서, 상기 이미지 데이터는 창고에서의 위치를 나타내는 위치 식별자를 포함하는, 상기 이미지 데이터를 캡처하는 단계;
    최적화 문제를 생성하기 위해 상기 이미지 데이터를 사이트 맵과 비교하도록 원격 컴퓨팅 디바이스와 통신하는 단계로서, 상기 원격 컴퓨팅 디바이스는 상기 최적화 문제를 생성하기 위해 평활화 및 매핑(SAM) 라이브러리를 이용하는, 상기 원격 컴퓨팅 디바이스와 통신하는 단계;
    상기 비교 및 상기 시드 값으로부터 상기 이미지 캡처 디바이스에 대한 교정 값을 결정하는 단계;
    상기 이미지 캡처 디바이스에 대한 상기 교정 값의 정확도에 관련된 교정 신뢰도를 계산하는 단계로서, 상기 교정 신뢰도는 상기 사이트 맵과 상기 이미지 데이터의 비교에 기초하여 상기 교정 값의 정확도를 나타내는, 상기 교정 신뢰도를 계산하는 단계;
    상기 교정 신뢰도가 미리 결정된 임계치를 충족시키는지를 결정하는 단계;
    상기 교정 신뢰도가 상기 미리 결정된 임계치를 충족시키지 않는다는 결정에 응답하여, 교정을 재시작하기 위한 지시를 제공하는 단계; 및
    상기 교정 신뢰도가 상기 미리 결정된 임계치를 충족시킨다는 결정에 응답하여, 상기 자재 취급 차량의 새로운 위치를 결정하기 위해 상기 교정 값을 이용하는 단계를 포함하는, 이미지 캡처 디바이스를 교정하기 위한 방법.
KR1020177036861A 2015-05-26 2016-05-19 자재 취급 차량을 위한 이미지 캡처 디바이스 교정을 위한 시스템들 및 방법들 KR102490138B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562166181P 2015-05-26 2015-05-26
US62/166,181 2015-05-26
PCT/US2016/033191 WO2016191181A1 (en) 2015-05-26 2016-05-19 Systems and methods for image capture device calibration for a materials handling vehicle

Publications (2)

Publication Number Publication Date
KR20180012287A true KR20180012287A (ko) 2018-02-05
KR102490138B1 KR102490138B1 (ko) 2023-01-19

Family

ID=56097310

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177036861A KR102490138B1 (ko) 2015-05-26 2016-05-19 자재 취급 차량을 위한 이미지 캡처 디바이스 교정을 위한 시스템들 및 방법들

Country Status (9)

Country Link
US (1) US10455226B2 (ko)
EP (1) EP3304491B1 (ko)
KR (1) KR102490138B1 (ko)
CN (1) CN107660297B (ko)
AU (1) AU2016268033B2 (ko)
BR (1) BR112017025107A2 (ko)
CA (1) CA2986698C (ko)
MX (1) MX2017015063A (ko)
WO (1) WO2016191181A1 (ko)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11370422B2 (en) * 2015-02-12 2022-06-28 Honda Research Institute Europe Gmbh Method and system in a vehicle for improving prediction results of an advantageous driver assistant system
US9880009B2 (en) 2015-09-04 2018-01-30 Crown Equipment Corporation Industrial vehicle with feature-based localization and navigation
JP2019500596A (ja) * 2015-12-03 2019-01-10 オスラム・シルバニア・インコーポレイテッド 移動通信システムのための光ベースの車両位置特定
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10197400B2 (en) * 2016-02-25 2019-02-05 Sharp Laboratories Of America, Inc. Calibration methods and systems for an autonomous navigation vehicle
DE102016218232B4 (de) * 2016-09-22 2024-02-15 Volkswagen Aktiengesellschaft Positionsbestimmungssystem für eine mobile Einheit, Fahrzeug und Verfahren zum Betreiben eines Positionsbestimmungssystems
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US10505057B2 (en) 2017-05-01 2019-12-10 Symbol Technologies, Llc Device and method for operating cameras and light sources wherein parasitic reflections from a paired light source are not reflected into the paired camera
US10949798B2 (en) * 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US11978011B2 (en) 2017-05-01 2024-05-07 Symbol Technologies, Llc Method and apparatus for object status detection
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
CN110044334B (zh) 2018-01-16 2020-04-21 京东方科技集团股份有限公司 基于维诺图的室内空间定位
DE102018205065A1 (de) * 2018-04-04 2019-10-10 Volkswagen Aktiengesellschaft Verfahren zur Kalibrierung eines Positionssensors in einem Fahrzeug, Computerprogramm, Speichermittel, Steuergerät und Kalibrierstrecke
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
FR3083607A1 (fr) * 2018-07-06 2020-01-10 Balyo Procede et dispositif de positionnement pour vehicule, et vehicule comportant un tel dispositif
US11416001B2 (en) 2018-07-17 2022-08-16 Crown Equipment Corporation Systems and methods for vehicle position calibration using rack leg identification
US20200027241A1 (en) * 2018-07-19 2020-01-23 GM Global Technology Operations LLC Auto-calibration for vehicle cameras
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
CA3129397A1 (en) 2019-02-06 2020-08-13 Crown Equipment Corporation Systems and methods for end of aisle protection and vehicle position calibration using rack leg identification
EP3928266A1 (en) 2019-02-19 2021-12-29 Crown Equipment Corporation Systems and methods for calibration of a pose of a sensor relative to a materials handling vehicle
KR102634443B1 (ko) * 2019-03-07 2024-02-05 에스케이텔레콤 주식회사 차량용 센서의 보정 정보 획득 장치 및 방법
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
JP7332403B2 (ja) * 2019-09-11 2023-08-23 株式会社東芝 位置推定装置、移動体制御システム、位置推定方法およびプログラム
CN112684728B (zh) * 2019-10-17 2021-09-28 广东原点智能技术有限公司 一种基于激光slam的机器人码垛控制方法
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11080544B1 (en) * 2020-04-24 2021-08-03 StradVision, Inc. Method and device for calibrating pitch of camera on vehicle and method and device for continual learning of vanishing point estimation model to be used for calibrating the pitch
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
CN117858156B (zh) * 2024-03-08 2024-05-10 国网山东省电力公司枣庄供电公司 一种无人化自动领料信息的处理装置与方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010174A1 (ja) * 2012-07-12 2014-01-16 日本電気株式会社 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
US20150094900A1 (en) * 2013-09-30 2015-04-02 Crown Equipment Limited Industrial vehicles with overhead light based localization

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4939659A (en) 1988-01-15 1990-07-03 Allied-Signal, Inc. Speed/rpm transmitting device
US5155684A (en) 1988-10-25 1992-10-13 Tennant Company Guiding an unmanned vehicle by reference to overhead features
US5020008A (en) 1989-06-05 1991-05-28 Allied-Signal Inc. Method of calibrating vehicle speed signals
JP3378360B2 (ja) 1994-06-30 2003-02-17 松下電器産業株式会社 速度センサ係数算出装置
DE4430462A1 (de) 1994-08-27 1996-02-29 Teves Gmbh Alfred Verfahren zum schnellen Erkennen eines Notrades
GB2377538B (en) 2001-03-28 2004-12-29 Citysync Ltd An automatic number plate recognition system
US8381982B2 (en) * 2005-12-03 2013-02-26 Sky-Trax, Inc. Method and apparatus for managing and controlling manned and automated utility vehicles
US7405834B1 (en) 2006-02-15 2008-07-29 Lockheed Martin Corporation Compensated coherent imaging for improved imaging and directed energy weapons applications
JP5124147B2 (ja) * 2007-02-01 2013-01-23 三洋電機株式会社 カメラ校正装置及び方法並びに車両
EP2377094B1 (en) * 2008-10-01 2014-06-11 Connaught Electronics Limited A method and a system for calibrating an image capture device
JP4636346B2 (ja) * 2009-03-31 2011-02-23 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム
MX2010005149A (es) 2009-05-08 2012-10-11 Sistemas de seguridad.
US8655588B2 (en) * 2011-05-26 2014-02-18 Crown Equipment Limited Method and apparatus for providing accurate localization for an industrial vehicle
US8589012B2 (en) * 2011-06-14 2013-11-19 Crown Equipment Limited Method and apparatus for facilitating map data processing for industrial vehicle navigation
US8718372B2 (en) * 2011-10-19 2014-05-06 Crown Equipment Corporation Identifying and evaluating possible horizontal and vertical lines intersecting potential pallet features
US8848173B2 (en) * 2011-11-10 2014-09-30 Cdex, Inc. Chemical and molecular identification and quantification system utilizing enhanced photoemission spectroscopy
JP5923422B2 (ja) * 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置
US20140204083A1 (en) 2013-01-23 2014-07-24 Brent Thomson Systems and methods for real-time distortion processing
US20140267703A1 (en) * 2013-03-15 2014-09-18 Robert M. Taylor Method and Apparatus of Mapping Landmark Position and Orientation
CN103226827B (zh) * 2013-03-21 2016-04-27 深圳市汉华安道科技有限责任公司 摄像头外部参数校正方法、装置及辅助泊车系统
US9354070B2 (en) 2013-10-31 2016-05-31 Crown Equipment Corporation Systems, methods, and industrial vehicles for determining the visibility of features
AU2015280776B2 (en) 2014-06-27 2019-08-22 Crown Equipment Corporation Vehicle positioning or navigation utilizing associated feature pairs
GB2533090A (en) 2014-12-08 2016-06-15 Skf Ab Sensor device with mounting means

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010174A1 (ja) * 2012-07-12 2014-01-16 日本電気株式会社 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
US20150094900A1 (en) * 2013-09-30 2015-04-02 Crown Equipment Limited Industrial vehicles with overhead light based localization

Also Published As

Publication number Publication date
US20160353099A1 (en) 2016-12-01
WO2016191181A1 (en) 2016-12-01
KR102490138B1 (ko) 2023-01-19
CA2986698A1 (en) 2016-12-01
EP3304491A1 (en) 2018-04-11
US10455226B2 (en) 2019-10-22
CN107660297A (zh) 2018-02-02
MX2017015063A (es) 2018-05-07
AU2016268033A1 (en) 2017-12-07
BR112017025107A2 (pt) 2018-07-31
AU2016268033B2 (en) 2020-12-10
CA2986698C (en) 2023-08-01
EP3304491B1 (en) 2020-07-08
CN107660297B (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
KR101878649B1 (ko) 자재 취급 차량 오도메트리 교정을 위한 시스템들 및 방법들
KR102490138B1 (ko) 자재 취급 차량을 위한 이미지 캡처 디바이스 교정을 위한 시스템들 및 방법들
US11846949B2 (en) Systems and methods for calibration of a pose of a sensor relative to a materials handling vehicle
CN105793731A (zh) 自主移动对象
US20210271246A1 (en) Arithmetic device, movement control system, control device, moving object, calculation method, and computer-readable storage medium
JPWO2019180765A1 (ja) 自律走行作業機
KR101143892B1 (ko) 자율주행 장치 및 그 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant