KR20160044432A - 가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법 - Google Patents

가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20160044432A
KR20160044432A KR1020157031027A KR20157031027A KR20160044432A KR 20160044432 A KR20160044432 A KR 20160044432A KR 1020157031027 A KR1020157031027 A KR 1020157031027A KR 20157031027 A KR20157031027 A KR 20157031027A KR 20160044432 A KR20160044432 A KR 20160044432A
Authority
KR
South Korea
Prior art keywords
target object
pan
camera
markers
coordinate system
Prior art date
Application number
KR1020157031027A
Other languages
English (en)
Other versions
KR101988083B1 (ko
Inventor
제임스 제이. 트로이
스코트 더블유. 리
다니엘 제임스 라이트
개리 이. 조지슨
칼 에드워드 넬슨
Original Assignee
더 보잉 컴파니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보잉 컴파니 filed Critical 더 보잉 컴파니
Publication of KR20160044432A publication Critical patent/KR20160044432A/ko
Application granted granted Critical
Publication of KR101988083B1 publication Critical patent/KR101988083B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • H04N5/23222—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G06K9/3216—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/23296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

자동화된 프로세스는 하나 이상의 가동 타겟 오브젝트에 대한 위치(즉, 포지션 및 지향) 데이터를 획득하기 위하여 로컬 포지셔닝 시스템을 이용한다. 타겟 오브젝트들이 컴퓨터 제어 하에 이동할 수 있는 경우에, 이러한 자동화된 프로세스는, 이러한 타겟 오브젝트들의 포지션 및 지향을 제어하기 위해 측정된 위치 데이터를 이용할 수 있다. 본 시스템은 로컬 포지셔닝 시스템의 측정 및 이미지 캡처 능력을 수용하고, 그리고 제어가능한 마커 라이트들, 이미지 프로세싱, 및 비클 위치 제어를 위한 추적 정보를 제공하는 좌표 변환 연산을 통합한다. 결과적인 본 시스템은 기준 좌표계에서 오브젝트들의 포지션 및 지향 추적을 가능하게 한다.

Description

가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법{SYSTEMS AND METHODS FOR TRACKING LOCATION OF MOVABLE TARGET OBJECT}
본 발명은 일반적으로 가동 타겟 오브젝트(예를 들어, 크롤러 비클 또는 컴퓨터 프로그램에 의해 가이드되는 다른 전기-기계적 머신), 이것이 워크피스 또는 부품에 대해 움직이는 경우의, 위치들을 탐색하기 위한 시스템들 및 방법들에 관한 것이다.
크롤러 비클들 또는 다른 컴퓨터로-제어되는 전기-기계적 머신들을 이용하는 제조 과정들(manufacturing processes)에 관한 애플리케이션들은 때때로 기준 좌표계에서 위치 추적(location tracking)을 사용한다(employ). 현존하는 위치 추적 솔루션은 두 개의 카테고리로 분류된다: 절대 모션 추적(absolute motion tracking) 및 점증 모션 추적(incremental motion tracking). 절대 모션 추적은 항공기 좌표계와 같은 기준 좌표계에서 정의되는 포지션(position) 및/또는 지향(orientation)의 추적에 관한 것이다. 절대 모션 추적에 관한 알려진 기술들은 광학 모션 캡처(optical motion capture), 레이저 추적(laser tracking), 뎁스 카메라들(depth cameras), 마그네틱 추적(magnetic tracking), 및 소리-기반의 추적(sonic-based tracking)을 포함한다.
점증 모션 추적은 이전의 좌표 측정에 관한 이동들(displacements)을 측정한다. 점증 모션 추적에 대한 하나의 알려진 기술은 점증 이동들(incremental movements)에 대한 응답으로 펄스들(pulses)을 출력하는 인코더들(encoders)을 사용한다. 점증 모션 측정(incremental motion measurement)을 사용하는 애플리케이션에서, 에러들(errors)은 시간에 따라 커질(build up) 수 있다. 이러한 에러 증가(error build-up)는 절대 좌표계에 대해 정형의 에러가 요구되는 사용 사례에서 바람직하지 않다. 높은 업데이트 비율로 동작하는 점증 모션 측정으로 통합 가능한, 낮은 업데이트 비율로 정확한, 절대 측정(absolute measurement)을 제공하는 프로세스를 구현할 필요가 존재한다.
광학(optical) 또는 이미지-기반의 기술들을 이용하여 포지션 및 지향을 측정하는 다른 절대 측정 시스템이 존재하지만, 이들은 보통 타겟 오브젝트 주위에 배치되는 복수의 카메라들을 필요로 한다. 싱글 "뎁스(depth)" 카메라를 사용하는 하나의 알려진 절대 측정 시스템은 특이한 특징을 식별하기에는 제한된 범위와 제한된 능력을 갖는다. 하나의 표준 비디오 카메라를 이용하여 포지션 및 지향을 추적할 수 있으면 유리할 것이다.
본 발명에 따른 자동 측정 과정들은 상대적인 (점증) 추적 데이터를 생성하는 시스템에서 절대 측정들(absolute measurements)을 제공한다. 이러한 애플리케이션은 더 나아가, 싱글-카메라 구성을 사용하기 때문에 설치가 간편한, 휴대 가능하고 낮은 비용의 설비를 사용하는 표면-크롤러 비클들과 같은 비클들에 관한 자동화된 모션 추적과 제어를 다룬다. 주행 거리 측정(odometry)(또는 다른 상대적 좌표 측정)과 같이 사용되는 때에, 이러한 추적 시스템은 모션-제어되는 비클들에 대한 절대 좌표 수정 방법(absolute coordinate correction method)을 제공할 수 있다. 모션 제어 없이 사용되는 때에, 이것은 여전히 하나 이상의 오브젝트의 위치들을 대규모로 추적하는 자동화된 방법을 제공할 수 있다.
타겟 오브젝트들이 적어도 잠시나마 정지한 동안에(즉, 프로세스의 측정 부분이 완료되기에 충분히 긴), 하나 이상의 움직이는 타겟 오브젝트들에 대한 위치(location)(즉, 포지션 및 지향) 데이터를 얻기 위해, 자동화된 프로세스들은 로컬 포지셔닝 시스템(local positioning system, LPS)을 사용한다. 타겟 오브젝트들이 컴퓨터 제어 하에서 움직이는 능력을 갖고 있는 경우에, 이러한 자동화된 프로세스는, 이러한 타겟 오브젝트들의 포지션 및 지향을 수정하기 위해 측정된 위치 데이터를 사용할 수 있다. 본 시스템은 로컬 포지셔닝 시스템의 측정 및 이미지 캡처 능력을 수용하고, 그리고 비클 위치 제어에 대한 추적 정보를 제공하기 위해 제어 가능한 마커 라이트들(marker lights), 이미지 프로세싱, 및 좌표 변환 연산을 통합한다. 결과적인 시스템은, 항공기 날개 표면 상에서의 크롤러 비클의 추적과 같은 기준 좌표계에서의 오브젝트들의 포지션 및 지향 추적을 가능하게 한다. 본 시스템은 다른 타입의 오프-보드 추적 시스템들에 대한 낮은-비용의 대안을 제공한다; 이것은 휴대가 가능하고, 설치가 간편하고 그리고 하나의 사용자에 의해 동작이 가능하다.
아래에 자세하게 개시되는 본 발명에 관한 하나의 태양은, 타겟 오브젝트가, 알려진 패턴으로 배열된 적어도 3 개의 엑티브 타겟 마커들을 구비하는 때에, 3 차원 기준 좌표계에서의 타겟 오브젝트의 현재 위치를 결정하기 위한 방법이다.
본 방법은 다음의 단계들을 포함한다:
(a) 기준 좌표계에 대하여 카메라의 위치를 정의하는 단계;
(b) 카메라가 타겟 오브젝트(target object)의 중앙에 오고 모든 엑티브 타겟 마커들이 온(on)이 아닌 동안에 이미지를 캡처하는 단계;
(c) 카메라가 타겟 오브젝트의 중앙에 오고 하나 이상의 엑티브 타겟 마커들이 온(on)인 경우 동안에 이상의 이미지를 캡처하는 단계;
(d) 모든 엑티브 타겟 마커들이 온(on)이 아닌 때에 캡처된 이미지와 하나 이상의 엑티브 마커들이 온(on)인 동안에 캡처된 각각의 이미지 간의 차이들을 나타내는 차이 이미지를 연산하기 위해 이미지를 처리하는 단계;
(e) 각각의 엑티브 타겟 마커들에 상응하는 차이 이미지에서의 차이 영역들(difference areas)에 대한 각각의 평균 픽셀 좌표들(average pixel coordinates)을 연산하는 단계;
(f) 각각의 엑티브 타겟 마커들에 대해, 레이저 거리 측정기(laser range finder)를 겨냥하고, 타겟 오브젝트가 카메라의 이미지 시야(image field-of-view)에서 중앙에 오는 적어도 팬(pan) 및 틸트 각도들(tilt angles)의 함수인 각각의 팬 및 틸트 각도들과 각각의 평균 픽셀 좌표들(average pixel coordinates) 및 이미지들의 중앙(center of the images)의 픽셀 좌표들 간의 차이점들에 의해 정의되는 방향으로 레이저 빔을 전송하는 단계;
(g) 각각의 엑티브 타겟 마커들에 대해, 각각의 레이저 빔의 전송 후에 각각의 거리(range), 팬(pan) 및 틸트(tilt) 데이터를 요청하는 단계;
(h) 상기 측정된 거리, 팬 및 틸트 데이터에 기반하여 상기 기준 좌표계에서 상기 엑티브 타겟 마커들에 상응하는 각각의 포인트들(points)의 좌표를 연산하는 단계; 및
(i) 기준 좌표계 차원에서 정의된 타겟 오브젝트의 현재 포지션 및 지향을 결정하기 위해, 좌표가 상기 측정된 데이터로부터 연산된 각각의 포인트들의 각각의 포지션들과 알려진 패턴으로 배열된 각각의 포인트들의 각각의 포지션들을 비교하는 단계
몇몇 실시예들에 따라서, (c) 단계는, 적어도 세 개의 엑티브 타겟 마커들이 온(on)인 동안에, 하나의 이미지를 캡처하는 단계를 포함한다. 다른 실시예들에 따라서, (c) 단계는, 제1, 제2 및 제3 엑티브 타겟 마커들이 차례로 온(on)으로 변환되는 동안에, 각각의 이미지들을 캡처하는 단계를 포함한다.
몇몇 실시예들에 따라서, (d) 단계는, 엑티브 타겟 마커들에 상응하는 분리된 영역을 포함하도록 차이점들에 기반하여 차이 이미지를 분리하는 단계(segmenting); 및 엑티브 타겟 마커들에 상응하는 각각의 분리된 영역의 각각의 중심에 대한 차이 이미지에서의 각각의 평균 픽셀 좌표들을 연산하는 단계를 포함한다.
또 다른 태양에 따라서, 상기 기술된 본 방법은, 상기 포인트들(points) 간의 상대적인 거리에 기반하여 포인트 패턴(point pattern)을 측정하는 단계; 및 측정된 포인트 패턴과 알려진 포인트 패턴 사이의 차이점들에 기반하여 기준 좌표계에서의 타겟 오브젝트(target object)의 위치를 나타내는 제1 변환 행렬(first transformation matrix)을 연산하는 단계를 더 포함할 수 있다.
추가적인 태양에 따라서, 상기 기술된 본 방법은, 타겟 오브젝트를 초기 위치에 놓는(placing) 단계; 기준 좌표계에 대해 타겟 오브젝트의 초기 위치를 나타내는 제2 변환 행렬을 연산하는 단계; 타겟 오브젝트를 초기 위치(initial location)에서 현재 위치(current location)로 움직이게 하는(moving) 단계; 상기 제2 변환 행렬의 역행렬(inverse)을 연산하는 단계; 및 타겟 오브젝트의 초기 위치에 대한 타겟 오브젝트의 현재 위치를 나타내는 제3 변환 행렬인, 상기 제1 변환 행렬과 상기 제2 행렬의 역행렬의 곱을 연산하는 단계를 더 포함할 수 있다. 몇몇 실시예들에 다라서, 본 방법은 초기 위치에서 현재 위치로의 이동(movement) 중에 증가하는 타겟 오브젝트의 모션에 대한 응답으로 인코더 펄스들을 생성하는 단계를 더 포함한다.
하기 자세하게 개시되는 본 발명에 관한 또 다른 태양은, 팬-틸트 메카니즘(pan-tilt mechanism); 상기 팬-틸트 메카니즘에 설치된 카메라 및 레이저 거리 측정기(laser range finder); 적어도 세 개의 엑티브 타겟 마커들을 구비하는 타겟 오브젝트; 및 상기 카메라, 상기 레이저 거리 측정기 및 상기 팬-틸트 메카니즘을 제어하기 위한 제1 소프트웨어, 상기 카메라에 의해 획득되는 이미지를 처리하기 위한 제2 소프트웨어, 및 상기 타겟 오브젝트의 모션 및 상기 적어도 세 개의 엑티브 타겟 마커들의 상태들을 제어하기 위한 제3 소프트웨어로 프로그램되는 컴퓨터 시스템을 포함하는 위치 추적 시스템이다.
앞선 문단에서 기술된 상기 위치 추적 시스템의 하나의 실시예에 따라서, 상기 제1 소프트웨어는, 상기 카메라를 상기 타겟 오브젝트에 겨냥하기 위해 상기 팬-틸트 메카니즘에 명령하기 위한 또한 상기 타겟 오브젝트의 이미지들을 캡처하기 위해 상기 카메라에 명령하기 위한 루틴들을 포함한다; 상기 제2 소프트웨어는, 상기 엑티브 타겟 마커들이 온(on)이 아닌 때에 캡처된 이미지와 하나 이상의 엑티브 타겟 마커들이 온(on)인 때에 캡처된 각각의 이미지 사이의 차이점들을 나타내는 차이 이미지(difference image)를 연산하기 위해, 캡처된 이미지들을 처리하기 위한 루틴들을 포함한다; 그리고 상기 제3 소프트웨어는, 상기 엑티브 타겟 마커들의 상태들을 제어하기 위한 루틴들을 포함한다. 타겟 오브젝트는, 예를 들어, 크롤러 비클(crawler vehicle) 또는 로봇 암(robotic arm)의 베이스(base)를 포함한다. 크롤러 비클이 홀로노믹 모션(holonomic motion) 크롤러 비클인 것을 특징으로 하는 실시예에서, 본 시스템은 크롤러 비클의 점증 모션을 감지하기 위한 수단을 더 포함할 수 있다.
또 다른 태양은: 팬-틸트 메카니즘; 상기 팬-틸트 메카니즘에 설치된 카메라 및 레이저 거리 측정기; 알려진 패턴으로 배열된 적어도 세 개의 엑티브 타겟 마커들이 구비된 타겟 오브젝트; 및 다음의 동작들(operations): (a) 상기 엑티브 타겟 마커들을 가지고, 상기 카메라가 상기 카메라의 이미지 시야 내에서 상기 타겟 오브젝트의 중앙에 오도록 상기 팬-틸트 메카니즘의 팬과 틸트 각도들을 조절하는 단계; (b) 상기 카메라가 상기 타겟 오브젝트의 중앙에 오고 상기 엑티브 타겟 마커들이 온(on)이 아닌 동안에, 이미지를 캡처하기 위해 상기 카메라를 명령하는 단계; (c) 상기 카메라가 상기 타겟 오브젝트의 중앙에 오고 상기 엑티브 타겟 마커들이 온(on)인 동안에, 하나 이상의 이미지를 캡처하기 위해 상기 카메라를 명령하는 단계; (d) 모든 상기 엑티브 타겟 마커들이 온(on)이 아닌 때에 캡처된 이미지와 하나 이상의 엑티브 타겟 마커들이 온(on)인 때에 캡처된 각각의 이미지 사이의 차이점들을 나타내는 차이 이미지(difference image)를 연산하기 위해 이미지들을 처리하는 단계; (e) 각각의 엑티브 타겟 마커들에 상응하는 차이 이미지의 차이점들에 대한 각각의 평균 픽셀 좌표들을 연산하는 단계; (f) 각각의 엑티브 타겟 마커들에 대해, 타겟 오브젝트가 카메라의 이미지 시야(image field-of-view)에서 중앙에 오는 적어도 팬(pan) 및 틸트 각도들(tilt angles)의 함수인 각각의 팬 및 틸트 각도들과 각각의 평균 픽셀 좌표들(average pixel coordinates) 및 이미지들의 중앙(center of the images)의 픽셀 좌표들 간의 차이점들에 의해 정의되는 방향으로 레이저 빔을 전송하기 위해, 레이저 거리 측정기(laser range finder)에 명령하는 단계; (g) 각각의 엑티브 타겟 마커들에 대해, 각각의 팬(pan) 및 틸트(tilt) 데이터를 획득하기 위해 상기 팬-틸트 메카니즘에 명령하고, 각각의 레이저 빔의 전송 후에 따르는 각각의 거리 데이터를 획득하기 위해 상기 레이저 거리 측정기에 명령하는 단계; (h) 측정된 거리, 팬 및 틸트 데이터에 기반하여, 기준 좌표계에서의 상기 엑티브 타겟 마커들에 상응하는 각각의 포인트들의 좌표를 연산하는 단계; 및 (i) 기준 좌표계 차원에서 정의되는 현재 포지션 및 타겟 오브젝트의 지향을 결정하기 위해, 좌표들이 측정된 데이터로부터 연산된 각각의 포인트들의 각각의 포지션들을 알려진 패턴으로 배열된 각각의 포인트들의 각각의 포지션들과 비교하는 단계를 수행하도록 프로그램되는 컴퓨터 시스템을 포함하는 위치 추적 시스템이다.
움직일 수 있는 타겟 오브젝트의 위치를 추적하기 위한 시스템들 및 방법들의 다른 태양들은 아래에 개시된다.
본 발명에 따르면, 항공기 날개 표면 상에서의 크롤러 비클의 추적과 같은 기준 좌표계에서의 오브젝트들의 포지션 및 지향 추적을 가능하게 한다. 본 발명은 다른 타입의 오프-보드 추적 시스템들에 대한 낮은-비용의 대안을 제공한다; 이것은 휴대가 가능하고, 설치가 간편하고 그리고 하나의 사용자에 의해 동작이 가능하다.
도 1은 데드-레코닝(dead reckoning) 주행 거리 측정-기반의(odometry-based) 프로세스를 이용하여 점증 이동들(incremental movements)이 추적될 수 있는, 인코더가 구비된 모바일 디바이스의 몇몇 구성 요소들의 도식적인 상위 평면도이다.
도 2는 타겟 오브젝트에 겨냥된, 알려진 로컬 포지셔닝 시스템의 도식적인 등축도법의 도면이다.
도 3은 하나의 구성에 따라 로컬 포지셔닝 시스템을 사용하는 크롤러 비클의 모션을 추적하고 제어하기 위한 시스템의 도식적인 등축도법의 도면이다.
도 4는 (하나의 세트만 볼 수 있는) 각 사이드 상의 세 개의 엑티브 타겟 마커들의 각각의 세트를 갖는 크롤러 비클의 도식적인 투시도이다. 도시된 실시예에 따라서, 엑티브 타겟 마커들은 LED 전구들이다.
도 5는 하나의 실시예에 따라 자동화된 위치 측정 프로세스의 단계들을 나타내는 흐름도의 각각의 부분을 포함하는 도 5a 및 도 5b 상호간의 관계를 나타낸다.
도 6은 도 5에 도시된 프로세스에 따라서 도 4에 나타낸 크롤러 비클을 이용하여 생성되는 중간의 이미지 프로세싱 결과를 나타내는 다이어그램이다.
도 7은 싱글 컴퓨터가 복수의 프로세스들을 구동시키는 시스템 구성을 나타내는 블록도이다(선택적으로, 각각의 프로세스는 분리된 컴퓨터들 또는 프로세서들에서 구동될 수 있다).
도 8은 또 다른 구성에 따라서 로봇-부품까지의(robot-to-part) 현지화 프로세스(localization process)를 수행할 수 있는 시스템의 도식적인 등축도법의 도면이다.
도 9는 도 8에 도시된 타입의 로컬 포지셔닝 시스템을 채택한 로봇-부품까지의 분권화 프로세스의 단계들을 나타내는 흐름도이다.
도 10은 부록에서 기구(instrument) 좌표계 {A}의 원점으로부터 뻗어서, 실질적으로 기구의 목표 포인트 축을 따라서, 관심(interest)인 P 점에 이르는 포지션 벡터 AP를 나타내고, 타겟 오브젝트 좌표계 {B}의 원점으로부터 뻗어서, 관심인 P 점에 이르는 포지션 벡터 BP를 나타내는 다이어그램이다.
도 11 내지 도 13은 부록에서, 좌표계 변환을 위한 캘리브레이션 행렬을 계산하기 위한 예시적인 방법이 도시된 다이어그램들이다.
도 14a 내지 도 14c는 모든 엑티브 타겟 마커들이 반드시 LPS 카메라의 이미지 프레임의 거리 바로 안에 있도록 하기 위해 적합한 카메라 가시범위(field-of-view)(줌 값)를 세팅하기 위한 자동화된 검색(automated search) 및 프레임 프로세스(frame process)를 나타내는 다이어그램들이다.
지금부터 이후의 도면 부호는, 다른 도면들에서의 유사한 구성 요소들이 동일한 도면 번호들을 갖도록 매겨질 것이다.
지금까지의 지침에 따라서, 예를 들어, 포지션 인코더들을 이용하여 모션을 점증적으로 추적하는 것의 완성에 따라 절대 좌표에서 움직일 수 있는 타겟 오브젝트의 위치를 측정할 수 있는 위치 추적 시스템이 제공될 수 있다. 만약 절대 좌표 측정 시스템이, 잠시나마 정지한 타겟 오브젝트의 현재 위치가 설정가능한 용인 이상 만큼 희망 위치로부터 벗어나는 것을 확인하면, 타겟 오브젝트가 정확한 위치를 향해 이동하도록 명령될 수 있다. 그리하여, 본 발명에서 개시되는 절대 좌표 측정 프로세스는, 상대 좌표 측정들에서의 에러들을 수정하기 위해 사용될 수 있다.
점증 모션 측정 시스템의 하나의 예시는 데드-레코닝(dead-rekoning) 주행 거리 측정(odometry)-기반의 시스템이다. 어떠한 데드-레코닝 솔루션이라도 시간에 따른 에러 증가로 인해 측정 오차를 갖게 될 것이다. 이들은 디바이스에서의 시스템적인 에러들 또는 환경에서의 예상치 못한 변화들에 의해 야기되는 혼란들(disruptions)에 의해 야기될 수 있다. 도 1은 출원 번호 13/796,584의 미국 출원에 개시되었듯이, 데드-레코닝 주행 거리 측정-기반의 프로세스를 이용하여 점증적인 움직임들이 추적될 수 있는 인코더가-구비된 모바일 디바이스의 몇몇 구성 요소들의 도식적인 상부 평면도이다. 이러한 디바이스는 4-옴니 휠(four-omni wheel), 수직의(perpendicular), 2중-미분의(double-differential) 구성을 갖는다. 이러한 추적 디바이스는 말단 이펙터(end effector)가-구비된 크롤러 비클(도 1에는 미도시)에 연결되거나 마운트될 수 있다. 도 1에 도시된 상기 디바이스는 직사각형의 프레임(4)과 각각의 축들(6a 내지 6d) 및 축 베어링(미도시)이라는 수단에 의해 프레임(4)의 둘레에 설치된 4 개의 이중-렬 옴니 휠들(4a 내지 4d)을 포함한다. 각각의 인코더들(8a 내지 8d)은 옴니 휠들(4a 내지 4d)의 회전(rotation)을 측정한다. 옴니 휠들이 표면을 구름에(roll) 따라서, 인코더들(8a 내지 8d)은 각각의 인코더 카운트들(counts)을 나타내는 인코더 펄스들을 인코더 케이블(도 1에는 미도시)을 통해 각각의 옴니 휠의 각각의 점증 회전(incremental rotation) 이후에 동작 제어 센터에 전송한다. 각각의 인코더는 각각의 옴니 휠의 회전 각에 비례하는 인코더 카운트를 출력할 것이다. 이러한 인코더 펄스들은 상기 디바이스의 X 및 Y 좌표들을 연산하는 컴퓨터 시스템(도 1에는 미도시, 그러나 도 7을 참조)에 의해 수신될 것이다. 인코더 펄스들의 카운트들이 상기 디바이스가 희망 위치에 도착한 때에 제어 시스템은 상기 디바이스를 정지하게 한다. 정지된 디바이스의 현재 위치는 희망 위치로부터 얼마 만큼 벗어 났는지를 결정하기 위해 체크될 수 있다. 지금까지의 지침에 따라, 낮은 업데이트 비율로 정확한, 절대 측정들(absolute measurements)을 획득함으로써 오류 수정들(corrections)이 상대적인 모션 측정들에 만들어 질 수 있다. 이러한 (타겟 오브젝트가 정지한 동안에 수행되는) 절대 측정 프로세스는 타겟 오브젝트가 움직이는 동안 상대 모션 측정들을 획득하는, 높은 업데이트 비율로 동작하는 상대 모션 측정 시스템으로 통합될 수 있다. 지금부터 개시되는 하나의 실시예에 따라, 낮은-업데이트-비율의 LPS-기반의 프로세스는 높은-업데이트-비율의 주행 거리 측정 시스템에 오류 수정들을 제공한다.
본 발명에 개시된 추적 방법은, 타겟 오브젝트 포지션 및 지향을 연산하기 위해 타겟 오브젝트 상의 엑티브 라이트들(active lights) 및 이미지 프로세싱을 포함하는 자동화된 프로세스이다. 이것은 싱글 카메라 및 제어가능한 팬-틸트 유닛 상의 레이저 거리 미터(laser range meter)를 갖는 시스템인, 도 2에 도시된 타입의 로컬 포지셔닝 시스템(local positioning system, LPS)을 이용한다. LPS 동작 및 캘리브레이션 프로세스는 No. 7,859,655의 미국 특허에 개시되어 있다.
좀 더 정확하게 말하면, 도 2에 도시된 로컬 포지셔닝 시스템은 자동화된(원격 제어되는) 줌 능력들을 갖는 비디오 카메라(40)를 포함한다. 비디오 카메라(40)는, 비디오 카메라의 광학 이미지 필드 디스플레이(optical image field display) 내에서 정교한 포인트 위치를 잡기 위해서 크로스헤어 제너레이터(crosshair generator)를 추가적으로 포함할 수 있다. 비디오 카메라(40)는 팬-틸트 메카니즘(42)으로 지지된다. 비디오 카메라(40) 및 팬-틸트 메카니즘(42)은 컴퓨터(48)에 의해 구동될 수 있다. 컴퓨터(48)는 비디오 카메라(40) 및 팬-틸트 메카니즘(42)과 비디오/제어 케이블(46)을 통해 통신한다. 선택적으로, 컴퓨터(48)는 비디오 카메라(40) 및 팬-틸트 메카니즘(42)과 무선 통신 경로(미도시)를 통해 통신할 수 있다. 따라서 팬-틸트 메카니즘(42)의 팬 및 틸트 각도(pan and tilt angles) 그리고 비디오 카메라(40)의 지향은 컴퓨터(48)의 키보드 또는 다른 입력 디바이스를 이용하여 제어될 수 있다. 광학 이미지 필드(optical image field)는, 크로스헤어 오버레이(crosshair overlay)와 함께 비디오 카(40)에 의해 보여지듯이, 컴퓨터(48)의 모니터 상에 디스플레이될 수 있다.
팬-틸트 메카니즘(42)은, 비디오 카메라(40)를 수직의, 방위각(azimuth)(팬) 축 및 수평의, 상하각(elevation)(틸트) 축 주위의 선택된 각도에 따라 위치적으로 조정되도록 제어된다. 카메라가 관심 포인트에 겨냥되는 때에, 트리포드(tripod)(44)(또는 팬-틸트 유닛이 부착된 다른 플랫폼) 고정 좌표계에 대한 카메라의 지향을 기술하는 방향 벡터(12)는 팬 및 틸트 각도들뿐만 아니라 광학 필드 내의 크로스헤어 마커의 중앙 포지션으로부터 결정된다. 이러한 방향 벡터(12)는 카메라(40)의 렌즈에서 뻗어 타겟 오브젝트(30) 상의 위치를 가로지르듯이 도시될 수 있다.
레이저 거리 미터(laser range meter)는 카메라(40)의 하우징 내에 포함되거나 이것이 방향 벡터(12)를 따라 레이저 빔을 전송하는 방법으로 카메라(40)의 외부에 마운트될 수 있다. 레이저 거리 미터는 타겟 오브젝트(30) 까지의 거리를 측정하도록 구성된다. 레이저 거리 미터는 레이저, 그리고 타겟 오브젝트(30)에 의해 반사되는 레이저 빔에 대한 응답으로 감지되는 레이저 빛에 기반하여 거리를 연산하기 위해 구성되는 유닛(unit)을 가질 수 있다.
도 2에 도시된 로컬 포지셔닝 시스템은 컴퓨터(48)에 로드되는 3차원 현지화 소프트웨어를 더 포함할 수 있다. 예를 들어, 3-차원 현지화 소프트웨어는, 타겟 오브젝트(30)에 대한 비디오 카메라(40)의 위치(포지션 및 지향)를 정의하기 위해 타겟 오브젝트(30) 상의 다중 캘리브레이션 포인트들(14)을 이용하는 타입이다. 캘리브레이션 포인트들(calibration points)(14)은, 특징 포지션들(feature positions)(예를 들어, CAD 모델) 또는 다른 측정 기술의 3-차원 데이터베이스로부터 밝혀졌듯이, 타겟 오브젝트(30)의 로컬 좌표계에서의 알려진 포지션의 가시적인 특징일 수 있다. LPS 캘리브레이션 프로세스 동안에, 적어도 3 개의 나란하지 않은 점들(three non-collinear)에 관한 X, Y, Z 데이터가 AD 모델로부터 추출된다. 전형적으로 타겟 오브젝트 상에 쉽게 위치할 수 있는 특징들에 상응하는 캘리브레이션 포인트들이 선택된다. 3-차원 현지화 소프트웨어는, 타겟 오브젝트(30)의 로컬 좌표계의 비디오 카메라(40)의 상대적인 포지션 및 지향을 정의하기 위해, 캘리브레이션 포인트들(14)의 X, Y, Z 데이터와 팬-틸트 메카니즘(42)으로 부터의 팬 및 틸트 데이터를 이용한다. 캘리브레이션 포인트들까지의 측정된 거리들은, 타겟 오브젝트(30)에 대한 카메라 포지션 및 지향을 해결하기 위한 팬-틸트 메카니즘으로부터의 팬 및 틸트 각도들과 함께 좌표에서 이용될 수 있다. 타겟 캘리브레이션 변환 행렬(때때로 카메라 포즈로 불리는)로 인스트루먼트(instrument)를 생성하기 위한 방법이 No. 7,859,655의 미국 특허에 개시되어 있다. 알려지고 측정된 데이터를 이용하여, (부록에 더 자세히 나와 있는) 캘리브레이션 프로세스는 타겟 오브젝트에 대한 카메라의 포지션 및 지향을 나타내는 4×4 동차 변환 행렬(homogeneous transformation matrix)을 연산한다.
일단 타겟 오브젝트(30)에 대한 비디오 카메라(40)의 포지션 및 지향이 결정되고 카메라 포즈 변환 행렬이 생성되면, 카메라 팬 데이터(방위각 축으로 하는 비디오 카메라(40)의 회전 각) 및 틸트 데이터(상하각 축으로 하는 비디오 카메라(40)의 회전 각)는, 타겟 오브젝트의 좌표계에서의 관심 타겟 오브젝트(30)의 X, Y 및 Z 좌표들을 결정하기 위해, 비디오 카메라(40)의 계산된 포지션 및 지향과 함께 사용될 수 있다.
앞서 말한 현지화 및 모션 추적 프로세스는, 절대 (기준) 좌표계에서의 타겟 오브젝트 상의 임의의 관심 포인트의 X, Y 및 Z 좌표들을 결정하기 위한 유사한 방법에 확장 및 적용될 수 있다. 예를 들어, 로컬 포지셔닝 시스템은, 도 3에 도시되어 있듯이, 항공기의 기준 좌표계에서의 항공기의 날개(50) 상에서 움직이는 크롤러 비클(10)의 모션을 추적하기 위해 사용될 수 있다. 좀 더 구체적으로 말하면, 로컬 포지셔닝 시스템은 항공기의 기준 표준 시스템에서의 크롤러 비클 좌표계의 원점의 위치를 추적할 수 있다.
앞서 언급한 변화 행렬에서의 X, Y 및 Z 값들은, 초기 포지션에서 현재 포지션 간의 크롤러 비클 좌표계 원점의 포지션에서의 차이에 기반하여 연산된다. 크롤러 비클 상의 어떤 위치에서도(또는 다른 타겟 오브젝트) 원점은 정의될 수 있다. 도 3에서, 크롤러 비클 좌표계 원점이 P1 점으로 나타나 있다.
LPS 제어 소프트웨어에 추가적으로, 컴퓨터(48)는 비디오 카메라(40)에 의해 획득되는 이미지의 세트들 간의 차이들을 감지할 수 있는 이미지 프로세싱 소프트웨어로 프로그램된다. 모션 제어가 모션 추적과 결합되는 경우, 컴퓨터(48)는 전기 케이블(38)을 통해 크롤러 비클(10)에 탑재된 프로세서와 통신하는 크롤러 모션 제어 소프트웨어로 추가적으로 프로그램된다. 선택적으로, LPS 제어 소프트웨어, 이미지 프로세싱 소프트웨어 및 크롤러 제어 소프트웨어는 네트워크 또는 버스를 통해 통신하는 분리된 컴퓨터들 또는 프로세서들에서 구동될 수 있다.
자동화된 절대 측정은, 예를 들어, 잠시 정지해 있는 타겟 오브젝트의 표면에 부착된 컴퓨터로-제어되는 발광 다이오드들(LEDs)와 같은 엑티브 라이트들(active lights)(이하 "엑티브 타겟 마커들"로 표현)로 이미지들의 시퀀스를 캡처함으로써 작업들을 처리한다. 도 3에 도시된 예시에서, 3 개의 엑티브 타겟 마커들의 포지션들은 P1, P2 및 P3 점으로 표시된다.
도 4는 (두 개만이 보여지는) 메카넘 휠들(Mecanum wheels)(54), (도 4에서 하나만이 보여지는) 네 개의 옴니 휠들(55), (보여지지 않는) 비클 하부의 두 개의 흡입 영역들(suction zones), 및 (하나의 세트만 도 4에 보여지는) 세 개의 LED 라이트들(56a 내지 56c)의 각각의 세트들을 갖는 홀로노믹 모션 크롤러 비클(holonomic motion crawler vehicle)(52)의 도식적인 투시도이다.
도 4에 도시된 타입의 홀로노믹 모션 크롤러 비클의 구조 및 기능은 No. 13/210,899의 미국 특허에 개시되어 있다. 도 4에 도시된 실시예에 따라, LED 라이트들이 크롤러 비클의 커버 위에 비대칭 패턴으로 배열되어 있다. 각각의 LED 라이트는 크롤러 비클(52)의 커버(58) 위로 투사하는 반구 모양의 전구를 일반적으로 갖는다.
절대 측정 프로세스는, LED 라이트들(56a 내지 56c)이 오프(off)인 상태에서 이미지를 획득하고 그리고 다음으로 라이트들을 온(on)하고 다른 이미지를 획득함으로써(또는 그 반대로) 구현된다. 프로세스의 두 개의 변환들이 개발되었다: 하나는 모든 라이트들이 동시에 턴온되는(turned on) 것이고, 그리고 다른 하나는 라이트들이 특정 시퀀스에서 턴온되는 것이다. 제1 방법이 약간 빠르다. 이것은 비대칭인 타겟 오브젝트의 표면상에서의 라이트 패턴을 채용한다. 제2 방법이 라이트들 간의 구별에 있어서 더욱 강인하고 라이트 패턴이 비대칭일 것을 요구하지 않는다.
절대 측정 시스템은 일정한 시간 간격들(time intervals)로 포지션 및 지향 데이터를 생산한다. 연속된 측정들 간의 시간 간격은 팬-틸트 모터들이 타겟 포인트 간에서 움직여야 하는 거리, 레이저 거리 미터의 업데이트 비율, 및 이미지 프로세싱의 속도에 달려있다. 측정 사이클의 지연은 빠른 이미지 프로세싱 및 빠른 레이저 거리 미터를 사용함으로써 개선될 수 있다. 본 시스템은 복수의 타겟 오브젝트의 위치들을 추적하는데 사용될 수 있는데, 그러나 많은 타겟 오브젝트들이 추적될수록, 각 타겟 오브젝트에 대한 업데이트 간에 더 긴 시간이 소요된다.
절대 측정 프로세스가 시작하기 전에, 카메라는, 이상적인 "핀-홀(pin-hole)" 카메라와의 차이가 나는 옵틱스(optics)로 인한 이미지에서 비틀림(warping)을 보상하기 위해 적절한 왜곡 수정(distortion correction)을 결정하기 위해 테스트될 수 있다. 또한 로컬 포지셔닝 시스템이 (항공기 좌표와 같은) 희망 기준 좌표계에 대해 캘리브레이트 되어 있다. 이것은 타겟 오브젝트에 대한 카메라 포즈를 제공하고 4×4 동차 변환 행렬로 표현된다.
하나의 실시예에 따른 자동화된 절대 측정 프로세스의 주요 구성 요소들이 도 5a 및 도 5b에 나타나 있다. 도 5a를 참조하면, 제1 로컬 포지셔닝 시스템이 (항공기 좌표와 같은) 상기 기술된 방법론을 이용하여 희망 기준 좌표계에 대해 캘리브레이트 되어 있다(단계 100). 다음으로 (예를 들어 크롤러 비클과 같은) 타겟 오브젝트는 희망 위치를 향해 움직이고 그리고 점증 모션 측정 시스템이 현재 위치가 희망 위치와 충분히 가깝다는 것을 알려 주는 때에, 정지한다(단계 102). 현재 위치를 위해, 로컬 포지셔닝 시스템은 기준 좌표계에서의 크롤러 비클의 포지션 및 지향을 결정할 것이다. 단계 104에서, 로컬 포지셔닝 시스템의 방향 벡터는 모든 엑티브 타겟들이 시야 내에 있음을 확인하기 위해 (팬 및 틸트 축을 이용하여) 변경된다. 더욱 구체적으로 말하면, LPS 팬 및 틸트 각도들이 카메라를 타겟 오브젝트의 중앙에 오게 조정되고 그래서 (타겟 오브젝트 상에 하나의 패턴으로 설치된) 3 개의 엑티브 타겟 마커들은 이미지 시야 내에 있다. 설명을 위해, 다음의 계속되는 측정 프로세스의 설명은, 엑티브 타겟 마커들이 라이트들(예를 들어, LED들)인 것으로 가정한다.
이미지 시야 내의 모든 엑티브 타겟 마커들과 함께, 이미지 데이터를 획득하는 프로세스는 초기화된다. 이러한 프로세스는 라이트 활성화(light activation) 및 이미지 캡처와 관련 있다. 단계 106에서,
라이트들이 off인 동안에 기준 이미지가 캡처되고 현재 팬 및 틸트 각도들이 저장된다. 단계 108에서, 라이트들이 온(on)으로 변하고 (단계 106에서 사용된 것과 동일한 팬 및 틸트 각도들을 이용하여) 더욱 많은 인디케이터 이미지들(indicator images)이 캡처된다. 선택적으로, 기준 이미지는, 라이트들이 온(on)인 동안에 캡처될 수 있고 인디케이터 이미지는, 라이트들이 오프(off)인 동안에 캡처될 수 있다. 인디케이터 이미지(또는 이미지들)는 두 기술들 중에서 하나를 이용하여 캡처될 수 있다. 하나의 기술에 따라, 라이트들은 한번에 하나씩 순환되고(cycled) 타겟 오브젝트의 분리된 이미지들은 각각의 상태에 대해 캡처된다(즉, 3 개의 라이트들이 이용되면, 타겟 오브젝트의 3 개의 분리된 상태와 3 개의 분리된 이미지들이 존재할 것이다). 다른 기술에 따라, 타겟 오브젝트는 비대칭 패턴으로 배열된 라이트들의 세트가 구비되고 세트 내의 모든 라이트들이 온(on)으로 변해 있는 동안 싱글 이미지가 캡처된다.
여전히 도 5a를 참조하면,
획득된 이미지 데이터를 처리함으로써 인디케이터 이미지에 관한 각각의 라이트의 픽셀 좌표들이 연산된다(단계 110). 첫째로, (옵틱스에 관한 정보를 이용하여) 왜곡 기능 수정이 각각의 이미지에 적용된다. 둘째로, 기준 이미지 및 인디케이터 이미지 또는 이미지들 간의 차이들을 나타내는 차이 이미지(difference image)를 연산한다. 셋째로, 차이 이미지는 사이즈, 컬러, 모양, 또는 다른 파라미터들을 사용하는 필터링을 포함할 수 있는, 분리 영역들(separate areas)로 세분화된다. 이미지 세분화는 특정의 특징을 갖는 픽셀들의 그룹을 정의하는 것을 의미한다. 하나의 실시예에 따라, 서로 나란한 (즉, 연속된 영역들) 특정 컬러 및 강도의 픽셀들이 발견된다. 차이 이미지는 또한 걸러 내지는 몇몇 작은 (미묘한 모서리 윤곽들과 같은) 인공물들을 갖는다. 이것은 불러 필터 및 문턱치 필터(intensity threshold filter)를 이용하여 수행될 수 있다. 세분화의 결과가 도식적으로 도시된 도 6의 세분화된 이미지(94)에 나타나 있다. 세 개의 원들은 도 4에 도시된 크롤러 비클(52) 상의 LED 라이트들(56a 내지 56c)에 상응하는 이미지에서의 세분화된 영역들(98a 내지 98c)을 나타낸다. (간단을 위해, 도 6에서 세분화된 영역들이 원들로 나타나 있는데, 그러나 실제로 이미지 내의 몇몇 또는 모든 세분화된 영역들은, 카메라의 방향 벡터가 라이트들의 대칭 축에 대해 완벽하게 조정되지 않기 때문에, 완벽한 원들이 아니다.) 이미지가 세분화 된 후에, 컴퓨터는 각각의 세분화된 영역(98a 내지 98c)에 대한 중심(centroid)을 연산한다. 상기 중심은 그 영역에 대한 평균 X 픽셀 좌표 및 평균 Y 픽셀 좌표이다. 이러한 X-Y 좌표 쌍들은 이미지의 중심에 대한 X-Y 좌표 쌍으로부터 차이를 연산하는데 사용된다.
다시 도 5a를 참조하면, 일단 각 세분화된 영역에 대한 평균 픽셀 좌표들이 계산되면, 이미지에서 각각의 세분화 중심 포지션 위치에 대한 각각의 팬 및 틸트 각도들이 연산된다(단계 112). 이들은 타겟 오브젝트 상의 각각의 엑티브 타겟 마커(active target maker)에 로컬 포지셔닝 시스템의 레이저 거리 측정기를 지향시키기(orient)(즉, direct) 위해 사용될 팬-틸트 메카니즘의 팬 및 틸트 각도들이다. 타겟 오브젝트(단계 104로부터)까지의 거리를 따라서, 이미지 중심에 대한 LPS 팬-틸트 각도들은 이미 알려져있다.
각각의 엑티브 타겟 마커들(즉, LED들)에 겨냥하기 위해 로컬 포지셔닝 시스템을 가이드하기 위한 방법은, 컴퓨터에 의해 포컬 포지셔닝 시스템에 공급되는, 이미지 중심으로부터의 각각의 센트로이드(centroid)에 대한 픽셀 오프셋들(pixel offsets), 카메라의 현재 시야 각도, 및 오프셋 팬(offset pan) 및 오프셋 틸트 각도들(offset tilt angles)을 연산하기 위한 이미지 중심에서 타겟까지의 거리를 사용한다. 컴퓨터는 로컬 포지셔닝 시스템에 지시하여 오프셋 팬 및 오프셋 틸트 각도들을 이용하여 세분화된 영역들의 센트로이드들에 상응하는 위치들에 대한 자동화된 LPS 측정을 수행하게 한다. 이것은 레이저 거리 측정기가 각각의 엑티브 타겟 마커 및 거리에 차례로 겨냥되어 있음을 의미하고, 각각의 엑티브 타겟 마커에 대한 팬 및 틸트 데이터가 측정된다(단계 114).
이제 도 3b를 참조하면, 측정된 거리, 팬 및 틸트 데이터에 기반하여, (기준 좌표 프레임에서) 엑티브 타겟 마커들의 직교 좌표들이 연산된다(단계 116). 다음으로 엑티브 타겟 마커들 중심들의 좌표들 간의 상대적인 거리들이 연산되고 그리고 각각의 포인트에 대한 각각의 인덱스 번호를 결정하기 위해 그들의 비율들은, 알려진 패턴의 해당 비율들과 비교된다(단계 118). 만약 시퀀스에서 라이트들이 턴온 되어 있는 동안에 분리된 이미지들이 획득되면, 이미지 세분화들은 이미지 순서를 이용하여 번호가 매겨진다. 선택적으로, 만약 모든 라이트들이 동시에 온(on)인 동안에 싱글 이미지가 획득되면, 각각의 측정된 포인트에 대한 직교 좌표들을 이용하여 측정된 포인트들 간의 거리 벡터들이 연산되고, 그리고 타겟 오브젝트 상의 라이트 포지션들(light positions)의 알려진 패턴으로 포인트들과 비교된다.
인덱스 단계에 앞서, 로컬 포지셔닝 시스템은 타겟 오브젝트 상의 세 개의 알려진 포인트들을 측정하였고 그리고 이들을 기준 좌표계에서 정의되는 직교(X, Y, Z) 좌표들로 변환하였다. 이들의 기준 포지션들과의 비교를 위해 이러한 포인트들을 사용하기 위해, 측정된 포인트들 각각은 상기 패턴에 대한 적절한 기준 포인트와 관련되어 있어야 한다. 그러나 포인트들이 측정되는 순서는, LPS 카메라에 대한 크롤러의 지향에 따라서, 횟수에 따라 다를 수 있다. 이러한 잠재적인 관계 부조화(potential correspondence mismatch)를 해결하기 위해, 기준 포인트들의 시퀀스에 매치하기 위해 측정된 포인트들이 재배열될 것이다. 이것은, 기준 포인트들의 상대적 거리들의 비율에 대한 측정된 포인트들의 상대적인 거리들(벡터 길이)의 비율의 비교에 의해 행해진다. 다음으로 측정된 포인트들은 기준 포인트 순서에 매치하기 위해 재배열될 것이다(즉, 배열 인덱스들(array indices)이 변경된다).
일단 리인덱싱(re-indexing)이 완료되면, 타겟 오브젝트의 현재의 포지션 및 지향을 기술하는 4×4 동차 변환 행렬이 알려진 초기 포인트 패턴과 측정된 포인트 패턴 간의 차이에 기반하여 연산된다(단계 120). 이러한 프로세스는 부록에 자세하게 기술되어 있다.
여전히 도 5b를 참조하면, 단계 120에서 연산된 변환 행렬이, 연산된 위치(computed location)를 로봇 제어 좌표들(robot control coordinates)로 변경하기 위해 적용된다(단계 122). 단계 120에서 연산된 변환 행렬은 기준 좌표계 차원에서 정의되는데, 그러나 크롤러 비클에 대한 모션 패스(motion pass)는, 기준 좌표계의 근원(origin)과 동일하지 않은 초기 출발 포인트 차원에서 정의될 수 있다. 만약 상황이 이러하다면, 다음으로 기준 좌표계에 대한 초기 위치를 기술하는 변환 행렬의 역행렬은, 단계 120에서 연산된 변환을 앞에서 곱하는데(pre-multiples), 이는 기준 좌표계에 대한 타겟 오브젝트의 현재 위치를 정의한다.
결과는 초기 위치에 대한 현재 위치를 기술하는 변환이다. 이러한 계산은 다은 수식에 나타나 있다.
Figure pct00001
여기서, T는 4×4 동차 변환 행렬을 나타내고, R, I, 및 C 첨자/첨자들은 각각 기준(reference), 초기(initial), 및 현재 위치들(current locations)을 나타낸다.
타겟 오브젝트의 현재 포지션 및 지향을 나타내는 상기 데이터는, 디스플레이 또는 상기 데이터를 사용하는 다른 프로세스들을 위해 전송된다(단계 124).
도 5a 및 도 5b에 도시된 흐름도는
라이트들이 타겟 오브젝트 상에서 비대칭 패턴이고 그리고 인디케이터 이미지(indicator image)에 대해 동시에 활성화되는(activated simultaneously) 경우의 상기 방법을 기술한다.
도 5a의 단계 104에서, 카메라를 타겟 오브젝트에 겨냥하기 위해 로컬 포지셔닝 시스템의 방향 벡터를 바꾸기 위한 프로세스는, LPS 팬-틸트 메카니즘의 팬 및 틸트 각도들을 결정하는 것 및 모든 마커들이 이미지 프레임의 경계 내부에 오도록 하기 위해서 적절한 카메라 시야(field-of-view)(줌 값)를 세팅하는 것과 관련되어 있다. 이것은, 오퍼레이터가 팬, 틸트, 및 줌 제어들 조정하여 LPS 카메라의 시야 내로 인디케이터 라이트들(indicator lights)을 프레이밍(frame) 함으로써 수동으로 수행될 수 있다. 선택적으로, 수동으로 수행되는 단계들을 루프(loop)에서 제거하기 위해 자동화된 검색 및 프레임 프로세스가 시스템에 의해 수행될 수 있다. 이러한 자동화된 프로세스는 도 14a 내지 14c에 나타나 있고, 다음에 설명된다. 도 14a에서 볼 수 있듯이, 상기 프로세스는, 시야가 넓은(wide field) 시선 각(view angle)(θ1)을 세팅하고 마커 패턴으로 지시 라이트들을 off하고 하나의 이미지를 그리고 지시 라이트들을 온(on)하고 다른 이미지를 캡처함으로써 시작한다. 차이 이미지(difference image)는, 지시 라이트들이 카메라의 현재 시야 내에 있는 지를 결정하기 위해 연산되고, 만약 지시 라이트들이 발견되지 않으면, LPS 목표 방향은, 새로운 시야 영역이 이전의 시야 영역(도 14b에는 미도시)과 부분적으로 겹칠 수 있는, 워크스페이스의 다른 영역을 보기 위해 카메라(40)를 회전시키는 팬-틸트 메카니즘(미도시)을 이용하여 변경되고, 그 다음으로 지시 라이트들이 이전처럼 순환되는 동안에, 환경의 두 개의 이미지들이 캡처된다. 목표 방향(aim direction)의 회전(rotation) 및 지시 라이트들의 순환과 관련된 이러한 검색 프로세스는 마커 패턴이 환경에 위치하기까지 계속된다. 마지막 단계(도 14c에는 미도시)는 목표 방향을 라이트들의 범위 사이 중앙에 오도록 하고 그리고 모든 라이트들을 프레임에 담을 수 있도록 카메라 시야(θ2)를 좁히는 것이다.
만약 타겟 오브젝트의 모션이 컴퓨터에 의해 제어될 수 있으면, 그러면 다음의 추가적인 단계들이 수행될 수 있다: (1) 타겟 오브젝트의 현재의 위치에 관한 필요한 수정 이동(correction movement)를 연산하는 단계; (2) 위치(location)에서의 희망되는 변화(desired change)를 나타내는 데이터를 타겟 오브젝트의 모션을 제어하는 탑재된 프로세서 또는 프로세서들로 송신하는 단계; (3) 타겟 오브젝트의 점증 이동들(incremental movements)을, 이것이 수정된 위치로 이동하는 경우에 추적하는 단계; (4) 점증 모션 측정 시스템이, 타겟 오브젝트가 수정된 위치에 도착했음을 알려준 후에, 타겟 오브젝트가 정지하고 그리고 나서 타겟 오브젝트의 새로운 위치 및 수정된 위치가 설정가능한 용인(configurable tolerance) 내에 있음을 확인하기 위해 절대 측정 프로세스가 다시 구동될 수 있다.
도 7은 싱글 컴퓨터(48)가 복수의 프로세스를 구동하는 시스템 구성을 나타내는 블록도이다. 선택적으로, 각각의 프로세스는 분리된 컴퓨터들 또는 프로세서들에서 구동될 수 있다.) 싱글 컴퓨터(48)는, 구동되는 경우 컴퓨터가 LPS 제어기(26)처럼 행동하는 것을 가능하게 하는 LPS 제어 소프트웨어; 이미지 프로세싱 소프트웨어(28); 및 구동되는 경우 컴퓨터가 크롤러 제어기(32)처럼 행동하는 것을 가능하게 하는 크롤러 제어 소프트웨어로 프로그램된다. 시스템 오퍼레이터는 컴퓨터의 키보드 또는 다른 유저 인터페이스 하드웨어(36)(예를 들어, 게임패드)의 수단으로 컴퓨터(48)에 접속할 수 있다.
LPS 제어기(26)는 레이저 거리 측정기, 비디오 카메라 및 팬-틸트 메카니즘을 포함하여, LPS 하드웨어(22)의 구동을 제어한다. 도 7에서 빗금친 화살표는 엑티브 타겟 마커들에 의해 크롤러 비클 상에 생성되고 그리고 비디오 카메라(이미지 획득 단계 중에)에 의해 보여지는 빛뿐만 아니라 측정 프로세스 중에 타겟들을 벗어나 LPS 하드웨어(22)의 레이저 거리 측정기에 반사되는 레이저 빔의 반사를 나타낸다.
이미지 프로세싱 소프트웨어(28)는 도 5a에 나타나 있는 단계 110의 수행에 관련된 구동들(operations), 즉 왜곡 기능 수정, 이미지 차별화, 이미지 세분화, 및 각 이미지 세그먼트(image segment)의 센트로이드(centroid)의 픽셀 좌표들의 계산을 수행한다. 본 시스템은 획득된 이미지들을 디스플레이하기 위한 디스플레이 모니터(34)를 더 포함한다.
크롤러 제어기(32)는 지시 라이트들(indicator lights)의 활성화(activation), 메카넘 휠들 세트의 회전(rotation)을 구동하는 스텝 모터들(stepper motors)의 제어, 및 흡입 디바이스들(suction devices)의 제어를 포함하여, 크롤러 비클(10)의 구동을 제어한다. 도 1에 참고적으로 도시된 바와 같이, 크롤러 비클은 한 세트의 옴니 휠들 및 휠 회전 인코더들(wheel rotation encoders)을 더 포함할 수 있다. 인코더 카운트들을 나타내는 인코더 펄스들은 휠 회전 인코더들에서 크롤러 전자 시스템(16)의 데이터 획득 디바이스(18)로 전기 케이블을 통해 전송된다. 크롤러 비클(10)은 크롤러 전자 시스템(16)의 파워 서플라이(20)로부터 전기적인 파워를 동일한 전기 케이블을 통해 수신한다.
크롤러 비클(10)이 움직이는 동안, 데이터 획득 디바이스(18)는 인코더 카운트들을 수신하고 이들을 컴퓨터(48)에서 수용할 수 있는 포맷을 갖는 시그널들로 변환한다. 인코더 카운트 데이터에 기반하여, 크롤러 제어기(32)는 절대 각도(θ) 및 각 업데이트 단계에서 크롤러 비클(10)의 상대적인 포지션들에서의 변화들 ΔPx 및 ΔPy을 연산하고, 다음에 크롤러 비클 상의 하나의 포인트의 절대 포지션 Px 및 Py를 연산하기 위해 상대 포지션에서의 절대 각도 및 변화들을 이용한다. 다음으로 θ, ΔPx 및 ΔPy를 이용하고, 절대 포지션은 No. 13/796,584의 미국 특허에 개시된 회전 행렬(rotation matrix)을 이용하여 연산될 수 있다.
만약 크롤러 제어기(32)가, 인코더 카운트들이, 크롤러 비클(10)이 그것의 타겟 위치에 도착했다는 것을 나타내고 있음을 알게 되면, 크롤러 제어기(32)는 크롤러 비클(10)에 명령하여 정지하도록 한다(도 5a의 단계 102). 다음에 LPS 제어기(26)는 LPS 하드웨어(22)에 명령하여, 팬 및 틸트 각도들을 조정하여 비디오 카메라를 타겟 오브젝트에 겨냥하도록 한다(도 5a의 단계 104) 그런 다음에 기준 이미지를 캡처한다(도 5a의 단계 106). 크롤러 제어기(32)는 다음에 크롤러 비클(10)에 탑재된 라이트들을 활성화하고, 그 후속으로 LPS 제어기(26)는 LPS 하드웨어(22)에 명령하여 지시 이미지를 캡처하도록 한다(도 5a의 단계 108). 컴퓨터는 다음으로 지시 이미지에서 라이트들의 픽셀 좌표들을 연산하는 이미지 프로세싱 루틴을 가동한다(도 5a의 단계 110). 다음에 LPS 제어기(26)는 이미지에서 각각의 세그먼트 센트로이드(segment centroid) 포지션 위치(position location)에 대한 각각의 팬 및 틸트 각도들을 연산하고(도 5a의 단계 112), 각각의 엑티브 타겟 마커에 대한 거리, 팬 및 틸트 데이터를 획득하고(도 5a의 단계 114), 그리고 각각의 측정된 포인트에 대한 직각 좌표들을 연산한다(도 5a의 단계 116). 도 5b에 도시된 단계 118, 120 및 122를 수행하기 위한 상기 루틴들은 LPS 제어 소프트웨어, 이미지 프로세싱 소프트웨어, 또는 분리된 소프트웨어 모듈의 부분일 수 있다.
타겟 오브젝트를 향한 LPS 비디오 카메라의 초기 겨냥은 점증 휠 인코더 데이터와 관련된 현지화 프로세스에 의해 제공되는 크롤러 비클의 추정 위치에 관한 정보를 이용하여 수행될 수 있다. 이미지 프로세싱 및 측정이 실제 위치를 결정하기 때문에, 이러한 겨냥 방향은 단지 근사치일 필요가 있다. 만약 초기 추정 위치가 엑티브 타겟 마커들의 전체 세트를 포함하는 카메라 뷰를 제공하지 않는다면, 뷰의 재-중심화(re-centering)와 함께 카메라 시야에서의 조정들이 만들어 질 수 있다(예를 들어, 줌 레벨의 확장), 그렇게 함으로써 도 14a 내지 14c를 참고하여 상기 도시된 중심화(centering) 및 프레이밍 프로세스(framing process)와 비슷하게 모든 엑티브 타겟 마커들이 보인다.
상기 개시된 기술들은 워크피스(이하 "부품")에 관한 로봇 암의 포지션 및 지향을 결정하는데 또한 사용될 수 있다. 도 8에 나타낸 것과 같이, 로컬 포지셔닝 시스템은, 부품(90)과 그것의 말단 상의 말단 이펙터(end effector)(88)를 나를 수 있는 로봇 암(86)의 베이스(84)간의 상대적인 오프셋(relative offset)을 결정하는데 사용될 수 있다. 로봇 제어기(80)는 로봇 암(86)을 제어하고 부품(90)에 관한 머시닝 작업(machining operations)을 수행하기 위해 말단 이펙터(88)를 구동할 수 있다.
기본적인 프로세스 시퀀스는 다음과 같다: (1) 로컬 포지셔닝 시스템이 부품 상의 세 개의 알려진 포인트들(92a 내지 92c)을 측정함으로써 부품(90)의 좌표계를 캘리브레이트 한다. (2)로컬 포지셔닝 시스템이 로봇 베이스(84) 상의 세 개의 알려진 포인트들(94a 내지 94c)을 측정한다. (3) 컴퓨터(48)에서 동작하는 LPS 제어 소프트웨어가 부품(90)의 좌표 시스템에 대한 로봇 베이스(84)의 위치를 연산한다. (4) 컴퓨터(48)가 위치 데이터를 로봇 제어기(80)에 전송한다.
컴퓨터(48) 상의 LPS 제어 소프트웨어는, X, Y 및 Z 값들과 같은 포인트 데이터를 출력하지만, 제어 애플리케이션들은 부품의 포지션 및 지향을 제공하기 위해 단지 X, Y 및 Z 데이터 포인트들 이상이 필요하다. 포지션 및 지향 문제를 해결하기 위해, 세 개의 측정된 포인트들(92a 내지 92c)로부터의 X, Y 및 Z 데이터 및 이러한 포인트들의 알려진 차원들이 전체 6자유도(6-degrees-of-freedom) 포지션 및 지향 표현을 연산하기 위해 사용된다. 이것은 전에 기술된 현지화 소프트웨어가 하는 것이다. 현지화 소프트웨어가 사용하는 포지션 및 지향 포맷은 4×4 변환 행렬인데, 데이터를 표현하는 다른 방법들이 존재한다.
상기 개시된 현지화 방법론은 크롤러 비클들 이외의 로봇 시스템들에 대한 애플리케이션을 또한 갖는다. 제조 업무에 사용되는 상업적 로보틱스 애플리케이션들(robotics applications)은 워크셀(workcell)의 근원에 대한 로봇 및 다른 부품들의 위치를 정의하는 방법을 가지고 있다. 이것은 포지션 및 지향 오프셋 정의들 양자를 포함할 것이다. 예를 들면: 4×4 변환 행렬들, 사원법(quaternions)+변환, 각도-축(angle-axis)+변환, 또는 오일러 각도들(Euler angles)+변환과 같이, 이러한 오프셋 정보를 정의하는 많은 등가의 방법들이 존재한다. 로봇 제어기(80)에 수용 가능한 어떤 포맷을 출력하는데 있어서 상기 기술된 현지화 프로세스는 수정될 수 있다.
컴퓨터(48)로부터 로봇 제어기(80)로 데이터를 전송하는데 소켓 연결(socket connection)이 사용될 수 있으나, 상업적으로 사용 가능한 애플리케이션들에 대해, 파일 또한 동등한 효과를 낼 수 있다. 어떤 제어기들은 소켓을 통해 인커밍 데이터(incoming data)를 받아들이는 API를 가지를 있다; 다른 제어기들은 오프셋 데이터만이 파일로부터 읽히도록 허용할 수 있다. 이에 따라, 몇몇 실시예에 있어서, 접근(approach)을 공유하는 파일이 이용될 수 있다.
수동의 포인트 측정을 사용하는 (도 9에 도시된) 하나의 예시적인 과정은 다음과 같다: (1) 부품(90) 상의 세 개의 가시적인 기준 포인트들(92a 내지 92c)(단계 60) 및 로봇 베이스(84) 상의 세 개의 가시적인 기준 포인트들(94a 내지 94c)(단계 68)을 획득하고 저장(단계 60 및 68은 기준 포인트들의 각 세트당 한 번 수행된다); (2) 부품이 희망 위치에 있는 때에 (이것은 표준 LPS 캘리브레이션과 동일하다), 로컬 포지셔닝 시스템을 이용하여 부품(90) 상의 세 개의 기준 포인트들(92a 내지 92c)을 측정(단계 62); (3) 로봇 베이스가 희망 위치에 있는 때에 포컬 포지셔닝 시스템을 이용하여 로봇 베이스(84) 상의 세 개의 기준 포인트들(94a 내지 94c)을 측정(단계 70); (4) 현지화 프로세스를 이용하여 로봇 베이스(84)에 대한 부품(90)의 포지션 및 지향 오프셋을 연산; 및 (5) 포지션 및 지향 오프셋 데이터를 로봇 제어기(80)에 전송(단계 66).
자동화된 포인트 측정에 대한 예시적인 과정은 다음과 같다: (1) 부품(90) 상의 세 개의 가시적인 기준 포인트들(92a 내지 92c) 및 로봇 베이스(84) 상의 세 개의 가시적인 기준 포인트들(94a 내지 94c)을 획득하고 저장(이것은 기준 포인트들의 임의의 세트당 한 번 수행된다), 가시적인 기준 포인트들은 정의된 LED 위치들임;(2) 로컬 포지셔닝 시스템을 이용하여 LED들이 턴온된(turned on) 체로 부품(90) 상의 LED 패턴의 사진을 그리고 LED들이 오프인 체로 또 하나를 촬영; (3) 포컬 포지셔닝 시스템을 이용하여 부품(90) 상의 포인트들을 자동으로 측정하고 측정된 포인트들을 알려진 포인트들과 비교; (4) 로컬 포지셔닝 시스템을 이용하여 LED들이 턴온된 체로 LED 패턴의 사진을 그리고 LED들이 오프인 체로 또 하나를 촬영; (5) 로컬 포지셔닝 시스템을 이용하여 로봇 베이스(84) 상의 포인트들을 자동으로 측정하고 측정된 포인트들을 알려진 포인트들과 비교; (6) 현지화 프로세스를 이용하여 로봇 베이스(84)에 대한 부품(90)의 포지션 및 지향 오프셋을 연산; 및 (7) 포지션 및 지향 오프셋 데이터를 로봇 제어기(80)에 전송.
앞선 방법론은 로봇 암 및 베이스 및 워크피스의 상대적인 포지션들을 수립하기 위해 각각의 작업 시퀀스의 시작부에서 이용될 수 있다. 로봇 제어기는 (다른 센서들 및 동적 데이터를 이용하여) 로봇 베이스에 관한 말단 이펙터의 포지션 및 지향을 연산할 수 있을 것이다. 만약 기준 좌표계가 워크피스의 좌표계라면, 그러면 도 8에 도시된 시스템은 워크피스 좌표 시스템에서의 로봇 암의 베이스의 포지션(그리고 말단 이펙터)을 결정할 수 있다. 반대로, 만약 기준 좌표계가 로봇 베이스의 좌표계라면, 그러면 시스템은 로봇 베이스 좌표 시스템에서의 워크피스의 포지션을 결정할 수 있다.
정리하면, 위에서 개시된 싱글 카메라를 이용하는 위치 추적 시스템은, 주행 거리 측정-기반의 추적에 통합될 수 있고, 그리고 (측정 시퀀스들이 상변이 되면 순차적인 방법으로) 복수의 오브젝트들을 추적할 수 있다. 또한 시스템은 자기장(magnetic fields) 또는 철계 재료들(ferrous materials)에 의해 영향을 받지 않는다).
위치 추적 방법론이 다양한 실시예를 참조하여 기술되었지만, 다양한 변화가 창출되고 본 발명에서의 지침의 범위를 벗어남이 없이 등가 요소들이 구성요소들을 대체할 수 있다는 것을 본 발명이 속하는 기술 분야의 당업자들은 이해할 수 있을 것이다. 또한, 본 발명의 기술들이 그것의 범위를 벗어남이 없이 특정 상황에 적응하도록 많은 수정들이 창출될 수 있다. 따라서 청구항들은 본 명세서에 개시된 특정 실시예들에 한정되지 않는 것으로 의도된다.
청구항들에서 사용되었듯이, 용어 "컴퓨터 시스템"은 적어도 하나의 컴퓨터 또는 프로세서를 포함하고, 그리고 네트워크 또는 버스를 통해 통신하는 복수의 컴퓨터들 또는 프로세서들 포함할 수 있는 시스템을 포괄하도록 넓게 이해되어야 한다. 앞선 문장에서처럼, "컴퓨터" 및 "프로세서" 두 개의 용어들은 프로세싱 유닛(예를 들어, 중앙 처리 유닛) 및 프로세싱 유닛에 의해 판독이 가능한 프로그램을 저장하기 위한 일정 형태의 메모리(즉, 컴퓨터 판독이 가능한 매체)를 포함하는 디바이스들에 관한 것이다.
본 명세서에서 사용되었듯이, 용어 "위치(location)"는 고정된 3 차원 좌표 시스템에서의 포지션 및 좌표계에 대한 지향을 포함한다; 그리고 용어 "엑티브 타겟 마커"는 활성화될 수 있는 타겟 마커(즉, "엑티브 타겟 마커"는 엑티브(active) 및 인엑티브(inactive) 상태들 간을 전환할 수 있다)를 의미한다.
지금 이후에 제시되는 발명의 방범에 관한 청구항들이 여기서 인용된 단계들이 알파벳 순서대로(청구항들에서 알파벳 순서는 단지 전에 인용된 단계들을 참조 목적을 위한 것이다) 또는 그들이 인용되는 순서대로 수행되는 것을 요구하는 것으로 이해되지 않아야 한다. 그리고 동시에 또는 선택적으로 수행되는 둘 또는 이상의 스텝들이 존재하는 부분을 배제하는 것으로 이해되지 않아야 한다.
부록(APPENDIX)
도 10은 기구(instrument) 좌표계 {A}의 원점으로부터 뻗어서, 실질적으로 기구의 목표 포인트 축을 따라서, 관심(interest)인 P 점에 이르는 포지션 벡터 AP를 나타내고, 타겟 오브젝트 좌표계 {B}의 원점으로부터 뻗어서, 관심인 P 점에 이르는 포지션 벡터 BP를 나타낸다.
도 10을 참조하면,
기구 좌표계(622)에서의 포인트 P의 좌표들이 팬(pan)(즉, ), 틸트(도 10에서 벡터 AP에서 포인트 P까지의 틸트 각도(636)), 및 거리(도 10에서 벡터 AP을 따라 포인트 P까지의 거리)에 관한 반구 형태의 좌표들인 때에(즉, 도 10에서 벡터 AP에서 포인트 P 까지의 벡터 AP의 팬 각도들(634)), 기구 좌표계(622)에서 반원 좌표들로 표현되는 포인트 P의 포지션은, 기구(618)의 정방향 기구학에 관한 다음의 방정식들로부터의 기구 좌표계(622)에서 X, Y, Z 직교 좌표들에서의 포인트 P의 포지션에 관한 것이다.
Figure pct00002
여기서, 기구 좌표계(622)에서 팬(방위각)은 Z 축 주위의 회전(rotation)이고 틸트(상하각)는 Y 축 주위의 회전이다.
직교 좌표들(X, Y, Z)로 표현되는 기구 좌표계(622)에서의 포인트 P의 포지션은, 기구(618)의 역방향 기구학에 관한 다음의 방정식들부터 반원 좌표들(팬, 틸트, 거리)로 표현되는 기구 좌표계(622)에서의 포인트 P의 포지션에 관한 것임을 주목해야 한다.
Figure pct00003
Figure pct00004
Figure pct00005
하나의 실시예에서, 타겟 오브젝트 좌표계(616)에서의 포지션 BP(이것은 [X, Y, Z]T 폼에서 컬럼 벡터로 표현된다)는 기구 좌표계(622)에서 수식으로부터의 포지션 AP(또한 [X, Y, Z]T 폼에서 컬럼 벡터)로부터 계산된다.
Figure pct00006
여기서 T는 캘리브레이션 행렬이다. 하나의 예에서, 캘리브레이션 행렬은 다음의 폼을 갖는 4×4 동차 변환 행렬이다.
Figure pct00007
기구 좌표계(622)에서의 포지션 AP는 수식으로부터 캘리브레이션 행렬의 역행렬을 이용하여 타겟 오브젝트 좌표계(610)에서의 포지션 BP로부터 연산될 수 있음을 주목해야 한다.
Figure pct00008
변환 행렬 B AT는 다음과 같이 연산된다. 캘리브레이션 포인트들까지의 벡터의 방향 및 길이가 알려진 경우에 대해, 이들이 비-동일선상에 있음을 가정하면, 캘리브레이션 포인트들의 최소의 수는 3이다. 기본적인 3-포인트 전략은 다음과 같다:
Figure pct00009
Figure pct00010
Figure pct00011
Figure pct00012
Figure pct00013
는 포인트 PA1에서 PA2까지 뻗는 좌표계 A에서의 벡터이고;
Figure pct00014
은 포인트 PA1에서 PA3까지 뻗는 좌표계 A에서의 벡터이고;
Figure pct00015
는 포인트 PB1에서 PB2까지 뻗는 좌표계 A에서의 벡터이고;
Figure pct00016
은 포인트 PB1에서 PB3까지 뻗는 좌표계 A에서의 벡터이고;
Figure pct00017
및
Figure pct00018
는 벡터 외적(vector cross products)으로부터 생성되는 노르말들(normals)이고;
Figure pct00019
및
Figure pct00020
는 회전 축들(axes of rotation)이고;
θ1 및 θ2는 각각
Figure pct00021
및
Figure pct00022
축들 주위의 회전 각도들이고;
R1, R1 및 R12는 3×3 대칭 회전 행렬들이고; 그리고
f1()는 (기술 분야에서의 당업자에게 알려진 그리고 예를 들어, "로보틱스 입문: 역학 및 제어", 3판, 존 제이. 크레그 저 및 프렌티스 홀 전문 기술 참고(서적) 2004년 7월 발행에 개시된), 아래 기술된 각도-축 정의로부터의 3×3 회전 행렬을 생성하는, 함수이다.
Figure pct00023
여기서,
Figure pct00024
, 및
Figure pct00025
이다.
수학식 5 의 변환 행렬에서의 X, Y 및 Z 값들은, 초기 포지션에서 현재 포지션까지 타겟 오브젝트 좌표계의 원점의 포지션에서의 차이에 기반하여 연산된다.
4×4 동차 캘리브레이션 행렬 B AT는 타겟 오브젝트에 관한 포인팅 장치의 임의의 포지션을 위해 오직 한 번 연산되고, 그리고 다음으로 B AT는 좌표계 A(기구 좌표계(622))로부터의 임의의 수의 벡터들을 좌표계 B(타겟 오브젝트 좌표계(616))로 변환하는데 이용될 수 있음을 주목해야 한다. 캘리브레이션 역행렬 A BT은 캘리브레이션 행렬 B AT의 역행렬을 연산하거나 직접 수식들에 있는 벡터들의 순서를 바꿈으로써 연산될 수 있음에 또한 주목해야 한다.

Claims (20)

  1. 알려진 패턴으로 배열된 적어도 세 개의 엑티브 타겟 마커들(active target markers)을 타겟 오브젝트(target object)가 구비하는 때에 기준 좌표계(reference coordinate system)에서 타겟 오브젝트의 현재 위치를 결정하는 방법으로서,
    (a) 기준 좌표계에 대하여 카메라의 위치를 정의하는 단계;
    (b) 상기 카메라가 타겟 오브젝트의 중앙에 오고 엑티브 타겟 마커들이 온(on)이 아닌 동안에 이미지를 캡처하는 단계;
    (c) 상기 카메라가 타겟 오브젝트의 중앙에 오고 하나 이상의 엑티브 타겟 마커들이 온(on)인 동안에 하나 이상의 이미지들을 캡처하는 단계;
    (d) 모든 엑티브 타겟 마커들이 온(on)이 아닌 동안에 캡처된 이미지와 하나 이상의 엑티브 타겟 마커들이 온(on)인 동안에 캡처된 이미지 사이의 차이들을 나타내는 차이 이미지(difference image)를 연산하기 위해 이미지들을 처리하는 단계;
    (e) 각각의 엑티브 타겟 마커들에 상응하는, 상기 차이 이미지에서의 상기 차이들에 관한 각각의 평균 픽셀 좌표들(average pixel coordinates)을 연산하는 단계;
    (f) 각각의 엑티브 타겟 마커들에 대해, 타겟 오브젝트가 카메라의 이미지 시야(image field-of-view)에서 중앙에 오는 경우의 적어도 팬(pan) 및 틸트 각도들(tilt angles), 및 각각의 평균 픽셀 좌표들(average pixel coordinates)과 이미지들의 중앙(center of the images)의 픽셀 좌표들 간의 차이들의 함수인 각각의 팬 및 틸트 각도들에 의해 정의되는 방향으로 레이저 거리 측정기(laser range finder)를 겨냥하고 레이저 빔을 전송하는 단계;
    (g) 각각의 엑티브 타겟 마커들에 대해, 각각의 레이저 빔의 전송 후에 각각의 거리(range), 팬(pan) 및 틸트(tilt) 데이터를 획득하는 단계;
    (h) 상기 측정된 거리, 팬 및 틸트 데이터에 기반하여 기준 좌표계에서의 엑티브 타겟 마커들에 해당하는 각각의 포인트들(points)의 좌표를 연산하는 단계; 및
    (i) 기준 좌표계 차원에서 정의되는 타겟 오브젝트의 현재 포지션 및 지향을 결정하기 위해, 측정된 데이터로부터 좌표들이 연산되는 각각의 포인트들의 각각의 포지션들을, 알려진 패턴으로 배열된 각각의 포인트들의 각각의 포지션들에 비교하는 단계를 포함하는, 기준 좌표계에서 타겟 오브젝트의 현재 위치를 결정하는 방법.
  2. 제1 항에 있어서,
    (c) 단계는,
    적어도 세 개의 엑티브 타겟 마커들이 온(on)인 동안에, 하나의 이미지를 캡처하는 단계를 포함하는, 기준 좌표계에서 타겟 오브젝트의 현재 위치를 결정하는 방법.
  3. 제1 항에 있어서,
    (c) 단계는,
    제1, 제2 및 제3 엑티브 타겟 마커들이 차례로 턴온되는(turned on) 동안에, 각각의 이미지들을 캡처하는 단계를 포함하는, 기준 좌표계에서 타겟 오브젝트의 현재 위치를 결정하는 방법.
  4. 제1 항 내지 제3 항 중의 어느 한 항에 있어서,
    (d) 단계는,
    엑티브 타겟 마커들에 상응하는 분리된 영역들(separate areas)을 포함하도록 상기 차이들에 기반하여 상기 차이 이미지를 분할하는(segmenting) 단계; 및
    엑티브 타겟 마커들에 상응하는 각각의 분리된 영역의 각각의 중심(centroid)에 대한 상기 차이 이미지에서의 각각의 평균 픽셀 좌표들을 연산하는 단계를 포함하는, 기준 좌표계에서 타겟 오브젝트의 현재 위치를 결정하는 방법.
  5. 제1 항 내지 제4 항 중의 어느 한 항에 있어서,
    상기 포인트들(points) 간의 상대적인 거리들에 기반하여 포인트 패턴(point pattern)을 측정하는 단계; 및
    측정된 포인트 패턴과 알려진 포인트 패턴 간의 차이점들에 기반하여 기준 좌표계에서의 타겟 오브젝트(target object)의 위치를 나타내는 제1 변환 행렬(first transformation matrix)을 연산하는 단계를 더 포함하는, 기준 좌표계에서 타겟 오브젝트의 현재 위치를 결정하는 방법.
  6. 제5 항에 있어서,
    상기 알려진 포인트 패턴은,
    비대칭인(asymmetric) 것을 특징으로 하는, 기준 좌표계에서 타겟 오브젝트의 현재 위치를 결정하는 방법.
  7. 제5 항 또는 제6 항에 있어서,
    타겟 오브젝트를 초기 위치에 놓는(placing) 단계;
    기준 좌표계에 대해 타겟 오브젝트의 초기 위치를 나타내는 제2 변환 행렬을 연산하는 단계;
    타겟 오브젝트를 초기 위치(initial location)에서 현재 위치(current location)로 이동시키는(moving) 단계;
    상기 제2 변환 행렬의 역행렬(inverse)을 연산하는 단계; 및
    타겟 오브젝트의 초기 위치에 대한 타겟 오브젝트의 현재 위치를 나타내는 제3 변환 행렬인, 상기 제1 변환 행렬과 상기 제2 행렬의 역행렬의 곱을 연산하는 단계를 더 포함하는, 기준 좌표계에서 타겟 오브젝트의 현재 위치를 결정하는 방법.
  8. 제7 항에 있어서,
    초기 위치에서 현재 위치로의 이동(movement) 중에 타겟 오브젝트의 증가하는 모션에 대한 응답으로 인코더 펄스들(encoder pulses)을 생성하는 단계를 더 포함하는 것을 특징으로 하는, 기준 좌표계에서 타겟 오브젝트의 현재 위치를 결정하는 방법.
  9. 팬-틸트 메카니즘(pan-tilt mechanism);
    상기 팬-틸트 메카니즘에 설치된 카메라 및 레이저 거리 측정기(laser range finder);
    적어도 세 개의 엑티브 타겟 마커들을 구비하는 타겟 오브젝트; 및
    상기 카메라, 상기 레이저 거리 측정기 및 상기 팬-틸트 메카니즘을 제어하기 위한 제1 소프트웨어, 상기 카메라에 의해 획득되는 이미지를 처리하기 위한 제2 소프트웨어, 및 상기 타겟 오브젝트의 모션 및 상기 적어도 세 개의 엑티브 타겟 마커들의 상태들을 제어하기 위한 제3 소프트웨어로 프로그램되는 컴퓨터 시스템을 포함하는, 위치 추적 시스템.
  10. 제9 항에 있어서,
    상기 제1 소프트웨어는,
    상기 카메라를 상기 타겟 오브젝트에 겨냥하기 위해 상기 팬-틸트 메카니즘에 명령하고, 상기 타겟 오브젝트의 이미지들을 캡처하기 위해 상기 카메라에 명령하기 위한 루틴들을 포함하고;
    상기 제2 소프트웨어는,
    상기 엑티브 타겟 마커들이 온(on)이 아닌 때에 캡처된 이미지와 하나 이상의 엑티브 타겟 마커들이 온(on)인 때에 캡처된 각각의 이미지 사이의 차이들을 나타내는 차이 이미지(difference image)를 연산하기 위해, 캡처된 이미지들을 처리하기 위한 루틴들을 포함하고; 그리고
    상기 제3 소프트웨어는,
    상기 엑티브 타겟 마커들의 상태들을 제어하기 위한 루틴들을 포함하는, 위치 추적 시스템.
  11. 제9 항 또는 제10 항에 있어서,
    상기 타겟 오브젝트는,
    크롤러 비클(crawler vehicle)을 포함하는 것을 특징으로 하는, 위치 추적 시스템.
  12. 제11 항에 있어서,
    상기 크롤러 비클은,
    홀로노믹 모션(holonomic motion) 크롤러 비클인 것을 특징으로 하는, 위치 추적 시스템.
  13. 제12 항에 있어서,
    상기 크롤러 비클의 증가하는 모션을 추적하기 위한 수단을 더 포함하는 것을 특징으로 하는, 위치 추적 시스템.
  14. 제9 항 또는 제10 항에 있어서,
    상기 타겟 오브젝트는,
    로봇 암(robotic arm)의 베이스(base)를 포함하는 것을 특징으로 하는, 위치 추적 시스템.
  15. 팬-틸트 메카니즘;
    상기 팬-틸트 메카니즘에 설치된 카메라 및 레이저 거리 측정기;
    알려진 패턴으로 배열된 적어도 세 개의 엑티브 타겟 마커들이 구비된 타겟 오브젝트; 및
    다음의 동작들(operations):
    상기 카메라가 상기 카메라의 이미지 시야 내에 있는 상기 엑티브 타겟 마커들을 갖는 상기 타겟 오브젝트 상의 중심에 오도록, 상기 팬-틸트 메카니즘의 팬 및 틸트 각도들을 조정하는 단계;
    상기 카메라가 상기 타겟 오브젝트의 중앙에 오고 상기 엑티브 타겟 마커들이 온(on)이 아닌 동안에, 이미지를 캡처하기 위해 상기 카메라에 명령하는 단계;
    상기 카메라가 상기 타겟 오브젝트의 중앙에 오고 상기 엑티브 타겟 마커들 중의 하나 이상이 온(on)인 동안에, 하나 이상의 이미지를 캡처하기 위해 상기 카메라에 명령하는 단계;
    모든 상기 엑티브 타겟 마커들이 온(on)이 아닌 동안에 캡처된 이미지와 하나 이상의 엑티브 타겟 마커들이 온(on)인 동안에 캡처된 각각의 이미지 사이의 차이들을 나타내는 차이 이미지(difference image)를 연산하기 위해 이미지들을 처리하는 단계;
    각각의 엑티브 타겟 마커들에 상응하는, 차이 이미지에서의 차이들에 관한 각각의 평균 픽셀 좌표들을 연산하는 단계;
    각각의 엑티브 타겟 마커들에 대해, 타겟 오브젝트가 이미지 시야(image field-of-view)에서 중앙에 오는 경우의 적어도 팬(pan) 및 틸트 각도들(tilt angles) 및 각각의 평균 픽셀 좌표들(average pixel coordinates)과 인디케이터 이미지들의 중앙(center of the indicator images)의 픽셀 좌표들 간의 차이들의 함수인 각각의 팬 및 틸트 각도들로 겨냥되게 레이저 빔을 전송하기 위해, 레이저 거리 측정기(laser range finder)에 명령하는 단계;
    각각의 엑티브 타겟 마커들에 대해, 각각의 팬(pan) 및 틸트(tilt) 데이터를 획득하기 위해 상기 팬-틸트 메카니즘에 명령하고, 각각의 레이저 빔의 전송 후에, 각각의 거리 데이터를 획득하기 위해 상기 레이저 거리 측정기에 명령하는 단계; 및
    측정된 거리, 팬 및 틸트 데이터에 기반하여, 기준 좌표계에서의 상기 엑티브 타겟 마커들에 상응하는 각각의 포인트들의 좌표를 연산하는 단계; 및
    기준 좌표계 차원에서 정의되는 타겟 오브젝트의 현재 포지션 및 지향을 결정하기 위해, 측정된 데이터로부터 좌표들이 연산되는 각각의 포인트들의 각각의 포지션들을, 알려진 패턴으로 배열된 각각의 포인트들의 각각의 포지션들에 비교하는 단계를 수행하도록 프로그램되는 컴퓨터 시스템을 포함하는, 위치 추적 시스템.
  16. 제15 항에 있어서,
    상기 엑티브 타겟 마커들은,
    발광 다이오드들(lighting-emitting diodes)인 것을 특징으로 하는, 위치 추적 시스템.
  17. 제15 항 또는 제16 항에 있어서,
    상기 컴퓨터 시스템은,
    다음의 동작들(operations):
    상기 포인트들 간의 상대적인 거리들에 기반하여 포인트 패턴을 측정하는 단계; 및
    측정된 포인트 패턴과 알려진 포인트 패턴 간의 차이점들에 기반하여 기준 표준 시스템에서의 타겟 오브젝트의 위치를 나타내는 제1 변환 행렬을 연산하는 단계를 실행하도록 더 프로그래밍되는 것을 특징으로 하는, 위치 추적 시스템.
  18. 제15 항 내지 제17 항 중의 어느 한 항에 있어서,
    상기 타겟 오브젝트는,
    크롤러 비클(crawler vehicle)을 포함하는 것을 특징으로 하는, 위치 추적 시스템.
  19. 제18 항에 있어서,
    상기 크롤러 비클은,
    홀로노믹 모션 크롤러 비클이고, 그리고
    상기 시스템은,
    상기 크롤러 비클의 증가하는 모션을 추적하기 위한 수단을 더 포함하는 것을 특징으로 하는, 위치 추적 시스템.
  20. 제15 항 내지 제17 항의 어느 한 항에 있어서,
    상기 타겟 오브젝트는,
    로봇 암의 베이스를 포함하는 것을 특징으로 하는, 위치 추적 시스템.
KR1020157031027A 2013-06-19 2014-06-23 가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법 KR101988083B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/921,246 US9043146B2 (en) 2013-06-19 2013-06-19 Systems and methods for tracking location of movable target object
US13/921,246 2013-06-19
PCT/US2014/032503 WO2014204548A1 (en) 2013-06-19 2014-04-01 Systems and methods for tracking location of movable target object

Publications (2)

Publication Number Publication Date
KR20160044432A true KR20160044432A (ko) 2016-04-25
KR101988083B1 KR101988083B1 (ko) 2019-09-30

Family

ID=50640019

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157031027A KR101988083B1 (ko) 2013-06-19 2014-06-23 가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법

Country Status (8)

Country Link
US (2) US9043146B2 (ko)
EP (2) EP3011362B1 (ko)
JP (1) JP6426725B2 (ko)
KR (1) KR101988083B1 (ko)
CN (1) CN105518486B (ko)
BR (1) BR112015031505B1 (ko)
RU (1) RU2664257C2 (ko)
WO (1) WO2014204548A1 (ko)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9279679B2 (en) * 2012-09-12 2016-03-08 Kabushiki Kaisha Topcon Construction machine control method and construction machine control system
US9404898B1 (en) * 2013-03-15 2016-08-02 The Boeing Company Laser ultrasound testing in limited-access areas
US9410659B2 (en) 2014-02-10 2016-08-09 The Boeing Company Automated mobile boom system for crawling robots
US10310054B2 (en) 2014-03-21 2019-06-04 The Boeing Company Relative object localization process for local positioning system
WO2015192902A1 (en) * 2014-06-19 2015-12-23 Husqvarna Ab Automatic beacon position determination
US9664652B2 (en) 2014-10-30 2017-05-30 The Boeing Company Non-destructive ultrasonic inspection apparatus, systems, and methods
US9746447B2 (en) 2014-10-30 2017-08-29 The Boeing Company Apparatuses, systems, and methods for inspecting a component
US9740191B2 (en) 2015-02-12 2017-08-22 The Boeing Company Location calibration for automated production manufacturing
EP3064435A1 (en) * 2015-03-03 2016-09-07 Airbus Defence and Space, S.A. Systems and methods for the calculation of relative distances and speeds in the three coordinate axis between aircraft in flight
US9924103B2 (en) 2015-04-09 2018-03-20 The Boeing Company Automated local positioning system calibration using optically readable markers
CN105069795B (zh) * 2015-08-12 2017-12-22 深圳锐取信息技术股份有限公司 运动对象跟踪方法及装置
US10232897B2 (en) 2015-10-16 2019-03-19 The Boeing Company Walking robot
CN105548989B (zh) * 2016-01-05 2018-01-02 西安应用光学研究所 手持式反光电观瞄及目标定位一体化装置
US10145670B2 (en) 2016-01-12 2018-12-04 The Boeing Company Systems and methods for projected grid-based location tracking
US9892558B2 (en) 2016-02-19 2018-02-13 The Boeing Company Methods for localization using geotagged photographs and three-dimensional visualization
KR20170109330A (ko) * 2016-03-21 2017-09-29 한화테크윈 주식회사 라이다 시스템
US10325339B2 (en) * 2016-04-26 2019-06-18 Qualcomm Incorporated Method and device for capturing image of traffic sign
CN109196441A (zh) * 2016-05-16 2019-01-11 深圳市大疆创新科技有限公司 用于协调设备动作的系统和方法
CN106033615B (zh) * 2016-05-16 2017-09-15 北京旷视科技有限公司 目标对象运动方向检测方法和装置
EP3485112B1 (en) 2016-07-15 2021-08-25 Fastbrick IP Pty Ltd Vehicle which incorporates a brick laying machine
US10607409B2 (en) 2016-07-19 2020-03-31 The Boeing Company Synthetic geotagging for computer-generated images
US10108872B2 (en) 2016-07-29 2018-10-23 Conduent Business Services, Llc Multi-angle product imaging device
US10242581B2 (en) * 2016-10-11 2019-03-26 Insitu, Inc. Method and apparatus for target relative guidance
US10347109B2 (en) 2016-11-08 2019-07-09 The Boeing Company Automated human personnel fall arresting system and method
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10181089B2 (en) * 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
RU2641604C1 (ru) * 2016-12-28 2018-01-18 Федеральное государственное автономное образовательное учреждение высшего образования "Дальневосточный федеральный университет" (ДВФУ) Способ измерения абсолютного положения конечного звена многозвенного механизма промышленного робота
JP6527178B2 (ja) * 2017-01-12 2019-06-05 ファナック株式会社 視覚センサのキャリブレーション装置、方法及びプログラム
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
JP6774603B2 (ja) * 2017-03-06 2020-10-28 株式会社Ｊｖｃケンウッド レーザ光照射検出装置、レーザ光照射検出方法、レーザ光照射検出システム
JP6854164B2 (ja) * 2017-03-22 2021-04-07 株式会社トプコン 測量データ処理装置、測量データ処理方法、測量データ処理システムおよび測量データ処理用プログラム
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
CN107101623B (zh) * 2017-05-18 2018-07-27 金钱猫科技股份有限公司 测量方法、系统及装置
WO2018231887A1 (en) * 2017-06-15 2018-12-20 Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College Tracking lighting system
US10796477B2 (en) * 2017-06-20 2020-10-06 Edx Technologies, Inc. Methods, devices, and systems for determining field of view and producing augmented reality
US11441899B2 (en) 2017-07-05 2022-09-13 Fastbrick Ip Pty Ltd Real time position and orientation tracker
EP3659116A4 (en) * 2017-07-27 2021-04-28 Westinghouse Electric Company Llc PROCESS FOR LOCATING A REMOTE-CONTROLLED VEHICLE IN A WORKSPACE AND REMOTE INSPECTION SYSTEM USING SUCH A PROCESS
CN111226090B (zh) 2017-08-17 2023-05-23 快砖知识产权私人有限公司 具有改进的横滚角测量的激光跟踪器
WO2019033165A1 (en) * 2017-08-17 2019-02-21 Fastbrick Ip Pty Ltd CONFIGURATION OF INTERACTION SYSTEM
US10791275B2 (en) * 2017-09-25 2020-09-29 The Boeing Company Methods for measuring and inspecting structures using cable-suspended platforms
US10788428B2 (en) * 2017-09-25 2020-09-29 The Boeing Company Positioning system for aerial non-destructive inspection
CN109557329B (zh) * 2017-09-26 2022-07-19 深圳市新产业生物医学工程股份有限公司 旋转式加样装置及加样方法
CN111164522B (zh) * 2017-09-30 2023-05-16 西门子股份公司 设计具有可重复使用技能的自主系统
JP6603289B2 (ja) 2017-10-27 2019-11-06 ファナック株式会社 ロボット、ロボットシステム、およびロボットの座標系設定方法
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US10818097B2 (en) 2017-12-12 2020-10-27 Disney Enterprises, Inc. Spatial position calculation system for objects in virtual reality or augmented reality environment
CN110579738B (zh) * 2018-06-11 2021-06-25 深圳市优必选科技有限公司 运动目标方向角获取方法及终端设备
EP3581341B1 (de) * 2018-06-13 2020-12-23 Siemens Healthcare GmbH Verfahren zum betreiben eines roboters, datenspeicher mit einem entsprechenden programmcode, roboter und robotersystem
US10800550B2 (en) 2018-06-21 2020-10-13 The Boeing Company Positioning enhancements to localization process for three-dimensional visualization
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
US11007635B2 (en) * 2018-07-25 2021-05-18 The Boeing Company Gravity compensation for self-propelled robotic vehicles crawling on non-level surfaces
US10949980B2 (en) * 2018-10-30 2021-03-16 Alt Llc System and method for reverse optical tracking of a moving object
CN111121619A (zh) * 2018-11-01 2020-05-08 西南科技大学 一种基于激光测距的空间几何自动测量方法
JP7000361B2 (ja) * 2019-01-24 2022-01-19 ファナック株式会社 追随ロボットおよび作業ロボットシステム
CN109945782B (zh) * 2019-04-02 2020-12-08 易思维（杭州）科技有限公司 超长白车身关键位置检测方法
CN110068827A (zh) * 2019-04-29 2019-07-30 西北工业大学 一种无人机自主目标测距的方法
RU2714701C1 (ru) * 2019-06-17 2020-02-19 Федеральное государственное унитарное предприятие "Российский федеральный ядерный центр - Всероссийский научно-исследовательский институт технической физики имени академика Е.И. Забабахина" Способ селекции объекта на удаленном фоне оптическими системами с воздушного носителя
US11361869B2 (en) * 2019-08-13 2022-06-14 Westinghouse Electric Company Llc System and method enabling signals from replacement self-powered neutron detectors to be used to generate inputs to legacy software
CN110780325B (zh) * 2019-08-23 2022-07-19 腾讯科技（深圳）有限公司 运动对象的定位方法及装置、电子设备
JP7435998B2 (ja) * 2019-09-17 2024-02-21 日本電気通信システム株式会社 物品位置管理装置、物品、物品位置管理システム、物品位置管理方法及びプログラム
FI20196022A1 (en) * 2019-11-27 2021-05-28 Novatron Oy Method and positioning system for determining the position and orientation of a machine
JP7406902B2 (ja) * 2019-12-10 2023-12-28 キヤノン株式会社 制御装置、制御方法、プログラム、方法及び記憶媒体
US10846880B1 (en) * 2020-01-03 2020-11-24 Altec Industries, Inc. Camera embedded joystick
US11631251B2 (en) * 2020-02-23 2023-04-18 Tfi Digital Media Limited Method and system for jockey and horse recognition and tracking
WO2021217371A1 (zh) * 2020-04-27 2021-11-04 深圳市大疆创新科技有限公司 可移动平台的控制方法和装置
CN111474519A (zh) * 2020-04-28 2020-07-31 广东博智林机器人有限公司 一种定位方法、装置、设备及存储介质
CN111753663B (zh) * 2020-05-25 2023-12-12 上海欧菲智能车联科技有限公司 目标检测方法及装置
CN111931614B (zh) * 2020-07-24 2024-04-19 深圳市瑞立视多媒体科技有限公司 主动光刚体识别方法、装置、设备及存储介质
CN112116651B (zh) * 2020-08-12 2023-04-07 天津(滨海)人工智能军民融合创新中心 一种基于无人机单目视觉的地面目标定位方法和系统
RU2756437C1 (ru) * 2020-09-03 2021-09-30 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система планирования движения робота-манипулятора путем коррекции опорных траекторий
CN112595231A (zh) * 2020-12-10 2021-04-02 上海镭隆科技发展有限公司 一种基于智能图像识别二维随动系统动态监测装置及方法
CN112822353B (zh) * 2020-12-28 2022-03-01 维沃移动通信有限公司 电子设备及其摄像头模组
CN112991401B (zh) * 2021-01-20 2023-07-14 深兰科技（上海）有限公司 车辆运行轨迹追踪方法、装置、电子设备和存储介质
CN113050108B (zh) * 2021-03-23 2024-01-09 湖南盛鼎科技发展有限责任公司 电子界址视觉测量系统及测量方法
CN113358332B (zh) * 2021-07-15 2022-03-22 中国科学院长春光学精密机械与物理研究所 一种动态成像望远镜性能检测装置及方法
US11502729B1 (en) 2021-08-10 2022-11-15 The Boeing Company Methods for through-structure power and data transfer between mobile robots and sensor nodes
CN114235457B (zh) * 2021-12-20 2024-03-15 浙江谱麦科技有限公司 用于检测机器人力学性能的力加载系统及系统调校方法
US20230241720A1 (en) * 2022-01-31 2023-08-03 Standex International Corporation Techniques for closed-loop control of a laser-engraving process
CN115435764B (zh) * 2022-11-09 2022-12-30 中国空气动力研究与发展中心设备设计与测试技术研究所 一种用于激光跟踪仪靶点扫描的吸盘式行走机器人
CN115861429B (zh) * 2023-02-28 2023-06-16 深圳思谋信息科技有限公司 图像采集设备标定方法、装置、计算机设备和存储介质
CN116931583B (zh) * 2023-09-19 2023-12-19 深圳市普渡科技有限公司 移动对象的确定方法和避让方法、装置、设备及存储介质
CN117516811A (zh) * 2023-10-09 2024-02-06 南京智谱科技有限公司 一种气体泄漏监测系统、方法、装置和巡检装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030011494A1 (en) * 2000-02-08 2003-01-16 Helmut Reider Automatic fee charging system
US20040168148A1 (en) * 2002-12-17 2004-08-26 Goncalves Luis Filipe Domingues Systems and methods for landmark generation for visual simultaneous localization and mapping

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4424943A (en) * 1981-05-04 1984-01-10 Hughes Aircraft Company Tracking system
US4786167A (en) * 1985-10-03 1988-11-22 Rothbone Richard R Optical navigation system
US5673082A (en) * 1995-04-10 1997-09-30 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Light-directed ranging system implementing single camera system for telerobotics applications
US5974348A (en) * 1996-12-13 1999-10-26 Rocks; James K. System and method for performing mobile robotic work operations
JP3909377B2 (ja) * 1997-02-14 2007-04-25 株式会社安川電機 屋外用距離計測装置
FR2770672B1 (fr) * 1997-11-04 2000-01-21 Inst Nat Rech Inf Automat Procede et dispositif de localisation et de guidage d'un mobile muni d'une camera lineaire
US6198485B1 (en) * 1998-07-29 2001-03-06 Intel Corporation Method and apparatus for three-dimensional input entry
JPWO2002023122A1 (ja) * 2000-09-11 2004-01-22 高瀬　國克 可動物体位置検出システム
US7419140B2 (en) 2005-05-16 2008-09-02 Safeguards Technology Llc Security fence module
GB0513899D0 (en) 2005-07-06 2005-08-10 Airbus Uk Ltd Program-controlled process
JP4799088B2 (ja) * 2005-09-06 2011-10-19 株式会社東芝 遠隔検査における作業位置計測方法およびその装置
US7599789B2 (en) * 2006-05-24 2009-10-06 Raytheon Company Beacon-augmented pose estimation
US7643893B2 (en) 2006-07-24 2010-01-05 The Boeing Company Closed-loop feedback control using motion capture systems
ITFI20060196A1 (it) * 2006-08-04 2008-02-05 Fasep 2000 S R L Metodo e dispositivo per la misura senza contatto dell'allineamento di ruote di autoveicoli
US9176598B2 (en) * 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US8044991B2 (en) * 2007-09-28 2011-10-25 The Boeing Company Local positioning system and method
US7859655B2 (en) * 2007-09-28 2010-12-28 The Boeing Company Method involving a pointing instrument and a target object
WO2009106141A1 (en) * 2008-02-29 2009-09-03 Trimble Ab Determining coordinates of a target in relation to a survey instrument having at least two cameras
JP5157803B2 (ja) * 2008-10-06 2013-03-06 村田機械株式会社 自律移動装置
US8199194B2 (en) 2008-10-07 2012-06-12 The Boeing Company Method and system involving controlling a video camera to track a movable target object
US8279412B2 (en) * 2009-12-17 2012-10-02 The Boeing Company Position and orientation determination using movement data
US8447805B2 (en) * 2011-02-28 2013-05-21 The Boeing Company Distributed operation of a local positioning system
US8738226B2 (en) * 2011-07-18 2014-05-27 The Boeing Company Holonomic motion vehicle for travel on non-level surfaces
US8874371B2 (en) * 2011-08-09 2014-10-28 The Boeing Company Beam directed motion control system
US9903715B2 (en) * 2011-09-27 2018-02-27 Leica Geosystems Ag Measuring system and method for marking a known target point in a coordinate system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030011494A1 (en) * 2000-02-08 2003-01-16 Helmut Reider Automatic fee charging system
US20040168148A1 (en) * 2002-12-17 2004-08-26 Goncalves Luis Filipe Domingues Systems and methods for landmark generation for visual simultaneous localization and mapping

Also Published As

Publication number Publication date
CN105518486B (zh) 2017-09-19
WO2014204548A1 (en) 2014-12-24
US9043146B2 (en) 2015-05-26
RU2664257C2 (ru) 2018-08-15
BR112015031505A2 (pt) 2017-07-25
JP2016526673A (ja) 2016-09-05
US20150207987A1 (en) 2015-07-23
EP3011362B1 (en) 2018-10-17
BR112015031505B1 (pt) 2022-02-22
RU2015141333A (ru) 2017-07-24
EP3407088A1 (en) 2018-11-28
CN105518486A (zh) 2016-04-20
KR101988083B1 (ko) 2019-09-30
JP6426725B2 (ja) 2018-11-28
US9197810B2 (en) 2015-11-24
RU2015141333A3 (ko) 2018-03-20
EP3011362A1 (en) 2016-04-27
US20140376768A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
KR101988083B1 (ko) 가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법
US11408728B2 (en) Registration of three-dimensional coordinates measured on interior and exterior portions of an object
CN102448679B (zh) 至少一个物体以高精度定位到空间最终位置的方法和系统
US10585167B2 (en) Relative object localization process for local positioning system
US8244402B2 (en) Visual perception system and method for a humanoid robot
CN104786226A (zh) 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
US20200406465A1 (en) Information processing apparatus, information processing method, and information processing system
WO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN111780715A (zh) 一种视觉测距方法
CN109773589A (zh) 对工件表面进行在线测量和加工导引的方法及装置、设备
Das et al. Calibration of a dynamic camera cluster for multi-camera visual SLAM
McArthur et al. Pose-estimate-based target tracking for human-guided remote sensor mounting with a UAV
JPH0545117A (ja) 光学式３次元位置計測方法
EP3834997A1 (en) Method and device for calibrating a machine vision device for position determination
Xiong et al. 3d depth map based optimal motion control for wheeled mobile robot
JP7278637B2 (ja) 自走式移動装置
Ahmadinejad et al. A low-cost vision-based tracking system for position control of quadrotor robots
CN111823222A (zh) 单目相机多视场视觉引导装置及引导方法
KR20160007741A (ko) 수술 로봇 조종 시스템
Ekmanis et al. Mobile robot camera extrinsic parameters auto calibration by spiral motion
CN115072357A (zh) 一种基于双目视觉的机器人转载自动定位方法
CN116724336A (zh) 用于确定相机的状态的方法和系统
Vachálek et al. Measuring distances using the 3D optical device for the needs of mobile robotics
Alzarok A Review on some commonly used sensors for Robotic applications
Czop et al. Low-cost semi-autonomous manipulation technique for explosive ordnance disposal robots

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant