KR20190041464A - 자율 차량용 물체 감지 및 회피 시스템 - Google Patents

자율 차량용 물체 감지 및 회피 시스템 Download PDF

Info

Publication number
KR20190041464A
KR20190041464A KR1020197003709A KR20197003709A KR20190041464A KR 20190041464 A KR20190041464 A KR 20190041464A KR 1020197003709 A KR1020197003709 A KR 1020197003709A KR 20197003709 A KR20197003709 A KR 20197003709A KR 20190041464 A KR20190041464 A KR 20190041464A
Authority
KR
South Korea
Prior art keywords
sub
volume
objects
target
uav
Prior art date
Application number
KR1020197003709A
Other languages
English (en)
Other versions
KR102345083B1 (ko
Inventor
레지날드 엔. 비어
데이비드 체임버스
데이비드 더블유. 패글리에로니
Original Assignee
로렌스 리버모어 내쇼날 시큐리티, 엘엘시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로렌스 리버모어 내쇼날 시큐리티, 엘엘시 filed Critical 로렌스 리버모어 내쇼날 시큐리티, 엘엘시
Publication of KR20190041464A publication Critical patent/KR20190041464A/ko
Application granted granted Critical
Publication of KR102345083B1 publication Critical patent/KR102345083B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G01S13/9303—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/46—Indirect determination of position data
    • G01S13/48—Indirect determination of position data using multiple beams at emission or reception
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

이미징 시스템을 사용하지 않고서, 물체들(즉, 장애물들)을 피하면서 자율 운행체("AV")가 타깃으로 이동하는 이동 경로를 결정하는 방법이 제공된다. 물체 감지 및 회피("OSA") 시스템은 AV에 인접한 물체 필드 내의 물체들을 검출하고, AV가 이동함에 따라 물체들을 피하기 위해 타깃으로의 이동 경로를 동적으로 생성한다. OSA 시스템은 물체 필드 내에서 임의의 물체들의 센서 데이터를 수집하기 위해 센서들을 반복적으로 사용한다. 물체 검출 시스템은 물체들을 검출하고 상이한 센서들에 의해 지시된 바와 같은 물체들에 대한 범위들의 삼각 측량에 기초하여 그들의 위치들을 결정한다. 경로 플래너 시스템은 이동되는 거리의 최소화를 추구하면서 검출된 물체들을 피하도록 AV에 대한 다음 이동 방향을 계획한다. 그 다음, OSA 시스템은 상기 이동 방향으로 이동하도록 AV에 지시한다.

Description

자율 운행체의 물체 감지 및 회피 시스템
연방 후원 연구에 관한 진술
미국 정부는 미국 에너지부와 로렌스 리버모어 내셔널 시큐리티, 엘엘씨 사이의 계약 번호 DE-AC52-07NA27344에 따라 로렌스 리버모어 내셔널 연구소의 운영에 대한 본 발명의 권리를 갖는다.
본 발명은 자율 운행체의 물체 감지 및 회피 시스템에 관한 것이다.
무인 항공기 시스템("UAS(unmanned aircraft systems)") 또는 드론이라고도 하는 무인 항공기("UAVs(unmanned aerial vehicles")는 군사, 과학, 상업, 인도주의, 및 레크리에이션 응용들과 같은 광범위한 응용 분야에 이용된다. UAVs는 다양한 방식들로 제어될 수 있으며, 이러한 방식들은 네비게이션 시스템에 의한 자율 제어로부터 조작자에 의한 원격 제어에 이른다. 자율 제어를 제공하는 내비게이션(또는 안내) 시스템들은 UAVs에 탑재되어 있을 수 있거나, 또는 UAVs로부터 데이터를 수신하고 UAVs에 명령들을 송신하는 지상국들에 있을 수 있다. 네비게이션 시스템은 UAV를 단순히 글로벌 포지셔닝 시스템("GPS") 좌표에 의해 규정된 지정된 경로(예를 들어, 직선)를 따라 목적지 위치로 네비게이션할 수 있다. 좀 더 정교한 네비게이션 시스템들은 UAV 근처의 환경의 이미지들을 수집하는 탑재된 이미징 시스템과 인터페이스할 수 있다. 네비게이션 시스템은 이미지들을 처리하여, UAV의 진로에 있는 장애물들(예를 들어, 건물, 산, 및 나무)을 식별하고, 그 장애물들을 피하기 위한 경로 상에 UAV를 향하게 할 수 있다. UAV가 조작자의 원격 제어하에 있을 때, UAV는 환경의 이미지들을 조작자에게 스트리밍하는 탑재된 카메라 시스템을 가질 수 있다. UAV가 탑재된 카메라 시스템을 갖지 않는다면, 조작자는 UAV에 대한 시선(line of sight)을 가질 필요가 있다. 조작자는 UAV를 안내하기 위해 다양한 조종실 형태의 제어 장치들을 사용할 수 있다.
장애물들을 식별하기 위해 이미지들을 처리하는 네비게이션 시스템들은 매우 값비싸고 UAV에 상당한 중량을 추가할 수 있다. 이러한 네비게이션 시스템들은 카메라 시스템들, 이미지 처리 시스템들, 장애물 검출 시스템들, 경로 플래너 시스템들 등을 포함한다. 비용의 상당 부분은 이미지들을 처리하는 데 필요한 계산들과 저장 자원들에 의해 도출된다. 각각의 이미지는 저장을 위해 수십 메가바이트를 필요로 할 수 있다. 실시간으로 이미지들을 처리하기 위해, 네비게이션 시스템은 하이-엔드 프로세싱 시스템들(high-end processing systems)을 필요로 할 수 있으며, 맞춤 설계된 프로세서를 필요로 할 수 있다. 이러한 네비게이션 시스템의 비용 및 중량은 하이-엔드 군용 애플리케이션들을 제외하고는 UAVs에 의한 사용에 비실용적이다. 결과적으로, 상업 및 레크리에이션 용 UAVs는 UAVs에 대한 시선을 갖는 것에 기초하여 원격 제어된다.
본 발명은 종래 기술의 문제점을 감안하여 보다 개선된 청구범위에 기술된 바와 같은 구성 및 방법을 제시한다. 예컨대, 본 발명에 따라 이미징 시스템을 사용하지 않고서, 물체들(즉, 장애물들)을 피하면서 UAV가 타깃으로 이동하는 이동 경로를 결정하는 방법 및 시스템이 제공된다.
도 1은 일부 실시예들에서 OSA 시스템의 구성요소들을 예시하는 블록도이다.
도 2a는 3 개의 센서들로부터 도출된 범위들을 예시한다.
도 2b는 물체의 국부화를 도시한다.
도 3a는 하나의 송신기를 갖는 센서 어레이에 대한 다양한 기하학 구조들을 도시한다.
도 3b는 송수신기들의 센서 어레이에 대한 다양한 기하학 구조들을 도시한다.
도 4는 일부 실시예들에서 OSA 시스템에 의해 사용되는 다양한 데이터 구조들을 도시하는 블록도이다.
도 5는 일부 실시예들에서 OSA 시스템의 구성요소들을 설명하는 블록도이다.
도 6은 일부 실시예들에서 OSA 시스템의 경로 컨트롤러 시스템의 전체 프로세싱을 도시하는 흐름도이다.
도 7은 일부 실시예들에서 OSA 시스템의 물체 검출 구성요소의 프로세싱을 도시하는 흐름도이다.
도 8은 일부 실시예들에서 OSA 시스템의 위치 산출 구성요소의 프로세싱을 도시하는 흐름도이다.
도 9는 일부 실시예들에서 물체 데이터 구조 파퓰레이트 구성요소의 프로세싱을 도시하는 흐름도이다.
도 10은 일부 실시예들에서 통과 스코어 데이터 구조 파퓰레이트 구성요소의 프로세싱을 도시하는 흐름도이다.
도 11은 일부 실시예들에서 이동 방향 식별 구성요소의 프로세싱을 도시하는 흐름도이다.
이미징 시스템을 사용하지 않고서, 물체들(즉, 장애물들)을 피하면서 UAV가 타깃으로 이동하는 이동 경로를 결정하는 방법 및 시스템이 제공된다. 일부 실시예들에서, 물체 감지 및 회피("OSA") 시스템은 UAV에 인접한 물체 필드 내의 물체들을 검출하고, UAV가 이동함에 따라 물체들을 피하기 위해 타깃으로의 이동 경로를 동적으로 생성한다. OSA 시스템은 센서 어레이, 물체 검출 시스템, 및 경로 플래너 시스템(path planner system)을 포함한다. OSA 시스템은 물체 필드 내에서 임의의 물체들의 센서 데이터를 수집하기 위해 센서 어레이를 반복적으로 사용한다. 예를 들어, 센서 어레이는 레이더 신호들을 송신하고, 물체들에 의해 반사되는 복귀 신호들을 수신할 수 있다. 물체 검출 시스템은 물체들을 검출하고 센서 데이터에 기초하여 그들의 위치들을 결정한다. 예를 들어, 물체 검출 시스템은 다중 센서들에 의해 수신된 복귀 신호들에 기초하여 물체의 위치를 삼각 측량할 수 있다. 이어서 경로 플래너 시스템은 이동되는 거리의 최소화를 추구하면서 검출된 물체들을 피하도록 UAV에 대한 다음 이동 방향을 계획한다. 예를 들어, 경로 플래너 시스템은 검출된 물체들로부터 원하는 클리어런스를 유지하는, 가능한 한 타깃으로의 방향("타깃 방향")에 가까운 다음 이동 방향을 선택한다. 그 다음, OSA 시스템은, 상기 프로세스가 반복되어 물체 필드 내에 현재 있는 물체들을 고려한 새로운 이동 방향이 계획될 때까지, 상기 이동 방향으로 이동하도록 UAV에 지시한다. OSA 시스템은 UAV의 위치 및 향하는 방향(orientation)을 사용하며, 이러한 것은 물체들의 위치들을 결정할 때 UAV의 탑재된 시스템으로부터 획득될 수 있다.
일부 실시예들에서, 센서 어레이는 신호들을 송신하고 물체들의 존재를 나타내는 복귀 신호들을 수신하기 위해 UAV 상에 장착된다. 예를 들어, 센서 어레이는 전자기 신호들의 송신기(예를 들어, 레이더 및 LIDAR) 및 송신된 신호들이 물체들로부터 반사되는 것을 나타내는 복귀 신호들을 수신하기 위한 다양한 수신기들을 포함할 수 있다. 물체 검출 시스템은 물체들에 대응할 수 있는 복귀 신호들을 식별하고 이들 복귀 신호들 중 어느 것이 동일한 물체에 대응하는지를 식별한다. 물체들에 대응할 수 있는 복귀 신호들을 식별하기 위해, 물체 검출 시스템은 복귀 신호들의 강도에 부분적으로 식별을 기초로 할 수 있다. 물체 검출 시스템은 복귀 신호들이 이동한 거리들에 기초하여 어떤 복귀 신호들이 동일한 물체에 대응하는지를 결정할 수 있으며, 그 다음에 상기 거리들의 삼각 측량에 기초하여 물체의 위치를 결정할 수 있다. 실제 물체들은 크기(extent)를 가지며 복귀 신호들은 전체 크기에 대해 수신되기 때문에, 물체 검출 시스템은 물체 분해능을 사용하여 물체의 다양한 위치들을 결정한다. 예를 들어, 분해능(resolution)이 1 미터이고 실제 물체가 10 평방 미터의 크기를 갖는다면, 물체 검출 시스템은 실제 물체를 내부적으로 10 개의 물체들로 나타낼 수 있으며, 이들 각각은 좌표(x, y, z)에 의해 주어진 그 자신의 위치를 갖는다. 물체 필드 내에서 물체들의 위치들이 주어지면, 경로 플래너 시스템은 이동하는 방향에서의 이동 경로로부터 물체들까지의 거리들 및 UAV로부터 타깃으로의 타깃 방향으로부터 이동 방향의 편차에 기초하여 UAV에 대한 이동 방향을 식별한다. 예를 들어, UAV 근처의 물체들이 UAV로부터 타깃까지의 직접 경로(타깃 경로라고 함)에 너무 가까이 있다면, 경로 플래너 시스템은 타깃 경로의 타깃 방향에 가능한 한 가까우며 UAV가 그와 어떠한 물체들과도 그들 사이에 충분한 거리를 유지할 수 있게 하는 이동 방향을 선택할 것이다. OSA 시스템은 UAV에 대한 다음 방향으로서 그 이동 방향을 제공한다.
일부 실시예들에서, 경로 플래너 시스템은 통과 볼륨(transit volume)에 기초하여 UAV의 현재 위치로부터 타깃으로 이동하기 위한 이동 방향을 식별한다. 통과 볼륨은 UAV에 인접한 볼륨으로, 이동 방향의 선택에 영향을 미치는 UAV에 충분히 근접한 물체들을 포함하기에 충분히 큰 볼륨이다. 예를 들어, 상기 통과 볼륨은 UAV 전방(즉, UAV 좌표계의 양의 y-방향) 20 미터와 UAV의 좌측, 우측, 하측 및 상측 에 대한 각각의 방향(즉, UAV 좌표계의 음과 양의 x-방향 및 음과 양의 z-방향)으로 20 미터 연장되는 직사각형 직육면체(rectangular cuboid)가 될 수 있다. 이러한 통과 볼륨의 크기는 32,000 입방 미터이다. 경로 플래너 시스템은 원하는 물체 분해능에 기초하여 통과 볼륨을 서브-볼륨들로 분할한다. 예를 들어, 원하는 물체 분해능이 1 미터인 경우, 직사각형 직육면체는 32,000 개의 1 미터 정육면체로 분할될 것이다. 물체 분해능은 센서 어레이의 분해능, 물체들로부터의 필요한 클리어런스(clearance), 및 OSA 시스템의 계산 자원들과 같은 다양한 인자들에 기초하여 변할 수 있다. 경로 플래너 시스템은 물체들을 포함하는 통과 볼륨의 서브-볼륨들을 식별한다. 예를 들어, 경로 플래너 시스템은 각각의 서브-볼륨에 대한 요소를 갖는 3 차원 어레이인 물체 데이터 구조를 사용할 수 있다. 따라서, 32,000 개의 서브-볼륨들의 통과 볼륨에 대한 물체 데이터 구조는 (i,j,k) 로 색인이 된 32,000 개의 요소들을 가지며, 여기서, i는 -20 내지 20의 범위이고, j는 0 내지 20의 범위이고, k는 -20 내지 20의 범위이고, UAV는 (0,0,0) 요소에 대응하는 서브-볼륨에 있는 것으로 여긴다. 물체의 각각의 위치에 대해, 경로 플래너 시스템은 물체를 포함하는 서브-볼륨에 대응하는 물체 데이터 구조 내에 플래그를 설정한다.
물체들을 포함하는 서브-볼륨들이 식별된 후, 경로 플래너 시스템은 각각의 서브-볼륨에 대한 통과 스코어(transit score)를 산출한다. 서브-볼륨에 대한 통과 스코어는, 서브-볼륨이 물체에 대해 얼마나 가까이 있는지 및 타깃 방향으로부터 상기 서브-볼륨 방향의 편차에 기초하여, 서브-볼륨 방향(즉, UAV로부터 서브-볼륨으로의 방향)에 있는 이동 경로에 대한 적합성을 나타낸다. 예를 들어, 물체에 가까이 있지 않으며 타깃 방향에 근접한 서브-볼륨 방향을 갖는 서브-볼륨은 높은 통과 스코어를 갖는다. 다른 예로서, 서브-값 방향이 타깃 방향과 동일한지 여부에 관계없이 물체를 포함하는 서브-볼륨은 낮은 통과 스코어를 가질 것이다. 경로 플래너는 물체 데이터 구조와 마찬가지로, 각각의 서브-볼륨에 대한 통과 스코어를 저장하기 위해 각각의 서브-볼륨에 대한 요소를 갖는 통과 스코어 데이터 구조를 사용할 수 있다. 일부 실시예들에서, 경로 플래너 시스템은 가장 근접한 물체에 대한 각각의 서브-볼륨의 거리를 저장하기 위해 각각의 서브-볼륨에 대한 요소를 갖는 거리 데이터 구조를 사용할 수 있다. 상기 거리들은 유클리드(Euclidean) 또는 맨하탄(Manhattan)(즉, 도시 블록) 거리들이 될 수 있다. 경로 플래너 시스템은 이러한 거리들을 사용하여 통과 스코어를 생성할 수 있다.
서브-볼륨이 높은 통과 스코어를 가질 수 있지만, 그 서브-볼륨 방향에서의 이동을 실현 가능하게 하기에는 그 서브-볼륨의 서브-볼륨 경로에 너무 근접한 물체들이 있을 수 있다. 그래서, 통과 스코어들이 산출된 후, 경로 플래너 시스템은 서브-볼륨의 통과 스코어 및 클리어런스 기준을 충족하는 서브-볼륨 경로에 기초하여 서브-볼륨의 서브-볼륨 방향을 이동 방향에 대해 선택한다. 클리어런스 기준은 이동 방향이될 자격이 부여되는 서브-볼륨 방향에 대한 서브-볼륨 경로와 물체 사이의 최소 요구 거리를 지정할 수 있다. 상기 플래닝 시스템은 가장 높은 통과 스코어를 가지며 그 서브-볼륨 경로가 클리어런스 기준을 충족시키는 서브-볼륨을 식별할 수 있으며, 상기 식별된 서브-볼륨의 서브-볼륨 방향을 이동 방향으로 선택할 수 있다. 경로 플래너 시스템은, 서브-볼륨 경로에 대한 클리어런스 기준이 충족되는지 여부를 결정하기 위해, 거리 데이터 구조의 거리들을 사용할 수 있다. 그래서 경로 플래너 시스템은 그 이동 방향을 UAV의 다음 방향으로 제공한다.
OSA 시스템이 주로 UAV의 맥락에서 설명되지만, OSA 시스템은 자율적으로 구동되는 다양한 자율 운행체들("AVs")을 제어하는 데 사용될 수 있다. AVs은 UAVs, 무인 지상 차량들("UGVs"), 무인 잠수정들("UUVs"), 및 무인 우주 비행체들("USVs")을 포함할 수 있다. 이들 운행체들은 사람이 운행체에 실제로 탑승하고 있는지의 여부에 관계없이 운행체의 안내를 사람이 제어하지 않는다는 의미에서 "무인"이 된다. 예를 들어, UGV는 OSA 시스템의 단독 제어하에 UGV의 안내를 통해 몇몇 사람들을 수송할 수 있다. UGVs의 경우, 통과 볼륨은 상기 운행체보다 약간만 높게 될 필요가 있을 수 있으며, z-방향(수직)에서 1의 높이를 갖는 평면 또는 볼륨이 되는 것으로 효과적으로 간주될 수 있다. UGV가 예를 들어 주차 구조물에서 작동하는 경우, 통과 볼륨은 주차 구조물의 각각의 레벨에 대해 1의 평면들의 스택으로 표현될 수 있다. UUVs의 경우, 센서 어레이는 수중 음파 탐지기(sonar)에 기반이지만, OSA 시스템은 UAVs에 대한 것과 유사한 방식으로 작동할 것이다. USV의 경우, OSA 시스템은 위성이 우주 잔해 또는 다른 위성과의 충돌을 피하는 것을 돕는 데 특히 유용할 수 있다. USV 용 OSA 시스템은 물체들의 더 넓은 접근을 포함하도록 더욱 큰 통과 볼륨을 이용할 수 있다. 또한, OSA 시스템은 우주 물체들의 궤도 파라미터들(예를 들어, 케플러(Keplerian) 요소들)로부터 결정된 공지된 우주 물체들의 추정된 위치들로 보강되어, 복귀 신호들이 물체에 대응하는지 여부를 결정하는데 도움을 줄 수 있다. 일부 실시예들에서, OSA 시스템은 센서 어레이조차도 이용하지 않을 수 있고 오히려 궤도 파라미터로부터 결정된 공지된 공간 물체들의 추정된 위치들에만 의존할 수 있다. 또한, OSA 시스템이 AV 전방에 있는 통과 볼륨에 주로 기초하여 설명되지만, 통과 볼륨은 AV를 둘러쌀 수 있다. 이러한 경우에, AV는 운행체 주위의 전체 영역을 감지하기 위해 다중의 센서 어레이들을 포함할 수 있다. 이러한 주위의 통과 볼륨(surrounding transit volume)은 예를 들어 후방으로부터 AV를 향해 이동하는 물체들(예를 들어, 우주 잔해)을 감지하고 회피하는데 유용할 수 있다.
경로 플래너 시스템은 UAV가 물체와의 임박한 충돌을 피하기 위한 회피 조치를 취하도록 이동 방향을 선택할 수 있다. 예를 들어, 포식자 UAV는 먹이 UAV와 충돌함으로써 먹이 UAV가 그의 타깃에 도달하기 전에 먹이 UAV를 요격하는 것을 시도하고 있을 수 있다. 이러한 경우에, 먹이 UAV의 OSA 시스템은 타깃 방향으로부터 90°보다 더 벗어난 새로운 이동 방향을 산출할 수 있는데, 이는 포식자 UAV가 먹이 UAV의 좌측 쪽에서부터 먹이 UAV 전방에서 우측으로 이동했기 때문이다. 먹이 UAV가 타깃 방향으로 이동하고 있었다면, 먹이 UAV에 의한 이동 방향에서의 갑작스럽고 현저한 변경은 포식자 UAV와의 충돌을 피하기 위한 효과적인 회피 조치다. 새로운 이동 방향은 먹이 UAV가 급격하게 올라가거나 또는 내려가거나 또는 역방향이될 수 있다. 먹이 UAV가 둘레의 통과 볼륨(surrounding transit volume)을 갖는다면, OSA 시스템은 포식자 UAV가 후방으로부터 접근하더라도 회피 조치를 취할 수 있다. 이러한 경우에 있어서, OSA 시스템은 타깃 방향에 근접한 이동 방향을 선택할 수 있지만, 포식자 UAV가 너무 근접해 있기 때문에 그러한 선택을 무시(override)할 것이다. OSA 시스템은 연속적인 위치 결정들에 기초하여 포식자 UAV의 이동 방향을 결정할 수 있고, 예를 들어 포식자 UAV의 이동 방향에 수직이 되도록 최우선의(overriding) 이동 방향을 설정할 수 있다. 통과 볼륨이 먹이 UAV의 전방에만 있다면, 먹이 UAV는 회피 조치 모드로 들어갈 수 있다. 회피 조치 모드에서, 먹이 UAV는 포식자 UAV가 통과 볼륨 범위 내에 있는 동안 통과 볼륨 내에 포식자 UAV를 유지하려는 시도로 지속적으로 그 자체를 맞출 것이다.
OSA 시스템은 또한 고정식-기반(fixed-base) 로봇 시스템 및 자유-이동 로봇 시스템과 같은 로봇 시스템에서의 움직임을 제어하는데 사용될 수도 있다. 생산 라인들에서 사용되는 것들과 같은 고정식-기반 시스템은 전형적으로 로봇 조종 장치(robot manipulator), 엔드 이펙터(end effector)(예를 들면, 공구 또는 그리퍼), 및 안전 인터록 시스템을 포함한다. 고정식-기반 로봇 시스템은 로봇의 궤적을 프로그래밍하는데 사용되는 전형적으로 핸드헬드 장치인 티치 펜던트(teach pendant)를 사용하여 그 동작에 대해 교시될 수 있다. 안전 인터록 시스템은 사람이 고정식-기반 로봇 시스템의 작업 공간에 가까이 있을 때 로봇 조종 장치를 작동하지 못하게 하는 라이트 커튼 센서 또는 충돌을 검출하는 힘 센서를 포함할 수 있다. OSA 시스템은 고정식-기반 로봇 시스템이 침입을 검출하고 로봇 조종 장치의 궤도를 변경하는 것을 가능하게 한다. 결과적으로, 작업자의 안전성이 향상될 수 있고, 비용이 많이 드는 셧다운을 회피함으로써 자본 집약적인 생산 라인의 처리량이 유지될 수 있다. 또한, OSA 시스템을 사용함으로써, 티치 펜던트로 교시하는 필요성과 힘 센서 또는 라이트 커튼 센서에 대한 필요성을 배제할 수 있다. OSA 시스템은 생산 라인을 위한 부품을 픽업 및 배치하기 위한 이동 경로를 결정하는데 사용될 수 있다. OSA 시스템은, 예를 들어 로봇 조종 장치의 롤(roll), 피치(pitch), 및 요(yaw)를 제어함으로써 이웃하는 셀들을 피하면서, 픽업을 위해 고정식-기반 시스템의 셀 내에서 부품의 위치인 타깃으로 엔드 이펙터를 안내하도록 사용될 수 있다. 그 다음, OSA 시스템은 생산 라인 상의 부품의 원하는 위치인 타깃으로 엔드 이펙터를 안내하도록 사용될 수 있다. 부품을 픽업 또는 배치하도록 엔드 이펙터를 안내하기 위해, 통과 볼륨의 서브-볼륨들은 수렴 지역의 부근(즉, 픽업 및 배치 위치들에 가까이)에서 세분될 수 있다(즉, 더욱 작게 만들어질 수 있다). OSA 시스템의 출력은 속도를 늦추거나, 방향을 변경하거나, 또는 도킹, 인터록, 메이트(mate), 툴 조작 등의 준비가 되어있다는 신호를 보내기 위해 로봇 조종 장치에 명령을 발생하여 발(issue)하기 위해 사용될 수 있다. 센서 어레이는 엔드 이펙터 가까이에 또는 고정된 위치에서 로봇 조종 장치 상에 위치될 수 있다.
자유-이동 로봇 시스템들은 서번트(servant) 로봇 및 컴패니언(companion) 로봇을 포함한다. OSA 시스템은 UGV에 대한 이동 경로를 계획하는 것과 유사한 방식으로 로봇이 병원, 생산 라인, 선적 설비 등 내에서 부품들 또는 물품들을 이동시킬 때 이동 경로를 계획하는 데 사용될 수 있다. 자유 동작 로봇 시스템의 페이로드는 공구, 부품, 물품, 감지 시스템, 대화형 통신기(컴패니언 로봇용) 등이 될 수 있다. 타깃은 로봇의 원하는 목적지가 된다. 원하는 목적지는 예를 들어, 컴패니언 로봇이 따라가는 사람과 같은 움직이는 타깃이 될 수 있다. OSA 시스템은 정지한 물체들 및 움직이는 물체들을 피하면서 로봇이 목적지로 이동할 수 있게 한다. 센서 어레이는 자유-이동 로봇 시스템의 전방에 위치될 수 있다. OSA 시스템은 복잡한 환경 사이에서 로봇 시스템들을 안전하고 효율적이며 신뢰할 수 있게 네비게이션하는 데 사용될 수 있다.
도 1은 일부 실시예들에서 OSA 시스템의 구성요소들을 설명하는 블록도다. OSA 시스템(100)은 센서 어레이(110), 물체 검출 시스템(120), 경로 플래너 시스템(130), 및 비행 컨트롤러 시스템(140)을 포함한다. 센서 어레이는 송신 신호들(T)을 송신하고 복귀 신호들(R)을 수신한다. 센서 어레이는 수신기(m)에 시간(n)에 대응하는 복귀 신호들(Rn ,m)을 제공한다. 물체 검출 시스템은 또한 비행 컨트롤러에 의해 수집되는 바와 같이 고정 좌표계에 대한 회전 행렬(θn+1)에 의해 지시된 UAV의 현재 위치(Pn +1) 및 현재 향하는 방향(orientation)을 제공받는다. 물체 검출 시스템은 UAV의 현재 위치 및 향하는 방향과 시간(n) 및 물체(c)에 대한 각각의 검출된 물체의 포인트 위치(
Figure pct00001
)를 경로 플래너 시스템에 제공한다. 경로 플래너 시스템은 또한 타깃의 현재 위치(
Figure pct00002
)를 제공받는다. 예를 들어, 타깃은 UAV가 추적할 이동하는 운행체의 10 미터 위에 있을 수 있다. 이러한 경우에, 타깃은 상기 운행체에 탑재된 위치 시스템(예를 들어, GPS 시스템)에 의해 보고된 바와 같이 상기 운행체의 현재 위치에 기초하여 산출될 수 있다. 경로 플래너 시스템은 이동 방향을 산출한 다음, 예를 들어 위치(
Figure pct00003
)로서 비행 컨트롤러 시스템에 이동 방향을 제공한다. 비행 컨트롤러 시스템은 UAV가 이동 방향으로 이동하도록 지시한다. 물체 검출 시스템, 경로 플래너 시스템, 및 비행 컨트롤러 시스템은, UAV에 인접한 통과 볼륨에 현재 물체들이 있는 경우에 다음 이동 방향을 결정하기 위해 간격을 두고 그들의 프로세싱을 반복한다.
일부 실시예들에서, 물체 검출 시스템 및 경로 컨트롤러 시스템은 탑재 프로세서에 의해 실행되는 소프트웨어로 구현된다. 상기 프로세서는 초소형 항공기 통신 프로토콜("MAVLink")을 통해 UAV의 자동조종 시스템에 명령들을 전송할 수 있다. 상기 프로세서 및 자동조종 시스템은 범용 비동기식 수신기/송신기("UART") 접속을 통해 접속될 수 있다. 적절한 프로세서들은 예를 들어, Odroid C1+, Odroid XU4, Raspberry Pi, Intel Edison, Intel NUC, Gigabyte Brix, 및 NVIDIA Jetson TK1을 포함할 수 있다. 일부 실시예들에서, OSA 시스템의 양태들은 탑재되지 않은 프로세서에 의해 실행될 수 있다. 이러한 실시예에서, 탑재 프로세서는 지상국 프로세서로부터 데이터를 수신하고 지상국 프로세서로 데이터를 송신하기 위해 WiFi 인터페이스를 포함할 수 있다. 경로 컨트롤러 시스템이 지상국 프로세서에 의해 실행되면, 탑재 프로세서는 물체 검출 시스템에 의해 식별된 물체 위치들을 지상국 프로세서에 송신하고, 지상국 프로세서로부터 이동 방향 및 가능한 타깃 위치를 수신한다. 탑재 프로세서 및 지상국 프로세서는 Intel WiFi Link 5000 어댑터를 통해 통신할 수 있다.
일부 실시예들에서, OSA 시스템은 센서 어레이에 대해 시간 도메인 또는 주파수 도메인 레이더를 사용한다. 4" 분해능의 경우, 85 GHz(또는 그 이상)의 주파수가 10" 직경의 개구를 사용하여 20'의 범위에서 4" 분해능을 달성한다. 상기 분해능은 다음 식으로 나타낼 수 있다:
Figure pct00004
여기서, c는 광속을 나타내고, R은 범위를 나타내고, f는 주파수를 나타내고, d는 개구의 직경을 나타낸다.
물체는 3 개의 동일 평면 센서들의 센서 어레이 및 복귀 신호들로부터 도출된 범위를 사용하여 국부화될 수 있다. 도 2a는 3 개의 센서들로부터 도출된 범위들을 예시한다. 센서들(L, M, 및 N)은 UAV가 좌표 (0,0,0)에 있는 UAV 좌표계의 y=0의 평면에서 동일 평면에 있다. OSA 시스템은 물체(201)로부터의 복귀 신호들로부터 센서들(L, M, 및 N)에 대한 범위들(RL, RN, 및 RM)를 결정한다. 상기 범위는 다음 식에 의해 표현되는 바와 같이 결정될 수 있다:
Figure pct00005
여기서 t는 신호의 송신과 복귀 신호의 수신 사이의 시간을 나타낸다.
OSA 시스템은 범위(R), 고도(θ), 및 방위(φ)의 조합으로서 센서 어레이 전방에 있는 물체들을 국부화할 수 있다. 도 2b는 물체의 국부화(localization)를 도시한다. 삼각 측량을 사용하여, OSA 시스템은 물체(201)가 UAV에 대해 지정된 범위, 고도, 및 방위에 있음을 식별한다. UAV 좌표계에서 물체의 좌표는 다음 식으로 표현된다:
Figure pct00006
일부 실시예들에서, OSA 시스템은 동일선상에 있지 않고, 범위, 고도, 및 방위를 결정하기 위해 동일 평면에 있을 필요가 없는 3 개 이상의 수신기들을 사용할 수 있다. 센서 어레이는 경량의 인쇄 회로 기판 또는 다른 적절한 기판 상에 저렴한 반도체 부품들 및 인쇄된 안테나들을 사용하여 구성될 수 있다. 이러한 어레이의 후방은 포일(foil)로 차폐되어, 다른 UAV 페이로드들, 센서들, 또는 전자 장치들로의 및 그로부터의 잡음 또는 간섭을 감소시킬 수 있다.
OSA 시스템은 송신기 및 동일 평면상의 수신기들의 어레이를 포함하는 센서 어레이에 대한 다양한 기하학 구조들을 채택할 수 있다. 도 3a는 하나의 송신기를 갖는 센서 어레이에 대한 다양한 기하학 구조들을 도시한다. 센서 어레이들(311-315) 각각은 그 정점들에서, 하나의 송신기(310) 및 3, 4, 5, 6, 및 8 개의 수신기들을 각각 포함한다. 삼각 측량을 위해 3 개의 수신기들이 필요하지만, 추가 센서들은 물체 검출 및 신호 대 잡음비를 증가시키는데 도움을 줄 수 있다. 송신기(310)는 신호를 송신하고 모든 수신기들은 복귀 신호를 청취한다. OSA 시스템은 대안적으로 3 개 이상의 송수신기들을 포함하는 센서 어레이에 대한 다양한 기하학 구조들을 채택할 수 있다. 도 3b는 송수신기들의 센서 어레이에 대한 다양한 기하학 구조들을 도시한다. 센서 어레이들(321-325) 각각은 그 정점들에서, 3, 4, 5, 6, 및 8 송수신기들을 포함한다. 송수신기들은 순차적으로 송신하고, 각각은 그의 고유한 복귀 신호를 청취할 수 있으며, 이들은 N 개의 복귀 신호들이 되고, 여기서 N은 송수신기들의 수이다. 대안적으로, 송수신기들은 순차적으로 송신하고, 각각의 송수신기는 각각의 복귀 신호를 청취하는데, 이들은 N2 복귀 신호들이 된다. 길고 가느다란 타깃들(예를 들면, 전력선)의 검출을 향상시키기 위해, OSA 시스템은 2 개의 직교 방향들에서의 편파(polarization)에 민감한 센서 어레이를 이용할 수 있다. 편파가 오직 한 방향에만 있는 경우, 편파가 길고 가느다란 타깃에 평행할 때 매우 작은 복귀 신호가 생성될 것이다. OSA 시스템은 교차 다이폴 안테나 또는 원형 편파 안테나를 이용하는 센서 어레이를 사용할 수 있다.
도 4는 일부 실시예들에서 OSA 시스템에 의해 사용되는 다양한 데이터 구조들을 도시한 블록도다. 데이터 구조들은 물체 데이터 구조(410), 거리 데이터 구조(420), 및 통과 스코어 데이터 구조(430)다. 이들 데이터 구조들은 정육면체(cube)인 통과 볼륨의 서브-볼륨들 각각에 대해 저장된 데이터를 나타낸다. 축(401)은 UAV 좌표계의 방향을 도시한다. 데이터 구조의 각 요소는 서브-정육면체에 대응한다. 요소들 및 서브-정육면체들은 요소 (1, 2, 1)가 서브-정육면체 (1, 2, 1)에 대응하는 3 차원 인덱스에 의해 식별된다. 요소 (0, 0, 0)(411)은 UAV를 포함하는 서브-정육면체를 나타낸다. 물체 데이터 구조는 물체들을 포함하는 각각의 서브-정육면체에 대해 1을 포함한다. 요소들 (-2, 0, 2), (-1, 0, -2), (2, 0, 1), 및 (2, 2, -2)(412-415)는 해당 서브-정육면체들이 물체을 포함한다는 것을 나타내는 1을 포함한다. OSA 시스템은 복귀 신호들로부터 결정된 바와 같은 물체 위치들에 기초하여 물체 데이터 구조를 파퓰레이트(populate)한다. 거리 데이터 구조는 각각의 서브-정육면체의 가장 가까운 물체까지의 거리를 포함한다. 이러한 예에서, 맨해튼 거리 메트릭이 사용된다. 서브-정육면체 (0, 0, 0)으로부터 서브-정육면체들 (-2, 0, 2), (-1, 0, -2), (2, 0, 1), 및 (2, 2, -2)에 있는 물체들까지의 거리들은 4, 3, 3, 및 6이 각각 된다. 따라서, 요소 (0, 0, 0)는 3을 포함한다. 서브-정육면체(2, 0, 2)로부터 서브-정육면체들 (-2, 0, 2), (-1, 0, -2), (2, 0, 1), 및 (2, 2, 2)에 있는 물체들까지의 거리들은 4, 7, 1, 및 5가 각각 된다. 따라서, 요소 (2, 0, 2)는 1을 포함한다. 통과 스코어 데이터 구조는 물체에 대한 서브-정육면체의 거리(거리 데이터 구조에 의해 나타냄) 및 타깃(431)에 대한 타깃 방향으로부터의 편차에 기초하여 이동 방향에 있는 데 대한 적합성을 나타내는 각각의 서브-정육면체에 대한 통과 스코어를 포함한다. 서브-정육면체들 (-2, 0, 2), (-1, 0, -2), (2, 0, 1), 및 (2, 2, 2)는 물체를 포함하기 때문에, 이들은 UAV가 그 서브-정육면체를 통해 이동하지 않아야 한다는 것을 나타내는, 0.0의 통과 스코어를 갖는다. 서브-정육면체 (1, 0, 2)는, 그의 서브-정육면체 방향이 타깃 방향의 것과 유사하며 물체에 너무 가깝지 않다는 것(거리 데이터 구조에 의해 나타냄)을 나타내는 0.7의 통과 스코어를 갖는다.
OSA 시스템은 다양한 목적들을 충족시키는 방식으로 UAVs에 대한 자율 경로 계획을 지원한다. 하나의 목적은 센서 어레이가 UAV 상에 장착될 수 있도록 가볍고 콤팩트해야할 필요가 있다는 것이다. 또 다른 목적은 탑재 프로세서에서 구현된 알고리즘들이 실시간으로 센서 데이터를 처리하기에 충분히 효율적일 필요가 있다는 것이다. 상기 알고리즘들은 이동 방향이 변경됨에 따라 센서 시야에 들어오거나 나가는 고정된 물체들, 이동하는 물체들(예를 들면, 다른 UAVs), 및 움직일 수 있는 타깃을 고려해야할 필요가 있다. OSA 시스템은 UAV에 의해 실시간으로 획득된 능동 센서 데이터로부터 도출된 통과 볼륨들의 시퀀스에 기초하여 충돌 회피를 위한 경로 계획을 수행한다. 능동 센서 데이터는 레이더, 음파 탐지기, LIDAR, 음향 등이다. 통과 볼륨은 UAV의 위치, 타깃(정지 또는 이동에 상관없음)의 위치, 및 물체들(정지 또는 이동에 상관없음)의 위치를 동시에 고려한다.
n=0,1...에 대해 시간 시퀀스
Figure pct00007
에서 획득된 능동 센서 데이터의 경우, OSA 시스템은 고정 또는 절대 좌표계 (xyz)(동-북-수직) 및 시간 tn에서 UAV의 위치에 대한 UAV 좌표계 (
Figure pct00008
)를 사용한다. 상기 (
Figure pct00009
) 좌표들은 3 개의 회전 각들(예를 들면, UAV 롤, 피치, 및 요)로부터 도출된 3x3 회전 행렬 및 3D 오프셋을 통한 (x,y,z) 좌표들과 관련된다. 센서 어레이 및 GPS 장치는 UAV 상에 장착된다.
경로 플래너 시스템 및 비행 컨트롤러 시스템은 UAV에 장착된 프로세싱 보드 상에서 또는 무선으로 연결된 컴퓨터 워크스테이션 상에서 원격으로 호스트될 수 있다. 시간 tn에서, 경로 플래너 시스템은, (i) UAV 좌표계의 원점(origin)인 고정 좌표에서의 UAV의 위치
Figure pct00010
, (ii) 고정된 공간 좌표계로부터 UAV 좌표계로의 3x3 회전 행렬
Figure pct00011
, 및 (iii) UAV 좌표계에서 시간 tn에서 검출된 물체들의 위치들
Figure pct00012
를 수신한다. 시간 tn에서 고정 좌표들 P와 UAV 좌표들
Figure pct00013
간의 좌표 변환들은 다음의 식에 의해 표현된다:
Figure pct00014
시간 tn에서 타깃의 고정 좌표계에서의 위치
Figure pct00015
는 OSA 시스템에 제공되거나 그렇지 않으면 원격으로 중계된다. 타깃은 정지 상태(
Figure pct00016
경우) 또는 움직이는 상태일 수 있다. 경로 플래너 시스템은 UAV가 시간 tn에서 이동해야하는(즉, 이동 방향) 고정 좌표계에서의 위치
Figure pct00017
를 계산하고, 비행 컨트롤러 시스템에 대한 입력으로서 그 위치를 제공한다. 비행 컨트롤러 시스템은 UAV에 대한 비행 동적 모델에 기초하여 시간 tn+1에서 고정 좌표계로부터 UAV 좌표계로의 회전 행렬
Figure pct00018
을 계산한다. 이어서, 비행 컨트롤러 시스템은 시간 tn+1 동안 물체 검출 시스템에 대한 입력으로서 고정 좌표계에 대한 UAV 좌표계의 명세
Figure pct00019
를 제공한다.
시간 tn에서 UAV 좌표계는 도 2b에 도시되고, 여기서
Figure pct00020
축은 순간 UAV 교차-범위 방향으로 지시되고,
Figure pct00021
축은 범위 (전방) 방향으로 지시되며,
Figure pct00022
축은 오른손 좌표계를 달성한다. 센서 어레이에 대한 통과 볼륨은 시간 tn에서 UAV 좌표계에서
Figure pct00023
에 걸쳐있는 정육면체를 차지할 수 있다.
각각의 센서 데이터 획득 시간 tn에서 또는 관측 간격에서, OSA 시스템은 물체들
Figure pct00024
의 위치들의 세트에 대한 좌표들을 추출한다. OSA 시스템은 통과 볼륨을 나타내는 물체 데이터 구조 내의 위치의 표시들을 저장한다. 시간 tn에서의 서브-볼륨
Figure pct00025
에 대해, 1의 값은 시간 tn에서 획득된 물체들의 위치들에서만 또는 시간 tn에서 통과 볼륨 내의 해당하는
Figure pct00026
에 저장된 물체들의 위치들에서만 발생한다.
각각의 서브-볼륨은 고정 좌표계에서 폭
Figure pct00027
의 정육면체 볼륨을 차지한다. 물체 데이터 구조의 인덱스들
Figure pct00028
은 다음 식에 의해 표시되는 UAV 좌표계에서의 좌표들
Figure pct00029
로부터 계산된다:
Figure pct00030
여기서, 요소
Figure pct00031
가
Figure pct00032
에서 또는 시간 tn에서 UAV 중심 좌표계에서의 위치
Figure pct00033
에 있는 물체를 포함하는 서브-볼륨에 해당하는 경우에만,
Figure pct00034
.
OSA 시스템은 거리 데이터 구조
Figure pct00035
를 사용하며, 여기서,
Figure pct00036
는
Figure pct00037
에서 요소
Figure pct00038
에 의해 표현된 서브-볼륨으로부터 1의 값을 갖는
Figure pct00039
에서 가장 가까운 요소까지의 유클리드(또는 도시 블록과 같은 다른) 거리(미터)이다. OSA 시스템은 다음과 같은 자료들에 기술된 바와 같은 유클리드(또는 도시 블록과 같은 다른) 거리 변환 알고리즘들을 사용하여
Figure pct00040
를 계산할 수 있다:
Azriel Rosenfeld 및 John Pfaltz에 의한, "디지털 픽처 프로세싱에서의 순차 오퍼레이션", Computing Machinery 협회의 저널, Vol. 13, No. 4, 1966, pp. 471-494,
David W. Paglieroni에 의한, "통합된 거리 변환 알고리즘 및 아키텍처", Machine Vision and Applications, Vol. 5, Issue 1, 1992, pp. 47-55, 및
Calvin Maurer, Rensheng Qi, 및 Vijay Raghavan에 의한, "임의 차원들에서의 이진 이미지들의 정확한 유클리드 거리 변환들을 계산하기 위한 선형 시간 알고리즘", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, No. 2, February 2003, pp. 265-270,
상기 자료들은 본원에 참고로 인용된다.
OSA 시스템은 통과 스코어 데이터 구조
Figure pct00041
를 사용하며, 여기서
Figure pct00042
는 요소
Figure pct00043
에 대응하는 서브-볼륨과 연관된 통과 스코어(예를 들면, 0에서 1까지)다. 개념적으로, 통과 스코어
Figure pct00044
는, (i)
Figure pct00045
와 모든 물체들 사이의 거리가 증가하고, (ii) UAV로부터 요소
Figure pct00046
로 표시되는 서브-요소로의 서브-볼륨 방향 및 타깃 방향이 더 정렬될 때, 증가한다.
수학적으로,
Figure pct00047
는 단위 램프 함수
Figure pct00048
가 증가함에 따라 증가할 수 있다. 클리어런스 거리 또는 임계 거리
Figure pct00049
는 미터 단위의 거리로서, 이를 넘어서면 물체가 "원격"이라고 하는 그러한 거리를 나타낸다.
Figure pct00050
가 수동으로 지정될 수 있다면, OSA 시스템도 역시 거리 데이터 구조에서 거리의 분포에 기초하여 동적으로
Figure pct00051
를 산출할 수 있다. 이러한 분포는 물체 필드 내에서 물체 밀도의 지표(indicator)가 된다. 예를 들어, OSA 시스템은 일부 최소 거리
Figure pct00052
및
Figure pct00053
중 더 큰 것으로
Figure pct00054
를 설정할 수 있으며, 여기서,
Figure pct00055
및
Figure pct00056
는 상기 분포로부터 도출된 거리 평균 및 스프레드의 크기들이며, n은 수동으로 지정된다.
전술한 바와 같이,
Figure pct00057
는 또한 각도
Figure pct00058
가 0에 접근함에 따라 증가해야하며, 여기서
Figure pct00059
는 (i) 요소
Figure pct00060
에 의해 표현되는 서브-볼륨 및 (ii) 타깃을 통해 진행하는 UAV로부터 기인하는 벡터들 사이의 각도다. 일부 실시예들에서, OSA 시스템은 다음의 식에 의해 표시되는 통과 스코어를 산출한다:
Figure pct00061
여기서,
Figure pct00062
OSA 시스템은 물체들이 서브-볼륨 경로에 너무 근접하지 않는 가장 높은 통과 스코어를 갖는 서브-볼륨의 선택에 기초하여 매
Figure pct00063
초마다 UAV에 경로 횡단 명령을 발한다. 서브-볼륨을 선택하기 위해, OSA 시스템은 서브-볼륨들을
Figure pct00064
값의 내림차순으로 정렬하고 리스트를
Figure pct00065
요소들로 자른다. 자른 리스트 내의 제 1 서브-볼륨에 대해, OSA 시스템은 서브-볼륨에 대한 서브-볼륨 경로 또는 대안적으로 서브-볼륨 경로를 포함하고 통과 볼륨을 통해 연장하는 경로를 따르는 모든 서브-볼륨들에 대한 거리 값들 중 최소값을 결정한다. 상기 최소 거리가
Figure pct00066
보다 크다면, OSA 시스템은 서브-볼륨 방향을 따라
Figure pct00067
미터를 횡단하라는 명령을 생성하고, 완료한다. 그렇지 않은 경우, OSA 시스템은 리스트에서 다음 서브-볼륨을 처리하는 등등을 수행한다. 상기 리스트가 최소 거리가
Figure pct00068
보다 큰 서브-볼륨을 찾지 못하고 그 전체에 대해 처리되면, OSA 시스템은 임계 거리를 일정 비율만큼 감소시키고(예를 들면,
Figure pct00069
를
Figure pct00070
로 설정), 상기 리스트를 재처리하고, 증가의 경로 횡단 명령(incremental path traversal command)이 UAV에 대해 성공적으로 생성될 때까지 계속한다. 갱신된
Figure pct00071
값이
Figure pct00072
보다 작다면, 증가의 경로 횡단 명령을 발할 수 없으므로 경로 플래너 시스템이 오류 코드를 리턴한다.
도 5는 일부 실시예들에서 OSA 시스템의 구성요소들을 설명하는 블록도다. OSA 시스템(500)은 물체 검출 시스템(510) 및 경로 컨트롤러 시스템(520)을 포함한다. 물체 검출 시스템은 물체 검출 구성요소(511), 위치 산출 구성요소(512), 복귀 신호 저장소(513), 및 물체 위치 저장소(514)를 포함한다. 물체 검출 구성요소는 복귀 신호 저장소의 복귀 신호들을 처리하여, 예컨대 상이한 수신기들에 의해 결정된 바와 같이 각 물체에 대한 범위들을 식별함으로써 물체들의 존재를 식별한다. 위치 산출 구성요소는 상기 범위들에 기초하여 물체의 위치들을 결정하고, 그 위치들(예를 들면, 범위, 고도, 및 방위)을 물체 위치 저장소에 저장한다. 경로 컨트롤러 시스템은 물체 데이터 구조 파퓰레이트 구성요소(521), 통과 데이터 구조 파퓰레이트 구성요소(522), 및 이동 방향 식별 구성요소(523)를 포함한다. 경로 컨트롤러 시스템은 또한 거리 데이터 구조 파퓰레이트 구성요소(도시되지 않음)를 포함할 수 있다. 경로 컨트롤러 시스템은 또한 물체 데이터 구조(524), 거리 데이터 구조(525), 및 통과 스코어 데이터 구조(526)를 포함한다. 물체 데이터 구조 파퓰레이트 구성요소는 물체들을 포함하는 서브-볼륨들을 나타내기 위해 물체 데이터 구조를 파퓰레이트한다(populate). 통과 스코어 데이터 구조 파퓰레이트 구성요소는 서브-볼륨들의 통과 스코어들을 나타내기 위해 통과 스코어 데이터 구조를 파퓰레이트한다.
OSA 시스템이 구현될 수 있는 컴퓨팅 시스템은 중앙 처리 장치, 입력 장치, 출력 장치(예를 들면, 디스플레이 장치 및 스피커), 저장 장치(예를 들면, 메모리 및 디스크 드라이브), 네트워크 인터페이스, 그래픽 프로세싱 유닛, 가속도계, 셀룰러 무선 링크 인터페이스, 글로벌 포지셔닝 시스템 장치 등을 포함할 수 있다. 컴퓨팅 시스템들은 데이터 센터의 서버, 대용량 병렬 시스템 등을 포함할 수 있다. 컴퓨팅 시스템들은 컴퓨터 판독가능 저장 매체 및 데이터 전송 매체를 포함하는 컴퓨터 판독가능 매체에 액세스할 수 있다. 컴퓨터 판독가능 저장 매체는 일시적인 전파 신호를 포함하지 않는 유형의(tangible) 저장 수단이다. 컴퓨터 판독가능 저장 매체의 예들은 1차 메모리, 캐시 메모리, 및 2차 메모리(예를 들어, DVD), 및 다른 저장 장치와 같은 메모리를 포함한다. 컴퓨터 판독가능 저장 매체는 그 위에 기록할 수 있거나, 또는 컴퓨터 실행가능 명령들 또는 OSA 시스템을 구현하는 로직으로 인코딩될 수 있다. 데이터 전송 매체는 유선 또는 무선 접속을 통해 일시적인 전파 신호들 또는 반송파들(예를 들어, 전자기)을 통해 데이터를 전송하는데 사용된다.
OSA 시스템은 하나 이상의 컴퓨터들, 프로세서들, 또는 다른 장치들에 의해 실행되는 프로그램 모듈들 및 구성요소들과 같은 컴퓨터 실행가능 명령어들의 일반적인 문맥으로 설명될 수 있다. 일반적으로, 프로그램 모듈들 또는 구성요소들은 특정 작업들을 수행하거나 특정 데이터 유형들을 구현하는 루틴, 프로그램, 오브젝트, 데이터 구조 등을 포함한다. 전형적으로, 프로그램 모듈들의 기능은 다양한 실시예들에서 요구되는 바와 같이 결합되거나 분산될 수 있다. OSA 시스템의 양태들은 예를 들어 ASIC(application-specific integrated circuit)을 사용하여 하드웨어에서 구현될 수 있다.
도 6은 일부 실시예들에서 OSA 시스템의 경로 컨트롤러 시스템의 전체 프로세싱을 도시하는 흐름도이다. 경로 컨트롤러 시스템(600)은 각 관측 간격에서 호출되어, 그 간격 동안 검출된 물체들의 위치들에 기초하여 이동 제어 명령들을 생성한다. 블록(601)에서, 상기 시스템은 물체들의 위치들을 수신한다. 블록(602)에서, 상기 시스템은 물체를 포함하는 통과 볼륨의 서브-볼륨들을 식별한다. 상기 구성요소는 상기 식별된 서브-볼륨들에 대응하는 물체 데이터 구조의 요소들을 설정하여, 서브-볼륨이 물체들을 포함하고 있음을 나타낸다. 흐름도에 도시되지는 않았지만, 상기 시스템은 또한 가장 가까운 물체에 대한 각각의 서브-볼륨의 거리를 나타내기 위해 거리 데이터 구조를 파퓰레이트할 수 있다. 블록(603)에서, 상기 시스템은 각각의 서브-볼륨에 대한 통과 스코어를 산출한다. 상기 시스템은 통과 스코어 데이터 구조에 상기 통과 스코어들을 저장한다. 블록(604)에서, 상기 시스템은 이동 방향을 확립하기 위한 서브-볼륨을 선택한다. 상기 시스템은 클리어런스 기준을 충족시키는 가장 높은 통과 스코어를 갖는 서브-볼륨을 선택할 수 있다. 클리어런스 기준은 서브-볼륨 경로의 클리어런스 거리 내에 어떤 물체도 없다는 것이 될 수 있다. 클리어런스 기준은 또한 예를 들어, 클리어하지만 클리어런스 한계점 바로 밖에는 많은 물체들을 갖는 서브-볼륨 경로의 선택을 피하기 위해, 클리어런스 거리 내에 어떤 물체도 없고 2차 클리어런스 거리 내에 소정 수보다 많은 물체들이 없다는 것과 같이 더욱 정교하게 될 수 있다. 블록(605)에서, 상기 구성요소는 상기 선택된 서브-볼륨의 서브-볼륨 방향으로서 이동 방향을 지정하고 나서, 완료한다.
도 7은 일부 실시예들에서 OSA 시스템의 물체 검출 구성요소의 프로세싱을 도시하는 흐름도이다. 물체 검출 구성요소(700)는 물체들을 검출하고 물체들의 위치들을 결정하기 위해 각각의 관찰 간격에서 호출된다. 블록(701)에서, 상기 구성요소는 센서 어레이로부터의 복귀 신호들을 수집한다. 블록(702)에서, 구성요소는 동일한 물체에 대응하는 다양한 수신기들로부터의 복귀 신호들을 식별한다. 블록(703)에서, 상기 구성요소는 식별된 다음 물체를 선택한다. 판정 블록(704)에서, 모든 식별된 물체들이 이미 선택되었다면, 상기 구성요소는 완료되고, 그렇지 않으면 상기 구성요소는 블록(705)에서 계속된다. 블록(705)에서, 상기 구성요소는 위치 산출 구성요소를 호출하여 선택된 물체의 위치를 산출하고 나서, 블록(703)으로 루프되어 다음 물체들을 선택한다.
도 8은 일부 실시예들에서 OSA 시스템의 위치 산출 구성요소의 프로세싱을 도시하는 흐름도이다. 위치 산출 구성요소(800)는 물체에 대한 복귀 신호들이 수신된 시간에 기초하여 물체의 위치를 산출한다. 블록(801)에서, 상기 구성요소는 센서 어레이의 다음 수신기를 선택한다. 판정 블록(802)에서, 모든 수신기들이 이미 선택됐다면 상기 구성요소는 블록(804)에서 계속하고, 그렇지 않으면 상기 구성요소는 블록(803)에서 계속된다. 블록(803)에서, 상기 구성요소는 선택된 수신기가 복귀 신호를 수신한 시간에 기초하여 물체에 대한 수신기 범위를 산출하고 나서, 블록(801)으로 루프되어 다음 수신기를 선택한다. 블록(804)에서, 상기 구성요소는 수신기 범위들에 기초한 삼각 측량에 의해 물체에 대한 범위 및 물체의 고도 및 방위를 산출한다. 블록(805)에서, 상기 구성요소는 UAV 좌표계에서 물체의 좌표들을 산출한다. 블록(806)에서, 상기 구성요소는 물체의 위치로서 물체의 좌표를 저장하고 나서, 완료한다.
도 9는 일부 실시예들에서 물체 데이터 구조 파퓰레이트 구성요소의 프로세싱을 도시하는 흐름도이다. 물체 데이터 구조 파퓰레이트 구성요소(900)는 물체 위치들을 통과시키고 물체를 포함하는 서브-볼륨에 대응하는 물체 데이터 구조의 요소들을 1로 설정한다. 블록(901)에서, 상기 구성요소는 다음 물체들을 선택한다. 판정 블록(902)에서, 모든 물체들이 이미 선택됐다면, 상기 구성요소는 복귀하고, 그렇지 않으면 상기 구성요소는 블록(903)에서 계속된다. 블록들(903 내지 905)에서, 상기 구성요소는 선택된 물체를 포함하는 서브-볼륨에 대응하는 인덱스
Figure pct00073
를 산출한다. 블록(906)에서, 상기 구성요소는 상기 인덱스로 색인된 물체 데이터 구조의 요소를 1로 설정하고 나서, 블록(901)으로 루프하여 다음 물체를 선택한다.
도 10은 일부 실시예들에서 통과 스코어 데이터 구조 파퓰레이트 구성요소의 프로세싱을 도시하는 흐름도이다. 통과 스코어 데이터 구조 파퓰레이트 구성요소(1000)는 각각의 서브-볼륨에 대한 통과 스코어를 산출하는 루프를 갖는다. 상기 구성요소는 고정 좌표계에서 주어진 타깃의 위치를 UAV 좌표계로 변환한다. 블록(1001)에서, 상기 구성요소는 다음 서브-볼륨을 선택한다. 판정 블록(1002)에서, 모든 서브-볼륨들이 이미 선택됐다면 상기 구성요소는 완료하고, 그렇지 않으면 상기 구성요소는 블록(1003)에서 계속된다. 블록(1003)에서, 상기 구성요소는 선택된 서브-볼륨에 대한 통과 스코어를 산출한다. 블록(1004)에서, 상기 구성요소는 선택된 서브-볼륨에 대응하는 통과 스코어 데이터 구조의 요소에 통과 스코어를 저장하고 나서, 블록(1001)으로 루프하여 다음 서브-볼륨을 선택한다.
도 11은 일부 실시예들에서 이동 방향 식별 구성요소의 프로세싱을 도시하는 흐름도이다. 이동 방향 식별 구성요소(1100)는 클리어런스 거리를 충족하는 가장 높은 통과 스코어를 갖는 서브-볼륨을 식별하고, 이동 방향을 상기 식별된 서브-볼륨의 서브-볼륨 방향이 되도록 설정한다. 블록(1101)에서, 상기 구성요소는 통과 스코어에 기초하여 높은 것에서 낮은 것으로 정렬된 서브-볼륨의 리스트를 생성한다. 블록(1102)에서, 상기 구성요소는 클리어런스 한계점을 초기화한다. 블록들(1103-1106)에서, 상기 구성요소는 서브-볼륨이 클리어런스 거리를 충족시키는지 여부를 결정하는 루프를 한다. 클리어런스 거리를 충족하는 서브-볼륨이 없다면, 상기 구성요소는 클리어런스 한계점을 완화하고 그 프로세싱을 반복한다. 블록(1103)에서, 상기 구성요소는 상기 정렬된 리스트에서 다음 서브-볼륨을 선택한다. 판정 블록(1104)에서, 모든 서브-볼륨들이 이미 선택됐다면 현재의 클리어런스 거리를 충족시키는 서브-볼륨은 없으며, 상기 구성요소는 블록(1107)에서 계속되어 클리어런스 거리를 완화한다. 블록(1105)에서, 상기 구성요소는 선택된 서브-볼륨으로의 서브-볼륨 경로에 대한 클리어런스를 계산(또는 이미 계산된 경우 검색)한다. 판정 블록(1106)에서, 클리어런스가 클리어런스 한계점을 충족하면, 상기 구성요소는 통과 볼륨에 대한 기준으로서 서브-볼륨을 리턴하고, 그렇지 않으면, 상기 구성요소는 블록(1103)으로 루프하여 다음 서브-볼륨을 선택한다. 블록(1107)에서, 상기 구성요소는 예를 들어, 이전의 클리어런스 거리를 2로 나눔으로써 클리어런스 거리를 완화한다. 판정 블록(1108)에서, 클리어런스 거리가 서브-볼륨 크기의 2 배보다 작다면, 상기 구성요소는 실패(failure)의 표시를 리턴하고, 그렇지 않으면 상기 구성요소는 블록(1109)에서 계속된다. 블록(1109)에서, 상기 구성요소는 정렬된 리스트의 제 1 서브-볼륨에 대한 서브-볼륨들의 선택을 재개하고, 블록(1103)에서 임의의 서브-볼륨들이 새로운 클리어런스 거리를 충족시키는지 여부를 결정하는 것을 계속한다.
다음 단락들은 OSA 시스템의 양태들의 다양한 실시예들을 설명한다. OSA 시스템의 구현은 실시예들의 임의의 조합을 이용할 수 있다. 하기에 기술되는 프로세싱은 OSA 시스템을 구현하는 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 실행가능 명령들을 실행하는 프로세서를 갖는 컴퓨팅 장치에 의해 수행될 수 있다.
일부 실시예들에서, 현재 위치로부터 타깃으로 이동하기 위해 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법이 제공된다. 본 방법은 물체들의 위치들을 수신하고, 상기 수신된 위치들에 의해 지시되는 물체를 포함하는 현재 위치에 인접한 통과 볼륨의 서브-볼륨들을 식별한다. 각각의 서브-볼륨에 대해, 본 방법은 서브-볼륨을 통해 현재 위치로부터 서브-볼륨 경로를 따라 물체까지의 거리 및 타깃 방향으로부터 서브-볼륨 방향의 편차에 기초하여 통과 스코어를 산출한다. 서브-볼륨 방향은 현재 위치로부터 서브-볼륨까지의 서브-볼륨 경로의 방향이고, 타깃 방향은 현재 위치로부터 타깃으로의 방향이다. 본 방법은 서브-볼륨의 통과 스코어 및 클리어런스 기준을 충족시키는 서브-볼륨 경로에 기초하여 서브-볼륨을 선택한다. 또한, 본 방법은 선택된 서브-볼륨의 서브-볼륨 경로를 따르게 되는 이동 방향을 지정한다. 일부 실시예들에서, 현재 위치는 타깃으로 이동하는 무인 항공기("UAV")의 위치이고, 통과 볼륨은 UAV의 이동 방향의 전방에 있는 직사각형 직육면체다. 일부 실시예들에서, 서브-볼륨은 정육면체(cube)다. 일부 실시예들에서, 상기 방법은 UAV에 이동 방향으로 진행하도록 지시한다. 일부 실시예들에서, UAV는 UAV의 향하는 방향으로 정렬되는 UAV 좌표계의 원점에 있으며, UAV의 이동 방향은 y-축을 따르고, 직사각형 직육면체는 양의 x-, y- 및 z-축들을 따라 그리고 음의 x- 및 z-축들을 따라 거리를 연장한다. 일부 실시예들에서, 이 방법은 고정 좌표계 내에서 UAV의 현재 위치 및 현재 방향의 표시를 수신한다. 일부 실시예들에서, 물체들에 대한 거리는 유클리드 또는 맨하탄 메트릭에 기초하여 산출된다. 일부 실시예들에서, 서브-볼륨에 대한 통과 스코어는, 가장 근접한 물체에 대한 거리가 증가함에 따라 그리고 서브-볼륨에 대한 서브-볼륨 방향과 타깃 방향 사이의 각도가 감소함에 따라, 증가한다. 일부 실시예들에서, 서브-볼륨을 선택하는 것은 가장 높은 통과 스코어를 갖는 서브-볼륨을 선택하는 것을 포함하고, 서브-볼륨 경로를 따라 물체에 대한 최소 거리가 클리어런스 거리보다 클 때 클리어런스 기준이 충족된다. 일부 실시예들에서, 클리어런스 거리를 충족하는 서브-볼륨이 없을 때, 클리어런스 거리는 감소한다. 일부 실시예들에서, 현재 위치는 타깃으로 이동하는 무인 잠수정("UUV")의 위치이고, 통과 볼륨은 UUV의 이동 방향의 전방에 있다. 일부 실시예들에서, 현재 위치는 타깃으로 이동하는 무인 지상 차량("UGV")의 위치이고, 통과 볼륨은 UGV의 이동 방향의 전방에 있다. 일부 실시예들에서, 현재 위치는 작업을 수행하기 위해 엔드 이펙터를 원하는 위치로 이동시키도록 조작되는 로봇 조종 장치의 엔드 이펙터의 위치다. 일부 실시예들에서, 상기 작업은 제품을 생산하는 동안 부품을 배치하는 것이다. 일부 실시예들에서, 상기 작업은 제품을 생산하는 동안 부품을 픽업하는 것이다. 일부 실시예들에서, 상기 현재 위치는 타깃으로 이동하는 자유-이동 로봇 시스템의 위치이고, 상기 통과 볼륨은 자유-이동 로봇 시스템의 이동 방향의 전방에 있다. 일부 실시예들에서, 상기 타깃은 이동하는 중이다. 일부 실시예들에서는, 상기 물체는 이동하는 중이다.
일부 실시예들에서, 자율 운행체("AV")를 타깃으로 자율적으로 안내하기 위한 제어 시스템이 제공된다. 제어 시스템은 센서 어레이, 물체 검출 시스템, 경로 플래너 시스템, 및 비행 컨트롤러 시스템을 포함한다. 센서 어레이는 송신기로부터 신호들을 송신하고 수신기들에서 상기 AV에 인접한 센서 필드 내의 물체들로부터 반사된 복귀 신호들을 수신하기 위해 AV 상에 장착된다. 물체 검출 시스템은 상기 복귀 신호들이 이동한 거리들에 기초하여 동일한 물체에 대응하는 복귀 신호들을 식별하고, 상기 거리들의 삼각 측량에 기초하여 물체의 위치를 결정한다. 경로 플래너 시스템은, 이동하는 방향에서의 이동 경로로부터 물체들까지의 거리들 및 AV로부터 타깃으로의 타깃 방향으로부터 이동 방향의 편차에 기초하여 AV에 대한 이동 방향을 식별한다. 컨트롤러 시스템은 AV에 이동 방향으로 진행하도록 지시한다. 일부 실시예들에서, 센서 어레이의 신호들은 전자기 신호들이고, 센서 시스템은 2 개의 직교 방향들에서의 편파에 민감하다. 일부 실시예들에서, 센서 어레이는 적어도 3 개의 수신기들을 포함한다. 일부 실시예들에서, 센서 어레이는 다중의 송수신기들을 포함한다. 일부 실시예들에서, AV는 고정 좌표계 내에서 AV의 위치를 결정하기 위한 위치 시스템 및 고정 좌표계 내에서 AV의 향하는 방향을 결정하기 위한 방향 시스템(orientation system)을 포함한다. 일부 실시예들에서, 이동 방향은 AV 좌표계에서의 위치로서 초기에 결정되고, 고정 좌표계의 위치로 변환된다. 일부 실시예들에서, 경로 플래너 시스템은 물체들을 포함하는 AV에 인접한 통과 볼륨의 서브-볼륨들을 식별하고, 서브-볼륨 경로와 물체들 사이의 거리들 및 타깃 방향으로부터 서브-볼륨 방향의 편차에 기초하여 AV로부터 서브-볼륨까지의 서브-볼륨 경로의 서브-볼륨 방향으로 이동 방향을 설정한다. 일부 실시예들에서, 경로 플래너 시스템은, 서브-볼륨으로부터 가장 근접한 물체까지의 거리가 증가함에 따라 그리고 서브-볼륨 방향과 타깃 방향 사이의 각도가 감소함에 따라, 증가하는 서브-볼륨에 대한 통과 스코어를 산출한다. 일부 실시예들에서, 이동 방향은 가장 높은 통과 스코어를 갖는 서브-볼륨의 서브-볼륨 경로의 서브-볼륨 방향으로 설정되고, 서브-볼륨 경로는 클리어런스 기준을 충족시킨다. 일부 실시예들에서, 상기 클리어런스 기준은, 서브-볼륨 경로를 따른 물체에 대한 최소 거리가 클리어런스 거리보다 클 때, 충족된다. 일부 실시예들에서, AV는 무인 항공기("UAV")다. 일부 실시예들에서, AV는 무인 잠수정("UUV")이다. 일부 실시예들에서, AV는 무인 지상 차량("UGV")이다. 일부 실시예들에서, AV는 타깃까지 이동하는 자유-이동 로봇 시스템이고, 통과 볼륨은 자유-이동 로봇 시스템의 이동 방향의 전방에 있다. 일부 실시예들에서, 타깃은 이동하는 중이다. 일부 실시예들에서는, 물체는 이동하는 중이다. 일부 실시예들에서, 경로 플래너 시스템은 이동하는 물체와의 충돌을 피하기 위해 이동 방향을 무시(override)하도록 최우선의(overriding) 이동 방향을 식별한다.
일부 실시예들에서, 타깃으로 이동하는 동안 물체와의 충돌을 피하기 위한 회피 조치들을 취하도록 자율 운행체("AV")를 자율적으로 안내하기 위한 제어 시스템이 제공된다. 제어 시스템은 송신기로부터 신호들을 송신하고 AV에 인접한 센서 필드 내의 물체들로부터 반사된 복귀 신호들을 수신기들에서 수신하기 위해 AV 상에 장착된 센서 어레이를 포함한다. 제어 시스템은 복귀 신호들이 이동한 거리들에 기초하여 동일한 물체에 대응하는 복귀 신호들을 식별하고, 상기 거리들의 삼각 측량에 기초하여 물체의 위치를 결정하는 물체 검출 시스템을 포함한다. 제어 시스템은 경로 플래너 시스템을 포함하며, 경로 플래너 시스템은 물체와의 충돌이 임박하지 않을 때 이동 방향에서 이동 경로로부터 물체들까지의 거리들 및 AV로부터 타깃으로의 타깃 방향으로부터 이동 방향의 편차에 기초하여 AV에 대한 이동 방향을 식별하고, 물체와의 충돌이 임박할 때 회피 조치로서 최우선의 이동 방향을 식별한다. 제어 시스템은 이동 방향 또는 최우선의 이동 방향으로 진행하도록 AV에 지시하는 컨트롤러 시스템을 포함한다. 일부 실시예들에서, 경로 플래너 시스템은 물체와의 충돌이 임박할 때, 물체 센서 어레이가 물체로부터 반사된 복귀 신호들을 수신할 수 있도록 AV의 방향을 맞추도록 컨트롤러 시스템에 지시한다. 일부 실시예들에서, AV는 무인 항공기("UAV")다. 일부 실시예들에서, AV는 무인 잠수정("UUV")이다. 일부 실시예들에서, AV는 무인 지상 차량("UGV")이다. 일부 실시예들에서, AV는 타깃으로 이동하는 자유-이동 로봇 시스템이고, 통과 볼륨은 자유-이동 로봇 시스템의 이동 방향의 전방에 있다.
일부 실시예들에서, 고정식 기반 로봇 시스템을 자율적으로 안내하기 위한 제어 시스템이 제공된다. 제어 시스템은 송신기로부터의 신호들을 송신하고, 고정식 기반 로봇 시스템의 작업 공간의 센서 필드 내에서 물체들로부터 반사된 복귀 신호들을 수신기들에서 수신하는 센서 어레이를 포함한다. 제어 시스템은, 복귀 신호들이 이동한 거리들에 기초하여 동일한 물체에 대응하는 복귀 신호들을 식별하고 상기 거리들의 삼각 측량에 기초하여 물체의 위치를 결정하는 물체 검출 시스템을 포함한다. 제어 시스템은 경로 플래너 시스템을 포함하며, 경로 플래너 시스템은 이동 방향에서 이동 경로로부터 물체들까지의 거리들 및 엔드 이펙터로부터 타깃으로의 타깃 방향으로부터 이동 방향의 편차에 기초하여 고정식 기반 로봇 시스템의 엔드 이펙터에 대한 이동 방향을 식별한다. 일부 실시예들에서, 타깃은 픽업될 부품의 위치다. 일부 실시예들에서, 타깃은 배치될 부품의 위치다. 일부 실시예들에서, 제어 시스템은 엔드 이펙터가 이동 방향으로 이동하도록 고정식 기반 로봇 시스템의 로봇 조종 장치를 제어하는 구성요소를 포함한다.
비록 본 발명의 내용이 구조적 특징들 및/또는 동작들에 특정한 언어로 설명되었지만, 첨부된 청구 범위에서 정의된 내용은 반드시 상술한 특정의 특징들 또는 동작들에 반드시 한정되는 것은 아니라는 것을 이해해야한다. 오히려, 상술한 특정의 특징들 및 동작들은 청구 범위를 구현하는 예시적인 형태들로서 개시된다. 따라서, 본 발명은 첨부된 청구 범위에 의한 것을 제외하고는 한정되지 않는다.

Claims (45)

  1. 현재 위치로부터 타깃으로 이동하기 위해 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법에 있어서:
    물체들의 위치들을 수신하는 단계;
    상기 수신된 위치들에 의해 지시되는 물체를 포함하는 현재 위치에 인접한 통과 볼륨(transit volume)의 서브-볼륨들을 식별하는 단계;
    각각의 서브-볼륨에 대해, 상기 서브-볼륨을 통해 현재 위치로부터 서브-볼륨 경로를 따라 물체까지의 거리 및 타깃 방향으로부터 서브-볼륨 방향의 편차에 기초하여 통과 스코어(transit score)를 산출하는 단계로서, 상기 서브-볼륨 방향은 상기 현재 위치로부터 상기 서브-볼륨까지의 서브-볼륨 경로의 방향이고, 상기 타깃 방향은 상기 현재 위치로부터 상기 타깃으로의 방향인, 상기 통과 스코어를 산출하는 단계;
    상기 서브-볼륨의 통과 스코어에 기초하여 그리고 클리어런스 기준(clearance criterion)을 충족시키는 서브-볼륨 경로에 기초하여 서브-볼륨을 선택하는 단계; 및
    상기 선택된 서브-볼륨의 서브-볼륨 경로를 따르게 되는 이동 방향을 지정하는 단계를 포함하는, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  2. 제1항에 있어서, 상기 현재 위치는 상기 타깃으로 이동하는 무인 항공기("UAV")의 위치이고, 상기 통과 볼륨은 상기 UAV의 이동 방향의 전방에 있는 직사각형 직육면체(rectangular cuboid)인, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  3. 제2항에 있어서, 상기 서브-볼륨들은 정육면체들(cubes)인, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  4. 제2항에 있어서, 상기 UAV에 상기 이동 방향으로 진행하도록 지시하는 단계를 더 포함하는, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  5. 제2항에 있어서, 상기 UAV는 상기 UAV의 향하는 방향으로 정렬되는 UAV 좌표계의 원점에 있으며, 상기 UAV의 이동 방향은 y-축을 따르고, 상기 직사각형 직육면체는 양의 x-, y- 및 z-축들을 따라 그리고 음의 x- 및 z-축들을 따라 거리를 연장하는, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  6. 제2항에 있어서, 고정 좌표계 내에서 상기 UAV의 현재 위치 및 현재 방향의 표시를 수신하는 단계를 더 포함하는, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  7. 제1항에 있어서, 물체들에 대한 거리는 유클리드 또는 맨하탄 메트릭에 기초하여 산출되는, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  8. 제1항에 있어서, 서브-볼륨에 대한 통과 스코어는, 가장 근접한 물체에 대한 거리가 증가함에 따라 그리고 상기 서브-볼륨에 대한 서브-볼륨 방향과 상기 타깃 방향 사이의 각도가 감소함에 따라, 증가하는, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  9. 제1항에 있어서, 상기 서브-볼륨을 선택하는 단계는 상기 가장 높은 통과 스코어를 갖는 서브-볼륨을 선택하는 단계를 포함하고, 상기 클리어런스 기준은 상기 서브-볼륨 경로를 따라 물체에 대한 최소 거리가 클리어런스 거리보다 클 때 충족되는, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  10. 제9항에 있어서, 상기 클리어런스 거리를 충족하는 서브-볼륨이 없을 때, 상기 클리어런스 거리는 감소하는, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  11. 제1항에 있어서, 상기 현재 위치는 상기 타깃으로 이동하는 무인 잠수정("UUV")의 위치이고, 상기 통과 볼륨은 상기 UUV의 이동 방향의 전방에 있는, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  12. 제1항에 있어서, 상기 현재 위치는 상기 타깃으로 이동하는 무인 지상 차량("UGV")의 위치이고, 상기 통과 볼륨은 상기 UGV의 이동 방향의 전방에 있는, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  13. 제1항에 있어서, 상기 현재 위치는 작업을 수행하기 위해 엔드 이펙터(end effector)를 원하는 위치로 이동시키도록 조작되는 로봇 조종 장치의 엔드 이펙터의 위치인, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  14. 제16항에 있어서, 상기 작업은 제품을 생산하는 동안 부품을 배치하는 것인, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  15. 제16항에 있어서, 상기 작업은 제품을 생산하는 동안 부품을 픽업하는 것인, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  16. 제1항에 있어서, 상기 현재 위치는 상기 타깃으로 이동하는 자유-이동 로봇 시스템의 위치이고, 상기 통과 볼륨은 상기 자유-이동 로봇 시스템의 이동 방향의 전방에 있는, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  17. 제1항에 있어서, 상기 타깃은 이동하는 중인, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  18. 제1항에 있어서, 상기 물체는 이동하는 중인, 물체들을 회피하는 이동 방향을 식별하기 위한 컴퓨팅 시스템에 의해 수행되는 방법.
  19. 자율 운행체(autonomous vehicle)("AV")를 타깃으로 자율적으로 안내하기 위한 제어 시스템에 있어서:
    송신기로부터 신호들을 송신하고 수신기들에서 상기 AV에 인접한 센서 필드 내의 물체들로부터 반사된 복귀 신호들을 수신하기 위해 AV 상에 장착되는 센서 어레이;
    상기 복귀 신호들이 이동한 거리들에 기초하여 동일한 물체에 대응하는 복귀 신호들을 식별하고, 상기 거리들의 삼각 측량에 기초하여 상기 물체의 위치를 결정하는 물체 검출 시스템;
    이동하는 방향에서의 이동 경로로부터 상기 물체들까지의 거리들 및 상기 AV로부터 상기 타깃으로의 타깃 방향으로부터 이동 방향의 편차에 기초하여 상기 AV에 대한 상기 이동 방향을 식별하는 경로 플래너 시스템; 및
    상기 AV에 상기 이동 방향으로 진행하도록 지시하는 컨트롤러 시스템을 포함하는, 자율적 안내를 위한 제어 시스템.
  20. 제19항에 있어서, 상기 센서 어레이의 신호들은 전자기 신호들이고, 상기 센서 시스템은 2 개의 직교 방향들에서의 편파(polarization)에 민감한, 자율적 안내를 위한 제어 시스템.
  21. 제19항에 있어서, 상기 센서 어레이는 적어도 3 개의 수신기들을 포함하는, 자율적 안내를 위한 제어 시스템.
  22. 제19항에 있어서, 상기 센서 어레이는 다중의 송수신기들을 포함하는, 자율적 안내를 위한 제어 시스템.
  23. 제19항에 있어서, 상기 AV는 고정 좌표계 내에서 상기 AV의 위치를 결정하기 위한 위치 시스템 및 상기 고정 좌표계 내에서 AV의 향하는 방향을 결정하기 위한 방향 시스템(orientation system)을 포함하는, 자율적 안내를 위한 제어 시스템.
  24. 제23항에 있어서, 상기 이동 방향은 AV 좌표계에서의 위치로서 초기에 결정되고, 상기 고정 좌표계의 위치로 변환되는, 자율적 안내를 위한 제어 시스템.
  25. 제19항에 있어서, 상기 경로 플래너 시스템은 물체들을 포함하는 상기 AV에 인접하는 통과 볼륨의 서브-볼륨들을 식별하고, 상기 서브-볼륨 경로와 물체들 사이의 거리들 및 상기 타깃 방향으로부터 상기 서브-볼륨 방향의 편차에 기초하여 상기 AV로부터 서브-볼륨까지의 서브-볼륨 경로의 서브-볼륨 방향으로 상기 이동 방향을 설정하는, 자율적 안내를 위한 제어 시스템.
  26. 제25항에 있어서, 상기 경로 플래너 시스템은, 상기 서브-볼륨으로부터 가장 근접한 물체까지의 거리가 증가함에 따라 그리고 상기 서브-볼륨 방향과 상기 타깃 방향 사이의 각도가 감소함에 따라, 증가하는 서브-볼륨에 대한 통과 스코어를 산출하는, 자율적 안내를 위한 제어 시스템.
  27. 제26항에 있어서, 상기 이동 방향은 가장 높은 통과 스코어를 갖는 서브-볼륨의 서브-볼륨 경로의 서브-볼륨 방향으로 설정되고, 상기 서브-볼륨 경로는 클리어런스 기준을 충족시키는, 자율적 안내를 위한 제어 시스템.
  28. 제27항에 있어서, 상기 클리어런스 기준은 상기 서브-볼륨 경로를 따른 물체에 대한 최소 거리가 클리어런스 거리보다 클 때 충족되는, 자율적 안내를 위한 제어 시스템.
  29. 제19항에 있어서, 상기 AV는 무인 항공기(unmanned aerial vehicle)("UAV")인, 자율적 안내를 위한 제어 시스템.
  30. 제19항에 있어서, 상기 AV는 무인 잠수정("UUV")인, 자율적 안내를 위한 제어 시스템.
  31. 제19항에 있어서, 상기 AV는 무인 지상 차량("UGV")인, 자율적 안내를 위한 제어 시스템.
  32. 제19항에 있어서, 상기 AV는 상기 타깃까지 이동하는 자유-이동 로봇 시스템이고, 상기 통과 볼륨은 상기 자유-이동 로봇 시스템의 이동 방향의 전방에 있는, 자율적 안내를 위한 제어 시스템.
  33. 제19항에 있어서, 상기 타깃은 이동하는 중인, 자율적 안내를 위한 제어 시스템.
  34. 제19항에 있어서, 상기 물체는 이동하는 중인, 자율적 안내를 위한 제어 시스템.
  35. 제34항에 있어서, 상기 경로 플래너 시스템은 이동하는 물체와의 충돌을 피하기 위해 상기 이동 방향을 무시(override)하도록 최우선의(overriding) 이동 방향을 식별하는, 자율적 안내를 위한 제어 시스템.
  36. 타깃으로 이동하는 동안 물체와의 충돌을 피하기 위한 회피 조치들을 취하도록 자율 운행체("AV")를 자율적으로 안내하기 위한 제어 시스템에 있어서:
    송신기로부터 신호들을 송신하고 수신기들에서 상기 AV에 인접한 센서 필드 내의 물체들로부터 반사된 복귀 신호들을 수신하기 위해 상기 AV 상에 장착된 센서 어레이;
    상기 복귀 신호들이 이동한 거리들에 기초하여 동일한 물체에 대응하는 복귀 신호들을 식별하고, 상기 거리들의 삼각 측량에 기초하여 상기 물체의 위치를 결정하는 물체 검출 시스템;
    경로 플래너 시스템으로서: 상기 물체와의 충돌이 임박하지 않을 때 이동 방향에서 이동 경로로부터 상기 물체들까지의 거리들 및 상기 AV로부터 상기 타깃으로의 타깃 방향으로부터 상기 이동 방향의 편차에 기초하여 상기 AV에 대한 이동 방향을 식별하고; 물체와의 충돌이 임박할 때 회피 조치로서 최우선의 이동 방향을 식별하는, 상기 경로 플래너 시스템; 및
    상기 이동 방향 또는 상기 최우선의 이동 방향으로 진행하도록 상기 AV에 지시하는 컨트롤러 시스템을 포함하는, 자율적 안내를 위한 제어 시스템.
  37. 제36항에 있어서, 상기 경로 플래너 시스템은 물체와의 충돌이 임박할 때 물체 센서 어레이가 상기 물체로부터 반사된 복귀 신호들을 수신할 수 있도록 상기 AV의 방향을 맞추도록 상기 컨트롤러 시스템에 지시하는, 자율적 안내를 위한 제어 시스템.
  38. 제36항에 있어서, 상기 AV는 무인 항공기("UAV")인, 자율적 안내를 위한 제어 시스템.
  39. 제36항에 있어서, 상기 AV는 무인 잠수정("UUV")인, 자율적 안내를 위한 제어 시스템.
  40. 제36항에 있어서, 상기 AV는 무인 지상 차량("UGV")인, 자율적 안내를 위한 제어 시스템.
  41. 제36항에 있어서, 상기 AV는 상기 타깃으로 이동하는 자유-이동 로봇 시스템이고, 상기 통과 볼륨은 상기 자유-이동 로봇 시스템의 이동 방향의 전방에 있는, 자율적 안내를 위한 제어 시스템.
  42. 고정식 기반 로봇 시스템을 자율적으로 안내하기 위한 제어 시스템에 있어서:
    송신기로부터 신호들을 송신하고, 수신기들에서 상기 고정식 기반 로봇 시스템의 작업 공간의 센서 필드 내에 물체들로부터 반사된 복귀 신호들을 수신하는 센서 어레이;
    상기 복귀 신호들이 이동한 거리들에 기초하여 동일한 물체에 대응하는 복귀 신호들을 식별하고 상기 거리들의 삼각 측량에 기초하여 상기 물체의 위치를 결정하는 물체 검출 시스템; 및
    상기 이동 방향에서 이동 경로로부터 상기 물체들까지의 거리들 및 엔드 이펙터로부터 상기 타깃으로의 타깃 방향으로부터 이동 방향의 편차에 기초하여 상기 고정식 기반 로봇 시스템의 엔드 이펙터에 대한 이동 방향을 식별하는 경로 플래너 시스템을 포함하는, 자율적 안내를 위한 제어 시스템.
  43. 제42항에 있어서, 상기 타깃은 픽업될 부품의 위치인, 자율적 안내를 위한 제어 시스템.
  44. 제42항에 있어서, 상기 타깃은 배치될 부품의 위치인, 자율적 안내를 위한 제어 시스템.
  45. 제42항에 있어서, 상기 엔드 이펙터가 상기 이동 방향으로 이동하도록 상기 고정식 기반 로봇 시스템의 로봇 조종 장치를 제어하는 구성요소를 더 포함하는, 자율적 안내를 위한 제어 시스템.
KR1020197003709A 2016-07-06 2016-07-06 자율 차량용 물체 감지 및 회피 시스템 KR102345083B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2016/041208 WO2018009189A1 (en) 2016-07-06 2016-07-06 Object sense and avoid system for autonomous vehicles

Publications (2)

Publication Number Publication Date
KR20190041464A true KR20190041464A (ko) 2019-04-22
KR102345083B1 KR102345083B1 (ko) 2021-12-31

Family

ID=57890890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197003709A KR102345083B1 (ko) 2016-07-06 2016-07-06 자율 차량용 물체 감지 및 회피 시스템

Country Status (6)

Country Link
US (1) US11796673B2 (ko)
EP (1) EP3482268B1 (ko)
JP (1) JP7128180B2 (ko)
KR (1) KR102345083B1 (ko)
CN (1) CN109791406B (ko)
WO (1) WO2018009189A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102345083B1 (ko) 2016-07-06 2021-12-31 로렌스 리버모어 내쇼날 시큐리티, 엘엘시 자율 차량용 물체 감지 및 회피 시스템
JPWO2018135522A1 (ja) 2017-01-19 2019-11-07 日本電気株式会社 移動体制御システム、移動体制御装置、移動体制御方法および記録媒体
US10928835B2 (en) 2017-03-27 2021-02-23 Clearpath Robotics Inc. Systems and methods for flexible manufacturing using self-driving vehicles
US10885495B2 (en) 2017-03-27 2021-01-05 Clearpath Robotics Inc. Systems and methods for autonomous provision replenishment
US10990919B2 (en) * 2017-03-27 2021-04-27 Clearpath Robotics Inc. Systems and methods for autonomous lineside parts delivery to an assembly line process
WO2018190834A1 (en) 2017-04-12 2018-10-18 Paglieroni David W Attract-repel path planner system for collision avoidance
EP3662337B1 (en) * 2017-08-04 2022-04-27 Ideaforge Technology Pvt. Ltd. Split control system configuration for uav autopilot architecture
JP7109174B2 (ja) * 2017-10-03 2022-07-29 株式会社トプコン 経路選定装置、無人航空機、データ処理装置、経路選定処理方法および経路選定処理用プログラム
US10866597B1 (en) * 2018-05-07 2020-12-15 Securus Technologies, Llc Drone detection and interception
US10928827B2 (en) * 2019-01-07 2021-02-23 Toyota Research Institute, Inc. Systems and methods for generating a path for a vehicle
US10495746B1 (en) 2019-01-17 2019-12-03 T-Mobile Usa, Inc. Pattern recognition based on millimeter wave transmission in wireless communication networks
EP3806044A4 (en) * 2019-04-23 2021-08-18 SZ DJI Technology Co., Ltd. DATA PROCESSING METHOD, SETUP AND DEVICE AND MOBILE PLATFORM
RU195749U1 (ru) * 2019-07-15 2020-02-05 Общество с ограниченной ответственностью "МИРП-Интеллектуальные Системы" Интеллектуальная система технического зрения беспилотного летательного аппарата для решения задач навигации, построения трехмерной карты окружающего пространства и препятствий и автономного патрулирования
US11927972B2 (en) 2020-11-24 2024-03-12 Lawrence Livermore National Security, Llc Collision avoidance based on traffic management data
US20220281598A1 (en) * 2021-03-04 2022-09-08 Everseen Limited System and method for avoiding collision with non-stationary obstacles in an aerial movement volume
CN115601972B (zh) * 2022-11-28 2023-03-21 青岛慧拓智能机器有限公司 无人矿山行驶区域的障碍物处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006515233A (ja) * 2003-01-31 2006-05-25 サーモ シーアールエス リミテッド ロボットシステムのための構文推論式の運動計画方法
JP2014119901A (ja) * 2012-12-14 2014-06-30 Secom Co Ltd 自律移動ロボット
JP2014219723A (ja) * 2013-05-01 2014-11-20 村田機械株式会社 自律移動体
KR20150136209A (ko) * 2014-05-26 2015-12-07 서울대학교산학협력단 다중 영상 기반 장애물 회피 시스템 및 방법
US20160140851A1 (en) * 2014-11-18 2016-05-19 Ziv LEVY Systems and methods for drone navigation

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5006988A (en) 1989-04-28 1991-04-09 University Of Michigan Obstacle-avoiding navigation system
US6134502A (en) 1998-11-30 2000-10-17 Caterpillar Inc. Energy-based approach for obstacle avoidance
US6873290B2 (en) 1999-01-08 2005-03-29 Trueposition, Inc. Multiple pass location processor
US6712312B1 (en) 2003-01-31 2004-03-30 The United States Of America As Represented By The Secretary Of The Navy Reconnaissance using unmanned surface vehicles and unmanned micro-aerial vehicles
US7765038B2 (en) 2005-02-16 2010-07-27 Lockheed Martin Corporation Mission planning system for vehicles with varying levels of autonomy
JP4241673B2 (ja) 2005-06-17 2009-03-18 本田技研工業株式会社 移動体の経路生成装置
US7451023B2 (en) 2005-07-25 2008-11-11 Lockheed Martin Corporation Collaborative system for a team of unmanned vehicles
WO2008013568A2 (en) * 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot
US7848262B2 (en) 2006-06-26 2010-12-07 The Boeing Company Neural network-based mobility management for healing mobile ad hoc radio networks
US8234067B2 (en) 2007-07-27 2012-07-31 University Of Notre Dame Du Lac Methods and apparatus for swarm navigation of multiple agents
US9026272B2 (en) * 2007-12-14 2015-05-05 The Boeing Company Methods for autonomous tracking and surveillance
JP2009288930A (ja) 2008-05-28 2009-12-10 Murata Mach Ltd 自律移動体及びその移動制御方法
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8761603B1 (en) 2009-02-25 2014-06-24 Oewaves, Inc. Dynamically reconfigurable sensor arrays
US9137847B1 (en) 2009-06-29 2015-09-15 The Boeing Company Application of potential field methods in directing agents
WO2011051437A1 (en) * 2009-10-29 2011-05-05 Erik Agrell Data transmission system and method
JP5560979B2 (ja) 2010-07-13 2014-07-30 村田機械株式会社 自律移動体
JP5560978B2 (ja) 2010-07-13 2014-07-30 村田機械株式会社 自律移動体
US8618976B2 (en) 2010-08-26 2013-12-31 Lawrence Livermore National Security, Llc Radar signal pre-processing to suppress surface bounce and multipath
US8766845B2 (en) 2010-12-07 2014-07-01 Lawrence Livermore National Security, Llc Object detection with a multistatic array using singular value decomposition
US9043021B1 (en) 2011-01-03 2015-05-26 Brendan Edward Clark Swarm management
US20120271461A1 (en) 2011-04-20 2012-10-25 Spata Gregory P Capturing environmental information
TW201328344A (zh) 2011-12-27 2013-07-01 Hon Hai Prec Ind Co Ltd 控制無人飛行載具進行影像採集的系統及方法
US9104201B1 (en) 2012-02-13 2015-08-11 C&P Technologies, Inc. Method and apparatus for dynamic swarming of airborne drones for a reconfigurable array
CA2872698C (en) 2012-05-04 2018-07-24 Aeryon Labs Inc. System and method for controlling unmanned aerial vehicles
US9102406B2 (en) 2013-02-15 2015-08-11 Disney Enterprises, Inc. Controlling unmanned aerial vehicles as a flock to synchronize flight in aerial displays
US9075415B2 (en) 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
US9780859B2 (en) 2014-02-28 2017-10-03 Spatial Digital Systems, Inc. Multi-user MIMO via active scattering platforms
US20170097645A1 (en) * 2013-12-05 2017-04-06 Jeffrey Clyne Garland Subject tracking system for autonomous vehicles
KR101581286B1 (ko) * 2014-01-17 2015-12-31 전남대학교산학협력단 무인운전차량의 자율 주행을 위한 경로 추종 시스템 및 방법
US10067510B2 (en) 2014-02-14 2018-09-04 Accenture Global Services Limited Unmanned vehicle (UV) movement and data control system
US9407881B2 (en) 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated cloud-based analytics for surveillance systems with unmanned aerial devices
US9875661B2 (en) * 2014-05-10 2018-01-23 Aurora Flight Sciences Corporation Dynamic collision-avoidance system and method
US9334052B2 (en) * 2014-05-20 2016-05-10 Verizon Patent And Licensing Inc. Unmanned aerial vehicle flight path determination, optimization, and management
US9555545B2 (en) * 2014-05-21 2017-01-31 Bot & Dolly, Llc Systems and methods for time-based parallel robotic operation
JP6260462B2 (ja) * 2014-06-10 2018-01-17 株式会社デンソー 運転支援装置
CN109388150B (zh) * 2014-09-05 2022-04-29 深圳市大疆创新科技有限公司 多传感器环境地图构建
US10107891B1 (en) 2014-10-15 2018-10-23 The United States Of America, As Represented By The Secretary Of The Navy Wireless signal localization and collection from an airborne symmetric line array network
US9429945B2 (en) 2014-10-22 2016-08-30 Honeywell International Inc. Surveying areas using a radar system and an unmanned aerial vehicle
CN104407616B (zh) * 2014-12-03 2017-04-26 沈阳工业大学 基于免疫网络算法的移动机器人动态路径规划方法
US9524647B2 (en) * 2015-01-19 2016-12-20 The Aerospace Corporation Autonomous Nap-Of-the-Earth (ANOE) flight path planning for manned and unmanned rotorcraft
US9898932B2 (en) 2015-05-04 2018-02-20 International Business Machines Corporation Unmanned vehicle movement path assignment and management
AU2016297892B2 (en) 2015-07-27 2020-04-02 Genghiscomm Holdings, LLC Airborne relays in cooperative-MIMO systems
US9599994B1 (en) 2015-08-03 2017-03-21 The United States Of America As Represented By The Secretary Of The Army Collisionless flying of unmanned aerial vehicles that maximizes coverage of predetermined region
US9989965B2 (en) 2015-08-20 2018-06-05 Motionloft, Inc. Object detection and analysis via unmanned aerial vehicle
CN105318888B (zh) 2015-12-07 2018-08-14 北京航空航天大学 基于无人机感知的无人驾驶车辆路径规划方法
US10137984B1 (en) * 2016-02-23 2018-11-27 State Farm Mutual Automobile Insurance Company Systems and methods for operating drones in response to an incident
US10043404B2 (en) * 2016-04-18 2018-08-07 Rosemount Aerospace Inc. Method and system for aircraft taxi strike alerting
US20200354083A1 (en) 2016-06-10 2020-11-12 ETAK Systems, LLC Drone Load Optimization Using the Center of Gravity of Multiple Objects
KR102345083B1 (ko) 2016-07-06 2021-12-31 로렌스 리버모어 내쇼날 시큐리티, 엘엘시 자율 차량용 물체 감지 및 회피 시스템
US10353052B2 (en) 2016-09-15 2019-07-16 Lawrence Livermore National Security, Llc Object discrimination based on a swarm of agents
US20180143312A1 (en) 2016-11-21 2018-05-24 Wal-Mart Stores, Inc. System and method for ultra wideband signal usage with autonomous vehicles in buildings
US20200117220A1 (en) 2017-04-12 2020-04-16 Lawrence Livermore National Security, Llc Swarm path planner system for vehicles
WO2018190834A1 (en) 2017-04-12 2018-10-18 Paglieroni David W Attract-repel path planner system for collision avoidance
EP4014215A1 (en) 2019-09-02 2022-06-22 Skygrid, LLC Flight path deconfliction among unmanned aerial vehicles
US11473913B2 (en) 2019-09-20 2022-10-18 Prince Sultan University System and method for service oriented cloud based management of internet of drones
KR102115294B1 (ko) 2020-02-28 2020-06-02 주식회사 파블로항공 무인항공기 충돌 회피 방법
US20210365036A1 (en) 2020-05-22 2021-11-25 Cnh Industrial America Llc Localized obstacle avoidance for optimal v2v path planning
JP7490193B2 (ja) 2020-05-26 2024-05-27 学校法人早稲田大学 ロボット、移動経路生成装置及びそのプログラム、並びに、移動予測装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006515233A (ja) * 2003-01-31 2006-05-25 サーモ シーアールエス リミテッド ロボットシステムのための構文推論式の運動計画方法
JP2014119901A (ja) * 2012-12-14 2014-06-30 Secom Co Ltd 自律移動ロボット
JP2014219723A (ja) * 2013-05-01 2014-11-20 村田機械株式会社 自律移動体
KR20150136209A (ko) * 2014-05-26 2015-12-07 서울대학교산학협력단 다중 영상 기반 장애물 회피 시스템 및 방법
US20160140851A1 (en) * 2014-11-18 2016-05-19 Ziv LEVY Systems and methods for drone navigation

Also Published As

Publication number Publication date
JP7128180B2 (ja) 2022-08-30
US11796673B2 (en) 2023-10-24
EP3482268A1 (en) 2019-05-15
EP3482268B1 (en) 2022-07-06
CN109791406A (zh) 2019-05-21
WO2018009189A1 (en) 2018-01-11
KR102345083B1 (ko) 2021-12-31
US20190250641A1 (en) 2019-08-15
CN109791406B (zh) 2022-06-07
JP2019525366A (ja) 2019-09-05

Similar Documents

Publication Publication Date Title
KR102345083B1 (ko) 자율 차량용 물체 감지 및 회피 시스템
CN109478068B (zh) 动态地控制运载工具的方法、装置和存储介质
EP3423913B1 (en) Sensor trajectory planning for a vehicle-mounted sensor
US20200117220A1 (en) Swarm path planner system for vehicles
US20180032042A1 (en) System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data
US11573575B2 (en) Attract-repel path planner system for collision avoidance
Dobrev et al. Steady delivery: Wireless local positioning systems for tracking and autonomous navigation of transport vehicles and mobile robots
CN110192122B (zh) 用于无人可移动平台上的雷达控制的系统和方法
EP3837165A1 (en) Anchored aerial countermeasures for rapid deployment and neutralizing of target aerial vehicles
EP3220227A1 (en) Inspection system and method for performing inspections in a storage facility
Kandath et al. Autonomous navigation and sensorless obstacle avoidance for UGV with environment information from UAV
CN109906416A (zh) 运载工具碰撞避免
US20200103917A1 (en) Determining the Orientation of Flat Reflectors during Robot Mapping
CN110741272B (zh) 无线电信标系统
US20230286158A1 (en) Autonomous sense and guide machine learning system
Celik et al. Mono-vision corner SLAM for indoor navigation
CN113359769A (zh) 室内自主移动机器人复合导航方法及装置
Pritzl et al. Cooperative navigation and guidance of a micro-scale aerial vehicle by an accompanying UAV using 3D LiDAR relative localization
CN110997488A (zh) 动态控制用于处理传感器输出数据的参数的系统和方法
Adhyapak et al. Exploration of anechoic chamber characterization with autonomous unmanned aerial systems
JP6026307B2 (ja) 移動体の向きを示す情報を取得するシステム及び方法
US20240047997A1 (en) Power supply mat, noncontact power supply system, and moving body
Sherwin et al. Wireless indoor localisation for autonomous service robot with a single emitter
WO2022077123A1 (en) System and method for mobile power, processing and motion tracking for unmanned aerial vehicles
Raei et al. Autonomous landing on moving targets using LiDAR, Camera and IMU sensor Fusion

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant