TWI817962B - 基於環境的可預測性的可調整的物件避開接近度閾值的方法、機器人式運載工具及處理設備 - Google Patents

基於環境的可預測性的可調整的物件避開接近度閾值的方法、機器人式運載工具及處理設備 Download PDF

Info

Publication number
TWI817962B
TWI817962B TW107144509A TW107144509A TWI817962B TW I817962 B TWI817962 B TW I817962B TW 107144509 A TW107144509 A TW 107144509A TW 107144509 A TW107144509 A TW 107144509A TW I817962 B TWI817962 B TW I817962B
Authority
TW
Taiwan
Prior art keywords
robotic vehicle
obstacle
classification
proximity threshold
navigation
Prior art date
Application number
TW107144509A
Other languages
English (en)
Other versions
TW201931041A (zh
Inventor
麥克 塔凡羅
丹尼爾 梅林傑三世
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201931041A publication Critical patent/TW201931041A/zh
Application granted granted Critical
Publication of TWI817962B publication Critical patent/TWI817962B/zh

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/0202Control of position or course in two dimensions specially adapted to aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38Outdoor scenes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0013Transmission of traffic-related information to or from an aircraft with a ground station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/006Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0086Surveillance aids for monitoring terrain
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04Anti-collision systems
    • G08G5/045Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

各個實施例包括用於自動地調整機器人式運載工具被碰撞避免系統允許接近物件的最小距離(「接近度閾值」)以補償可能危害機器人式運載工具的控制或導航的環境狀況或其他狀況的不可預測性及/或適應物件的移動不可預測性的方法、實施此種方法的設備和機器人式運載工具處理設備。一些實施例實現對接近度閾值的動態調整以補償環境和其他狀況的變化。一些實施例包括路徑規劃,其將環境狀況或其他狀況的不可預測性加上環境中的物件的移動不可預測性考慮在內。

Description

基於環境的可預測性的可調整的物件避開接近度閾值的方 法、機器人式運載工具及處理設備
本發明係關於基於環境的可預測性的可調整的物件避開接近度閾值。
諸如空中機器人式運載工具或「無人機」之類的機器人式運載工具通常用於各種應用,例如監視、攝影及/或貨物遞送。許多機器人式運載工具使用避障系統,其與運載工具控制系統相結合地工作以避免撞擊人、財產和物件。例如,一旦機器人式運載工具偵測到附近物件,在控制器內執行的避障系統就可以防止機器人式運載工具比某個最小距離(其在本文中被稱為「接近度閾值」)更近地接近物件。接近度閾值通常是固定距離。在包括螺旋槳葉片的空中機器人式運載工具的情況下,接近度閾值可以是幾英尺,以避免由於與旋轉的螺旋槳葉片接觸造成的損壞及/或傷害。
各個實施例包括用於操作機器人式運載工具的設備、系統和方法,其將可能影響機器人式運載工具避 免與物件發生碰撞的能力的狀況考慮在內。各個實施例可以包括:該機器人式運載工具的處理器監測影響該機器人式運載工具的控制或導航的可預測性的環境狀況或其他狀況;及回應於決定該機器人式運載工具的控制或導航被該環境狀況或其他狀況危害或可能被該環境狀況或其他狀況危害,來將在碰撞避免系統中使用的接近度閾值調整為與該環境狀況或其他狀況對該機器人式運載工具的該控制或導航的影響相一致。一些實施例進一步可以包括:針對變化來監測影響該機器人式運載工具的控制或導航的該環境狀況或其他狀況;及回應於決定該機器人式運載工具的控制或導航不再被該環境狀況或其他狀況危害,來將該接近度閾值恢復到預設值。
在一些實施例中,監測影響該機器人式運載工具的控制或導航的可預測性的環境狀況或其他狀況可以包括:操作該機器人式運載工具以保持在設置的位置或遵循定義的路徑;監測該機器人式運載工具的位置以偵測從該設置的位置或遵循定義的路徑的偏離;及基於觀察到的從該設置的位置或遵循定義的路徑的偏離來決定控制或導航不可預測性的程度。
一些實施例進一步可以包括:從一或多個感測器獲得感測器資料,該一或多個感測器被配置為偵測該機器人式運載工具附近的一或多個物件;基於該感測器資料來決定該機器人式運載工具附近的一或多個物件是否對該機器人式運載工具造成障礙或潛在障礙;及回應於決定 該機器人式運載工具附近的一或多個物件對該機器人式運載工具造成障礙或潛在障礙:決定對該機器人式運載工具造成障礙或潛在障礙的物件的分類;基於對該機器人式運載工具造成障礙或潛在障礙的該物件的該分類來進一步調整該接近度閾值;及使用經進一步調整的接近度閾值來控制該機器人式運載工具以用於碰撞避免。在一些實施例中,基於對該機器人式運載工具造成障礙或潛在障礙的該物件的該分類來進一步調整該接近度閾值可以包括:將針對影響該機器人式運載工具的控制或導航的環境狀況或其他狀況而調整的該接近度閾值增加與該物件的該分類和該物件的不可預測性相對應的量。在一些實施例中,決定對該機器人式運載工具造成障礙或潛在障礙的該物件的分類可以包括:決定該物件是有生命的物件還是無生命的物件;及基於該物件的該分類來進一步調整該接近度閾值可以包括以下各項中的一項:回應於該物件的該分類是有生命的來增加經調整的接近度閾值,或者回應於該物件的該分類是無生命的來減小該接近度閾值。在一些實施例中,基於該物件的該分類來調整該碰撞避免系統中的該接近度閾值設置可以包括:決定與該物件的所決定的分類相對應的、該物件的移動不可預測性的程度。在此種實施例中,決定與該物件的所決定的分類相對應的、該物件的該移動不可預測性的程度可以包括:存取記憶體中的用於與該物件的該分類相關的該移動不可預測性的程度的資料結構。一些實施例進一步可以包括:回應於決定在該機 器人式運載工具附近不存在對該機器人式運載工具造成障礙或潛在障礙的物件,將該碰撞避免系統中的該接近度閾值設置恢復到被調整為與該環境狀況或其他狀況對該機器人式運載工具的該控制或導航的該影響相一致的該接近度閾值。
在一些實施例中,決定對該機器人式運載工具造成障礙或潛在障礙的物件的分類可以包括:決定對該機器人式運載工具造成障礙或潛在障礙的所有物件的分類。一些實施例進一步可以包括:產生對該機器人式運載工具造成障礙或潛在障礙的所有物件的地圖,在該地圖中,被調整為與該環境狀況或其他狀況對該機器人式運載工具的該控制或導航的該影響相一致的該接近度閾值以及與每個物件相對應的基於該物件的分類的另外的距離被添加為該物件的體積周圍的排除周界;決定保持在所有偵測到的障礙物的該排除周界之外的繞行;及控制該機器人式運載工具以執行該繞行。
一些實施例可以包括用於操作機器人式運載工具的處理器實施的方法,其包括:從一或多個感測器獲得資料,該一或多個感測器被配置為偵測該機器人式運載工具附近的一或多個物件;基於該感測器資料來決定該機器人式運載工具附近的一或多個物件是否對該機器人式運載工具造成障礙或潛在障礙;及回應於決定該機器人式運載工具附近的一或多個物件對該機器人式運載工具造成障礙或潛在障礙:決定對該機器人式運載工具造成障礙 或潛在障礙的物件的分類;基於對該機器人式運載工具造成障礙或潛在障礙的該物件的該分類,來調整碰撞避免系統的接近度閾值以適應該物件的移動不可預測性;及使用經進一步調整的接近度閾值來控制該機器人式運載工具以用於碰撞避免。
另外的實施例包括一種具有處理器的機器人式運載工具,該處理器被配置有處理器可執行指令以執行上文概述的方法中的任何方法的操作。另外的實施例包括用於在機器人式運載工具中使用的處理設備,其被配置為執行上文概述的方法中的任何方法的操作。另外的實施例包括一種具有儲存在其上的處理器可執行指令的非暫態處理器可讀取媒體,該處理器可執行指令被配置為使得機器人式運載工具的處理器執行上文概述的方法中的任何方法的操作。
將參照附圖來詳細描述各個實施例。在可能的情況下,將在各附圖中使用相同的元件符號來代表相同或相似的部分。對特定實例和實現方式的參考是出於說明性目的,而不意欲限制請求項的範圍。
各個實施例包括:用於基於影響機器人式運載工具準確地操縱和導航的能力的環境中的不可預測性及/或附近物件的性質和不可預測性,來自動地調整由碰撞避免系統允許機器人式運載工具接近物件的最小距離的方法和實施此種方法的機器人式運載工具處理設備。基於環境中的及/或附近障礙物或物件的不可預測性來調整在碰撞避免系統中使用的最小接近距離或接近度閾值使得機器人式運載工具能夠以比使用固定接近度閾值的可行的靈活性更大的靈活性進行操作,同時與物件保持安全距離。在一些實施例中,儘管存在由環境狀況或其他狀況導致的對導航精度及/或控制精度的影響,但是可以將由碰撞避免系統用於避開物件的閾值距離調整一量或因數來確保避免碰撞。在一些實施例中,可以將由碰撞避免系統用於避開物件的閾值距離調整一量或因數,該量或因數適應 基於物件的分類而決定的物件移動的不可預測性。在一些實施例中,由碰撞避免系統使用以避開物件的閾值距離可以是基於:適於物件或物件的類型的閾值距離加上適應基於物件的分類而決定的物件移動的不可預測性的調整。在一些實施例中,閾值距離可以是基於:適於物件或物件的類型的閾值距離加上適應基於物件的分類而決定的物件移動的不可預測性的調整、以及達一量或因數以確保避免碰撞(儘管存在由環境狀況或其他狀況造成的對導航精度及/或控制精度的影響)的額外調整。
在一些實施例中,機器人式運載工具的處理器可以決定環境狀況或其他狀況可能危害機器人式運載工具精確地操縱及/或導航的能力的程度。可能危害操縱及/或導航精度的不可預測或低決定性的環境狀況的實例係包括:針對飛行器的風(特別是陣風)、降水、霧(其可能限制導航相機的能見度)、針對水上運載工具的波浪和水流、針對陸基運載工具的冰和雪等等。此種環境狀況可能快速改變或者比控制系統能夠回應的更快地影響對機器人式運載工具的控制,並且因此,可能降低機器人式運載工具可以進行操縱和維持導航/位置控制的精度。例如,若(例如,在碰撞避免系統的控制下)進行操縱以避免碰撞的空中機器人式運載工具被一陣風襲擊,則機器人式運載工具可能在碰撞避免系統能夠作出反應並且使機器人式運載工具重定向之前被推到比接近度閾值更接近物件。可能危害機器人式運載工具進行操縱及/或導航的能 力的其他狀況的實例係包括:對運載工具的螺旋槳、輪子或機翼或控制元件的損壞、結構損壞、使有效負荷鬆脫或移位、對導航相機的妨礙或損壞、對雷達或雷射雷達感測器的損壞、來自導航衛星的信號的中斷或降級等等。例如,若(例如,在碰撞避免系統的控制下)進行操縱以避免碰撞的空中機器人式運載工具經歷有效負荷的移位,則機器人式運載工具可能在碰撞避免系統能夠作出反應並且使機器人式運載工具重定向之前漂移到比接近度閾值更接近物件。在一些實施例中,處理器可以決定多個環境狀況或其他狀況組合而危害操縱及/或導航精度的程度。在一些實施例中,處理器可以根據觀察機器人式運載工具的環境及/或操作來決定環境狀況或其他狀況。在一些實施例中,處理器可以根據外部源(例如,氣象服務)來決定環境狀況或其他狀況。
在一些實施例中,分類可以是:物件或障礙物是有生命的(以及因此是行動的)亦是無生命的(以及因此是不行動的)。在一些實施例中,適於物件分類的閾值距離可以取決於物件或障礙物的易損性或重要性,例如物件或障礙物是否被分類為人、動物、結構體、汽車、藝術品、玻璃器皿等。對接近度閾值進行的以適應物件或障礙物的不可預測性的調整可以根據物件或障礙物的類型或分類而變化,例如,與可以預期以更可預測的方式作出行為的成人相比,為可能在存在機器人式運載工具的情況下不可預測地作出行為的兒童指派更大的接近度閾值。例如 ,可以為狗指派對接近度閾值的相對大的調整,以考慮狗經常不可預測地作出行為(包括在機器人式運載工具後面追逐)的事實。對接近度閾值的調整可以適應:移動可能不可預測的程度、以及不可預測的移動的速度或幅度二者。例如,與移動相對緩慢的物件(例如,人、牛、門等)相比,可以為能夠快速移動的物件(例如,動物)(例如,狗、鳥等)指派對接近度閾值的更大調整。針對不可預測性的預設的接近度閾值和調整可以用於針對其未決定分類的物件。
在一些實施例中,機器人式運載工具的處理器可以決定正被接近的物件的分類,並且基於該物件的分類加上針對環境狀況或其他狀況的不可預測性的調整,來調整由碰撞避免系統使用的接近度閾值。在一些實施例中,機器人式運載工具的處理器可以對所有偵測到的物件進行分類,基於每個物件的不可預測性加上針對可能影響對機器人式運載工具的導航控制的環境狀況或其他狀況的不可預測性的調整來決定針對每個物件的排除周界,並且決定繞行飛行路徑以保持在所有偵測到的物件的排除周界之外。
如本文中所使用的,術語「機器人式運載工具」和「無人機」代表各種類型的運載工具中的一種運載工具,該等類型的運載工具包括被配置為提供一些自主式或半自主式能力的機載計算設備。機器人式運載工具的實例係包括但不限於:機器人式運載工具(例如,無人駕駛飛 行器(UAV));地面運載工具(例如,自主式或半自主式汽車、抽真空機器人等);水基運載工具(亦即,被配置用於在水面上或在水下操作的運載工具);天基運載工具(例如,航天器或航太探測器);及/或其某種組合。在一些實施例中,機器人式運載工具可以是有人駕駛的。在其他實施例中,機器人式運載工具可以是無人駕駛的。在其中機器人式運載工具是自主式的實施例中,機器人式運載工具可以包括機載計算設備,該機載計算設備被配置為在沒有例如來自操作人員(例如,經由遠端計算設備)的遠端操作指令的情況下(亦即,自主地)操縱及/或導航機器人式運載工具。在其中機器人式運載工具是半自主式的實施例中,機器人式運載工具可以包括機載計算設備,該機載計算設備被配置為接收例如來自操作人員(例如,經由遠端計算設備)的一些資訊或指令,並且與所接收的資訊或指令一致地來自主地操縱及/或導航機器人式運載工具。在一些實現方式中,機器人式運載工具可以是飛行器(無人駕駛或有人駕駛),其可以是旋翼飛機或有翼飛機。例如,旋翼飛機(亦被稱為多旋翼飛行器或多旋翼直升機)可以包括複數個推進單元(例如,轉子/螺旋槳),其可以為機器人式運載工具提供推進力及/或升力。旋翼飛機的特定非限制性實例係包括三旋翼直升機(三個轉子)、四旋翼直升機(四個轉子)、六旋翼直升機(六個轉子)和八旋翼直升機(八個轉子)。然而,旋翼飛機可以包括任意數量的轉子。
術語「障礙物」在本文中用於代表機器人式運載工具必須在其周圍操縱以避免碰撞的物件。
術語「接近度閾值」在本文中用於代表碰撞避免系統將在控制機器人式運載工具停止或改變行進方向以遠離物件之前允許的在物件和機器人式運載工具之間的最小距離。類似地,術語「排除周界」在本文中用於代表機器人式運載工具應當避開的以確保機器人式運載工具保持在接近度閾值之外的在障礙物周圍的距離。術語「經調整的接近度閾值」在本文中用於代表碰撞避免系統將允許的在物件和機器人式運載工具之間的最小距離,其包括考慮到可能由環境狀況或其他狀況造成的操縱及/或導航精度的降級的,及/或附近物件的移動或位置的不可預測性的調整。
在圖1A中圖示根據各個實施例的機器人式運載工具200在環境10內的操作,環境10包括各種樹31、32、33。當機器人式運載工具200接近物件(例如,樹31-33)時,機器人式運載工具200內的處理器可以處理從機載感測器(例如,相機、雷達、雷射雷達等)接收的資料以決定附近物件的類型或分類。在圖1A所示的實例中,機器人式運載工具200的處理器可以將附近物件31-33識別為樹或非有生命的物件。在一些實施例中,處理器可以決定附近物件31-33沒有被分類為敏感或有價值的物件,特別是若物件不符合給定或預載入的分類的話。在所示的其中附近物件31-33是樹(亦即,不是脆弱或 有價值的)的實例中,處理器可以不調整接近度閾值60a,並且因此,在處理器中實施的碰撞避免系統可以保持在預設值處。在一些實施例中,接近度閾值60a的預設值可以取決於機器人式運載工具200是否配備有螺旋槳防護裝置。在接近度閾值60a設置在預設值的情況下,機器人式運載工具200能夠操縱或遵循使用者控制命令來在所偵測到的物件之間飛行,例如沿著樹32和33之間的路徑。
另外,機器人式運載工具200的處理器可以關於環境狀況或其他狀況的不可預測性以及對機器人式運載工具操縱和維持精確導航控制的能力的潛在影響來監測環境狀況或其他狀況。例如,若處理器決定航空電子系統已經發出突然的操縱指令以維持位置(例如,在懸停中)或遵循導航路線,則處理器可以決定環境狀況正在影響機器人式運載工具的位置控制,並且增加接近度閾值以適應位置控制中增加的誤差。作為另一實例,處理器可以從廣播天氣預報接收關於風況的資訊,並且增加接近度閾值以適應可能由強風和陣風狀況引起的位置控制中的誤差。
作為調整接近度閾值以適應機器人式運載工具200的導航控制中的不決定性的結果,當不存在環境狀況的不決定性或環境狀況的不決定性低時,由碰撞避免系統使用的經調整的接近度閾值60b可以大於預設接近度閾值60a。利用較大的經調整的接近度閾值60b,機器人 式運載工具200將避開諸如樹31-33之類的障礙物達較大的距離。
參照圖1B中所示的實例,在已經經過樹31-33之後,機器人式運載工具200可能接近遛狗50的人40。參照圖1A-1C,在偵測到該等物件之後,機器人式運載工具200的處理器可以處理感測器資料(例如,相機圖像資料),並且將物件分類為人和動物狗。基於該分類,處理器可以將碰撞避免系統所使用的接近度閾值從預設接近度閾值調整為與人(接近度閾值64a)和狗(接近度閾值62a)相一致或相對應的接近度閾值。碰撞避免系統所使用的較大的接近度閾值62a、64b確保機器人式運載工具200將給人40和狗50留出更多空間,以適應其移動的不可預測性(以及與無生命的物件相比,其對於碰撞的脆弱性)。此外,與碰撞避免系統用於避開狗50的接近度閾值62a相比,碰撞避免系統用於避開人40的接近度閾值64a可以不同(例如,較小),這是因為狗是更加不可預測的並且可能比人移動得要快。
另外,機器人式運載工具200的處理器可以關於環境狀況或其他狀況的不可預測性以及對機器人式運載工具操縱和維持精確導航控制的能力的潛在影響來監測環境狀況或其他狀況。例如,若處理器注意到航空電子系統已經表現出難以維持對機器人式運載工具的操縱或導航控制,則處理器可以增加接近度閾值以適應此種控制誤差。作為另一實例,處理器可以從廣播天氣預報接收關 於風況的資訊,並且增加接近度閾值以適應可能由強風和陣風狀況引起的位置控制中的誤差。
增加接近度閾值以適應環境狀況或其他狀況的不可預測性可以帶來針對人40的經調整的接近度閾值64b和針對狗50的不同的經調整的接近度閾值62b。在圖1B所示的其中人40和狗50在一起的實例中,機器人式運載工具200的處理器可以在碰撞避免系統中實施各經調整的接近度閾值中的最大者(亦即,針對狗50的經調整的接近度閾值62b)。
因此,各個實施例使得機器人式運載工具碰撞避免系統能夠動態地調整機器人式運載工具200在環境中操作時被允許接近各個物件的接近程度,以便確保機器人式運載工具不會比最小距離(例如,預設接近度閾值)更近地接近任何物件,儘管存在環境和其他狀況的不可預測性以及各個物件的移動的不可預測性。
圖1C圖示另外的實施例,在該實施例中,可以在規劃路徑時使用由機器人式運載工具在觀察到的環境狀況或其他狀況下針對偵測到的各個物件的接近度閾值,以避免比適當的接近度閾值更近地接近任何物件,儘管存在環境和其他狀況的不可預測性以及各個物件的移動的不可預測性。參照圖1A-1C,沿著路徑70經過的機器人式運載工具200將最終偵測到其路徑中包括樹31-33、人40和狗50的物件。在一些實施例中,機器人式運載工具200的處理器可以(例如,經由視覺處理和圖像辨 識方法)評估所偵測到的物件,以決定物件31-33、40、50之每一者物件的類型或分類。隨後,處理器可以基於所觀察到的物件的性質和不可預測性,來決定應當在碰撞避免系統中實施的、針對所觀察到的物件31-34、40、50之每一者物件的適當的接近度閾值。因為各個物件鑒於其各自對於碰撞的易損性和移動不可預測性而具有不同的適當接近度閾值,所以處理器可以將所有決定的接近度閾值考慮在內,以便繪製在所有偵測到的物件周圍的替代路徑。為了高效地這樣做,處理器可以產生所偵測到的物件之每一者物件的內部地圖,其基於鑒於該物件對於碰撞的易損性和移動不可預測性而適於該物件的接近度閾值,添加每個物件周圍的排除周界。此種地圖使得處理器隨後能夠決定在所偵測到的物件周圍的繞行或路徑72a、72b,這將確保機器人式運載工具200不會比各物件的對應接近度閾值更近地接近各物件中的任何物件。
例如,機器人式運載工具200的處理器可以產生地圖,在該地圖中,可以給樹31-33指派排除半徑,該排除半徑包括考慮到樹對於碰撞的低易損性和其相對小的移動不可預測性而適於樹的距離D1。類似地,由機器人式運載工具200的處理器產生的地圖可以指派圍繞人40的排除半徑D3以及圍繞狗50的排除半徑D6,其與其對於碰撞相對高的易損性和其各自的移動不可預測性一致。因此,針對狗50的排除半徑D6可以大於針對人40的排除半徑D3,這是因為狗傾向於追逐機器人式運載工 具並且是快速的,而人們對碰撞脆弱但不太可能以不可預測的方式移動。因此,一些實施例使得機器人式運載工具200能夠決定在所偵測到的物件周圍的適應物件的移動的不可預測性的繞行或路徑72a、72b。
另外,機器人式運載工具200的處理器可以增加在地圖內被指派給每個物件的排除半徑,以適應環境和其他狀況的不可預測性。例如,若空中機器人式運載工具在陣風狀況下操縱,則處理器可以將每個物件上的排除半徑增加與可能由不可預測的陣風導致的運載工具操縱和導航的精度上的降低一致的因數。因此,可以將圍繞樹31-33的排除半徑增加為包括距離D2。類似地,圍繞人40的排除半徑可以增加到距離D4,並且圍繞狗50的排除半徑可以增加到距離D7。因此,一些實施例使得機器人式運載工具200能夠決定所偵測到的物件周圍的繞行或路徑72a、72b,其適應物件移動的不可預測性並且補償影響機器人式運載工具精確地操縱和導航的能力的環境和其他狀況的不可預測性。
各個實施例可以在被配置為與一或多個通訊網路進行通訊的各種機器人式運載工具內實施,在圖2中圖示具有適於與各個實施例一起使用的空中機器人式運載工具200的形式的機器人式運載工具的實例。參照圖1A-2,在任務環境20中操作的空中機器人式運載工具200可以包括複數個轉子120(例如,四個轉子),每個轉子由對應的電動機125來驅動。空中機器人式運載工具 200的主體110可以支撐複數個轉子120和電動機125。在一些實例中,機器人式運載工具110可以包括位於轉子120附近的螺旋槳防護裝置250,以減少碰撞可能對物件(例如人)造成的傷害。
空中機器人式運載工具200可以包括一或多個機載感測器,例如一或多個相機236。空中機器人式運載工具200可以包括處理設備210,處理設備210進一步可以包括:可以由處理器220用於決定用於控制飛行和導航的運載工具姿態和位置資訊的一或多個姿態感測器,例如,高度計、陀螺儀、加速度計、電子羅盤、衛星定位系統接收器等。
相機236可以設置在空中機器人式運載工具200上的各個位置上,並且可以包括不同類型的相機。例如,第一組相機236可以面向轉子120之每一者轉子在其旋轉平面中的一側,例如安裝在空中機器人式運載工具200的中心部分附近。另外或替代地,第二組相機236可以安裝在轉子120下面,例如在被配置為偵測螺旋槳防護裝置250是否存在的位置上。空中機器人式運載工具200亦可以包括其他類型的感測器,其包括偵測和測距感測器(例如,雷達、聲納、雷射雷達等等)。
在處理器220中執行的物件避開系統可以使用由相機236產生的圖像資料以及來自一或多個其他類型的感測器(例如,雷達、聲納、雷射雷達等)的資料。在各個實施例中,從相機236接收的圖像資料以及其他感 測器資料可以由物件避開系統進行處理,以在操作期間偵測在機器人式運載工具200附近的物件或障礙物。
空中機器人式運載工具200可以包括處理設備210,其可以耦合到驅動轉子120的複數個電動機125之每一者電動機。處理設備210可以被配置為監測和控制空中機器人式運載工具200的各種功能、子系統和元件。例如,處理設備210可以被配置為監測和控制與推進、導航、功率管理、感測器管理及/或穩定性管理有關的各個模組、軟體、指令、電路、硬體等。
處理設備210可以容納用於控制空中機器人式運載工具200的操作的各種電路和設備。例如,處理設備210可以包括處理器220,該處理器220導引對空中機器人式運載工具200的控制。處理器220可以包括:一或多個處理器,其被配置為執行處理器可執行指令(例如,應用、常式、腳本、指令集等)以控制空中機器人式運載工具200的飛行、天線使用和其他操作(其包括各個實施例的操作)。在一些實施例中,處理設備210可以包括記憶體222,記憶體222耦合到處理器220並且被配置為儲存資料(例如,飛行規劃、獲得的感測器資料、接收的訊息/輸入、應用等)。處理器220和記憶體222連同諸如(但不限於)以下各項之類的額外元件一起可以被配置為片上系統(SoC)215或者被包括在SoC 215內:通訊介面224、一或多個輸入單元226、非揮發性儲存記憶體230和被配置用於將SoC 215與空中機器人式運載工具 200的硬體和元件對接的硬體介面234。處理設備210及/或SoC 215內的元件可以經由各種電路(例如,匯流排225、235或另一類似電路)耦合在一起。
處理設備210可以包括多於一個的SoC 215,從而增加處理器220和處理器核心的數量。處理設備210亦可以包括與SoC 215不相關聯的處理器220。單個處理器220可以是多核心處理器。各處理器220可以均被配置用於與處理設備210或SoC 215的其他處理器220相同或不同的特定目的。具有相同或不同配置的處理器220和處理器核心中的一項或多項可以被群組在一起。處理器220或處理器核心的群組可以被稱為多處理器叢集。
術語「片上系統」或「SoC」在本文中通常但並非排除性地用於代表一組互連的電子電路,其包括一或多個處理器(例如,220)、記憶體(例如,222)和通訊介面(例如,224)。SoC 215可以包括各種不同類型的處理器220和處理器核心,例如,通用處理器、中央處理單元(CPU)、數位訊號處理器(DSP)、圖形處理單元(GPU)、加速處理單元(APU)、處理設備的特定元件的子系統處理器(例如,用於相機子系統的影像處理器或用於顯示器的顯示處理器)、輔助處理器、單核心處理器和多核心處理器。SoC 215可以進一步體現其他硬體和硬體組合,諸如,現場可程式閘陣列(FPGA)、特殊應用積體電路(ASIC)、其他可程式邏輯設備、 個別閘門邏輯、電晶體邏輯、效能監測硬體、看門狗硬體和時間參照。積體電路可以被配置為使得積體電路的元件常駐於單片的半導體材料(例如,矽)上。
在各個實施例中,處理設備210可以包括或耦合到用於經由無線通訊鏈路25發送和接收無線信號的一或多個通訊元件232,例如,無線收發機、機載天線等等。一或多個通訊元件232可以耦合到通訊介面224,並且可以被配置為處理與陸基發射器/接收器(例如,基地台、信標、Wi-Fi存取點、藍牙信標、小型細胞服務區(微微細胞服務區、毫微微細胞服務區等)等)相關聯的無線廣域網路(WWAN)通訊信號(例如,蜂巢資料網路)及/或無線區域網路(WLAN)通訊信號(例如,Wi-Fi信號、藍牙信號等)。一或多個通訊元件232可以從無線電節點(例如,導航信標(例如,超高頻(VHF)全向範圍(VOR)信標)、Wi-Fi存取節點、蜂巢網路基地台、無線電站等)接收資料。
使用處理器220、一或多個通訊元件232和天線的處理設備210可以被配置為與各種遠端計算設備進行無線通訊,各種遠端計算設備的實例係包括基地台或細胞服務區塔(例如,基地台20)、信標、伺服器、智慧型電話、平板設備,或空中機器人式運載工具200可以與其進行通訊的另一計算設備。處理器220可以經由數據機和天線建立無線通訊鏈路25。在一些實施例中,一或多個通訊元件232可以被配置為支援使用不同的無線電存 取技術與不同的遠端計算設備進行的多個連接。在一些實施例中,一或多個通訊元件232和處理器220可以在安全通訊鏈路上進行通訊。安全通訊鏈路可以使用加密或另一種安全的通訊手段,以便保護一或多個通訊元件232與處理器220之間的通訊。
空中機器人式運載工具200可以在與基地台70進行通訊的任務環境20中進行操作,基地台70可以經由通訊網路90提供至遠端計算設備75及/或遠端伺服器80的通訊鏈路。基地台70可以例如經由無線信號提供至空中機器人式運載工具200的無線通訊鏈路25。遠端計算設備75可以被配置為控制基地台70、空中機器人式運載工具200,及/或控制廣域網路上的無線通訊,例如,使用基地台70提供無線存取點及/或其他類似的網路存取點。此外,遠端計算設備75及/或通訊網路90可以提供對遠端伺服器80的存取。空中機器人式運載工具200可以被配置為與遠端計算設備75及/或遠端伺服器80進行通訊,以交換各種類型的通訊和資料,其包括位置資訊、導航命令、資料查詢和任務資料。
空中機器人式運載工具可以使用高度計或導航系統(例如,全球導航衛星系統(GNSS)、全球定位系統(GPS)等)來導航或決定定位。在一些實施例中,空中機器人式運載工具200可以使用替代的定位信號源(亦即,除了GNSS、GPS等之外)。空中機器人式運載工具200可以使用與替代信號源相關聯的位置資訊以及 額外資訊(例如,結合最近可信的GNSS/GPS位置的航位推算、結合空中機器人式運載工具起飛區域的位置的航位推算等)來進行某些應用中的定位和導航。因此,空中機器人式運載工具200可以使用導航技術的組合(包括航位推算、基於相機對空中機器人式運載工具200之下及周圍的陸地特徵的辨識(例如,辨識道路、地標、高速公路標牌等))進行導航,該導航技術可以代替或結合GNSS/GPS位置決定和基於偵測到的無線存取點的已知位置的三角量測或三邊量測。
在一些實施例中,空中機器人式運載工具200的處理設備210可以使用各個輸入單元226中的一或多個輸入單元來接收來自操作人員或自動/預程式設計控制裝置的控制指令、資料,及/或來收集用於指示與空中機器人式運載工具200相關的各種狀況的資料。例如,輸入單元226可以接收來自各個感測器中的一或多個感測器的輸入,該元件例如相機、麥克風、位置資訊功能單元(例如,用於接收全球定位系統(GPS)座標的GPS接收器)、飛行儀器(例如,姿態指示器、陀螺儀、風速計、加速度計、高度計、羅盤等)、鍵盤等。在一些實施例中,處理設備210進一步可以被配置為使用從一或多個感測器接收的資料來監測環境和其他狀況以偵測不可預測性的位準,尤其是機器人式運載工具200精確地操縱及/或導航的能力的不可預測性或誤差。
空中機器人式運載工具可以是有翼或旋翼飛機種類。例如,空中機器人式運載工具200可以是旋轉推進設計,其利用由對應的電動機驅動的一或多個轉子120來提供離地升空(或者起飛)以及其他空中移動(例如,前向行進、上升、下降、橫向移動、傾斜、旋轉等)。儘管空中機器人式運載工具200被示為可以利用各個實施例的機器人式運載工具的實例,但是並不意欲暗示或者要求各個實施例限於四旋翼飛行器。
圖3圖示根據一些實施例的用於調整由機器人式運載工具的碰撞避免系統使用的接近度閾值以適應環境和其他狀況中的不可預測性的方法300。參照圖1A-3,方法300可以由處理器(例如,機器人式運載工具(例如,200)的處理設備(例如,210)內的處理器(220))來執行以偵測障礙物(例如,120)並且執行動作作為回應。
在方塊310中,機器人式運載工具的處理器可以監測影響運載工具控制及/或導航的可預測性的環境或狀況的各個態樣。此種監測可以涉及可能影響運載工具控制及/或導航能力的廣泛的狀況和狀態。例如,處理器可以藉由以下操作來監測天氣狀況:從各種機載儀器(例如,相機、風速計、加速度計、溫度計、濕度感測器、GPS接收器等)接收資料及/或存取與天氣有關的資訊源(例如,經由網際網路),以決定風況(特別是陣風的可能性),偵測降水的存在性或可能性,偵測霧(其可能限制導 航相機的能見度),量測針對水上運載工具的波浪和水流,偵測針對陸基運載工具的冰和雪等等。此種環境狀況可能快速改變或者比控制系統能夠回應的更快地影響對機器人式運載工具的控制,並且因此,可能降低機器人式運載工具可以進行操縱和維持導航/位置控制具有的精度。另外,處理器可以監測機器人式運載工具的可能影響操縱和導航的精度的狀況,例如結構完整性、有效負荷放置和移動、螺旋槳狀況等等。
亦作為方塊310中的操作的一部分,處理器可以監測來自在導航和障礙物偵測時使用的相機的圖像,以決定是否存在可能影響用於導航和碰撞避免的電腦視覺處理演算法的任何狀況。例如,多種不同的照明和背景狀況可能影響此種相機辨識表面、決定到表面的距離、追蹤圖像內的物件或以其他方式執行某些影像處理操作的能力。此種狀況可能影響機器人式運載工具在物件周圍進行導航或者甚至準確地決定到物件的距離的能力,並且因此潛在地危害碰撞避免系統避開物件的能力。可能影響電腦視覺演算法的狀況的實例係包括:在單色表面(例如,純色的黑/白/紅/綠)上飛行;在強烈反射的表面上飛行;在水面或透通表面上飛行;在光照狀況頻繁或劇烈變化的區域中飛行;在極其黑暗(例如,勒克斯<10)或明亮(例如,勒克斯>100,000)的表面上飛行;在沒有清晰圖案或紋理的表面上飛行;在具有相同重複圖案或紋理的表 面(例如,瓷磚)上飛行;及在小而精細的物件(例如,樹枝和電線)上方飛行。
在決定方塊320中,處理器可以決定是否存在導致可能危害運載工具控制或導航的對機器人式運載工具操縱或導航的不可預測的影響的任何環境狀況或其他狀況。該決定可以涉及將對機器人式運載工具的潛在的力與可用於運載工具控制系統的控制餘量進行比較。例如,若來自環境或其他狀況的對機器人式運載工具的力超過或可能超過運載工具控制系統進行補償的能力,則處理器可以決定該運載工具的控制及/或導航被危害或可能被危害。
回應於決定機器人式運載工具的控制及/或導航不太可能受到環境狀況或其他狀況危害(亦即,決定方塊320=「否」),在方塊310中,處理器可以繼續監測環境。
回應於決定機器人式運載工具的控制及/或導航被環境狀況或其他狀況危害或可能被危害(亦即,決定方塊320=「是」),處理器可以將接近度閾值調整為與由於環境狀況或其他狀況導致的對控制及/或導航的影響或潛在危害相一致。例如,若處理器決定環境狀況(例如,陣風)可能導致在機器人式運載工具能夠作出反應和恢復之前該運載工具離開位置或偏航達一米,則處理器可以將接近度閾值增加大約一米。因此,儘管存在環境狀況可能暫時地並且不可預測地使機器人式運載工具轉向的潛 在性,但是將接近度閾值調整為與環境對控制及/或導航的實際或潛在影響相一致使得碰撞避免系統能夠避開物件至少達預設接近度閾值。
在方塊340中,處理器可以針對變化來監測影響或潛在地影響機器人式運載工具的控制及/或導航的環境狀況或其他狀況。
在決定方塊350中,處理器可以決定機器人式運載工具的控制及/或導航是否仍然被所監測的環境狀況或其他狀況危害或潛在地危害。當處理器決定機器人式運載工具的控制及/或導航仍然被所監測的環境狀況或其他狀況危害或潛在地危害時(亦即,決定方塊350=「是」),在方塊340中,處理器可以繼續針對變化來監測影響或潛在地影響機器人式運載工具的控制及/或導航的環境狀況或其他狀況。
回應於決定機器人式運載工具的控制及/或導航不再被所監測的環境狀況或其他狀況危害或潛在地危害(亦即,決定方塊350=「否」),在方塊360中,處理器可以將接近度閾值恢復到預設值,並且在方塊310中,繼續監測影響控制及/或導航的可預測性的環境或狀況的各個態樣。
因此,方法300使得機器人式運載工具的處理器能夠調整碰撞避免系統中使用的接近度閾值以適應由於環境狀況或其他狀況而導致的機器人式運載工具的操縱和導航控制的不可預測性以及降低的精度。
圖4圖示根據一些實施例的用於操作機器人式運載工具的方法400。參照圖1A-4,方法400可以由處理器(例如,機器人式運載工具(例如,200)的處理設備(例如,210)內的處理器(220))來執行以偵測障礙物(例如,120)並且執行動作作為回應。
在方塊410中,機器人式運載工具的處理器可以提供控制信號以控制機器人式運載工具的一或多個電動機以執行使用者命令(例如,使用者控制的操作)或預載入的飛行規劃,同時避開碰撞至少達接近度閾值(其可以如所描述地進行調整)。最初,碰撞避免系統可以正在使用預設接近度閾值來操作,以在接近障礙物時決定何時應當實施規避操縱。隨著操作繼續進行,可以調整接近度閾值以適應物件,如所描述的。
在方塊420中,處理器可以從被配置為偵測一或多個物件的存在性的一或多個感測器獲得資料。此種感測器可以包括諸如雷達、聲納和雷射雷達之類的測距感測器,其可以用於偵測物件在範圍內的存在性。此種感測器亦可以包括可以用於對物件進行分類的成像感測器,例如相機或一組相機。例如,許多機器人式運載工具被裝備有相機和碰撞避免系統能力(其可以在主控制器內實施),該碰撞避免系統能力在使用者控制下、自主地或半自主地操作時,使用來自相機的資料來識別並且避免與物件發生碰撞。作為另一實例,一些機器人式運載工具被配備有相機和導航系統(其可以在主控制器內實施),該導航系統被配置用於虛擬影像測程(VIO)及/或同時定位和地圖構建(SLAM),其中來自相機的資料用於識別物件和障礙物以供自主導航使用。類似地,被配備有雷達及/或雷射雷達感測器的機器人式運載工具的處理器(例如,主控制器)可以單獨地使用來自此種感測器的資料,或者將其與來自相機的資料結合使用,以識別物件和障礙物以供導航及/或碰撞避免使用。在一些實施中,處理器可以基於測距感測器(例如,雷達、聲納及/或雷射雷達的返回)來偵測和定位機器人式運載工具附近的物件。在一些實現方式中,處理器可以從多個相機及/或雷達或雷射雷達感測器接收圖像資料,其可以使得處理器能夠決定到物件的距離(例如,經由體視學)以及在廣角上觀察物件。此種感測器資料可以被儲存在本端記憶體(例如,緩衝器)中,以支援後續操作中的資料處理。
在方塊430中,處理器可以分析從一或多個感測器獲得的資料,以對機器人式運載工具附近的物件進行辨識和分類。在一些實施例中,處理器可以使用圖像辨識方法來區分圖像內的物件並且分析物件的形狀以對物件進行辨識或分類。例如,處理器可以將圖像資料與物件辨識模型進行比較,以決定物件是可以被辨識為特定物件(例如,基於臉孔辨識的使用者)還是被分類為某些類型的物件(例如,人、動物、樹、汽車、建築物等)。作為另一實例,處理器可以使用相機圖像資料來執行影像處理分析,以偵測視野內的物件特有的邊緣、品質和其他特徵。作為另一實例,處理器可以基於雷達及/或雷射雷達返回來偵測機器人式運載工具附近的物件。在一些實施例中,雷達及/或雷射雷達資料可以用於偵測和定位附近的物件,隨後在影像處理中使用該資訊以表徵所偵測到的物件。
作為方塊430中的進一步操作,處理器可以分析偵測到的物件以決定針對每個物件的適當分類。例如,處理器可以對圖像資料執行圖像辨識演算法以決定物件是否被辨識為特定類型。此種圖像辨識程序可以將特定物件的圖像與被分類或可分類物件的資料庫進行比較,以決定是否存在匹配的可能性。此種圖像辨識程序可以使用機器學習來開發用於在將分類指派給物件時使用的模型。
在一些實施例中,在方塊430中,處理器可以根據幾種寬泛的分類來對物件進行歸類,例如物件是有生命的還是無生命的,或者物件的類型是否已知是脆弱的等等。在一些實施例中,在方塊430中,處理器可以決定物件的特定類別,例如,將物件辨識並且分類為成人、兒童、狗、貓、樹等。在一些實施例中,在方塊430中,處理器可以決定物件的特定身份(例如,辨識特定個體(例如,使用臉孔辨識)或特定動物(例如,家養狗)),其中可以(例如,經由初始訓練常式)針對該特定個體或特定動物來訓練處理器並且可以針對其指定特定的(例如,使用者指派的)不可預測性評級。在方塊430中進行的分類越具體,處理器就可以將越多不同的接近度閾值及/或不可預測性評級指派給各種物件。
作為在方塊430中對物件進行分類的一部分,處理器可以決定一些物件無法被分類,在此種情況下所決定的分類可以是未知或預設分類。在一些實施例中,可以針對機器人式運載工具附近的所有偵測到的物件,執行方塊430中對物件進行分類的操作。在一些實施例中,在方塊430中,可以僅對最靠近的物件或最靠近的幾個物件進行分類。
作為在方塊430中對物件進行辨識或分類的一部分,處理器可以將該等物件與資料庫內的項目相關聯,該資料庫利用表徵物件的不可預測性的參數來表徵物件或物件類。例如,被分類為實體結構(例如,建築物、樹等)的物件可以利用低不可預測性參數(或高可預測性參數)來表徵,因為此種結構通常不以不可預測的方式移動。作為另一實例,動物可以利用相對高的不可預測性參數(或低可預測性參數)來表徵,因為動物進行移動並且可能以不可預測的方式移動。在一些實施例中,不可預測性的參數可以是二元的,並且因此是可預測的(例如,建築物和類似結構)或不可預測的(例如,正在移動或可以移動的任何物件)。可以為處理器沒有辨識或分類的物件指派預設的不可預測性參數。
在決定方塊440中,處理器可以決定機器人式運載工具附近的物件中的任何物件是否被分類為不可預測的。例如,處理器可以決定任何物件的不可預測性參數是否超過特定閾值。
回應於決定至少一個附近物件被分類為不可預測的(亦即,決定方塊440 =「是」),處理器可以將碰撞避免系統所使用的接近度閾值調整為如適於被分類為不可預測的任何物件。在其中不同的物件可以具有不同的指派的不可預測性位準的一些實施例中,處理器可以將接近度閾值調整為與已經被辨識和分類的最不可預測的物件一致。在其中不同的物件可以具有不同的指派的不可預測性位準的一些實施例中,處理器可以以給予沿著行進路徑或接近機器人式運載工具的物件更大權重的方式來調整接近度閾值。例如,處理器可以識別表現出最大碰撞風險的彼等物件,並且將接近度閾值調整為與彼等物件一致。
回應於決定沒有附近物件被分類為不可預測的(亦即,決定方塊440 =「否」),在方塊460中,處理器可以維持碰撞避免系統對預設接近度閾值的使用。在方塊450中已經將接近度閾值調整為不同於預設接近度閾值的情況下,在方塊460中,處理器可以將接近度閾值恢復到預設值。
可以隨著機器人式運載工具在環境中操作而持續地執行方法400的操作。因此,方法400使得機器人式運載工具能夠利用使用接近度閾值的碰撞避免系統來操作,該接近度閾值針對偵測到的物件可能以不可預測的方式作出行為或移動的程度來進行調整。此種能力可以藉由實現更靠近固定或不可移動的物件(例如,牆壁)地進行操縱、同時給可能快速且以不可預測的方式移動的可移動物件(例如,動物)更大空間,來改善機器人式運載工具的操作。
圖5圖示根據一些實施例的用於以如下的方式操作機器人式運載工具的方法500:調整碰撞避免系統的接近度閾值以考慮環境和其他狀況中的不可預測性以及附近物件的不可預測性。參照圖1A-5,方法500可以由處理器(例如,機器人式運載工具(例如,200)的處理設備(例如,210)內的處理器(220))來執行以偵測障礙物(例如,120)並且執行動作作為回應。
在方法500中,方法300和方法400的一些操作可以或多或少地並存執行。因此,關於由機器人式運載工具處理器進行的以適應環境和其他狀況的不可預測性的接近度閾值調整的決定,可以與處理器基於對附近物件的辨識及/或分類來決定的對接近度閾值的調整並行地決定,並且相結合地使用。因此,方法500可以實施如所描述的方法300的方塊310、320、340和350以及方法400的方塊410-440中的操作。
在方塊310中,處理器可以針對可能潛在地影響運載工具控制及/或導航的可預測性的狀況,來監測機器人式運載工具的環境和狀態,如在方法300中所描述的。亦作為方塊310中的操作的一部分,處理器可以監測來自在導航和障礙物偵測中使用的相機的圖像,以決定是否存在可能影響用於導航和碰撞避免的電腦視覺處理演算法的任何狀況。在決定方塊320中,處理器可以決定是否存在可能危害機器人式運載工具的控制及/或導航能力的任何此種狀況,如方法300中所描述的。
回應於決定機器人式運載工具的控制及/或導航可能被環境狀況或其他狀況危害(亦即,決定方塊320 =「是」),處理器可以基於所決定的對控制/導航可預測性的影響或潛在影響來決定接近度閾值環境調整。因此,代替如在方法300中調整接近度閾值,處理器可以決定應當被添加到其他接近度閾值調整的調整,以考慮環境狀況或其他狀況的不可預測性或由於其導致的不可預測性。此種接近度閾值環境調整可以被儲存在記憶體中,例如被儲存在碰撞避免系統或運載工具控制系統所使用的緩衝器中。因此,儘管環境狀況或其他狀況表現出可能危害機器人式運載工具的控制或導航的不可預測性,但是可以在記憶體中保持對接近度閾值的適當調整,以供處理器在方塊560中在決定供碰撞避免系統使用的適當的接近度閾值時使用。
在方塊340和決定方塊350中,處理器可以監測被決定為影響或潛在地影響機器人式運載工具的控制及/或導航的狀況,以偵測此種狀況何時改變而使得運載工具的控制/導航仍然被危害,如方法300中所描述的。
回應於決定環境狀況或其他狀況已經改變使得機器人式運載工具的控制及/或導航不再被危害(亦即,決定方塊350 =「否」),在方塊520中,處理器可以將接近度閾值環境調整重置為預設值,例如將調整設置為0。因此,當不存在危害機器人式運載工具的控制或導航的環境狀況或其他狀況時,在方塊560中,處理器可以僅基於所辨識或分類的附近物件(若有的話),來決定適當的接近度閾值以供碰撞避免系統使用。
在方塊410中,機器人式運載工具可以提供控制信號以控制機器人式運載工具的一或多個電動機以執行使用者命令(例如,使用者控制的操作)或預載入的飛行規劃,同時使用碰撞避免系統來避免與物件或障礙物發生碰撞。
在方塊420中,處理器可以從一或多個感測器獲得資料,該一或多個感測器被配置為偵測機器人式運載工具附近的一或多個物件的存在性,如在方法400中所描述的。
在方塊430中,處理器(或被配置為執行此種分析的另一處理器)可以分析所獲得的感測器資料,以對機器人式運載工具附近的物件進行辨識及/或分類,如所描述的。
在決定方塊440中,處理器可以決定在機器人式運載工具附近是否存在被分類為不可預測的任何物件,如在方法400中所描述的。
回應於決定沒有附近的障礙物被分類為不可預測的(亦即,決定方塊440 =「否」),在方塊550中,處理器可以將預設接近度閾值調整達接近度閾值環境調整(例如,藉由將預設接近度閾值增加達在方塊510中決定的接近度閾值環境調整)。因此,當附近沒有物件時,碰撞避免系統可以使用基於預設值的被調整為考慮環境狀況或其他狀況的不可預測性的接近度閾值。
回應於決定一或多個附近障礙物被分類為不可預測的(亦即,決定方塊440 =「是」),在方塊560中,處理器可以將碰撞避免系統所使用的接近度閾值調整到與物件不可預測性分類中的至少一項相對應的距離加上用於考慮環境狀況或其他狀況的不可預測性的調整。因此,處理器可以藉由使用對應於或適於一或多個附近物件的基於此種物件的不可預測性的接近度閾值來設置接近度閾值,並且進一步調整接近度閾值以適應控制及/或導航可能被操作環境中的不可預測的狀況危害的程度。
可以隨著機器人式運載工具偵測和接近各個物件,並且在操作期間持續地執行方法500的操作,使得接近度閾值被調整以考慮變化的環境狀況和其他狀況。因此,方法500藉由使得碰撞避免系統能夠動態地適應變化的狀況和遇到的物件或障礙物,來改進機器人式運載工具的操作。
圖6圖示根據一些實施例的用於操作機器人式運載工具的方法600,該方法600能夠實現路徑規劃,同時考慮到遇到的物件的不可預測性以及由於環境和其他狀況中的不決定性導致的對操縱及/或導航的影響。參照圖1A-6,方法400可以由處理器(例如,機器人式運載工具(例如,200)的處理設備(例如,210)內的處理器(220))來執行以偵測障礙物(例如,120)並且執行動作作為回應。
在一些實施例中,機器人式運載工具的處理器可以使用物件分類來調整針對各個偵測到的物件的接近度閾值以考慮其不可預測性以及環境和其他狀況的不可預測性,同時在該等物件周圍執行路徑規劃。藉由使用方法300調整碰撞避免系統所使用的接近度閾值以考慮環境和其他狀況的不可預測性、以及使用方法400的操作中的一些操作評估針對機器人式運載工具附近的每個偵測到的物件的適當的接近度閾值之每一者接近度閾值,處理器可以在方法600中開發繞行或路徑規劃替代方案,其使得機器人式運載工具能夠以避免比其對應的接近度閾值更近地接近任何物件的方式來在物件周圍進行操縱。藉由執行此種路徑規劃,與使用碰撞避免系統來避免與單個的障礙物發生碰撞(這可能導致機器人式運載工具必須原路返回或沿著隨機路徑穿過複數個障礙物)相比,機器人式運載工具可以遵循在偵測到的物件周圍或穿過偵測到的物件的高效路徑。用於實現此種路徑規劃的各種方法皆是可能的。圖6中示出的方法600提供了為了此目的可以實施的一種方法的實例。
在方塊310-360中,處理器可以監測環境和其他狀況,並且相應地調整接近度閾值,如方法300中所描述的。
在方塊610中,機器人式運載工具的處理器可以正在控制機器人式運載工具的一或多個電動機以執行預先規劃的飛行。
在方塊420中,處理器可以從一或多個感測器獲得資料,該一或多個感測器被配置為偵測運載工具附近的物件的存在性。如所描述的,此種感測器可以包括一或多個相機、雷達、聲納、雷射雷達等。來自此種感測器的資料可以被儲存在記憶體(例如,緩衝記憶體)中,以使得處理器能夠進行分析。
在方塊430中,處理器可以分析所獲得的感測器資料,以對運載工具附近的物件進行辨識和分類。此種分析可以實施如所描述的方法400的類似編號的方塊的操作中的一或多個操作。
在決定方塊620中,處理器可以決定所識別且分類的物件中的任何物件是否構成機器人式運載工具的障礙或潛在障礙。具體地,處理器可以決定在方塊430中識別的物件中的任何物件是否接近預先規劃的飛行路徑。
回應於決定在機器人式運載工具附近不存在障礙物或潛在障礙物(亦即,決定方塊620 =「否」),處理器可以繼續控制機器人式運載工具的一或多個電動機以執行方塊610中的預先規劃的飛行路徑。
回應於決定一或多個被分類的物件確實或可能構成機器人式運載工具的障礙(亦即,決定方塊620=「是」),在方塊630中,處理器可以產生物件的虛擬地圖,其加入基於當前(亦即,經調整的或預設的)接近度閾值的在每個物件的體積周圍的排除周界,該當前接近度閾值考慮了環境狀況或其他狀況以及如在方塊430中決定的該物件的分類和不決定性。因此,代替調整在碰撞避免系統中使用的針對各單個物件的接近度閾值,處理器可以使用經調整的接近度閾值加上適於物件的分類和不可預測性的半徑距離,來擴展在如方塊630中產生的虛擬地圖中表示的物件的邊界。可以使用距離來在針對其而言未決定分類的物件周圍添加排除周界(亦即,不會擴展超出經調整的優先順序閾值)。
在方塊640中,處理器可以使用在方塊630中產生的地圖,來決定在當前環境和其他狀況下在所識別的障礙物周圍或穿過所識別的障礙物的繞行路線,該繞行路線確保機器人式運載工具保持在針對所有障礙物的相應接近度閾值之外。處理器可以使用各種路徑規劃演算法中的任何一種來完成此種路徑規劃。在方塊630中使用針對當前環境狀況和其他狀況而調整的接近度閾值加上特定於物件分類的額外餘量來在物件周圍添加排除周界促進規劃在物件周圍操縱的路徑,該路徑考慮到由於物件移動和危害或可能危害操縱和導航控制的狀況導致的不可預測性。
在方塊650中,處理器可以控制機器人式運載工具的一或多個電動機來執行繞行。這樣做時,如所描述的,處理器可以在方塊420中繼續從各個感測器獲得資料,並且在方塊430中分析感測器資料以對附近物件進行辨識、分類。一旦機器人式運載工具已經清除了障礙物(例如藉由完成繞行)(亦即,決定方塊620 =「否」),處理器就可以返回為在方塊610中控制機器人式運載工具的一或多個電動機以執行預先規劃的飛行路徑,並且重複如所描述的方法600的操作。此外,可以持續地執行方塊310-360中的操作,以使得能夠動態地調整接近度閾值以考慮環境狀況和其他狀況中的變化。
圖7圖示根據一些實施例的用於在方法600中使用的用於對物件進行偵測和分類的方法700。參照圖1A-7,方法700可以由處理器(例如,機器人式運載工具(例如,200)的處理設備(例如,210)內的處理器(220))來執行以偵測障礙物(例如,120)並且執行動作作為回應。
在方塊702中,處理器可以從圖像感測器(例如,設置在機器人式運載工具上的一或多個相機)獲得資料。處理器亦可以獲得對於決定物件的相對位置是有用的其他感測器資料,例如雷達或雷射雷達資料。此種資料可以被儲存在本端記憶體中以進行處理,例如緩衝記憶體。
在方塊704中,處理器可以分析所獲得的圖像和其他資料以識別所成像的物件的存在性和位置。此種圖像分析可以涉及識別不同顏色的邊緣區域和通常用於在圖像內識別物件的其他類型的程序。在一些實施例中,機器人式運載工具可以被配備有立體相機,其可以使處理器能夠使用體視學來決定到各個物件的距離。在機器人式運載工具僅被配備有單目相機的實施例中,可以基於隨著機器人式運載工具移動到環境而從一訊框到下一訊框的物件的位置的移位來決定到各個物件的距離。在機器人式運載工具被配備有雷達及/或雷射雷達的實施例中,可以使用來自彼等感測器的資料來決定到物件的距離。在決定物件的位置時,處理器可以在記憶體中產生物件座標的檔案或資料庫,其使得處理器能夠在後續操作中產生物件的地圖。
在方塊704中識別的物件之每一者物件可以使用圖像辨識程序來單獨地分析。為此,處理器可以實施循環以單獨地調查每個物件。因此,在方塊706中,處理器可以選擇所識別的物件中的一個物件,並且在方塊708中,對針對所選擇的物件的圖像資料執行物件辨識處理以決定分類。如所描述的,此種圖像辨識處理可以涉及將圖像資料與所分類的物件的資料庫進行比較,以決定是否存在相近匹配。此種圖像辨識程序可以涉及使用機器學習技術。
在決定方塊710中,處理器可以決定分類是否被指派給所選擇的物件。
回應於決定沒有分類被指派給所選擇的物件(亦即,決定方塊710 =「否」),在方塊712中,處理器可以將預設的排除周界距離指派給所選擇的物件。
回應於決定分類被指派給所選擇的物件(亦即,決定方塊710 =「是」),在方塊714中,處理器可以將與所選擇的物件的分類相對應的排除周界距離指派給所選擇的物件。
在決定方塊716中,處理器可以決定在圖像資料內是否存在要被分類的另一物件。若是的話(亦即,決定方塊716 =「是」),則在方塊706中,處理器可以選擇另一識別的物件,並且重複如所描述的方塊708–714的操作。當所有物件皆已被分類時(亦即,決定方塊716 =「否」),在如所描述的方法600的方塊630中,處理器可以繼續產生物件的地圖,其添加了基於每個物件分類的排除周界。
圖8圖示根據一些實施例的用於藉由監測機器人式運載工具的控制和姿態來決定控制及/或導航不可預測性和大小的示例性方法800。參照圖1A-圖8,方法800可以由處理器(例如,機器人式運載工具(例如,200)的處理設備(例如,210)內的處理器(220))來執行以偵測障礙物(例如,120)並且執行動作作為回應。
在方塊802中,處理器可以控制機器人式運載工具以維持設置的位置或遵循定義的路徑,使得可以監測機器人式運載工具在當前狀況下的可控性。在一些實施例中,這可以涉及嘗試將機器人式運載工具(例如,空中或水上運載工具)保持在設置的位置,例如懸停。例如,空中機器人式運載工具可以在飛行控制系統中使用相機資料和GPS資料,以嘗試懸停在固定海拔處的固定地理位置。例如,水上機器人式運載工具可以在操縱控制系統中使用相機資料和GPS資料,以嘗試保持在固定座標處或在水上遵循定義的路徑(例如,直線)。例如,陸基機器人式運載工具可以在導航系統中使用相機資料和GPS資料,以嘗試在道路上遵循定義的路徑(例如,直線)。進行操縱以保持在固定位置或遵循定義的路徑將要求控制系統針對作用在機器人式運載工具上的任何力(例如,來自風、波浪、降水、冰或雪(例如,針對陸基運載工具))進行調整,從而使得能夠對來自環境狀況的作用在機器人式運載工具上的力進行量測。
在方塊804中,處理器可以監測由環境狀況導致的從設置的位置或定義的路徑的偏離。在一些實施例中,處理器可以使用相機資料和GPS資料來偵測機器人式運載工具何時偏離設置的位置或定義的路徑。當作用在機器人式運載工具上的環境力超過運載工具控制系統的控制能力時,可能發生此種偏離。當環境力的不可預測的變化作用於機器人式運載工具時,在運載工具控制系統能夠進行回應並且返回到設置的位置或定義的路徑之前,可能發生暫態偏離。例如,陣風可能將空中機器人式運載工具吹得暫時遠離懸停位置,直到運載工具控制系統可以施加足夠的推力來克服風力並且返回到懸停位置為止。可以在一段時間內執行對從設置的位置或定義的路徑的偏離的此種監測,以擷取足夠的偏離事件,以在力和週期性方面表徵環境的不可預測性質。
在方塊806中,處理器可以基於在方塊804中觀察到的偏離來決定環境對控制及/或導航不可預測性的影響。在一些實施例中,這可以涉及決定在方塊804中觀察到的最大偏離。在一些實施例中,這可以涉及使用對在方塊804中觀察到的偏離的統計分析來計算最大可能偏離。
在806中進行的決定的結果可以由處理器在如所描述的方法300或600的方塊330中或方法500的方塊510中使用。
所示出和描述的各個實施例僅是作為實例來提供的,以說明請求項的各個特徵。然而,關於任何給定實施例所示出和描述的特徵未必限於相關聯的實施例,並且可以與示出和描述的其他實施例一起使用或組合。此外,請求項不意欲受任何示例實施例限制。例如,可以替換方法300、400、500、600、700及/或800的操作中的一或多個操作或者將其與另一操作組合。
前述方法描述和程序流程圖僅是作為說明性實例來提供的,而並不意欲要求或暗示各個實施例的操作必須以呈現的次序來執行。如本領域技藝人士將瞭解的是,可以以任何次序來執行前述實施例中的操作的次序。諸如「此後」、「隨後」、「接著」等的詞語並不意欲限制該等操作的次序;該等詞語用於引導讀者瀏覽對方法的描述。此外,以單數(例如使用冠詞「一(a)」、「一(an)」或「該(the)」)對請求項元素的引用不應被解釋為將該元素限制為單數。
結合本文揭示的實施例所描述的各種說明性的邏輯區塊、模組、電路和演算法操作可以實施成電子硬體、電腦軟體,或者兩者的組合。為了清楚地說明硬體和軟體的此種可互換性,上文已經對各種說明性的元件、方塊、模組、電路以及操作圍繞其功能進行了整體描述。至於此種功能是實施成硬體還是實施成軟體,取決於特定應用和施加在整體系統上的設計約束。本領域技藝人士可以針對每個特定應用,以變通的方式實施所描述的功能,但是此種實施例決策不應被解釋為造成脫離請求項的範圍。
可以利用被設計為執行本文所描述的功能的通用處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式閘陣列(FPGA)或其他可程式邏輯設備、個別閘門或電晶體邏輯、個別硬體元件,或者其任意組合來實施或執行用於實施各個實施例所描述的各種說明性的邏輯、邏輯區塊、模組以及電路的硬體。通用處理器可以是微處理器,但是在替代的方案中,處理器可以是任何一般的處理器、控制器、微控制器或狀態機。處理器亦可以實施為接收器智慧物件的組合,例如,DSP和微處理器的組合、複數個微處理器、一或多個微處理器結合DSP核心,或者任何其他此種配置。替代地,一些操作或方法可以由特定於給定功能的電路來執行。
在一或多個態樣中,所述功能可以用硬體、軟體、韌體或其任意組合來實施。若用軟體實施,則可以將該等功能作為一或多個指令或代碼儲存在非暫態電腦可讀取媒體或者非暫態處理器可讀取媒體上。本文所揭示的方法或演算法的操作可以體現在處理器可執行的軟體模組或處理器可執行指令中,其可以常駐在非暫態電腦可讀的或處理器可讀的儲存媒體上。非暫態電腦可讀的或處理器可讀的儲存媒體可以是可以由電腦或處理器存取的任何儲存媒體。舉例而言(但並非限制),此種非暫態電腦可讀的或處理器可讀的儲存媒體可以包括RAM、ROM、EEPROM、快閃記憶體、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存智慧物件,或者可以用於以指令或資料結構的形式儲存期望的程式碼並且可以由電腦存取的任何其他媒體。如本文所使用的,磁碟和光碟包括壓縮光碟(CD)、雷射光碟、光碟、數位多功能光碟(DVD)和藍光光碟,其中磁碟通常磁性地再現資料,而光碟則用雷射來光學地再現資料。上述的組合亦被包括在非暫態電腦可讀和處理器可讀取媒體的範圍之內。此外,方法或演算法的操作可以作為代碼及/或指令中的一個或任何組合,或代碼及/或指令集常駐在非暫態處理器可讀儲存媒體及/或電腦可讀取儲存媒體上,其可以併入電腦程式產品中。
提供所揭示的實施例的先前描述,以使得本領域的任何技藝人士能夠實施或使用請求項。對於本領域技藝人士來說,對該等實施例的各種修改將是顯而易見的,並且在不脫離請求項的範圍的情況下,可以將本文定義的整體原理應用於其他實施例。因此,本案內容並不意欲限於本文示出的實施例,而是被賦予與隨後的請求項和本文所揭示的原理和新穎特徵相一致的最寬範圍。
10‧‧‧環境 31‧‧‧樹 32‧‧‧樹 33‧‧‧樹 40‧‧‧人 50‧‧‧狗 60a‧‧‧接近度閾值 60b‧‧‧接近度閾值 62a‧‧‧接近度閾值 62b‧‧‧接近度閾值 64a‧‧‧接近度閾值 64b‧‧‧接近度閾值 70‧‧‧路徑 72a‧‧‧繞行/路徑 72b‧‧‧繞行/路徑 75‧‧‧遠端計算設備 80‧‧‧遠端伺服器 90‧‧‧通訊網路 110‧‧‧主體 125‧‧‧電動機 200‧‧‧空中機器人式運載工具 210‧‧‧處理設備 215‧‧‧片上系統(SoC) 220‧‧‧處理器 222‧‧‧記憶體 224‧‧‧通訊介面 225‧‧‧匯流排 226‧‧‧輸入單元 230‧‧‧非揮發性儲存記憶體 232‧‧‧通訊元件 234‧‧‧硬體介面 235‧‧‧匯流排 236‧‧‧相機 250‧‧‧螺旋槳防護裝置 300‧‧‧方法 310‧‧‧操作 320‧‧‧操作 330‧‧‧操作 340‧‧‧操作 350‧‧‧操作 360‧‧‧操作 400‧‧‧方法 410‧‧‧操作 420‧‧‧操作 430‧‧‧操作 440‧‧‧操作 450‧‧‧操作 460‧‧‧操作 500‧‧‧方法 510‧‧‧操作 520‧‧‧操作 550‧‧‧操作 560‧‧‧操作 600‧‧‧方法 610‧‧‧操作 620‧‧‧操作 630‧‧‧操作 640‧‧‧操作 650‧‧‧操作 700‧‧‧方法 702‧‧‧操作 704‧‧‧操作 706‧‧‧操作 708‧‧‧操作 710‧‧‧操作 712‧‧‧操作 714‧‧‧操作 716‧‧‧操作 800‧‧‧方法 802‧‧‧操作 804‧‧‧操作 806‧‧‧操作 D1‧‧‧距離 D2‧‧‧距離 D3‧‧‧排除半徑 D4‧‧‧距離 D6‧‧‧排除半徑 D7‧‧‧距離
被併入本文並且構成本說明書的一部分的附圖圖示本發明的示例性實施例,並且連同上文提供的概括描述和下文提供的具體實施方式一起用於解釋本發明的特徵。
圖1A是根據各個實施例的其中機器人式運載工具避開障礙物至少達取決於操作環境或狀況的可預測性的接近度閾值的環境的平面圖。
圖1B是根據各個實施例的其中機器人式運載工具避開障礙物至少達取決於操作環境或狀況的可預測 性和每個障礙物的分類和不可預測性的接近度閾值的環境的平面圖。
圖1C是根據各個實施例的圖1A的環境的平面圖,在該環境中,機器人式運載工具執行路徑規劃以避開各個障礙物達與操作環境或狀況的可預測性和每個障礙物的決定分類相對應的排除周界距離。
圖2是圖示適於在各個實施例中使用的機器人式運載工具的元件和地面站的方塊圖。
圖3是圖示根據各個實施例的用於操作機器人式運載工具以避開障礙物至少達補償操作環境或狀況的不可預測性的接近度閾值的方法的程序流程圖。
圖4是圖示根據各個實施例的用於操作機器人式運載工具以避開障礙物至少達補償環境中的物件的不可預測性的接近度閾值的方法的程序流程圖。
圖5是圖示根據各個實施例的用於操作機器人式運載工具以避開障礙物至少達補償操作環境或狀況的不可預測性和障礙物的分類的接近度閾值的方法的程序流程圖。
圖6是圖示根據各個實施例的用於操作機器人式運載工具(包括路徑規劃)以避開每個障礙物至少達補償操作環境或狀況的不可預測性和該障礙物的分類的排除周界的方法的程序流程圖。
圖7是圖示根據各個實施例的對物件進行分類並且基於每個物件的分類及/或不可預測性來將排除周界距離指派給物件的方法的程序流程圖。
圖8是圖示根據各個實施例的決定操作環境或狀況的不可預測性的方法的程序流程圖。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無
300:方法
310:操作
320:操作
330:操作
340:操作
350:操作
360:操作

Claims (29)

  1. 一種用於操作一機器人式運載工具的方法,包括以下步驟:由該機器人式運載工具的一處理器監測影響該機器人式運載工具的控制或導航的可預測性的環境狀況;由該機器人式運載工具的該處理器決定對所監測的該等環境狀況可具有的該機器人式運載工具的該控制或導航的一影響量;及回應於決定該機器人式運載工具的控制或導航被該影響量危害或可能被該影響量危害,調整在一碰撞避免系統中使用的一接近度閾值以適應對該機器人式運載工具的該控制或導航的所決定的該影響量。
  2. 如請求項1所述之方法,進一步包括以下步驟:針對變化來監測影響該機器人式運載工具的控制或導航的該等環境狀況;及回應於決定該機器人式運載工具的控制或導航不再被該等環境狀況危害,來將該接近度閾值恢復到一預設值。
  3. 如請求項1所述之方法,其中由該機器人式運載工具的該處理器決定所監測的該等環境狀況可具有的對該機器人式運載工具的該控制或導航的一影響 量之步驟包括以下步驟:操作該機器人式運載工具以保持在一設置的位置或遵循一定義的路徑;監測該機器人式運載工具的位置以偵測從該設置的位置或遵循一定義的路徑的偏離;及基於觀察到的從該設置的位置或遵循一定義的路徑的偏離來決定對該控制或導航的一影響量。
  4. 如請求項1所述之方法,進一步包括以下步驟:由該處理器從一或多個感測器獲得感測器資料,該一或多個感測器被配置為偵測該機器人式運載工具附近的一或多個物件;由該處理器基於該感測器資料來決定該機器人式運載工具附近的一或多個物件是否對該機器人式運載工具造成障礙或潛在障礙;及回應於決定該機器人式運載工具附近的一或多個物件對該機器人式運載工具造成一障礙或潛在障礙:由該處理器決定對該機器人式運載工具造成一障礙或潛在障礙的一物件的一分類;由該處理器基於對該機器人式運載工具造成一障礙或潛在障礙的該物件的該分類來進一步調整該接近度閾值;及 由該處理器使用經進一步調整的接近度閾值來控制該機器人式運載工具以用於碰撞避免。
  5. 如請求項4所述之方法,其中基於對該機器人式運載工具造成一障礙或潛在障礙的該物件的該分類來進一步調整該接近度閾值之步驟包括以下步驟:將針對影響該機器人式運載工具的控制或導航的環境狀況而調整的該接近度閾值增加與該物件的該分類和該物件的不可預測性相對應的一量。
  6. 如請求項4所述之方法,其中:決定對該機器人式運載工具造成一障礙或潛在障礙的該物件的一分類之步驟包括以下步驟:決定該物件是有生命的物件還是無生命的物件;及基於該物件的該分類來進一步調整該接近度閾值之步驟包括以下各項中的一項:回應於該物件的該分類是有生命的來增加經調整的接近度閾值,或者回應於該物件的該分類是無生命的來減小該接近度閾值。
  7. 如請求項4所述之方法,其中基於該物件的該分類來調整該碰撞避免系統中的該接近度閾值設置之步驟包括以下步驟:決定與該物件的該所決定的分類相對應的、該物件的移動不可預測性的一程度。
  8. 如請求項7所述之方法,其中決定與該物件的該所決定的分類相對應的、該物件的該移動不可預 測性的程度之步驟包括以下步驟:存取記憶體中的用於與該物件的該分類相關的該移動不可預測性的程度的一資料結構。
  9. 如請求項4所述之方法,進一步包括以下步驟:回應於決定在該機器人式運載工具附近不存在對該機器人式運載工具造成一障礙或潛在障礙的物件,將該碰撞避免系統中的該接近度閾值設置恢復到被調整為與該等環境狀況對該機器人式運載工具的該控制或導航的該影響相一致的該接近度閾值。
  10. 如請求項4所述之方法,其中決定對該機器人式運載工具造成一障礙或潛在障礙的一物件的一分類之步驟包括以下步驟:決定對該機器人式運載工具造成一障礙或潛在障礙的所有物件的一分類,該方法進一步包括以下步驟:產生對該機器人式運載工具造成一障礙或潛在障礙的所有物件的一地圖,在該地圖中,被調整為與該等環境狀況對該機器人式運載工具的該控制或導航的該影響相一致的該接近度閾值以及與每個物件相對應的基於該物件的分類的一另外的距離被添加為該物件的體積周圍的一排除周界;決定保持在所有偵測到的障礙物的該排除周界之外的一繞行;及 控制該機器人式運載工具以執行該繞行。
  11. 一種機器人式運載工具,包括:一或多個感測器,該一或多個感測器被配置為偵測該機器人式運載工具附近的一物件;及一處理器,該處理器耦合到該一或多個感測器,並且被配置有處理器可執行指令以進行以下操作:監測影響該機器人式運載工具的控制或導航的可預測性的環境狀況;決定對所監測的該等環境狀況可具有的該機器人式運載工具的該控制或導航的一影響量;及回應於決定該機器人式運載工具的控制或導航被該影響量危害或可能被該影響量危害,調整在一碰撞避免系統中使用的一接近度閾值以適應對該機器人式運載工具的該控制或導航的所決定的該影響量。
  12. 如請求項11所述之機器人式運載工具,其中該處理器進一步被配置為:針對變化來監測影響該機器人式運載工具的控制或導航的該等環境狀況;及回應於決定該機器人式運載工具的控制或導航不再被該等環境狀況危害,來將該接近度閾值恢復到一預設值。
  13. 如請求項11所述之機器人式運載工具,其中該處理器進一步被配置為藉由以下操作來決定所監測的該等環境狀況可具有的對該機器人式運載工具的該控制或導航的一影響量:操作該機器人式運載工具以保持在一設置的位置或遵循一定義的路徑;監測該機器人式運載工具的位置以偵測從該設置的位置或遵循一定義的路徑的偏離;及基於觀察到的從該設置的位置或遵循一定義的路徑的偏離來決定對該控制或導航的一影響量。
  14. 如請求項11所述之機器人式運載工具,其中該處理器進一步被配置為:從該一或多個感測器獲得感測器資料;基於該感測器資料來決定該機器人式運載工具附近的一或多個物件是否對該機器人式運載工具造成一障礙或潛在障礙;及回應於決定該機器人式運載工具附近的一或多個物件對該機器人式運載工具造成一障礙或潛在障礙:決定對該機器人式運載工具造成一障礙或潛在障礙的一物件的一分類;基於對該機器人式運載工具造成一障礙或潛在障礙的該物件的該分類來進一步調整該接近度閾值; 及使用經進一步調整的接近度閾值來控制該機器人式運載工具以用於碰撞避免。
  15. 如請求項14所述之機器人式運載工具,其中該處理器進一步被配置為藉由以下操作,來基於對該機器人式運載工具造成一障礙或潛在障礙的該物件的該分類來進一步調整該接近度閾值:將針對影響該機器人式運載工具的控制或導航的環境狀況而調整的該接近度閾值增加與該物件的該分類和該物件的不可預測性相對應的一量。
  16. 如請求項14所述之機器人式運載工具,其中該處理器進一步被配置為:藉由決定該物件是有生命的物件還是無生命的物件,來決定對該機器人式運載工具造成一障礙或潛在障礙的該物件的一分類;及藉由以下操作,來基於該物件的該分類來進一步調整該接近度閾值:回應於該物件的該分類是有生命的來增加經調整的接近度閾值,或者回應於該物件的該分類是無生命的來減小該接近度閾值。
  17. 如請求項14所述之機器人式運載工具,其中該處理器進一步被配置為藉由以下操作,來基於該物件的該分類來調整該碰撞避免系統中的該接近度閾 值設置:決定與該物件的該所決定的分類相對應的、該物件的移動不可預測性的一程度。
  18. 如請求項17所述之機器人式運載工具,其中該處理器進一步被配置為藉由以下操作來決定與該物件的該所決定的分類相對應的、該物件的該移動不可預測性的該程度:存取記憶體中的用於與該物件的該分類相關的該移動不可預測性的程度的一資料結構。
  19. 如請求項14所述之機器人式運載工具,其中該處理器進一步被配置為:回應於決定在該機器人式運載工具附近不存在對該機器人式運載工具造成一障礙或潛在障礙的物件,將該碰撞避免系統中的該接近度閾值設置恢復到被調整為與該等環境狀況對該機器人式運載工具的該控制或導航的該影響相一致的該接近度閾值。
  20. 如請求項14所述之機器人式運載工具,其中該處理器進一步被配置為:決定對該機器人式運載工具造成一障礙或潛在障礙的所有物件的一分類;產生對該機器人式運載工具造成一障礙或潛在障礙的所有物件的一地圖,在該地圖中,被調整為與該等環境狀況對該機器人式運載工具的該控制或導航的該 影響相一致的該接近度閾值以及與每個物件相對應的基於該物件的分類的一另外的距離被添加為該物件的體積周圍的一排除周界;決定保持在所有偵測到的障礙物的該排除周界之外的一繞行;及控制該機器人式運載工具以執行該繞行。
  21. 一種用於在具有一或多個感測器的一機器人式運載工具中使用的處理設備,該一或多個感測器被配置為偵測該機器人式運載工具附近的一物件,該處理設備被配置為:監測影響該機器人式運載工具的控制或導航的可預測性的環境狀況;決定對所監測的該等環境狀況可具有的該機器人式運載工具的該控制或導航的一影響量;及回應於決定該機器人式運載工具的控制或導航被該影響量危害或可能被該影響量危害,調整在一碰撞避免系統中使用的一接近度閾值以適應對該機器人式運載工具的該控制或導航的所決定的該影響量。
  22. 如請求項21所述之處理設備,其中該處理設備進一步被配置為:針對變化來監測影響該機器人式運載工具的控制或導航的該等環境狀況;及 回應於決定該機器人式運載工具的控制或導航不再被該等環境狀況危害,來將該接近度閾值恢復到一預設值。
  23. 如請求項21所述之處理設備,其中該處理設備進一步被配置為藉由以下操作來決定所監測的該等環境狀況可具有的對該機器人式運載工具的該控制或導航的一影響量:操作該機器人式運載工具以保持在一設置的位置或遵循一定義的路徑;監測該機器人式運載工具的位置以偵測從該設置的位置或遵循一定義的路徑的偏離;及基於觀察到的從該設置的位置或遵循一定義的路徑的偏離來決定對該控制或導航的一影響量。
  24. 如請求項21所述之處理設備,其中該處理設備進一步被配置為:從該一或多個感測器獲得感測器資料;基於該感測器資料來決定該機器人式運載工具附近的一或多個物件是否對該機器人式運載工具造成一障礙或潛在障礙;及回應於決定該機器人式運載工具附近的一或多個物件對該機器人式運載工具造成一障礙或潛在障礙:決定對該機器人式運載工具造成一障礙或潛在障 礙的一物件的一分類;基於對該機器人式運載工具造成一障礙或潛在障礙的該物件的該分類來進一步調整該接近度閾值;及使用經進一步調整的接近度閾值來控制該機器人式運載工具以用於碰撞避免。
  25. 如請求項24所述之處理設備,其中該處理設備進一步被配置為藉由以下操作,來基於對該機器人式運載工具造成一障礙或潛在障礙的該物件的該分類來進一步調整該接近度閾值:將針對影響該機器人式運載工具的控制或導航的環境狀況而調整的該接近度閾值增加與該物件的該分類和該物件的不可預測性相對應的一量。
  26. 如請求項24所述之處理設備,其中該處理設備進一步被配置為:藉由決定該物件是有生命的物件還是無生命的物件,來決定對該機器人式運載工具造成一障礙或潛在障礙的該物件的一分類;及藉由以下操作,來基於該物件的該分類來進一步調整該接近度閾值:回應於該物件的該分類是有生命的來增加經調整的接近度閾值,或者回應於該物件的該分類是無生命的來減小該接近度閾值。
  27. 如請求項24所述之處理設備,其中該處理設備進一步被配置為藉由以下操作,來基於該物件的該分類來調整該碰撞避免系統中的該接近度閾值設置:決定與該物件的該所決定的分類相對應的、該物件的移動不可預測性的一程度。
  28. 如請求項24所述之處理設備,其中該處理設備進一步被配置為:回應於決定在該機器人式運載工具附近不存在對該機器人式運載工具造成一障礙或潛在障礙的物件,將該碰撞避免系統中的該接近度閾值設置恢復到被調整為與該等環境狀況對該處理設備的該控制或導航的該影響相一致的該接近度閾值。
  29. 如請求項24所述之處理設備,其中該處理設備進一步被配置為:決定對該機器人式運載工具造成一障礙或潛在障礙的所有物件的一分類;產生對該機器人式運載工具造成一障礙或潛在障礙的所有物件的一地圖,在該地圖中,被調整為與該等環境狀況對該處理設備的該控制或導航的該影響相一致的該接近度閾值以及與每個物件相對應的基於該物件的分類的一另外的距離被添加為該物件的體積周圍的一排除周界;決定保持在所有偵測到的障礙物的該排除周界之外 的一繞行;及控制該機器人式運載工具以執行該繞行。
TW107144509A 2018-01-03 2018-12-11 基於環境的可預測性的可調整的物件避開接近度閾值的方法、機器人式運載工具及處理設備 TWI817962B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/860,928 US10719705B2 (en) 2018-01-03 2018-01-03 Adjustable object avoidance proximity threshold based on predictability of the environment
US15/860,928 2018-01-03

Publications (2)

Publication Number Publication Date
TW201931041A TW201931041A (zh) 2019-08-01
TWI817962B true TWI817962B (zh) 2023-10-11

Family

ID=64959415

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107144509A TWI817962B (zh) 2018-01-03 2018-12-11 基於環境的可預測性的可調整的物件避開接近度閾值的方法、機器人式運載工具及處理設備

Country Status (5)

Country Link
US (1) US10719705B2 (zh)
EP (1) EP3735624B1 (zh)
CN (1) CN111566580A (zh)
TW (1) TWI817962B (zh)
WO (1) WO2019135850A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10717435B2 (en) 2018-01-03 2020-07-21 Qualcomm Incorporated Adjustable object avoidance proximity threshold based on classification of detected objects
US10636314B2 (en) 2018-01-03 2020-04-28 Qualcomm Incorporated Adjusting flight parameters of an aerial robotic vehicle based on presence of propeller guard(s)
US10803759B2 (en) 2018-01-03 2020-10-13 Qualcomm Incorporated Adjustable object avoidance proximity threshold based on presence of propeller guard(s)
US10720070B2 (en) 2018-01-03 2020-07-21 Qualcomm Incorporated Adjustable object avoidance proximity threshold of a robotic vehicle based on presence of detected payload(s)
US11150648B2 (en) * 2018-04-03 2021-10-19 Deere & Company Overhead power cable detection and avoidance
US10991258B2 (en) * 2018-04-13 2021-04-27 Suzhou Eavision Robotic Technologies Co., Ltd. Real-time learning and detection of a border in a flight path
US11813751B2 (en) * 2019-08-30 2023-11-14 Intrinsic Innovation Llc Multi-objective robot path planning
WO2021065543A1 (ja) * 2019-09-30 2021-04-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11403948B2 (en) 2020-02-26 2022-08-02 Compal Electronics, Inc. Warning device of vehicle and warning method thereof
JP2021149464A (ja) * 2020-03-18 2021-09-27 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11250711B1 (en) * 2020-08-04 2022-02-15 Rockwell Collins, Inc. Maneuver evaluation and route guidance through environment
CN113770997A (zh) * 2021-09-06 2021-12-10 广州科语机器人有限公司 机器人及机器人越障控制方法、存储介质和设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120025962A1 (en) * 2009-01-05 2012-02-02 Gordon Toll Apparatus and Method for Defining a Safety Zone for a Vehicle
US9421869B1 (en) * 2015-09-25 2016-08-23 Amazon Technologies, Inc. Deployment and adjustment of airborne unmanned aerial vehicles
CN105980950A (zh) * 2014-09-05 2016-09-28 深圳市大疆创新科技有限公司 无人飞行器的速度控制
US9613539B1 (en) * 2014-08-19 2017-04-04 Amazon Technologies, Inc. Damage avoidance system for unmanned aerial vehicle
US20170132334A1 (en) * 2015-11-05 2017-05-11 Zoox, Inc. Simulation system and methods for autonomous vehicles
US20170242442A1 (en) * 2017-03-20 2017-08-24 GM Global Technology Operations LLC Temporal data associations for operating autonomous vehicles
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
CN107450529A (zh) * 2016-05-06 2017-12-08 优步技术公司 用于自动驾驶车辆的改进的物体检测

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4809178A (en) 1986-05-22 1989-02-28 Kabushiki Kaisha Toyota Chuo Kenkyusho Obstacle data processing system for unmanned vehicle
US5979824A (en) 1997-04-04 1999-11-09 Gagliano; Christopher Stabilizer fins-inverted for aircraft
JP3869108B2 (ja) 1998-02-23 2007-01-17 株式会社小松製作所 無人車両の干渉予測装置および無人車両の誘導走行方法
US6270038B1 (en) 1999-04-22 2001-08-07 Sikorsky Aircraft Corporation Unmanned aerial vehicle with counter-rotating ducted rotors and shrouded pusher-prop
US7335071B1 (en) 2001-07-05 2008-02-26 Maruta Electric Boatworks Llc Electronic shut off systems
KR100412674B1 (ko) 2001-09-11 2003-12-31 현대자동차주식회사 적응형 차량 안전 거리 산출을 위한 타이어-노면 마찰계수 추정 방법
US7658346B2 (en) 2005-02-25 2010-02-09 Honeywell International Inc. Double ducted hovering air-vehicle
US7946528B2 (en) 2005-04-15 2011-05-24 Urban Aeronautics, Ltd. Flight control system especially suited for VTOL vehicles
US20070080793A1 (en) 2005-10-11 2007-04-12 Blase Gaynell L Auto brake alert
US8103438B2 (en) 2007-09-26 2012-01-24 Trimble Navigation Limited Method and system for automatically directing traffic on a site
US8322648B2 (en) 2008-05-15 2012-12-04 Aeryon Labs Inc. Hovering aerial vehicle with removable rotor arm assemblies
US9043052B2 (en) 2008-05-27 2015-05-26 Wilfred So System and method for multiple vehicles moving a common payload
KR101048098B1 (ko) 2008-09-03 2011-07-11 한국과학기술원 로봇의 경로계획 장치 및 방법
EP2323890B1 (de) * 2008-09-10 2012-09-05 Continental Teves AG & Co. oHG Verfahren zur lenkunterstützung bei notmanöver
US8543265B2 (en) 2008-10-20 2013-09-24 Honeywell International Inc. Systems and methods for unmanned aerial vehicle navigation
ATE545924T1 (de) 2008-11-04 2012-03-15 Saab Ab Vermeidungsmanöver-generator für ein flugzeug
US8366037B2 (en) 2009-05-22 2013-02-05 Heliplane, Llc Towable aerovehicle system with automated tow line release
CN102712357A (zh) 2009-11-25 2012-10-03 威罗门飞行公司 一种设备的自动配置控制
DE102009047360A1 (de) * 2009-12-01 2011-06-09 Robert Bosch Gmbh Antizipative Regelung der Fahrzeugquerdynamik bei Ausweichmanövern
US9230419B2 (en) 2010-07-27 2016-01-05 Rite-Hite Holding Corporation Methods and apparatus to detect and warn proximate entities of interest
GB2483881B (en) 2010-09-22 2017-04-26 Irps Thomas A dual-function landing gear and rotor protector for a UAV
US9091762B2 (en) 2011-10-27 2015-07-28 Gulfstream Aerospace Corporation Methods and systems for avoiding a collision between an aircraft on a ground surface and an obstacle
US8761991B1 (en) 2012-04-09 2014-06-24 Google Inc. Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
EP2885684B1 (en) 2012-08-14 2018-05-09 Husqvarna AB Mower with object detection system
US9633565B2 (en) * 2012-11-15 2017-04-25 GM Global Technology Operations LLC Active safety system and method for operating the same
WO2015035428A2 (en) 2013-07-02 2015-03-12 Pons Jasper Mason Airborne scanning system and method
DE202013006196U1 (de) 2013-07-09 2014-10-13 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrerassistenzsystem für ein Kraftfahrzeug und Kraftfahrzeug
FR3020763B1 (fr) 2014-05-06 2016-06-03 Parrot Drone a voilure tournante de type quadricoptere, pourvu de pare-chocs amovibles de protection des helices
US9875661B2 (en) 2014-05-10 2018-01-23 Aurora Flight Sciences Corporation Dynamic collision-avoidance system and method
US20160016664A1 (en) 2014-07-19 2016-01-21 Umm Al-Qura University Unmanned aerial delivery device
US10561956B2 (en) 2014-07-25 2020-02-18 University Of Kansas Moveable member bearing aerial vehicles and methods of use
US10780988B2 (en) 2014-08-11 2020-09-22 Amazon Technologies, Inc. Propeller safety for automated aerial vehicles
US9925980B2 (en) 2014-09-17 2018-03-27 Magna Electronics Inc. Vehicle collision avoidance system with enhanced pedestrian avoidance
SG10201406357QA (en) 2014-10-03 2016-05-30 Infinium Robotics Pte Ltd System for performing tasks in an operating region and method of controlling autonomous agents for performing tasks in the operating region
JP6126573B2 (ja) 2014-12-25 2017-05-10 本田技研工業株式会社 衝突回避支援装置
US20160200437A1 (en) 2015-01-12 2016-07-14 Mark Andrew Ryan Tethered Flight Control System for Small Unmanned Aircraft
US20160288788A1 (en) * 2015-03-31 2016-10-06 Toyota Motor Engineering & Manufacturing North America, Inc. Gap-based speed control for automated driving system
CN104777839B (zh) * 2015-04-16 2017-06-16 北京工业大学 基于bp神经网络和距离信息的机器人自主避障方法
GB201509509D0 (en) 2015-06-01 2015-07-15 Imp Innovations Ltd Aerial devices capable of controlled flight
CN205989812U (zh) 2015-06-25 2017-03-01 瑞德利斯技术公司 多旋翼无人机
CN204776022U (zh) 2015-07-03 2015-11-18 安徽泽众安全科技有限公司 旋翼飞行器可拆卸防护装置
US9927807B1 (en) 2015-07-13 2018-03-27 ANRA Technologies, LLC Command and control of unmanned vehicles using cellular and IP mesh technologies for data convergence
US10586464B2 (en) 2015-07-29 2020-03-10 Warren F. LeBlanc Unmanned aerial vehicles
US20170043869A1 (en) 2015-08-11 2017-02-16 Intellitrax, Inc. Protection element and device for camera drone
EP3345064A4 (en) 2015-09-03 2019-05-01 Commonwealth Scientific and Industrial Research Organisation SYSTEM FOR CONTROLLING AN UNMANUFACTURED AIRCRAFT
US10019907B2 (en) 2015-09-11 2018-07-10 Qualcomm Incorporated Unmanned aerial vehicle obstacle detection and avoidance
KR101585650B1 (ko) 2015-09-11 2016-01-14 주식회사 나라항공기술 무인 비행체 보호 장치와 그의 장애물 감지 및 회피 방법
WO2017071143A1 (en) 2015-10-30 2017-05-04 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
US20170158320A1 (en) 2015-09-20 2017-06-08 Daniel Bosch Unmanned aerial system
US10139828B2 (en) 2015-09-24 2018-11-27 Uber Technologies, Inc. Autonomous vehicle operated with safety augmentation
US10618655B2 (en) 2015-10-14 2020-04-14 Flirtey Holdings, Inc. Package delivery mechanism in an unmanned aerial vehicle
WO2017063088A1 (en) 2015-10-16 2017-04-20 4Front Robotics Ltd. Rotary wing aircraft
US9914538B2 (en) 2015-11-20 2018-03-13 ZEROTECH (Shenzhen) Intelligence Robot Co., Ltd. Rotor shrouding apparatus, supporting assembly, and unmanned aerial vehicle using the same
WO2017086234A1 (ja) 2015-11-20 2017-05-26 株式会社プロドローン 無人航空機
WO2017106846A2 (en) 2015-12-18 2017-06-22 Iris Automation, Inc. Real-time visual situational awareness system
US10083616B2 (en) 2015-12-31 2018-09-25 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
AU2017206097B2 (en) 2016-01-08 2021-07-08 Pictometry International Corp. Systems and methods for taking, processing, retrieving, and displaying images from unmanned aerial vehicles
US9632507B1 (en) 2016-01-29 2017-04-25 Meritor Wabco Vehicle Control Systems System and method for adjusting vehicle platoon distances based on predicted external perturbations
US10239529B2 (en) * 2016-03-01 2019-03-26 Ford Global Technologies, Llc Autonomous vehicle operation based on interactive model predictive control
CN107170298A (zh) 2016-03-07 2017-09-15 群光电子股份有限公司 无人飞行器的防碰撞系统及其方法
US20170267234A1 (en) 2016-03-18 2017-09-21 Soterea, Inc. Systems and methods for providing collision avoidance or mitigation
IL244838A0 (en) 2016-03-30 2016-07-31 Itai Orr System and method for autonomous driving of vehicles
WO2017213767A2 (en) 2016-04-29 2017-12-14 United Parcel Service Of America, Inc. Unmanned aerial vehicle pick-up and delivery systems
US20170323256A1 (en) 2016-05-06 2017-11-09 Elwha Llc Systems and methods for adjusting freight charges for an unmanned aerial vehicle
US10362392B2 (en) 2016-05-18 2019-07-23 Georgia Tech Research Corporation Aerial acoustic sensing, acoustic sensing payload and aerial vehicle including the same
CN106240811A (zh) 2016-08-18 2016-12-21 上海未来伙伴机器人有限公司 无人机安全防护装置以及无人机安全防护方法
CN106324619A (zh) * 2016-10-28 2017-01-11 武汉大学 一种变电站巡检机器人自动避障方法
CN206096939U (zh) * 2016-10-28 2017-04-12 武汉大学 一种可自动避障的变电站巡检机器人
CN106347656A (zh) 2016-10-31 2017-01-25 上海未来伙伴机器人有限公司 一种可拆卸螺旋桨保护罩
US20180290748A1 (en) 2017-04-03 2018-10-11 Versatol, Llc Autonomous in-tunnel intelligence, surveillance, and reconnaissance drone
US10636314B2 (en) 2018-01-03 2020-04-28 Qualcomm Incorporated Adjusting flight parameters of an aerial robotic vehicle based on presence of propeller guard(s)
US10803759B2 (en) 2018-01-03 2020-10-13 Qualcomm Incorporated Adjustable object avoidance proximity threshold based on presence of propeller guard(s)
US10717435B2 (en) 2018-01-03 2020-07-21 Qualcomm Incorporated Adjustable object avoidance proximity threshold based on classification of detected objects
US10720070B2 (en) 2018-01-03 2020-07-21 Qualcomm Incorporated Adjustable object avoidance proximity threshold of a robotic vehicle based on presence of detected payload(s)
US10766610B2 (en) 2018-01-22 2020-09-08 Mattel, Inc. Unmanned aerial vehicle with propeller guard

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120025962A1 (en) * 2009-01-05 2012-02-02 Gordon Toll Apparatus and Method for Defining a Safety Zone for a Vehicle
US9613539B1 (en) * 2014-08-19 2017-04-04 Amazon Technologies, Inc. Damage avoidance system for unmanned aerial vehicle
CN105980950A (zh) * 2014-09-05 2016-09-28 深圳市大疆创新科技有限公司 无人飞行器的速度控制
US9421869B1 (en) * 2015-09-25 2016-08-23 Amazon Technologies, Inc. Deployment and adjustment of airborne unmanned aerial vehicles
US20170132334A1 (en) * 2015-11-05 2017-05-11 Zoox, Inc. Simulation system and methods for autonomous vehicles
CN107450529A (zh) * 2016-05-06 2017-12-08 优步技术公司 用于自动驾驶车辆的改进的物体检测
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
US20170242442A1 (en) * 2017-03-20 2017-08-24 GM Global Technology Operations LLC Temporal data associations for operating autonomous vehicles

Also Published As

Publication number Publication date
TW201931041A (zh) 2019-08-01
WO2019135850A1 (en) 2019-07-11
US20190205609A1 (en) 2019-07-04
US10719705B2 (en) 2020-07-21
EP3735624A1 (en) 2020-11-11
EP3735624B1 (en) 2022-02-09
CN111566580A (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
TWI817962B (zh) 基於環境的可預測性的可調整的物件避開接近度閾值的方法、機器人式運載工具及處理設備
TWI804538B (zh) 基於偵測到的有效負荷的存在性的、機器人式運載工具的可調整的物件迴避接近度閾值
TWI784102B (zh) 用於操作機器人式運載工具或用於機器人式運載工具中的方法、處理設備及非暫時性處理器可讀取儲存媒體
TWI731283B (zh) 空中機器人式運載工具、處理設備及其操作方法
TWI817961B (zh) 具有可調整的物件避開接近度閥值的空中機器人式運載工具及用於其之方法和處理設備
US10783796B2 (en) Collision management for a robotic vehicle
CN111801717A (zh) 机器人式运载工具的自动探索控制