TW201823899A - 動態地控制用於處理感測器輸出資料的參數以用於碰撞避免和路徑規劃的系統和方法 - Google Patents
動態地控制用於處理感測器輸出資料的參數以用於碰撞避免和路徑規劃的系統和方法 Download PDFInfo
- Publication number
- TW201823899A TW201823899A TW106117282A TW106117282A TW201823899A TW 201823899 A TW201823899 A TW 201823899A TW 106117282 A TW106117282 A TW 106117282A TW 106117282 A TW106117282 A TW 106117282A TW 201823899 A TW201823899 A TW 201823899A
- Authority
- TW
- Taiwan
- Prior art keywords
- sensors
- vehicle
- sensor
- processor
- view
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims description 72
- 238000013439 planning Methods 0.000 title abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims description 28
- 230000004044 response Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 description 18
- 230000004438 eyesight Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000001413 cellular effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005518 electrochemistry Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/04—Anti-collision systems
- G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U30/00—Means for producing lift; Empennages; Arrangements thereof
- B64U30/20—Rotors; Rotor supports
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
各種實施例涉及基於運載工具的速度和方向動態地控制用於處理感測器資料的參數,該等參數包括對運載工具感測器進行取樣和分析的速率。可以調節對碰撞避免及/或路徑規劃有用的感測器的資料或取樣速率,以突出來自視場涵蓋行駛方向的感測器的資料,同時限制處理來自不太可能提供對此目的有用的資料的感測器的資料。在一些實施例中,對來自特定感測器的資料進行取樣及/或處理的速率可以取決於運載工具的行駛方向和速度以及感測器的視場。可以經由將處理集中在來自查看行駛方向的感測器的資料,同時減少對來自查看其他方向的感測器的資料的處理,來減小處理需求。在一些實施例中,感測器資料取樣或處理速率可以基於碰撞風險概率而變化。
Description
本發明係關於一種動態地控制用於處理感測器輸出資料的參數以用於碰撞避免和路徑規劃的系統和方法。
諸如無人飛行器(UAV)的無人駕駛運載工具通常配置有視界感測器(例如,相機、雷達等),其能夠在感測器面對的方向上感知視場(FOV)內的環境。來自視界感測器的資料可以由自主運載工具用於經由環境進行導航,包括偵測障礙物、決定如何避開障礙物、路徑映射及/或路徑尋找。例如,自主運載工具上的立體相機能夠在立體相機面對的方向上拍攝環境的立體影像對。處理器(例如,中央處理單元(CPU)、晶片上系統(SoC)等)處理立體影像對以產生相機視場內的環境的三維(3D)深度圖。為了能夠對自主運載工具周圍所有的環境進行深度量測,可以定位多個立體相機,以使得相應視場的組合可以涵蓋運載工具周圍的360度。然而,使用多個立體相機或其他視界感測器(例如,雷達、聲納等)增大了處理器的處理需求。運載工具移動越快,就需要越快地處理感測器資料(例如,影像)以及時偵測到障礙物,從而避開該等障礙物。然而,運載工具的處理器具有有限的處理頻寬(可能有每秒幾百萬指令(MIPS))。
揭示用於基於運載工具的行駛方向、取向和速度來動態地控制用於處理從運載工具上的感測器接收的資料的一或多個參數的各種實施例,該等資料包括例如處理來自各種感測器的感測器資料的速率。各種實施例可以包括運載工具的處理器決定運載工具的速度和行駛方向,決定感測器中的每一個的視向和視場中的一或多個,以及基於運載工具的速度和行駛方向以及感測器的視向及/或視場,來控制用於處理感測器輸出資料的一或多個參數(從感測器中的每一個接收的輸出資料的資料處理速率)。
在一些實施例中,控制用於處理從感測器中的每一個接收的輸出資料的一或多個參數可以包括控制感測器中的一或多個的取樣或畫面播放速率。在一些實施例中,控制用於處理從感測器中的每一個接收的輸出資料的參數可以包括控制感測器中的一或多個的取樣或畫面播放速率,以及控制處理從感測器中的一或多個接收的輸出資料的速率。
在一些實施例中,控制用於處理從感測器中的每一個接收的輸出資料的一或多個參數可以包括判斷運載工具的速度是否超過速度閾值,回應於決定運載工具的速度超過速度閾值,針對每個感測器判斷感測器的視向是否偏離運載工具的行駛方向或感測器的視場是否不涵蓋運載工具的行駛方向;及回應於決定一或多個感測器的視向偏離運載工具的行駛方向或一或多個感測器的視場不涵蓋運載工具的行駛方向,壓制從感測器中的一或多個接收的輸出資料的資料處理速率。在一些實施例中,控制用於處理從感測器中的每一個接收的輸出資料的一或多個參數可以包括回應於決定一或多個感測器的視向與運載工具的行駛方向對準或一或多個感測器的視場涵蓋運載工具的行駛方向,維持或增大從感測器中的一或多個接收的輸出資料的資料處理速率。在一些實施例中,控制用於處理從感測器中的每一個接收的輸出資料的一或多個參數可以包括回應於決定運載工具的速度不超過速度閾值,使從感測器接收的輸出資料的資料處理速率相等。
在一些實施例中,決定運載工具的速度和行駛方向可以包括在運載工具改變行駛方向之前決定運載工具的速度和下一行駛方向。在此種實施例中,控制從感測器中的每一個接收的輸出資料的資料處理速率可以包括:基於運載工具的速度和下一行駛方向以及感測器的視向及/或視場,決定用於處理從多個感測器中的每一個接收的輸出資料的下一資料處理速率;偵測運載工具何時在下一行駛方向上移動;及回應於偵測到運載工具正在下一行駛方向上移動,以針對感測器中的每一個的下一資料處理速率處理從感測器接收的輸出資料。
一些實施例亦可以包括決定每個感測器的視向及/或視場中的一或多個碰撞風險因素,其中基於運載工具的速度和行駛方向以及感測器的視向及/或視場來控制用於處理從感測器中的每一個接收的輸出資料的速率的一或多個參數可以包括基於運載工具的速度和行駛方向以及每個感測器的視向及/或視場中的一或多個碰撞風險因素,控制從感測器中的每一個接收的輸出資料的資料處理速率。在一些實施例中,一或多個碰撞風險因素可以包括感測器的操作特性、視場內的障礙物的偵測、視場內偵測到的障礙物的速度、一或多個運載工具操縱參數、處理器的處理特性中的一或多個,或其任意組合。
一些實施例亦可以包括基於運載工具的速度和行駛方向以及感測器的視向及/或視場,控制複數個感測器中的每一個的發射功率。
在一些實施例中,感測器可以包括相機、立體相機、影像感測器、雷達感測器、聲納感測器、超音波感測器、深度感測器、主動感測器、被動感測器中的一或多個或其任意組合。在一些實施例中,運載工具是無人駕駛運載工具。在一些實施例中,無人駕駛運載工具是飛行器、陸地運載工具、天基運載工具或水上運載工具之一。
其他實施例包括運載工具及/或運載工具內的計算裝置,計算裝置包括處理器,處理器被配置有處理器可執行指令以執行上文總結的實施例方法的操作。其他實施例包括非暫態處理器可讀儲存媒體,其上儲存有處理器可執行指令,處理器可執行指令被配置為使處理器執行上文總結的實施例方法的操作。其他實施例包括運載工具及/或運載工具內的計算裝置,計算裝置包括用於執行上文總結的實施例方法的功能的構件。
將參考附圖詳細描述各種實施例。只要有可能,就在全部附圖中始終使用相同的元件符號來代表相同或相似的部分。對特定的實例和實施方式的引用是為了說明性目的,並且並不意欲限制申請專利範圍的範疇。
如此處使用的,術語「運載工具」是指各種類型的無人駕駛或有人駕駛運載工具之一。無人駕駛運載工具可以是遠端控制的、自主的或半自主的。自主(或半自主)運載工具能夠感測其環境並利用來自使用者的最小輸入自己進行導航。有人駕駛運載工具和自主運載工具可以由操作員週期性控制,因而是半自主的。適於實現各種實施例的運載工具的實例包括:無人駕駛飛行器(UAV),包括機器人或無人機;陸地運載工具,包括汽車;天基運載工具,包括太空船或航太探測器;及水上運載工具,包括基於表面或海下船舶。無人駕駛運載工具正變得在若干軍事和商業應用中更加常見。
本文中使用術語「計算裝置」代表至少裝備有處理器的電子裝置。計算裝置的實例可以包括UAV機載的UAV飛行控制及/或任務管理電腦,以及與UAV通訊的被配置為執行各種實施例的操作的遠端計算裝置。遠端計算裝置可以包括無線通訊裝置(例如,蜂巢式電話、可穿戴裝置、智慧型電話、小筆電、平板電腦、支援網際網路的蜂巢式電話、支援Wi-Fi®的電子裝置、個人資料助理(PDA)、膝上電腦等)、個人電腦以及伺服器。在各種實施例中,計算裝置可以被配置有記憶體及/或儲存器以及無線通訊能力,例如被配置為建立廣域網(WAN)連接(例如,蜂巢網路連接等)及/或區域網路(LAN)連接(例如,經由Wi-Fi®路由器通往網際網路的無線連接等)的一或多個網路收發機和天線。
揭示用於基於運載工具的行駛方向、取向和速度動態地控制用於處理從運載工具上的各種視界感測器接收的感測器資料的一或多個參數的各種實施例,該等參數包括例如接收及/或處理來自運載工具上的各種視界感測器的感測器資料的速率。各種實施例可能對於管理由自主運載工具(例如UAV)的導航或碰撞避免系統使用的感測器資料的處理尤其有用。例如,在一些實施例中,處理來自特定視界感測器的資料的速率(或頻率)可以取決於當前方向和行駛速度以及感測器感知環境(亦即,視場)的視向。可以經由將處理集中在來自視場涵蓋行駛方向的視界感測器的感測器資料上,同時減小來自視場在行駛方向之外的方向上的視界感測器的資料的速率或頻率,來減小處理需求。在一些實施例中,處理來自運載工具上的給定視界感測器的資料的速率可以基於碰撞風險概率,運載工具處理器可以根據運載工具的速度和方向以及一或多個風險因素來決定該概率,該等風險因素例如潛在威脅(例如,其他自主運載工具、導彈、鳥等)的速度。
在一些實施例中,處理器可以調節視界感測器的取樣或畫面播放速率,以便減小內部資料匯流排上傳送的資訊的量(頻寬),並使得具有固定頻寬的資料匯流排能夠傳送更多的來自視場涵蓋行駛方向的視界感測器的資料。在一些實施例中,處理器可以不控制視界感測器的取樣或畫面播放速率,而是調節或壓制分析或處理來自每個視界感測器的感測器資料的速率,因而將處理資源集中在來自視場涵蓋行駛方向的感測器的資料上。在一些實施例中,處理器可以進行此兩者,調節視界感測器的取樣或畫面播放速率,以及調節或壓制分析或處理來自每個視界感測器的感測器資料的速率。
在一些實施例中,處理器可以基於運載工具的行駛方向、取向和速度動態地控制運載工具上的各種視界感測器的發射功率。例如,一些視界感測器感知環境的程度(例如,離開感測器的距離)可以取決於視界感測器(例如,雷達感測器、聲納感測器等)的發射功率。可以經由增大視場涵蓋行駛方向的視界感測器的發射功率,同時減小視場處於不涵蓋行駛方向的方向中的感測器的發射功率,來減小功率需求。
圖1是經由可以在其中應用各種實施例的環境100進行導航的UAV 110的示意性透視圖。利用自主導航,通常存在無人駕駛運載工具110將與環境中的沿導航路線定位的結構或物體碰撞的風險。例如,UAV 110可能需要避免與沿其飛行路徑的各種障礙物碰撞,障礙物包括但不限於樹木120、建築物130、電力/電話線路140和支撐柱150。UAV 110亦可能需要避開移動的物體,例如人、鳥和其他移動的運載工具。為了應對此種風險,UAV 110可以被配置有電腦化碰撞避免系統,其感測環境100並使運載工具110執行防禦策略,以避免與運載工具110附近的障礙物碰撞。此種策略可以包括緊急制動、懸停、降低速度、改變方向、取向或其任意組合。
圖2A和圖2B分別圖示根據一些實施例的包括多個視界感測器220a、220b、220c、220d(統稱220)的UAV 200(可以對應於圖1中的UAV 110)的前視圖和平面圖。參考圖1至圖2B,在一些實施例中,UAV 200可以裝備有四個視界感測器220a、220b、220c、220d,以用於碰撞避免系統中。在一些實施例中,UAV 200可以包括多於或少於四個視界感測器220a、220b、220c、220d。在一些實施例中,視界感測器220可以包括能夠感知有限視場內的環境(例如,100)的任何類型的視界感測器。例如,視界感測器220可以包括相機(例如,立體相機)、影像感測器、雷達感測器、聲納感測器、超音波感測器、深度感測器、主動感測器、被動感測器中的一或多個或其任意組合。視界感測器可以包括不同視界感測器的組合,例如雷達加機器視覺感測器、雙筒或三筒相機系統、多光譜相機系統等。不同類型的視界感測器(亦即,使用不同技術的視界感測器)通常在視角及/或範圍靈敏度方面具有不同的視場。
在一些實施例中,視界感測器220可以附接到UAV 200的主殼體210。在一些實施例中,視界感測器220可以整合到UAV 200的主殼體210中,從而經由主殼體210中的開口暴露視界感測器220。在一些實施例中,視界感測器220a、220b、220c、220d可以彼此偏移(例如,水平、垂直或水平和垂直二者),以使得視界感測器可以面向不同視向來感知(或感測)UAV 200周圍的環境。
視界感測器220a、220b、220c、220d可以由每個視界感測器面對的方向(本文中稱為視向230)及/或每個視界感測器的視場232來表徵。視向230可以是感測器的視場232的中心線。一些視界感測器可以具有窄視場232,例如雷射雷達(稱為「光達」),在此種情況下,在各種實施例中評估的特性可以僅是視向230。一些視界感測器可以具有寬視場232,例如裝備有魚眼透鏡的相機以及具有近全向天線的雷達。
具有寬視場232(例如,如圖2B所示的90度)的視界感測器即使在視向230不與行駛方向對準時亦可以涵蓋UAV 200的行駛方向。例如,具有90度視場(如圖2B所示)的視界感測器220a、220b、220c、220d可以在視向230在行駛方向的45度內時涵蓋UAV 200的行駛方向。
在一些實施例中,視界感測器220的相應視場232可以在某種程度上交疊,從而提供環境的完整的360度視界。例如,若圖2B中所示的四個視界感測器220a、220b、220c、220d具有大於90度的視場232,則相鄰感測器的視場會在圖示構造中交疊。在一些實施例中,視界感測器220可以傾斜遠離旋翼215(例如,向上或向下),以防止旋翼215進入感測器220的相應視場。
UAV 200可以包括位於主殼體210內的機載計算裝置,其被配置為在沒有遠端操作指令(亦即,自主地)的情況下,及/或在具有例如來自操作員或遠端計算裝置(亦即,半自主地)的一些遠端操作指令或記憶體中儲存的指令的更新的情況下,飛行及/或操作UAV 200。
可以經由若干已知方式中的任一種推進UAV 200以進行飛行。例如,兩個或更多推進單元(每個包括一或多個旋翼215)可以為UAV 200和UAV 200承載的任何有效載荷提供推進力或提升力。在一些實施例中,UAV 200可以包括輪、坦克履帶或其他非航空運動機構,以使得能夠在地面上運動、在水上或水中運動及其組合。UAV 200可以由一或多個類型的電源供電,該電源例如電、化學、電-化學或其他功率儲備,其可以為推進單元、機載計算裝置及/或其他機載部件提供電力。為了容易描述和圖示,UAV 200的一些細節態樣被省略,例如佈線、訊框結構、電源、著陸柱/用具或本領域技藝人士會知道的其他特徵。
儘管UAV 200被圖示為具有四個旋翼的四軸飛行器,但UAV 200的一些實施例可以包括多於或少於四個旋翼215。此外,儘管視界感測器220a、220b、220c、220d被示為附接到UAV 200,但在一些實施例中視界感測器220a、220b、220c、220d可以附接到其他類型的運載工具,包括有人駕駛和無人駕駛運載工具。
圖3圖示用於運載工具(例如,圖1至圖2B中的UAV 110、200)的控制單元300的部件,其可以被配置為實現根據一些實施例的基於速度和行駛方向來動態地控制用於處理來自運載工具上的多個視界感測器的輸出資料的一或多個參數的方法。參考圖1至圖3,控制單元300可以包括用於為運載工具供電並控制其操作的各種電路和裝置。控制單元300可以包括處理器310、記憶體312、視界感測器輸入/輸出(I/O)處理器320、一或多個導航感測器322、導航處理器324、耦合到天線332的射頻(RF)處理器330以及電源340。視界感測器輸入/輸出(I/O)處理器320可以耦合到多個視界感測器220。
在一些實施例中,處理器310可以是特別適於實現根據一些實施例的動態地控制用於處理來自運載工具上的多個視界感測器220的感測器資料的一或多個參數(例如控制輸出資料的資料處理速率)以用於碰撞避免及/或路徑規劃的方法的專用硬體。在一些實施例中,處理器310亦可以控制運載工具的其他操作(例如,UAV 200的飛行)。在一些實施例中,處理器310可以是或包括可程式設計處理單元311,其可以利用處理器可執行指令進行程式設計以執行各種實施例的操作。在一些實施例中,處理器310可以是可程式設計微處理器、微電腦或多個處理器晶片或能夠經由軟體指令被配置為執行運載工具的多種功能的晶片。在一些實施例中,處理器310可以是專用硬體和可程式設計處理單元311的組合。
在一些實施例中,記憶體312可以儲存來自視界感測器I/O處理器320、一或多個導航感測器322、導航處理器324或其組合的處理器可執行指令及/或輸出。在一些實施例中,記憶體312可以是揮發性記憶體、非揮發性記憶體(例如,快閃記憶體)或其組合。在一些實施例中,記憶體312可以包括包括在處理器310中的內部記憶體、處理器310外部的記憶體或其組合。
處理器310、記憶體312、視界感測器I/O處理器320、一或多個導航感測器322、導航處理器324、RF處理器330和控制單元300的任何其他電子部件可以由電源340供電。在一些實施例中,電源340可以是蓄電池、太陽能電池或其他類型的能量採集電源。
在一些實施例中,處理器310可以耦合到視界感測器I/O處理器320、一或多個導航感測器322、導航處理器324或其組合。在一些實施例中,處理器310亦可以被配置為接收並處理視界感測器I/O處理器320、一或多個導航感測器322、導航處理器324或其組合的相應輸出。
處理器310可以被配置為從運載工具上安裝的視界感測器220接收輸出資料。在一些實施例中,處理器310可以從視界感測器I/O處理器320直接接收輸出資料,視界感測器I/O處理器320可以耦合到視界感測器220。在一些實施例中,處理器310可以經由記憶體312存取來自視界感測器220的輸出資料。
處理器310可以被配置為從一或多個導航感測器322及/或導航處理器324接收導航資料。處理器310可以被配置為使用此種資料以便決定運載工具的當前位置、取向、速度、速率、行駛方向或其任意組合,以及朝向期望目的地的適當路線。一或多個導航感測器322可以包括一或多個陀螺儀(典型為至少三個)、陀螺羅盤、一或多個加速度計、位置感測器或在偵測和控制運載工具姿態和運動方面有用的其他類型的感測器。耦合到導航處理器324的位置感測器可以包括全球導航衛星系統(GNSS)接收器(例如,一或多個全球定位系統(GPS)接收器),使得運載工具(例如,300)能夠使用GNSS信號決定運載工具的座標、海拔、行駛方向和速度。替代地或此外,導航處理器324可以裝備有無線電導航接收器,以用於接收導航信標或來自無線電節點的其他信號,例如導航信標(例如,超高頻(VHF)全向無線電範圍(VOR)信標)、Wi-Fi存取點、蜂巢網路基地台、無線電臺、遠端計算裝置、其他UAV等。在運載工具是UAV(例如,200)的一些實施例中,一或多個導航感測器322可以提供姿態資訊,包括運載工具的俯仰、左右搖擺和橫擺值。
在一些實施例中,處理器310可以耦合到RF處理器330,以便與遠端計算裝置350通訊。例如,在一些實施例中,RF處理器330可以被配置為經由天線332接收信號334,例如來自導航設施的信號等,並向處理器310及/或導航處理器324提供此種信號以輔助運載工具(例如,200)的操作。RF處理器330可以是僅發射或雙向收發機處理器。例如,RF處理器330可以包括單個收發機晶片或多個收發機晶片的組合,以用於發射及/或接收信號。RF處理器330可以根據所支援類型的通訊在若干射頻頻帶中的一或多個中進行操作。
遠端計算裝置350可以是多種計算裝置中的任一種,包括但不限於蜂巢式電話、智慧型電話、上網機、平板電腦、支援網際網路的蜂巢式電話、支援無線區域網路(WLAN)的電子裝置、膝上電腦、個人電腦和至少裝備有處理器和通訊資源以與RF處理器330通訊的類似電子裝置中的處理器。可以使用藍芽 ®、Wi-Fi ®或其他無線通訊協定,經由無線鏈路334從控制單元300的一或多個部件(例如,處理器310)向遠端計算裝置350發射資訊。
儘管控制單元300的各種部件在圖3中被圖示為獨立部件,但部件中的一些或全部可以一起整合在單個裝置或模組(例如晶片上系統模組)中。
圖4A圖示根據一些實施例的部分基於運載工具的速度和行駛方向來動態地控制用於處理來自運載工具(例如,UAV 200)上的多個視界感測器(例如,220a、220b、220c)的輸出資料的一或多個參數的方法400。參考圖1至圖4A,方法400的操作可以由運載工具的控制單元(例如,300)執行。
在方塊410中,處理器(例如,控制單元300中的處理器310)可以經由任何適當方式決定運載工具的速度和行駛方向。在一些實施例中,處理器可以從導航感測器(例如,322)、導航處理器324中的一或多個或兩者獲得運載工具的當前速度或行駛方向。在一些實施例中,處理器可以基於導航感測器(例如,322)、導航處理器324中的一或多個或兩者提供的導航資料(例如,位置、取向、時間等)計算運載工具的速度或行駛方向。在一些實施例中,可以將行駛方向表示為二維(2D)向量(例如,左、右、向前、向後或北、南、東、西、東北等)。在一些實施例中,可以將行駛方向表示為三維(3D)向量。
在方塊420中,處理器可以決定視界感測器(例如,220a、220b、220c、220d)中的每一個的視向(例如,230)及/或視場(例如,232)。在一些實施例中,在每個視界感測器的視向及/或視場被預配置(亦即,固定)的情況下,處理器可以存取儲存在記憶體312中的針對每個視界感測器的關於視向(例如,230)及/或視場(例如,232)的資訊。在每個視界感測器的視向(亦即,視場的中心線)受處理器(例如,310)控制或受遠端計算裝置(例如,350)遠端控制的一些實施例中,處理器(例如,310)可以經由直接從每個感測器(例如,經由視界感測器I/O處理器320)請求視向資訊,或經由從記憶體312存取每個視界感測器的視向資訊,來存取關於每個視界感測器的當前視向的資訊。在一些實施例中,可以將每個視界感測器的視向表示為二維(2D)向量(例如,左、右、向前、向後或北、南、東、西、東北等)。在一些實施例中,可以將每個視界感測器的視向表示為3D向量。在一些實施例中,可以將每個視界感測器的視場表示為中心線(亦即,感測器視向)的2D或3D向量以及定義視場範圍的繞2D或3D向量的角度。
在方塊430中,處理器(例如,310)可以基於運載工具的速度和行駛方向以及視界感測器的視向(例如,230)及/或視場(例如,232)來控制用於處理來自視界感測器(例如,220a、220b和220c)中的每一個的輸出資料的一或多個參數。在各種實施例中,可以由處理器控制的用於處理來自視界感測器的輸出資料的一或多個參數可以包括資料取樣速率、感測器畫面播放速率、處理速率(亦即,處理感測器資料的速率)及/或進行發射的視界感測器(例如,雷達、聲納等)的發射功率中的一或多個。
在一些實施例中,處理器可以壓制(或減小)從視向偏離移動的運載工具的行駛方向或視場不涵蓋移動的運載工具的行駛方向的一或多個視界感測器接收的輸出資料的資料取樣及/或處理速率。在一些實施例中,處理器可以控制視界感測器,以減小視場方向偏離運載工具的行駛方向或視場不涵蓋運載工具的行駛方向的彼等感測器的取樣或畫面播放速率。在一些實施例中,處理器可以既控制視界感測器的取樣或畫面播放速率,又基於每個感測器的視場和運載工具的行駛方向和行駛速度來調節處理感測器資料的速率。在一些實施例中,處理器可以維持或增大從視場涵蓋移動的運載工具的行駛方向的一或多個視界感測器接收的輸出資料的資料取樣及/或處理速率。於是,可以經由將處理集中在碰撞概率或可能性更大的行駛方向中或涵蓋該行駛方向的感測器資料上,同時減小來自視場不涵蓋碰撞概率/可能性更小的行駛方向的視界感測器的資料的取樣速率/頻率處理,來減小處理需求。
在可選方塊440中,處理器(例如,310)可以基於運載工具的速度和行駛方向以及視界感測器的視向(例如,230)及/或視場(例如,232)來控制視界感測器(例如,220a、220b和220c)中的每一個的發射功率。與使用較小發射功率的視界感測器相比,使用較大發射功率的視界感測器(例如,雷達感測器、聲納感測器等)可能能夠感知與感測器相距較大距離處的環境。在一些實施例中,處理器可以減小視向偏離移動的運載工具的行駛方向或視場不涵蓋移動的運載工具的行駛方向的一或多個視界感測器的發射功率。在一些實施例中,處理器可以維持或增大視向與移動的運載工具的行駛方向對準或視場涵蓋移動的運載工具的行駛方向的一或多個視界感測器的發射功率。於是,可以經由將發射功率集中到定向為朝向碰撞概率或可能性較大的行駛方向的視界感測器,同時減小定向為除行駛方向之外的方向(碰撞概率/可能性較小)的視界感測器的發射功率,來減小功率需求。
圖4B是圖示根據一些實施例的基於速度和行駛方向(亦即,圖4A的方塊430)來控制用於處理從每個視界感測器接收的輸出資料的一或多個參數(例如,資料處理速率、感測器畫面播放速率等)的方法4300的流程圖。在一些實施例中,例如,若運載工具正在特定方向快速行駛,則存在高概率或可能性該運載工具將繼續沿相同方向行駛且可能在該方向上與其他運載工具或障礙物發生碰撞。於是,在一些實施例中,處理器可以壓制或減少來自在不涵蓋當前行駛方向的方向上感知環境的視界感測器的輸出資料的處理。相反,若運載工具正在特定方向上緩慢行駛,則存在高概率或可能性該運載工具可能改變方向並且有一定概率或可能性在任一方向上可能與其他運載工具或障礙物發生碰撞。於是,在一些實施例中,處理器可以跨所有視界感測器相等地壓制或減少資料處理速率。
參考圖1至圖4B,在判斷方塊4320中,處理器(例如,310)可以判斷運載工具(例如,UAV 200)的速度是否超過速度閾值(亦即,運載工具正快速行駛)。
回應於決定運載工具的速度不超過速度閾值(亦即,判斷方塊4320=「否」),在方塊4340中處理器可以調節用於處理從視界感測器中的一或多個接收的輸出資料的一或多個參數(例如,資料處理速率、感測器畫面播放速率等)。例如,在一些實施例中,處理器可以將資料處理速率設置成對來自所有視界感測器的資料皆相同。
回應於決定運載工具的速度超過速度閾值(亦即,判斷方塊4320=「是」),在判斷方塊4360中處理器可以針對每個視界感測器判斷感測器的視向(例如,230)是否偏離運載工具的行駛方向或視場(例如,232)是否不涵蓋運載工具的行駛方向。
回應於決定一或多個視界感測器偏離運載工具的行駛方向或不涵蓋運載工具的行駛方向(亦即,判斷方塊4360=「是」),在方塊4380中處理器可以壓制感測器取樣或畫面播放速率及/或從一或多個視界感測器接收的輸出資料的資料處理速率。在一些情況下,處理器可以將偏離行駛方向的視界感測器置於低功率模式。
回應於決定一或多個視界感測器的視向與運載工具的行駛方向對準或涵蓋運載工具的行駛方向(亦即,判斷方塊4360=「否」),如方塊4400中所述的,處理器可以維持或增大感測器取樣或畫面播放速率及/或從一或多個指向運載工具的行駛方向的一或多個視界感測器接收的輸出資料的資料處理速率。
圖5A、圖5B和圖5C是圖示根據一些實施例的處理器(例如,310)基於運載工具(例如,UAV 200)的速度和行駛方向控制用於處理來自多個立體相機520a、520b、520c(其可以對應於圖2A和圖3中的視界感測器220以及圖2B中的視界感測器220a、220b、220c、220d)的輸出資料的一或多個參數(例如,感測器取樣或畫面播放速率及/或資料處理速率)的示意圖。參考圖1至圖5C,運載工具(例如,機器人、小汽車、無人機等)可以裝備有面向前的立體相機520a、面向左的立體相機520b和面向右的立體相機520c。立體相機520a、520b、520c可以直接或間接(例如,經由圖3的視界感測器I/O處理器320)耦合到處理器(例如,310),處理器經由處理相機輸出資料來執行障礙物偵測。在運載工具移動時,處理器處理立體相機520a、520b和520c中的每一個拍攝的影像訊框,以產生用於碰撞避免及/或路徑規劃中的資訊(例如,3D深度圖)。
在行駛方向上拍攝的環境的影像可能具有較高概率或可能性包含對避免碰撞有用的資訊。具體而言,在行駛方向上拍攝的影像將顯露可能是潛在碰撞威脅的靜止物體。
於是,在運載工具正在前向方向上移動時(例如,如圖5A中所示),處理器(例如,310)可以將面向左的立體相機520b和面向右的立體相機520c的相機畫面播放速率設置為比面向前的立體相機520a更低的速率(亦即,每秒接收及/或處理較少的訊框)及/或以該更低的速率處理由面向左的立體相機520b和面向右的立體相機520c所拍攝的影像訊框。例如,處理器可以將來自面向左的立體相機520b和面向右的立體相機520c的相機畫面播放速率設置為每秒五訊框(fps)的較低速率及/或以每秒五訊框(fps)的較低速率處理來自面向左的立體相機520b和面向右的立體相機520c的影像訊框,並將來自面向前的立體相機520a的相機畫面播放速率設置為每秒三十訊框(fps)的標準或提高的速率及/或以每秒三十訊框(fps)的標準或提高的速率處理來自面向前的立體相機520a的影像訊框。
在運載工具正在橫向移動時(例如,向右,如圖5B中所示),處理器可以將面向前的立體相機520a和面向左的立體相機520b的相機畫面播放速率設置為比由面向右的立體相機520c拍攝的影像訊框更低的速率及/或以該更低的速率處理由面向前的立體相機520a和面向左的立體相機520b拍攝的影像訊框。
在運載工具正在未與任何視界感測器的取向完美對準的方向上移動時(例如,在西北方向上移動,例如圖5C中),處理器可以將視場涵蓋運動方向的視界感測器的相機畫面播放速率設置為比視場不涵蓋行駛方向的感測器更高的速率及/或以該更高的速率處理由視場涵蓋運動方向的視界感測器所拍攝的影像訊框。在圖5C中所示的實例中,面向前的立體相機520a和面向左的立體相機520b具有交疊且涵蓋行駛方向的視場。因此,可以將視界感測器的相機畫面播放速率及/或處理由視界感測器拍攝的影像訊框的速率設置為比面向右的立體相機520c的拍攝速率及/或處理由面向右的立體相機520c拍攝的影像訊框的速率更大(例如,成比例更大)的速率。
參考圖1至圖5C,在一些實施方式中,例如在運載工具是飛機或水運船時,處理器(例如,310)可以接收從其他船廣播的無線電信號,該等信號指示其他船的位置、速度和方向。例如,商用飛機發射自動依從性監視-廣播(ADS-B)信號,其通知其他飛機其相應的位置、海拔、行駛方向和速度。類似地,船隻和其他水運船廣播自動辨識系統(AIS)信號,其通知其他船其相應的位置、行駛方向、速度和轉向速率。在此種系統中,每個船皆廣播其位置、速度和方向,並且每個船皆處理從其他船接收的信號,以計算碰撞概率及/或最接近點(CPA)。於是,在一些實施例中,除了調節其他視界感測器(例如,雷達)的取樣及/或處理速率之外,處理器(例如,310)可以優先處理來自存在最大碰撞風險的船的AIS或ADS-B信號。例如,若運載工具正在快速移動,處理器可以壓制從不在行駛方向上的其他船(例如,經由一或多個視界感測器220)接收的AIS或ADS-B信號的資料處理速率,同時增大從在行駛方向上的其他船接收的信號的資料處理速率。相反,若運載工具與其他船相比正在緩慢移動,可以相等地處理從所有其他船(例如,經由視界感測器220)接收的信號,因為碰撞威脅可能來自任何方向(亦即,幾乎沒有或沒有基於行駛方向的信號的優先處理)。
圖6圖示根據一些實施例的動態地控制用於處理來自運載工具上的多個視界感測器的輸出資料的一或多個參數(例如,感測器取樣或畫面播放速率及/或資料處理速率)以用於碰撞避免及/或路徑規劃的方法600。參考圖1至圖6,方法600的操作可以由運載工具的控制單元(例如,圖3中的300)執行。方法600可以包括方塊420中的操作(例如,如參考圖4A中所述)。
在方塊610中,處理器(例如,控制單元300中的處理器310)可以決定運載工具的速度和預期的下一行駛方向。例如,處理器可以獲得關於預期路線變化或預配置導航路徑的資訊,以在運載工具的行駛方向改變之前決定速度和下一行駛方向。在一些實施例中,可以從導航處理器(例如,控制單元300中的324)獲得此種資訊或知識。
在方塊620中,處理器(例如,310)可以基於運載工具的速度和下一行駛方向以及視界感測器的視向(例如,230)及/或視場(例如,232)決定用於處理從視界感測器(例如,220a、220b、220c或520a、520b、520c)中的每一個接收的輸出資料的一或多個下一參數(例如,感測器取樣或畫面播放速率及/或資料處理速率)。例如,在一些實施例中,處理器可以選擇或計算用於處理從一或多個視向偏離移動的運載工具的下一行駛方向及/或視場不涵蓋移動的運載工具的下一行駛方向的一或多個視界感測器(例如,220)接收的輸出資料的被壓制(或減小)的感測器取樣或畫面播放速率及/或資料處理速率。在一些實施例中,處理器可以維持用於處理從視向指向移動的運載工具的下一行駛方向及/或視場涵蓋移動的運載工具的下一行駛方向的一或多個視界感測器接收的輸出資料的當前感測器取樣或畫面播放速率及/或資料處理速率。在一些實施例中,處理器可以選擇或計算用於處理從視向指向移動的運載工具的下一行駛方向及/或視場涵蓋移動的運載工具的下一行駛方向的一或多個視界感測器接收的輸出資料的增大的感測器取樣或畫面播放速率及/或資料處理速率。
在方塊630中,處理器(例如,310)可以偵測運載工具是否正在下一行駛方向上移動。例如,在一些實施例中,處理器可以基於從導航感測器(例如,322)、導航處理器(例如,324)中的一或多個或兩者獲得的資訊來偵測運載工具是否正在下一行駛方向上移動。
在方塊640中,回應於偵測到運載工具正在下一行駛方向上移動,處理器(例如,310)可以根據針對視界感測器決定的用於處理感測器資料的(多個)下一參數(例如,下一感測器取樣或畫面播放速率及/或資料處理速率),來處理從每個視界感測器接收的輸出資料。經由此種方式,處理器可以安排從視向及/或視場在一或多個預期行駛方向上或與預配置路徑對準的視界感測器接收及/或處理感測器資料的速率。
圖7圖示根據一些實施例的動態地控制用於處理來自運載工具(例如,UAV 200)上的多個視界感測器(例如,圖2B和圖5A至圖5C中的220、520)的輸出資料的一或多個參數(例如,感測器取樣或畫面播放速率及/或資料處理速率)以用於碰撞避免及/或路徑規劃的方法700。例如,在一些實施例中,可以對運載工具周圍的各視界感測器(包括不同類型的視界感測器)進行取樣和處理的速率基於在視界感測器的不同視向中的每一個中的碰撞風險。在一些實施例中,在特定方向上碰撞的概率或可能性可以考慮除運載工具的速度和行駛方向之外的一或多個不同碰撞風險因素。
參考圖1至圖7,可以由運載工具的控制單元(例如,300)執行方法700的操作。方法700可以包括方塊410和420中的操作(例如,參考圖4A所描述的)。
在方塊710中,處理器(例如,310)可以決定每個感測器的視向及/或視場中的一或多個碰撞風險因素。在一些實施例中,一或多個碰撞風險因素可以包括視向中的障礙物的偵測、偵測到的視向中的障礙物的速度(例如,其他UAV、導彈、動物等的速度)、感測器的至少一個操作特性中的一或多個、一或多個運載工具操縱參數(例如,作為速度的函數的制動距離、轉向半徑等)、處理器的處理特性(例如,頻寬、可用記憶體等)或其任意組合。
在一些實施例中,例如,感測器的操作特性可以包括感測器的偵測範圍、感測器的畫面播放速率或掃瞄頻率、感測器產生的要處理的輸出資料的量(例如,來自雷達感測器的輸出資料可能比來自需要很大處理量的立體相機的3D影像資料需要更少處理)、當前條件中每個感測器的有效性(例如,雷達感測器通常在晚上和霧中操作得更好,而相機在晴天的白晝工作得更好)以及感測器偵測碰撞威脅的可靠性(例如,雷達感測器對於偵測鳥和運載工具通常是不可靠的)。
在方塊720中,處理器可以基於運載工具的速度和行駛方向以及感測器的視向及/或視場中的一或多個碰撞風險因素,來控制用於處理從感測器中的每一個接收的輸出資料的一或多個參數(例如,感測器取樣或畫面播放速率及/或資料處理速率)。在一些實施例中,處理器可以基於運載工具的速度和行駛方向以及每個感測器視向及/或視場中的一或多個碰撞風險因素,來計算碰撞的概率或可能性,隨後使用所計算的碰撞概率來決定是否壓制、增大或維持對來自特定感測器的輸出資料的感測器取樣或畫面播放速率及/或資料處理速率。
例如,若處理器(例如,310)決定運載工具正在以低速向北行駛,並且移動的障礙物正在從西向著運載工具以高速行駛,處理器(例如,310)可以壓制對從偏離移動的障礙物的方向的感測器(例如,220)接收的輸出資料的感測器取樣或畫面播放速率及/或資料處理速率,因為碰撞威脅在西向上較高。在一或多個視界感測器(例如,220)在碰撞威脅的方向上面向或感知環境的一些實施例中,處理器可以壓制對來自在當前條件(例如,晚上、白天、霧等)下偵測障礙物無效、不可靠或不夠快的一或多個感測器的資料的感測器取樣或畫面播放速率及/或處理。
提供圖示和描述的各種實施例僅僅作為實例以說明申請專利範圍的各個特徵。然而,相對於任何給定實施例圖示和描述的特徵未必限於相關聯實施例,並且可以用於圖示和描述的其他實施例或與其組合。具體而言,各種實施例不限於用於空中UAV上,並且可以實現於任何形式的UAV上,包括除飛行器之外的陸地運載工具、水運運載工具和太空運載工具。此外,申請專利範圍並不意欲由任一個示例性實施例的限制。例如,方法400、4300、600和700的操作中的一或多個可以由方法400、4300、600和700的一或多個操作替代或與之組合,反之亦然。
前述方法描述和程序流程圖僅僅作為說明性實例被提供,並且並不意欲要求或暗示各種實施例的步驟必須以所呈現的順序被執行。如本領域中的技藝人士將認識到的,前述實施例中的操作的順序可以按任何順序被執行。諸如「此後」、「隨後」、「接下來」等詞彙並非意欲限制操作的順序;該等詞彙用於引導讀者閱讀方法的描述。以單數形式(例如使用冠詞「一」或「該」)對請求項要素的任何引用不應被解釋為將要素限制於單數。
結合本文所揭示的實施例描述的各種例示性邏輯區塊、模組、電路和演算法操作可以被實現為電子硬體、電腦軟體或此兩者的組合。為了清楚地說明硬體和軟體的該可互換性,各種說明性部件、方塊、模組、電路和操作在上面通常從其功能態樣被描述。此種功能是被實現為硬體還是軟體取決於特定的應用和在整體系統上強加的設計約束。技藝人士可以用變化的方式針對每個特定的應用實現所述功能,但此種實現決定不應被解釋為引起從本發明的範疇的偏離。
用於實現結合本文揭示的態樣所描述的各種說明性邏輯、邏輯區塊、模組和電路的硬體可以利用通用處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)或其他可程式設計邏輯裝置、離散閘或電晶體邏輯、離散硬體部件或被設計成執行本文所述功能的其任意組合來實現或執行。通用處理器可以是微處理器,但在替代方案中,處理器可以是任何一般處理器、控制器、微控制器或狀態機。處理器亦可以被實現為接收器智慧物體的組合,例如,DSP和微處理器的組合、兩個或更多微處理器、一或多個微處理器結合DSP核心,或任何其他此種配置。替代地,可以由給定功能特有的電路執行一些操作或方法。
在一或多個態樣中,所述的功能可以被實現成硬體、軟體、韌體或其任何組合。若被實現成軟體,功能可以作為一或多個指令或代碼被儲存在非暫態電腦可讀取儲存媒體或非暫態處理器可讀儲存媒體上。本文揭示的方法或演算法的操作可以體現在處理器可執行軟體模組或處理器可執行指令中,其可以存在於非暫態電腦可讀或處理器可讀儲存媒體中。非暫態電腦可讀或處理器可讀儲存媒體可以是可以由電腦或處理器存取的任何儲存媒體。例如但並非限制,此種非暫態電腦可讀或處理器可讀儲存媒體可以包括RAM、ROM、EEPROM、快閃記憶體、CD-ROM或其他光碟記憶體、磁碟記憶體或其他磁儲存智慧物體,或可以用於以指令或資料結構的形式儲存期望的程式碼並且可以由電腦存取的任何其他媒體。如本文所使用的,磁碟和光碟包括壓縮光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟和藍光光碟,其中磁碟通常經由磁性方式複製資料,而光碟利用雷射經由光學方式複製資料。上面的組合亦包括在非暫態電腦可讀和處理器可讀取媒體的範圍內。此外,方法或演算法的操作可以作為代碼及/或指令之一或任何組合或集合而存在於非暫態處理器可讀儲存媒體及/或電腦可讀取儲存媒體上,該儲存媒體可以被併入電腦程式產品中。
提供所揭示的實施例的前述描述以使得本領域的任何技藝人士能夠做出或使用申請專利範圍。對該等實施例的各種修改對於本領域的技藝人士將是顯而易見的,並且本文所定義的通用原理可以應用於其他實施例而不脫離申請專利範圍的精神或範疇。於是,申請專利範圍並非意在限制於本文所示的實施例,但是要符合與所附申請專利範圍以及本文揭示的原理和新穎特徵一致的最寬範疇。
100‧‧‧環境
110‧‧‧UAV
120‧‧‧樹木
130‧‧‧建築物
140‧‧‧電力/電話線路
150‧‧‧支撐柱
200‧‧‧UAV
210‧‧‧主殼體
215‧‧‧旋翼
220‧‧‧視界感測器
220a‧‧‧視界感測器
220b‧‧‧視界感測器
220c‧‧‧視界感測器
220d‧‧‧視界感測器
230‧‧‧視向
232‧‧‧視場
300‧‧‧控制單元
310‧‧‧處理器
311‧‧‧可程式設計處理單元
312‧‧‧記憶體
320‧‧‧視界感測器輸入/輸出(I/O)處理器
322‧‧‧導航感測器
324‧‧‧導航處理器
330‧‧‧射頻(RF)處理器
332‧‧‧天線
334‧‧‧信號/無線鏈路
340‧‧‧電源
350‧‧‧遠端計算裝置
400‧‧‧方法
410‧‧‧方塊
420‧‧‧方塊
430‧‧‧方塊
440‧‧‧方塊
520a‧‧‧立體相機
520b‧‧‧立體相機
520c‧‧‧立體相機
600‧‧‧方法
610‧‧‧方塊
620‧‧‧方塊
630‧‧‧方塊
640‧‧‧方塊
700‧‧‧方法
710‧‧‧方塊
720‧‧‧方塊
4300‧‧‧方法
4320‧‧‧方塊
4340‧‧‧方塊
4360‧‧‧方塊
4380‧‧‧方塊
4400‧‧‧方塊
被併入本文並構成本說明書的一部分的附圖圖示示例性實施例,並且連同上文提供的一般描述和下文提供的具體實施方式一起用來解釋各種實施例的特徵。
圖1是經由可以在其中應用各種實施例的環境進行導航的無人駕駛飛行器(UAV)的示意性透視圖。
圖2A和圖2B分別圖示根據一些實施例的包括多個視界感測器的UAV的前視圖和平面圖。
圖3圖示用於運載工具的控制單元的部件,其可以被配置為實現根據一些實施例的動態地控制用於處理來自運載工具上多個視界感測器的輸出資料的參數以用於碰撞避免及/或路徑規劃的方法。
圖4A和圖4B圖示根據一些實施例的動態地控制用於處理來自UAV上的多個視界感測器的輸出資料的參數以用於碰撞避免及/或路徑規劃的方法。
圖5A、圖5B和圖5C是圖示根據一些實施例的處理器控制用於處理來自多個立體相機的輸出資料的參數的示意圖。
圖6圖示根據一些實施例的動態地控制用於處理來自運載工具上的多個視界感測器的輸出資料的參數以用於碰撞避免及/或路徑規劃的另一種方法。
圖7圖示根據一些實施例的動態地控制用於處理來自運載工具上的多個視界感測器的輸出資料的參數以用於碰撞避免及/或路徑規劃的另一種方法。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無
(請換頁單獨記載) 無
Claims (30)
- 一種動態地控制一運載工具上的複數個感測器的方法,包括以下步驟: 由該運載工具的一處理器決定該運載工具的一速度和一行駛方向; 由該處理器決定該複數個感測器中的每一個感測器的一視向和一視場中的一或多個;及 由該處理器基於該複數個感測器中的每一個感測器的該視向和該視場中的該一或多個以及該運載工具的該速度和該行駛方向,來控制用於處理從每個感測器接收的輸出資料的一或多個參數。
- 如請求項1所述之方法,其中控制用於處理從該複數個感測器中的每一個感測器接收的輸出資料的一或多個參數之步驟包括以下步驟:由該處理器控制該複數個感測器中的一或多個感測器的一取樣或畫面播放速率。
- 如請求項2所述之方法,其中控制用於處理從該複數個感測器中的每一個感測器接收的輸出資料的一或多個參數之步驟亦包括以下步驟:由該處理器控制對從該複數個感測器中的一或多個感測器接收的輸出資料進行處理的一速率。
- 如請求項1所述之方法,其中基於該複數個感測器中的每一個感測器的該視向和該視場中的該一或多個以及該運載工具的該速度和該行駛方向來控制用於處理從該感測器接收的輸出資料的一或多個參數之步驟包括以下步驟: 由該處理器判斷該運載工具的該速度是否超過一速度閾值; 回應於決定該運載工具的該速度超過該速度閾值,由該處理器針對該複數個感測器中的每一個感測器判斷該感測器的該視向是否偏離該運載工具的該行駛方向或該感測器的該視場是否不涵蓋該運載工具的該行駛方向;及 回應於決定該複數個感測器中的該一或多個感測器的該視向偏離該運載工具的該行駛方向或該複數個感測器中的該一或多個感測器的該視場不涵蓋該運載工具的該行駛方向,由該處理器壓制從該複數個感測器中的一或多個感測器接收的輸出資料的一資料處理速率。
- 如請求項4所述之方法,亦包括以下步驟: 回應於決定該複數個感測器中的該一或多個感測器的該視向與該運載工具的該行駛方向對準或該複數個感測器中的該一或多個感測器的該視場涵蓋該運載工具的該行駛方向,由該處理器維持或增大從該複數個感測器中的一或多個感測器接收的輸出資料的該資料處理速率。
- 如請求項4所述之方法,亦包括以下步驟: 回應於決定該運載工具的該速度不超過該速度閾值,由該處理器使從該複數個感測器接收的輸出資料的該資料處理速率相等。
- 如請求項1所述之方法,亦包括以下步驟: 在該運載工具的該行駛方向改變之前,由該處理器決定該運載工具的該速度和一下一行駛方向; 由該處理器基於該複數個感測器中的每一個感測器的該視向和該視場中的該一或多個以及該運載工具的該速度和該下一行駛方向,來決定用於處理從該感測器接收的該輸出資料的一下一資料處理速率; 由該處理器偵測該運載工具是否正在該下一行駛方向上移動;及 回應於偵測到該運載工具正在該下一行駛方向上移動,由該處理器以該感測器的該下一資料處理速率對從該複數個感測器中的每一個感測器接收的該輸出資料進行處理。
- 如請求項1所述之方法,其中該複數個感測器包括相機、立體相機、影像感測器、雷達感測器、聲納感測器、超音波感測器、深度感測器、主動感測器、被動感測器中的一或多個,或其任意組合。
- 如請求項1所述之方法,亦包括以下步驟: 由該處理器決定在每個感測器的該視向和該視場的該一或多個中的一或多個碰撞風險因素, 其中基於該複數個感測器中的每一個感測器的該視向和該視場中的該一或多個以及該運載工具的該速度和該行駛方向來控制用於處理從該感測器接收的輸出資料的一或多個參數之步驟包括以下步驟:由該處理器基於該運載工具的該速度和該行駛方向以及在該複數個感測器中的每一個感測器的該視向和該視場的該一或多個中的該一或多個碰撞風險因素,來控制從每個感測器接收的輸出資料的一資料處理速率。
- 如請求項9所述之方法,其中該一或多個碰撞風險因素包括該感測器的至少一個操作特性、該視場內的一障礙物的偵測、偵測到的該視場內的一障礙物的一速度、一或多個運載工具操縱參數、該處理器的一處理特性中的一或多個,或其任意組合。
- 如請求項1所述之方法,亦包括以下步驟: 由該處理器基於該複數個感測器中的每一個感測器的該視向和該視場中的該一或多個以及該運載工具的該速度和該行駛方向,來控制該感測器的一發射功率。
- 如請求項1所述之方法,其中該運載工具是一無人駕駛運載工具。
- 如請求項12所述之方法,其中該無人駕駛運載工具是一飛行器、一陸地運載工具、一天基運載工具或一水上運載工具之一。
- 一種用於一運載工具的計算裝置,包括: 一處理器,其被配置有處理器可執行指令,以: 決定該運載工具的一速度和一行駛方向; 決定該運載工具上的複數個感測器中的每一個感測器的一視向和一視場中的一或多個;及 基於該複數個感測器中的每一個感測器的該視向和該視場中的該一或多個以及該運載工具的該速度和該行駛方向,來控制用於處理從該感測器接收的輸出資料的一或多個參數。
- 如請求項14所述之計算裝置,其中該處理器亦被配置有處理器可執行指令,以經由控制該複數個感測器中的一或多個感測器的一取樣或畫面播放速率,來控制用於處理從該複數個感測器中的每一個感測器接收的輸出資料的一或多個參數。
- 如請求項15所述之計算裝置,其中該處理器亦被配置有處理器可執行指令,以經由如下方式控制從該複數個感測器中的每一個感測器接收的該輸出資料的一資料處理速率: 控制對從該複數個感測器中的一或多個感測器接收的輸出資料進行處理的一速率。
- 如請求項14所述之計算裝置,其中該處理器亦被配置有處理器可執行指令,以: 判斷該運載工具的該速度是否超過一速度閾值; 回應於決定該運載工具的該速度超過該速度閾值,針對每個感測器判斷該感測器的該視向是否偏離該運載工具的該行駛方向或該感測器的該視場是否不涵蓋該運載工具的該行駛方向;及 回應於決定該複數個感測器中的該一或多個感測器的該視向偏離該運載工具的該行駛方向或該複數個感測器中的該一或多個感測器的該視場不涵蓋該運載工具的該行駛方向,壓制從該等感測器中的一或多個感測器接收的該輸出資料的一資料處理速率。
- 如請求項17所述之計算裝置,其中該處理器亦被配置有處理器可執行指令,以: 回應於決定該複數個感測器中的該一或多個感測器的該視向與該運載工具的該行駛方向對準或該複數個感測器中的該一或多個感測器的該視場涵蓋該運載工具的該行駛方向,維持或增大從該複數個感測器中的一或多個感測器接收的該輸出資料的該資料處理速率。
- 如請求項17所述之計算裝置,其中該處理器亦被配置有處理器可執行指令,以: 回應於決定該運載工具的該速度不超過該速度閾值,使從該複數個感測器接收的該輸出資料的該資料處理速率相等。
- 如請求項14所述之計算裝置,其中該處理器亦被配置有處理器可執行指令,以: 在該運載工具的該行駛方向改變之前,決定該運載工具的該速度和一下一行駛方向; 基於該複數個感測器中的每一個感測器的該視向和該視場中的該一或多個以及該運載工具的該速度和該下一行駛方向,來決定用於處理從每個感測器接收的該輸出資料的一下一資料處理速率; 偵測該運載工具是否正在該下一行駛方向上移動;及 回應於偵測到該運載工具正在該下一行駛方向上移動,以該複數個感測器中的每一個感測器的該下一資料處理速率對從該感測器接收的該輸出資料進行處理。
- 如請求項14所述之計算裝置,其中該處理器亦被配置有處理器可執行指令,以: 決定每個感測器的該視向和該視場的該一或多個中的一或多個碰撞風險因素;及 基於該運載工具的該速度和該行駛方向以及該複數個感測器中的每一個感測器的該視向和該視場的該一或多個中的該一或多個碰撞風險因素,控制用於處理從每個感測器接收的輸出資料的一或多個參數。
- 如請求項21所述之計算裝置,其中該一或多個碰撞風險因素包括該感測器的至少一個操作特性、該視場內的一障礙物的偵測、偵測到的該視場內的一障礙物的一速度、一或多個運載工具操縱參數、該處理器的一處理特性中的一或多個,或其任意組合。
- 如請求項14所述之計算裝置,其中該處理器亦被配置有處理器可執行指令,以: 基於該複數個感測器中的每一個感測器的該視向和該視場中的該一或多個以及該運載工具的該速度和該行駛方向,來控制每個感測器的一發射功率。
- 一種非暫態處理器可讀儲存媒體,其上儲存有處理器可執行指令,該等處理器可執行指令被配置為使一運載工具的一計算裝置的一處理器執行操作,該等操作包括: 決定該運載工具的一速度和一行駛方向; 決定該運載工具上的複數個感測器中的每一個感測器的一視向和一視場中的一或多個;及 基於該複數個感測器中的每一個感測器的該視向和該視場中的該一或多個以及該運載工具的該速度和該行駛方向,來控制用於處理從每個感測器接收的輸出資料的一或多個參數。
- 如請求項24所述之非暫態處理器可讀儲存媒體,其中所儲存的該等處理器可執行指令被配置為使該處理器執行操作,以使得控制用於處理從該複數個感測器中的每一個感測器接收的輸出資料的一或多個參數包括控制該複數個感測器中的一或多個感測器的一取樣或畫面播放速率。
- 如請求項25所述之非暫態處理器可讀儲存媒體,其中所儲存的該等處理器可執行指令被配置為使該處理器執行操作,以使得控制用於處理從該複數個感測器中的每一個感測器接收的速率輸出資料的一或多個參數亦包括控制對從該複數個感測器中的一或多個感測器接收的輸出資料進行處理的一速率。
- 如請求項24所述之非暫態處理器可讀儲存媒體,其中所儲存的該等處理器可執行指令被配置為使該處理器執行操作,該等操作亦包括: 判斷該運載工具的該速度是否超過一速度閾值; 回應於決定該運載工具的該速度超過該速度閾值,針對每個感測器判斷該感測器的該視向是否偏離該運載工具的該行駛方向或該感測器的該視場是否不涵蓋該運載工具的該行駛方向;及 回應於決定該複數個感測器中的該一或多個感測器的該視向偏離該運載工具的該行駛方向或該複數個感測器中的該一或多個感測器的該視場不涵蓋該運載工具的該行駛方向,壓制從該感測器中的一或多個感測器接收的該輸出資料的一資料處理速率。
- 如請求項24所述之非暫態處理器可讀儲存媒體,其中所儲存的該等處理器可執行指令被配置為使該處理器執行操作,該等操作亦包括: 決定每個感測器的該視向和該視場的該一或多個中的一或多個碰撞風險因素;及 基於該運載工具的該速度和該行駛方向以及該複數個感測器中的每一個感測器的該視場內的該一或多個碰撞風險因素,控制從每個感測器接收的輸出資料的一資料處理速率。
- 如請求項24所述之非暫態處理器可讀儲存媒體,其中所儲存的該等處理器可執行指令被配置為使該處理器執行操作,該等操作亦包括: 基於該複數個感測器中的每一個感測器的該視向和該視場中的該一或多個以及該運載工具的該速度和該行駛方向,來控制該感測器的一發射功率。
- 一種用於一運載工具的計算裝置,包括: 用於決定該運載工具的一速度和一行駛方向的構件; 用於決定該運載工具上的複數個感測器中的每一個感測器的一視向和一視場中的一或多個的構件;及 用於基於該複數個感測器中的每一個感測器的該視向和該視場中的該一或多個以及該運載工具的該速度和該行駛方向來控制用於處理從每個感測器接收的輸出資料的一或多個參數的構件。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/224,904 US10126722B2 (en) | 2016-08-01 | 2016-08-01 | System and method of dynamically controlling parameters for processing sensor output data for collision avoidance and path planning |
US15/224,904 | 2016-08-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201823899A true TW201823899A (zh) | 2018-07-01 |
Family
ID=59021579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW106117282A TW201823899A (zh) | 2016-08-01 | 2017-05-25 | 動態地控制用於處理感測器輸出資料的參數以用於碰撞避免和路徑規劃的系統和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10126722B2 (zh) |
EP (1) | EP3491474B1 (zh) |
CN (1) | CN109478068B (zh) |
TW (1) | TW201823899A (zh) |
WO (1) | WO2018026420A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020147482A1 (zh) * | 2019-01-15 | 2020-07-23 | 北京百度网讯科技有限公司 | 数据采集方法、装置、设备及计算机可读存储介质 |
CN114667460A (zh) * | 2018-12-03 | 2022-06-24 | 动态Ad有限责任公司 | 使用可移动传感器改善运载工具操作的系统和方法 |
TWI818361B (zh) * | 2021-11-24 | 2023-10-11 | 國立虎尾科技大學 | 具控制權轉移和備用航空感測器的雙自動駕駛系統 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11328403B2 (en) * | 2020-01-22 | 2022-05-10 | Gary B. Levin | Apparatus and method for onboard stereoscopic inspection of vehicle tires |
CN109791414A (zh) * | 2016-09-26 | 2019-05-21 | 深圳市大疆创新科技有限公司 | 基于视觉着陆的方法和系统 |
WO2018095278A1 (zh) * | 2016-11-24 | 2018-05-31 | 腾讯科技(深圳)有限公司 | 飞行器的信息获取方法、装置及设备 |
KR20180065756A (ko) * | 2016-12-08 | 2018-06-18 | 삼성전자주식회사 | 무인비행체를 제어하는 전자 장치 및 그 제어 방법 |
WO2018119555A1 (zh) * | 2016-12-26 | 2018-07-05 | 深圳市大疆创新科技有限公司 | 无人机 |
US11074463B2 (en) * | 2017-05-02 | 2021-07-27 | Qualcomm Incorporated | Dynamic sensor operation and data processing based on motion information |
JP6522068B2 (ja) * | 2017-08-25 | 2019-05-29 | 三菱電機株式会社 | 道路形状予測装置、他車両進路予測装置、及び運転補助装置 |
US10783796B2 (en) * | 2017-09-01 | 2020-09-22 | Qualcomm Incorporated | Collision management for a robotic vehicle |
US11467590B2 (en) | 2018-04-09 | 2022-10-11 | SafeAI, Inc. | Techniques for considering uncertainty in use of artificial intelligence models |
US11625036B2 (en) | 2018-04-09 | 2023-04-11 | SafeAl, Inc. | User interface for presenting decisions |
US11561541B2 (en) * | 2018-04-09 | 2023-01-24 | SafeAI, Inc. | Dynamically controlling sensor behavior |
US11169536B2 (en) | 2018-04-09 | 2021-11-09 | SafeAI, Inc. | Analysis of scenarios for controlling vehicle operations |
US11037453B2 (en) | 2018-10-12 | 2021-06-15 | Aurora Flight Sciences Corporation | Adaptive sense and avoid system |
US11455336B2 (en) | 2019-03-21 | 2022-09-27 | Performance Drone Works Llc | Quadcopter hardware characterization and simulation |
US11721235B2 (en) * | 2019-03-21 | 2023-08-08 | Performance Drone Works Llc | Quadcopter sensor noise and camera noise recording and simulation |
US11409291B2 (en) * | 2019-03-21 | 2022-08-09 | Performance Drone Works Llc | Modular autonomous drone |
US11312506B2 (en) | 2019-03-21 | 2022-04-26 | Performance Drone Works Llc | Autonomous quadcopter piloting controller and debugger |
CN109787917A (zh) * | 2019-04-03 | 2019-05-21 | 武汉欣海远航科技研发有限公司 | 一种船用ais接力设备及增程方法 |
CN110225249B (zh) * | 2019-05-30 | 2021-04-06 | 深圳市道通智能航空技术有限公司 | 一种对焦方法、装置、航拍相机以及无人飞行器 |
JP7232166B2 (ja) * | 2019-10-18 | 2023-03-02 | 本田技研工業株式会社 | 予測装置、車両システム、予測方法、およびプログラム |
KR20210074937A (ko) * | 2019-12-12 | 2021-06-22 | 현대자동차주식회사 | 차량 및 그 제어방법 |
CN113848702A (zh) * | 2020-06-26 | 2021-12-28 | 图森有限公司 | 自适应传感器控制 |
US20230324529A1 (en) * | 2020-09-03 | 2023-10-12 | The Regents Of The University Of California | Temporally and spectrally adaptive sonar for autonomous vehicle navigation |
GB2599945B (en) | 2020-10-16 | 2022-12-28 | British Telecomm | Unmanned aerial vehicle |
US20230111391A1 (en) * | 2021-10-07 | 2023-04-13 | Here Global B.V. | Method, apparatus, and computer program product for identifying wrong-way driven vehicles |
WO2023149963A1 (en) | 2022-02-01 | 2023-08-10 | Landscan Llc | Systems and methods for multispectral landscape mapping |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3747866B2 (ja) | 2002-03-05 | 2006-02-22 | 日産自動車株式会社 | 車両用画像処理装置 |
US6975246B1 (en) | 2003-05-13 | 2005-12-13 | Itt Manufacturing Enterprises, Inc. | Collision avoidance using limited range gated video |
JP2007172035A (ja) * | 2005-12-19 | 2007-07-05 | Fujitsu Ten Ltd | 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法 |
JP4748122B2 (ja) * | 2007-06-28 | 2011-08-17 | 日産自動車株式会社 | 車線逸脱防止装置 |
JP2009205386A (ja) | 2008-02-27 | 2009-09-10 | Nikon Corp | 車載カメラシステムおよびその制御方法 |
KR100880115B1 (ko) | 2008-04-21 | 2009-01-23 | 주식회사 에지텍 | 차량으로부터 독립된 차량용 후방 및 측방영상 무선송수신장치 및 그 방법 |
US20100188932A1 (en) | 2009-01-28 | 2010-07-29 | Darwin Mitchel Hanks | Low Power Sensor System |
JP4733756B2 (ja) | 2009-04-28 | 2011-07-27 | 本田技研工業株式会社 | 車両周辺監視装置 |
IL201682A0 (en) * | 2009-10-22 | 2010-11-30 | Bluebird Aero Systems Ltd | Imaging system for uav |
US8330362B2 (en) * | 2010-07-22 | 2012-12-11 | Chiu-Min Lin | Lamp having mounting slot |
US8509982B2 (en) | 2010-10-05 | 2013-08-13 | Google Inc. | Zone driving |
US9091762B2 (en) * | 2011-10-27 | 2015-07-28 | Gulfstream Aerospace Corporation | Methods and systems for avoiding a collision between an aircraft on a ground surface and an obstacle |
US20130278715A1 (en) | 2012-03-16 | 2013-10-24 | Mark Nutsch | System and method for discreetly collecting 3d immersive/panoramic imagery |
US20130321627A1 (en) * | 2012-05-31 | 2013-12-05 | John C. Turn, JR. | Road departure sensing and intelligent driving systems and methods |
US9116233B2 (en) * | 2012-07-10 | 2015-08-25 | Broadcom Corporation | Power mode control for sensors |
US9097800B1 (en) | 2012-10-11 | 2015-08-04 | Google Inc. | Solid object detection system using laser and radar sensor fusion |
JP6147844B2 (ja) * | 2013-02-19 | 2017-06-14 | 京セラ株式会社 | 移動通信システム、基地局、ユーザ端末及びプロセッサ |
EP3808634A1 (en) | 2013-12-04 | 2021-04-21 | Mobileye Vision Technologies Ltd. | Navigating a vehicle to pass another vehicle |
US9552073B2 (en) | 2013-12-05 | 2017-01-24 | Pixart Imaging Inc. | Electronic device |
JP6379628B2 (ja) * | 2014-04-22 | 2018-08-29 | 三菱自動車工業株式会社 | 無人搬送車 |
US9098753B1 (en) * | 2014-04-25 | 2015-08-04 | Google Inc. | Methods and systems for object detection using multiple sensors |
US10444930B2 (en) | 2014-08-05 | 2019-10-15 | Lg Electronics Inc. | Head-mounted display device and control method therefor |
US9781378B2 (en) * | 2014-09-09 | 2017-10-03 | The Boeing Company | Coordinating image sensing with motion |
WO2016094568A1 (en) | 2014-12-10 | 2016-06-16 | Sixense Entertainment, Inc. | System and method for assisting a user in remaining in a selected area while the user is in a virtual reality environment |
US20180032042A1 (en) | 2016-08-01 | 2018-02-01 | Qualcomm Incorporated | System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data |
-
2016
- 2016-08-01 US US15/224,904 patent/US10126722B2/en active Active
-
2017
- 2017-05-23 WO PCT/US2017/033989 patent/WO2018026420A1/en unknown
- 2017-05-23 CN CN201780046683.6A patent/CN109478068B/zh active Active
- 2017-05-23 EP EP17728713.3A patent/EP3491474B1/en active Active
- 2017-05-25 TW TW106117282A patent/TW201823899A/zh unknown
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114667460A (zh) * | 2018-12-03 | 2022-06-24 | 动态Ad有限责任公司 | 使用可移动传感器改善运载工具操作的系统和方法 |
WO2020147482A1 (zh) * | 2019-01-15 | 2020-07-23 | 北京百度网讯科技有限公司 | 数据采集方法、装置、设备及计算机可读存储介质 |
US11548516B2 (en) | 2019-01-15 | 2023-01-10 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Data acquisition method, apparatus, device and computer-readable storage medium |
TWI818361B (zh) * | 2021-11-24 | 2023-10-11 | 國立虎尾科技大學 | 具控制權轉移和備用航空感測器的雙自動駕駛系統 |
Also Published As
Publication number | Publication date |
---|---|
US20180032040A1 (en) | 2018-02-01 |
EP3491474A1 (en) | 2019-06-05 |
CN109478068B (zh) | 2021-10-15 |
WO2018026420A1 (en) | 2018-02-08 |
EP3491474B1 (en) | 2020-05-27 |
CN109478068A (zh) | 2019-03-15 |
US10126722B2 (en) | 2018-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109478068B (zh) | 动态地控制运载工具的方法、装置和存储介质 | |
US20180032042A1 (en) | System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data | |
US9954992B2 (en) | Mobile device enabled robotic system | |
CN110192122B (zh) | 用于无人可移动平台上的雷达控制的系统和方法 | |
Kumar et al. | Recent developments on target tracking problems: A review | |
US9632509B1 (en) | Operating a UAV with a narrow obstacle-sensor field-of-view | |
US10133281B1 (en) | Leading drone system | |
US11427218B2 (en) | Control apparatus, control method, program, and moving body | |
US11906983B2 (en) | System and method for tracking targets | |
EP3619584B1 (en) | Underwater leading drone system | |
US10254767B1 (en) | Determining position or orientation relative to a marker | |
ES2883847T3 (es) | Prevención de colisiones de vehículos | |
US20180321681A1 (en) | Leading drone method | |
JP2019525366A (ja) | 自律形ビークル用の物体検出・回避システム | |
CN116830057A (zh) | 无人机(uav)集群控制 | |
WO2019022910A2 (en) | SYSTEM AND METHOD FOR DYNAMICALLY CONTROLLING PARAMETERS FOR PROCESSING SENSOR OUTPUT DATA | |
US11204248B2 (en) | Navigating using electromagnetic signals | |
WO2018214121A1 (en) | Method and apparatus for controlling unmanned aerial vehicle | |
WO2023219025A1 (en) | Information processing method, mobile body, communication device, and computer program | |
Nyasulu et al. | Comparison study of low-cost obstacle sensing solutions for Unmanned Aerial Vehicles in wildlife scenery | |
US20220290996A1 (en) | Information processing device, information processing method, information processing system, and program | |
JP2023128381A (ja) | 飛行装置、飛行制御方法及びプログラム | |
CN114003056A (zh) | 无人机避障方法、装置、无人机及计算机可读存储介质 |