TW201728876A - 自主視覺導航 - Google Patents

自主視覺導航 Download PDF

Info

Publication number
TW201728876A
TW201728876A TW105137353A TW105137353A TW201728876A TW 201728876 A TW201728876 A TW 201728876A TW 105137353 A TW105137353 A TW 105137353A TW 105137353 A TW105137353 A TW 105137353A TW 201728876 A TW201728876 A TW 201728876A
Authority
TW
Taiwan
Prior art keywords
collision
user input
code
map
robot
Prior art date
Application number
TW105137353A
Other languages
English (en)
Inventor
卡西米爾 馬修 韋爾茲斯基
巴爾迪亞 佛拉 貝哈巴迪
莎拉 佩吉 吉伯森
阿里亞克巴爾 艾格哈默哈麥得
索拉夫 阿葛沃爾
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201728876A publication Critical patent/TW201728876A/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Acoustics & Sound (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本發明揭示一種用於一機器人之視覺導航的方法，該方法包括整合一深度地圖與定位資訊以產生一三維(3D)地圖。該方法亦包括基於該3D地圖、該定位資訊及/或一使用者輸入進行運動規劃。當經由該使用者輸入接收到之一軌跡及/或一速度經預測為引起一碰撞時，該運動規劃更動控制該使用者輸入。

Description

自主視覺導航
本發明之某些態樣大體上係關於機器人技術，且更明確而言係關於基於機載視覺之定位、地圖繪製及規劃。
機器人可經設計以執行具有高度自主性之行為或任務。機器人可使用不同模組及組件用於執行各種任務。舉例而言，機器人可具有用於定位、地圖繪製及規劃之不同組件。定位係針對解決判定機器人位於何處之問題。機器人接收來自其感測器之輸入以理解機器人位於其環境內之何處。 地圖繪製係針對建構環境之表示。舉例而言，地圖繪製用以判定環境之哪一部分被佔據且哪些部分係自由空間。此外，地圖繪製可防止機器人與障礙物碰撞。 規劃係針對判定在機器人知曉環境之佈局之後如何執行任務及機器人將如何自點A行進至B。即，在一些狀況下，在自當前位置移動至目的地之前，需要自在規劃階段期間評估之多個候選軌跡中判定具有最低成本的至目的地之軌跡(例如，路徑)。
在本發明之一個態樣中，揭示一種用於機器人之視覺導航的方法。該方法包括整合深度地圖與定位資訊以產生三維(3D)地圖。該方法亦包括基於3D地圖、定位資訊或使用者輸入進行運動規劃。當使用者輸入經預測為引起碰撞時，運動規劃更動控制使用者輸入。 本發明之另一態樣係針對一種包括用於整合深度地圖與定位資訊以產生三維地圖之構件的設備。該設備亦包括用於基於3D地圖、定位資訊或使用者輸入進行運動規劃的構件。當使用者輸入經預測為引起碰撞時，運動規劃更動控制使用者輸入。 在本發明之另一態樣中，揭示一種上面記錄有非暫時性程式碼之非暫時性電腦可讀媒體。用於機器人之視覺導航的程式碼由處理器執行且包括用以整合深度地圖與定位資訊以產生三維地圖之程式碼。程式碼亦包括基於3D地圖、定位資訊或使用者輸入進行運動規劃的程式碼。當使用者輸入經預測為引起碰撞時，運動規劃更動控制使用者輸入。 本發明之另一態樣係針對一種具有一記憶體單元及耦接至該記憶體單元之一個或多個處理器的設備。處理器經組態以整合深度地圖與定位資訊以產生三維地圖。處理器亦經組態以基於3D地圖、定位資訊或使用者輸入進行運動規劃。當使用者輸入經預測為引起碰撞時，運動規劃更動控制使用者輸入。 下文將描述本發明之額外特徵及優點。熟習此項技術者應瞭解，可易於利用本發明作為基礎來修改或設計其他結構用於實現本發明的相同目的。熟習此項技術者亦應意識到此等等效構造並不脫離如在所附申請專利範圍中所闡述的本發明之教示內容。當結合附圖考慮時，關於本發明之組織及操作方法的被認為是本發明之特性的新穎特徵與另外目標及優點一起將自以下描述內容得到更好理解。然而，應明確地理解諸圖中之每一者是僅出於說明及描述之目的而提供並且並非意欲作為對本發明之限制的定義。
相關申請案之交叉參考 本申請案根據35U.S.C.§119(e)主張2015年12月15日申請之題為「AUTONOMOUS VISUAL NAVIGATION」之美國臨時專利申請案第62/267,886號的權利，該案之揭示內容全文明確地以引用的方式併入本文中。 下文結合附圖所闡述之詳細描述意欲作為對各種組態之描述，且不意欲表示於可實踐本文中所描述之概念的唯一組態。出於提供對各種概念之透徹理解之目的，詳細描述包括特定細節。然而，對於熟習此項技術者而言將顯而易見的是可在無此等特定細節之情況下實踐此等概念。在一些個例中，以方塊圖形式展示熟知結構及組件，以便避免混淆此等概念。 基於教示內容，熟習此項技術者應瞭解本發明之範疇意欲涵蓋本發明之任一態樣，不論獨立於本發明之任何其他態樣實施抑或與本發明之任何其他態樣組合。舉例而言，可使用所闡述之任何數目個態樣來實施一設備或實踐一方法。此外，本發明之範疇意欲涵蓋使用其他結構、功能性，或除所闡述之本發明之各種態樣之外的或不同於所闡述之本發明之各種態樣的結構與功能性來實踐的此類設備或方法。應理解，所揭示之本發明之任何態樣可由一技術方案之一或多個要素來體現。 詞語「例示性」在本文中用以意謂「充當實例、個例或說明」。不必將本文中描述為「例示性」之任何態樣解釋為相較於其他態樣較佳或有利。 儘管本文中描述特定態樣，但此等態樣之許多變化及排列屬於本發明之範疇內。儘管提及較佳態樣之一些益處及優點，但本發明之範疇不意欲限於特定益處、用途或目標。確切而言，本發明之態樣意欲廣泛地適用於不同技術、系統組態、網路及協定，不同技術、系統組態、網路及協定中之一些係藉助於實例在諸圖中且在較佳態樣之以下描述中予以說明。詳細描述及圖式僅對本發明進行說明而非限制，本發明之範疇由附加申請專利範圍及其等效物界定。 本發明之態樣係針對組合定位地圖繪製與進行運動規劃之整合式解決方案。整合式解決方案達成基於深度地圖及定位資訊進行運動規劃。諸如視覺慣性里程表之定位模組可用於定位。障礙物地圖繪製可藉由連續、多視圖深度量測值之體積整合來達成。規劃可藉由與快速再規劃組合之基於取樣之幾何規劃而達成。 對於可人工地或自主地控制的諸如機器人之系統，需要基於所整合之深度地圖而規劃機器人之運動。此外，運動規劃可包括更動控制使用者輸入。 另外，需要以人工方式(例如，操縱桿控制)且自主地(例如，導航點控制)安全地引導機器人。操作者進一步需要將在手動操作期間收集之資訊應用於自主操作，且反之亦然。此外，規劃可經指定而以手動模式及自主模式兩者防止機器人碰撞障礙物。規劃亦可經指定以當機器人正以手動模式或自主模式操作時規劃最低成本路線。 此外，機器人可自我定位，以使得機器人不依賴於用於定位之外部系統或信號(例如，全球定位系統及信標)。在一個組態中，機器人包括改良光及能量使用之感測器。 本發明之態樣係針對具有基於機載視覺之定位、地圖繪製及規劃的機器人，以使得機器人可進行至目的地方位之運動規劃。在一個組態中，運動規劃更動控制使用者輸入。 圖1說明藉由機器人使用晶片上系統(SOC) 100進行運動規劃之前述方法之實例實施，該晶片上系統(SOC)可包括根據本發明之某些態樣的通用處理器(CPU)或多核通用處理器(CPU) 102。變數(例如，神經信號及突觸權重)、與計算裝置(例如，具有權重之神經網路)相關聯之系統參數、延遲、頻率區間資訊及任務資訊可儲存在與神經處理單元(NPU)108相關聯之記憶體區塊中，儲存在與CPU 102相關聯之記憶體區塊中，儲存在與圖形處理單元(GPU) 104相關聯之記憶體區塊中，儲存在與數位信號處理器(DSP) 106相關聯的記憶體區塊中，儲存在專用記憶體區塊118中，或可跨越多個區塊分佈。在通用處理器102處執行之指令可自與CPU 102相關聯之程式記憶體載入或可自專用記憶體區塊118載入。 SOC 100亦可包括為特定功能定製之額外處理區塊，諸如GPU 104、DSP 106、連接性區塊110 (其可包括第四代長期演進(4G LTE)連接性、未授權Wi-Fi連接性、USB連接性、藍芽連接性及類似者)，及可(例如)偵測並辨識示意動作的多媒體處理器112。在一個實施中，NPU實施於CPU、DSP及/或GPU中。SOC 100亦可包括感測器處理器114、影像信號處理器(ISP)及/或可包括全球定位系統之導航120。 SOC 100可係基於ARM指令集。在本發明之態樣中，載入通用處理器102中之指令可包含用於判定針對方位之佔據位準之機率分佈函數(PDF)的程式碼。載入通用處理器102中之指令亦可包含用於整合深度地圖與定位資訊以產生三維(3D)地圖之程式碼。載入通用處理器102中之指令亦可包含用於基於3D地圖、定位資訊及/或使用者輸入對運動進行規劃的程式碼。在一個組態中，當使用者輸入經預測為引起碰撞時，運動規劃更動控制使用者輸入。 圖2說明根據本發明之某些態樣的系統200之實例實施。如圖2中所說明，系統200可具有可執行本文中所描述方法之各種操作的多個本端處理單元202。每一本端處理單元202可包含本端狀態記憶體204及可儲存神經網路之參數的本端參數記憶體206。另外，本端處理單元202可具有用於儲存本端模型程式之本端(神經元)模型程式(LMP)記憶體208、用於儲存本端學習程式之本端學習程式(LLP)記憶體210及本端連接記憶體212。此外，如圖2中所說明，每一本端處理單元202可與用於提供用於本端處理單元之本端記憶體之組態的組態處理器單元214介接，並與提供本端處理單元202之間的路線選擇之路線選擇連接處理單元216介接。 在一個組態中，導航模型經組態用於整合深度地圖與定位資訊以產生三維(3D)地圖並基於3D地圖、定位資訊及/或使用者輸入進行運動規劃。在一個態樣中，前述構件可為通用處理器102、與通用處理器102相關聯之程式記憶體、記憶體區塊118、本端處理單元202及或經組態以執行所敍述功能的路線選擇連接處理單元216。在另一組態中，前述構件可為經組態以藉由前述構件執行所敍述功能之任何模組或任何設備。 根據本發明之某些態樣，每一本端處理單元202可經組態以基於模型之一或多個所要功能特徵來判定模型之參數，並當所判定參數經進一步調適、調諧及更新時朝向所要功能特徵產生(develop)一或多個功能特徵。 自主視覺導航 在習知系統中，在手動操作期間，若機器人與障礙物之間的距離小於臨限值，則機器人可使用基於反應性(例如，無記憶)系統(諸如聲納或超音波)之虛擬保險桿系統以使機器人暫停。虛擬保險桿在自主操作期間可並非有用的，此係因為虛擬保險桿系統係無記憶的。因此，自主機器人不可基於先前量測值而進行規劃。此外，虛擬保險桿系統不整合跨越時間及位姿之感測器讀數。因此，系統具有增加之雜訊。此外，因為虛擬保險桿系統係反應性的，所以虛擬保險桿系統不可規劃新的軌跡及/或速度以避免碰撞。確切而言，機器人暫停操作以避免碰撞且並不圍繞障礙物改變方向。 另外，在用於自主操作之習知系統中，基於導航點之方案經指定以允許使用者指定諸如GPS導航點的基於方位之導航點用於導航。在此系統中，機器人經指定以自一個導航點移動至另一個導航點。又，基於導航點之方案使用定位系統，諸如GPS，其在諸如室內方位或城市方位之一些方位中可係不可靠的。此外，基於導航點之方案不圍繞障礙物使機器人改變方向。 因此，需要將不同組件組合至一個機器人中以改良導航及機器人環境之理解。不同組件可包括用於判定機器人在環境中之方位的定位模組(諸如視覺慣性里程表)；用於獲得多視圖深度量測值之地圖繪製模組；及用於與再規劃組合的基於取樣之幾何規劃之規劃模組。即，如先前論述，本發明之態樣係針對組合定位地圖繪製與運動規劃之機器人。更特定言之，運動規劃可使用深度地圖及定位資訊。 根據本發明之態樣，經組合組件可用於基於由地圖繪製模組產生之障礙物地圖、自定位模組獲得之定位資訊進行運動規劃，及基於使用者輸入及/或規劃模組進行規劃。在一個組態中，機器人接收針對軌跡及/或速度之使用者輸入。在此組態中，機器人可基於自地圖繪製模組判定之障礙物更動控制使用者輸入以避免碰撞。機器人亦可更動控制使用者輸入以改良路線(諸如選擇使用較少燃料之路線，及/或選擇距離及/或時間上短的路線)。 機器人可包括多個感測器模態，諸如視覺感測器及定位感測器。地圖繪製模組可使用諸如多個面向前攝影機之立體視覺感測器以獲得深度地圖。深度量測可在每次進行步驟時執行以判定多個點距機器人之距離。此外，地圖繪製模組可經指定用於連續深度量測值(例如，多視圖深度量測值)之體積整合。機器人可自諸如加速度計及/或陀螺儀之慣性量測單元獲得定位資訊。定位資訊亦可自諸如面向下感測器之感測器獲得。定位指機器人在環境內之方位。在一個組態中，面向下感測器為聲納感測器及/或攝影機。 在本發明之一個態樣中，機器人整合每一接收到之深度量測值與定位模組之量測值以將深度量測值置放於諸如三維(3D)地圖之地圖中的適當位置中。舉例而言，機器人可獲得在第一方位處之深度量測值且機器人將該量測值與機器人之第一方位相關聯。另外，機器人可自第一方位移動至第二方位並獲得新的深度量測值。此外，機器人可將新的深度量測值與第二方位相關聯。因此，當機器人移動經過環境時，諸如三維地圖之地圖係基於深度量測值及定位量測值而產生。 在規劃階段期間，機器人可基於諸如手動模式或自主模式之操作模式提供運動控制。舉例而言，在手動操作模式中，自主系統將引導員之針對速度及/或軌跡之命令(例如，使用者輸入)外推至三維地圖中並檢查碰撞。此外，機器人可更動控制使用者輸入以避免碰撞或規劃改良之路線(例如，較快速之路線)。在自主操作模式中，機器人使用累積地圖以規劃至所保存目標之無碰撞路徑。此外，若地圖更新使得規劃不安全，則自主系統可沿著路線再規劃。 圖3為根據本發明之態樣的機器人300之方塊圖。如圖3中所示，機器人300包括地圖繪製模組302，其接收來自深度感測器之深度量測值。深度量測值量測機器人距障礙物之距離。在一個組態中，深度感測器包括多個面向前視覺感測器，諸如攝影機。地圖繪製模組302可基於深度量測值產生深度地圖。此外，深度地圖可經輸入至3D障礙物地圖繪製模組304。深度地圖之輸入可大體上係瞬時的。 如圖3中所示，定位模組308接收定位量測值及/或慣性量測值。定位量測值可自諸如面向下攝影機之面向下感測器獲得。此外，慣性量測值可自諸如加速度計及/或陀螺儀之慣性量測單元獲得。基於接收到之定位量測值及/或慣性量測值，定位模組308判定機器人之方位並輸出該方位至3D障礙物地圖繪製模組304。方位資訊之輸入可大體上係瞬時的。 3D障礙物地圖繪製模組304將接收到之方位資訊與接收到之深度地圖相關聯以產生機器人之當前方位之3D地圖。3D地圖可被稱為整合式深度地圖。隨著時間過去，當機器人300移至不同方位並自不同方位獲得深度量測值時，產生受訪方位之3D地圖。3D地圖經輸出至規劃模組306。在一個組態中，機器人300接收使用者輸入以按特定速度及/或軌跡移動機器人300。另外，使用者輸入可為機器人300設定以供到達之目標。使用者輸入可自諸如電腦或遠端控制器之遠端裝置予以接收。 在一個組態中，當使用者輸入為機器人300設定目標時，規劃模組306規劃自機器人當前位置至目標的路線。所要路徑輸出至運動控制模組310，該運動控制模組控制機器人之馬達以按所要軌跡及/或速度沿著規劃之路線移動。馬達可控制運轉組件，諸如引擎、旋轉葉片及/或車輪。此外，如圖3中所示，定位模組308傳輸所獲得方位至規劃模組306及運動控制模組310兩者，使得兩個模組知曉機器人當前方位。另外，隨著機器人300之方位改變，可更新由3D障礙物地圖繪製模組304產生的3D地圖。因此，規劃模組可基於對3D地圖之更新而更新所要路徑。 在另一組態中，如上文所論述，機器人300接收使用者輸入以按特定速度及/或軌跡移動機器人300。在此組態中，規劃模組306基於3D地圖中之當前方位更動控制使用者輸入以避免碰撞或改良所指定之速度及/或軌跡。更動控制資訊可經輸出至運動控制模組310以基於更動控制資訊控制機器人之馬達。當然，在一些狀況下，規劃模組可不更動控制使用者輸入。因此，使用者輸入作為所要路徑自規劃模組306輸出至運動控制模組310。 圖4說明根據本發明之態樣的定位模組400之實例。定位模組400可為組合慣性量測單元(IMU)資料與感測器資料以計算機器人在全球/世界座標系中之位姿的感測器融合模組。在一個組態中，用於定位模組之感測器為面向下感測器。又，本發明之態樣不限於面向下感測器。如圖4中所示，定位模組400可包括特徵偵測器402、追蹤器406及濾波器404。在一個組態中，濾波器404為經擴展卡爾曼(Kalman)濾波器。根據本發明之態樣，特徵偵測器自諸如攝影機之面向下感測器接收圖框。在一個組態中，攝影機為單目攝影機。 特徵偵測器402可經組態以偵測所接收圖框之特徵。此外，追蹤器406可跨越接收到之圖框追蹤特徵之位置的偵測到之改變以估計機器人之移動。舉例而言，特徵偵測器402可偵測第一圖框中之十個特徵。另外，在此實例中，追蹤器406可追蹤隨後圖框中之偵測到之十個特徵。因此，當在特徵偵測器402處接收到第二圖框時，特徵偵測器402嘗試自第二圖框偵測第一圖框之十個特徵，且追蹤器406自第二圖框之十個特徵判定第一圖框之十個特徵之位置的改變。位置之改變提供機器人之移動的估計(例如，機器人已移動多遠)。當然，十個特徵為實例且本發明之態樣不限於偵測特定數目個特徵。 另外，如圖4中所示，濾波器404可自第一感測器及第二感測器接收輸入。第一感測器可為感測歸因於自我運動及重力之線性加速度的加速度計。第二感測器可為用以獲得三維全球方位之定向(例如，角度)的陀螺儀。對於視覺慣性里程表，世界座標系可定中心於首先俘獲之影像之方位上。因此，相對於機器人之開始位置，視覺慣性里程計提供三維全球方位及對應定向之估計。舉例而言，三維全球方位及對應定向資訊可輸入至軌跡控制器以用於導航點導航或速度控制。三維全球方位及對應定向資訊亦可輸入至子系統之地圖繪製以用於立體像素地圖整合。 在一個組態中，濾波器組合第一感測器、第二感測器之輸入與來自特徵偵測器402及追蹤器406之特徵資訊以輸出機器人之方位。機器人之方位可經輸出為六自由度(6 DOF)位姿。六自由度位姿可指前/後、上/下、左/右、俯仰、偏航及橫搖。在一個組態中，機器人經組態以飛行。當然，本發明之態樣不限於飛行機器人且預期到用於可為陸基及/或海基之機器人。 圖5說明根據本發明之態樣的深度感測器500之實例。如圖5中所示，深度感測器500包括隔開已知距離506之第一攝影機502及第二攝影機504。如圖5中所示，攝影機502、504兩者聚焦於物件514之特定點512。此外，對於第一攝影機502判定對應於第一影像516中之特定點512的第一像素508之方位且對於第二攝影機504判定對應於第二影像518中之特定點512的第二像素510之方位。基於第一像素508及第二像素510之方位，使用三角量測，機器人可自攝影機502、504判定該物件514的特定點512之深度。判定深度之程序可針對由攝影機獲得之影像之多個像素(例如，每一像素)重複以產生機器人之當前方位之深度地圖。 儘管圖5中未展示，但攝影機502、504可安裝在機器人之鼻子(例如，正面)上。可基於立體深度感知產生三維重建構。在一個組態中，程序將世界離散成三維柵格。柵格中之每一方位可被稱為立體像素。當機器人圍繞環境導航並觀測障礙物時，來自立體攝影機之深度影像及來自定位程序的六自由度位姿可組合成三維立體像素地圖。在一個組態中，基於觀測結果產生立體像素地圖。另外，地圖繪製程序可以立體攝影機圖框速率執行，以使得地圖在新的資訊藉由攝影機觀測到時被更新。更新可大體上為瞬時的。此外，立體像素地圖可即時地由運動規劃器使用以規劃安全且可靠之路徑。 視覺慣性里程表可提供定位資訊至規劃器，規劃器可經即時地更新。在一個組態中，當目的地經指定用於機器人時，規劃器使用最近狀態估計作為開始狀態且使用目的地作為目標以產生用於到達目標之規劃。機器人可藉由遵循所計算軌跡以封閉迴路方式執行規劃。當規劃被執行時，觀測到可使規劃失效之新資訊，在此狀況下規劃器採用新的規劃。 圖6A說明包括經地圖繪製區域602及未經地圖繪製區域604之環境600之實例。經地圖繪製區域602可為基於深度量測及定位之3D繪製地圖區域。即，如先前所論述，3D地圖可藉由整合深度地圖與定位資訊而產生。可在機器人以手動模式(例如，經由使用者輸入)或自主模式操作的同時獲得深度地圖及定位資訊。如圖6A中所示，基於深度量測值，機器人可判定某些立體像素係藉由物件608佔據。因此，當以手動模式或自主模式導航機器人時，規劃模組經指定以避開物件608。未經地圖繪製區域604可為尚待機器人探索之區域。 在一個組態中，機器人可係在第一方位606處且可接收使用者輸入以自主地導航至目的地方位610。如圖6A中所示，目的地方位610可係在未經地圖繪製區域604中。回應於使用者輸入，機器人選擇經地圖繪製區域602之未佔據區域中之候選點612。候選點612可自經地圖繪製區域602之未佔據區域隨機地選擇。候選點612可為經地圖繪製區域602上之被認為是行進安全的點。因此，候選點612可由規劃模組使用以選擇自第一方位606至目的地方位610之無碰撞軌跡。即，機器人規劃候選點612中之每一者之間的軌跡614(例如，邊緣)。如圖6A中所示，機器人可選擇未經地圖繪製區域604中之候選點612及軌跡614。又，因為未經地圖繪製區域604尚待被探索，所以候選點612及軌跡614為所預測之候選點612及所預測之軌跡614。 圖6B說明根據本發明之態樣的第一方位606與目的地方位610之間的所選擇路徑620之實例。如圖6B中所示，在判定候選點612及軌跡614之後，規劃模組可基於所判定之候選點612及軌跡614搜尋第一方位606與目的地方位610之間可用的各種路徑。搜尋可為Dykstra搜尋。基於不同路徑之搜尋，規劃模組選擇用於機器人以供行進的路徑620。所選擇之路徑為無碰撞路徑。此外，與其他路徑相比，所選擇之路徑620可使用較少資源，諸如氣體及/或時間。所選擇之路徑620可被稱為最小成本路徑。 圖6C說明根據本發明之態樣的機器人沿著所選擇之路徑620移動之實例。如圖6C中所示，基於所選擇之路徑620，機器人沿著路徑620自第一方位606移動至第二方位622。第二方位622為規劃階段期間所選擇之候選點612中之一者。另外，如圖6C中所示，當機器人沿著路徑620移動時，未經地圖繪製區域604之一部分隨著區域出現在機器人之感測器的視野中而變為經地圖繪製。即，作為實例，如圖6C中所示，先前包括於未經地圖繪製區域604中之區域624基於機器人之移動而變為包括於經地圖繪製區域602中。因此，當機器人沿著路徑620移動時，機器人可基於經更新深度地圖及方位資訊而變更所選擇路徑。 圖6D說明根據本發明之態樣的機器人沿著所選擇路徑620移動之實例。如圖6D中所示，基於所選擇之路徑620，機器人沿著路徑620自第二方位622移動至第三方位626。第三方位626為規劃階段期間所選擇之候選點612中之一者。另外，如圖6D中所示，當機器人沿著路徑620移動時，未經地圖繪製區域604之一部分隨著該區域出現在機器人之感測器的視野中而變為經地圖繪製區域。在此實例中，基於深度量測值，機器人判定物件628沿著經規劃路徑620佔據立體像素。因此，若機器人繼續沿著經規劃路徑620，則碰撞將發生。因此，在物件628與經規劃路徑620重疊條件下，機器人之規劃模組基於經更新深度量測值及方位資訊選擇新的路徑。 圖6E說明機器人基於經更新3D地圖選擇新的路徑630的實例。如先前所論述，機器人之規劃模組基於經更新深度量測值及方位資訊(例如，經更新之3D地圖)選擇新路徑。如圖6E中所示，當機器人係在第三方位626處時，在瞭解物件628之情況下，規劃模組搜尋第三方位626與目的地方位610之間的新路徑。即，當障礙物(諸如物件628)出現在視野中時，機器人選擇新的路徑。基於不同路徑之搜尋，規劃模組選擇用於機器人以供行進的新路徑630。如先前所論述，所選擇路徑630可被稱為最小成本路徑。為簡潔起見，圖6E不說明未經地圖繪製區域604。又，在此實例中，當機器人係在第三方位626中時，環境600之一部分可仍未被地圖繪製。此外，新路徑630可在機器人移動時再次更新，當機器人沿路徑630之不同點移動時接收經更新深度地圖及方位資訊。 圖7說明根據本發明之態樣的在經地圖繪製環境700中之機器人702的實例。經地圖繪製環境700可為基於深度量測及定位之3D經地圖繪製區域。即，如先前所論述，3D地圖可藉由整合深度地圖與定位資訊而產生。可在機器人以手動模式(例如，經由使用者輸入)或自主模式操作的同時獲得深度地圖及定位資訊。如圖7中所示，基於深度量測值，機器人702可判定某些立體像素係由第一物件706及第二物件704佔據。因此，規劃模組經指定以當以手動模式或自主模式導航機器人時避開第一物件706及第二物件704。 在一個組態中，機器人702接收使用者輸入以沿第一軌跡708移動。第一軌跡708可經指定以到達目的地720。替代地，第一軌跡708可未經目的地定向。另外或替代地，使用者輸入可指定速度。基於所產生之3D地圖，機器人702瞭解經由使用者輸入接收之第一軌跡708將引起與第二物件704之碰撞。 在一個組態中，規劃模組更動控制使用者輸入並規劃第二軌跡722以避開第二物件704。第二軌跡722可經隨機地選擇以避開障礙物。此外，第二軌跡722可未經目的地定向。此外，第二軌跡722可使得機器人702之馬達在第二軌跡722而非第一軌跡708上導航。另外或替代地，更動控制可調整機器人702之速度。若環境為3D環境，則規劃模組仍可維持第一軌跡708。然而，規劃模組可更動控制規劃之海拔高度，使得機器人702在可能的情況下在第一物件上方或下方行進。 在另一組態中，機器人執行運動規劃以避免碰撞。運動規劃可包括隨機地選擇經地圖繪製區域700(例如，3D地圖)中之安全點。舉例而言，機器人可隨機地選擇候選點710作為替代導航點。隨機所選擇的候選點710可為在地圖上之被認為行進安全的點(例如，地圖之無碰撞區域)。隨機所選擇的候選點710可為使用者指明路徑(例如，第一軌跡708)之預定鄰近度內的候選點。當然，本發明之態樣不限於選擇使用者指明路徑之預定鄰近度內的候選點，如亦可選擇在預定鄰近度外部的點。 另外，如圖7中所示，為更動控制使用者輸入以避免碰撞，機器人可判定隨機所選擇的候選點710之間的一或多個無碰撞路徑712。為避免碰撞，機器人可沿自機器人702之初始位置至隨機所選擇的候選點710中之一者的無碰撞路徑中之一者行進。另外，在到達隨機所選擇的候選點710中之一者之後，機器人可選擇至其他隨機所選擇的候選點710之另一路徑，直至機器人702到達目的地720或直至機器人702接收新的使用者輸入為止。 此外，在一個組態中，在判定一或多個無碰撞路徑712之後，機器人可判定初始位置與目的地720之間的最小成本路徑。與其他路徑相比，最小成本路徑可使用較少資源，諸如氣體及/或時間。在圖7之實例中，機器人選擇最小成本路徑714以避免自第一軌跡708預測之碰撞。最終，儘管圖7中未展示，但當機器人沿無碰撞路徑712中之一者(諸如最小成本路徑714)行進時，機器人在新的障礙物突然出現情況下可改變所選擇路徑。 圖8為說明用於採用處理系統820之設備800(諸如機器人)之硬件實施的實例之圖。處理系統820可實施有通常由匯流排824表示之匯流排架構。匯流排824取決於處理系統820之特定應用及整體設計約束而可包括任何數目個互連匯流排及橋接器。匯流排824將包括一或多個處理器及/或硬體模組之各種電路鏈接在一起，該一或多個處理器及/或硬體模組由處理器804、通信模組808、定位模組806、感測器模組802、運轉模組810及電腦可讀媒體814表示。匯流排824亦可鏈接此項技術中所熟知且因此將並不更進一步描述之各種其他電路，諸如時序源、周邊設備、電壓調節器及功率管理電路。 設備800包括耦接至收發器816之處理系統820。收發器816耦接至一或多個天線818。收發器816經由傳輸媒體實現與各種其他設備之通信。舉例而言，收發器816可經由來自使用者之傳輸接收使用者輸入。處理系統820包括耦接至電腦可讀媒體814之處理器804。處理器804負責一般處理，包括執行儲存於電腦可讀媒體814上之軟體。軟體在由處理器804執行時使得處理系統820執行針對任何特定設備描述之各種功能。電腦可讀媒體814亦可用於儲存當執行軟體時藉由處理器804操控的資料。 感測器模組802可用於經由第一感測器828及第二感測器826獲得量測值。第一感測器828可為用於執行量測之立體視覺感測器，諸如立體攝影機。第二感測器826可為攝影機及/或慣性量測單元。當然，本發明之態樣不限於立體視覺感測器，此係由於其他類型之感測器(諸如雷達、熱、聲納及/或雷射)亦預期到用於執行量測。第一感測器828及第二感測器826之量測值可藉由處理器804、通信模組808、定位模組806、運轉模組810、電腦可讀媒體814及其他模組832、834中之一或多者處理。如先前所論述，來自第一感測器828之量測值可用於獲得深度量測值。此外，來自第二感測器826之量測值可以用於定位。舉例而言，來自第二感測器826之量測值可由定位模組806使用以判定設備800之方位。此外，第一感測器828及第二感測器826之量測值可藉由收發器816傳輸至外部裝置。第一感測器828及第二感測器826不限於如圖8中所示界定為在設備800外部，第一感測器828及第二感測器826亦可界定為在設備800內。 定位模組806可用於判定設備800之方位。通信模組808可使用收發器816來發送及接收至外部裝置之資訊，諸如設備800之方位。運轉模組810可用於提供運轉至設備800。作為實例，運轉可經由旋轉葉片812提供。當然，本發明之態樣不限於經由旋轉葉片812提供運轉，且預期到用於提供運轉之任何其他類型之組件，諸如螺旋槳、車輪、踏板、鰭片及/或噴射引擎。 處理系統820包括用於整合深度地圖與定位資訊以產生三維(3D)地圖之整合模組832。處理系統820亦包括用於至少部分地基於3D地圖、定位資訊及/或使用者輸入規劃運動之規劃模組834。在一個組態中，當使用者輸入經預期(例如，預測)為引起碰撞時，運動規劃更動控制使用者輸入。模組可為於處理器804中執行、駐留/儲存於電腦可讀媒體814中之軟體模組；耦接至處理器804之一或多個硬體模組；或其某一組合。 圖9說明用於機器人之視覺導航的方法900。在區塊902中，在可選組態中，機器人自多個攝影機判定深度地圖並自多個感測器獲得定位資訊。即，機器人可包括多個感測器模態。深度量測可在每次進行步驟時執行以判定多個點距機器人之距離。地圖繪製模組可使用諸如立體視覺感測器之感測器以獲得深度地圖。因此，在一個可選組態中，在區塊904處，機器人基於自立體攝影機獲得之量測值產生深度地圖。 此外，機器人可自慣性感測器資訊獲得定位資訊。因此，在一個可選組態中，在區塊906處，機器人自陀螺儀及/或加速度計單元獲得慣性感測器資訊。定位資訊亦可自諸如面向下感測器之感測器獲得。定位指機器人在環境內之方位。在一個組態中，面向下感測器為聲納感測器及/或攝影機。 另外，在區塊908中，機器人整合深度地圖與定位資訊以產生3D地圖。舉例而言，機器人可獲得在第一方位處之深度量測值且機器人將該等量測值與機器人之第一方位相關聯。另外，機器人可自第一方位移動至第二方位並獲得新的深度量測值。此外，機器人可將新的深度量測值與第二方位相關聯。因此，當機器人移動經過環境時，諸如3D地圖之地圖係基於深度量測值及方位量測值而產生。 此外，在區塊910中，機器人基於3D地圖、定位資訊及/或使用者輸入而規劃運動。在一個組態中，當目的地經指定用於機器人時，機器人之運動規劃器使用最近狀態估計作為開始狀態且使用目的地作為目標以產生用於到達目標之規劃。機器人可藉由遵循所計算軌跡以封閉迴路方式執行規劃。當規劃被執行時，觀測到可使規劃失效之新資訊，在此狀況下規劃器採用新的規劃。另外或替代地，當使用者輸入經預測為引起碰撞時，運動規劃可更動控制使用者輸入。此外，當經由使用者輸入接收到之軌跡及/或速度經預測為引起碰撞時，運動規劃可更動控制使用者輸入。 在可選組態中，在區塊912中，機器人在更動控制使用者輸入時選擇新的軌跡及/或新的速度。舉例而言，使用者輸入可指定速度及/或軌跡。基於所產生之3D地圖，機器人瞭解使用者所選擇之速度及/或軌跡將引起與物件之碰撞。因此，在此組態中，規劃模組更動控制使用者輸入並規劃新的軌跡及/或速度以避開第二物件。 圖10說明用於運動規劃之更詳細方法1000。在類似於圖9之區塊910之區塊1002中，機器人基於3D地圖、定位資訊及/或使用者輸入規劃運動。在區塊1004中，當使用者輸入經預測為引起碰撞時，運動規劃更動控制使用者輸入。另外，在可選組態中，在區塊1006中，當經由使用者輸入接收到之軌跡及/或速度經預測為引起碰撞時，運動規劃更動控制使用者輸入。 在另一可選組態中，在區塊1008中，運動規劃在3D地圖中隨機地選擇多個無碰撞點並判定多個無碰撞點中之兩者或多於兩者之間的一或多個無碰撞路徑。另外，在可選組態中，在區塊1010中，運動規劃進一步基於該一或多個無碰撞路徑判定至目的地之最小成本路徑。此外，在判定最小成本路徑之後，在區塊1012中，當沿著最小成本路徑觀看到障礙物時，運動規劃可進一步變更最小成本路徑。 在又一個可選組態中，在區塊1014中，運動規劃在未經地圖繪製區域中隨機地選擇多個預測出之無碰撞點並判定多個預測出之無碰撞點中之兩者或多於兩者之間的一或多個預測出之無碰撞路徑。 在一些態樣中，方法900及方法1000可藉由SOC 100(圖1)、系統200(圖2)或設備800(圖8)執行。即，方法900及方法1000之要素中之每一者可(例如但不限於)藉由SOC 100、系統200、設備800或一個或多個處理器(例如，CPU 102、本端處理單元202、處理器804)及/或包括於其中的其他組件執行。 上文所描述之方法之各種操作可由能夠執行對應功能之任何合適構件執行。構件可包括各種硬體及/或軟體組件及/或模組，包括(但不限於)電路、特殊應用積體電路(ASIC)或處理器。通常，在存在諸圖中所說明之操作之處，彼等操作可具有具類似編號之對應手段附加功能組件對應物。 如本文中所使用，術語「判定」涵蓋廣泛之多種動作。舉例而言，「判定」可包括推算、計算、處理、導出、調查、查找(例如，在表、資料庫或另一資料結構中查找)、查明及其類似者。另外，「判定」可包括接收(例如，接收資訊)、存取(例如，存取記憶體中之資料)及類似者。此外，「判定」可包括解析、選擇、選定、建立及其其類似者。 如本文中所使用，提及項目之清單「中之至少一者」的片語指彼等項目之任何組合，包括單一成員。作為實例，「a、b或c中之至少一者」意欲涵蓋：a、b、c、a-b、a-c、b-c及a-b-c。 結合本發明所描述之各種說明性邏輯區塊、模組及電路可藉由以下各者來實施或執行：通用處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列信號(FPGA)或其他可程式化邏輯裝置(PLD)、離散閘或電晶體邏輯、離散硬體組件，或其經設計以執行本文中所描述之功能的任何組合。通用處理器可為微處理器，但在替代例中，處理器可為任何市售處理器、控制器、微控制器或狀態機。處理器亦可實施為計算裝置之組合，例如DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器，或任何其他此組態。 結合本發明所描述之方法或演算法之步驟可直接以硬體、由處理器執行之軟體模組或兩者之組合體現。軟體模組可駐留於此項技術中為吾人所知之任何形式之儲存媒體中。可使用之儲存媒體之一些實例包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、可抹除可程式化唯讀記憶體(EPROM)、電可抹除可程式化唯讀記憶體(EEPROM)、暫存器、硬碟、抽取式磁碟、CD-ROM等等。軟體模組可包含單一指令或許多指令，且可於若干不同程式碼區段上、不同程式當中及跨多個儲存媒體而分佈。儲存媒體可耦接至處理器，以使得處理器可自儲存媒體讀取資訊及向儲存媒體寫入資訊。在替代方案中，儲存媒體可整合至處理器。 本文中所揭示之方法包含用於達成所描述方法之一或多個步驟或動作。在不脫離申請專利範圍之範疇的情況下，方法步驟及/或動作可彼此互換。換言之，除非指定步驟或動作之特定次序，否則可在不脫離申請專利範圍之範疇的情況下修改特定步驟及/或動作之次序及/或用途。 所描述之功能可以硬體、軟體、韌體或其任何組合實施。若以硬體實施，則實例硬體組態可包含裝置中之處理系統。處理系統可藉由匯流排架構來實施。匯流排取決於處理系統之具體應用及總設計約束而可包括任何數目個互連匯流排及橋接器。匯流排可與各種電路鏈接在一起，該等電路包括處理器、機器可讀媒體及匯流排介面。匯流排介面可用以經由匯流排將網路配接器連接至處理系統。網路配接器可用於實施信號處理功能。對於某些態樣，使用者介面(例如，小鍵盤、顯示器、滑鼠、操縱桿等)亦可連接至匯流排。匯流排亦可鏈接此項技術中熟知且因此將不再進一步描述的各種其他電路，諸如計時源、周邊設備、電壓調節器、功率管理電路及其類似者。 處理器可負責管理匯流排及一般處理，包括執行儲存於機器可讀媒體上之軟體。處理器可藉由一或多個通用及/或專用處理器來實施。實例包括微處理器、微控制器、DSP處理器及可執行軟體之其他電路。軟體應被廣泛地解釋為意謂指令、資料或其任何組合，無論被稱為軟體、韌體、中間軟體、微碼、硬體描述語言抑或其他。藉助於實例，機器可讀媒體可包括隨機存取記憶體(RAM)、快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、電可抹除可程式化唯讀記憶體(EEPROM)、暫存器、磁碟、光碟、硬碟機或任何其他合適之儲存媒體，或其任何組合。機器可讀媒體可以電腦程式產品體現。電腦程式產品可包含封裝材料。 在硬體實施中，機器可讀媒體可為與處理器分開之處理系統的部分。然而，如熟習此項技術者將易於瞭解，機器可讀媒體或其任何部分可在處理系統外部。藉助於實例，機器可讀媒體可包括傳輸線、由資料調變之載波及/或與裝置分離的電腦產品，其全部可藉由處理器經由匯流排介面存取。替代地或另外，機器可讀媒體或其任何部分可整合至處理器中，諸如可係伴隨快取記憶體及/或一般暫存器檔案之狀況。儘管所論述之各種組件(諸如本端組件)可經描述為具有特定方位，但其亦可以各種方式組態，諸如某些組件經組態為分散式計算系統之部分。 處理系統可組態為具有提供處理器功能性之一或多個微處理器及提供機器可讀媒體之至少一部分之外部記憶體的通用處理系統，前述組件全部經由外部匯流排架構與其他支援電路鏈接在一起。替代地，處理系統可包含用於實施本文中所描述的神經元模型及神經系統之模型的一或多個神經形態處理器。作為另一替代方案，處理系統可藉由以下各者來實施：具有處理器、匯流排介面、使用者介面、支援電路及整合於單晶片中的機器可讀媒體中之至少一部分的特殊應用積體電路(ASIC)，或一或多個場可程式化閘陣列(FPGA)、可程式化邏輯裝置(PLD)、控制器、狀態機、閘控邏輯、離散硬體組件或任何其他合適之電路，或可執行貫穿本發明描述之各種功能性的電路之任何組合。熟習此項技術者將認識到取決於特定應用及強加於整個系統之總設計約束而最佳地實施用於處理系統之所描述功能性的方式。 機器可讀媒體可包含許多軟體模組。軟體模組包括在由處理器執行時使處理系統執行各種功能之指令。軟體模組可包括傳輸模組及接收模組。每一軟體模組可駐留於單一儲存裝置中或跨多個儲存裝置而分佈。藉助於實例，當發生觸發事件時，可將軟體模組自硬碟機載入至RAM中。在執行軟體模組期間，處理器可將指令中之一些載入至快取記憶體中以增大存取速度。可接著將一或多個快取線載入至通用暫存器檔案中以供處理器執行。當下文提及軟體模組之功能性時，應理解，此功能性係由處理器在執行來自彼軟體模組之指令時實施。此外，應瞭解，本發明之態樣引起處理器、電腦、機器或實施此等態樣之其他系統之功能的改良。 若以軟體實施，則該等功能可作為一或多個指令或程式碼儲存於電腦可讀媒體上或經由該電腦可讀媒體傳輸。電腦可讀媒體包括電腦儲存媒體及通信媒體兩者，通信媒體包括促進電腦程式自一處傳送至另一處之任何媒體。儲存媒體可為可由電腦存取之任何可用媒體。藉助於實例而非限制，此等電腦可讀媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存裝置，或可用以攜載或儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取的任何其他媒體。另外，任何連接被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線(IR)、無線電及微波之無線技術自網站、伺服器或其他遠端源傳輸軟體，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及Blu-ray®光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。因此，在一些態樣中，電腦可讀媒體可包含非暫時性電腦可讀媒體(例如，有形媒體)。另外，對於其他態樣，電腦可讀媒體可包含暫時性電腦可讀媒體(例如，信號)。以上之組合亦應包括於電腦可讀媒體之範疇內。 因此，某些態樣可包含用於執行本文中所呈現之操作的電腦程式產品。舉例而言，此電腦程式產品可包含上面儲存(及/或編碼)有指令之電腦可讀媒體，該等指令可由一或多個處理器執行以執行本文所描述之操作。對於特定態樣，電腦程式產品可包括封裝材料。 另外，應瞭解，用於執行本文中所描述之方法及技術之模組及/或其他適當構件可在適用時由使用者終端機及/或基地台下載及/或以其他方式獲得。舉例而言，可將此裝置耦接至伺服器以促進用於執行本文中所描述之方法的構件之傳送。替代地，可經由儲存構件(例如，RAM、ROM、諸如緊密光碟(CD)或軟碟之實體儲存媒體等)來提供本文中所描述之各種方法，以使得使用者終端機及/或基地台可在將儲存構件耦接或提供至裝置後便獲得各種方法。此外，可利用用於將本文中所描述之方法及技術提供至裝置的任何其他合適技術。 應理解，申請專利範圍並不限於上文所說明之精確組態及組件。在不脫離申請專利範圍之範疇的情況下，可對上文所描述之方法及設備之配置、操作及細節進行各種修改、改變及變化。
100‧‧‧晶片上系統(SOC)
102‧‧‧通用處理器/多核通用處理器(CPU)
104‧‧‧圖形處理單元(GPU)
106‧‧‧數位信號處理器(DSP)
108‧‧‧神經處理單元(NPU)
110‧‧‧連接性區塊
112‧‧‧多媒體處理器
114‧‧‧感測器處理器
116‧‧‧影像信號處理器(ISP)
118‧‧‧專用記憶體區塊
120‧‧‧導航區塊
200‧‧‧系統
202‧‧‧本端處理單元
204‧‧‧本端狀態記憶體
206‧‧‧本端參數記憶體
208‧‧‧本端(神經元)模型程式(LMP)記憶體
210‧‧‧本端學習程式(LLP)記憶體
212‧‧‧本端連接記憶體
214‧‧‧組態處理器單元
216‧‧‧路線選擇連接處理單元
300‧‧‧機器人
302‧‧‧地圖繪製模組
304‧‧‧三維(3D)障礙物地圖繪製模組
306‧‧‧規劃模組
308‧‧‧定位模組
310‧‧‧運動控制模組
400‧‧‧定位模組
402‧‧‧特徵偵測器
404‧‧‧濾波器
406‧‧‧追蹤器
500‧‧‧深度感測器
502‧‧‧第一攝影機
504‧‧‧第二攝影機
506‧‧‧已知距離
508‧‧‧第一像素
510‧‧‧第二像素
512‧‧‧特定點
514‧‧‧物件
516‧‧‧第一影像
518‧‧‧第二影像
600‧‧‧環境
602‧‧‧經地圖繪製區域
604‧‧‧未經地圖繪製區域
606‧‧‧第一方位
608‧‧‧物件
610‧‧‧目的地方位
612‧‧‧候選點
614‧‧‧軌跡
620‧‧‧所選擇路徑
622‧‧‧第二方位
624‧‧‧區域
626‧‧‧第三方位
628‧‧‧物件
630‧‧‧新的路徑
700‧‧‧地圖繪製環境
702‧‧‧機器人
704‧‧‧第二物件
706‧‧‧第一物件
708‧‧‧第一軌跡
710‧‧‧候選點
712‧‧‧無碰撞路徑
714‧‧‧最小成本路徑
720‧‧‧目的地
722‧‧‧第二軌跡
800‧‧‧設備
802‧‧‧感測器模組
804‧‧‧處理器
806‧‧‧定位模組
808‧‧‧通信模組
810‧‧‧運轉模組
812‧‧‧旋轉葉片
814‧‧‧電腦可讀媒體
816‧‧‧收發器
818‧‧‧天線
820‧‧‧處理系統
824‧‧‧匯流排
826‧‧‧第二感測器
828‧‧‧第一感測器
832‧‧‧整合模組
834‧‧‧規劃模組
900‧‧‧用於機器人之視覺導航的方法
902‧‧‧區塊
904‧‧‧區塊
906‧‧‧區塊
908‧‧‧區塊
910‧‧‧區塊
912‧‧‧區塊
1000‧‧‧用於運動規劃之更詳細方法
1002‧‧‧區塊
1004‧‧‧區塊
1006‧‧‧區塊
1008‧‧‧區塊
1010‧‧‧區塊
1012‧‧‧區塊
1014‧‧‧區塊
根據下文結合圖式所闡述之詳細描述，本發明之特徵、性質及優點將變得更顯而易見，在該等圖式中，相似參考字符始終對應地識別。 圖1說明使用晶片上系統(SOC)的自主視覺導航之實例實施，晶片上系統包括根據本發明之某些態樣的通用處理器。 圖2說明根據本發明之態樣的系統之實例實施。 圖3為說明例示性設備中之不同模組/構件/組件的方塊圖。 圖4為說明根據本發明之態樣的定位模組之方塊圖。 圖5說明根據本發明之態樣的立體視覺攝影機之實例。 圖6A、圖6B、圖6C、圖6D、圖6E及圖7說明根據本發明之態樣的在環境中之機器人的實例。 圖8為說明例示性設備中之不同模組/構件/組件的方塊圖。 圖9說明根據本發明之態樣的用於藉由機器人進行自主視覺導航之方法的流程圖。 圖10說明根據本發明之態樣的用於進行運動規劃之方法的流程圖。
300‧‧‧機器人
302‧‧‧地圖繪製模組
304‧‧‧3D障礙物地圖繪製模組
306‧‧‧規劃模組
308‧‧‧定位模組
310‧‧‧運動控制模組

Claims (40)

  1. 一種用於一機器人之視覺導航方法，其包含： 整合一深度地圖與一定位資訊以產生一三維(3D)地圖；及 至少部分地基於該3D地圖、該定位資訊或一使用者輸入而進行運動規劃，當該使用者輸入經預測為引起一碰撞時，該運動規劃更動控制該使用者輸入。
  2. 如請求項1之方法，其進一步包含： 自複數個攝影機判定該深度地圖；及 自複數個感測器獲得該定位資訊。
  3. 如請求項2之方法，其中該定位資訊包含一影像資訊、一慣性感測器資訊或其一組合中之至少一者。
  4. 如請求項3之方法，其進一步包含自一陀螺儀、一加速度計或其一組合中之至少一者獲得該慣性感測器資訊。
  5. 如請求項1之方法，其進一步包含基於自一立體攝影機獲得之量測值產生該深度地圖。
  6. 如請求項1之方法，其進一步包含在更動控制該使用者輸入時選擇一新的軌跡、一新的速度或其一組合中之至少一者。
  7. 如請求項1之方法，其進一步包含當經由該使用者輸入接收到之一軌跡、一速度或其一組合中之至少一者經預測為引起該碰撞時更動控制該使用者輸入。
  8. 如請求項1之方法，其中該運動規劃包含： 隨機地選擇該3D地圖中之複數個無碰撞點； 判定該複數個無碰撞點中之至少兩者之間的至少一個無碰撞路徑；及 至少部分地基於該至少一個無碰撞路徑判定至一目的地之一最小成本路徑。
  9. 如請求項8之方法，其中該運動規劃進一步包含當沿著該最小成本路徑觀看到一障礙物時變更該最小成本路徑。
  10. 如請求項8之方法，其中該運動規劃進一步包含： 隨機地選擇一未經地圖繪製區域中之複數個預測出之無碰撞點；及 判定該複數個預測出之無碰撞點中之至少兩者之間的至少一個預測出之無碰撞路徑。
  11. 一種設備，其包含： 一記憶體；及 至少一處理器，其耦接至該記憶體，該至少一個處理器經組態以： 整合一深度地圖與一定位資訊以產生一三維(3D)地圖；及 至少部分地基於該3D地圖、該定位資訊或一使用者輸入而進行運動規劃，當該使用者輸入經預測為引起一碰撞時，該運動規劃更動控制該使用者輸入。
  12. 如請求項11之設備，其中該至少一個處理器經進一步組態以： 自複數個攝影機判定該深度地圖；及 自複數個感測器獲得該定位資訊。
  13. 如請求項12之設備，其中該定位資訊包含一影像資訊、一慣性感測器資訊或其一組合中之至少一者。
  14. 如請求項13之設備，其中該至少一個處理器經進一步組態以自一陀螺儀、一加速度計或其一組合中之至少一者獲得該慣性感測器資訊。
  15. 如請求項11之設備，其中該至少一個處理器經進一步組態以基於自一立體攝影機獲得之量測值產生該深度地圖。
  16. 如請求項11之設備，其中該至少一個處理器經進一步組態以在更動控制該使用者輸入時選擇一新的軌跡、一新的速度或其一組合中之至少一者。
  17. 如請求項11之設備，其中該至少一個處理器經進一步組態以當經由該使用者輸入接收到之一軌跡、一速度或其一組合中之至少一者經預測為引起該碰撞時更動控制該使用者輸入。
  18. 如請求項11之設備，其中該至少一個處理器經進一步組態以： 隨機地選擇該3D地圖中之複數個無碰撞點； 判定該複數個無碰撞點中之至少兩者之間的至少一個無碰撞路徑；及 至少部分地基於該至少一個無碰撞路徑判定至一目的地之一最小成本路徑。
  19. 如請求項18之設備，其中該至少一個處理器經進一步組態以當沿著該最小成本路徑觀看到一障礙物時變更該最小成本路徑。
  20. 如請求項18之設備，其中該至少一個處理器經進一步組態以： 隨機地選擇一未經地圖繪製區域中之複數個預測出之無碰撞點；及 判定該複數個預測出之無碰撞點中之至少兩者之間的至少一個預測出之無碰撞路徑。
  21. 一種設備，其包含： 用於整合一深度地圖與一定位資訊以產生一三維(3D)地圖之構件；及 用於至少部分地基於該3D地圖、該定位資訊或一使用者輸入而進行運動規劃之構件，當該使用者輸入經預測為引起一碰撞時，該運動規劃更動控制該使用者輸入。
  22. 如請求項21之設備，其進一步包含： 用於自複數個攝影機判定該深度地圖之構件；及 用於自複數個感測器獲得該定位資訊之構件。
  23. 如請求項22之設備，其中該定位資訊包含一影像資訊、一慣性感測器資訊或其一組合中之至少一者。
  24. 如請求項23之設備，其進一步包含用於自一陀螺儀、一加速度計或其一組合中之至少一者獲得該慣性感測器資訊之構件。
  25. 如請求項21之設備，其進一步包含用於基於自一立體攝影機獲得之量測值產生該深度地圖之構件。
  26. 如請求項21之設備，其進一步包含用於在更動控制該使用者輸入時選擇一新的軌跡、一新的速度或其一組合中之至少一者之構件。
  27. 如請求項21之設備，其進一步包含用於當經由該使用者輸入接收到之一軌跡、一速度或其一組合中之至少一者經預測為引起該碰撞時更動控制該使用者輸入之構件。
  28. 如請求項21之設備，其中用於運動規劃之該構件進一步包含： 用於隨機地選擇該3D地圖中之複數個無碰撞點之構件； 用於判定該複數個無碰撞點中之至少兩者之間的至少一個無碰撞路徑之構件；及 用於至少部分地基於該至少一個無碰撞路徑判定至一目的地之一最小成本路徑之構件。
  29. 如請求項28之設備，其中用於運動規劃之該構件進一步包含用於當沿著該最小成本路徑觀看到一障礙物時變更該最小成本路徑之構件。
  30. 如請求項28之設備，其中用於運動規劃的該構件進一步包含： 用於隨機地選擇一未經地圖繪製區域中之複數個預測出之無碰撞點的構件；及 用於判定該複數個預測出之無碰撞點中之至少兩者之間的至少一個預測出之無碰撞路徑的構件。
  31. 一種上面記錄有用於提供視覺導航至一機器人之程式碼的非暫時性電腦可讀媒體，該程式碼由一處理器執行並包含： 用以整合一深度地圖與一定位資訊以產生一三維(3D)地圖之程式碼；及 用以至少部分地基於該3D地圖、該定位資訊或一使用者輸入而進行運動規劃之程式碼，當該使用者輸入經預測為引起一碰撞時，該運動規劃更動控制該使用者輸入。
  32. 如請求項31之非暫時性電腦可讀媒體，其中該程式碼進一步包含： 用以自複數個攝影機判定該深度地圖之程式碼；及 用以自複數個感測器獲得該定位資訊之程式碼。
  33. 如請求項32之非暫時性電腦可讀媒體，其中該定位資訊包含影像資訊、一慣性感測器資訊或其一組合中之至少一者。
  34. 如請求項33之非暫時性電腦可讀媒體，其中該程式碼進一步包含用以自一陀螺儀、一加速度計或其一組合中之至少一者獲得該慣性感測器資訊之程式碼。
  35. 如請求項31之非暫時性電腦可讀媒體，其中該程式碼進一步包含用以基於自一立體攝影機獲得之量測值產生該深度地圖之程式碼。
  36. 如請求項31之非暫時性電腦可讀媒體，其中該程式碼進一步包含用以在更動控制該使用者輸入時選擇一新的軌跡、一新的速度或其一組合中之至少一者的程式碼。
  37. 如請求項31之非暫時性電腦可讀媒體，其中用以進行運動規劃之該程式碼進一步包含用以當經由該使用者輸入接收到之一軌跡、一速度或其一組合中之至少一者經預測為引起該碰撞時更動控制該使用者輸入之程式碼。
  38. 如請求項31之非暫時性電腦可讀媒體，其中用以進行運動規劃之該程式碼進一步包含： 用以隨機地選擇該3D地圖中之複數個無碰撞點之程式碼； 用以判定該複數個無碰撞點中之至少兩者之間的至少一個無碰撞路徑之程式碼；及 用以至少部分地基於該至少一個無碰撞路徑判定至一目的地之一最小成本路徑之程式碼。
  39. 如請求項38之非暫時性電腦可讀媒體，其中用以進行運動規劃之該程式碼進一步包含用以當沿著該最小成本路徑觀看到一障礙物時變更該最小成本路徑之程式碼。
  40. 如請求項38之非暫時性電腦可讀媒體，其中用以進行運動規劃之該程式碼進一步包含： 用以隨機地選擇一未經地圖繪製區域中之複數個預測出之無碰撞點之程式碼；及 用以判定該複數個預測出之無碰撞點中之至少兩者之間的至少一個預測出之無碰撞路徑的程式碼。
TW105137353A 2015-12-15 2016-11-16 自主視覺導航 TW201728876A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562267886P 2015-12-15 2015-12-15
US15/249,250 US10705528B2 (en) 2015-12-15 2016-08-26 Autonomous visual navigation

Publications (1)

Publication Number Publication Date
TW201728876A true TW201728876A (zh) 2017-08-16

Family

ID=59020531

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105137353A TW201728876A (zh) 2015-12-15 2016-11-16 自主視覺導航

Country Status (9)

Country Link
US (1) US10705528B2 (zh)
EP (1) EP3391166B1 (zh)
JP (1) JP6882296B2 (zh)
KR (1) KR102226350B1 (zh)
CN (1) CN108475059B (zh)
BR (1) BR112018011944A2 (zh)
CA (1) CA3004262A1 (zh)
TW (1) TW201728876A (zh)
WO (1) WO2017105643A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342827A (zh) * 2023-05-26 2023-06-27 厦门精图信息技术有限公司 一种地图元素三维呈现系统及方法

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015072002A1 (ja) * 2013-11-15 2015-05-21 株式会社日立製作所 移動ロボットシステム
US10372968B2 (en) * 2016-01-22 2019-08-06 Qualcomm Incorporated Object-focused active three-dimensional reconstruction
US11429105B2 (en) 2016-06-10 2022-08-30 Duke University Motion planning for autonomous vehicles and reconfigurable motion planning processors
WO2018042853A1 (ja) 2016-09-05 2018-03-08 株式会社クボタ 作業車自動走行システム、走行経路管理装置、走行経路生成装置、走行経路決定装置
US10336469B2 (en) 2016-09-30 2019-07-02 Sony Interactive Entertainment Inc. Unmanned aerial vehicle movement via environmental interactions
US10679511B2 (en) 2016-09-30 2020-06-09 Sony Interactive Entertainment Inc. Collision detection and avoidance
US10850838B2 (en) 2016-09-30 2020-12-01 Sony Interactive Entertainment Inc. UAV battery form factor and insertion/ejection methodologies
US10410320B2 (en) 2016-09-30 2019-09-10 Sony Interactive Entertainment Inc. Course profiling and sharing
US10377484B2 (en) 2016-09-30 2019-08-13 Sony Interactive Entertainment Inc. UAV positional anchors
US10416669B2 (en) 2016-09-30 2019-09-17 Sony Interactive Entertainment Inc. Mechanical effects by way of software or real world engagement
US10357709B2 (en) 2016-09-30 2019-07-23 Sony Interactive Entertainment Inc. Unmanned aerial vehicle movement via environmental airflow
WO2018101351A1 (ja) * 2016-12-02 2018-06-07 株式会社クボタ 走行経路管理システム及び走行経路決定装置
US10846541B2 (en) * 2017-01-04 2020-11-24 Qualcomm Incorporated Systems and methods for classifying road features
WO2018191818A1 (en) * 2017-04-18 2018-10-25 Clearpath Robotics Inc. Stand-alone self-driving material-transport vehicle
US10303180B1 (en) * 2017-04-20 2019-05-28 X Development Llc Generating and utilizing non-uniform volume measures for voxels in robotics applications
US10949798B2 (en) * 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
WO2018213931A1 (en) 2017-05-25 2018-11-29 Clearpath Robotics Inc. Systems and methods for process tending with a robot arm
US10578453B2 (en) * 2017-07-14 2020-03-03 Rosemount Aerospace Inc. Render-based trajectory planning
WO2019041043A1 (en) 2017-08-31 2019-03-07 Clearpath Robotics Inc. SYSTEMS AND METHODS FOR GENERATING A MISSION FOR A SELF-CONTAINING MATERIAL TRANSPORT VEHICLE
DE112017008101T5 (de) * 2017-09-27 2020-07-02 Intel Corporation Autonome roboter und verfahren zum betreiben derselben
US20190113920A1 (en) * 2017-10-18 2019-04-18 Luminar Technologies, Inc. Controlling an autonomous vehicle using model predictive control
US9990767B1 (en) 2017-10-24 2018-06-05 Lowe's Companies, Inc. Generation of 3D models using stochastic shape distribution
US10366531B2 (en) * 2017-10-24 2019-07-30 Lowe's Companies, Inc. Robot motion planning for photogrammetry
WO2019084686A1 (en) 2017-10-31 2019-05-09 Clearpath Robotics Inc. Systems and methods for operating robotic equipment in controlled zones
WO2019090417A1 (en) 2017-11-10 2019-05-16 Clearpath Robotics Inc. Systems and methods for updating an electronic map
US11073828B2 (en) * 2017-12-08 2021-07-27 Samsung Electronics Co., Ltd. Compression of semantic information for task and motion planning
CN108242102B (zh) * 2017-12-28 2020-04-24 纳恩博（北京）科技有限公司 信息处理方法及装置、电子设备及存储介质
WO2019139815A1 (en) 2018-01-12 2019-07-18 Duke University Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects
TWI822729B (zh) 2018-02-06 2023-11-21 美商即時機器人股份有限公司 用於儲存一離散環境於一或多個處理器之一機器人之運動規劃及其改良操作之方法及設備
ES2928250T3 (es) 2018-03-21 2022-11-16 Realtime Robotics Inc Planificación del movimiento de un robot para diversos entornos y tareas y mejora del funcionamiento del mismo
CN108955682A (zh) * 2018-04-03 2018-12-07 哈尔滨工业大学深圳研究生院 手机室内定位导航方法
US10802492B2 (en) * 2018-04-05 2020-10-13 Ford Global Technologies, Llc Vehicle path identification
US11407111B2 (en) * 2018-06-27 2022-08-09 Abb Schweiz Ag Method and system to generate a 3D model for a robot scene
WO2020056375A1 (en) 2018-09-13 2020-03-19 The Charles Stark Draper Laboratory, Inc. Voice modification to robot motion plans
CN109582032B (zh) * 2018-10-11 2021-10-12 天津大学 多旋翼无人机在复杂环境下的快速实时避障路径选择方法
US11192253B2 (en) 2018-10-12 2021-12-07 Toyota Research Institute, Inc. Systems and methods for conditional robotic teleoperation
JP6508691B1 (ja) * 2018-10-15 2019-05-08 株式会社Ｍｕｊｉｎ 制御装置、作業ロボット、プログラム、及び、制御方法
JP7241517B2 (ja) * 2018-12-04 2023-03-17 三菱電機株式会社 航法装置、航法パラメータ計算方法およびプログラム
TWI672206B (zh) * 2018-12-19 2019-09-21 財團法人工業技術研究院 機械手臂非接觸式工具中心點校正裝置及其方法以及具有校正功能的機械手臂系統
US10948300B2 (en) * 2018-12-27 2021-03-16 Beijing Voyager Technology Co., Ltd. Systems and methods for path determination
KR102198187B1 (ko) * 2018-12-28 2021-01-04 엘지전자 주식회사 이동 로봇
JP2022519788A (ja) * 2019-02-11 2022-03-24 ６４３エーアイ リミテッド 複数の自律型車両を管理するためのシステムおよび方法
CN109814574B (zh) * 2019-02-22 2022-07-19 百度在线网络技术（北京）有限公司 自动驾驶车道汇合处的速度规划方法、装置和存储介质
CN109685048A (zh) * 2019-03-04 2019-04-26 上海卓易科技股份有限公司 人体测量方法、装置、终端及存储介质
WO2020206071A1 (en) * 2019-04-02 2020-10-08 Brain Corporation Systems, apparatuses, and methods for cost evaluation and motion planning for robotic devices
US11634126B2 (en) 2019-06-03 2023-04-25 Realtime Robotics, Inc. Apparatus, methods and articles to facilitate motion planning in environments having dynamic obstacles
JP7124797B2 (ja) * 2019-06-28 2022-08-24 トヨタ自動車株式会社 機械学習方法および移動ロボット
WO2021006134A1 (ja) * 2019-07-08 2021-01-14 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよびカメラモジュール
US11875678B2 (en) * 2019-07-19 2024-01-16 Zoox, Inc. Unstructured vehicle path planner
WO2021041223A1 (en) 2019-08-23 2021-03-04 Realtime Robotics, Inc. Motion planning for robots to optimize velocity while maintaining limits on acceleration and jerk
US11233937B1 (en) * 2019-09-26 2022-01-25 Amazon Technologies, Inc. Autonomously motile device with image capture
CN112818727A (zh) * 2019-11-18 2021-05-18 华为技术有限公司 一种道路约束确定方法及装置
TW202146189A (zh) 2020-01-22 2021-12-16 美商即時機器人股份有限公司 於多機器人操作環境中之機器人之建置
CN111650931B (zh) * 2020-04-26 2023-03-14 广东博智林机器人有限公司 多个移动设备的路径确定的方法、装置与存储介质
US20210346557A1 (en) * 2020-05-08 2021-11-11 Robust AI, Inc. Robotic social interaction
US20220034669A1 (en) * 2020-07-28 2022-02-03 Bae Systems Information And Electronic Systems Integration Inc. Navigation architecture for contested environments
CN112454367B (zh) * 2020-12-10 2022-04-26 北京市商汤科技开发有限公司 一种轨迹规划方法、装置以及计算机存储介质
CN112797986B (zh) * 2021-02-07 2023-03-31 江西省智能产业技术创新研究院 基于无人自主技术的智能物流机器人定位系统及方法
CN112991527B (zh) * 2021-02-08 2022-04-19 追觅创新科技(苏州)有限公司 目标对象的躲避方法及装置、存储介质、电子装置
CN112904366B (zh) * 2021-03-19 2023-06-16 北京小狗吸尘器集团股份有限公司 应用于扫地机的重定位方法、装置、电子设备和介质
KR102551275B1 (ko) * 2021-05-14 2023-07-04 (주)로보티즈 자율 주행 로봇을 위한 거리 변환 지도 기반의 반응형 네비게이션
US20230031289A1 (en) * 2021-07-30 2023-02-02 Toyota Research Institute, Inc. Monocular 2d semantic keypoint detection and tracking
US11580690B1 (en) 2021-08-31 2023-02-14 Raytheon Company Horizon-based navigation
WO2023066772A1 (en) * 2021-10-20 2023-04-27 Syddansk Universitet A method and a system for collision avoidance of a 3d robotic concrete printer
CN114384939B (zh) * 2022-03-24 2022-07-29 江苏深瑞光学技术有限公司 一种微型水下探测机器人自主导航系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6667592B2 (en) * 2001-08-13 2003-12-23 Intellibot, L.L.C. Mapped robot system
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
JP2007257200A (ja) * 2006-03-22 2007-10-04 Toyota Motor Corp 移動体及びその制御方法
US8509965B2 (en) * 2006-12-12 2013-08-13 American Gnc Corporation Integrated collision avoidance system for air vehicle
JP4661838B2 (ja) * 2007-07-18 2011-03-30 トヨタ自動車株式会社 経路計画装置及び方法、コスト評価装置、並びに移動体
CN100468265C (zh) * 2007-08-24 2009-03-11 北京航空航天大学 一种复合式视觉导航方法与装置
JP2009193240A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 移動ロボット及び環境地図の生成方法
US8229618B2 (en) 2008-09-11 2012-07-24 Deere & Company Leader-follower fully autonomous vehicle with operator on side
JP5321214B2 (ja) * 2009-04-15 2013-10-23 トヨタ自動車株式会社 移動体及びその制御方法
KR101667032B1 (ko) * 2009-10-30 2016-10-17 삼성전자 주식회사 로봇의 경로 계획 장치 및 그 방법
WO2012021192A2 (en) 2010-05-12 2012-02-16 Irobot Corporation Remote vehicle control system and method
US9213905B2 (en) 2010-10-25 2015-12-15 Trimble Navigation Limited Automatic obstacle location mapping
US8761990B2 (en) * 2011-03-30 2014-06-24 Microsoft Corporation Semi-autonomous mobile device driving with obstacle avoidance
CN102866706B (zh) * 2012-09-13 2015-03-25 深圳市银星智能科技股份有限公司 一种采用智能手机导航的清扫机器人及其导航清扫方法
KR101339480B1 (ko) * 2012-12-14 2013-12-10 고려대학교 산학협력단 Ｒｒｔ 기반의 듀얼 트리 구조를 이용한 이동 로봇의 궤적 계획 방법
US9674507B2 (en) 2013-04-30 2017-06-06 Qualcomm Incorporated Monocular visual SLAM with general and panorama camera movements
US20140355869A1 (en) * 2013-06-03 2014-12-04 Elbit Systems Ltd. System and method for preventing aircrafts from colliding with objects on the ground
EP2884364B1 (en) * 2013-12-12 2018-09-26 Hexagon Technology Center GmbH Autonomous gardening vehicle with camera
DE102014226084A1 (de) * 2014-12-16 2016-06-16 Robert Bosch Gmbh Verfahren zur Kartierung einer Bearbeitungsfläche für autonome Roboterfahrzeuge
CN204695100U (zh) * 2015-05-20 2015-10-07 深圳市锐曼智能装备有限公司 机器人用深度摄像头与超声波结合的避障控制装置
CN104865965B (zh) * 2015-05-20 2017-12-26 深圳市锐曼智能装备有限公司 机器人用深度摄像头与超声波结合的避障控制方法及系统
US10341633B2 (en) * 2015-11-20 2019-07-02 Qualcomm Incorporated Systems and methods for correcting erroneous depth information

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342827A (zh) * 2023-05-26 2023-06-27 厦门精图信息技术有限公司 一种地图元素三维呈现系统及方法
CN116342827B (zh) * 2023-05-26 2023-08-08 厦门精图信息技术有限公司 一种地图元素三维呈现系统及方法

Also Published As

Publication number Publication date
CN108475059A (zh) 2018-08-31
US20170168488A1 (en) 2017-06-15
US10705528B2 (en) 2020-07-07
KR102226350B1 (ko) 2021-03-12
CN108475059B (zh) 2021-11-09
JP2019500693A (ja) 2019-01-10
EP3391166B1 (en) 2020-02-19
EP3391166A1 (en) 2018-10-24
WO2017105643A1 (en) 2017-06-22
BR112018011944A2 (pt) 2018-11-27
JP6882296B2 (ja) 2021-06-02
CA3004262A1 (en) 2017-06-22
KR20180093934A (ko) 2018-08-22

Similar Documents

Publication Publication Date Title
TW201728876A (zh) 自主視覺導航
US11592844B2 (en) Image space motion planning of an autonomous vehicle
JP7465615B2 (ja) 航空機のスマート着陸
Asadi et al. An integrated UGV-UAV system for construction site data collection
US11861892B2 (en) Object tracking by an unmanned aerial vehicle using visual sensors
JP6436604B2 (ja) 演算システムによって実施される方法及びシステム
JP2022511359A (ja) ウェイポイントマッチングを用いた自律マップトラバーサル
Campos‐Macías et al. Autonomous navigation of MAVs in unknown cluttered environments
JPWO2019098082A1 (ja) 制御装置、および制御方法、プログラム、並びに移動体
Pan et al. Fast‐Tracker 2.0: Improving autonomy of aerial tracking with active vision and human location regression
Spitzer et al. Fast and agile vision-based flight with teleoperation and collision avoidance on a multirotor
Zhang et al. Unmanned aerial vehicle navigation in underground structure inspection: A review
JP2020064029A (ja) 移動体制御装置
Sanchez-Rodriguez et al. Onboard plane-wise 3D mapping using super-pixels and stereo vision for autonomous flight of a hexacopter
WO2021140916A1 (ja) 移動体、情報処理装置、情報処理方法、及びプログラム
Wang et al. Autonomous Navigation System for Indoor Mobile Robots Based on a Multi-sensor Fusion Technology
US20230150543A1 (en) Systems and methods for estimating cuboid headings based on heading estimations generated using different cuboid defining techniques
Mohan et al. A comprehensive review of SLAM techniques
Hutsebaut-Buysse et al. Directed Real-World Learned Exploration
Claes et al. Calu: collision avoidance with localization uncertainty