TWI846244B - 軌跡修正系統及其方法 - Google Patents

軌跡修正系統及其方法 Download PDF

Info

Publication number
TWI846244B
TWI846244B TW111150229A TW111150229A TWI846244B TW I846244 B TWI846244 B TW I846244B TW 111150229 A TW111150229 A TW 111150229A TW 111150229 A TW111150229 A TW 111150229A TW I846244 B TWI846244 B TW I846244B
Authority
TW
Taiwan
Prior art keywords
repulsive
path
coordinate
collision
time point
Prior art date
Application number
TW111150229A
Other languages
English (en)
Other versions
TW202427084A (zh
Inventor
何俊泓
陳修志
蔣欣翰
陳彥霖
黃國倫
陳韶綺
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW111150229A priority Critical patent/TWI846244B/zh
Priority to CN202310081021.XA priority patent/CN118276565A/zh
Priority to JP2023018232A priority patent/JP7499898B1/ja
Priority to US18/185,508 priority patent/US20240208493A1/en
Priority to EP23164341.2A priority patent/EP4394538A1/en
Application granted granted Critical
Publication of TWI846244B publication Critical patent/TWI846244B/zh
Publication of TW202427084A publication Critical patent/TW202427084A/zh

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/246Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40Control within particular dimensions
    • G05D1/43Control of position or course in two dimensions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/617Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622Obstacle avoidance
    • G05D1/633Dynamic obstacles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

軌跡修正方法包含依據初始路徑及動態物件的預測行進路徑,判斷是否有碰撞區;響應於判斷具有該碰撞區,在原始勢力場圖的對應碰撞區處,形成第一斥力物件,以獲得修正勢力場圖;及根據修正勢力場圖獲得避障路徑。

Description

軌跡修正系統及其方法
本發明是關於一種軌跡處理技術,尤其是關於一種軌跡修正系統及其方法。
軌跡規劃是自動化領域中常見的環節之一。根據環境資訊的完整度,軌跡規劃的方法可以區分成兩種規劃方式,例如全域規劃及局域規劃。全域規劃需預先獲得移動裝置(例如自走機器人)所處的場域的所有的環境資訊,以規劃出移動裝置在場域中能規避障礙物以抵達目的地的軌跡路徑。局域規劃是預先獲得移動裝置的當前位置的一定範圍內的環境資訊(於後稱為局部的環境資訊),以逐漸規劃出移動裝置在場域中能規避障礙物以抵達目的地的軌跡路徑。然而,場域中除了靜態的障礙物之外還有動態的障礙物,造成無法確實規劃出能規避障礙物的軌跡路徑,且移動裝置無法順利到達目的地。
鑒於上述,本發明提供一種軌跡修正系統及軌跡修正方法。軌跡修正系統包含記憶體及處理器。處理器耦接記憶體。記憶體儲存程式碼。處理器存取並執行程式碼以執行依據初始路徑及動態物件的預測行進路徑,判斷是否有碰撞區;響應於判斷具有該碰撞區,在原始勢力場圖的對應碰撞區處,形成第一斥力物件,以獲得修正勢力場圖;及根據修正勢力場圖產生避障路徑。
軌跡修正方法包含依據初始路徑及動態物件的預測行進路徑,判斷是否有碰撞區;響應於判斷具有該碰撞區,在原始勢力場圖的對應碰撞區處,形成第一斥力物件,以獲得修正勢力場圖;及根據修正勢力場圖產生避障路徑。
綜上所述,依據本發明之實施例,透過關於移動裝置的初始路徑、動態物件(即動態障礙物)的預測行進路徑、及初始路徑與預測行進路徑之間的碰撞區的第一斥力物件的斥力場,以獲得能夠確實規避障礙物的避障路徑,從而使移動裝置能夠順利到達目的地。在一些實施例中,除了第一斥力物件之外,還可以透過動態物件本身形成的斥力物件(於後稱為第二斥力物件)來獲得避障路徑。
在本文中,兩座標之間的距離可以是指歐幾里得距離(Euclidean distance)。
參照圖1,係為本發明依據一些實施例之軌跡修正系統100的方塊示意圖。軌跡修正系統100包含記憶體10及處理器20。處理器20耦接記憶體10。記憶體10儲存有程式碼,以供處理器20存取後執行本發明之軌跡修正方法。在一些實施例中,記憶體10及處理器20可以設置於移動裝置的內部或是外部(圖未示)。移動裝置例如是自走機器人。在一些實施例中,處理器20執行本發明之軌跡修正方法時所使用到的資料之間的傳遞可以是利用機器人作業系統(Robot Operating System,ROS)實現。
在一些實施例中,記憶體10例如但不限於傳統硬碟、固態硬碟、快閃記憶體、光碟等。在一些實施例中,處理器20例如但不限於中央處理器、微處理器、特定應用積體電路(ASIC,Application-specific Integrated Circuit)、或系統單晶片(SOC,System on a Chip)等運算電路。在一些實施例中,處理器20可以耦接輸出入介面(圖未示)。輸出入介面可供連接操控裝置(如鍵盤、滑鼠等)。操控裝置供設計人員操作,以產生操作指令,操作指令經由輸出入介面傳送至處理器20,使得處理器20響應於操作指令執行對應的運作。於另一實施例中,處理器20與移動裝置亦可透過輸出入介面或通訊裝置(圖未示)相互傳遞訊息,處理器20透過輸出入介面或通訊裝置接收移動裝置上的影像或感測資訊(如影像擷取裝置、深度相機),並在獲得影像或感測資訊後進行對應的處理(例如影像處理或資料處理),處理器20亦可透過輸出入介面或通訊裝置傳輸驅動指令至移動裝置,以控制移動裝置移動。
參照圖2,係為本發明依據一些實施例之軌跡修正方法的流程圖。首先,處理器20從記憶體10獲得場域圖(步驟S201)。場域圖可以是移動裝置所欲移動的場域的俯視圖。接著,處理器20從記憶體10獲得移動裝置於場域(場域圖)的起始地的起始座標及目的地的目標座標,並依據起始座標及目標座標規劃初始路徑L1,從而獲得關於移動裝置從起始地前往目的地的初始路徑L1(步驟S203)。接著,處理器20可以從記憶體10獲得移動裝置在行進時透過其影像擷取裝置(例如攝影機)所擷取的影像,處理器20透過物件偵測演算法(例如,特徵比對或神經網路推論)辨識影像中物件(例如靜態物件及動態物件,其中靜態物件可以例如是牆壁、桌椅及花瓶等位置較不易發生變動的物件,動態物件可以例如是行人、娃娃車、動物、小孩、老人及交通工具等位置較易發生變動的物件)的位置及類型,並轉換影像的視角以將物件俯視投影到場域圖而形成成本地圖(cost map)(步驟S205)。接著,處理器20追縱物件所產生的軌跡,或從記憶體10獲得動態物件的歷史行進軌跡。處理器20根據追蹤軌跡及/或歷史行進軌跡執行軌跡預測方法,以獲得動態物件的預測行進路徑L2(步驟S207)。其中,軌跡預測方法可以例如是由長短期記憶(Long Short-Term Memory,LSTM)模型、社會LSTM(Social LSTM)模型、社會生成對抗網路(Social generative adversarial network,Social GAN)、或SoPhie所實現的演算法。在一些實施例中,處理器20可以將初始路徑L1及預測行進路徑L2結合至成本地圖中,以供執行後續的步驟。
在獲得關於移動裝置的初始路徑L1及動態物件的預測行進路徑L2之後,處理器20依據關於移動裝置的初始路徑L1及動態物件的預測行進路徑L2,判斷是否有碰撞區BP(步驟S209)。例如,處理器20判斷初始路徑L1及預測行進路徑L2之間是否可能在某一時間點時相交。響應於處理器20判斷初始路徑L1及預測行進路徑L2之間可能在某一時點時相交,則處理器20設定相交的區域為碰撞區BP,並執行步驟S211。響應於處理器20判斷初始路徑L1及預測行進路徑L2之間不可能在某一時點時相交,則處理器20返回執行步驟S205及其後續步驟,以接續預測動態物件的行進路徑(即重新獲得此動態物件的預測行進路徑L2)或等待偵測到新的動態物件及預測其行進路徑(即獲得新的動態物件的預測行進路徑L2)。
在判斷出碰撞區BP後,處理器20在原始勢力場圖的對應碰撞區BP處,形成第一斥力物件RP以獲得修正勢力場圖(步驟S211)。舉例來說,處理器20依據人工勢場法(Artificial Potential Field)計算成本地圖中的靜態物件的斥力場及目的地的引力場,並將靜態物件的斥力場及目的地的引力場結合成本地圖以形成原始勢力場圖。由於初始路徑L1及預測行進路徑L2可以先結合於成本地圖中,因此在處理器20在判斷出碰撞區BP後即可得知碰撞區BP對應於原始勢力場圖的位置。處理器20在原始勢力場圖的對應碰撞區BP處形成有關動態物件的斥力場的第一斥力物件RP,藉以產生出修正勢力場圖。
在一些實施例中,處理器20還在原始勢力場圖形成沿著預測行進路徑L2移動的一第二斥力物件RPX,並結合第一斥力物件RP,以獲得修正勢力場圖。也就是說,修正勢力場圖除了具有第一斥力物件RP之外,還具有第二斥力物件RPX。其中,第一斥力物件RP及第二斥力物件RPX是關聯於同一動態物件。
在獲得修正勢力場圖之後,處理器20根據修正勢力場圖獲得避障路徑LA(步驟S213)。舉例來說,由於移動裝置受引力場吸引並受斥力場排斥,因此透過人工勢場中的吸引力及排斥力的合力作用,處理器20可以計算出能確實規避所有障礙物(例如靜態物件及動態物件)的避障路徑LA。如圖4A~圖4E所示,透過第一斥力物件RP及第二斥力物件RPX,避障路徑LA即可繞過第一斥力物件RP的斥力場的上部,而不穿越第一斥力物件RP及第二斥力物件RPX的斥力場,及不穿越第一斥力物件RP的斥力場的下部及第二斥力物件RPX的斥力場的上部之間。在一些實施例中,處理器20依據避障路徑LA產生驅動指令,以使移動裝置的驅動裝置響應驅動指令而沿著避障路徑LA往目的地移動。也就是說,處理器20控制移動裝置沿著避障路徑LA移動。在一些實施例中,驅動裝置可以由傳動系統(drivetrain)及驅動輪實現。傳動系統可以包含馬達及連接驅動輪的傳動軸。
參照圖3,係為本發明依據一些實施例之初始路徑L1及預測行進路徑L2在三維時空的示意圖。三維時空的第一維度X及第二維度Y是表示成本地圖的二維空間,三維時空的第三維度T是表示時間。在一些實施例中,初始路徑L1包含多個第一座標參數( x 01, y 01, t 01)~( x 010, y 010, t 010),於一實施例中處理器20可依照初始路徑L1及移動裝置的行進速度推算出此些參數,預測行進路徑L2包含多個第二座標參數( x 11, y 11, t 11)~( x 110, y 110, t 110)。在此繪示十個第一座標參數及十個第二座標參數,但本發明並不限於此,第一座標參數的數量及第二座標參數的數量可以是分別大於十個或是小於十個。在步驟S209的一些實施例中,處理器20依據第一座標參數( x 01, y 01, t 01)~( x 010, y 010, t 010)、第二座標參數( x 11, y 11, t 11)~( x 110, y 110, t 110)及距離閾值,判斷是否具有碰撞區BP。在一些實施例中,距離閾值可以是儲存於記憶體10中。
在一些實施例中,由於初始路徑L1及預測行進路徑L2是依照時序延伸,因此每一第一座標參數( x 01, y 01, t 01)~( x 010, y 010, t 010)包含第一座標( x 01, y 01)~( x 010, y 010)及第一時間點 t 01~ t 010形成的第一時間區間。具體來說,第一座標參數( x 01, y 01, t 01)包含第一座標( x 01, y 01)及第一時間點 t 01,第一座標參數( x 02, y 02, t 02)包含第一座標( x 02, y 02)及第一時間點 t 02,以此類推。第一座標( x 01, y 01)~( x 010, y 010)是用以表示在對應的第一時間點 t 01~ t 010的第一時間區間下,初始路徑L1在成本地圖中的位置。每一第二座標參數( x 11, y 11, t 11)~( x 110, y 110, t 110)包含第二座標( x 11, y 11)~( x 110, y 110)及第二時間點 t 11~ t 110的第二時間區間。具體來說,第二座標參數( x 11, y 11, t 11)包含第二座標( x 11, y 11)及第二時間點 t 11,第二座標參數( x 12, y 12, t 12)包含第二座標( x 12, y 12)及第二時間點 t 12,以此類推。第二座標( x 11, y 11)~( x 110, y 110)是用以表示在對應的第二時間點 t 11~ t 110的第二時間區間下,預測行進路徑L2在成本地圖中的位置。該些第一座標參數( x 01, y 01, t 01)~( x 010, y 010, t 010)的第一時間點 t 01~ t 010是不相同的。該些第二座標參數( x 11, y 11, t 11)~( x 110, y 110, t 110)的第二時間點 t 11~ t 110是不相同的。例如,第一時間點 t 01~ t 010彼此之間以等比例間隔(例如彼此的間隔時間是1秒),第二時間點 t 11~ t 110彼此之間以等比例間隔(例如彼此的間隔時間是1秒)。
在步驟S209的一些實施例中,處理器20比對實質相同的第一時間點 t 01~ t 010及第二時間點 t 11~ t 110所對應的第一座標( x 01, y 01)~( x 010, y 010)及第二座標( x 11, y 11)~( x 110, y 110)以獲得距離值,在距離值不大於距離閾值時判斷出具有碰撞區BP,並以不大於距離閾值的距離值對應的第一座標( x 01, y 01)~( x 010, y 010)及第二座標( x 11, y 11)~( x 110, y 110)為碰撞區BP。在此,實質相同的時間點可以是指時間點之間的時間差小於1毫秒。
以下以假設第一時間點 t 01及第二時間點 t 11皆是0秒,第一時間點 t 02及第二時間點 t 12皆是1秒,及以此類推的方式對步驟S209進行舉例說明。處理器20計算實質相同的第一時間點 t 01~ t 010及第二時間點 t 11~ t 110所對應的第一座標( x 01, y 01)~( x 010, y 010)及第二座標( x 11, y 11)~( x 110, y 110)的歐幾里得距離以作為距離值。具體來說,處理器20依據式1計算第一座標( x 01, y 01)與第二座標( x 11, y 11)之間的歐幾里得距離以作為距離值,計算第一座標( x 02, y 02)與第二座標( x 12, y 12)之間的歐幾里得距離以作為距離值,以此類推。其中,D是距離值, x 0n是第一座標的第一維度, x 1n是第二座標的第一維度, y 0n是第一座標的第二維度, y 1n是第二座標的第二維度,n是常數。在距離值不大於距離閾值時,表示在計算該距離值時所對應的第一時間點 t 01~ t 010及第二時間點 t 11~ t 110(即碰撞時間點)下,初始路徑L1及預測行進路徑L2會發生相交。例如,如圖3所示,在第一時間點 t 010及第二時間點 t 110下,初始路徑L1及預測行進路徑L2會發生相交。如此,處理器20可以依據對應於第一時間點 t 010及第二時間點 t 110的第一座標( x 010, y 010)及第二座標( x 110, y 110)來獲得碰撞區BP。例如,以第一座標( x 010, y 010)及第二座標( x 110, y 110)之間的中心點的座標作為碰撞區BP;或是以第一( x 010, y 010)及第二座標( x 110, y 110)之間的距離值作為半徑或直徑而計算出一圓區域作為碰撞區BP,但本發明並不限於此,可以是以距離值作為多邊形的邊長而計算出一多邊形區域作為碰撞區BP。也就是說,碰撞區BP可以是點或是區域。
……………………(式1)
在一些實施例中,距離閾值是對應動態物件的尺寸。具體來說,距離閾值是小於動態物件的尺寸。在一些實施例中,距離閾值可以是移動裝置的尺寸的一半(於後稱為半尺寸)(例如半徑)與動態物件的半尺寸(例如半徑)之總和。如此,確保可以判斷出初始路徑L1及預測行進路徑L2之間是否有碰撞區BP。
參照圖3及圖4A~圖4E。圖4A~圖4E係為本發明依據一些實施例之在不同時間點下的修正勢力場圖的修正勢力場子圖。在一些實施例中,處理器20可以等比例選擇出碰撞區BP對應的碰撞時間點(例如,圖3所示的第一時間點 t 010及第二時間點 t 110)的之前時序的多個時間點(於後稱為前時序點)。例如,處理器20以1秒的間隔選擇出碰撞時間點的四個前時序點,具體來說第一前時序點是碰撞時間點的4秒前的時間點,第二前時序點是碰撞時間點的3秒前的時間點,以此類推。如圖3所示,碰撞時間點是對應第一時間點 t 010及第二時間點 t 110,第一前時序點可以是對應第一時間點 t 06及第二時間點 t 16,第二前時序點可以是對應第一時間點 t 07及第二時間點 t 17,以此類推。處理器20可以依據式2計算出動態物件在不同前時序點及碰撞時間點下的斥力場,並在原始勢力場圖的對應碰撞區BP處形成具有該斥力場的第一斥力物件RP,藉以產生出多個不同時間點下的修正勢力場子圖。其中, 是斥力場值(即斥力場強度), 是斥力增益係數, 是在不同前時序點及碰撞時間點下移動裝置的初始路徑L1的對應座標與動態物件的預測行進路徑L2的對應座標之間的距離, 是動態物件的障礙作用範圍閾值。接著,處理器20將修正勢力場子圖串接以形成修正勢力場圖。
…………………(式2)
在圖4A~圖4E中,避障路徑LA上的第一位移點MV1是移動裝置在當前時間點下於成本地圖中的位置。例如,在圖4A中避障路徑LA上的第一位移點MV1是移動裝置在第一前時序點下於成本地圖中的位置,在圖4B中避障路徑LA上的第一位移點MV1是移動裝置在第二前時序點下於成本地圖中的位置,以此類推,且在圖4E中避障路徑LA上的第一位移點MV1是移動裝置在碰撞時間點下於成本地圖中的位置。在圖4A~圖4E中,預測行進路徑L2上的第二位移點MV2是動態物件在當前時間點下於成本地圖中的位置。例如,在圖4A中預測行進路徑L2上的第二位移點MV1是動態物件在第一前時序點下於成本地圖中的位置,在圖4B中預測行進路徑L2上的第二位移點MV2是動態物件在第二前時序點下於成本地圖中的位置,以此類推,且在圖4E中預測行進路徑L2上的第二位移點MV2是動態物件在碰撞時間點下於成本地圖中的位置。從圖4A~圖4E可見,隨著時間的增加動態物件會沿著預測行進路徑L2移動而愈加接近於預測行進路徑L2與初始路徑L1相交的碰撞區BP,且動態物件在碰撞時間點時與在初始路徑L1上移動的移動裝置於碰撞區BP碰撞。因此,透過在碰撞時間點之前於碰撞區BP形成第一斥力物件RP即可修正初始路徑L1為避障路徑LA,以使移動裝置沿著避障路徑LA移動從而提前避免移動裝置與動態物件之間的碰撞。
如圖3所示,繪示由式2所計算出的不同前時序點及碰撞時間點下的斥力場所組成的斥力場型(repulsive force pattern)RPP。在一些實施例中,在第一前時序點下,第一斥力物件RP的斥力場強度是在第一時間點 t 06及第二時間點 t 16下,斥力場型RPP於第一維度X與第二維度Y所形成的切面(如圖4A的第一斥力物件RP的邊界大小所示)。在第二前時序點下,第一斥力物件RP的斥力場強度是在第一時間點 t 07及第二時間點 t 17下,斥力場型RPP於第一維度X與第二維度Y所形成的切面(如圖4B的第一斥力物件RP的邊界大小所示),以此類推。在碰撞時間點下,第一斥力物件RP的斥力場強度是在第一時間點 t 010及第二時間點 t 110下,斥力場型RPP於第一維度X與第二維度Y所形成的切面(如圖4E的第一斥力物件RP的邊界大小所示)。
在一些實施例中,如圖3及圖4A~圖4E所示,可見第一斥力物件RP的斥力場強度隨著時間變化。例如,在碰撞時間點之前,隨著時間的增加,第一斥力物件RP的斥力場強度逐漸增加(如圖4A~圖4E所示,第一斥力物件RP的邊界大小逐漸變大)。在一些實施例中,第一斥力物件RP的斥力場強度在碰撞區BP對應的碰撞時間點下是處於最大值。也就是說,在碰撞時間點之前,隨著時間的增加第一斥力物件RP的斥力場強度逐漸增加,且在碰撞時間點之後,隨著時間的增加第一斥力物件RP的斥力場強度逐漸下降。在一些實施例中,相較於第一斥力物件RP,第二斥力物件RPX的斥力場強度是固定的。在一些實施例中,第二斥力物件RPX的斥力場強度相同於第一斥力物件RP在碰撞區BP對應的碰撞時間點下的斥力場強度。
在一些實施例中,第一斥力物件RP及第二斥力物件RPX的斥力場強度係對應動態物件的類型。具體來說,某一些類型的動態物件可能在移動裝置行進時造成較大的阻礙,某另一些類型的動態物件可能在移動裝置行進時造成較小的阻礙。例如,娃娃車較行人造成較大的阻礙。具體來說,在動態物件的類型是行人下,式2中的 可以是0.5, 可以是0.5m(公尺);在動態物件的類型是娃娃車下,式2中的 可以是1, 可以是1m(公尺)。此時,當 是0.5m(公尺)時,在動態物件的類型是行人下的 是0.25,在動態物件的類型是娃娃車下的 是0.5,也就是說娃娃車較行人具有較大的斥力場強度。
參照圖4A~圖4E及圖5A~圖5E。圖5A~圖5E係為本發明之比較例之在不同時間點下的修正勢力場圖的修正勢力場子圖。在圖5A~圖5E中,避障路徑LA0上的第一位移點MV1是移動裝置在當前時間點下於成本地圖中的位置。例如,在圖5A中避障路徑LA0上的第一位移點MV1是移動裝置在第一前時序點下於成本地圖中的位置,在圖5B中避障路徑LA0上的第一位移點MV1是移動裝置在第二前時序點下於成本地圖中的位置,以此類推,且在圖5E中避障路徑LA0上的第一位移點MV1是移動裝置在碰撞時間點下於成本地圖中的位置。在圖5A~圖5E中,預測行進路徑L2上的第二位移點MV2是動態物件在當前時間點下於成本地圖中的位置。例如,在圖5A中預測行進路徑L2上的第二位移點MV2是動態物件在第一前時序點下於成本地圖中的位置,在圖5B中預測行進路徑L2上的第二位移點MV2是動態物件在第二前時序點下於成本地圖中的位置,以此類推,且在圖5E中預測行進路徑L2上的第二位移點MV2是動態物件在碰撞時間點下於成本地圖中的位置。
在比較例中,處理器20並沒有在碰撞時間點之前的多個時間點於原始勢力場圖的對應碰撞區BP處形成具有斥力場的第一斥力物件RP。處理器20僅透過於原始勢力場圖中形成隨著時間而沿著預測行進路徑L2移動的動態物件的第二斥力物件RPX,來修正初始路徑L1為避障路徑LA0。相較於比較例,在本發明的實施例中,處理器20不僅透過第二斥力物件RPX,還透過第一斥力物件RP來修正初始路徑L1為避障路徑LA。具體來說,處理器20在碰撞時間點及碰撞時間點之前的不同前時序點下於原始勢力場圖的對應碰撞區BP處形成具有斥力場的第一斥力物件RP,且在碰撞時間點之前此些斥力場的強度是依據時間增加而漸增的。如此,相較於比較例,本發明的實施例可以更加提前得知障礙物的存在並實時地對避障路徑LA進行更新,以使移動裝置沿著避障路徑LA移動時可以確實規避障礙物。例如,在比較例中,處理器20直至第四前時序點才得知障礙物的存在,在本發明的實施例中,處理器20在第一前時序點時即得知障礙物的存在,移動裝置沿著有考慮第一斥力物件RP的避障路徑LA移動。此外,本發明還降低了移動裝置在行進時為了規避障礙物而快速轉向導致翻倒的風險。例如,由於處理器20在第一前時序點時即得知障礙物的存在,因此處理器20可以提前將移動裝置降速,並沿著有考慮第一斥力物件RP的避障路徑LA移動,以在第四前時序點控制移動裝置沿著避障路徑LA移動時不會產生移動裝置翻倒的風險。
在步驟S213的一些實施例中,處理器20將修正勢力場圖輸入至神經網路,並經神經網路的運算後獲得避障路徑LA。神經網路可以是處理器20或是另外的計算裝置利用一些演算法運算來實施。舉例來說,設計人員可以透過輸出入介面輸入多個具有避障樣本路徑LS的修正勢力場樣本圖至處理器20(或是計算裝置,於後為了方便說明僅以處理器20為例)。處理器20的神經網路依據修正勢力場樣本圖進行時間連續遞迴歸訓練,以決定出判斷邏輯。其中,時間連續遞迴歸訓練可以是已知或是自行開發的模型。神經網路依據修正勢力場圖及判斷邏輯,即可產生在場域中關於移動裝置的避障路徑LA。在一些實施例中,神經網路包含卷積神經網路及其耦接的時間連續遞歸神經網路(Liquid Time-constant Networks,LTCs)。在一些實施例中,處理器20透過修正勢力場圖及人工勢場法產生避障路徑LA,或是透過修正勢力場圖及神經網路(例如時間連續遞歸神經網路)產生避障路徑LA。其中,與神經網路的差異在於,人工勢場法可以無需先行訓練即可進行運算。相較於人工勢場法,透過神經網路(例如時間連續遞歸神經網路)可以學習時序特徵並使避障路徑LA具有較佳的表現,且避障路徑LA的規劃穩定性較高而不容易產生死循環。再者,由於神經網路其內架構的參數量是固定的,因此在多個動態物件的情況下的執行速度較穩定,運算速度較快,響應時間快。此外,透過神經網路(例如時間連續遞歸神經網路),處理器20可以在判斷具有碰撞區BP時才進行避障路徑LA的運算,因此處理器20的運算負擔較小。
參照圖6及圖7A~圖7D。圖6係為本發明依據一些實施例之避障樣本路徑LS的示意圖。圖7A~圖7D係為本發明依據一些實施例之不同時間點下的修正勢力場樣本圖的修正勢力場樣本子圖。以下說明如何產生修正勢力場樣本圖及其避障樣本路徑LS。假設起始地SS於預設的成本樣本地圖的起始樣本座標是(0,0),目的地GG於成本樣本地圖的目標樣本座標是(15,15),碰撞區BB的樣本座標是(8,7)。處理器20可以依據式3、式4、起始樣本座標、移動裝置所假設的當前位置(即當前路徑點)的座標、動態物件所假設的當前位置的座標、目標樣本座標及移動裝置單位時間下的步伐長度,計算每一路徑點的座標,從而獲得避障樣本路徑LS。其中, 是引力場值(即引力場強度), k是引力增益係數, 是不同時間點下移動裝置所假設的當前位置(即當前路徑點)的座標與目標樣本座標之間的距離, 是斥力場值(即斥力場強度), 是斥力增益係數, 是在不同時間點下移動裝置所假設的當前位置(即當前路徑點)的座標與動態物件所假設的當前位置的座標之間的距離, 是動態物件的障礙作用範圍閾值。
……………………………………(式3)
……………(式4)
續,具體來說,假設移動裝置每秒的步伐長度是3m, 是3m, k是1, 是1.5。處理器20將起始樣本座標作為避障樣本路徑LS的第一個路徑點的座標。接著,處理器20依據式3計算出起始樣本座標所受到的引力場強度,例如引力場強度是(15,15)。處理器20依據起始樣本座標指向目標樣本座標的方向(即引力方向),以梯度下降方式計算出第二個路徑點的座標。其中,引力場方向例如是(0.707,0.707),第二個路徑點的座標例如是由將引力場方向乘以步伐長度而計算得,即第二個路徑點的座標例如是 。接著,由於第二個路徑點尚未進入動態物件的障礙作用範圍內(例如尚未進入碰撞區的樣本座標的半徑3m所形成的圓範圍內),因此可以依據計算出第二個路徑點的方式,計算出第三個路徑點及第四個路徑點的座標。例如,第三個路徑點的座標是 ,第四個路徑點的座標是
續,由於第四個路徑點已進入動態物件的障礙作用範圍內,因此處理器20依據式3計算第四個路徑點所受到的引力場強度,例如引力場強度是(8.64,8.64)。此時第四個路徑點所受到的引力場方向仍是(0.707,0.707)。處理器20依據式4計算第四個路徑點所受到的斥力場強度,例如斥力場強度是(-8.19,-3.58)。此時,第四個路徑點所受到的斥力場方向是動態物件的當前位置的座標指向第四個路徑點的座標的方向。例如,斥力場方向是(-0.925,-0.381)。如此,第四個路徑點所受到的合力作用的方向(於後稱為合力方向)是(0.088,0.966)。接著,處理器20依據第四個路徑點的座標及合力方向,以梯度下降方式計算出第五個路徑點的座標。第五個路徑點的座標例如是將先將合力方向乘以步伐長度後所計算得的值再加上第四個路徑點的座標,即第五個路徑點的座標例如是 。處理器20重複前述的路徑點演算法,直至最後計算得的路徑點的座標與目標樣本座標之間的距離小於步伐長度。如此,即可獲得組成避障樣本路徑LS的多個路徑點。處理器20將不同時間點下動態物件的斥力場強度結合避障樣本路徑LS及成本樣本地圖,以形成多個不同時間點下的修正勢力場樣本子圖。接著,處理器20將修正勢力場樣本子圖串接以形成修正勢力場樣本圖,從而供神經網路訓練。
綜上所述,依據本發明之實施例,透過關於移動裝置的初始路徑、動態物件(即動態障礙物)的預測行進路徑、及初始路徑與預測行進路徑之間的碰撞區的第一斥力物件的斥力場,以獲得能夠確實規避障礙物的避障路徑,從而使移動裝置能夠順利到達目的地。在一些實施例中,除了第一斥力物件之外,還可以透過動態物件本身形成的第二斥力物件來獲得避障路徑。
100:軌跡修正系統 10:記憶體 20:處理器 X:第一維度 Y:第二維度 T:第三維度 ( x 01, y 01, t 01)~( x 010, y 010, t 010):第一座標參數 ( x 01, y 01)~( x 010, y 010):第一座標 t 01~ t 010:第一時間點 ( x 11, y 11, t 11)~( x 110, y 110, t 110):第二座標參數 ( x 11, y 11)~( x 110, y 110):第二座標 t 11~ t 110:第二時間點 BP:碰撞區 RPP:斥力場型 L1:初始路徑 L2:預測行進路徑 LA:避障路徑 RP:第一斥力物件 RPX:第二斥力物件 MV1:第一位移點 MV2:第二位移點 LA0:避障路徑 SS:起始地 GG:目的地 BB:碰撞區 LS:避障樣本路徑 S201~S213:步驟
圖1係為本發明依據一些實施例之軌跡修正系統的方塊示意圖。 圖2係為本發明依據一些實施例之軌跡修正方法的流程圖。 圖3係為本發明依據一些實施例之初始路徑及預測行進路徑在三維時空的示意圖。 圖4A~圖4E係為本發明依據一些實施例之在不同時間點下的修正勢力場圖的修正勢力場子圖。 圖5A~圖5E係為本發明之比較例之在不同時間點下的修正勢力場圖的修正勢力場子圖。 圖6係為本發明依據一些實施例之避障樣本路徑的示意圖。 圖7A~圖7D係為本發明依據一些實施例之不同時間點下的修正勢力場樣本圖的修正勢力場樣本子圖。
S201~S213:步驟

Claims (18)

  1. 一種軌跡修正系統,包含:一記憶體,儲存一程式碼;及一處理器,耦接該記憶體,存取並執行該程式碼,執行:依據一移動裝置的一初始路徑及一動態物件的一預測行進路徑,判斷是否有一碰撞區;響應於判斷具有該碰撞區,在一原始勢力場圖的對應該碰撞區處,形成一第一斥力物件,以獲得一修正勢力場圖;及根據該修正勢力場圖修正該初始路徑為避開該碰撞區的一避障路徑。
  2. 如請求項1所述之軌跡修正系統,其中,獲得該修正勢力場圖的步驟是,該處理器響應於判斷具有該碰撞區,在該原始勢力場圖的對應該碰撞區處,形成該第一斥力物件,並在該原始勢力場圖形成沿著該預測行進路徑移動的一第二斥力物件,以獲得該修正勢力場圖。
  3. 如請求項1所述之軌跡修正系統,其中,該處理器將該修正勢力場圖輸入至一神經網路以獲得該避障路徑。
  4. 如請求項3所述之軌跡修正系統,其中,該神經網路包含一卷積神經網路及一時間連續遞歸神經網路(Liquid Time-constant Networks,LTCs)。
  5. 如請求項1所述之軌跡修正系統,其中,該初始路徑包含多個第一座標參數,該預測行進路徑包含多個第二座標參數,該處理器依據該些第一座標參數、該些第二座標參數及一距離閾值,判斷是否具有該 碰撞區;其中,每一該第一座標參數包含一第一座標及一第一時間點,每一該第二座標參數包含一第二座標及一第二時間點;其中,該處理器比對該第一時間點及該第二時間點所對應的該第一座標及該第二座標以獲得一距離值,在該距離值不大於該距離閾值時判斷具有該碰撞區,並以該距離值對應的第一座標及第二座標為該碰撞區。
  6. 如請求項5所述之軌跡修正系統,其中,該距離閾值是對應該動態物件的尺寸。
  7. 如請求項1所述之軌跡修正系統,其中,該碰撞區對應的該第一斥力物件的斥力場強度隨著時間變化,且該第一斥力物件的斥力場強度在該碰撞區對應的一碰撞時間點處於最大值;其中,在該碰撞時間點之前,隨著時間的增加,該第一斥力物件的斥力場強度逐漸增加;其中,在該碰撞時間點之後,隨著時間的增加,該第一斥力物件的斥力場強度逐漸下降。
  8. 如請求項2所述之軌跡修正系統,其中,該第一斥力物件或該第二斥力物件的斥力場強度係對應該動態物件的類型。
  9. 如請求項1所述之軌跡修正系統,其中,該處理器控制一移動裝置的一驅動裝置沿著該避障路徑移動。
  10. 一種軌跡修正方法,包含:依據一移動裝置的一初始路徑及一動態物件的一預測行進路徑,判斷是否有一碰撞區;響應於判斷具有該碰撞區,在一原始勢力場圖的對應該碰撞區處,形成一第一斥力物件,以獲得一修正勢力場圖;及 根據該修正勢力場圖修正該初始路徑為避開該碰撞區的一避障路徑。
  11. 如請求項10所述之軌跡修正方法,其中,獲得該修正勢力場圖的步驟是,響應於判斷具有該碰撞區,在該原始勢力場圖的對應該碰撞區處,形成該第一斥力物件,並在該原始勢力場圖形成沿著該預測行進路徑移動的一第二斥力物件,以獲得該修正勢力場圖。
  12. 如請求項10所述之軌跡修正方法,其中,將該修正勢力場圖輸入至一神經網路以獲得該避障路徑。
  13. 如請求項12所述之軌跡修正方法,其中,該神經網路包含一卷積神經網路及一時間連續遞歸神經網路(Liquid Time-constant Networks,LTCs)。
  14. 如請求項10所述之軌跡修正方法,其中,該初始路徑包含多個第一座標參數,該預測行進路徑包含多個第二座標參數;其中,依據該些第一座標參數、該些第二座標參數及一距離閾值,判斷是否具有該碰撞區;其中,每一該第一座標參數包含一第一座標及一第一時間點,每一該第二座標參數包含一第二座標及一第二時間點;其中,比對該第一時間點及該第二時間點所對應的該第一座標及該第二座標以獲得一距離值,在該距離值不大於該距離閾值時判斷具有該碰撞區,並以該距離值對應的第一座標及第二座標為該碰撞區。
  15. 如請求項14所述之軌跡修正方法,其中,該距離閾值是對應該動態物件的尺寸。
  16. 如請求項10所述之軌跡修正方法,其中,該碰撞區對應的該第一斥力物件的斥力場強度隨著時間變化,且該第一斥力物件的斥力 場強度在該碰撞區對應的一碰撞時點處於最大值;其中,在該碰撞時間點之前,隨著時間的增加,該第一斥力物件的斥力場強度逐漸增加;其中,在該碰撞時間點之後,隨著時間的增加,該第一斥力物件的斥力場強度逐漸下降。
  17. 如請求項11所述之軌跡修正方法,其中,該第一斥力物件或該第二斥力物件的斥力場強度係對應該動態物件的類型。
  18. 如請求項10所述之軌跡修正方法,更包含控制一移動裝置的一驅動裝置沿著該避障路徑移動。
TW111150229A 2022-12-27 2022-12-27 軌跡修正系統及其方法 TWI846244B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
TW111150229A TWI846244B (zh) 2022-12-27 2022-12-27 軌跡修正系統及其方法
CN202310081021.XA CN118276565A (zh) 2022-12-27 2023-02-03 轨迹修正系统及其方法
JP2023018232A JP7499898B1 (ja) 2022-12-27 2023-02-09 軌道修正システム、及び軌道修正方法
US18/185,508 US20240208493A1 (en) 2022-12-27 2023-03-17 Trajectory correction system and method therefor
EP23164341.2A EP4394538A1 (en) 2022-12-27 2023-03-27 Trajectory correction system and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111150229A TWI846244B (zh) 2022-12-27 2022-12-27 軌跡修正系統及其方法

Publications (2)

Publication Number Publication Date
TWI846244B true TWI846244B (zh) 2024-06-21
TW202427084A TW202427084A (zh) 2024-07-01

Family

ID=85776106

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111150229A TWI846244B (zh) 2022-12-27 2022-12-27 軌跡修正系統及其方法

Country Status (5)

Country Link
US (1) US20240208493A1 (zh)
EP (1) EP4394538A1 (zh)
JP (1) JP7499898B1 (zh)
CN (1) CN118276565A (zh)
TW (1) TWI846244B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201947338A (zh) * 2018-05-04 2019-12-16 南韓商Lg電子股份有限公司 複數個移動式機器人及其控制方法
TW202024832A (zh) * 2018-12-26 2020-07-01 日商三菱電機股份有限公司 機器人控制裝置、機器人控制學習裝置以及機器人控制方法
TW202206957A (zh) * 2020-08-13 2022-02-16 國立交通大學 機器人對人員跟隨之控制方法與系統

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014201382A1 (de) 2014-01-27 2015-07-30 Robert Bosch Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems und Fahrerassistenzsystem
US11016491B1 (en) * 2018-01-26 2021-05-25 X Development Llc Trajectory planning for mobile robots
WO2021005876A1 (ja) * 2019-07-05 2021-01-14 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201947338A (zh) * 2018-05-04 2019-12-16 南韓商Lg電子股份有限公司 複數個移動式機器人及其控制方法
TW202024832A (zh) * 2018-12-26 2020-07-01 日商三菱電機股份有限公司 機器人控制裝置、機器人控制學習裝置以及機器人控制方法
TW202206957A (zh) * 2020-08-13 2022-02-16 國立交通大學 機器人對人員跟隨之控制方法與系統

Also Published As

Publication number Publication date
TW202427084A (zh) 2024-07-01
US20240208493A1 (en) 2024-06-27
JP2024094195A (ja) 2024-07-09
CN118276565A (zh) 2024-07-02
JP7499898B1 (ja) 2024-06-14
EP4394538A1 (en) 2024-07-03

Similar Documents

Publication Publication Date Title
US11594011B2 (en) Deep learning-based feature extraction for LiDAR localization of autonomous driving vehicles
US20210380142A1 (en) Autonomous vehicle planning and prediction
EP1733287B1 (en) System and method for adaptive path planning
JP2020001678A (ja) 重み付け幾何学的コストを有する区分的螺旋曲線を使用した基準線平滑化方法
JP7130062B2 (ja) 経路決定方法
KR102303126B1 (ko) 사용자 선호에 따른 강화학습 기반 자율주행 최적화 방법 및 시스템
JP7469850B2 (ja) 経路決定装置、ロボット及び経路決定方法
EP3714285A1 (en) Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles
Xie et al. Learning with stochastic guidance for robot navigation
EP3705953B1 (en) Control of a physical system based on inferred state
CN114413896B (zh) 一种移动机器人的复合导航方法、装置、设备及存储介质
JP2019152575A (ja) 物体追跡装置、物体追跡方法及び物体追跡用コンピュータプログラム
WO2021095464A1 (ja) ロボット制御モデル学習方法、ロボット制御モデル学習装置、ロボット制御モデル学習プログラム、ロボット制御方法、ロボット制御装置、ロボット制御プログラム、及びロボット
JP7058761B2 (ja) 移動体制御装置、移動体制御学習装置、及び移動体制御方法
Anas et al. Comparison of deep Q-learning, Q-learning and SARSA reinforced learning for robot local navigation
TWI846244B (zh) 軌跡修正系統及其方法
US20240104335A1 (en) Motion forecasting for autonomous systems
CN111673729B (zh) 路径决定方法
CN116718190A (zh) 一种长距离密集人群场景下的移动机器人路径规划方法
KR102617418B1 (ko) 센서 구성과 로봇 형태에 적응 가능한 강화학습 기반 자율주행 방법, 컴퓨터 시스템, 및 컴퓨터 프로그램
Cai et al. Intelligent Systems in Motion: A Comprehensive Review on Multi-Sensor Fusion and Information Processing From Sensing to Navigation in Path Planning
CN115016510A (zh) 一种机器人导航避障方法、装置以及存储介质
Chen et al. LiDAR-Based End-to-End Active SLAM Using Deep Reinforcement Learning in Large-Scale Environments
Wang et al. Dynamic path planning algorithm for autonomous vehicles in cluttered environments
JP7459238B2 (ja) ユーザ選好による強化学習基盤の自律走行最適化方法およびシステム