TW202243835A - 多棧板混合箱碼垛機器人 - Google Patents

Abstract

本發明揭示一種機器人系統。該系統包含：一通信介面；及一或多個處理器，其等耦合至該通信介面且經組態以至少部分基於所接收之資料產生將物品堆疊於目的地位置上或目的地位置中之一計畫。針對各物品，產生該計畫包含至少部分基於與該物品相關聯之一特性及以下之至少一者來判定該目的地位置：(i)其上將堆疊一或多個物品之一平台或容器之一特性；及(ii)該平台或容器上之一或多個物品之一既有堆疊。該目的地位置自其中安置平台或容器之複數個區中判定，且該複數個區之各者在一機械臂之一範圍內。一機械臂經控制以實施該計畫。

Description

多棧板混合箱碼垛機器人

裝運及配送中心、倉庫、裝運碼頭、航空貨運站、大賣場及裝運及接收物品之非同質組之其他活動使用諸如包裝及拆開盒、條板箱、容器、輸送帶中及棧板上等等之異種物品之策略。將異種物品包裝於盒、條板箱中、棧板上等等實現藉由起重設備(諸如叉車、起重機等等)處置所得物品組且使物品能夠更高效包裝儲存(例如在一倉庫中)及/或裝運(例如在卡車、貨艙等等中)。

在一些背景中，物品可在大小、重量、密度、膨鬆度、硬度、封裝強度等等上不同，使得任何給定物品或物品組可或可不具有使該等物品能夠支援需要包裝之一給定其他物品(例如在一盒、容器、棧板等等中)之大小、重量、重量分佈等等之屬性。當組裝一棧板或其他異種物品組時，必須小心選擇及堆疊物品以確保碼垛堆疊不倒塌、傾斜或否則變得不穩定(例如，無法由諸如一叉車等等之設備處置)且避免物品損壞。

目前，棧板通常經手動堆疊及/或拆開。例如，工人選擇(例如)基於一裝運發票或艙單等等來堆疊物品且使用人類判斷及直覺來選擇較大且較重物品放在底下。然而，在一些情況中，物品僅係經由一輸送機或其他機構到達及/或依所列之一順序等等自貯存倉選擇以導致一不穩定碼垛或否則包裝組。

在諸多環境中，機器人之使用歸因於(例如)各種物品、一給定棧板上待包裝物品之順序、數目及混合變動及必須自其拾取物品以放置於棧板或其他容器上之容器及/或進給機構之各種類型及位置而變得更具挑戰性。

其他申請案之交叉參考 本申請案主張2021年3月12日申請之名稱為「MULTI-PALLET MIXED-CASE ROBOTIC PALLETIZER」之美國臨時專利申請案第63/160,236號之優先權，該案以引用方式併入本文中用於所有目的。

本發明可依各種方式實施，包含作為：一程序；一設備；一系統；一物質組成；體現於一電腦可讀儲存媒體上之一電腦程式產品；及/或一處理器，諸如經組態以執行儲存於耦合至處理器之一記憶體上及/或由該記憶體提供之指令之一處理器。在本說明書中，此等實施方案或本發明可採取之任何其他形式可指稱技術。一般而言，可在本發明之範疇內改動所揭示程序之步驟之順序。除非另有說明，否則一組件(諸如描述為經組態以執行一任務之一處理器或一記憶體)可實施為暫時經組態以在一給定時間執行任務之一通用組件或經製造以執行任務之一特定組件。如本文所使用，術語「處理器」係指經組態以處理資料(諸如電腦程式指令)之一或多個裝置、電路及/或處理核心。

下文連同繪示本發明之原理之附圖提供本發明之一或多個實施例之一詳細描述。本發明結合此等實施例描述，但本發明不受限於任何實施例。本發明之範疇僅受申請專利範圍限制且本發明涵蓋各種替代方案、修改及等效物。以下描述中闡述各種具體細節以提供本發明之一透徹理解。此等細節僅供例示且本發明可根據申請專利範圍實踐，無需一些或所有此等具體細節。為清楚起見，未詳細描述在與本發明相關之技術領域中已知之技術材料以免未不必要地使本發明不清楚。

如本文所使用，「棧板」包含一或多個物品可堆疊或放置於其上或其內之一平台、容器或其他容器。此外，如本文所使用，棧板可結合封裝及分配一組一或多個物品使用。作為一實例，術語「棧板」包含支撐物品且可經由一叉車、一液壓車、一起重機等等移動之典型扁平運輸結構。如本文所使用，一棧板可由包含木材、金屬、金屬合金、聚合物等等之各種金屬構造。

揭示依程式化方式使用包括一或多個機器人(例如在操作端具有吸力、抓取器及/或其他端效器之機械臂)之一機器人系統碼垛/卸垛及/或否則包裝及/或拆開任意組非均質物品(例如不同大小、形狀、重量、重量分佈、硬度、易碎性、類型、封裝等等)之技術。

在各種實施例中，3D攝影機、力感測器及其他感測器及/或感測器陣列用於偵測及判定待拾取及/或放置物品之屬性。其類型被判定之物品(例如具有足夠置信度，如由(例如)一程序化判定之置信度分數所指示)可使用自一物品類型特定模型導出之策略來抓取及放置。無法識別之物品使用非特定於一給定物品類型之策略來拾取及放置。例如，可使用使用大小、形狀及重量資訊之一模型。感測器及/或感測器陣列可安置於一機械臂之一工作空間內或圍繞該工作空間安置。

在各種實施例中，物品類型、各自屬性及抓取策略之一庫用於判定及實施拾取及放置各物品之一策略。在一些實施例中，庫係動態的。例如，庫可經擴充以添加新遇到之物品及/或關於一物品之額外屬性，諸如在一給定背景中有效或無效之抓取策略。在一些實施例中，若機器人系統卡住，則可調用人為干預。機器人系統可經組態以基於一人類遙控者如何使用機械臂干預(例如經由遙控拾取及放置物品)來觀看(例如使用感測器)及學習(例如更新一庫及/或模型)。在一些實施例中，遙控可包含更高階形式之回饋，諸如一人類指示其中機器人應抓取一物件之一2D RGB影像中之一特定點。

在一些實施例中，本文所揭示之一機器人系統可參與用於收集及儲存(例如添加至庫)屬性及/或策略之一程序以識別及拾取/放置未知或新發現類型之一物品。例如，系統可以各種角度及/或位置固持物品以使3D攝影機及/或其他感測器能夠產生感測器資料以擴充及/或產生特徵化物品類型之一庫條目且儲存如何識別及拾取/放置該類型之物品之一模型。

在各種實施例中，制定在一棧板上或一棧板中拾取及放置物品之一高階計畫。基於(例如)感測器資訊來應用策略以藉由根據計畫拾取及放置個別物品來實施計畫。可觸發偏離計畫及/或重新計畫，例如機器人系統卡住、偵測棧板上之物品之堆疊(例如藉由電腦視覺、力感測器等等)以變得不穩定等等。可基於已知資訊(例如一輸送機上可見之下N個物品、一發票或艙單上之下N個物品等等)及在接收額外資訊時作出之調整(例如可見之緊接物品等等)形成一部分計畫。在一些情況中，系統經組態以暫存(例如擱置一邊，觸手可及)判定為可能不太適合堆疊於系統當前構建之一層或容器中之物品，諸如一棧板或容器中之一較低(或較高)層等等。一旦知道待拾取/放置之緊接物品之更多資訊，則產生及實施考量暫存(緩衝)物品及緊接物品之一策略。

各種實施例包含一組一或多個物品之同時(例如並發或同步)碼垛或去碼垛。一或多個機械臂可經控制以並發堆疊(或卸堆)複數個棧板上之一組物品。例如，複數個棧板可安置於一機械臂之範圍內，且機械臂可同步將一或多個物品堆疊於複數個棧板之至少一子集上(例如一組兩個或更多個棧板)。一物品將放置(例如堆疊)於其上之一棧板可至少部分基於物品(例如物品之一屬性、物品之一類型等等)、棧板之一特性、棧板之一識別符、棧板上之一或多個物品之一堆疊之一狀態、一艙單或訂單(例如與包裝及裝運何種物品相關聯之一訂單)等等之一或多者來選擇。物品之一混合可堆疊於複數個棧板之一或多個棧板上。

在各種實施例中，一機器人系統判定自一或多個輸送機之一輸送結構(下文稱為「輸送機」)拾取一物品且將物品放置於安置於一機械臂之範圍內之一或多個棧板之一棧板上之一高階計畫。機器人系統判定其上將放置物品之棧板。例如，機器人系統至少部分基於與棧板相關聯之一訂單及/或艙單來判定其上將放置物品之棧板。作為另一實例，在複數個棧板輸送至一相同位址(例如一相同客戶)或與一相同艙單或訂單相關聯之情況中，機器人系統可至少部分基於棧板之一狀態及/或複數個棧板之一狀態來判定其上將放置物品之棧板。機器人系統可判定複數個棧板之一或多者上之一堆疊之一狀態，且至少部分基於其物品具有一最佳適配之一堆疊之判定來判定其上將放置物品之棧板。判定其物品具有一最佳適配之堆疊可至少部分基於堆疊之一穩定性、堆疊之一模型及/或包括物品之堆疊之一模型(例如在物品放置於堆疊上之後)、剩餘待堆疊之預期一或多個物品(例如至少部分基於一訂單及/或艙單)等等。關於物品之一或多個屬性或特性可結合判定其上將放置物品之棧板使用(例如，一大小、形狀、封裝類型、物品類型等等可結合模型化堆疊及/或判定將物品放置於一堆疊上之何處使用)。

在一些實施例中，機器人系統判定將一物品放置於一緩衝或預界定暫存區域中。機器人系統可判定與物品對應之艙單及/或訂單相關聯之一或多個棧板上之一堆疊上之物品之一適配當前不理想(例如，若物品將放置於堆疊上，則無法達成一臨限適配或臨限穩定性)。替代地或另外，機器人系統可在將一或多個預期物品放置於對應棧板上之後判定物品將較佳適配堆疊。例如，若一或多個預期物品首先放置於對應棧板上，則機器人系統可判定一當前物品之一預期適配或堆疊之預期穩定性將較佳(例如高於臨限適配或臨限穩定性)。作為一實例，一或多個預期物品可至少部分基於輸送機上之一或多個物品來判定。作為另一實例，一或多個預期物品可至少部分基於與當前物品相關聯之一艙單及/或訂單來判定。一或多個預期物品可至少部分基於在輸送機上或堆疊於一或多個棧板上(例如輸送至機械臂用於堆疊)之後續物品之一臨限數目及/或與當前物品相關聯之艙單及/或訂單來判定。緩衝或預界定暫存區域可對應於安置於機械臂之範圍內之預界定區之一者。在一些實施例中，回應於判定緩衝或預界定暫存區域滿載(例如，緩衝/暫存區域中之物品之一數目超過一臨限數目或當前物品不適配緩衝/暫存區域)，機器人系統可判定當前是否將當前物品或一物品放置於緩衝/暫存區域中。機器人系統可判定將一物品自緩衝/暫存區域放置至一對應棧板(例如且藉此為當前物品在緩衝/暫存區域騰出空間)是否將導致比將當前物品放置於一棧板上更佳之一適配(例如一更穩定堆疊)。為判定將一物品自緩衝/暫存區域放置至一對應棧板預期導致一較佳適配，機器人系統控制機械臂自緩衝/暫存區域拾取物品且將物品放置於對應於物品所屬之一艙單及/或訂單之一棧板上。接著，機械臂將當前物品放置於緩衝及/或暫存區域中，直至機器人系統判定將物品放置於一對應堆疊上係理想的(例如，若將物品放置於堆疊上，則無法達成一臨限適配或臨限穩定性)。

在一些實施例中，複數個棧板圍繞一機械臂配置(例如在機械臂之範圍內使得機械臂可將一物品堆疊於複數個棧板之各者上)。各棧板可位於機械臂附近之一預界定區內。預界定區可圍繞一機械臂徑向組態。地面上之標記可表示一預界定區。機器人系統可包括獲得與關於複數個預界定區之一或多者之資訊之一或多個感測器或感測器陣列。一或多個感測器或感測器陣列可獲得關於安置於一預界定區內之一棧板(例如與棧板相關聯之一識別符、棧板之一狀態等等)及/或棧板上之物品之一堆疊之資訊。例如，一或多個感測器或感測器陣列可獲得可自其模型化預界定區中之棧板上之一或多個物品之一堆疊之資訊。機器人系統可使用由一或多個感測器或感測器陣列獲得之資訊來判定對應預界定區中之一棧板之一定向、判定一插入棧板是否適當定向或否則判定相對於插入至對應預界定區中之棧板校準機器人系統。作為一實例，回應於判定機器人系統將相對於棧板校準，機器人系統可將棧板將重新定向之一通知提供至一終端機(例如請求/警示一人類操作者重新定向棧板之一通知)。作為另一實例，回應於判定機器人系統將相對於棧板校準，機器人系統可判定棧板之一當前定向之一偏移(例如相對於棧板之一適當定向)且至少部分基於當前定向之偏移來判定將物品放置於棧板上之一計畫或策略。

機器人系統(如機械臂)與人類操作者之間的互動引起安全問題。各種實施例確保人類操作者與機器人系統之間的安全及直觀互動(諸如當機器人系統至少半自主操作時)。在一機器人系統同時(例如並發或同步)將物品堆疊於圍繞一機械臂配置於預界定區中之各種棧板上之情況中，機器人系統控制機械臂暫停或停止將自一對應預界定區移除之人類操作者及/或棧板中或周圍之物品之堆疊。操作地連接至機器人系統之一或多個感測器及/或感測器陣列可獲得機器人系統自其判定一人類操作者在一預界定區內、一預界定區之一臨限範圍內或其他界定區域內之資訊。回應於判定一人類操作者之一位置，機器人系統控制機械臂暫停或停止在人類操作者之位置之一預界定區域或範圍內堆疊物品。在一些實例中，當人類操作者在一預界定區及/或機械臂之一臨限區域或範圍內時，機器人系統完全暫停機械臂(例如使得機械臂不在任何棧板上堆疊物品)。在其他實例中，機器人系統控制機械臂暫停或停止在鄰近於其中存在人類操作者之一預界定區之預界定區內將物品堆疊於棧板上。在其他實例中，機器人系統控制機械臂暫停或停止在其中存在一人類操作者之一預界定區之一臨限距離內之預界定區內將物品堆疊於棧板上。

根據各種實施例，機器人系統包括操作地控制機械臂碼垛/卸垛一或多個物品之一控制電腦。一人類操作者可經由一使用者介面(例如連接至控制電腦或直接連接至控制電腦之一終端機處之一使用者介面)對控制電腦提供指令。使用者介面可包含具有回應於其使用者選擇而調用之對應功能之一或多個可選元件。例如，使用者介面可包含啟動將一或多個物品堆疊於安置於一對應預界定區中之一棧板上之一按鈕。回應於將一棧板插入至預界定區中，使用者可輸入按鈕之選擇以啟動在棧板上堆疊。作為另一實例，使用者介面可包含暫停在對應區中將物品堆疊於棧板上之一按鈕。若一人類操作者或其他機器人在對應預界定區內(或在對應預界定區之一臨限範圍內)或將在對應預界定區內，則使用者可暫停將物品堆疊於棧板上。在一些例項中，若人類操作者或其他機器人在(或將在)一鄰近預界定區內(或否則在正堆疊或將堆疊物品之預界定區之接近度內)，則使用者可暫停將物品堆疊於棧板上。

使用者介面可顯示關於對應預界定區中之一或多個棧板之一當前狀態或狀態之資訊(例如棧板上之物品之一堆疊之狀態)。例如，關於一或多個棧板之當前狀態或狀態之資訊可至少部分基於來自控制電腦之回饋。來自控制電腦之回饋可至少部分基於自機械臂之工作空間(例如複數個預界定區)內之一或多個感測器或感測器陣列獲得之資訊來產生。關於一或多個棧板之一當前狀態或狀態之資訊可指示在一對應預界定區中堆疊於一棧板上之物品之一剩餘數目、已堆疊於一棧板上之物品之一數目等等。

圖1係繪示用於碼垛及/或卸垛異質物品之一機器人系統之一實施例的一圖式。

在所展示之實例中，系統100包含一機械臂102。在此實例中，機械臂102固定，但在各種替代實施例中，機械臂102可完全或部分移動，例如安裝於一軌道上、在一機動底盤上完全移動等等。如所展示，機械臂102用於自一輸送帶(或其他源) 104拾取任意及/或異種物品且將其堆疊於一棧板(例如平台或其他容器) 106上。棧板(例如平台或其他容器) 106可包括一棧板、一容器或在其四個轉角處具有輪子且在四個側之三者上至少部分封閉之底座，有時指稱三側「滾動棧板」、「滾動籠」及/或「滾動」或「籠」「吊運車」。在其他實施例中，可使用具有更多側、更少側及/或無側之一滾動或無輪棧板。在一些實施例中，圖1中未展示之其他機器人可用於將容器106推動至裝載/卸載位置中及/或一卡車或其他運輸目的地等中。

在一些實施例中，複數個棧板106可圍繞機械臂102安置(例如在一臨限接近度內或否則在機械臂之範圍內)。機械臂102可同時(例如並發及/或同步)將一或多個物品堆疊於複數個棧板上。複數個棧板之各者可與一艙單及/或訂單相關聯。例如，各棧板可與預設目的地(例如客戶、位址等等)相關聯。在一些例項中，複數個棧板之一子集可與一相同艙單及/或訂單相關聯。然而，複數個棧板之各者可與不同艙單及/或訂單相關聯。機械臂102可將對應於一相同訂單之複數個物品分別放置於複數個棧板上。機器人系統100可判定複數個棧板上之一配置(例如物品之一堆疊)(例如一訂單之複數個物品如何分配於複數個棧板之間、任何一個棧板上之物品將如何堆疊等等)。系統100可將一或多個物品(例如一訂單之(若干)物品)儲存於一緩衝或暫存區域中，而一或多個其他物品堆疊於一棧板上。作為一實例，一或多個物品可儲存於緩衝區或暫存區域中直至使得系統100判定一或多個物品在棧板上(例如在堆疊上)之各自放置滿足(例如超過)一臨限適配或臨限穩定性。臨限適配或臨限穩定性可為一預界定值或至少部分基於歷史資訊憑經驗判定之值。一機器學習演算法可結合判定一物品在一堆疊上之放置是否預期滿足(例如超過)一臨限適配或臨限穩定性及/或結合判定臨限適配或臨限穩定性(例如針對其量測一模擬或模型以評估是否將物品放置於堆疊上之臨限值)來實施。

在所展示之實例中，機械臂102配備有吸力型端效器108。端效器108具有複數個吸盤110。機械臂102用於將端效器108之吸盤110定位於待拾取之一物品上(如所展示)，且一真空源提供吸力來抓取物品、自輸送機104提升物品及將物品放置於棧板106上之一目的地位置處。

在各種實施例中，安裝於端效器108上之3D或其他攝影機112及安裝於其中部署機器人系統100之一空間中之攝影機114、116之一或多者用於產生影像資料，其用於識別輸送機104上之物品及/或判定抓取、拾取/放置及將物品堆疊於棧板106上(或視情況將物品放置於緩衝或暫存區域中)之計畫。在各種實施例中，未展示之額外感測器(例如體現於輸送機104及/或機械臂102中及/或鄰近輸送機104及/或機械臂102之重量或力感測器、吸盤110之x-y平面及/或z方向(垂直方向)中之力感測器等等)可用於識別輸送機104及/或其中(例如藉由系統100)定位及/或重新定位物品之其他源及/或暫存區域中之物品、判定該等物品之屬性、抓取該等物品、拾取該等物品，使該等物品移動通過一判定軌跡及/或將該等物品放置於容器106上或容器106中之一目的地位置中。

在所展示之實例中，攝影機112安裝於端效器108之本體之側上，但在一些實施例中，攝影機112及/或額外攝影機可安裝於其他位置中，例如在端效器108之本體之下側上(例如，自吸盤110之間的一位置指向下)、或在機械臂102之分段或其他結構上或其他位置。在各種實施例中，諸如112、114及116之攝影機可用於讀取在輸送機104上之物品上可見及/或包含輸送機104上之物品之文字、商標、照片、圖紙、影像、標記、條碼、QR碼或其他編碼及/或圖形資訊或內容。

進一步參考圖1，在所展示之實例中，系統100包含一控制電腦118，在此實例中，控制電腦118經組態以經由無線通信(但在各種實施例中，在有線及無線通信之一或兩者中)與諸如機械臂102、輸送機104、效應器108及感測器(諸如攝影機112、114及116及/或圖1中未展示之重量、力及/或其他感測器)之元件通信。在各種實施例中，控制電腦118經組態以使用來自感測器(諸如攝影機112、114及116及/或圖1中未展示之重量、力及/或其他感測器)之輸入來查看、識別及判定裝載至容器106中及/或自容器106卸載之物品之一或多個屬性。在各種實施例中，控制電腦118使用儲存於控制電腦118上及/或控制電腦118可存取之一庫中之物品模型資料來識別一物品及/或其屬性，例如基於影像及/或其他感測器資料。控制電腦118使用對應於一物品之一模型來判定及實施將物品與其他物品一起堆疊於一目的地(例如容器106)中/上之一計畫。在各種實施例中，物品屬性及/或模型用於判定抓取一物品、移動物品及將物品放置於一目的地位置(例如判定其中將放置物品之一判定位置，作為將物品堆疊於容器106中/容器106上之一計畫/重新計畫程序之部分)中之一策略。

在所展示之實例中，控制電腦118連接至一「按需」遙控裝置122。在一些實施例中，若控制電腦118無法在一全自動模式中進行(例如，抓取、移動及放置一物品之一策略無法判定及/或依使得控制電腦118不具有在一全自動模式中完成物品拾取及放置之一策略之一方式失敗)，則控制電腦118提示一人類使用者124 (例如)藉由使用遙控裝置122操作機械臂102及/或端效器108抓取、移動及放置物品來干預。

關於系統100之操作之一使用者介面可由控制電腦118及/或遙控裝置122提供。使用者介面可提供系統100之一當前狀態，包含關於棧板(或與其相關聯之物品堆疊)之一當前狀態、碼垛或卸垛之一當前訂單或艙單、系統100之一效能(例如按時間碼垛/卸垛之物品之一數目)等等之資訊。一使用者可選擇使用者介面上之一或多個元件或否則將一輸入提供至使用者介面以啟動或暫停系統100及/或系統100中之一特定機械臂。

根據各種實施例，系統100實施一機器學習程序以模型化一棧板之一狀態，諸如產生棧板上之一堆疊之一模型。機器學習程序可包含用於模型化棧板之狀態之一自適應及/或動態程序。機器學習程序可界定及/或更新/細化系統100藉由其來產生棧板之狀態之一模型之一程序。模型可至少部分基於來自系統100中之一或多個感測器之輸入(例如自系統100中之一或多個感測器獲得之資訊)來產生，例如機器人102之工作空間內之一或多個感測器或感測器陣列。模型可至少部分基於堆疊之一幾何形狀、一視覺回應(例如由工作空間中之一或多個感測器獲得之資訊)及機器學習程序等等來產生。系統100可結合判定碼垛/卸垛一或多個物品之一高效(例如最大化/最佳化一效率)方式來使用模型，且碼垛/卸垛之方式可由一最小臨限穩定性值定界。用於碼垛/卸垛一或多個物品之程序可由一使用者管理員組態。例如，藉由其來最大化用於碼垛/卸垛之程序之一或多個度量可為可組態的(例如由使用者/管理員設定)。

在碼垛一或多個物品之背景中，系統100可產生棧板之狀態之模型，結合判定是否將一物品放置於棧板上(例如在堆疊上)及選擇將物品放置於棧板上之一計畫，包含其中將放置物品之一目的地位置、物品自一源位置(例如一當前目的地，諸如一輸送機)移動至目的地位置所沿之一軌跡。系統100亦可結合判定釋放物品之一策略或否則將物品放置於棧板上(例如將一力施加於物品以使物品適貼於堆疊上)來使用模型。模型化棧板之狀態可包含模擬在棧板上(例如在堆疊上)之不同目的地位置處放置物品及判定預期由在不同位置處放置物品導致之對應不同預期適配及/或預期穩定性(例如穩定性度量)。系統100可選擇預期適配及/或預期穩定性滿足(例如超過)一對應臨限值之一目的地位置。另外或替代地，系統100可選擇最佳化預期適配(例如堆疊上之物品之預期適配)及/或預期穩定性(例如堆疊之預期穩定性)之一目的地位置。

相反地，在自一棧板(例如棧板上之一堆疊)卸垛一或多個物品之背景中，系統100可產生棧板之狀態之模型，結合判定是否移除棧板上(例如堆疊上)之一物品及選擇自棧板移除物品之一計畫。棧板之狀態之模型可結合判定自棧板移除物品之一順序來使用。例如，系統100可使用模型來判定移除一物品是否預期引起棧板(例如堆疊)之狀態之穩定性下降至低於一臨限穩定性。系統100可模擬自棧板移除一或多個物品且選擇自棧板移除物品之一順序以最佳化棧板(例如堆疊)之狀態之穩定性。系統100可使用模型來判定自棧板移除之下一物品。例如，系統100可至少部分基於判定移除物品期間及/或移除物品之後之堆疊之一預期穩定性超過一臨限穩定性來選擇一物品作為自棧板移除之下一物品。模型及/或機器學習程序可結合判定自堆疊拾取一物品之策略來使用。例如，在選擇一物品作為自堆疊移除之下一物品之後，系統100可判定拾取物品之策略。拾取物品之策略可至少部分基於棧板之狀態(例如堆疊之一判定穩定性)、物品之一屬性(例如一大小、形狀、重量或預期重量、重心、封裝類型等等)、物品之一位置(例如相對於堆疊中之一或多個其他物品)、堆疊上之另一物品之一屬性(例如一鄰近物品之一屬性等等)等等。

根據各種實施例，一機器學習程序結合改良抓取策略(例如抓取一物品之策略)來實施。系統100可獲得關於待碼垛/卸垛之一或多個物品之屬性資訊。屬性資訊可包括物品之一定向、一材料(例如一封裝類型)、一大小、一重量(或預期重量)或一重心等等之一或多者。系統100亦可獲得一源位置(例如關於自其拾取物品之輸入輸送機之資訊)，且可獲得關於其上將放置物品之一棧板(或將自其判定目的地棧板之棧板組，諸如對應於物品堆疊順序之一組棧板)之資訊。結合判定拾取及放置物品之一計畫，系統100可使用關於物品之資訊(例如屬性資訊、目的地位置等等)來判定拾取物品之一策略。拾取策略可包含拾取位置之一指示(例如其中機械臂102將諸如經由端效器接合物品之物品上之一位置)。拾取策略可包含為拾取物品所施加之一力及/或機械臂102將藉由其來抓取物品同時將物品自一源位置移動至目的地位置之一固持力。系統100可使用機器學習程序來至少部分基於關於物品之資訊(例如屬性資訊、目的地位置等等)與拾取物品之效能(例如與過去反覆拾取及放置物品或類似物品(諸如共用一或多個類似屬性之物品)相關聯之歷史資訊)之間的一相關聯性來改良拾取策略。

圖2係繪示用於碼垛及/或卸垛之一程序之一實施例的一流程圖。在各種實施例中，圖2之程序200由一控制電腦執行，控制電腦包括用於碼垛及/或卸垛異質物品之一機器人系統，諸如圖1之控制電腦118。機器人系統可包括一或多個機械臂。一或多個棧板可圍繞各機械臂安置。例如，複數個預界定區可設定於一機械臂之接近度或臨限範圍內，且至少棧板可放置於一預界定區中。作為另一實例，複數個預界定區可圍繞一機械臂徑向設定，且複數個棧板可分別位於一對應預界定區中。一系統可包括將物品運送至一機械臂之一工作空間/自該工作空間運送物品之一或多個輸送機(例如，一或多個輸送機之至少部分可在機械臂之伸距/範圍內)。

在所展示之實例中，在210，接收指示自一或多個平台或容器(諸如一棧板)拾取一組異種物品(即，組包含兩種或更多種不同類型之物品)及將該組異種物品放置至該一或多個平台或容器之一高階目標之資料。例如，一控制電腦(諸如圖1之控制電腦118)可接收一輸入以將到達輸送機104之物品裝載至棧板106上。相反地，作為另一實例，一控制電腦(諸如圖1之控制電腦118)可接收一輸入以將物品自棧板106卸載至輸送機104上。輸入可對應於經由一使用者介面(例如圖13A之介面1300)之一使用者選擇。裝載/卸載物品之輸入對應於一特定棧板或一特定機械臂。例如，在複數個棧板對應於機械臂(例如位於與機械臂相關聯之預界定區內)之情況中，使用者可選擇性指示機械臂逐棧板(例如個別針對各棧板)裝載/卸載物品。作為另一實例，在複數個棧板對應於機械臂之情況中，使用者可選擇性指示機械臂裝載/卸載對應於機械臂之棧板之一子集或所有棧板。

根據各種實施例，可接收明確指示預期及/或期望裝載之物品之一輸入，諸如一發票或艙單。例如，回應於接收一訂單或履行一訂單之一指令，可產生對應於訂單之一物品艙單或清單(下文指稱「艙單」)。結合訂單之履行，可指示機器人系統碼垛對應於艙單之物品。碼垛艙單之物品可包含將物品堆疊於一或多個棧板上。在複數個棧板安置於對應於機械臂之預界定區內之情況中，機械臂可同時(例如並發及/或同步)將對應於艙單之物品堆疊於複數個棧板上。

一棧板可在其上具有一識別符且機器人系統可使棧板之識別符與一艙單相關聯。例如，機器人系統可儲存(或存取)儲存棧板識別符至艙單之映射之一資料儲存器。作為另一實例，預界定區可暫時與一艙單相關聯。預界定區與艙單之間的相關聯性可儲存於預界定區至艙單之一映射中。機器人系統可使用一艙單與一棧板識別符或其中定位棧板之預界定區之間的相關聯性，結合將一物品放置於一棧板上。在對應於相同艙單之複數個棧板上同時(例如並發或同步)堆疊物品提供計畫將物品堆疊於一棧板上之方式之更大靈活性。例如，機器人系統可判定物品最適配之棧板(例如導致一最高效包裝堆疊及/或導致一較佳堆疊穩定性度量)。

在230，基於在210接收之高階目標及可用感測器資訊執行計畫(或重新計畫)以產生拾取/放置物品之一計畫。例如，在圖1中所展示之實例中，可使用由攝影機112、114及116之一或多者產生之3D或其他影像資料連同來自圖1中未展示之感測器(例如重量感測器)之感測器資料來識別及判定將經由輸送機104到達之物品拾取、放置及堆疊於容器106上之一計畫。

在一些實施例中，系統可至少部分基於一艙單(例如發票或對應於一訂單之其他清單等等)制定一計畫。堆疊物品之一計畫可基於物品大小、重量、密度、重量分佈、硬度、物品之容量及/或支撐堆疊於物品之頂部上之重量等等之其盒或其他封裝來產生。在一些實施例中，控制電腦控制物品到達裝載位置(諸如經由輸送機104)之順序。在一些實施例中，物品可依先驗未知之一順序到達及/或物品清單可為未知的。在一些此等實施例中，攝影機(例如112、114、116)及/或其他感測器用於識別物品及/或其屬性、產生/更新將物品堆疊於一棧板(例如棧板106)上之一計畫及/或判定根據在230判定之堆疊計畫抓取、拾取、移動及放置各物品於其對應位置中之策略。

根據各種實施例，機器人系統判定拾取/放置物品以依棧板穩定且密集包裝之一方式包裝或堆疊物品之計畫。作為一實例，關於物品在一棧板上包裝或堆疊之方式之一或多個臨限值可結合判定拾取/放置物品之計畫來使用。一或多個臨限值可由一使用者(例如一管理員)設定。在一些實施例中，一臨限值可基於一機器學習程序設定，諸如改良計畫程序(諸如至少部分基於歷史資訊(例如關於在一棧板上堆疊物品之歷史資訊或一物品之個別放置/屬性之歷史資訊))之一機器學習程序。一或多個臨限值可包含(i)關於一棧板之堆積密度之一量測之一堆積效率臨限值、(ii)關於在棧板上堆疊物品之一穩定性量測之一穩定性臨限值、(iii)關於一物品適配棧板(例如一既有堆疊等等)之方式之一量測之一適配臨限值。機器人系統可使用臨限值作為物品在一特定目的地位置處之預期放置必須獲得(或預期獲得)之各自最小值。

在一些實施例中，可產生一棧板上之物品之一模型。例如，模型可針對一棧板上之物品之堆疊產生。模型可隨著一新物品添加至棧板(例如放置於棧板上)而更新。替代地或另外，模型可依可由一使用者/管理員組態之預界定時間間隔更新。每次判定一物品由一機械臂拾取/放置時及/或每次機器人系統判定物品與對應於一或多個棧板之一艙單相關聯時，可模型化物品相對於一特定棧板之模型。然而，在一些實施例中，可回應於判定一物品與對應於物品之一艙單相關聯而快取及獲得物品相對於一棧板之模型。機器人系統可獲得快取模型且回應於判定一或多個其他物品自產生模型以來已放置於棧板上而更新模型。在一些實施例中，在機械臂將一物品放置於棧板上之後，機器人系統更新及快取模型以避免在將下一物品放置於棧板上時必須運算/更新模型。

回應於判定一物品將拾取及放置於一棧板上，機器人系統可至少部分基於與物品相關聯之一艙單之一判定來判定其上可放置物品之一組棧板。回應於判定對應於物品之艙單，機器人系統可在艙單至棧板之一映射中執行查找以判定其上可放置物品之一或多個棧板以允許物品包含於艙單之履行中。在一些情況中，所有一或多個棧板在一特定機械臂之範圍內(例如在對應於機械臂之預界定區內)。在其他情況中，一或多個棧板之一子集在一特定機械臂之範圍內(例如，一或多個棧板之一子集可未放置於一區中用於任何機械臂，及/或一或多個棧板之一子集可放置於對應於一不同機械臂之一預界定區中)。因此，機器人系統可基於艙單至棧板之映射及/或棧板至機械臂及/或預界定區之一映射來進一步判定物品可藉由機械臂來放置於其上之一或多個棧板。

回應於判定物品可放置於對應於一機械臂之一或多個棧板上，機器人系統可判定將物品放置於一或多個棧板上之方式。若一棧板當前位於一機械臂之一預界定區中，則棧板可對應於機械臂。作為一實例，若物品可放置於對應於一機械臂之複數個棧板之一者上，則機器人系統可選擇其上將放置物品之複數個棧板之一者。選擇其上將放置物品之棧板可包含判定物品最適配之一棧板或堆疊(例如相對於將物品放置於其他棧板/堆疊上)。在一些實施例中，機器人系統使用物品相對於棧板之對應模型，結合判定其上將放置物品之棧板或堆疊。例如，機器人系統可模擬/模型化將物品放置於其上可放置物品之一或多個棧板上，且在物品放置於棧板上時判定與棧板或棧板上之物品相關聯之一或多個預期特性。相關聯之一或多個特性可包括以下之一或多者：關於棧板上之物品之一穩定性(例如物品堆疊之一穩定性)之一度量、關於棧板上之物品之一密度之一度量、物品相對於棧板上之其他物品之一適配等等。

在一些實施例中，機器人系統模擬將物品放置於一特定棧板上之不同位置處以至少部分基於上述一或多個特性之至少一子集來判定物品最佳適配之一位置。機器人系統可模擬將物品放置於相對於一特定棧板之複數個位置處，且可相對於其上可放置物品之複數個棧板(例如與物品所屬之艙單相關聯之複數個棧板)執行此一模擬。機器人系統可至少部分基於放置物品之一或多個模擬來判定物品之目的地位置。例如，機器人系統可至少部分基於與根據一或多個模擬將一物品放置於各種位置處相關聯之預期一或多個特性來判定目的地位置。與將一物品放置於一特定位置處相關聯之一組合分數可至少部分基於一或多個特性(例如堆疊之密度、堆疊之穩定性、物品相對於其他物品之適配等等)來判定。在一些實施例中，一或多個特性具有用於判定與將物品放置於一特定位置處相關聯之一組合分數之對應權重。

機器人系統可將目的地位置判定為對應於在用於將物品放置於棧板上之不同模擬/模型中具有最高對應組合分數之位置。在一些實施例中，目的地位置至少部分基於模擬及一成本函數來判定。例如，可判定組合分數滿足(例如超過)一臨限值之一組目的地位置，且機器人系統可自該組目的地位置選擇在成本函數方面具有最高效結果(例如最低成本)之目的地位置作為其中將放置物品之目的地位置。在一些實施例中，自其選擇目的地位置之目的地位置組至少部分基於以下來判定：(i)各目的地位置具有滿足最小特性值之特性(例如適配、穩定性、效率等等之特性值)；及(ii)具有滿足臨限組合分數值之一組合分數之各目的地位置。

一棧板上之物品之穩定性可受與一物品相關聯之一或多個屬性影響。屬性可包含物品之形狀、物品之重心(或物品之預期重心)、包裝類型(例如紙板箱、塑膠袋等等)、物品之重量、物品易碎之指示等等。作為一實例，相對較輕之一物品或一不規則形狀物品可在將物品放置於堆疊之一較低部分時引起物品堆疊相對不穩定。在物品係一枕頭之情況中，一物品堆疊之穩定性可藉由將枕頭放置於堆疊之頂部處或頂部附近來比將枕頭放置於堆疊之底部或底部附近/中間提高。機器人系統可獲得與一物品相關聯之一或多個屬性。例如，當將物品提供於輸送機上時(例如隨著物品接近機械臂)或當將物品判定為自輸送機拾取之下一物品時，機器人系統可獲得一或多個屬性。在一些實施例中，獲得一或多個屬性包括獲得(例如掃描)物品上之一或多個識別符，例如一條碼、一QR碼、一近場通信標籤(label/tag)等等。屬性可結合物品、物品之類型等等預存。例如，回應於獲得與物品相關聯之一識別符，機器人系統可根據物品(或物品之識別符)至屬性之一映射執行一查找。在一些實施例中，一屬性由一或多個上游感測器或電腦獲得且結合物品儲存。機器人系統可自一資料結構擷取由一或多個上游感測器獲得之與一物品相關聯之屬性。一感測器或感測器陣列可結合判定物品之一大小來使用。感測器或感測器陣列可安置於輸送機上或圍繞輸送機按照，或安置於機械臂之工作空間內。另外或替代地，機器人系統可回應於拾取物品而判定與物品相關聯之一或多個屬性。例如，物品之一重量可回應於拾取物品而經由一或多個感測器(例如一力感測器、或一電流感測器或量測提升物品所需之一工作量之其他感測器)等等來判定。作為另一實例，機械臂可在一或多個感測器之一臨限範圍/區域內移動物品，感測器可獲得與物品相關聯之一識別符(例如物品上之一條碼)，且識別符可用於獲得一預存屬性。

與一物品相關聯之一或多個屬性可用於判定拾取/放置物品之計畫。例如，機器人系統可判定將物品自一源位置(例如輸送機上之一位置)移動至目的地位置(例如其上將放置物品之棧板上之位置)所沿之一軌跡。作為另一實例，與物品相關聯之一或多個屬性可在模擬將物品放置於棧板上之不同位置處或對應艙單之不同棧板上之不同位置處時結合判定目的地位置來使用。

在一些實施例中，機器人系統基於與將物品自源位置移動至目的地位置相關聯之效率或成本函數來判定拾取/放置物品之計畫。作為一實例，機器人系統可基於最佳化效率或成本函數來判定計畫。作為另一實例，機器人系統可判定計畫，使得藉由物品自源位置至目的地位置之對應移動來滿足一最小效率臨限值及/或成本函數之一最小臨限值。關於一計畫之一效率之一或多個值可包含機械臂移動物品之一預期時間、源位置與目的地位置之間的一高度差、源位置與目的地位置之間的一距離(例如一歐氏(Euclidian)距離等等)等等。在一些實施例中，一成本函數包括關於以下之一或多個變數：在目的地位置處拾取/放置物品、棧板上之物品堆疊之一預期穩定性(例如在物品放置於目的地位置之後)、在目的地位置適配物品之一量測、用於碼垛對應一特定艙單之所有物品之棧板之一數目等等。成本函數可包含包含於成本函數中之一或多個變數之一或多個權重。用於成本函數中之一或多個變數可包含以下之一或多者：物品大小、物品重量、物品封裝類型、物品硬度、一目的地位置表面之平整度及/或表面均勻性、目的地位置處之(若干)物品之一特性(大小、重量、封裝類型、硬度等等)等等。

在一些實施例中，若一棧板當前位於一機械臂之一預界定區中及/或計畫在一預界定區可用之一未來時間插入至一預界定區中，則棧板可被視為對應於機械臂。在此一情況中，機器人系統可判定物品將放置於此一待插入棧板上，且機器人系統可判定拾取及放置物品(包括自輸送機拾取物品及將物品放置於一緩衝區或暫存區域中)直至對應棧板插入至預界定區中且判定物品放置於此棧板上之計畫。

在一些實施例中，回應於判定當前不存在對應於物品所屬之艙單之一或多個棧板上之適合位置，機器人系統可判定拾取及放置一緩衝或暫存區域中之物品。緩衝或暫存區域可為工作空間內之一預設區域，其中至少暫時儲存物品直至機器人系統判定一或多個棧板之一者上存在一理想位置(例如滿足關於穩定性、適配及/或效率等等之準則之一位置)。機器人系統可判定在當前物品之前將一或多個上游物品(例如在一臨限時間及/或臨限物品數目內經由輸送機輸送之物品)放置於棧板上將導致一較佳堆疊(例如較佳適配、穩定性、效率等等)。作為此一判定，機器人結構可控制機械臂在拾取及放置當前物品之前拾取及放置一或多個上游物品。作為一實例，當機械臂堆疊一或多個上游物品時或在機械臂堆疊一或多個上游物品以前，當前物品可暫時移動至緩衝/暫存區域。

根據各種實施例，判定用於拾取及放置一物品之一組路徑或軌跡，且移動物品所沿之路徑或軌跡選自該組路徑或軌跡。路徑或軌跡可基於與組內之對應路徑或軌跡相關聯之各種性質來選擇。可結合選擇路徑或軌跡來使用之與對應路徑或軌跡相關聯之性質之實例包含移動物品之一速度、拾取物品之一目的地位置、根據特定路徑或軌跡將物品拾取及放置於目的地位置處之一成功概率、工作空間內之另一物品或物件是否與特定路徑或軌跡相交之一指示、工作空間中之一區域(region/area)受限於與特定路徑或軌跡相交之一指示等等。在一些實施例中，根據特定路徑或軌跡將物品拾取及放置於目的地位置處之成功概率針對路徑或軌跡組之至少一子集判定，且路徑或軌跡基於對應成功概率相對於對應於其他路徑或軌跡之成功概率來選擇。作為一實例，路徑或軌跡回應於判定對應於路徑或軌跡之成功概率超過一臨限概率或超過子集內之其他路徑或軌跡之一臨限數目或百分比而選擇。

在250，根據在230判定及/或更新之計畫，拾取物品(例如在圖1中所展示之實例中，自輸送機104抓取)，使物品透過一(預定/計畫)軌跡移動至將放置物品之位置附近之一位置，且將物品放置於目的地位置處。

在各種實施例中，一包裝計畫可包含計畫使用可堆疊托盤、板條箱、盒、貯存倉或其他容器來將較小及/或不規則形狀物品分組且包裝為一更易堆疊單元。在一些實施例中，在一卸垛操作中，本文所揭示之一機器人系統經組態以辨識此等容器、視需要打開容器及藉由移除個別物品來清空容器。一旦清空，則容器移動至一暫存位置，在各種實施例中，其他機器人及/或工人可自暫存位置擷取容器且將其移開。

在所展示之實例中，(重新)計畫及計畫實施方案(230、250)一直持續至高階目標(210)完成(270)，此時程序200結束。在各種實施例中，重新計畫(230)可由諸如以下之條件觸發：非預期及/或無法識別之一物品到達、指示一屬性之一感測器讀數具有基於物品識別及/或相關聯物品模型資訊預期之值之外的值等等。意外條件之其他實例包含(但不限於)判定一預期物品缺失、重新評估物品識別且判定一物品與原始識別不同、偵測到一物品重量或其他屬性與所識別之物品不一致、掉落或需要重新抓取物品、判定一後到物品太重以致無法根據原始及/或當前計畫設想堆疊於一或多個其他物品上及偵測到堆疊於容器上之物品組不穩定。

圖3係繪示用於選擇及提供物品用於碼垛之一程序之一實施例的一流程圖。

在310，獲得一物品清單。物品清單可對應於將共同碼垛於一或多個棧板上之一組物品。根據各種實施例，待碼垛之一組物品至少部分基於將履行一艙單或訂單之一指示來判定。例如，回應於接收一訂單，可產生訂單之一物品清單。作為另一實例，可產生對應於待發送至相同接收者之複數個訂單之一物品清單。

物品可位於一貨架或一倉庫內之其他位置上。為碼垛物品，將物品移動至碼垛物品之一機器人系統。例如，物品可放置於一或多個輸送機上，輸送機將物品移動至將物品碼垛至一或多個棧板上之一或多個機械臂之範圍內。回應於獲得物品清單，至少物品與一特定機械臂、對應於特定機械臂之一預界定區及/或一特定棧板(例如一棧板識別符、定位至一預界定區中之一棧板)等等相關聯。

在330，基於物品清單及可用感測器資訊執行計畫(或重新計畫)以產生拾取/放置物品之一計畫。計畫可包含擷取物品清單上之一或多個物品及將此等物品放置於對應一或多個輸送機上以將物品運送至一機械臂之一或多個策略。根據各種實施例，將物品清單上之物品提供至用於碼垛之適用機械臂之一順序至少部分基於物品清單來判定。

將物品放置於輸送機上之順序可至少大致基於物品及一或多個棧板上物品之一預期堆疊。例如，判定將物品放置於輸送機上之順序之系統可產生物品之一(若干)預期堆疊之一模型，且基於模型判定順序(例如以首先輸送形成堆疊之基底/底部之物品且逐步向堆疊更高處輸送物品)。若物品清單上之物品將碼垛於複數個棧板上，則預期形成各自堆疊之基底/底部(或否則相對靠近堆疊之底部)之物品可在預期實質上在堆疊之中間或頂部之物品之前放置於輸送機上。將碼垛於複數個棧板上之各種物品可彼此散置且機器人系統可在到達機械臂之後對物品進行分類(例如，機械臂可至少基於物品(諸如物品之識別符或物品之屬性)來將物品拾取及放置至一適用棧板上)。因此，對應於對應堆疊之基底/底部部分之物品可彼此散置且各棧板/堆疊之各種物品可隨著對應堆疊構建而放置於輸送機上。

電腦系統可產生屬於物品清單之物品之一或多個預期堆疊之一模型。模型可至少部分基於一或多個臨限值(諸如一適配臨限值或穩定性臨限值)、其他包裝度量(例如密度)等等來產生。例如，電腦系統可產生一預期穩定性值滿足(例如超過)穩定性臨限值之一堆疊之一模型。模型可使用一機器學習程序產生。機器學習程序可基於歷史資訊(諸如先前物品堆疊)(例如先前堆疊中之物品之屬性、關於先前堆疊之效能度量，諸如穩定性、密度、適配等等)來迭代更新。在一些實施例中，用於碼垛物品清單上之物品之(若干)堆疊之模型至少部分基於物品之一或多個屬性來產生。

可在判定計畫之前或判定計畫期間獲得一物品之各種屬性。屬性可包含一物品之大小、一物品之形狀、一物品之封裝類型、一物品之識別符、一物品之重心、物品是否易碎之一指示、物品之一頂部或底部之一指示等等。作為一實例，可至少部分基於物品清單來獲得關於物品之至少一子集之一或多個屬性。可至少部分基於由一或多個感測器獲得之資訊及/或藉由在屬性至物品(例如物品類型、物品識別符，例如序號、型號等等)之一映射中執行一查找來獲得一或多個屬性。

在350，根據在330判定及/或更新之計畫，拾取物品且透過一(預定/計畫)軌跡將物品移動至物品將放置於對應輸送機上之位置附近之一位置，且將物品放置於目的地位置處。

在所展示之實例中，(重新)計畫及計畫實施方案(330、350)一直持續至提供物品清單中之物品之高階目標完成(370)，此時程序300結束。在各種實施例中，重新計畫(330)可由諸如以下之條件觸發：非預期及/或無法識別之一物品到達、指示一屬性之一感測器讀數具有基於物品識別及/或相關聯物品模型資訊預期之值之外的一值等等。意外條件之其他實例包含(但不限於)判定一預期物品缺失、重新評估物品識別且判定一物品與原始識別不同、偵測到一物品重量或其他屬性與所識別之物品不一致、掉落或需要重新抓取物品、判定一後到物品太重以致無法根據原始及/或當前計畫設想堆疊於一或多個其他物品上及偵測到堆疊於容器上之物品組不穩定。

圖4係繪示用於碼垛及/或卸垛異質物品之一機器人系統之一實施例的一圖式。

在所展示之實例中，系統400包含一機械臂405。在此實例中，機械臂405係固定的，但在各種替代實施例中，機械臂405可完全或部分移動，例如安裝於一軌道上、在一機動底盤上完全移動等等。在其他實施方案中，系統400可包含具有一工作空間之複數個機械臂。如所展示，機械臂405用於拾取來自一或多個輸送帶(或其他源) 425及430之任意及/或異種物品及一棧板(例如平台或其他容器)(例如棧板410、棧板415及/或棧板420)上之物品。在一些實施例中，圖4之圖1中未展示之其他機器人可用於將棧板410、棧板415及/或棧板420推動至裝載/卸載位置中及/或一卡車或其他運輸目的地中等等。

如圖4中所展示，系統400可包括一或多個預界定區。例如，棧板410、棧板415及棧板420展示為位於預界定區內。預界定區可藉由在地面上或否則結構地(例如經由系統400中所展示之框架)標記或標籤來表示。在一些實施例中，預界定區可圍繞機械臂405徑向定位。在一些情況中，將一單一棧板插入至一預界定區中。在其他情況中，將一或多個棧板插入至一預界定區中。各預界定區可位於機械臂405之範圍內(例如使得機械臂405可將物品放置於一對應棧板上或自對應棧板卸垛物品，等等)。在一些實施例中，預界定區或位於一預界定區內之棧板之一者用作其中暫時儲存物品之一緩衝或暫存區域(例如，諸如暫時儲存，直至將物品放置於一預界定區中之一棧板上)。

一或多個物品可提供(例如運送)至機械臂405之工作空間，諸如經由輸送機425及/或輸送機430。系統400可控制輸送機425及/或輸送機430之一速度。例如，系統400可獨立於輸送機430之速度來控制輸送機425之速度，或系統400可控制輸送機425及/或輸送機430之速度。在一些實施例中，系統400可暫停輸送機425及/或輸送機430 (例如以允許機械臂405有足夠時間拾取及放置物品)。在一些實施例中，輸送機425及/或輸送機430運送一或多個艙單(例如訂單)之物品。例如，輸送機425及輸送機430可運送一相同艙單及/或不同艙單之物品。類似地，一或多個棧板/預界定區可與一特定艙單相關聯。例如，棧板410及棧板415可與一相同艙單相關聯。作為另一實例，棧板410及棧板420可與不同艙單相關聯。

系統400可控制機械臂405自諸如輸送機425或輸送機430之一輸送機拾取一物品且將物品放置於諸如棧板410、棧板415或棧板420之一棧板上。機械臂405可至少部分基於與物品相關聯之一計畫來拾取物品且將物品移動至一對應目的地位置(例如一棧板或一棧板上之堆疊上之一位置)。在一些實施例中，系統400判定與物品相關聯之計畫(諸如當物品在輸送機上時)，且系統400可在拾取物品之後更新計畫(例如基於物品之一獲得屬性(例如重量)或回應於由工作空間中之一感測器獲得之資訊，例如與另一物品或人之一預期碰撞之一指示等等)。系統400可獲得與物品相關聯之一識別符，例如條碼、QR碼或關於物品之其他識別符或資訊。例如，當物品運送至輸送機上時，系統400可掃描/獲得識別符。回應於獲得識別符，系統400可結合判定其上將放置物品之棧板來使用識別符，諸如藉由對物品識別符至艙單之一映射及/或艙單至棧板之一映射執行一查找。回應於判定對應於物品所屬之艙單/訂單之一或多個棧板，系統400可至少部分基於棧板上之物品堆疊之一模型或模擬及/或棧板上之物品之一放置來選擇其上將放置物品之一棧板。系統400亦可判定選定棧板上其中將放置物品之一特定位置(例如目的地位置)。另外，可判定將物品移動至目的地位置之一計畫，包含可沿其移動物品之一計畫路徑或軌跡。在一些實施例中，當機械臂405移動物品時，更新計畫，例如結合執行一積極措施來改變或適應與工作空間中之一或多個物品/物件相關聯之一偵測狀態或條件(例如以避免一預期碰撞事件、導致物品之一量測重量大於一預期重量、減小物品移動時物品上之剪切力等等)。

根據各種實施例，系統400包括一或多個感測器及/或感測器陣列。例如，系統400可包含輸送機425及/或輸送機430附近之一或多個感測器，例如感測器440及/或感測器441。一或多個感測器可獲得與輸送機上之一物品相關聯之資訊，例如關於物品上之標籤之一識別符或資訊或物品之一屬性，諸如物品之尺寸。在一些實施例中，系統400包含獲得關於一預界定區及/或區中之一棧板之資訊之一或多個感測器及/或感測器陣列。例如，系統400可包含獲得與棧板420或棧板420所在之預界定區相關聯之資訊之一感測器442。感測器可包含一或多個2D攝影機、3D (例如RGBD)攝影機、紅外及其他感測器以產生一工作空間(或一工作空間之部分，例如一棧板及棧板上之物品堆疊)之三維圖。關於一棧板之資訊可結合判定棧板及/或棧板上之一物品堆疊之一狀態來使用。作為一實例，系統400可至少部分基於關於一棧板之資訊來產生棧板上之一物品堆疊之一模型。系統400繼而可結合判定將一物品放置於一棧板上之一計畫來使用模型。作為另一實例，系統400可至少部分基於關於棧板之資訊來判定一物品堆疊完成。

根據各種實施例，系統400至少部分基於判定一棧板上之一堆疊之一穩定性來判定拾取及放置一物品之一計畫(或更新計畫)。系統400可判定棧板410、415及/或420之一或多者之堆疊之一模型，且系統400可結合判定其上將放置一物品之堆疊來使用模型。作為一實例，若待移動之下一物品相對較大(例如使得物品之一表面積相對大於棧板之一覆蓋區)，則系統400可判定將物品放置於棧板410上可引起其上之堆疊變得不穩定(例如因為堆疊之表面不平坦)。相比而言，系統400可判定將相對較大(例如平坦)物品放置於棧板415及/或棧板420之堆疊上可導致一相對穩定堆疊。棧板415及/或棧板420之堆疊之頂面相對平坦且在其上放置一相對較大物品不會導致堆疊不穩定。系統400可判定將物品放置於棧板415及/或棧板420上之一預期穩定性可大於一預定穩定性臨限值或將物品放置於棧板415或棧板420上可導致物品之一最佳化放置(例如至少在穩定性方面)。

系統400可傳送一棧板之一狀態及/或機械臂405在一預界定區內之操作。棧板之狀態及/或機械臂之操作可傳送給一使用者或其他人類操作者。例如，系統400可包含關於系統400之狀態(例如一棧板、一預定區、一機械臂等等之一狀態)之資訊經由其來至一終端機(諸如按需遙控裝置122及/或由一人類操作者使用之一終端機)之一通信介面(未展示)。作為另一實例，系統400可包含在一預界定區附近之一狀態指示器，例如狀態指示器445及/或狀態指示器450。

狀態指示器450可結合傳送一棧板之一狀態及/或機械臂405在對應預界定區內之操作來使用。例如，若系統400相對於棧板420所在之預界定區活動，則狀態指示器可諸如經由開啟一綠色燈或否則經由狀態指示器450傳送資訊或活動狀態之一指示來指示。回應於判定機械臂405在一預定區內將一或多個物品積極碼垛於棧板上，可判定系統400相對於預定區活動。作為另一實例，若系統400相對於棧板420所在之預界定區非活動，則狀態指示器可諸如開啟一紅色燈或否則經由狀態指示器450傳送資訊或活動狀態之一指示來指示。回應於判定機械臂405未在預界定區內將一或多個物品積極碼垛於棧板上(例如回應於一使用者暫停該預界定區(或單元))或回應於判定在棧板420上碼垛物品完成，可判定系統400非活動。一人類操作者或使用者可使用狀態指示器作為進入對應預界定區是否安全之一指示。例如，一使用者參與自對應預界定區移除完成棧板或將空棧板插入至對應預界定區中可參考對應狀態指示器且確保在狀態指示器指示預界定區內之操作非活動時進入預界定區。

根據各種實施例，系統400可使用由工作空間內之一或多個感測器獲得之資訊來判定關於棧板及/或堆疊於棧板上之物品之一異常狀態。例如，系統400可至少部分基於由(若干)感測器獲得之資訊來判定一棧板相對於機械臂405及/或對應預界定區未對準。作為另一實例，系統400可至少部分基於由(若干)感測器獲得之資訊來判定一堆疊不穩定、一棧板上之物品在經歷一紊流等等。回應於偵測到異常狀態，系統可傳送異常狀態之一指示，諸如由一操作者使用之一按需遙控裝置或其他終端機。在一些實施例中，回應於偵測到異常狀態，系統400可自動將棧板及/或對應區設定為一非活動狀態。作為向一操作者通知異常狀態之附加或替代，系統400可執行一積極措施。積極措施可包含控制機械臂405至少部分校正異常狀態(例如重新堆疊掉落物品、重新對準棧板等等)。在一些實施方案中，回應於偵測到一插入棧板未對準(例如不正確地插入至預界定區)，系統400可校準用於模型化一堆疊及/或將物品放置於棧板上以校正未對準之程序。例如，系統400可在判定及實施將一物品放置於棧板上之一計畫時產生及使用對應於未對準之一偏移。在一些實施例中，系統400回應於判定一異常程度小於一臨限值而執行積極措施來部分校正異常狀態。判定一異常程度小於一臨限值之實例包含(i)判定棧板之未對準小於一臨限未對準值、(ii)判定移位、錯位或掉落物品之一數目小於一臨限數目、(iii)判定移位、錯位或掉落物品之一大小滿足一大小臨限值等等。

一人類操作者可經由諸如一有線網路及/或一無線網路之一網路與系統400通信。例如，系統400可包括系統400經由其來連接至一或多個網路之一通信介面。在一些實施例中，經由網路連接至系統400之一終端機提供人類操作者可經由其來將指令提供至系統400及/或人類操作者可經由其來獲得關於系統400之一狀態之資訊(例如機械臂之一狀態、一特定棧板之一狀態、一特定艙單之一碼垛程序之一狀態等等)之一使用者介面。人類操作者可經由使用者介面之一輸入來將一指令提供至系統400。例如，一人類操作者可使用使用者介面來暫停機械臂、暫停關於一特定艙單之一碼垛程序、暫停一特定棧板之一碼垛程序、在活動/非活動之間切換一棧板/預界定區之一狀態等等。

在各種實施例中，可添加、移除、交換等等系統400之元件。在此一例項中，一控制電腦初始化及登記新元件、執行操作測試及開始/繼續配套操作以例如併入新添加元件。

圖5A係繪示在用於碼垛及/或卸垛異質物品之一機器人系統之一實施例中組裝之一棧板之一實例的一圖式。在各種實施例中，圖5A中展示為堆疊於棧板502上之物品可已由一機器人系統(諸如圖1之系統100及/或圖4之系統400)根據一電腦判定(及/或更新)計畫堆疊，如同圖2之程序200。

在所展示之實例中，物品504、506及508堆疊於一第一(最下)層中，且物品510、512、514及516堆疊於物品504、506及508之頂部上之一層中。物品518及520已堆疊於頂部上。

在各種實施例中，可已選擇及指定所展示之物品基於物品識別及/或屬性如圖5A中所展示般放置，例如基於影像、重量及/或其他感測器資料所判定及/或量測。例如，物品504、506及508可已基於其(相對)大小、重量、硬度、強度及/或其他能力指示(物品及/或封裝之能力指示)如所展示般放置於底層中以支撐堆疊於頂部上之重量。

在各種實施例中，藉由應用一或多個啟發法、演算法或其他工具及/或技術來判定各物品之放置、定向等等。例如，至少部分藉由判定整個棧板內及/或當前堆疊及/或配置之一層中之一位置來添加各物品以提供一相對(更)平坦頂面來形成下一層之基礎、最小化堆疊表面積、最小化當前層周邊等等。在各種實施例中，可使用以下啟發法之一或多者：放置下一物品以維持質心靠近棧板之中心；維持機械臂之一清晰運動路徑用於後續物品；維持攝影機可看見所有頂層盒或未裝箱物品；等等。在一些實施例中，上述啟發法之一或多者可結合判定關於一物品堆疊之穩定性之一值等等來使用。

在所展示之實例中，物品510及512呈圓形(至少在橫截面中)，且在一些實施例中，將在選擇放置其之一位置時考量其形狀。例如，如圖5A中所展示，其中物品510及512受其他鄰近物品約束之一內部位置可選擇於一層之邊緣或端上之一位置上。

在各種實施例中，可已基於一或多個屬性(例如其重量(或密度)、支撐堆疊於其上之重量之能力等等)來選擇物品518及520放置於頂部上。

圖5B係繪示在用於碼垛及/或卸垛異質物品之一機器人系統之一實施例中組裝之一棧板之一實例的一圖式。在此實例中，省略包含於圖5A中所展示之實例中之物品514。在各種實施例中，圖5B中所展示之堆疊物品之一計畫可由一控制電腦產生，例如圖1之控制電腦118或包括於圖4之系統400中之一控制電腦。在所展示之實例中，一演算法產生之計畫可考量堆疊於物品510、512上之物品518處於一穩定位置中。例如，可不存在關於任何點或軸線之運算淨力矩，其將導致一控制電腦判定所展示位置不穩定。然而，實際上，略微偏離將物品放置於棧板502上之計畫可導致物品518在堆疊於物品510、512上之後不處於一穩定位置中。在一些實施例中，用於放置物品518之一機械臂及端效器(例如吸力、手爪)包含用於偵測不穩定性之感測器及邏輯。例如，影像資料可經處理且可指示物品向右傾斜，如所展示。或在釋放物品518之前，可使用端效器中之力感測器來偵測物品將在釋放時不穩定。例如，若物品在被壓下但未釋放時倒塌(或提供不均勻阻力)，則在各種實施例中，系統判定物品不穩定。在一些實施例中，機器人系統動態更新堆疊之模型，例如回應於獲得關於堆疊或放置於堆疊上之物品之穩定性/不穩定性之資訊或回應於放置物品等等。

在各種實施例中，偵測到意外不穩定性觸發回應動作。例如，可將其他物品(諸如圖5A中之物品514)放置於適當位置中以進一步支撐不穩定之物品。或可使物品移位至一不同附近位置(例如在所展示之實例中，向左適貼)以查看物品在新位置中是否穩定。或物品可自堆疊移除且移動至一緩衝或暫存區域，其中暫時儲存物品直至機器人系統判定一更理想目的地位置(例如當額外物品堆疊於棧板上且形成其中物品較佳適配或導致較佳穩定性之一空間時)。在各種實施例中，若自動化處理未能判定一解析度，則可觸發人為干預(例如經由遙控、手動等等)。

圖6A係繪示在用於碼垛及/或卸垛異質物品之一機器人系統之一實施例中將物品放置於一棧板上之一實例的一圖式。在所展示之實例中，已判定一位置602以將一物品(圖5A中未展示)放置於一棧板604上鄰近於先前放置物品606之一位置中。例如，可已基於物品屬性(大小、重量、尺寸等等)判定位置602，如同圖2之230。

圖6B係繪示在用於碼垛及/或卸垛異質物品之一機器人系統之一實施例中將物品放置於一棧板上之一實例的一圖式。在所展示之實例中，物品608已以一階準確度移動至所欲位置602處或所欲位置602附近之一位置。在此實例中，物品608具有一略微不規則外紋理，其可已導致物品在位置602處或位置602附近不完美拾取及/或放置。在一些實施例中，關於位置602、棧板604、物品606及物品608之一或多者所接收之影像資料及/或其他感測器資料中之變動及/或不一致可已導致物品608不完美放置，如圖6B中所展示。

圖6C係繪示在用於碼垛及/或卸垛異質物品之一機器人系統之一實施例中將物品放置於一棧板上之一實例的一圖式。在所展示之實例中，物品608已以二階準確度適貼計畫位置602處或計畫位置602附近之一位置。在各種實施例中，二階感測器(例如體現於一機械臂及/或端效器中/上之力感測器)用於使一物品適貼一堆疊中之一更緊密適配位置。例如，機械臂可用於使一物品(諸如物品608)更緊密適貼一位置且與鄰近物品(如物品606)及/或其他結構(諸如側壁)(例如在一棧板或手推車具有一或多個側壁之情況中)(更完全)接觸。根據各種實施例，實施一機器學習程序以更新執行積極措施之策略及/或計畫，例如施加壓力以使物品適貼位置。機器學習程序可回應於策略及/或計畫由一或多個機器人系統實施而動態更新/改良。

在一些實施例中，諸如物品608之一物品可更緊密適貼鄰近物品、側壁等等且可導致物品最終位於與原始計畫不完全一致之一位置中。在一些實施例中，在層內期望及優選適貼放置以最大限度使用可用空間且藉由使鄰近物品彼此耦合(視情況)且耦合至鄰近結構(諸如側壁)來最大限度提高穩定性。

圖7A係繪示用於將一物品放置於一棧板上之一程序之一實施例的一流程圖。在各種實施例中，程序700由一控制電腦(例如圖1之控制電腦118及/或圖4之系統400之一控制電腦)執行以根據一計畫拾取及放置連續物品。

在所展示之實例中，在710，判定一目的地位置及到達位置之軌跡用於拾取及放置下一物品。例如，可判定一預定(例如根據一計畫)及/或動態判定(例如基於物品識別、感測器資料、先前放置物品之位置等等)位置及物品移動至該位置所沿之一軌跡或路徑。在720，使用一或多個一階感測器(例如影像資料)以一階準確度將物品移動至目的地位置(例如如同圖6B中所展示之實例)。在730，使用一或多個二階感測器(例如力感測器)使物品適貼位置(如同圖6C)及/或偵測不穩定性(如同圖5B)或其他意外條件。若在740判定物品已成功放置，則在750，處理繼續下一物品，針對其執行程序700之下一反覆。若在740判定物品未成功放置(例如物品不在預期位置(如由影像資料所判定)、物品不穩定性、堆疊不穩定性等等)，則在760，系統經由自動化處理再試以牢固放置物品，例如，若如此嘗試之一進一步策略可用及/或調用人為干預(例如經由按需遙控)直至在740判定物品已成功放置。

在各種實施例中，本文所揭示之用於碼垛/卸垛之一機器人系統經組態以動態制定及/或更新放置及堆疊物品之一計畫。例如，無法提前知道待放置之下一(批)物品，且需要調整計畫。例如，若軟及/或易碎物品已放置或計畫放置於一較低層中且偵測到較重物品(緊接)到達，則可動態調整計畫以緩衝(在一暫存區域中暫存)軟及/或易碎物品以允許較重物品先放置於較低層中。在一些實施例中，若軟及/或易碎物品已放置(例如在棧板上)，則可將物品移至緩衝(暫存)區域以允許較重物品放置於較低層中之其位置中。

根據各種實施例，一機器學習程序可結合更新用於判定目的地位置及軌跡之程序或模型及/或將物品放置於目的地位置處之策略來使用。例如，用於判定目的地位置及軌跡之模型及/或將物品放置於目的地位置處之策略較佳反映成功之策略及/或不成功之策略，包含策略及/或歷史資訊與受此策略約束之物品或此一物品之一或多個屬性之相關聯性。

圖7B係繪示用於將一物品放置於一棧板上之一程序之一實施例的一流程圖。在一些實施例中，圖7B之程序710對應於或結合圖7A之程序700之710來實施。程序710由一控制電腦(諸如(例如)圖1之控制電腦118及/或圖4之系統400之一控制電腦)執行以判定拾取/放置一物品之計畫。

在711，獲得對應於一物品之一識別符。在一些實施例中，系統至少部分基於由一或多個感測器獲得之資訊來獲得識別符。例如，識別符可為一條碼、一QR碼、一近場通信標籤等等，工作空間中之一或多個感測器(諸如系統之一輸入處之一感測器(例如掃描器))可獲得關於識別符之資訊。系統之輸入處之感測器可為位於將物品運送至系統之一輸送機附近之一感測器。在一些實施例中，對應於物品之識別符自一資料結構獲得，諸如托盤或輸送機槽至物品及/或物品識別符之一映射。資料結構可已由擷取物品且提供物品用於碼垛之一上游系統設定。

在712，判定對應於物品所屬之一艙單之一或多個棧板。在一些實施例中，系統可結合判定物品所屬之艙單來使用對應於物品之識別符。例如，系統可執行關於物品識別符至艙單之一映射之一查找等等。回應於判定物品所屬之艙單，系統可判定對應於艙單之一或多個棧板。作為一實例，若一物品艙單包括足夠多物品使得艙單上之所有物品不適配一單一棧板，則系統可判定其上可放置物品之複數個棧板(且仍滿足關於物品之艙單之履行)。作為另一實例，若系統同時將物品堆疊於複數個棧板上，則系統可判定複數個棧板之哪一或多個棧板對應於艙單。

在713，判定對應於物品所屬之艙單之一或多個棧板之至少一者之一模型。根據各種實施例，系統獲得對應於艙單之各棧板之一模型。系統可獲得對應於艙單且使系統積極將物品碼垛於棧板上(例如，棧板所在之預界定區不暫停或設定為非活動)之棧板之模型。

在一些實施例中，系統可獲得關於一棧板之一快取模型(例如棧板上之物品堆疊之一模型)。作為一實例，快取模型可包括棧板上之物品堆疊之一當前模型。作為另一實例，快取模型可包括根據棧板上之物品堆疊之一先前狀態之一模型。回應於判定快取模型對應於棧板上之物品堆疊之一先前狀態，系統可產生對應於棧板上之物品堆疊之一當前狀態之一新模型或更新快取模型以對應於當前狀態。

在一些實施例中，系統產生對應於物品所屬之艙單之一或多個棧板之至少一者之模型。系統可至少部分基於由工作空間中之一或多個感測器(例如獲得關於棧板所在之預界定區之資訊之一感測器)獲得之資訊來產生一棧板上之一物品堆疊之一模型。

在714，判定其上將放置物品之一棧板。在一些實施例中，其上將放置物品之棧板至少部分基於關於棧板之對應模型來判定。若物品將放置於棧板上，則棧板可至少部分基於一更新模型或模擬結合評估物品之一預期堆疊來判定。在複數個棧板對應於物品所屬之艙單之情況中，系統可基於判定物品最佳適配一棧板(例如物品堆疊)等等來選擇其上將放置物品之棧板。

根據各種實施例，系統可至少部分基於棧板之一狀態及/或複數個棧板之一狀態來判定其上將放置物品之棧板。系統可判定複數個棧板之一或多者上之一堆疊之一狀態且至少部分基於判定物品具有一最佳適配之一堆疊來判定其上將放置物品之棧板。判定物品具有一最佳適配之堆疊可至少部分基於堆疊之一穩定性、堆疊之一模型及/或包括物品之堆疊之一模型(例如在物品放置於堆疊上之後)、尚待堆疊之預期一或多個物品(例如至少部分基於一訂單及/或艙單)等等。關於物品之一或多個屬性或特性可結合判定其上將放置物品之棧板來使用(例如，大小、形狀、封裝類型、物品類型等等可結合模型化堆疊及/或判定將物品放置於一堆疊上之何處來使用)。

系統可產生棧板之狀態之模型，結合判定是否將一物品放置於棧板上(例如在堆疊上)及選擇將物品放置於棧板上之一計畫，包含其中將放置物品之一目的地位置、將物品自一源位置(例如一當前目的地，諸如一輸送機)移動至目的地位置所沿之一軌跡。系統亦可結合判定釋放物品或否則將物品放置於棧板上(例如對物品施加一力以使物品適貼堆疊)之一策略來使用模型。棧板之狀態之模型化可包含模擬在棧板上(例如在堆疊上)之不同目的地位置處放置物品及判定預期由在不同位置處放置物品導致之對應不同預期適配及/或預期穩定性(例如一穩定性度量)。系統可選擇預期適配及/或預期穩定性滿足(例如超過)一對應臨限值之一目的地位置。另外或替代地，系統可選擇最佳化預期適配(例如堆疊上之物品之預期適配)及/或預期穩定性(例如堆疊之預期穩定性)之一目的地位置。

在715，判定將物品移動至一目的地位置之一計畫。在一些實施例中，回應於判定要其上將放置物品之棧板，系統判定其中將放置物品之棧板上之一目的地位置。系統亦可判定移動物品之一計畫，諸如自輸入(諸如輸送機)拾取物品及將物品放置於目的地位置上(諸如在棧板上)。系統可至少部分基於物品之一或多個屬性及/或棧板之模型(例如棧板之一當前狀態/屬性，例如棧板上之物品堆疊之一狀態)來判定移動物品之計畫。

圖8係繪示用於將物品放置於一棧板上之一程序之一實施例的一流程圖。在各種實施例中，程序800由一控制電腦(諸如圖1之控制電腦118及/或圖4之系統400之控制電腦)基於感測器資料(諸如由工作空間中之感測器(諸如攝影機112、114及116)產生之影像資料)執行。在各種實施例中，程序800用於動態判定物品屬性及放置，例如基於至少部分基於影像資料判定之物品大小及形狀。

在所展示之實例中，在810接收及處理影像資料。例如，可接收及合併來自兩個或更多個攝影機之影像資料以產生三維空間中之一組合組點。

在820，將在810接收及處理之影像資料擬合至一模型。例如，可比較組合組點與包括一物品模型庫之對應資料且可判定一「最佳適配」或「最佳匹配」模型。在一些實施例中，至少部分基於一機器學習程序動態更新物品模型庫，機器學習程序使用來自歷史模型之資訊及此等模型之實施結果來改良或更新。

在830，使用(例如)來自最佳適配模型之資料來填充影像資料中之間隙且判定物品之一邊界容器(例如在所有維度上呈矩形或幾乎呈矩形之一物品之一邊界「盒」)。

視情況在840，將邊界容器之一圖形描繪疊加於物品之複合及/或原始影像(例如原始視訊)上以將一複合顯示提供至(例如)監測操作之一人類使用者。

在850，使用在820判定之模型及在830判定之邊界容器來判定其中將放置物品之一目的地位置(例如在一棧板上)。在一些實施例中，可在判定放置位置中顯示邊界容器，例如在拾取及放置物品之操作之一視覺顯示及/或表示中。

圖9係繪示用於將一物品放置於一棧板上之一程序之一實施例的一流程圖。在各種實施例中，程序900由一控制電腦(諸如圖1之控制電腦118及/或圖4之系統400之控制電腦)執行。在所展示之實例中，在902接收及處理物品資料。物品資料之實例包含(但不限於)影像資料、光學或其他掃描器輸出、物品重量、物品識別符、物品大小等等。

在904，嘗試使物品資料與一模型(例如包括一物品模型庫之一模型)匹配。物品模型庫可動態更新，諸如經由一機器學習程序。例如，可讀取物品或其封裝上之標記以識別物品且查找一物品特定模型。在一些實施例中，感測器讀數可指向不同方向。在一些實施例中，可自考量移除離群值(例如統計上不相關之一物品)及/或隨機選擇之感測器資料以判定剩餘資料是否可與一物品模型匹配(例如以一指定置信度)。若如此，則捨棄來自該感測器之感測器資料且在906判定已找到一匹配。

若在906基於在902接收之資料判定已找到與一物品特定模型之一匹配，則在908使用基於該模型之一策略來判定抓取、拾取、移動及/或放置物品之一策略。

若在906判定無法找到與一物品特定模型之一匹配，則在910判定物品之大小、重量、形狀、封裝類型、重心及/或其他屬性且嘗試使其與該大小、重量、形狀等等之物品相關聯之一模型匹配。若在912判定已找到與此一模型之一匹配，則在914使用判定模型來判定抓取、拾取、移動及/或放置物品之一策略。否則，在916觸發人為干預以(例如)手動輸入一策略及/或映射至一策略之一物品識別及/或藉由遙控、手動等等完成關於物品之所有或部分操作。

在918判定處理物品是否已產生關於物品及/或物品類型之額外或新資訊。若如此，則在920使用新資訊來產生及/或更新物品及/或物品類型之一模型。新資訊可包含一量測重量、一重心、一封裝類型等等。若未出現新資訊及/或一旦此資訊已反映於(若干)任何適用模型中，則程序結束。

在一些實施例中，偵測到一新物品或物品類型觸發其中可判定且更完全或精確判定物品之屬性之一發現程序。例如，系統可使用機械臂拾取物品且將其固持於不同位置中及/或不同方向上以產生物品之(額外)影像或視圖用於模型化或更完全模型化物品。

在各種實施例中，本文所揭示之用於碼垛及/或卸垛異質物品之一機器人系統包含在操作端具有一基於吸力、夾爪式或其他端效器之一機械臂。在各種實施例中，端效器可包含用於碼垛及/或卸垛異質物品之一或多個感測器，如本文所揭示。例如，端效器可包含用於促進一物品之一階拾取及放置之影像感測器及用於促進物品適貼位置(例如鄰近於其他物品、側壁及/或其他結構)之一或多個力感測器。在另一實例中，在一些實施例中，一基於吸力之端效器可包含用於偵測何時已安全抓取物件表面及/或偵測物件何時脫離或剪斷之氣壓感測器。

根據各種實施例，程序900可結合判定抓取物品之一策略等等來實施。對應於物品之模型可包括於將物品自源位置(例如輸送機)移動至目的地位置之計畫中。

圖10係繪示用於使用一機械臂來判定堆疊於一棧板上之一物品之一屬性之一程序之一實施例的一流程圖。在各種實施例中，圖10之程序1000可由一控制電腦(諸如圖1之控制電腦118及/或圖4之系統400之一控制電腦)實施。在所展示之實例中，在1002使用一機械臂及/或端效器來探測一物品以判定物品之一或多個屬性，例如物品有多柔、多重、密度如何等等。例如，若物品受輕微壓力，則其被判定為柔軟。若物品因其大小而較輕(如基於影像資料所判定)，則判定物品密度較低。若在1004已判定物品柔軟及/或密度較低，則在1006視需要緩衝物品以放置於堆疊之一上層中。緩衝物品可包含至少暫時將物品移動及放置於緩衝或暫存區域中直至系統判定其中可放置物品之一新空間(例如至少部分基於物品之屬性，例如大小、包裝類型、硬度、柔軟度等等)。若在1004未判定物品柔軟或密度較低，則將物品添加至堆疊，無需在1006緩衝。

圖11係繪示用於使用一機械臂來偵測及回應堆疊於一棧板上之一組物品之不穩定性之一程序之一實施例的一流程圖。在各種實施例中，圖11之程序1100可由一控制電腦(例如圖1之控制電腦118及/或圖4之系統400之一控制電腦)實施。在各種實施例中，程序100用於偵測堆疊不穩定性，例如基於內部(例如力)及/或外部(例如影像)感測器資料。

在所展示之實例中，在1102監測堆疊穩定性。例如，工作空間/環境中之攝影機可用於偵測堆疊已開始傾斜、坍塌、滑動等等。或機械臂及/或端效器上之力感測器可用於偵測堆疊或其部分已變得不穩定，諸如當機械臂將一物品放置於堆疊上時。若在1104判定堆疊已變得不穩定，則在1106執行一積極措施。

積極措施可提高堆疊之穩定性或否則消除堆疊之一異常。積極措施之一實例包含(例如)以塑膠自動包裹部分堆疊以防止滑移且加強堆疊之穩定性及結構。積極措施之另一實例包含控制機械臂移除已自堆疊滑移/掉落之一物品及將物品放回至堆疊上(在物品佔用之以前位置或其中判定物品較佳適配或對應於堆疊之提高穩定性之一新位置中)，或替代地，機械臂將物品移動/放置至一緩衝或暫存區域直至系統判定其中將放置物品之一新位置形成(例如，其滿足各種準則，例如滿足關於適配、密度、穩定性等等之一或多個臨限值)。積極措施之另一實例包含將一通知傳送至一人類操作者，諸如經由將一通知發送至人類操作者之一終端機及在終端機之一使用者介面上顯示一通知以警示人類操作者不穩定性或異常。

根據各種實施例，至少部分基於堆疊之一模型來判定/選擇積極措施。例如，系統可至少部分基於由工作空間/環境中之一感測器獲得之資訊來產生堆疊之一更新模型。系統可判定不穩定性之一原因且判定補救不穩定性之一計畫。例如，若系統判定不穩定性由一特定物品引起，則系統可控制機械臂移除特定物品(或包含特定物品之一組物品)且重新堆疊特定物品(或移除之物品組之至少一子集)。系統可根據偵測到之不穩定性等等來更新移動/放置物品之模型。

若在1104未(再次)判定堆疊已變得不穩定且無論如何一旦整個堆疊(例如棧板或其他容器)已完成(1108)，則在1110自動包裹堆疊及/或其剩餘未包裹部分且程序結束。

圖12係繪示用於控制一系統碼垛/卸垛一物品之一程序的一流程圖。在各種實施例中，一使用者可基於(諸如)經由一或多個網路操作地連接至一機器人系統之一終端機處所提供及/或接收之資訊來控制機器人系統。用於控制一系統碼垛/卸垛一物品之程序1200可至少部分由連接至圖1之系統100之一終端機及/或連接至圖4之系統400之一終端機實施。終端機可為諸如一個人電腦、膝上型電腦、平板電腦、智慧型電話等等之一電腦。

在1210，獲得開啟機器人系統之一輸入。在一些實施例中，終端機接收來自一使用者之一輸入來啟動或開啟機器人系統。輸入可經由提供關於機器人系統之資訊(諸如機器人系統之狀態資訊)之一使用者介面接收。可經由其來接收輸入之使用者介面之一實例係圖13A之介面1300。

在1220，傳送關於對應於在1210接收之輸入之機器人系統之資訊。在一些實施例中，回應於接收開啟或啟動機器人系統之輸入，終端機將一開啟命令傳送至機器人系統。命令可包含啟動機器人系統之一特定機器人(例如機械臂)之一特定指令。例如，指令可對應於開啟或啟動關於機器人之一特定預界定區(例如工作單元)、機器人之一組特定預界定區或所有預界定區之碼垛之一指令。

在一些實施例中，傳送關於機器人系統之資訊可包括接收關於機器人系統之一狀態之資訊。關於狀態之資訊可為由機器人系統提供之回饋資訊。例如，關於狀態之資訊可包含以下之一或多者：關於一特定艙單之碼垛/卸垛完成之一狀態指示、指示機器人系統或機器人系統中之一或多個機器人之一或多個統計之資訊(例如完成棧板之一平均數目、在一預定時段內碼垛/卸垛之物品之一平均數目、在一預界定時段內碼垛/卸垛之物品之一總數、關於一特定棧板完成碼垛/卸垛之一狀態之資訊等等)、指示機器人系統中之一或多個機器人之一狀態之資訊等等。關於狀態之資訊可包括關於一或多個棧板上之一物品堆疊之一狀態之資訊。例如，關於狀態之資訊可包括影像資料(例如由機器人系統之工作空間中之一感測器或攝影機捕獲之一影像/視訊)、關於相對於一棧板或一物品堆疊所產生之模型之資訊(例如產生模型之一影像，諸如模型之一2D及/或3D渲染)等等。

在一些實施例中，傳送關於機器人系統之資訊包含將一指令等等發送至機器人系統及自機器人系統接收回饋資訊(例如狀態/狀態資訊)等等。

在1230，提供關於機器人系統之狀態之資訊。根據各種實施例，提供關於機器人系統之狀態之資訊包括在終端機之一圖形使用者介面上顯示關於機器人系統之狀態之資訊之至少一子集。關於一特定機器人系統之狀態之資訊可提供於一使用者介面上，諸如圖13A之介面1300、圖13B之介面1325、圖13C之介面1350及/或圖13D之介面1375。圖形使用者介面可提供一或多個可選元件，一使用者可使用該等可選元件來導覽顯示於圖形使用者介面上之資訊，諸如與一特定機器人相關聯之細查資訊或與對應於一特定機器人之一特定預界定區或棧板相關聯之資訊。

在1240，接收關於一特定機器人之一輸入。在一些實施例中，終端機接收來自一使用者之一輸入以啟動或開啟機器人系統中之特定一或多個機器人。輸入可經由提供關於機器人系統之資訊(諸如機器人系統之狀態資訊)之一使用者介面接收。可經由其來接收輸入之使用者介面之實例包含諸如圖13A之介面1300、圖13B之介面1325、圖13C之介面1350及/或圖13D之介面1375之介面。

在一些實施例中，關於一特定機器人之輸入包含請求(例如選擇一圖形使用者介面上之一元件)獲得關於特定機器人之一狀態、特定機器人之效能統計、一特定機器人之碼垛/卸垛之一進展等等之資訊。關於特定機器人之輸入可為繼續碼垛之一輸入(例如在一棧板(諸如)由使用者插入至機器人之一預界定區中之後)或暫停碼垛之一輸入(例如以允許一人類操作者或其他機器人進入預界定區或鄰近/附近預界定區以(諸如)移除一完成棧板)等等。

在1250，傳送關於特定機器人之資訊。在一些實施例中，回應於接收關於特定機器人之輸入，終端機將一命令傳送至特定機器人或機器人系統以至少部分基於輸入來控制特定機器人。命令可包含啟動機器人系統之特定機器人(例如機械臂)之一指令。例如，指令可對應於開啟或啟動關於機器人之一特定預界定區(例如工作單元)、機器人之一組特定預界定區或所有預界定區之碼垛之一指令。作為另一實例，指令可對應於暫停或停止關於機器人之一特定預界定區(例如工作單元)、機器人之一組特定預界定區或所有預界定區之碼垛之一指令。

在一些實施例中，傳送關於機器人之資訊可包括接收關於機器人之一狀態之資訊。關於狀態之資訊可為由機器人提供之回饋資訊。例如，關於狀態之資訊可包含以下之一或多者：關於一特定艙單之碼垛/卸垛完成之一狀態指示、指示機器人之一或多個統計之資訊(例如完成棧板之一平均數目、在一預定時段內碼垛/卸垛之物品之一平均數目、在一預界定時段內碼垛/卸垛之物品之一總數、關於一特定棧板完成碼垛/卸垛之一狀態之資訊等等)等等。關於狀態之資訊可包括關於一或多個棧板上之一物品堆疊之一狀態之資訊。例如，關於狀態之資訊可包括影像資料(例如由機器人系統之工作空間中之一感測器或攝影機捕獲之一影像/視訊)、關於相對於一棧板或一物品堆疊所產生之模型之資訊(例如產生模型之一影像，諸如模型之一2D及/或3D渲染)等等。

圖13A係結合使用一系統碼垛/卸垛一物品來顯示之一使用者介面之一圖式。在各種實施例中，一使用者可基於(諸如)經由一或多個網路操作地連接至一機器人系統之一終端機處所提供及/或接收之資訊來控制機器人系統。介面1300可至少部分由連接至圖1之系統100之一終端機及/或連接至圖4之系統400之一終端機實施。在一些實施例中，介面1300結合圖12之程序1200來實施。終端機可為諸如一個人電腦、膝上型電腦、平板電腦、智慧型電話等等之一電腦。

介面1300可顯示關於一機器人系統之資訊。例如，介面1300可包含一或多個元件，其等構成關於機器人系統之資訊之至少部分。一或多個元件之實例包括元件1303、元件1305、元件1307及/或元件1309。如圖13A中所展示，元件1303、元件1305、元件1307及/或元件1309包括與機器人系統之一狀態、機器人系統之一效能等等相關聯之資訊。元件1303可包括可使用其來控制機器人系統之元件1301。例如，使用者可結合選擇元件1301來關閉/開啟機器人系統。

在一些實施例中，介面1300提供關於機器人系統內之一或多個特定機器人之資訊。例如，介面1300可提供關於機器人系統內之各機器人之資訊。作為另一實例，介面1300可提供關於機器人系統內之各活動機器人之資訊。作為另一實例，介面1300可提供關於一組機器人之資訊，且介面1300提供其資訊之該組機器人可為可組態的(例如由一使用者/管理員設定等等)。在一些實施例中，在一視窗或元件(諸如元件1311、元件1313、元件1315、元件1317及/或元件1319)中提供關於一特定機器人所提供之資訊。

根據各種實施例，對應於一特定機器人之一元件可包含可使用其來控制機器人或可使用其來調用查看關於機器人之其他資訊之一請求(例如，使用者可藉由選擇「查看」按鈕來細查關於機器人或其狀態之更細微或額外細節)之一或多個可選元件。如關於元件1311及元件1319所繪示，可呈現包含數個碼垛物品之一指示之資訊。碼垛物品(例如箱)之數目可超過一預定時段(例如一特定天)及/或碼垛物品之一當前數目(例如在機器人之各種棧板或預界定區中)。如關於元件1313、元件1315及/或元件1317中所繪示，可提供對應機器人之一或多個棧板之一狀態。例如，關於機器人2、機器人3及機器人4，各機器人具有其中可插入棧板之四個預界定區。可提供關於各預界定區之一狀態指示器且使其結合傳送關於在棧板上碼垛物品之一狀態來使用。在一些實施方案中，狀態指示器可為一彩色圖示，其可在關於對應預界定區中之碼垛之狀態活動(例如，物品當前在碼垛)時呈現為綠色或在關於對應預界定區中之碼垛之狀態非活動(例如完成)時呈現為紅色。可實施各種其他色彩或狀態指示器。例如，黃色之一狀態指示器可用於傳達機器人在經歷至少關於對應預界定區之一錯誤(例如棧板未對準、其內之一物品堆疊不穩定、一物品已掉落等等)。關於介面1300，元件1313中之狀態指示器可指示所有預界定區P1、P2、P3及P4非活動；元件1315中之狀態指示器可指示預界定區P1及P2活動且預界定區P3及P4非活動；且元件1317中之狀態指示器可指示所有預界定區P1、P2、P3及P4活動。此外，關於元件，可包含指示剩餘待碼垛之物品之一數目之資訊(例如關於一特定棧板、關於一特定艙單等等)。

圖13B係結合使用一機器人碼垛/卸垛一物品來顯示之一使用者介面之一圖式。在各種實施例中，一使用者可基於(諸如)經由一或多個網路操作地連接至一機器人系統之一終端機處所提供及/或接收之資訊來控制機器人系統。介面1325可至少部分由連接至圖1之系統100之一終端機及/或連接至圖4之系統400之一終端機實施。在一些實施例中，介面1325結合圖12之程序1200來實施。終端機可為諸如一個人電腦、膝上型電腦、平板電腦、智慧型電話等等之一電腦。

介面1325可顯示關於一機器人系統中之一特定機器人之資訊。在一些實施例中，回應於來自一使用者之一輸入而調用(例如顯示)介面1325以查看特定於對應機器人之資訊(例如，一使用者在提供關於一機器人系統之資訊之一介面上選擇關於機器人之一「查看」按鈕，例如在介面1300上選擇「查看」按鈕)。作為一實例，介面1325可包含可使用其來控制機器人(例如，一般控制關於其所有對應預界定區之機械臂等等)之一或多個元件。例如，介面1325可包含一使用者可使用其來選擇開啟/關閉機器人之元件1327。作為另一實例，介面1325可包含一使用者可使用其來選擇暫停/繼續一碼垛及/或卸垛操作(諸如關於機器人之所有對應預界定區或一組預組態預界定區)之元件1329。

在一些實施例中，介面1325向使用者提供使使用者能夠關於一特定棧板或其中插入棧板之預界定區控制操作或查看資訊之功能。例如，可提供元件1331來使使用者能夠控制機器人關於機器人之預界定區P1中之棧板之操作。元件1331可包含可使用其來繼續/暫停機器人關於預界定區P1中之棧板之操作之一可選按鈕。在一些實施例中，1331可包含調用關於預界定區P1及/或其內之物品之碼垛之狀態之額外資訊之顯示之一可選元件。例如，元件1331可包含在選擇之後調用預界定區中之棧板或預界定區本身之一影像(例如一當前影像/視訊)之顯示之一按鈕。作為另一實例，元件1331可包含在選擇之後調用棧板上之物品堆疊之一2D及/或3D模型之顯示之一按鈕。作為另一實例，元件1331可包含在選擇之後調用在預界定區(例如P1)中碼垛/卸垛之一物品清單之一詳細描述之顯示之一按鈕。作為另一實例，元件1331可包含在選擇之後調用關於機器人之操作及/或對應預界定區中之物品之碼垛/卸垛之統計之顯示之一按鈕。可提供關於預界定區、對應於預界定區之物品清單及狀態資訊之各種其他描述資訊。

介面1325可進一步包含其中可顯示關於對應預界定區中之物品之碼垛/卸垛之一狀態之資訊之一或多個元件及/或區域。例如，在介面1325之右側，提供關於一般由機器人處理之物品之一數目之資訊，且提供關於各預界定區P1、P2、P3及P4內之碼垛/卸垛之一狀態之資訊。

元件1333可對應於預界定區P2，但另外可對應於或類似於元件1331。

圖13C係結合使用一機器人碼垛/卸垛一物品來顯示之一使用者介面之一圖式。在各種實施例中，一使用者可基於(諸如)經由一或多個網路操作地連接至一機器人系統之一終端機處所提供及/或接收之資訊來控制機器人系統。介面1350可至少部分由連接至圖1之系統100之一終端機及/或連接至圖4之系統400之一終端機實施。在一些實施例中，介面1350結合圖12之程序1200來實施。終端機可為諸如一個人電腦、膝上型電腦、平板電腦、智慧型電話等等之一電腦。

在一些實施例中，介面1350對應於介面1325，其中使用者已選擇共同控制預界定區P1及P2之機械臂之操作(例如碼垛/卸垛或活動/非活動狀態)。例如，使用者可(諸如)經由一觸控輸入來選擇元件1331及元件1333。至少部分回應於選擇元件1331及元件1333 (或預界定區P1及預界定區P2之元件1331及元件1333)，可顯示一元件1351。元件1351可為使用者可使用其來控制選定預界定區(諸如在此實例中，預界定區P1及P2)之機器臂之操作(例如碼垛/卸垛或活動/非活動狀態)之一可選元件。元件1351可顯示為疊置於介面1325上之一浮動視窗。在一些實施例中，元件1351下方之元件層(例如介面上之其他元件)依非突顯方式顯示，諸如經由灰顯或否則不明亮等等。在一些實施例中，元件1351可結合繼續選定預界定區(例如在此情況中，預界定區P1及P2)之機械臂之操作(例如碼垛/卸垛或活動/非活動狀態)來選擇。

介面1350可顯示關於一機器人系統中之一特定機器人之資訊。在一些實施例中，回應於來自一使用者之一輸入而調用(例如顯示)介面1325以查看特定於對應機器人之資訊(例如，一使用者在提供關於一機器人系統之資訊之一介面上選擇關於機器人之一「查看」按鈕，諸如在介面1300上選擇「查看」按鈕)。作為一實例，介面1325可包含可使用其來控制機器人(例如，一般控制關於所有其對應預界定區之機械臂等等)之一或多個元件。例如，介面1325可包含一使用者可使用來選擇開啟/關閉機器人之元件1327。作為另一實例，介面1325可包含一使用者可使用其來選擇暫停/繼續一碼垛及/或卸垛操作(諸如關於機器人之所有對應預界定區或一組預組態預界定區)之元件1329。

在一些實施例中，介面1325向使用者提供使使用者能夠關於一特定棧板或其中插入棧板之預界定區控制操作或查看資訊之功能。例如，可提供元件1331來使使用者能夠控制機器人關於機器人之預界定區P1中之棧板之操作。元件1331可包含可使用其來繼續/暫停機器人關於預界定區P1中之棧板之操作之一可選按鈕。在一些實施例中，1331可包含調用關於預界定區P1及/或其內之物品之碼垛之狀態之額外資訊之顯示之一可選元件。例如，元件1331可包括在選擇之後調用預界定區中之棧板或預界定區本身之一影像(例如一當前影像/視訊)之顯示之一按鈕。作為另一實例，元件1331可包含在選擇之後調用棧板上之物品堆疊之一2D及/或3D模型之顯示之一按鈕。作為另一實例，元件1331可包含在選擇之後調用在預界定區(例如P1)中碼垛/卸垛之一物品清單之一詳細描述之顯示之一按鈕。作為另一實例，元件1331可包含在選擇之後調用關於機器人之操作及/或對應預界定區中之物品之碼垛/卸垛之統計之顯示之一按鈕。可提供關於預界定區、對應於預界定區之物品清單及狀態資訊之各種其他描述資訊。

介面1325可進一步包含其中可顯示關於對應預界定區中之物品之碼垛/卸垛之一狀態之資訊之一或多個元件及/或區域。例如，在介面1325之右側，提供關於一般由機器人處理之物品之一數目之資訊，且提供關於各預界定區P1、P2、P3及P4內之碼垛/卸垛之一狀態之資訊。

圖13D係結合使用一機器人碼垛/卸垛一物品來顯示之一使用者介面之一圖式。

在各種實施例中，一使用者可基於(諸如)經由一或多個網路操作地連接至一機器人系統之一終端機處所提供及/或接收之資訊來控制機器人系統。介面1375可至少部分由連接至圖1之系統100之一終端機及/或連接至圖4之系統400之一終端機實施。在一些實施例中，介面1375結合圖12之程序1200來實施。終端機可為諸如一個人電腦、膝上型電腦、平板電腦、智慧型電話等等之一電腦。

根據各種實施例，若機器人系統偵測到一異常或問題，則一警示或通知可經由一介面提供至一使用者，諸如使用者可經由其來查看機器人系統之一狀態及/或控制機器人系統之操作之一介面。異常或問題可包含關於棧板上之物品堆疊之不穩定性、已自棧板掉落之一物品、在一預界定區活動時在預界定區中偵測到之一人或其他機器人(或其他意外物件)、一未對準棧板或棧板之不正確插入、關於一輸入輸送機之一錯誤、無法識別之一物品、不對應於機器人在碼垛/卸垛之一艙單或等待一人類操作者或其他機器人移除之一完成堆疊(例如剛完成之一堆疊、在至少一臨限時段內完成之一堆疊等等)上之一物品之一物品。

在一些實施例中，介面1375對應於圖13B之介面1325及通知1377，且回應於判定一通知/警示提供至使用者，可顯示元件1377。元件1377可顯示為疊置於介面1325上之一浮動視窗。在一些實施例中，元件1377下方之元件層(例如介面上之其他元件)依非突顯方式顯示，諸如經由灰顯或否則不明亮等等。在一些實施例中，元件1377可由一使用者(諸如)經由輸入一確認按鈕之一選擇等等來解除。

儘管已為了理解清楚而在一定程度上詳細描述前述實施例，但本發明不受限於所提供之細節。存在實施本發明之諸多替代方式。所揭示之實施例具繪示性而非限制性。

100:系統 102:機械臂/機器人 104:輸送帶/輸送機 106:棧板/容器 108:端效器 110:吸盤 112:攝影機 114:攝影機 116:攝影機 118:控制電腦 122:遙控裝置 124:人類使用者 200:程序 210:接收指示自一容器拾取一組異種物品及將一組異種物品放置至一容器之一高階目標之資料 230:執行基於目標及可用感測器資訊拾取/放置(下一)物品之計畫(或重新計畫) 250:根據計畫拾取/放置物品 270:是否完成 300:程序 310:獲得物品清單 330:執行基於物品清單及可用感測器資訊拾取/放置(下一)物品之計畫/重新計畫 350:根據計畫拾取/放置物品 370:是否完成 400:系統 405:機械臂 410:棧板 415:棧板 420:棧板 425:輸送帶/輸送機 430:輸送帶/輸送機 440:感測器 441:感測器 442:感測器 445:狀態指示器 450:狀態指示器 502:棧板 504:物品 506:物品 508:物品 510:物品 512:物品 514:物品 516:物品 518:物品 520:物品 602:位置 604:棧板 606:物品 608:物品 700:程序 710:判定目的地位置及到達位置之軌跡 711:獲得對應於物品之識別符 712:判定對應於物品所屬之艙單之(若干)棧板 713:判定對應於物品所屬之艙單之(若干)棧板之模型 714:判定將物品放置於其上之棧板 715:判定將物品移動至目的地位置之計畫 720:使用(若干)一階感測器以一階準確度將物品移動至判定位置 730:使用(若干)二階感測器將物品適貼位置及/或偵測不穩定性或其他意外條件 740:是否成功 750:轉至下一物品 760:再試或調用人為干預 800:程序 810:接收及處理影像資料 820:擬合至一模型 830:填充視訊中之間隙且判定邊界容器 840:(視情況)將邊界容器之描繪疊加於物品上以提供複合顯示 850:使用模型及邊界容器判定物品放置 900:程序 902:接收及處理物品資料 904:嘗試與模型匹配 906:是否找到匹配 908:使用基於模型之策略來抓取及移動 910:判定大小、重量及形狀 912:是否找到匹配 914:使用基於形狀等等之策略來抓取及移動 916:觸發人為干預 918:是否有新資訊 920:產生/更新模型 1000:程序 1002:使用機械臂及/或末端致動器來探測物品柔軟度、密度等等 1004:是否柔軟或密度小 1006:視需要緩衝以放置於上層中 1100:程序 1102:監測堆疊穩定性 1104:是否不穩定 1106:執行積極措施 1108:是否完成 1110:自動包裹堆疊 1200:程序 1210:獲得開啟機器人系統之輸入 1220:傳送關於機器人系統之資訊 1230:提供關於機器人系統之狀態之資訊 1240:獲得關於一特定機器人之輸入 1250:傳送關於特定機器人之資訊 1300:介面 1301:元件 1303:元件 1305:元件 1307:元件 1309:元件 1311:元件 1313:元件 1315:元件 1317:元件 1319:元件 1325:介面 1327:元件 1329:元件 1331:元件 1333:元件 1350:介面 1351:元件 1375:介面 1377:通知/元件

以下詳細描述及附圖中揭示本發明之各種實施例。

圖1係繪示用於碼垛及/或卸垛異質物品之一機器人系統之一實施例的一圖式。

圖2係繪示用於碼垛及/或卸垛之一程序之一實施例的一流程圖。

圖3係繪示用於選擇及提供碼垛物品之一程序之一實施例的一流程圖。

圖4係繪示用於碼垛及/或卸垛異質物品之一機器人系統之一實施例的一圖式。

圖5A係繪示在用於碼垛及/或卸垛異質物品之一機器人系統之一實施例中組裝之一棧板之一實例的一圖式。

圖5B係繪示在用於碼垛及/或卸垛異質物品之一機器人系統之一實施例中組裝之一棧板之一實例的一圖式。

圖6A係繪示在用於碼垛及/或卸垛異質物品之一機器人系統之一實施例中將物品放置於一棧板上之一實例的一圖式。

圖6B係繪示在用於碼垛及/或卸垛異質物品之一機器人系統之一實施例中將物品放置於一棧板上之一實例的一圖式。

圖6C係繪示在用於碼垛及/或卸垛異質物品之一機器人系統之一實施例中將物品放置於一棧板上之一實例的一圖式。

圖7A係繪示用於將一物品放置於一棧板上之一程序之一實施例的一流程圖。

圖7B係繪示用於將一物品放置於一棧板上之一程序之一實施例的一流程圖。

圖8係繪示用於將物品放置於一棧板上之一程序之一實施例的一流程圖。

圖9係繪示用於將一物品放置於一棧板上之一程序之一實施例的一流程圖。

圖10係繪示用於使用一機械臂判定堆疊於一棧板上之一物品之一屬性之一程序之一實施例的一流程圖。

圖11係繪示用於使用一機械臂偵測及回應堆疊於一棧板上之一組物品之不穩定性之一程序之一實施例的一流程圖。

圖12係繪示用於控制一系統碼垛/卸垛一物品之一程序的流程圖。

圖13A係結合使用一系統碼垛/卸垛一物品來顯示之一使用者介面之一圖式。

圖13B係結合使用一機器人碼垛/卸垛一物品來顯示之一使用者介面之一圖式。

圖13C係結合使用一機器人碼垛/卸垛一物品來顯示之一使用者介面之一圖式。

圖13D係結合使用一機器人碼垛/卸垛一物品來顯示之一使用者介面之一圖式。

400:系統

405:機械臂

410:棧板

415:棧板

420:棧板

425:輸送帶/輸送機

430:輸送帶/輸送機

440:感測器

441:感測器

442:感測器

445:狀態指示器

450:狀態指示器

Claims (24)

1. 一種機器人系統，其包括： 一通信介面；及 一或多個處理器，其等耦合至該通信介面且經組態以： 經由該通信介面接收與堆疊於一目的地位置上或一目的地位置中之複數個物品相關聯之資料； 至少部分基於該接收資料來產生在該目的地位置上或該目的地位置中堆疊該等物品之一計畫，包含藉由針對各物品： 至少部分基於與該物品相關聯之一特性及以下之至少一者來判定該目的地位置：(i)其上將堆疊一或多個物品之一平台或容器之一特性；及(ii)該平台或容器上之一或多個物品之一既有堆疊，其中： 該目的地位置自其中安置平台或容器之複數個區中判定；且 該複數個區之各者在一機械臂之一範圍內； 至少部分藉由根據該計畫控制該機械臂拾取該等物品且將該等物品堆疊於該目的地位置上或該目的地位置中來實施該計畫。
2. 如請求項1之機器人系統，其中實施該計畫包含針對各物品： 使用一或多個一階感測器來將該物品移動至該目的地位置處之該物品之一目的地位置之一第一近似值；及 使用一或多個二階感測器使該物品適貼一最終位置。
3. 如請求項1之機器人系統，其中： 該複數個物品經由一或多個輸入輸送機移動至該機械臂之範圍內；且 該機械臂自該一或多個輸入輸送機分別拾取該複數個物品且將該複數個物品分別堆疊於對應目的地位置中。
4. 如請求項3之機器人系統，其中： 該機械臂將該複數個物品之一第一子集堆疊於一第一平台或容器上；且 該機械臂將該複數個物品之一第二子集堆疊於一第二平台或容器上。
5. 如請求項4之機器人系統，其中該第一平台或容器及該第二平台或容器分別包括一或多個物品之堆疊。
6. 如請求項5之機器人系統，其中該機械臂將該複數個物品之一子集同步或並發放置於該第一平台或容器及該第二平台或容器上。
7. 如請求項4之機器人系統，其中該第一平台或容器及該第二平台或容器分別包括一或多個物品之堆疊。
8. 如請求項1之機器人系統，其中該一或多個處理器經進一步組態以： 判定放置於一對應區中之一平台或容器是否對準；及 回應於判定放置於該對應區中之該平台或容器未適當對準，實施一積極措施結合校正該平台或容器之對準。
9. 如請求項8之機器人系統，其中該積極措施包括將一通知提供至一終端機，該通知指示需要人為干預來校正該平台或容器之對準。
10. 如請求項8之機器人系統，其中判定放置於一對應區中之一平台或容器是否對準包含：判定該平台或容器是否在該機械臂之一運動範圍內。
11. 如請求項10之機器人系統，其中該機械臂之該運動範圍至少部分基於一範圍來界定，該機械臂在將一或多個物品堆疊於該平台或容器上時操作於該範圍內。
12. 如請求項1之機器人系統，其中該一或多個處理器經進一步組態以： 針對堆疊於該目的地位置上或該目的地位置中之各物品，儲存該物品與其上堆疊該物品之該平台或容器之間的一相關聯性。
13. 如請求項12之機器人系統，其中其上堆疊該物品之該平台或容器與一艙單或訂單相關聯。
14. 如請求項1之機器人系統，其中該一或多個處理器經進一步組態以： 判定一平台或容器上之一物品堆疊完成；及 回應於判定該堆疊完成，將一通知提供至一終端機。
15. 如請求項1之機器人系統，其中該一或多個處理器經進一步組態以： 接收將自該對應區移除包括一完成物品堆疊之一平台或容器之一指示；及 回應於接收該指示，更新堆疊該等物品之該計畫，使得當移除該完成堆疊時，該機械臂在至少該對應區中不堆疊物品。
16. 如請求項15之機器人系統，其中： 該指示經由該通信介面接收自與該機器人系統通信之一終端機；且 該指示回應於一使用者請求暫停至少在該對應區中堆疊物品而產生。
17. 如請求項15之機器人系統，其中更新堆疊該等物品之該計畫包含：限制將一或多個物品堆疊於鄰近於將自其移除該平台或容器之該區之至少一個區中。
18. 如請求項1之機器人系統，其中該一或多個處理器經進一步組態以： 獲得與該物品相關聯之一特性， 其中： 該特性包括一識別符、一尺寸、一材料及一重量之一或多者；且 至少部分基於自操作地連接至該一或多個處理器之一或多個感測器獲得之資訊來獲得該特性。
19. 如請求項1之機器人系統，其中判定該目的地位置包含： 判定用於放置一對應物品之一組可能目的地位置；及 至少部分基於判定一包裝度量滿足一臨限值來自該組可能目的地位置選擇一選定目的地位置。
20. 如請求項19之機器人系統，其中該選定目的地位置對應於與碼垛最大化對應之一位置。
21. 如請求項1之機器人系統，其中該目的地位置至少部分基於與一或多個上游物品相關聯之一或多個特性來判定。
22. 如請求項1之機器人系統，其中該一或多個處理器經進一步組態以： 判定一新平台或容器已放置於一對應區中；及 回應於判定一新平台或容器已放置於該對應區中，執行關於該新平台或容器之一對準的一校準，該校準至少部分基於自操作地連接至該一或多個處理器之一或多個感測器獲得之資訊來執行。
23. 一種用於控制一機器人之方法，其包括： 經由通信介面接收與堆疊於一目的地位置上或一目的地位置中之複數個物品相關聯之資料； 由一或多個處理器產生在該目的地位置上或該目的地位置中堆疊該等物品之一計畫，該計畫至少部分基於該接收資料產生，且針對各物品產生該計畫包括： 至少部分基於與該物品相關聯之一特性及以下之至少一者來判定該目的地位置：(i)其上將堆疊一或多個物品之一平台或容器之一特性；及(ii)該平台或容器上之一或多個物品之一既有堆疊，其中： 該目的地位置自其中安置平台或容器之複數個區中判定；且 該複數個區之各者在一機械臂之一範圍內； 至少部分藉由根據該計畫控制該機械臂拾取該等物品且將該等物品堆疊於該目的地位置上或該目的地位置中來實施該計畫。
24. 一種用於控制一機器人之電腦程式產品，該電腦程式產品體現於一非暫時性電腦可讀媒體中且包括用於以下之電腦指令： 經由通信介面接收與堆疊於一目的地位置上或一目的地位置中之複數個物品相關聯之資料； 由一或多個處理器產生在該目的地位置上或該目的地位置中堆疊該等物品之一計畫，該計畫至少部分基於該接收資料產生，且針對各物品產生該計畫包括： 至少部分基於與該物品相關聯之一特性及以下之至少一者來判定該目的地位置：(i)其上將堆疊一或多個物品之一平台或容器之一特性；及(ii)該平台或容器上之一或多個物品之一既有堆疊，其中： 該目的地位置自其中安置平台或容器之複數個區中判定；且 該複數個區之各者在一機械臂之一範圍內； 至少部分藉由根據該計畫控制該機械臂拾取該等物品且將該等物品堆疊於該目的地位置上或該目的地位置中來實施該計畫。

Images