TWI763453B - 取物設備控制方法及系統與自動取物系統 - Google Patents

取物設備控制方法及系統與自動取物系統 Download PDF

Info

Publication number
TWI763453B
TWI763453B TW110114378A TW110114378A TWI763453B TW I763453 B TWI763453 B TW I763453B TW 110114378 A TW110114378 A TW 110114378A TW 110114378 A TW110114378 A TW 110114378A TW I763453 B TWI763453 B TW I763453B
Authority
TW
Taiwan
Prior art keywords
movable
movable part
target object
movement
path
Prior art date
Application number
TW110114378A
Other languages
English (en)
Other versions
TW202241662A (zh
Inventor
陳政隆
春祿 阮
黃宥竣
呂嘉翔
Original Assignee
所羅門股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 所羅門股份有限公司 filed Critical 所羅門股份有限公司
Priority to TW110114378A priority Critical patent/TWI763453B/zh
Application granted granted Critical
Publication of TWI763453B publication Critical patent/TWI763453B/zh
Publication of TW202241662A publication Critical patent/TW202241662A/zh

Links

Images

Abstract

一種由一取物設備控制系統實施的取物設備控制方法包含:從一拍攝結果所呈現出的多個物件中選出一第一目標物件並決定出一第一活動路徑,該第一活動路徑是用於控制一第一取物設備的一第一可動部分活動而固持該第一目標物件;根據該第一活動路徑及一第一可動模型定義出一第一空間範圍,該第一空間範圍包含該第一可動部分活動的過程中會經過的範圍;選出一第二目標物件並至少根據該第一空間範圍決定出一第二活動路徑,該第二活動路徑是用於控制一第二取物設備的一第二可動部分以恆位於該第一空間範圍之外的方式活動而固持該第二目標物件。

Description

取物設備控制方法及系統與自動取物系統
本發明是有關於一種控制方法,特別是指一種用於控制取物設備的取物設備控制方法。本發明還有關於一種用於實施該取物設備控制方法的取物設備控制系統,以及一種包含該取物設備控制系統的自動取物系統。
在現代社會中,許多產業(例如製造、加工及物流等)會利用自動控制技術搭配取物設備而對一堆物件實現自動取物作業,而如何針對一堆物件進一步提升自動取物作業的效率,便成為一個值得探討的議題。
本發明的其中一目的,在於提供一種有助於提升自動取物作業之效率的取物設備控制方法。
本發明取物設備控制方法由一取物設備控制系統對一第一取物設備及一第二取物設備實施,其中,該第一取物設備及該第二取物設備分別包含一第一可動部分及一第二可動部分,且該取 物設備控制系統儲存有一對應該第一可動部分的第一可動模型。該取物設備控制方法包含:該取物設備控制系統從一拍攝結果所呈現出的多個物件中選出一第一目標物件並決定出一第一活動路徑,其中,該第一活動路徑是用於控制該第一可動部分活動而固持該第一目標物件。該取物設備控制系統至少根據該第一活動路徑及該第一可動模型定義出一第一空間範圍,其中,該第一空間範圍包含該第一可動部分以符合該第一活動路徑之方式活動的過程中會經過的範圍。該取物設備控制系統從該拍攝結果或另一拍攝結果所呈現出的該等物件中選出一第二目標物件,並至少根據該第一空間範圍決定出一第二活動路徑,其中,該第二活動路徑是用於控制該第二可動部分以恆位於該第一空間範圍之外的方式活動而固持該第二目標物件。
在本發明取物設備控制方法的一些實施態樣中,該第一活動路徑還用於控制該第一可動部分在固持該第一目標物件的情況下將該第一目標物件移動,並且,該第一空間範圍還包含該第一目標物件被該第一可動部分所固持並移動的過程中會經過的範圍。
在本發明取物設備控制方法的一些實施態樣中,該第一可動模型為一個外觀與可動方式皆與該第一可動部分匹配的虛擬三維模型,並且,該取物設備控制系統是藉由根據該第一活動路 徑控制該第一可動模型活動而定義出該第一空間範圍。
在本發明取物設備控制方法的一些實施態樣中,該第二活動路徑是用於控制該第二可動部分在該第一可動部分以符合該第一活動路徑之方式活動的過程中活動而固持該第二目標物件。
在本發明取物設備控制方法的一些實施態樣中,該取物設備控制系統還儲存有一對應該第二可動部分的第二可動模型,且該取物設備控制方法還包含:該取物設備控制系統根據該第二活動路徑及該第二可動模型定義出一第二空間範圍,其中,該第二空間範圍包含該第二可動部分以符合該第二活動路徑之方式活動的過程中會經過的範圍。該取物設備控制系統從該拍攝結果或另一拍攝結果所呈現出的該等物件中選出一第三目標物件,並至少根據該第二空間範圍決定出一第三活動路徑,其中,該第三活動路徑是用於控制該第一可動部分以恆位於該第二空間範圍之外的方式活動而固持該第三目標物件。
在本發明取物設備控制方法的一些實施態樣中,該第二可動模型為一個外觀與可動方式皆與該第二可動部分匹配的虛擬三維模型,並且,該取物設備控制系統是至少根據該第二活動路徑控制該第二可動模型活動而定義出該第二空間範圍。該第三活動路徑是用於控制該第一可動部分在該第二可動部分以符合該第二活動路徑之方式活動的過程中活動而固持及移動該第三目標物件。
本發明的另一目的,在於提供一種能夠實施該取物設備控制方法的取物設備控制系統。
本發明取物設備控制系統適用於電連接一包含一第一可動部分的第一取物設備及一包含一第二可動部分的第二取物設備,該取物設備控制系統包含一儲存單元及一電連接該儲存單元的處理單元,該儲存單元儲存有一對應該第一可動部分的第一可動模型,且該處理單元用於執行如前述任一實施態樣中所述的取物設備控制方法。
本發明的再一目的,在於提供一種包含該取物設備控制系統的自動取物系統。
本發明自動取物系統包含一第一取物設備、一第二取物設備、一拍攝裝置及一取物設備控制系統。該第一取物設備包括一第一可動部分。該第二取物設備包括一第二可動部分。該取物設備控制系統儲存有一對應該第一可動部分的第一可動模型,且電連接該第一可動部分、該第二可動部分及該拍攝裝置。該取物設備控制系統用於從該拍攝裝置獲得一拍攝結果,且從該拍攝結果所呈現出的多個物件中選出一第一目標物件並決定出一第一活動路徑,其中,該第一活動路徑是用於控制該第一可動部分活動而固持該第一目標物件。該取物設備控制系統還用於至少根據該第一活動路徑及該第一可動模型定義出一第一空間範圍,其中,該第一空間範圍包 含該第一可動部分以符合該第一活動路徑之方式活動的過程中會經過的範圍。該取物設備控制系統還用於從該拍攝結果或另一拍攝結果所呈現出的該等物件中選出一第二目標物件,並至少根據該第一空間範圍決定出一第二活動路徑,其中,該第二活動路徑是用於控制該第二可動部分以恆位於該第一空間範圍之外的方式活動而固持該第二目標物件。
在本發明自動取物系統的一些實施態樣中,該第一活動路徑還用於控制該第一可動部分在固持該第一目標物件的情況下將該第一目標物件移動,並且,該第一空間範圍還包含該第一目標物件被該第一可動部分所固持並移動的過程中會經過的範圍。
在本發明自動取物系統的一些實施態樣中,該第一可動模型為一個外觀與可動方式皆與該第一可動部分匹配的虛擬三維模型,並且,該取物設備控制系統是藉由根據該第一活動路徑控制該第一可動模型活動而定義出該第一空間範圍。
在本發明自動取物系統的一些實施態樣中,該第二活動路徑是用於控制該第二可動部分在該第一可動部分以符合該第一活動路徑之方式活動的過程中活動而固持該第二目標物件。
在本發明自動取物系統的一些實施態樣中,該取物設備控制系統還儲存有一對應該第二可動部分的第二可動模型。該取物設備控制系統還用於根據該第二活動路徑及該第二可動模型定 義出一第二空間範圍,其中,該第二空間範圍包含該第二可動部分以符合該第二活動路徑之方式活動的過程中會經過的範圍。該取物設備控制系統還用於從該拍攝結果或另一拍攝結果所呈現出的該等物件中選出一第三目標物件,並至少根據該第二空間範圍決定出一第三活動路徑,其中,該第三活動路徑是用於控制該第一可動部分以恆位於該第二空間範圍之外的方式活動而固持該第三目標物件。
在本發明自動取物系統的一些實施態樣中,該第二可動模型為一個外觀與可動方式皆與該第二可動部分匹配的虛擬三維模型,並且,該取物設備控制系統是至少根據該第二活動路徑控制該第二可動模型活動而定義出該第二空間範圍。該第三活動路徑是用於控制該第一可動部分在該第二可動部分以符合該第二活動路徑之方式活動的過程中活動而固持及移動該第三目標物件。
本發明之功效在於:該取物設備控制系統能夠控制該第一取物設備及該第二取物設備同時活動以對該等物件進行自動取物作業,相較於單一取物設備進行自動取物作業及兩個取物設備輪流活動的方式,該取物設備控制系統能夠大幅提升自動取物作業的執行效率,且還能確保該第一取物設備與該第二取物設備不會在同時活動的過程中彼此碰撞。
1:自動取物系統
11:第一取物設備
111:第一基座部分
112:第一可動部分
113:活動關節
114:連接臂
115:固持模組
12:第二取物設備
121:第二基座部分
122:第二可動部分
123:活動關節
124:連接臂
125:固持模組
13:拍攝裝置
14:取物設備控制系統
141:儲存單元
142:處理單元
M1:第一可動模型
M2:第二可動模型
A1:路徑規劃演算法
A2:物件辨識演算法
5:物件
5A:第一目標物件
5B:第二目標物件
S1~S9:步驟
本發明之其他的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中:圖1是本發明自動取物系統之一實施例的一方塊示意圖;圖2是一示意圖,示例性地繪示該實施例所包含的一第一取物設備、一第二取物設備、一拍攝裝置,以及多個要被該第一取物設備及該第二取物設備物件固持並移動的物件;及圖3(由圖3A及圖3B組成)是一流程圖,用於示例性地說明該實施所包含的一取物設備控制系統例如何對該第一取物設備及該第二取物設備物件實施一取物設備控制方法。
在本發明被詳細描述之前應當注意:若未特別定義,則本專利說明書中所述的「電連接」是泛指多個電子設備/裝置/元件之間透過導電材料彼此相連而實現的「有線電連接」,以及透過無線通訊技術進行單/雙向無線信號傳輸的「無線電連接」。並且,若未特別定義,則本專利說明書中所述的「電連接」亦泛指多個電子設備/裝置/元件之間彼此直接相連而形成的「直接電連接」,以及多個電子設備/裝置/元件之間還透過其他電子設備/裝置/元件彼此間接相連而形成的「間接電連接」。
同時參閱圖1及圖2,本發明自動取物系統1之一實施例例如適用於對多個被隨意擺置的物件5(示於圖2)進行自動取物作業,以輔助完成該等物件5的運送、分類、集中或包裝等作業。
在本實施例中,該自動取物系統1例如包含一第一取物設備11、一第二取物設備12、一拍攝裝置13,以及一取物設備控制系統14,並且,該取物設備控制系統14例如包括一儲存單元141,以及一電連接該儲存單元141、該第一取物設備11、該第二取物設備12及該拍攝裝置13的處理單元142。
在本實施例中,該第一取物設備11及該第二取物設備12例如各自被實施為一可利用真空吸盤以吸取方式固持物件的機械手臂設備。如圖2所示,該第一取物設備11例如包括一第一基座部分111,以及一連接該第一基座部分111的第一可動部分112,而該第二取物設備12則例如包括一第二基座部分121,以及一連接該第二基座部分121的第二可動部分122。
該第一可動部分112及第二可動部分122能夠受該處理單元142控制地活動而固持並移動該等物件5。更詳細地說,該第一取物設備11的第一可動部分112例如具有多個可轉動的活動關節113、多個連接臂114,以及一能被該等活動關節113及該等連接臂114所帶動的固持模組115,並且,該固持模組115例如具有真空吸盤,而能夠以吸取的方式固持物件。另一方面,該第二取物設 備12的第二可動部分122例如具有多個可轉動的活動關節123、多個連接臂124,以及一能被該等活動關節123及該等連接臂124所帶動的固持模組125,並且,該固持模組125例如亦具有真空吸盤,而能夠以吸取的方式而固持物件。
補充說明的是,在其他實施例中,該第一取物設備11及該第二取物設備12的其中至少一者亦可例如是被實施為其他種類的機械手臂設備(例如夾爪式的機械手臂設備)。應當理解的是,該第一取物設備11及該第二取物設備12只要是能受該處理單元142控制地活動而固持並移動物件的設備即可實施,因此,該第一取物設備11及該第二取物設備12的具體實施態樣並不以本實施例為限。
該拍攝裝置13例如是被設置在該等物件5的上方,而適用於由上朝下地對該等物件5進行拍攝。並且,在本實施例中,該拍攝裝置13例如是被實施為一台應用飛時測距(英文為Time of Flight,簡稱ToF)技術或者立體視覺(英文為Stereo Vision)技術的深度相機。然而,在其他實施例中,該拍攝相機亦可例如被實施為一般的數位相機(亦即「非」深度相機),且也可例如是被設置於該第一取物設備11及該第二取物設備12的其中一者上。總地來說,該拍攝裝置13只要是能夠對該等物件5進行拍攝即可實施,因此,該拍攝裝置13的具體實施態樣並不以本實施例為限。
該取物設備控制系統14在本實施例中例如是被實施為一台電腦設備,該儲存單元141例如是被實施為一用於儲存數位資料的儲存裝置(例如硬碟),而該處理單元142則可例如是被實施為一中央處理器。然而,在其他實施例中,該儲存單元141亦可例如是被實施為多台硬碟的組合,或者是不同種類之多個電腦可讀取記錄媒體的組合,而該處理單元142亦可例如是被實施為多個處理器的組合,或者是一具有中央處理器的控制電路板。應當理解的是,該取物設備控制系統14只要是具有資料儲存及運算功能的硬體裝置或設備即可實施,因此,該取物設備控制系統14、該儲存單元141及該處理單元142的具體實施態樣並不以本實施例為限。
在本實施例中,該儲存單元141例如儲存有一對應該第一取物設備11之第一可動部分112的第一可動模型M1、一對應該第二取物設備12之第二可動部分122的第二可動模型M2、一相關於該第一取物設備11、該第二取物設備12及該拍攝裝置13的路徑規劃演算法A1,以及一物件辨識演算法A2。
在本實施例中,該第一可動模型M1例如是被實施為一個外觀與可動方式皆與該第一取物設備11之第一可動部分112匹配的虛擬三維模型(也就是一個虛擬的3D模型),而該第二可動模型M2則例如是被實施為另一個外觀與可動方式皆與該第二取物設備12之第二可動部分122匹配的虛擬三維模型。而且,該第一可 動模型M1與該第二可動模型M2例如能夠在一由該處理單元142所定義出的虛擬三維空間中受該處理單元142控制地各自活動。
更明確地說,該第一可動模型M1例如包含多個分別對應於該等活動關節113的活動關節部分、多個分別對應於該等連接臂114的連接臂部分,以及一對應該固持模組115的固持模組部分,而且,該第一可動模型M1的該等活動關節部分、該等連接臂部分與該固持模組部分之間的連接及連動關係例如是與該等活動關節113、該等連接臂114與該固持模組115之間的連接及連動關係彼此相符。另一方面,該第二可動模型M2例如包含多個分別對應於該等活動關節123的活動關節部分、多個分別對應於該等連接臂124的連接臂部分,以及一對應該固持模組125的固持模組部分,而且,該第二可動模型M2的該等活動關節部分、該等連接臂部分與該固持模組部分之間的連接及連動關係例如是與該等活動關節123、該等連接臂124與該固持模組125之間的連接及連動關係彼此相符。因此,該處理單元142能夠藉由控制該第一可動模型M1及該第二可動模型M2在該虛擬三維空間中各自活動,而分別模擬該第一取物設備11及該第二取物設備12在現實環境中活動的運作情形。
該路徑規劃演算法A1在本實施例中例如包含一對應該第一可動模型M1的第一活動度資料、一對應該第二可動模型M2的 第二活動度資料,以及一相關於該第一取物設備11、該第二取物設備12及該拍攝裝置13的相對位置關係資料。該第一活動度資料例如指示出該第一可動模型M1之該等活動關節部分各自的可轉動方向及角度範圍,而相當於指示出該第一取物設備11之該等活動關節113各自的可轉動方向及角度範圍。該第二活動度資料例如指示出該第二可動模型M2之該等活動關節部分各自的可轉動方向及角度範圍,而相當於指示出該第二取物設備12之該等活動關節123各自的可轉動方向及角度範圍。該相對位置關係資料例如指示出該第一取物設備11、該第二取物設備12與該拍攝裝置13之拍攝範圍三者之間在現實環境中的相對位置關係,且例如特別指示出一對應該固持模組115的第一初始位置、一對應該固持模組125的第二初始位置與該拍攝裝置13之間的相對位置關係。藉由該相對位置關係資料,若該拍攝裝置13進行拍攝而產生一張拍攝影像,則該處理單元142能夠計算出該拍攝影像所呈現出之環境中的任一位置與該第一取物設備11之固持模組115及該第二取物設備12之固持模組125之間的相對方向及距離。
該物件辨識演算法A2在本實施例中例如是被實施為一類神經網路,並且例如是以機器學習的方式預先訓練所實現的,但並不以此為限。藉由運行該物件辨識演算法A2,該處理單元142例如能即時地從拍攝影像中辨識出各種不同尺寸及形狀的物件。應 當理解的是,該物件辨識演算法A2可例如是利用現有的電腦視覺技術或者是其他針對現有技術進行改良的電腦視覺技術達成,且該處理單元142藉由該物件辨識演算法A2進行物件辨識的細節並非本專利說明書的技術重點,故在此不對其進行詳述。
配合參閱圖3(由圖3A及圖3B組成),以下示例性地詳細說明本實施例的該取物設備控制系統14如何對該第一取物設備11及該第二取物設備12實施一取物設備控制方法,進而達成對該等物件5的自動取物作業。
首先,在步驟S1中,該處理單元142控制該拍攝裝置13進行拍攝,以從該拍攝裝置13獲得一由該拍攝裝置13進行拍攝所產生的拍攝結果。由於該拍攝裝置13在本實施例中是被實施為深度相機,故該拍攝結果例如包含一呈現出該等物件5的拍攝影像,以及一對應該拍攝影像的深度資料。其中,該深度資料例如包括多個深度值,且該等深度值例如是分別對應該拍攝影像所具有的多個相素,藉此,該拍攝結果能夠指示出該等物件5之頂面在現實環境中彼此之間的高低關係。
補充說明的是,在該拍攝裝置13被實施為「非」深度相機的其他實施例中,該拍攝結果也可例如僅包含該拍攝影像而不包含該深度資料,因此,該拍攝結果的具體態樣並不以本實施例為限。
在該處理單元142獲得該拍攝結果後,流程進行至步驟S2。
在步驟S2中,該處理單元142藉由該物件辨識演算法A2從該拍攝結果中辨識出被該拍攝結果所呈現出的該等物件5,並從該等物件5中選出一第一目標物件5A(示例性地示於圖2)。更詳細地說,在本實施例中,該處理單元142可例如是先根據該等物件5與該第一取物設備11之間的相對位置關係,而從該等物件5中選出其中一或多個能被該第一取物設備11之固持模組115所觸及的候選物件,接著,該處理單元142再將該(等)候選物件中頂面高度最高(亦即頂面最靠近該拍攝裝置13)的該候選物件選為該第一目標物件5A。
然而,在其他實施例中,該處理單元142亦可例如是將該(等)候選物件中頂面之面積最大的該候選物件選為該第一目標物件5A,或者是將最靠近該第一取物設備11的該候選物件選為該第一目標物件5A,應當理解的是,該處理單元142選出該第一目標物件5A的方式可依據不同的需求而自由調整,因此,該處理單元142選出該第一目標物件5A的方式並不以本實施例為限。
當該處理單元142選出該第一目標物件5A時,流程進行至步驟S3。
在步驟S3中,該處理單元142例如藉由該路徑規劃演 算法A1而根據該第一目標物件5A與該第一取物設備11之間的相對位置關係決定出一第一活動路徑,並且在決定出該第一活動路徑時開始根據該第一活動路徑控制該第一取物設備11的第一可動部分112活動,以使該第一可動部分112固持並移動該第一目標物件5A。
更詳細地說,藉由根據該第一活動路徑控制該第一可動部分112活動,該處理單元142能使該第一取物設備11的固持模組115受該等活動關節113及該等連接臂114帶動地以符合該第一活動路徑的活動方式從該第一初始位置接近該第一目標物件5A並固持該第一目標物件5A,接著在固持該第一目標物件5A的情況下移動至一第一預定位置並釋放該第一目標物件5A,再從該第一預定位置移回該第一初始位置。換言之,該第一活動路徑是用於供該處理單元142控制該第一取物設備11執行對該第一目標物件5A的自動取物作業。
當該處理單元142決定出該第一活動路徑時,流程進行至步驟S4。
在步驟S4中,該處理單元142例如產生一對應該第一目標物件5A的第一虛擬物件,並根據該第一活動路徑、該第一可動模型M1及該第一虛擬物件定義(界定)出一第一空間範圍。
在本實施例中,該處理單元142例如是根據該拍攝結果 所呈現出之該第一目標物件5A的頂面尺寸以及一物件高度而產生該第一虛擬物件,而且,在本實施例中,該物件高度例如是一個預先設定好的數值。然而,在其他實施例中,該物件高度也可例如是由該處理單元142根據該拍攝結果所即時計算出的,因此,該處理單元142產生該第一虛擬物件的方式並不以本實施例為限。
並且,在本實施例中,該第一空間範圍例如包含該第一可動部分112以符合該第一活動路徑之方式活動的過程中會經過的範圍(在此作為本實施例的一第一設備範圍),且還包含該第一目標物件5A被該第一可動部分112之固持模組115所固持並移動的過程中會經過的範圍(在此作為本實施例的一第一物件範圍)。換言之,該第一空間範圍在本實施例中例如是該第一設備範圍與該第一物件範圍的集合,亦即代表該第一可動部分112與該第一目標物件5A兩者在自動取物作業的執行過程中會經過的範圍,但並不以此為限。
進一步地,在本實施例中,該第一設備範圍例如是該處理單元142以該第一活動路徑控制該第一可動模型M1在該虛擬三維空間中以符合該第一活動路徑的方式活動所定義出的。另一方面,該第一物件範圍則例如是該處理單元142控制該第一虛擬物件在該虛擬三維空間中隨著該第一可動模型M1的固持模組部分活動所定義出的。換句話說,在本實施例中,該第一空間範圍是由該處 理單元142以該第一活動路徑利用該第一可動模型M1及該第一虛擬物件分別模擬該第一可動部分112及該第一目標物件5A的活動過程所定義出的。
補充說明的是,在其他實施例中,該第一空間範圍也可例如是僅包含該第一設備範圍,而不包含該第一物件範圍。換句話說,在其他實施例中,該處理單元142並不一定要產生該第一虛擬物件並控制該第一虛擬物件在該虛擬三維空間中隨著該第一可動模型M1活動。因此,該處理單元142定義出該第一空間範圍的具體實施方式並不以本實施例為限。
當該處理單元142定義出該第一空間範圍時,流程進行至步驟S5。
在步驟S5中,該處理單元142從該拍攝結果所呈現出的該等物件5中選出一不同於該第一目標物件5A的第二目標物件5B(示例性地示於圖2)。在本實施例中,該處理單元142可例如是先根據該等物件5與該第二取物設備12之間的相對位置關係,而從該等物件5中選出另外一或多個能被該第二取物設備12之固持模組125所觸及的候選物件,接著,該處理單元142再將另外該(等)候選物件中頂面高度最高(亦即頂面最靠近該拍攝裝置13)的該候選物件選為該第二目標物件5B。換言之,該處理單元142選出該第二目標物件5B的方式,例如是與步驟S2中選出該第一目標物件5A 的方式類似,但並不以此為限。
補充說明的是,在類似的實施態樣中,該處理單元142在步驟S5中也可例如是先控制該拍攝裝置13再次進行拍攝,而從該拍攝裝置13獲得另一個拍攝結果,接著再從另該拍攝結果中選出該第二目標物件5B,或者,該第二目標物件5B也可例如是在步驟S2中與該第一目標物件5A一併被該處理單元142所選出的。因此,該處理單元142選出該第二目標物件5B的方式及時間點並不以本實施例為限。
當該處理單元142選出該第二目標物件5B時,流程進行至步驟S6。
在步驟S6中,該處理單元142例如藉由該路徑規劃演算法A1而根據該第二目標物件5B與該第二取物設備12之間的相對位置關係,以及該第一空間範圍決定出一第二活動路徑,並且在決定出該第二活動路徑時開始根據該第二活動路徑控制該第二取物設備12的第二可動部分122活動,以使該第二可動部分122固持並移動該第二目標物件5B。
更詳細地說,藉由根據該第二活動路徑控制該第二可動部分122活動,該處理單元142能使該第二取物設備12的固持模組125受該等活動關節123及該等連接臂124帶動地以符合該第二活動路徑的活動方式從該第二初始位置接近該第二目標物件5B並 固持該第二目標物件5B,接著在固持該第二目標物件5B的情況下移動至一第二預定位置並釋放該第二目標物件5B,再從該第二預定位置移回該第二初始位置。換言之,該第二活動路徑是用於供該處理單元142控制該第二取物設備12執行對該第二目標物件5B的自動取物作業。
特別說明的是,在本實施例中,該處理單元142決定出該第二活動路徑的方式,例如是將該第一空間範圍作為該虛擬三維空間中的一第一虛擬障礙物,並且根據該第二目標物件5B與該第二取物設備12之間的相對位置關係在該虛擬三維空間中以該第二可動模型M2進行模擬,以規劃出使該第二取物設備12的第二可動部分122能夠避開該第一虛擬障礙物且固持並移動該第二目標物件5B的路徑。換句話說,該處理單元142在決定該第二活動路徑的過程中,會確保該第二取物設備12的第二可動部分122在以符合該第二活動路徑之方式活動的過程中恆位於該第一空間範圍之外,而不會觸及該第一空間範圍。所以,該第二活動路徑是用於供該處理單元142控制該第二取物設備12的第二可動部分122以恆位於該第一空間範圍之外的方式活動,從而完成對該第二目標物件5B的自動取物作業。
而且,值得注意的是,在本實施例中,該處理單元142是在以該第一活動路徑控制該第一取物設備11活動的期間,同時還 以該第二活動路徑控制該第二取物設備12活動。換句話說,該第二活動路徑是用於控制該第二可動部分122在該第一可動部分112以符合該第一活動路徑之方式活動的過程中一併活動,所以,該第一取物設備11及該第二取物設備12會一起活動,而分別對該第一目標物件5A及該第二目標物件5B執行自動取物作業,也就是說,步驟S6是在步驟S3仍在進行中的情況下所進行的。
藉由該第一取物設備11及該第二取物設備12同時地分別對該第一目標物件5A及該第二目標物件5B執行自動取物作業,本實施例能夠有效提高自動取物作業的執行效率。而且,由於該第二活動路徑能夠使該第二取物設備12以不觸及該第一空間範圍的方式活動,因此,本實施例不但能提高自動取物作業的執行效率,還能確保該第二取物設備12在與該第一取物設備11同時活動的過程中不會與該第一取物設備11碰撞,也不會與該第一取物設備11所固持的該第一目標物件5A碰撞。
當該處理單元142決定出該第二活動路徑時,流程進行至步驟S7。
在步驟S7中,該處理單元142例如產生一對應該第二目標物件5B的第二虛擬物件,並根據該第二活動路徑、該第二可動模型M2及該第二虛擬物件定義出一第二空間範圍。
在本實施例中,類似於該第一虛擬物件地,該處理單 元142例如是根據該拍攝結果所呈現出之該第二目標物件5B的頂面尺寸以及該物件高度而產生該第二虛擬物件,但並不以此為限。
並且,該處理單元142定義出該第二空間範圍的方式,例如是與步驟S4中定義出該第一空間範圍的方式類似。更詳細地說,在本實施例中,該第二空間範圍例如包含該第二可動部分122以符合該第二活動路徑之方式活動的過程中會經過的範圍(在此作為本實施例的一第二設備範圍),且還包含該第二目標物件5B被該第二可動部分122之固持模組125所固持並移動的過程中會經過的範圍(在此作為本實施例的一第二物件範圍)。換言之,該第二空間範圍在本實施例中例如是該第二設備範圍與該第二物件範圍的集合,亦即代表該第二可動部分122與該第二目標物件5B兩者在自動取物作業的執行過程中會經過的範圍,但並不以此為限。
進一步地,在本實施例中,該第二設備範圍例如是該處理單元142以該第二活動路徑控制該第二可動模型M2在該虛擬三維空間中以符合該第二活動路徑的方式活動所定義出的。另一方面,該第二物件範圍則例如是該處理單元142控制該第二虛擬物件在該虛擬三維空間中隨著該第二可動模型M2的固持模組部分活動所定義出的。換句話說,在本實施例中,該第二空間範圍是由該處理單元142以該第二活動路徑利用該第二可動模型M2及該第二虛擬物件分別模擬該第二可動部分122及該第二目標物件5B的活動 過程所定義出的。
在該處理單元142定義出該第二空間範圍,且該第一取物設備11已完成對該第一目標物件5A之自動取物作業的情況下,流程進行至步驟S8。
在步驟S8中,該處理單元142例如從該拍攝結果所呈現出的該等物件5中選出一不同於該第一目標物件5A及第二目標物件5B的第三目標物件(圖未特別示出)。並且,該處理單元142選出該第三目標物件的方式,例如是與步驟S2中選出該第一目標物件5A的方式類似,故在此不再重述。補充說明的是,在類似的實施態樣中,該處理單元142在步驟S8中也可例如是先控制該拍攝裝置13再次進行拍攝,而從該拍攝裝置13獲得另一個拍攝結果,接著再從另該拍攝結果中選出該第三目標物件。
當該處理單元142選出該第三目標物件時,流程進行至步驟S9。
在步驟S9中,該處理單元142例如藉由該路徑規劃演算法A1而根據該第三目標物件與該第一取物設備11之間的相對位置關係,以及該第二空間範圍決定出一第三活動路徑,並且在決定出該第三活動路徑時開始根據該第三活動路徑控制該第一取物設備11的第一可動部分112活動,以使該第一可動部分112固持並移動該第三目標物件,進而完成對該第三目標物件的自動取物作業。
該處理單元142決定出該第三活動路徑的方式,例如是與步驟S6中決定出該第二活動路徑的方式類似。更詳細地說,在本實施例中,該處理單元142決定出該第三活動路徑的方式,例如是將該第二空間範圍作為該虛擬三維空間中的一第二虛擬障礙物,並且根據該第三目標物件與該第一取物設備11之間的相對位置關係在該虛擬三維空間中以該第一可動模型M1進行模擬,以規劃出使該第一取物設備11的第一可動部分112能夠避開該第二虛擬障礙物且固持並移動該第三目標物件的路徑。換句話說,該處理單元142在決定該第三活動路徑的過程中,會確保該第一取物設備11的第一可動部分112在以符合該第三活動路徑之方式活動的過程中恆位於該第二空間範圍之外,而不會觸及該第二空間範圍。所以,該第三活動路徑是用於供該處理單元142控制該第一取物設備11的第一可動部分112以恆位於該第二空間範圍之外的方式活動,從而完成對該第三目標物件的自動取物作業。
進一步說明的是,若該處理單元142開始根據該第三活動路徑控制該第一取物設備11活動時,該第二取物設備12尚未完成對該第二目標物件5B的自動取物作業,則該處理單元142便會在以該第二活動路徑控制該第二取物設備12活動的期間,同時還以該第三活動路徑控制該第一取物設備11活動。換句話說,該第三活動路徑可例如是用於控制該第一可動部分112在該第二可動部分122 以符合該第二活動路徑之方式活動的過程中一併活動。也就是說,步驟S9可例如是在步驟S6仍在進行中的情況下所進行的。而且,由於該第三活動路徑能夠使該第一取物設備11以不觸及該第二空間範圍的方式活動,因此,本實施例能確保該第一取物設備11在與該第二取物設備12同時活動的過程中不會與該第二取物設備12碰撞,也不會與該第二取物設備12所固持的該第二目標物件5B碰撞。
接著,在該處理單元142決定出該第三活動路徑後,流程例如反覆地進行類似於步驟S4至步驟S9的流程,藉此,該處理單元142便能繼續控制該第一取物設備11及該第二取物設備12對剩餘的該等物件5進行高效率的自動取物作業,並且能防止該第一取物設備11與該第二取物設備12彼此碰撞,而當該處理單元142控制該第一取物設備11及該第二取物設備12完成所有該等物件5的自動取物作業時,本實施例的取物設備控制方法結束。
以上即為本實施例之取物設備控制系統14如何對該第一取物設備11及該第二取物設備12實施該取物設備控制方法,而對該等物件5進行自動取物作業的示例說明。特別說明的是,前述對於步驟S1至步驟S9的描述及圖3中的流程圖僅是便於呈現該取物設備控制方法的示例說明,且也僅是本發明取物設備控制方法的其中一種可實施方式。應當理解的是,本實施例中的步驟S1至步驟S9並非彼此完全分開地進行,舉例來說,步驟S4至步驟S6是在步 驟S3仍在進行的情況下所進行的,而步驟S7至步驟S9可例如是在步驟S6仍在進行的情況下所進行的。另外,應當理解的是,即便將步驟S1至步驟S9進行合併或順序調整,只要能達成與本實施例均等之功效,即屬於本發明取物設備控制方法的可實施態樣,因此,步驟S1至步驟S9以及圖3所示的流程並非用於限制本發明之可實施範圍。
補充說明的是,本實施例是以兩個取物設備(即該第一取物設備11及該第二取物設備12)及對應的兩個可動模型(即該第一可動模型M1及該第二可動模型M2)為例進行說明,然而,在進一步的實施例中,該自動取物系統1亦可包含三個或以上的取物設備,而該取物設備控制系統14亦可利用三個或以上的可動模型來對該等取物設備實施取物設備控制方法,藉此實現更多個取物設備對同一堆物件同時執行自動取物作業且不會彼此碰撞的效果。
另一方面,在另一實施例中,該處理單元142在實施該取物設備控制方法的過程中,也可以僅根據該第一可動部分112及該第二可動部分122其中一者的活動方式定義空間範圍,而不根據其中另一者的活動方式定義空間範圍。舉例來說,在所述的另該實施例中,該處理單元142可例如僅會根據該第二活動路徑而定義該第二活動範圍,而不會根據該第一活動路徑定義該第一活動範圍,因此,該處理單元142相當於僅會在決定該第一可動部分112的活 動路徑時考量該第二可動部分122的活動方式,而在決定該第二可動部分122的活動路徑時,該處理單元142便不會考量該第一可動部分112的活動方式。換言之,該處理單元142在另該實施例中僅會控制該第一可動部分112主動避開該第二可動部分122活動時會經過的範圍,而不會控制該第二可動部分122主動避開該第一可動部分112活動時會經過的範圍,而且,該處理單元142在另該實施例中例如是在該第一可動部分112的每一次活動完成後,才控制該第二可動部分122開始活動,以避免該第二可動部分122碰撞到該第一可動部分112,如此,雖然另該實施例在自動取物作業的效率上可能略遜於本發明的最佳實施例,但仍能夠達成該第一可動部分112與該第二可動部分122同時活動且不會彼此碰撞的效果。
綜上所述,藉由實施該取物設備控制方法,該取物設備控制系統14能夠控制該第一取物設備11及該第二取物設備12同時活動以對該等物件5進行自動取物作業,相較於單一取物設備進行自動取物作業以及兩個取物設備輪流活動的方式,本實施例能夠大幅提升自動取物作業的執行效率,而且,本實施例還能進一步確保該第一取物設備11與該第二取物設備12不會在同時活動的過程中彼此碰撞,故確實能達成本發明之目的。
惟以上所述者,僅為本發明之實施例而已,當不能以此限定本發明實施之範圍,凡是依本發明申請專利範圍及專利說明 書內容所作之簡單的等效變化與修飾,皆仍屬本發明專利涵蓋之範圍內。
S1~S9:步驟

Claims (13)

  1. 一種取物設備控制方法,由一取物設備控制系統對一第一取物設備及一第二取物設備實施,其中,該第一取物設備及該第二取物設備分別包含一第一可動部分及一第二可動部分,且該取物設備控制系統儲存有一對應該第一可動部分的第一可動模型;該取物設備控制方法包含:該取物設備控制系統從一拍攝結果所呈現出的多個物件中選出一第一目標物件並根據該第一目標物件與該第一取物設備之間的相對位置關係決定出一第一活動路徑,其中,該第一活動路徑是用於控制該第一可動部分活動而固持該第一目標物件;該取物設備控制系統至少根據該第一活動路徑及該第一可動模型定義出一第一空間範圍,其中,該第一空間範圍包含該第一可動部分以符合該第一活動路徑之方式活動的過程中會經過的範圍;及該取物設備控制系統從該拍攝結果或另一拍攝結果所呈現出的該等物件中選出一第二目標物件,並至少根據該第一空間範圍決定出一第二活動路徑,其中,該第二活動路徑是用於控制該第二可動部分以恆位於該第一空間範圍之外的方式活動而固持該第二目標物件。
  2. 如請求項1所述的取物設備控制方法,其中,該第一活動路徑還用於控制該第一可動部分在固持該第一目標物件的情況下將該第一目標物件移動,並且,該第一空間範圍還包含該第一目標物件被該第一可動部分所固持並移 動的過程中會經過的範圍。
  3. 如請求項1所述的取物設備控制方法,其中,該第一可動模型為一個外觀與可動方式皆與該第一可動部分匹配的虛擬三維模型,並且,該取物設備控制系統是藉由根據該第一活動路徑控制該第一可動模型活動而定義出該第一空間範圍。
  4. 如請求項1所述的取物設備控制方法,其中,該第二活動路徑是用於控制該第二可動部分在該第一可動部分以符合該第一活動路徑之方式活動的過程中活動而固持該第二目標物件。
  5. 如請求項1所述的取物設備控制方法,其中,該取物設備控制系統還儲存有一對應該第二可動部分的第二可動模型,且該取物設備控制方法還包含:該取物設備控制系統根據該第二活動路徑及該第二可動模型定義出一第二空間範圍,其中,該第二空間範圍包含該第二可動部分以符合該第二活動路徑之方式活動的過程中會經過的範圍;及該取物設備控制系統從該拍攝結果或另一拍攝結果所呈現出的該等物件中選出一第三目標物件,並至少根據該第二空間範圍決定出一第三活動路徑,其中,該第三活動路徑是用於控制該第一可動部分以恆位於該第二空間範圍之外的方式活動而固持該第三目標物件。
  6. 如請求項5所述的取物設備控制方法,其中:該第二可動模型為一個外觀與可動方式皆與該第二 可動部分匹配的虛擬三維模型,並且,該取物設備控制系統是至少根據該第二活動路徑控制該第二可動模型活動而定義出該第二空間範圍;及該第三活動路徑是用於控制該第一可動部分在該第二可動部分以符合該第二活動路徑之方式活動的過程中活動而固持及移動該第三目標物件。
  7. 一種取物設備控制系統,適用於電連接一包含一第一可動部分的第一取物設備及一包含一第二可動部分的第二取物設備,且該取物設備控制系統包含:一儲存單元,儲存有一對應該第一可動部分的第一可動模型;及一處理單元,電連接該儲存單元,並用於執行如請求項1至6其中任一項所述的取物設備控制方法。
  8. 一種自動取物系統,包含:一第一取物設備,包括一第一可動部分;一第二取物設備,包括一第二可動部分;一拍攝裝置;及一取物設備控制系統,儲存有一對應該第一可動部分的第一可動模型,且電連接該第一可動部分、該第二可動部分及該拍攝裝置;其中:該取物設備控制系統用於從該拍攝裝置獲得一拍攝結果,且從該拍攝結果所呈現出的多個物件中選出一第一目標物件並根據該第一目標物件與該第一取物設備之間的相對位置關係決定出一第一活動路徑,其中,該第一活 動路徑是用於控制該第一可動部分活動而固持該第一目標物件;該取物設備控制系統還用於至少根據該第一活動路徑及該第一可動模型定義出一第一空間範圍,其中,該第一空間範圍包含該第一可動部分以符合該第一活動路徑之方式活動的過程中會經過的範圍;及該取物設備控制系統還用於從該拍攝結果或另一拍攝結果所呈現出的該等物件中選出一第二目標物件,並至少根據該第一空間範圍決定出一第二活動路徑,其中,該第二活動路徑是用於控制該第二可動部分以恆位於該第一空間範圍之外的方式活動而固持該第二目標物件。
  9. 如請求項8所述的自動取物系統,其中,該第一活動路徑還用於控制該第一可動部分在固持該第一目標物件的情況下將該第一目標物件移動,並且,該第一空間範圍還包含該第一目標物件被該第一可動部分所固持並移動的過程中會經過的範圍。
  10. 如請求項8所述的自動取物系統,其中,該第一可動模型為一個外觀與可動方式皆與該第一可動部分匹配的虛擬三維模型,並且,該取物設備控制系統是藉由根據該第一活動路徑控制該第一可動模型活動而定義出該第一空間範圍。
  11. 如請求項8所述的自動取物系統,其中,該第二活動路徑是用於控制該第二可動部分在該第一可動部分以符合該第一活動路徑之方式活動的過程中活動而固持該第二 目標物件。
  12. 如請求項8所述的自動取物系統,其中:該取物設備控制系統還儲存有一對應該第二可動部分的第二可動模型;該取物設備控制系統還用於根據該第二活動路徑及該第二可動模型定義出一第二空間範圍,其中,該第二空間範圍包含該第二可動部分以符合該第二活動路徑之方式活動的過程中會經過的範圍;該取物設備控制系統還用於從該拍攝結果或另一拍攝結果所呈現出的該等物件中選出一第三目標物件,並至少根據該第二空間範圍決定出一第三活動路徑,其中,該第三活動路徑是用於控制該第一可動部分以恆位於該第二空間範圍之外的方式活動而固持該第三目標物件。
  13. 如請求項12所述的自動取物系統,其中:該第二可動模型為一個外觀與可動方式皆與該第二可動部分匹配的虛擬三維模型,並且,該取物設備控制系統是至少根據該第二活動路徑控制該第二可動模型活動而定義出該第二空間範圍;及該第三活動路徑是用於控制該第一可動部分在該第二可動部分以符合該第二活動路徑之方式活動的過程中活動而固持及移動該第三目標物件。
TW110114378A 2021-04-21 2021-04-21 取物設備控制方法及系統與自動取物系統 TWI763453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW110114378A TWI763453B (zh) 2021-04-21 2021-04-21 取物設備控制方法及系統與自動取物系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110114378A TWI763453B (zh) 2021-04-21 2021-04-21 取物設備控制方法及系統與自動取物系統

Publications (2)

Publication Number Publication Date
TWI763453B true TWI763453B (zh) 2022-05-01
TW202241662A TW202241662A (zh) 2022-11-01

Family

ID=82594162

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110114378A TWI763453B (zh) 2021-04-21 2021-04-21 取物設備控制方法及系統與自動取物系統

Country Status (1)

Country Link
TW (1) TWI763453B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1982001A (zh) * 2005-12-13 2007-06-20 发那科株式会社 多个机器人之间的联锁自动设定装置及自动设定方法
CN106863259A (zh) * 2017-04-14 2017-06-20 天津理工大学 一种轮式多机械手智能捡球机器人

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1982001A (zh) * 2005-12-13 2007-06-20 发那科株式会社 多个机器人之间的联锁自动设定装置及自动设定方法
CN106863259A (zh) * 2017-04-14 2017-06-20 天津理工大学 一种轮式多机械手智能捡球机器人

Also Published As

Publication number Publication date
TW202241662A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
Tremblay et al. Deep object pose estimation for semantic robotic grasping of household objects
Mishkin et al. Benchmarking classic and learned navigation in complex 3d environments
Kragic et al. Vision for robotic object manipulation in domestic settings
US20220134559A1 (en) Method and apparatus for motion planning of robot, method and apparatus for path planning of robot, and method and apparatus for grasping of robot
WO2020034872A1 (zh) 目标获取方法、设备和计算机可读存储介质
JP3768174B2 (ja) ワーク取出し装置
EP4122657A1 (en) Generating a model for an object encountered by a robot
Song et al. CAD-based pose estimation design for random bin picking using a RGB-D camera
US20230154015A1 (en) Virtual teach and repeat mobile manipulation system
WO2019099095A1 (en) Pose estimation and model retrieval for objects in images
WO2022121640A1 (zh) 机器人重定位方法、装置、机器人和可读存储介质
CN109816730A (zh) 工件抓取方法、装置、计算机设备和存储介质
Labbé et al. Single-view robot pose and joint angle estimation via render & compare
Zeng Learning visual affordances for robotic manipulation
CN112348890B (zh) 一种空间定位方法、装置及计算机可读存储介质
JP2020197978A (ja) 物体検出装置、物体把持システム、物体検出方法及び物体検出プログラム
JP6368421B1 (ja) 立体を認識するためのプログラム、システム、電子装置、及び方法
Duffhauss et al. MV6D: Multi-view 6D pose estimation on RGB-D frames using a deep point-wise voting network
TWI763453B (zh) 取物設備控制方法及系統與自動取物系統
CN110750094A (zh) 确定可移动设备的位姿变化信息的方法、装置和系统
Dyrstad et al. Bin picking of reflective steel parts using a dual-resolution convolutional neural network trained in a simulated environment
CN114750164B (zh) 一种透明物体的抓取方法、系统及计算机可读存储介质
CN106408654A (zh) 一种三维地图的创建方法及系统
CN115713547A (zh) 运动轨迹的生成方法、装置及处理设备
Semochkin et al. Object grasping and manipulating according to user-defined method using key-points