TWI685407B - 物件辦識及取物方法、物件辦識及取物系統 - Google Patents

物件辦識及取物方法、物件辦識及取物系統 Download PDF

Info

Publication number
TWI685407B
TWI685407B TW108137744A TW108137744A TWI685407B TW I685407 B TWI685407 B TW I685407B TW 108137744 A TW108137744 A TW 108137744A TW 108137744 A TW108137744 A TW 108137744A TW I685407 B TWI685407 B TW I685407B
Authority
TW
Taiwan
Prior art keywords
retrieval
unit
control device
fixed
relative
Prior art date
Application number
TW108137744A
Other languages
English (en)
Other versions
TW202116509A (zh
Inventor
陳政隆
賴宗誠
劉祐延
春祿 阮
Original Assignee
所羅門股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 所羅門股份有限公司 filed Critical 所羅門股份有限公司
Priority to TW108137744A priority Critical patent/TWI685407B/zh
Application granted granted Critical
Publication of TWI685407B publication Critical patent/TWI685407B/zh
Priority to US17/071,594 priority patent/US11577387B2/en
Publication of TW202116509A publication Critical patent/TW202116509A/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0052—Gripping heads and other end effectors multiple gripper units or multiple end effectors
    • B25J15/0061—Gripping heads and other end effectors multiple gripper units or multiple end effectors mounted on a modular gripping structure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means
    • B25J15/0616—Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39543—Recognize object and plan hand shapes in grasping movements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

一種物件辦識及取物方法，其辨識一置物箱中存在多個物件後，計算機械手臂的取物治具上的一固定取物單元與各物件的一對稱中心點的相對座標，並以該等相對座標其中之一做為一目標座標，而根據該目標座標與其它相對座標調整取物治具上的活動取物單元與固定取物單元的間距並決定取物治具的一水平旋轉角度，以根據該水平旋轉角度及該目標座標，控制機械手臂移動取物治具至使固定取物單元與活動取物單元各別對準各該物件的該對稱中心點，以使固定取物單元及活動取物單元同時且分別拿取各該物件，並將被拿取的該等物件放至預設的位置。

Description

物件辦識及取物方法、物件辦識及取物系統
本發明是有關於一種物件拿取方法，特別是指一種物件辦識及取物方法。
機械手臂(robotic arm)是一種能模仿人類手臂功能並可完成諸如焊接、組裝、物流搬運以及包裝...等等作業的自動控制設備，因而被廣泛應用在各種工作場所，以節省人力需求並避免人員暴露在危險的工作環境中。而目前應用在物流搬運場所的機器手臂雖能精準抓取物單元並放置物件至一預定位置，但機器手臂通常一次只能抓取一個物件，因此，例如當要從一個箱子中取出十個相同的物件放到另一個箱子時，機器手臂必需在這兩個箱子之間來回十次才能完成上述動作，無法提升物流搬運的速度，易導致物流作業效率不佳。
因此，本發明之目的，即在提供一種解決上述問題的物件辦識及取物方法，以及實現該方法的物件辦識及取物系統。
於是，本發明的物件辦識及取物方法物件辦識及取物方法，包括：於一取物作業區域周邊設置一機械手臂及一控制該機械手臂的控制裝置，該機械手臂末端設有一取物治具，該取物治具上設有一固定取物單元以及N(N≧1)個可相對該固定取物單元移位的活動取物單元；以一影像辨識裝置擷取置於該取物作業區域的一置物箱的一影像，並對該影像進行影像辦識而判斷該置物箱中存在多個物件後，計算各該物件的一對稱中心點，以及該影像辨識裝置與各該對稱中心點的一第一相對座標，並將該等第一相對座標傳送給該控制裝置；該控制裝置根據該取物治具的一最大取物範圍，從該等第一相對座標中取出相鄰近的M(2≦M≦(N+1))個第一相對座標，並根據該M個第一相對座標產生M個第二相對座標，該M個第二相對座標是該固定取物單元相對於對應該M個第一相對座標的該M個對稱中心點的座標，且該控制裝置以該M個第二相對座標其中之一做為一目標座標，並根據該目標座標與該(M-1)個第二相對座標，調整該N個活動取物單元中的(M-1)個活動取物單元與該固定取物單元的間距並決定該取物治具的一水平旋轉角度；及該控制裝置根據該水平旋轉角度及該目標座標，控制該機械手臂移動該取物治具至使該固定取物單元與該(M-1)個活動取物單元各別對準該M個物件的該對稱中心點，以使該固定取物單元及該(M-1)個活動取物單元同時且分別拿取該M個物件，並將被拿取的該M個 物件放至預設的位置。
如請求項1所述的物件辦識及取物方法，其中，該影像是一三維彩色影像，且該影像辨識裝置中載有一經過訓練的類神經網路，該影像被輸入該經過訓練的類神經網路時，該經過訓練的類神經網路能辦識該影像中是否存在物件以及物件的數量。
在本發明的一些實施態樣中，該控制裝置是根據來自一主機的一揀貨指令控制該機械手臂的該取物治具拿取物件，並將被拿取的該等物件放至同一個出貨位置或分散地放至不同的出貨位置。
再者，本發明實現上述方法的一種物件辦識及取物系統，包括一機械手臂、一控制裝置及一影像辨識裝置。該機械手臂設於一取物作業區域周邊，該機械手臂末端設有一取物治具，該取物治具上設有一固定取物單元以及N(N≧1)個可相對該固定取物單元移位的活動取物單元。該控制裝置與該機械手臂電連接，以控制該機械手臂作動。該影像辨識裝置能與該控制裝置通訊，且該影像辨識裝置擷取置於該取物作業區域的一置物箱的一影像，並對該影像進行影像辦識以判斷該置物箱中是否存在物件，且該影像辨識裝置判斷該置物箱中存在多個物件後，計算各該物件的一對稱中心點，以及該影像辨識裝置與各該對稱中心點的一第一相對座標，並將該等第一相對座標傳送給該控制裝置；該控制裝置根據該取物治 具的一最大取物範圍，從該等第一相對座標中取出相鄰近的M(2≦M≦(N+1))個第一相對座標，並根據該M個第一相對座標產生該固定取物單元與對應該M個第一相對座標的該M個對稱中心點相對的M個第二相對座標，且以該M個第二相對座標其中之一做為一目標座標，並根據該目標座標與該(M-1)個第二相對座標，調整該N個活動取物單元中的(M-1)個活動取物單元與該固定取物單元的間距並決定該取物治具的一水平旋轉角度，該控制裝置根據該水平旋轉角度及該目標座標，控制該機械手臂移動該取物治具至使該固定取物單元與該(M-1)個活動取物單元各別對準該M個物件的該對稱中心點，以使該固定取物單元及該(M-1)個活動取物單元同時且分別拿取該M個物件，並將被拿取的該M個物件放至預設的位置。
該影像辨識裝置判斷該置物箱中只存在一個物件時，計算該物件的該對稱中心點及其與該對稱中心點的該第一相對座標，並將該第一相對座標傳送給該控制裝置；該控制裝置根據該第一相對座標產生一第二相對座標，該第二相對座標是該固定取物單元相對於對應該第一相對座標的該對稱中心點的座標；且該控制裝置根據該取物治具的一最小取物範圍，判斷該固定取物單元到達該第二相對座標，該取物治具不會碰到該置物箱的周壁時，該控制裝置根據該第二相對座標控制該機械手臂移動該取物治具至使該固定取物單元對準該物件的該對稱中心點，以使該固定取物單元拿取 該物件；而該控制裝置根據該取物治具的一最小取物範圍，判斷該固定取物單元到達該第二相對座標，該取物治具會碰到該置物箱的周壁時，該控制裝置根據該第二相對座標以及該固定取物單元與該N個活動取物單元中最接近該物件的一個活動取物單元的間距，控制該機械手臂移動該取物治具至使該活動取物單元對準該物件的該對稱中心點，以使該活動取物單元拿取該物件。
在本發明的一些實施態樣中，該影像是一三維彩色影像，且該影像辨識裝置中載有一經過訓練的類神經網路，該影像被輸入該經過訓練的類神經網路時，該經過訓練的類神經網路能辦識該影像中是否存在物件以及物件的數量。
在本發明的一些實施態樣中，該固定取物單元及該活動取物單元是一吸盤或一夾具。
在本發明的一些實施態樣中，該物件辦識及取物系統還包括一與該控制裝置電連接的主機，且該控制裝置是根據該主機傳來的一揀貨指令控制該機械手臂的該取物治具拿取物件，並將被拿取的該等物件放至同一個出貨位置或分散地放至不同的出貨位置。
本發明之功效在於：藉由該影像辨識裝置判斷置物箱中是否有物件存在，並確定置物箱中的多個物件的一對稱中心點以及該機械手臂的該取物治具上的該固定取物單元與該等對稱中心 點的相對座標，以由該控制裝置根據該等相對座標中的一目標座標與其它相對座標的相對位置關係，調整該取物治具上的該固定取物單元與其它活動取物單元之間的間距，並決定該取物治具的該水平旋轉角度，使該控制裝置根據該水平旋轉角度及該目標座標控制該機械手臂移動該取物治具至使該固定取物單元對準一物件的該對稱中心點時，其它活動取物單元亦同時分別對準一物件的該對稱中心點，而達到使該取物治具同時拿取多個物件的目的，並藉此提升物流搬運速度及物流作業效率。
1‧‧‧機械手臂
11‧‧‧取物治具
100‧‧‧取物作業區域
101‧‧‧置物箱
102‧‧‧物件
111‧‧‧固定取物單元
112‧‧‧活動取物單元
113‧‧‧軌道
114‧‧‧延伸線
2‧‧‧控制裝置
3‧‧‧影像辨識裝置
31‧‧‧影像擷取單元
32‧‧‧影像辨識單元
33‧‧‧影像處理單元
4‧‧‧主機
52、61‧‧‧影像
521、611‧‧‧方塊
P‧‧‧對稱中心點
A1、A2‧‧‧物件
S1~S9‧‧‧步驟
本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地顯示，其中：圖1是本發明物件辦識及取物方法的一實施例的主要流程圖；圖2是本發明物件辦識及取物系統的一實施例主要包括的硬體裝置示意圖；圖3A是本實施例的機械手臂的構造示意圖；圖3B是本實施例的機械手臂的取物治具的構造示意圖；圖4是本實施例的置物箱的示意圖；圖5是本實施例的置物箱的影像以及經過影像辨識後的影像示意圖； 圖6是在圖5之經過影像辨識後的影像中標示物件的對稱中心點的示意圖；圖7是本實施例的機械手臂根據圖6的對稱中心點，將取物治具移動至使取物單元對準所要拿取的物件的對稱中心點的示意圖；圖8是本實施例在另一經過影像辨識後的影像中標示物件的對稱中心點的示意圖；圖9是本實施例的機械手臂根據圖6的對稱中心點，將取物治具移動至使取物單元對準所要拿取的物件的對稱中心點的示意圖；及圖10是本實施例說明以取物治具拿取散亂放置的多個物件的示意圖。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1，是本發明物件辦識及取物方法的一實施例的主要流程，且本實施例的方法是由圖2所示的物件辦識及取物系統來實現，其主要包括一機械手臂1、一與該機械手臂1電連接以控制該機械手臂1作動的控制裝置2，以及一能與該控制裝置2通訊(例如透過有線、無線或網路通訊)並受該控制裝置2控制而動作的 影像辨識裝置3。本實施例是以應用在一物流作業場所中舉例說明，因此，如圖3所示，該機械手臂1是設置在一取物作業區域100的周邊，該影像辨識裝置3是設置在該取物作業區域100的上方，以對被放置在該取物作業區域100的一置物箱101進行影像擷取及影像辨識。且該置物箱101中若有放置物件，該些物件通常都是被整齊排列的物件。另外，具體而言，該影像辨識裝置3主要包括一影像擷取單元31、一與該影像擷取單元31電連接的影像辨識單元32以及一與該影像辨識單元32電連接的影像處理單元33，且設置在該取物作業區域100的上方主要是該影像擷取單元31，如圖3所示。當然，也可以直接將整個該影像辨識裝置3設置在該取物作業區域100的上方。
在本實施例中，如圖3A和圖3B所示，該機械手臂1的末端設有一取物治具11，該取物治具11上設有一固定取物單元111以及N(N≧1)個可相對該固定取物單元111移位的活動取物單元112，且在本實施例中是以N=4，即四個活動取物單元112舉例說明。且該等取物單元111、112是以排列成一直線為例，但不以此為限，亦即該等取物單元111、112也可排列成矩陣型態，例如2X2(共四個取物單元)、2X3(共六個取物單元)、3X3(共九個取物單元)矩陣等。且該等活動取物單元112是藉由可伸縮的軌道113或類似的伸縮機構設置在該固定取物單元111的兩側，以圖3 所示的視角來看，該四個活動取物單元112其中兩個是設置在該固定取物單元111的左側，另外兩個是設置在該固定取物單元111的右側，並且該軌道113可被設置在取物治具11上的一驅動電路(圖未示)驅動而帶動各該活動取物單元112沿著軌道113的延伸方向相對該固定取物單元111移動，而改變各該活動取物單元112與該固定取物單元111之間的間距。且該驅動電路是接受來自該控制裝置2的控制訊號所控制。此外，該取物治具11還能被該控制裝置2控制其水平旋轉的角度。
在本實施例中，該控制裝置2還與一主機4電連接，以接受該主機4傳來的一揀貨指令，舉例來說，該揀貨指令的內容例如為「拿取八個物件並在第一位置、第二位置及第三位置分別放置三個、三個、兩個物件」。且在此之前，第一位置、第二位置及第三位置已分別預先放置一個箱子。同時，該主機4控制一輸送機構，例如輸送帶將一置物箱101輸送至該取物作業區域100，即該影像辨識裝置3的該影像擷取單元31的下方。
該置物箱101具有上開口而能顯露出放置於其中的物件。且，當該控制裝置2收到該揀貨指令後，該控制裝置2令該影像辨識裝置3開始作動，因此，如圖1的步驟S1所示，該影像辨識裝置3令該影像擷取單元31擷取置於其下方的該置物箱101的一影像，並對該影像進行影像辦識以判斷該置物箱101中是否存在 物件。
在本實施例中，該影像擷取單元31是一攝影機，例如但不限於三維攝影機，因此，該影像擷取單元31將取得該置物箱101及其內部的一三維彩色影像並輸出該三維彩色影像至該影像辨識單元32。該影像辨識單元32對該三維彩色影像進行影像辦識，以判斷該置物箱101中是否存在物件；在本實施例中，該影像辨識單元32中載有一經過訓練的類神經網路，該經過訓練的類神經網路被預先輸入大量的內含有不同尺寸、輪廓、外形、花樣、圖案等物件的影像樣本，該些影像樣本也包含三維彩色影像，以根據該些影像樣本進行深度學習，而學習如何從影像中判斷是否有「物件」存在，因此，該經過訓練的類神經網路只要分辨影像中是否有物件，而不需要判斷該物件是什麼東西。
因此，當該三維彩色影像被輸入該影像辨識單元32後，該經過訓練的類神經網路即能辦識該影像中是否存在物件，並在該影像中標示出物件的輪廓或邊緣，因而得知物件的數量。以圖4為例，設若該置物箱101中裝滿了整齊排列且尺寸大小相同的25個矩形的物件102，則如圖5所示，擷取該置物箱101的該影像51經過該影像辨識單元32辨識後的影像52中將會標示出25個被辨識為物件的方塊521及其輪廓或邊緣。且由於訓練類神經網路辨識物件已是習知技術且非本案重點，故在此不予詳述類神經網路的訓 練過程及細節。
因此，如圖1的步驟S2，當該影像辨識裝置3辨識該置物箱101中不存在物件時，如圖1的步驟S3，該影像辨識裝置3將傳送一物件不存在通知給該控制裝置2，該控制裝置2收到該物件不存在通知後，即通知該主機4輸送另一個或下一個置物箱101至該取貨作業區域100，然後，該控制裝置2令該影像辨識裝置3重新動作以重新擷取影像並執行上述步驟S1。
而當該影像辨識裝置3的該影像辨識單元32辨識該置物箱101中有物件存在後，該影像辨識單元32將該經過辨識的影像52輸出至該影像處理單元33。然後，如圖1的步驟S4，該影像處理單元33根據該經過辨識的影像52中標示出的25個方塊521的輪廓或邊緣，計算各該物件102的尺寸和各該方塊521(也是物件102)的一對稱中心點P，如圖6所示，並計算該影像辨識裝置3(該影像擷取單元31)與各該對稱中心點P的一第一相對座標。然後，如圖1的步驟S5，該影像辨識裝置3將該等第一相對座標傳送給該控制裝置2。值得一提的是，在本實施例中，該控制裝置2事先已知相鄰兩個物件102的對稱中心點P之間的距離小於該取物治具11的該固定取物單元111與相鄰的該活動取物單元112之間的最大間距，以及小於相鄰的兩個活動取物單元112之間的最大間距。且該控制裝置2已知該取物治具11的一最大取物範圍，該 最大取物範圍即該等活動取物單元112移動至距離該固定取物單元111最遠時，相距最遠的兩個活動取物單元112之間的距離。
且該控制裝置2收到該等第一相對座標後，即知道該置物箱101中有多少個(25個)物件102以及該等物件102與該影像辨識裝置3之間的相對位置。且因為該取物治具11有五個取物單元111、112，該控制裝置2要控制該取物治具11從該置物箱101中一次拿取五個物件，且若以圖4的視角來看，該機械手臂1通常是從該置物箱101內最右及最上方位置開始取物(即由上而下、由左而右)。
因此，如圖1的步驟S6以及參見圖6，該控制裝置2根據該取物治具11的該最大取物範圍，從該等第一相對座標中取出最靠近左邊及最上方且相鄰近的五個第一相對座標(即最上面一排的五個對稱中心點P，且因這五個對稱中心點P連成一線的距離小於該最大取物範圍，因此最多可以取出這五個第一相對座標)，然後該控制裝置2根據該五個第一相對座標產生五個第二相對座標，該五個第二相對座標是該固定取物單元111與對應該五個第一相對座標的該五個物件的該對稱中心點P相對的座標，例如該控制裝置2根據該固定取物單元111與該影像辨識裝置3的相對位置關係，對該五個第一相對座標進行座標轉換或校正而產生該五個第二相對座標。因此，該五個第二相對座標是該固定取物單元111與該 置物箱101中最靠近左邊且最上方的相鄰近的五個物件102的相對座標。
並且，該控制裝置2以該五個第二相對座標其中之一做為一目標座標，該目標座標通常是該五個第二相對座標中位於中間或最靠近中間的座標；然後，如圖1的步驟S7，該控制裝置2根據該目標座標與另外四個第二相對座標的距離，對應調整該四個活動取物單元112與該固定取物單元111的間距，使得該固定取物單元111與該四個活動取物單元112的間距和該目標座標與另外四個第二相對座標的距離一致。並且，該控制裝置2根據該目標座標與另外四個第二相對座標的相對位置決定該取物治具11的該水平旋轉角度。
接著，如圖1的步驟S8，該控制裝置2根據該水平旋轉角度及該目標座標，控制該機械手臂1移動該取物治具11至使該固定取物單元111對準位於該目標座標的物件102的對稱中心點P，同時，如圖7所示，該四個活動取物單元112也會分別對準位在另外四個第二相對座標的該物件102的該對稱中心點P，藉此該控制裝置2控制該固定取物單元111及該四個活動取物單元112同時且分別拿取位於該五個第二相對座標(包含該目標座標)的物件102，然後依照該揀貨指令的指示，將被拿取的該五個物件其中的三個物件放在第一位置的箱子，另外兩個物件放在第二位置的箱 子。
當完成上述動作後，該機械手臂1復位(歸位)，然後，如圖1的步驟S9，該控制裝置2判斷是否完成揀貨指令，且因為機械手臂1這次只拿取了五個物件，還少三個物件，故揀貨指令尚未完成，則再回到步驟S1，令該影像辨識裝置3重新擷取該置物箱101的影像。
因此，該影像辨識裝置3再次擷取並經過影像辨識後的影像61將如圖8所示，然後，該影像辨識裝置3根據影像61計算其中代表各該物件102的方塊611的尺寸及其對稱中心點P，以及該影像辨識裝置3(該影像擷取單元31)與各該對稱中心點P的該第一相對座標，並將該等第一相對座標傳送給該控制裝置2。
然後，如圖8所示，該控制裝置2同樣根據該取物治具11的該最大取物範圍，從該等第一相對座標中選出最靠近左邊且最上方的相鄰近的三個第一相對座標(即最上面一排靠左邊的三個對稱中心點P)，並將該三個第一相對座標轉換成該固定取物單元111與對應該三個第一相對座標的該三個物件102的該對稱中心點P相對的三個第二相對座標，即，該三個第二相對座標是該固定取物單元111與該置物箱101中最靠近左邊且最上方的相鄰近的三個物件102的相對座標。
然後，該控制裝置2會以該三個第二相對座標中位於右 邊的座標做為該目標座標，並根據該目標座標與另外兩個第二相對座標的距離，對應調整位於該固定取物單元112左邊的兩個活動取物單元112與該固定取物單元111的間距(參見圖3)，使得該固定取物單元111與其左邊兩個活動取物單元112的間距和該目標座標與另外兩個第二相對座標的距離一致。並且，該控制裝置2根據該目標座標與另外兩個第二相對座標的相對位置決定該取物治具11的該水平旋轉角度。此外，在物件102緊密排列在一起的情況下，相鄰兩物件102之間的對稱中心點P的距離並不會改變，所以在前次已調好各該活動取物單元112與該固定取物單元111的間距的情況下，也可省略再次調整活動取物單元112與該固定取物單元111的間距的步驟。
接著，該控制裝置2根據該水平旋轉角度及該目標座標，控制該機械手臂1移動該取物治具11至使該固定取物單元111對準位於該目標座標的該物件102的該對稱中心點P，此時，如圖9所示，位於該固定取物單元111左邊的兩個活動取物單元112也會分別對準位在另外兩個第二相對座標的該物件102的該對稱中心點P，然後該控制裝置2控制該固定取物單元111及位於該固定取物單元111左邊的兩個活動取物單元112同時分別拿取位於該三個第二相對座標(包含該目標座標)的物件102，並依照該揀貨指令的指示，將被拿取的該三個物件102其中的兩個物件102放在第二位置 的箱子，另外一個物件102放在第三位置的箱子。完成上述動作後，該機械手臂1復位(歸位)，且該控制裝置2判斷已完成該揀貨指令，即結束此一取物流程。
此外，上述拿取三個物件的另一方式是在前次已調好各該活動取物單元112與該固定取物單元111的間距，該取物治具11的該水平旋轉角度不變，且置物箱101中的物件102緊密排列在一起，使得相鄰兩物件102之間的對稱中心點P的距離不會改變的情況下，該控制裝置2仍然從該等第一相對座標中取出最靠近左邊且最上方的相鄰近的五個第一相對座標，並將其對應轉換成五個第二相對座標，且以該五個第二相對座標中位於中間或最靠近中間的座標做為該目標座標，然後該控制裝置2控制該機械手臂1移動該取物治具11至使該固定取物單元111位於該目標座標後，控制該固定取物單元111及位於該固定取物單元111左邊的兩個活動取物單元112同時分別拿取位於其下方的物件102，亦能完成拿取三個物件的動作。
再者，如圖10所示，當置物箱101中的物件102並非整齊排列而使彼此之間的對稱中心點P的距離不同時，只要要被拿取的多個物件102的對稱中心點P是在該取物治具11的該等取物單元111、112的一延伸線114上，而且相隔最遠的兩個物件102之間的距離小於該取物治具11的最大取物範圍，該控制裝置2同樣可以藉 由調整該等取物單元111、112之間的間距至與要被拿取的該些物件102的對稱中心點P之間的距離對應，以及根據該固定取物單元111與該等物件102之該對稱中心點P的相對座標位置，決定該取物治具11的該水平旋轉角度，而完成藉由該取物治具11一次拿取多個物件102的動作。
此外，以圖10為例，當該影像辨識裝置3判斷該置物箱101中只存在一個物件，例如圖10中靠近該置物箱101中間的物件A1，該影像辨識裝置3同樣會計算該物件A1的該對稱中心點P及其與該對稱中心點P的該第一相對座標，並將該第一相對座標傳送給該控制裝置2；該控制裝置2根據該第一相對座標產生該第二相對座標，該第二相對座標是該固定取物單元111相對於對應該第一相對座標的物件A1的該對稱中心點P的座標；然後，該控制裝置2根據該取物治具11的一最小取物範圍，判斷該固定取物單元111到達該第二相對座標時，該取物治具11是否會碰到該置物箱101的周壁，若否(因為物件A1靠近該置物箱101中間)，則該控制裝置2根據該第二相對座標控制該機械手臂1移動該取物治具11至使該固定取物單元111對準該物件A1的該對稱中心點P，以使該固定取物單元111拿取該物件A1。
反之，如圖10所示，設若要拿取的是靠近該置物箱101邊緣的物件A2，則該控制裝置2根據該取物治具11的該最小取物範 圍，判斷該固定取物單元111到達該第二相對座標，該取物治具11會碰到該置物箱101的周壁時，該控制裝置2會根據該第二相對座標以及該固定取物單元111與該N個活動取物單元112其中最接近該物件A2的該活動取物單元112的間距，控制該機械手臂移動該取物治具11至使該活動取物單元112對準該物件A2的該對稱中心點P，以使該活動取物單元112拿取該物件A2。
且在本實施例中，該等取物單元111、112是以吸盤為例，但不以此為限，例如若該置物箱101中的該等物件102是被間隔放置而使得相鄰物件102之間具有夾具可以伸入的足夠的間隙時，該等取物單元111、112也可以採用夾具。
當然，本實施例藉由該取物治具11上的多個取物單元111、112一次拿取多個物件102的方式並不以上述舉例為限，只要是能根據該機械手臂1之取物治具11與置物箱101中的物件102之間的相對位置關係，對應調整該取物治具11的該水平旋轉角度以及該取物治具11上的多個取物單元111、112之間的間距，使得該取物治具11移動到置物箱101上方時，該等取物單元111、112能同時且分別對準各別要拿取的物件並完成拿取的動作，皆為本實施例的實施態樣。
綜上所述，上述實施例藉由影像辨識裝置3判斷置物箱101中是否有物件存在，並確定置物箱101中的多個物件的一對稱 中心點P以及機械手臂1之取物治具11上的該固定取物單元111與該等對稱中心點P的相對座標，以由機械手臂1的控制裝置2根據該等相對座標中的一目標座標與其它相對座標的相對位置關係，調整設於機械手臂1末端的取物治具11上的該固定取物單元111與其它活動取物單元112之間的間距，並決定該取物治具11的該水平旋轉角度，使該控制裝置2根據該水平旋轉角度及該目標座標控制機械手臂1移動取物治具11至使該固定取物單元111對準一物件的該對稱中心點P時，其它活動取物單元112亦同時分別對準一物件的該對稱中心點P，而使該取物治具11能同時拿取多個物件，藉此達到提升物流搬運速度及物流作業效率的功效與目的。
惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
S1~S9‧‧‧步驟

Claims (10)

  1. 一種物件辦識及取物方法，包括： 於一取物作業區域周邊設置一機械手臂及一控制該機械手臂的控制裝置，該機械手臂末端設有一取物治具，該取物治具上設有一固定取物單元以及N(N≧1)個可相對該固定取物單元移位的活動取物單元； 以一影像辨識裝置擷取置於該取物作業區域的一置物箱的一影像，並對該影像進行影像辦識而判斷該置物箱中存在多個物件後，計算各該物件的一對稱中心點，以及該影像辨識裝置與各該對稱中心點的一第一相對座標，並將該等第一相對座標傳送給該控制裝置； 該控制裝置根據該取物治具的一最大取物範圍，從該等第一相對座標中選取相鄰近的M(2≦M≦(N+1))個第一相對座標，並根據該M個第一相對座標產生M個第二相對座標，該M個第二相對座標是該固定取物單元相對於對應該M個第一相對座標的該M個對稱中心點的座標，且該控制裝置以該M個第二相對座標其中之一做為一目標座標，並根據該目標座標與該(M-1)個第二相對座標，調整該N個活動取物單元中的(M-1)個活動取物單元與該固定取物單元的間距並決定該取物治具的一水平旋轉角度；及 該控制裝置根據該水平旋轉角度及該目標座標，控制該機械手臂移動該取物治具至使該固定取物單元與該(M-1)個活動取物單元各別對準該M個物件的該對稱中心點，以使該固定取物單元及該(M-1)個活動取物單元同時且分別拿取該M個物件，並將被拿取的該M個物件放至預設的位置。
  2. 如請求項1所述的物件辦識及取物方法，其中，該影像辨識裝置判斷該置物箱中只存在一個物件時，計算該物件的該對稱中心點及其與該對稱中心點的該第一相對座標，並將該第一相對座標傳送給該控制裝置；該控制裝置根據該第一相對座標產生一第二相對座標，該第二相對座標是該固定取物單元相對於對應該第一相對座標的該對稱中心點的座標；且該控制裝置根據該取物治具的一最小取物範圍，判斷該固定取物單元到達該第二相對座標，該取物治具不會碰到該置物箱的周壁時，該控制裝置根據該第二相對座標控制該機械手臂移動該取物治具至使該固定取物單元對準該物件的該對稱中心點，以使該固定取物單元拿取該物件；而該控制裝置根據該取物治具的一最小取物範圍，判斷該固定取物單元到達該第二相對座標，該取物治具會碰到該置物箱的周壁時，該控制裝置根據該第二相對座標以及該固定取物單元與該N個活動取物單元中最接近該物件的一個活動取物單元的間距，控制該機械手臂移動該取物治具至使該活動取物單元對準該物件的該對稱中心點，以使該活動取物單元拿取該物件。
  3. 如請求項1所述的物件辦識及取物方法，其中，該影像是一三維彩色影像，且該影像辨識裝置中載有一經過訓練的類神經網路，該影像被輸入該經過訓練的類神經網路時，該經過訓練的類神經網路能辦識該影像中是否存在物件以及物件的數量。
  4. 如請求項1所述的物件辦識及取物方法，其中該固定取物單元及該活動取物單元是一吸盤或一夾具。
  5. 如請求項1至4其中任一項所述的物件辦識及取物方法，其中，該控制裝置是根據來自一主機的一揀貨指令控制該機械手臂的該取物治具拿取物件，並將被拿取的該等物件放至同一個出貨位置或分散地放至不同的出貨位置。
  6. 一種物件辦識及取物系統，包括： 一機械手臂，設於一取物作業區域周邊，該機械手臂末端設有一取物治具，該取物治具上設有一固定取物單元以及N(N≧1)個可相對該固定取物單元移位的活動取物單元； 一控制裝置，與該機械手臂電連接，以控制該機械手臂作動；及 一影像辨識裝置，與該控制裝置電連接，該影像辨識裝置擷取置於該取物作業區域的一置物箱的一影像，並對該影像進行影像辦識以判斷該置物箱中是否存在物件，且該影像辨識裝置判斷該置物箱中存在多個物件後，計算各該物件的一對稱中心點，以及該影像辨識裝置與各該對稱中心點的一第一相對座標，並將該等第一相對座標傳送給該控制裝置； 該控制裝置根據該取物治具的一最大取物範圍，從該等第一相對座標中取出相鄰近的M(2≦M≦(N+1))個第一相對座標，並根據該M個第一相對座標產生M個第二相對座標，該M個第二相對座標是該固定取物單元相對於對應該M個第一相對座標的該M個對稱中心點的座標，且該控制裝置以該M個第二相對座標其中之一做為一目標座標，並根據該目標座標與該(M-1)個第二相對座標，調整該N個活動取物單元中的(M-1)個活動取物單元與該固定取物單元的間距並決定該取物治具的一水平旋轉角度，該控制裝置根據該水平旋轉角度及該目標座標，控制該機械手臂移動該取物治具至使該固定取物單元與該(M-1)個活動取物單元各別對準該M個物件的該對稱中心點，以使該固定取物單元及該(M-1)個活動取物單元同時且分別拿取該M個物件，並將被拿取的該M個物件放至預設的位置。
  7. 如請求項6所述的物件辦識及取物系統，其中，該影像辨識裝置判斷該置物箱中只存在一個物件時，計算該物件的該對稱中心點及其與該對稱中心點的該第一相對座標，並將該第一相對座標傳送給該控制裝置；該控制裝置根據該第一相對座標產生該第二相對座標，該第二相對座標是該固定取物單元相對於對應該第一相對座標的該對稱中心點的座標；且該控制裝置判斷該固定取物單元到達該第二相對座標，該取物治具不會碰到該置物箱的周壁時，該控制裝置根據該第二相對座標控制該機械手臂移動該取物治具至使該固定取物單元對準該物件的該對稱中心點，以使該固定取物單元拿取該物件；而該控制裝置判斷該固定取物單元到達該第二相對座標，該取物治具會碰到該置物箱的周壁時，該控制裝置根據該第二相對座標以及該固定取物單元與該N個活動取物單元中最接近該物件的一個活動取物單元的間距，控制該機械手臂移動該取物治具至使該活動取物單元對準該物件的該對稱中心點，以使該活動取物單元拿取該物件。
  8. 如請求項6所述的物件辦識及取物系統，其中，該影像是一三維彩色影像，且該影像辨識裝置中載有一經過訓練的類神經網路，該影像被輸入該經過訓練的類神經網路時，該經過訓練的類神經網路能辦識該影像中是否存在物件以及物件的數量。
  9. 如請求項6所述的物件辦識及取物系統，其中該固定取物單元及該活動取物單元是一吸盤或一夾具。
  10. 如請求項6至9其中任一項所述的物件辦識及取物系統，還包括一與該控制裝置電連接的主機，且該控制裝置是根據該主機傳來的一揀貨指令控制該機械手臂的該取物治具拿取物件，並將被拿取的該等物件放至同一個出貨位置或分散地放至不同的出貨位置。
TW108137744A 2019-10-18 2019-10-18 物件辦識及取物方法、物件辦識及取物系統 TWI685407B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108137744A TWI685407B (zh) 2019-10-18 2019-10-18 物件辦識及取物方法、物件辦識及取物系統
US17/071,594 US11577387B2 (en) 2019-10-18 2020-10-15 Method and system for detecting and picking up objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108137744A TWI685407B (zh) 2019-10-18 2019-10-18 物件辦識及取物方法、物件辦識及取物系統

Publications (2)

Publication Number Publication Date
TWI685407B true TWI685407B (zh) 2020-02-21
TW202116509A TW202116509A (zh) 2021-05-01

Family

ID=70413311

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108137744A TWI685407B (zh) 2019-10-18 2019-10-18 物件辦識及取物方法、物件辦識及取物系統

Country Status (2)

Country Link
US (1) US11577387B2 (zh)
TW (1) TWI685407B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI685407B (zh) * 2019-10-18 2020-02-21 所羅門股份有限公司 物件辦識及取物方法、物件辦識及取物系統
TWI785878B (zh) * 2021-11-05 2022-12-01 所羅門股份有限公司 物件揀取方法及系統
CN114904798B (zh) * 2022-05-16 2024-05-28 上海方酋机器人有限公司 一种基于图像识别的煤矸石自动分拣方法、系统及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060182604A1 (en) * 2004-12-14 2006-08-17 Aidco International, Inc. Multi-modal container handling system
KR101472266B1 (ko) * 2014-04-17 2014-12-10 한국기계연구원 다축 그리퍼 장치
CN106865215A (zh) * 2015-12-01 2017-06-20 耐克创新有限合伙公司 制造的拾取工具
CN107512581A (zh) * 2013-11-26 2017-12-26 科磊股份有限公司 用于拾取工件的取放头及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8491026B1 (en) * 2010-01-29 2013-07-23 The Sherwin-Williams Company End of arm tool for moving pail goods
US11877401B2 (en) * 2017-05-31 2024-01-16 Fuji Corporation Work machine, and calculation method
JP2022508625A (ja) * 2018-10-08 2022-01-19 アドヴァンスド ファーム テクノロジーズ インコーポレイテッド 自律的作物収穫機
US10913165B1 (en) * 2019-05-31 2021-02-09 Amazon Technologies, Inc. Rotating end of arm tool including asymmetrical independently controllable suction zones
TWI685407B (zh) * 2019-10-18 2020-02-21 所羅門股份有限公司 物件辦識及取物方法、物件辦識及取物系統

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060182604A1 (en) * 2004-12-14 2006-08-17 Aidco International, Inc. Multi-modal container handling system
CN107512581A (zh) * 2013-11-26 2017-12-26 科磊股份有限公司 用于拾取工件的取放头及方法
KR101472266B1 (ko) * 2014-04-17 2014-12-10 한국기계연구원 다축 그리퍼 장치
CN106865215A (zh) * 2015-12-01 2017-06-20 耐克创新有限合伙公司 制造的拾取工具

Also Published As

Publication number Publication date
US20210114208A1 (en) 2021-04-22
TW202116509A (zh) 2021-05-01
US11577387B2 (en) 2023-02-14

Similar Documents

Publication Publication Date Title
TWI685407B (zh) 物件辦識及取物方法、物件辦識及取物系統
US9643796B2 (en) Device and method of arraying articles by using robot, and article transfer system
KR102650494B1 (ko) 자동화된 패키지 등록 시스템, 디바이스 및 방법
US11638993B2 (en) Robotic system with enhanced scanning mechanism
US10899001B2 (en) Method for teaching an industrial robot to pick parts
CN104626169B (zh) 基于视觉与机械综合定位的机器人抓取零件的方法
US20180117766A1 (en) Device, method, program and recording medium, for simulation of article arraying operation performed by robot
US10434652B2 (en) Workpiece picking system
CN107053173A (zh) 机器人抓取系统及抓取工件的方法
CN110941462A (zh) 自动学习产品操纵的系统和方法
CN108470165A (zh) 一种采摘机器人果实视觉协同搜索方法
JP2023524607A (ja) ロボット多面グリッパアセンブリ及びその操作方法
CN110533717A (zh) 一种基于双目视觉的目标抓取方法及装置
KR101197125B1 (ko) 물체 파지 시스템 및 물체 파지 방법
CN116000942B (zh) 一种基于多轴协作机器人的半导体制造系统
CN111470244B (zh) 机器人系统的控制方法以及控制装置
JP6708142B2 (ja) ロボットの制御装置
JP5736978B2 (ja) 物品認識装置、物品認識システム、プログラムおよび物品認識方法
TWI785878B (zh) 物件揀取方法及系統
US20220126446A1 (en) Method for picking up an object from a bin