TW202301197A - 工件取出個數計算裝置、手部系統及顯示裝置 - Google Patents

工件取出個數計算裝置、手部系統及顯示裝置 Download PDF

Info

Publication number
TW202301197A
TW202301197A TW111118348A TW111118348A TW202301197A TW 202301197 A TW202301197 A TW 202301197A TW 111118348 A TW111118348 A TW 111118348A TW 111118348 A TW111118348 A TW 111118348A TW 202301197 A TW202301197 A TW 202301197A
Authority
TW
Taiwan
Prior art keywords
workpieces
workpiece
taken out
area
range
Prior art date
Application number
TW111118348A
Other languages
English (en)
Inventor
和田潤
Original Assignee
日商發那科股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商發那科股份有限公司 filed Critical 日商發那科股份有限公司
Publication of TW202301197A publication Critical patent/TW202301197A/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/023—Cartesian coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本發明之工件取出個數計算裝置具備：三維資訊取得部，其取得裝載複數個工件之對象空間之三維資訊；工件形狀資訊取得部，其取得工件之形狀資訊；及工件取出個數計算部，其基於工件取出前後之對象空間之三維資訊與工件之形狀資訊考慮工件之裝載區域中之空洞，計算工件取出個數之範圍。

Description

工件取出個數計算裝置、手部系統及顯示裝置
本發明係關於一種手部技術，尤其係關於一種工件取出個數計算裝置、手部系統及顯示裝置。
作為取放用手部，已知有多指固持式、磁性吸附式、真空吸附式、柏努利式等各種方式之手部。於自散裝或堆疊之複數個工件中取出1個或期望個數之工件之應用程式中，使用視覺感測器檢測工件之位置(及根據需要為姿勢)。作為視覺感測器，利用使用三角測量法、TOF(time of flight：飛行時間)法、焦點法等各種原理之三維視覺感測器。然而，於小型、薄板狀、薄片狀、或容易密接之工件之情形時，有時手部會一次性誤取出複數個工件。作為工件取出個數之計算方法，雖有於取出工件之後，使用力感測器、電磁感應式感測器、壓力感測器、光電感測器等追加之感測器計算之方法，但若以與視覺感測器分開之感測器進行追加之計測，則週期時間延長。又，因需與視覺感測器分開追加之感測器，故系統複雜化而成本變高。
另一方面，已知有於利用視覺感測器計算工件取出個數之情形時，藉由將工件取出前後之距離圖像、三維點群資料等三維資訊之差分(即體積差)除以每一個工件之體積而計算工件取出個數之方法(參照稍後敘述之專利文獻1)。然而，於複數個工件散裝或堆疊之情形時，因不知道於自視覺感測器看不到之區域存在工件還是存在空洞，故無法判別工件取出前後之三維資訊之差分是因一次性誤取出複數個工件而產生之差分、還是因空洞部分露出而產生之差分。因此，將工件之取出前後之三維資訊之差分除以每一個工件之體積而得之工件取出個數未必為準確之值。作為本案關聯之先前技術，揭示有以下之文獻。
於專利文獻1記載有：於檢測由拾取機器人移載物品時產生之物品之倒塌之方法及裝置中，自基於三維計測機構產生之作業前之距離圖像與作業後之距離圖像，推定移載作業前後之物品群之體積差，將推定出之物品群之體積差除以自物品形狀資料計算出之每一個物品之體積，藉此比較實際移載之物品之個數與應移載之期望個數，基於其等之一致程度，判定移載作業之所有步驟後有無發生倒塌。
於專利文獻2記載有：於具備吸附夾子之機械手中，使用檢測環境相關之資訊之3D(Dimensional：維)感測器上提並移動盒。
於專利文獻3記載有：於機械臂之前端保持特定個數之散裝於托盤內之複數個工件並取出至托盤外之方法中，因於托盤底部產生工件不存在區域時之工件殘存個數依存於托盤之大小一樣地決定，故以逆算預先計算變為該殘存個數時之取出個數。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2007-179301號公報 [專利文獻2]日本專利特表2017-520417號公報 [專利文獻3]日本專利特開2010-300878號公報
[發明所欲解決之問題]
本發明鑑於先前之問題點，目的在於提供一種準確推定工件取出個數之技術。 [解決問題之技術手段]
本揭示之一態樣提供一種工件取出個數計算裝置，其具備：三維資訊取得部，其取得裝載複數個工件之對象空間之三維資訊；工件形狀資訊取得部，其取得工件之形狀資訊；及工件取出個數計算部，其基於工件取出前後之對象空間之三維資訊與工件之形狀資訊考慮工件之裝載區域中之空洞，計算工件取出個數之範圍。 本揭示之另一態樣提供一種手部系統，其具備：手部，其進行工件之取出及送出；搬送裝置，其使用手部搬送工件；控制裝置，其控制手部及搬送裝置之至少一者之動作；及視覺感測器，其輸出裝載複數個工件之對象空間之三維資訊；且控制裝置具備：三維資訊取得部，其自視覺感測器取得對象空間之三維資訊；工件形狀資訊取得部，其取得工件之形狀資訊；工件取出個數計算部，其基於工件取出前後之對象空間之三維資訊與工件之形狀資訊考慮工件之裝載區域中之空洞，計算工件取出個數之範圍；及動作控制部，其基於工件取出個數之範圍，控制搬送裝置及手部之至少一者之動作。 本揭示之另一態樣提供一種顯示裝置，其視覺性顯示自複數個裝載之工件中取出之工件之取出個數之計算過程，且具備顯示對工件取出前後之對象空間之三維資訊之至少一者重合工件取出後工件之裝載區域中變化之變化區域之重疊圖像的顯示部。 [發明之效果]
根據本揭示之一態樣，因考慮工件裝載區域中之空洞計算工件取出個數之範圍，故可準確推定工件取出個數。
以下，參照隨附圖式詳細說明本揭示之實施形態。於各圖式中，對同一或類似之構成要件賦予同一或類似之符號。又，以下記載之實施形態並非限定專利申請範圍中記載之發明之技術性範圍及用語之意義者。
以下，對第一實施形態之手部系統1進行說明。圖1係第一實施形態之手部系統1之構成圖。手部系統1具備手部2、搬送裝置3、控制裝置4、及視覺感測器5。手部系統1亦可進而具備登記感測器6、與顯示裝置7。於本實施形態中，雖圓柱形之複數個工件W裝載(散裝或堆疊)於收納物內，但於其他實施形態中亦可為長方形、薄板狀、薄片狀等其他形態之工件W，又，工件W亦可裝載於夾具上。手部系統1基於視覺感測器5之三維資訊檢測工件W之位置(及根據需要為姿勢)。手部系統1基於工件W之位置(及根據需要為姿勢)使搬送裝置3移動至工件取出位置，使手部2動作進行取出工件W之控制。於取出工件W時，因有時手部2會誤取出與期望個數(於本實施形態中為1個)之工件W不同個數之工件W，故手部系統1基於視覺感測器5之三維資訊計算工件取出個數之範圍。手部系統1基於計算出之工件取出個數之範圍，使搬送裝置3移動至工件送出位置，使手部2動作進行送出工件W之控制。
手部2安裝於搬送裝置3。手部2進行工件W之取出及送出。手部2包含多指固持式、磁性吸附式、真空吸附式、及柏努利式等之手部。手部2可根據工件W之材質、形狀、尺寸等適當選擇。例如於工件W之摩擦係數較高之情形時可為多指固持式手部，於工件為磁鐵之情形時可為磁性吸附式手部，於工件為大型或薄板狀之情形時可為真空吸附式手部，於工件為輕量或薄片狀之情形時亦可為柏努利式手部。本實施形態之手部2為多指固持式手部，使可相對運動之複數根手指動作進行工件W之取出及送出。手部2具備使複數根手指動作之馬達及馬達驅動裝置，馬達驅動裝置經由有線或無線連接於控制裝置4。
搬送裝置3使用手部2搬送工件W。搬送裝置3包含機器人、輸送帶、及無人搬送車(AGV：Automated Guided Vehicle：自動導向載具)等。本實施形態之搬送裝置3為垂直多關節型機器人，但於其他實施形態中，亦可為水平多關節型機器人、正交機器人、並聯型機器人、及人形機器人等。本實施形態之搬送裝置3具備可相對運動地連結之複數根連桿，使複數根連桿動作而搬送工件W。搬送裝置3具備使連桿動作之馬達及馬達驅動裝置，馬達驅動裝置經由有線或無線連接於控制裝置4。
控制裝置4控制手部2、搬送裝置3、及視覺感測器5之至少一者之動作。本實施形態之控制裝置4控制手部2、搬送裝置3、及視覺感測器5之所有動作，但於其他實施形態中，亦可僅控制手部2與搬送裝置3之動作，而由經由有線或無線可通信地連接於控制裝置4之外部裝置(未圖示)控制視覺感測器5之動作。控制裝置4為具備處理器、記憶體等之電腦裝置。本實施形態之處理器包含執行電腦程式之CPU(central processing unit：中央處理單元)、MPU(micro processing unit：微處理單元)等之半導體積體電路，但於其他實施形態中，亦可為不執行電腦程式之FPGA(field programmable gate array：場可程式化閘陣列)、ASIC(application specific integrated circuit：特殊應用積體電路)等之其他半導體積體電路。本實施形態之記憶體為記憶各種資料之RAM(random access memory：隨機存取記憶體)、ROM(read only memory：唯讀記憶體)等之半導體積體電路。
視覺感測器5計測並輸出包含裝載(散裝或堆疊)有複數個工件W之工件裝載區域之對象空間之三維資訊。視覺感測器5包含使用三角測量法、TOF法、焦點法等各種原理之三維視覺感測器。或，視覺感測器5亦可為組合距離感測器與二維相機之三維視覺感測器。本實施形態之視覺感測器5為輸出距離圖像之TOF感測器。視覺感測器5安裝於手部2或搬送裝置3。本實施形態之視覺感測器5安裝於手部2，但於其他實施形態中亦可於與手部2或搬送裝置3不同之場所之固定點設置視覺感測器5。
當留意登記感測器6並非必須之構成要件。登記感測器6輸出表示是否已以手部2取出1個以上之工件W之登記資訊。登記感測器6包含力感測器、電磁感應式感測器、壓力感測器、光電感測器、相機、三維感測器等。又，如稍後敘述之實施形態說明般，可將視覺感測器5兼用為登記感測器6。本實施形態之登記感測器6為檢測力之力感測器。登記感測器6輸出力覺資訊作為登記資訊。登記感測器6安裝於手部2或搬送裝置3，但於其他實施形態中亦可於與手部2或搬送裝置3不同之場所之固定點設置登記感測器6。
當留意顯示裝置7並非必須之構成。顯示裝置7視覺性顯示工件取出個數之計算過程。顯示裝置7具備液晶顯示器、有機EL(Electro Luminescence：電致發光)顯示器、或由使用該等之觸控面板顯示器等構成之顯示部(未圖示)。本實施形態之顯示裝置7為可通信地連接於控制裝置4之教示裝置，但並非限定於此者。例如於其他實施形態中，顯示裝置7亦可為隨附於經由有線或無線可通信地連接於控制裝置4之外部裝置之顯示裝置等。
圖2係第一實施形態之手部系統1之方塊圖。本實施形態之控制裝置4具備工件取出個數計算裝置40，但於其他實施形態中，亦可由經由有線或無線可通信地連接於控制裝置4之外部裝置(未圖示)具備工件取出個數計算裝置40。
工件取出個數計算裝置40為具備處理器、記憶體等之電腦裝置。本實施形態之處理器包含執行電腦程式之CPU(central processing unit)、MPU(micro processing unit)等半導體積體電路，但於其他實施形態中，亦可為不執行電腦程式之FPGA(field programmable gate array)、ASIC(application specific integrated circuit)等其他半導體積體電路。本實施形態之記憶體包含記憶各種資料之RAM(random access memory)、ROM(read only memory)等半導體記憶裝置，但於其他實施形態中，記憶體亦可為HDD(hard disk drive：硬碟驅動器)等磁性記憶裝置。
工件取出個數計算裝置40具備三維資訊取得部41、工件形狀資訊取得部42、及工件取出個數計算部44。工件取出個數計算裝置40可進而具備登記資訊取得部43。又，工件取出個數計算裝置40亦可進而具備動作控制部45。本文中之「～部」由電腦程式之一部分或全部、或不執行電腦程式之半導體積體電路之一部分或全部構成。工件取出個數計算裝置40基於工件取出前後之對象空間之三維資訊與工件形狀資訊，考慮工件W之裝載區域中之空洞而計算工件W之取出個數之範圍。
三維資訊取得部41自視覺感測器5取得裝載(散裝或堆疊)有複數個工件W之對象空間之三維資訊。三維資訊包含每個像素中包含距基準位置之距離值之距離圖像、或包含三維座標系之座標值之三維點群資料等。本實施形態之三維資訊為自TOF感測器輸出之距離圖像。三維資訊取得部41亦可具備於距離圖像與三維點群資料等其他資料格式之間相互進行資料轉換之功能。三維資訊取得部41將對象空間之三維資訊送出至工件取出個數計算部44。
工件形狀資訊取得部42自外部記憶體或內部記憶體取得工件形狀資訊。工件形狀資訊包含三維形狀模型、距離圖像、三維點群資料等。本實施形態之工件形狀資訊為三維CAD(computer-aided design：電腦輔助設計)資料等三維形狀模型。工件形狀資訊取得部42亦可具備於三維形狀模型與距離圖像、三維點群資料等其他資料格式之間相互進行資料轉換之功能。工件形狀資訊取得部42將工件形狀資訊送出至工件取出個數計算部44。
又，三維資訊取得部41與工件形狀資訊取得部42之至少一者可具備以下功能：為了後續處理，而將對象空間之三維資訊與工件形狀資訊之一者之尺寸、比例、座標系統等參數整合於另一者之尺寸、比例、座標系統等參數。
當留意登記資訊取得部43並非必須之構成要件。登記資訊取得部43自登記感測器6取得表示是否已以手部2取出1個以上之工件W之登記資訊。本實施形態之登記資訊為力感測器之力覺資訊，登記資訊取得部43於力覺資訊超過每一個工件W之重力之情形時，將表示已取出1個以上之工件W之登記資訊送出至工件取出個數計算部44。於其他實施形態中，亦可將力覺資訊除以每一個工件W之重力而推定出之工件取出個數作為登記資訊送出至工件取出個數計算部44。
工件取出個數計算部44並非必須，但於登記資訊表示已取出1個以上之工件W之情形時，執行工件取出個數之範圍之計算處理，於登記資訊表示1個工件W皆未取出之情形時，不執行工件取出個數之範圍之計算處理，而將工件取出個數作為0個送出至動作控制部45。藉此，可防止工件取出個數計算部44之無用之計算處理。又，於登記資訊包含有工件取出個數之情形時，工件取出個數計算部44於計算出之工件取出個數之範圍為一個值(最小值與最大值相同之值)且為期望之取出個數(亦有複數個之情形)時，可基於登記資訊之工件取出個數驗算計算出之工件取出個數。
工件取出個數計算部44基於工件取出前後之對象空間之三維資訊與工件形狀資訊，考慮工件裝載區域中之空洞而計算工件取出個數之範圍。此處，參照圖3A及圖3B，對第一實施形態之工件取出個數之計算處理進行說明。圖3A及圖3B係顯示工件取出前後之工件裝載區域之一例之側視圖。圖3A顯示出將具有短邊及長邊之長方形之工件W全部橫倒並縱向堆疊之工件取出前之工件裝載區域。圖3B顯示出1個工件W皆未取出，且2個工件W倒塌之工件取出後之工件裝載區域。視覺感測器5自上方拍攝工件裝載區域並輸出工件取出前之三維資訊51(虛線所示)與工件取出後之三維資訊52(虛線所示)。
無法判別工件裝載區域中自視覺感測器5看不到之不可見區域存在工件W還是存在空洞。因此，作為基本之見解，基於工件取出後於自工件裝載區域消失之消失區域A(粗虛線所示)中存在空洞來計算工件取出個數之範圍，藉此可準確推定工件取出個數。即，工件取出個數計算部44計算可收納於消失區域A之工件消失個數之範圍(於圖3A之例中為1個～2個)作為工件取出個數之範圍(1個～2個)。
作為將工件取出前後之對象空間之三維資訊51、52差分化後之差分區域(正的區域或負的區域)，取得消失區域A。又，可收納於消失區域A之工件消失個數之最大數(於圖3A之例中為2個)係將可自工件形狀資訊獲得之工件W相對於消失區域A反復差分化而求出，或將消失區域A之體積除以可自工件形狀資訊獲得之每一個工件W之體積而求出。可收納於消失區域A之工件消失個數之最小數(於圖3A之例中為1個)於工件消失個數之最大數為1個以上之情形時設為1個，於工件消失個數之最大數為0個之情形時設為0個而求出。
然而，如圖3B所示，有起因於工件W之裝載方法而於工件取出後發生工件W倒塌之情形。又，因無法判別工件裝載區域中自視覺感測器5看不到之不可見區域存在工件還是存在空洞，故亦考慮工件取出後工件裝載區域中新出現之倒塌區域B(粗虛線所示)中之空洞來計算工件取出個數之範圍，藉此可更準確地推定工件取出個數。即，工件取出個數計算部44可考慮工件取出後工件裝載區域中新出現之倒塌區域B中可收納之工件倒塌個數之範圍(於圖3A之例為1個～2個)，計算工件取出個數之範圍。
作為將工件取出前後之對象空間之三維資訊51、52差分化後之差分區域(負的區域或正的區域)，取得倒塌區域B。又，可收納於倒塌區域B之工件倒塌個數之最大數(於圖3B之例中為2個)係將可自工件形狀資訊獲得之工件W相對於倒塌區域B反復差分化而求出，或將倒塌區域B之體積除以可自工件形狀資訊獲得之每一個工件W之體積而求出。可收納於倒塌區域B之工件倒塌個數之最小數(於圖3B之例中為1個)於工件倒塌個數之最大數為1個以上之情形時，設為1個，於工件倒塌個數之最大數為0個之情形時設為0個而求出。
接著，工件取出個數計算部44亦可自工件消失個數之最大數(於圖3A之例中為2個)減去工件倒塌個數之最小數(於圖3B之例中為1個)求出工件取出個數之最大值(1個)，自工件消失個數之最小數(於圖3A之例中為1個)減去工件倒塌個數之最大數(於圖3B之例中為2個)求出工件取出個數之最小值(因無法取出-1個工件W，故於負數之情形時為0個)，藉此計算工件取出個數之範圍(0個～1個)。因此，工件取出個數之範圍R之計算式如下。
[數1]
Figure 02_image001
於式1中，J+H為工件消失個數之最大數，J為工件消失個數之最小數，K+I為工件倒塌個數之最大數，K為工件倒塌個數之最小數。max(J-(K+I)，0)為工件取出個數之最小值，max((J+H)-K，0)為工件取出個數之最大值。另，max(自變量1，自變量2)函數係返回自變量1與自變量2中之較大值之函數。即，max函數於計算工件取出個數之最大值或最小值時，於負數之情形時返回0個。
另，於採用工件W不可能倒塌之裝載方法之情形時，無需特定倒塌區域B。於該情形時，工件取出個數計算部44只要將工件倒塌個數之最小數K設為0個，將工件倒塌個數之最大數K+1設為0個，僅基於可收納於消失區域A之工件消失個數之範圍J～J+H(於圖3A之例中為1個～2個)計算工件取出個數之範圍(1個～2個)即可。
又，於採用工件裝載區域中無空洞之裝載方法之情形時，只要將工件消失個數之最小數J設為工件消失個數之最大數J+H(於圖3A之例中為2個)，將工件倒塌個數之最小數K設為工件倒塌個數之最大數K+I(於圖3B之例中為2個)，計算工件取出個數之範圍(0個～0個)即可。
又，工件取出個數計算部44於基於自登記資訊取得部43取得之登記資訊判定是否執行工件取出個數之範圍之計算處理之情形時，因已知工件取出個數必須為1個以上，故於計算工件取出個數之最大值或最小值且為0個以下之情形時，可以返回1個之方式變更max函數。於該情形時，工件取出個數之範圍R之計算式如下。
[數2]
Figure 02_image003
若再次參照圖2，則雖工件取出個數計算部44並非必須，但可將對工件取出前後之對象空間之三維資訊之至少一者，重合工件取出後工件W之裝載區域中變化之變化區域Q(包含消失區域A與視情形而定之倒塌區域B)之重疊圖像送出至顯示裝置7，顯示裝置7之顯示部顯示自工件取出個數計算部44送出之重疊圖像。例如重疊圖像可為如圖3A及圖3B所示之工件之裝載區域之側視圖。顯示部亦可藉由例如分色、不同種類之包圍線、或顯示切換等識別並顯示變化區域Q、消失區域A、及視情形而定之倒塌區域B。藉此，可將工件取出個數之計算過程視覺化，確認工件取出個數之計算有無錯誤。
又，雖工件取出個數計算部44並非必須，但可將工件消失個數之範圍J～J+H、視情形而定之工件倒塌個數之範圍K～K+I、工件取出個數之範圍R、及工件取出個數之範圍R之最大值與最小值一致時之工件取出個數中之至少一者送出至顯示裝置7，顯示裝置7之顯示部顯示自工件取出個數計算部44送出之工件消失個數之範圍J～J+H、視情形而定之工件倒塌個數之範圍K～K+I、工件取出個數之範圍R、及工件取出個數之範圍R之最大值與最小值一致時之工件取出個數之至少一者。再者，雖工件取出個數計算部44並非必須，但亦可將對成為該等個數之範圍之計算依據之場所(J、H、K、I所示之場所)重合工件W之形狀模型之重疊圖像送出至顯示裝置7，顯示裝置7之顯示部顯示自工件取出個數計算部44送出之重疊圖像。藉此，可將工件取出個數之計算過程視覺化，確認工件取出個數之計算有無錯誤。
工件取出個數計算部44將計算出之工件取出個數之範圍R送出至動作控制部45。動作控制部45依照手部2與搬送裝置3之至少一者之動作程式控制手部2與搬送裝置3之至少一者之動作。動作控制部45基於工件取出個數之範圍R，控制(修正)手部2與搬送裝置3之至少一者之動作。即，動作控制部45指示手部2與搬送裝置3反復工件W之取出及送出之動作直至工件取出個數之範圍R成為一個值(最小值與最大值相同之值)，且成為期望之取出個數為止。動作控制部45於工件取出個數之範圍R並非一個值或並非期望之取出個數之情形時，指示手部2與搬送裝置3將工件W送出至原來之場所或臨時放置台並進行再次取出工件W之動作，於工件取出個數之範圍R為一個值，且為期望之取出個數之情形時，指示手部2與搬送裝置3將工件W搬送至送出位置並送出之動作。
圖4及圖5係顯示第一實施形態之手部系統1之動作之流程圖。於步驟S1中，判定記憶體中是否存在上一次工件取出後之三維資訊。於記憶體中不存在上一次工件取出後之三維資訊之情形時(步驟S1之否(NO))，於步驟S2中自視覺感測器5取得工件取出前之對象空間之三維資訊51。於記憶體中存在上一次工件取出後之三維資訊之情形時(步驟S1之是(YES))，於步驟S3中將上一次工件取出後之三維資訊設為工件取出前之三維資訊51。
於步驟S4中，判定記憶體中是否存在工件取出前之工件W之位置(及根據需要為姿勢)。於記憶體中不存在工件取出前之工件W之位置(及根據需要為姿勢)之情形時(步驟S4之否)，於步驟S5中自工件取出前之三維資訊51檢測工件W之位置(及根據需要為姿勢)。於記憶體中存在工件取出前之三維資訊51中之工件W之位置(及根據需要為姿勢)之情形時(步驟S4之是)，前進至步驟S6。
於步驟S6中，基於工件W之位置(及根據需要為姿勢)使搬送裝置3移動至工件取出位置，使手部2動作取出工件W。於步驟S7中，基於登記感測器6之登記資訊判定是否已取出1個以上之工件W。但，當留意基於登記資訊判定是否執行工件取出個數之範圍之計算處理之步驟S7並非必須之步驟。於1個工件W皆未取出之情形時(步驟S7之否)，返回至步驟S1，再次取出工件W。於已取出1個以上之工件W之情形時(步驟S7之是)，前進至步驟S8。於步驟S8中，自視覺感測器5取得工件取出後之三維資訊52。
於步驟S9中，藉由將工件取出前後之三維資訊51、52差分化，特定工件取出後之工件裝載區域中變化之變化區域Q(消失區域A與視情形而定之倒塌區域B)。變化區域Q為差分化後之非0區域。藉由將步驟S9之後續處理限制於變化區域Q，而可防止無用之計算處理。變化區域Q可置換為與變化區域Q外切之外切長方形、外切圓等，或者，亦可為置換為與工件W之形狀對應之外切長方形、外切圓等。又，亦可使用距工件取出位置特定半徑之區域限制變化區域Q。
將工件取出前後之三維資訊51、52差分化之後之正的區域為消失區域A之情形時，負的區域為倒塌區域B。另一方面，將工件取出前後之三維資訊51、52差分化後之負的區域為消失區域A之情形時，正的區域為倒塌區域B。但，於採用工件W不可能倒塌之裝載方法之情形時，無需特定倒塌區域B。另，亦可藉由例如分色、不同之包圍線、或顯示切換等識別並顯示步驟S9中特定出之變化區域Q、消失區域A、及視情形而定之倒塌區域B。藉此，可將工件取出個數之計算過程視覺化，確認工件取出個數之計算有無錯誤。又，作為步驟S9之後續處理，亦可為了下一次取出工件，而於變化區域Q中檢測工件取出後之工件W之位置(及根據需要為姿勢)並預先存儲於記憶體。
於步驟S10中，基於工件形狀資訊，計算可收納於消失區域A之工件消失個數之範圍J～J+H、與視情形而定之倒塌區域B中可收納之工件倒塌個數之範圍K～K+I。工件消失個數之最大數J+H將可自工件形狀資訊獲得之工件W相對於消失區域A反復差分化而求出，或者可將消失區域A之體積除以可自工件形狀資訊獲得之每一個工件W之體積而求出。工件消失個數之最小數J於工件消失個數之最大數J+H為1個以上之情形時設為1個，於工件消失個數之最大數J+H為0個之情形時設為0個而求出。工件倒塌個數之最大數K+I將可自工件形狀資訊獲得之工件W相對於倒塌區域B反復差分化而求出，或者將倒塌區域B之體積除以自工件形狀資訊獲得之每一個工件W之體積而求出。工件倒塌個數之最小數K於工件倒塌個數之最大數K+I為1個以上之情形時設為1個，於工件倒塌個數之最大數為0個之情形時設為0個而求出。另，於步驟S10中，可於顯示裝置7顯示計算出之工件消失個數之範圍J～J+H、與視情形而計算出之工件倒塌個數之範圍K～K+I。又，如圖3A及圖3B所示，可將對成為該等個數範圍之計算依據之場所(J、H、K、I所示之場所)重合工件W之形狀模型之重疊圖像顯示於顯示裝置7。藉此，可將工件取出個數之計算過程視覺化，確認計算有無錯誤。
於步驟S11中，基於工件消失個數之範圍、與視情形而定之工件倒塌個數之範圍，計算工件取出個數之範圍R(max(J-(K+I)，1)～max((J+H)-K，1))。即，自工件消失個數之最大數J+H減去工件倒塌個數之最小數K求出工件取出個數之最大值，自工件消失個數之最小數J減去工件倒塌個數之最大數K+I求出工件取出個數之最小值，藉此計算工件取出個數之範圍R。但，於採用工件W不可能倒塌之裝載方法之情形時，將工件倒塌個數之最小數K設為0個，將工件倒塌個數之最大數K+I設為0個，僅基於工件消失個數之範圍計算工件取出個數之範圍。又，於不基於登記資訊判定是否取出1個以上之工件W之情形時(不進行步驟S7之處理之情形時)，基於式1之max(J-(K+I)，0)～max((J+H)-K，0))，計算0個以上之工件取出個數之範圍R。另，於步驟S11中，亦可將計算出之工件取出個數之範圍R顯示於顯示裝置7。
於步驟S12中，基於工件取出個數之範圍R，控制手部2與搬送裝置3之至少一者之動作。指示手部2與搬送裝置3反復工件W之取出及送出之動作直至工件取出個數之範圍R成為一個值(最小值與最大值相同之值)，且成為期望之取出個數為止。即，於工件取出個數之範圍R並非一個值或並非期望之取出個數之情形時，將工件W送出至原來之場所或暫時放置台，返回至步驟S1再次取出工件W(步驟S6)。於工件取出個數之範圍R成為一個值，且成為期望之取出個數之情形時，將工件W搬送至送出位置並送出工件W。
根據第一實施形態之手部系統1，因考慮工件裝載區域(消失區域A與視情形而定之倒塌區域B)中之空洞而計算工件取出個數之範圍，故可準確推定工件取出個數R。
對第二實施形態之手部系統1進行說明。第二實施形態之手部系統1於更精密地計算工件取出個數之點與第一實施形態之手部系統1不同。以下，當留意關於與第一實施形態之手部系統1相同之構成及相同之動作，省略說明。
此處參照圖6、圖7A及圖7B，對第二實施形態之工件取出個數之計算處理進行說明。圖6係顯示第二實施形態之手部系統1之動作之流程圖，圖7A及圖7B係顯示工件取出前後之工件裝載區域之一例之側視圖。圖6之流程圖具備更精密地計算圖4之步驟S10之處理之步驟S20～S24。圖7A及圖7B顯示與圖3A及圖3B相同之工件裝載區域。
於步驟S20中，於變化區域Q(包含消失區域A與視情形而定之倒塌區域B)中，自取出前後之三維資訊51、52之可自視覺感測器5看到之可見區域分別拿掉1個工件W，而分別產生不可見三維資訊53、54(一點虛線所示)。
於步驟S21中，於變化區域Q中，藉由相對於取出前之不可見三維資訊53，將取出後之三維資訊52差分化，而特定消失區域A中之不可見區域(正的區域)，計算消失區域A中之不可見區域可收納之工件消失不可見個數H。工件消失不可見個數H係將可自工件形狀資訊獲得之工件W相對於消失區域A中之不可見區域反復差分化而求出，或者，將消失區域A中之不可見區域之體積除以可自工件形狀資訊獲得之每一個工件W之體積而求出。
於步驟S22中，於變化區域Q中，藉由相對於取出後之不可見三維資訊54，將取出前之三維資訊51差分化，而特定倒塌區域B中之不可見區域(正的區域)，計算倒塌區域B中之不可見區域可收納之工件倒塌不可見個數I。工件倒塌不可見個數I係將可自工件形狀資訊獲得之工件W相對於倒塌區域B中之不可見區域反復差分化而求出，或者將倒塌區域B中之不可見區域之體積除以可自工件形狀資訊獲得之每一個工件W之體積而求出。但，於採用工件W不可能倒塌之裝載方法之情形時，無需步驟S22。
於步驟S23中，於變化區域Q中，藉由相對於取出前之三維資訊51，將取出前之不可見三維資訊53差分化，而特定消失區域A中之可見區域(正的區域)，計算消失區域A中之可見區域可收納之工件消失可見個數J。工件消失可見個數J係將可自工件形狀資訊獲得之工件W相對於消失區域A中之可見區域反復差分化而求出，或者將消失區域A中之可見區域之體積除以可自工件形狀資訊獲得之每一個工件W之體積而求出。
於步驟S24中，於變化區域Q中，相對於取出後之三維資訊52，將取出前之不可見三維資訊53與取出後之不可見三維資訊54差分化，而特定倒塌區域B中之可見區域(正的區域)，計算倒塌區域B中之可見區域可收納之工件倒塌可見個數K。但，於採用工件W不可能倒塌之裝載方法之情形時，無需計算工件倒塌可見個數K之步驟S24。工件倒塌可見個數K係將可自工件形狀資訊獲得之工件W相對於倒塌區域B中之可見區域反復差分化而求出，或者將倒塌區域B中之可見區域之體積除以可自工件形狀資訊獲得之每一個工件W之體積而求出。
於步驟S11中，基於工件消失個數之範圍(J～J+H)、與視情形而定之工件倒塌個數之範圍(K～K+I)，計算工件取出個數之範圍R(max(J-(K+I)，1)～max((J+H)-K，1))。即，自工件消失個數之最大數J+H減去工件倒塌個數之最小數K求出工件取出個數之最大值，自工件消失個數之最小數J減去工件倒塌個數之最大數K+I求出工件取出個數之最小值，藉此計算工件取出個數之範圍R。但，於採用工件W不可能倒塌之裝載方法之情形時，將工件倒塌個數之最小數K設為0個，將工件倒塌個數之最大數K+I設為0個，僅基於工件消失個數之範圍計算工件取出個數之範圍。又，於不基於登記資訊判定是否取出1個以上之工件W之情形時(不進行步驟S7之情形時)，基於式1之max(J-(K+I)，0)～max((J+H)-K，0))，計算0個以上之工件取出個數之範圍R。
根據第二實施形態之手部系統1，因藉由計算消失區域A中之不可見區域可收納之工件消失不可見個數H、與視情形而定之倒塌區域B中之不可見區域可收納之工件倒塌不可見個數I，考慮工件裝載區域(消失區域A與視情形而定之倒塌區域B)中之空洞而更精密地計算工件取出個數之範圍R，故可更準確地推定工件取出個數R。
以下，對工件裝載區域之另一例進行說明。圖8A及圖8B係顯示工件取出前後之工件裝載區域之另一例之側視圖。圖8A顯示將具有短邊及長邊之長方形之3個工件W縱向堆疊，將正中間之1個工件W縱置，將剩下2個工件W橫倒，且包含2個工件W量之空洞之工件取出前之工件裝載區域。圖8B顯示取出1個工件W，1個工件W皆未倒塌之工件取出後之工件裝載區域。視覺感測器5自上方拍攝工件裝載區域並輸出工件取出前之三維資訊51(虛線所示)與工件取出後之三維資訊52(虛線所示)。
根據第一實施形態之工件取出個數之計算處理(參照步驟S10)，可收納於消失區域A之工件消失個數之範圍J～J+H為1個～3個。因不存在倒塌區域B，故工件倒塌個數之範圍K～K+I為0個。因此，工件取出個數之範圍R(max(J-(K+I)，1)～max((J+H)-K，1))為1個～3個。因工件取出個數之範圍R並非一個值(最小值與最大值相同之值)，或並非期望之取出個數(於本實施形態中雖為1個，但亦有為複數個之情形)，故將工件W送出至原來之場所或暫時放置台，再次取出工件W。
根據第二實施形態之工件取出個數之計算處理(參照步驟S21～S24)，消失區域A中之不可見區域可收納之工件消失不可見個數H為2個。因不存在倒塌區域B，故倒塌區域B中之不可見區域可收納之工件倒塌不可見個數I為0個。消失區域A中之可見區域可收納之工件消失可見個數J為1個。因不存在倒塌區域B，故倒塌區域B中之可見區域可收納之工件倒塌可見個數K為0個。因此，工件取出個數之範圍R(max(J-(K+I)，1)～max((J+H)-K，1))為1個～3個。因工件取出個數之範圍R並非一個值(最小值與最大值相同之值)或並非期望之取出個數(於本實施形態中為1個)，故將工件W送出至原來之場所或暫時放置台，再次取出工件W。
對工件裝載區域之另一例進行說明。圖9A及圖9B係顯示工件取出前後之工件裝載區域之另一例之側視圖。圖9A顯示將具有短邊及長邊之長方形之3個工件W於橫向散裝，將2個工件W橫倒，將最左側之剩下1個工件W靠於正中間之工件W之工件取出前之工件裝載區域。圖9B顯示取出正中間之1個工件W，且最左側之工件W倒塌之工件取出後之工件裝載區域。視覺感測器5自上方拍攝工件裝載區域並輸出工件取出前之三維資訊51(虛線所示)與工件取出後之三維資訊52(虛線所示)。
根據第一實施形態之工件取出個數之計算處理(參照步驟S10)，消失區域A中可收納之工件消失個數之範圍J～J+H為2個～2個。倒塌區域B中可收納之工件倒塌個數之範圍K～K+I為1個～1個。因此，工件取出個數之範圍R(max(J-(K+I)，1)～max((J+H)-K，1))為1個～1個。因工件取出個數之範圍R為一個值(最小值與最大值相同之值)，且為期望之取出個數(於本實施形態中為1個)，故將工件W搬送至送出位置。
根據第二實施形態之工件取出個數之計算處理(參照步驟S21～S24)，因於消失區域A中不存在不可見區域，故消失區域A中之不可見區域可收納之工件消失不可見個數H為0個。因於倒塌區域B中不存在不可見區域，故倒塌區域B中之不可見區域可收納之工件倒塌不可見個數I為0個。消失區域A中之可見區域可收納之工件消失可見個數J為2個。倒塌區域B中之可見區域可收納之工件倒塌可見個數K為1個。因此，工件取出個數之範圍R(max(J-(K+I)，1)～max((J+H)-K，1))為1個～1個。因工件取出個數之範圍R為一個值(最小值與最大值相同之值)，且為期望之取出個數(於本實施形態中為1個)，故將工件W搬送至送出位置。
對工件裝載區域之進而另一例進行說明。圖10A及圖10B係顯示工件取出前後之工件裝載區域之另一例之側視圖。圖10A顯示將具有短邊及長邊之長方形之2個工件W橫倒，將左側之1個工件W卡於右側之1個工件W且浮空1個工件W量之工件取出前之工件裝載區域。圖10B顯示取出右側之1個工件W，左側之工件W如地面下沉般下落之工件取出後之工件裝載區域。視覺感測器5自上方拍攝工件裝載區域並輸出工件取出前之三維資訊51(虛線所示)與工件取出後之三維資訊52(虛線所示)。
於第一實施形態之工件取出個數之計算處理(參照步驟S10)中，消失區域A中可收納之工件消失個數之範圍J～J+H為2個～2個。另一方面，即使將工件取出前之三維資訊51與工件取出後之三維資訊52差分化，亦無法特定倒塌區域B(負的區域或正的區域)，故即使實際上存在倒塌區域B，但倒塌區域B中可收納之工件倒塌個數之範圍K～K+I亦出錯而為0個～0個(原先為1個～1個)。因此，工件取出個數之範圍R(max(J-(K+I)，1)~max((J+H)-K，1))出錯而為2個～2個，為一個值(最小值與最大值相同之值)。然而，因工件取出個數(2個)並非期望之取出個數(於本實施形態中為1個)，故將工件W送出至原來之場所或暫時放置台，再次取出工件W，故可防止手部系統1之誤作動。但，於期望之取出個數為2個之情形時，可能會出錯僅將1個工件W搬送至送出位置。然而，於登記資訊包含工件取出個數(1個)之情形時，藉由基於登記資訊之工件取出個數(1個)驗算計算出之工件取出個數(2個)，可防止手部系統1之誤作動。
於第二實施形態之工件取出個數之計算處理(參照步驟S21～S24)中，因於消失區域A中不存在不可見區域，故消失區域A中之不可見區域可收納之工件消失不可見個數H為0個。因於倒塌區域B中不存在不可見區域，故倒塌區域B中之不可見區域可收納之工件倒塌不可見個數I為0個。消失區域A中之可見區域可收納之工件消失可見個數J為2個。然而，即使相對於工件取出後之三維資訊52，將取出前之不可見三維資訊53與取出後之不可見三維資訊54差分化，亦無法特定倒塌區域B中之可見區域(正的區域)，故即使實際存在倒塌區域B，倒塌區域B中之可見區域可收納之工件倒塌可見個數之範圍K亦出錯而為0個。因此，工件取出個數之範圍R(max(J-(K+I)，1)～max((J+H)-K，1))出錯而為2個～2個，為一個值(最小值與最大值相同之值)。然而，因工件取出個數(2個)並非期望之取出個數(於本實施形態中為1個)，故將工件W送出至原來之場所或暫時放置台，再次取出工件W，故可防止手部系統1之誤作動。但，於期望之取出個數為2個之情形時，有可能會出錯僅將1個工件W搬送至送出位置。然而，於登記資訊包含工件取出個數(1個)之情形時，藉由基於登記資訊之工件取出個數(1個)驗算計算出之工件取出個數(2個)，可防止手部系統1之誤作動。
如圖10A及圖10B所示，於1個工件W如地面下沉般下落至正下方之情形時，無法判別是取出工件W產生消失區域A還是工件W地面下沉。因此，可能會計算錯誤之工件取出個數之範圍R。然而，認為藉由組合判定工件取出個數之範圍R是否為期望之取出個數(於本實施形態中為1個)，或基於登記資訊驗算工件取出個數之範圍R之其他方法，可減少引起手部系統1之誤作動之可能性。另，於工件W下落2個以上之量之情形時，工件取出個數計算部44可輸出錯誤。
對第三實施形態之手部系統1進行說明。第三實施形態之手部系統1因利用視覺感測器5作為登記感測器，故於不具備登記感測器6之點與第一實施形態之手部系統1不同。視覺感測器5計測並輸出包含裝載(散裝或堆疊)複數個工件W之工件裝載區域、與取出工件W之手部2之對象空間之三維資訊。於本實施形態中，藉由將視覺感測器5設置於與手部2或搬送裝置3不同之場所之固定點，視覺感測器5輸出包含取出工件W之手部2之對象空間之三維資訊。於其他實施形態中，於視覺感測器5輸出包含手部2之對象空間之三維資訊之情形時，亦可如第一實施形態般將視覺感測器5安裝於手部2或搬送裝置3。以下，當留意關於與第一實施形態之手部系統1相同之構成及相同之動作，省略說明。
再次參照圖2，於動作控制部45使搬送裝置3移動至工件取出後之待機位置時，登記資訊取得部43自視覺感測器5取得工件取出後之三維資訊52。登記資訊取得部43基於工件取出後之三維資訊52，產生表示已以手部2取出1個以上之工件W之登記資訊，並將產生之登記資訊送出至工件取出個數計算部44。
圖12係顯示工件取出後之三維資訊52之一例之距離圖像圖。本實施形態之登記資訊取得部43於工件取出後之三維資訊52中預先設定包含手部2之登記確認區域52a。登記資訊取得部43使用匹配處理等圖像處理自登記確認區域52a檢測工件W，產生表示已以手部2取出1個以上之工件W之登記資訊。於登記資訊表示已取出1個以上之工件W之情形時，工件取出個數計算部44執行工件取出個數之範圍之計算處理。於登記資訊表示1個工件W皆未取出之情形時，工件取出個數計算部44不執行工件取出個數之範圍之計算處理，將工件取出個數設為0個並送出至動作控制部45。藉此可防止工件取出個數計算部44之無用之計算處理。
又，登記資訊取得部43可使用圖像處理自登記確認區域52a計算工件取出個數。工件取出個數計算部44於登記資訊包含工件取出個數之情形時，於計算出之工件取出個數之範圍為一個值(最小值與最大值相同之值)且為期望之取出個數(於本實施形態中為1個)時，可基於登記資訊之工件取出個數驗算計算出之工件取出個數。
根據第三實施形態之手部系統1，因利用視覺感測器5作為登記感測器，故無需準備與視覺感測器5不同之登記感測器，可提供低成本之手部系統1。又，可防止工件取出個數計算部44之無用之計算處理。
上述電腦程式可記錄於電腦可讀取之非暫時性記錄媒體，例如CD-ROM(Compact Disk-Read Only Memory：緊密磁碟-唯讀記憶體)等而提供，或者，亦可經由有線或無線自WAN(wide area network：廣域網路)或LAN(local area network：區域網路)上之伺服器裝置發佈而提供。
雖於本說明書中已對各種實施形態進行說明，但本發明並非限定於上述實施形態者，當辨識於專利申請範圍所記載之範圍內可進行各種變更。
1:手部系統 2:手部 3:搬送裝置 4:控制裝置 5:視覺感測器 6:登記感測器 7:顯示裝置 40:工件取出個數計算裝置 41:三維資訊取得部 42:工件形狀資訊取得部 43:登記資訊取得部 44:工件取出個數計算部 45:動作控制部 51:工件取出前之三維資訊 52:工件取出後之三維資訊 52a:登記確認區域 53:工件取出前之不可見三維資訊 54:工件取出後之不可見三維資訊 A:消失區域 B:倒塌區域 H:工件消失不可見個數 I:工件倒塌不可見個數 J:工件消失可見個數 K:工件倒塌可見個數 Q:變化區域 S1～S12:步驟 S20～S24:步驟 W:工件
圖1係第一實施形態之手部系統之構成圖。 圖2係第一實施形態之手部系統之方塊圖。 圖3A係顯示工件取出前之工件裝載區域之一例之工件裝載區域之側視圖。 圖3B係顯示工件取出後之工件裝載區域之一例之工件裝載區域之側視圖。 圖4係顯示第一實施形態之手部系統之動作之流程圖。 圖5係顯示第一實施形態之手部系統之動作之流程圖。 圖6係顯示第二實施形態之手部系統之動作之流程圖。 圖7A係顯示工件取出前之工件裝載區域之一例之側視圖。 圖7B係顯示工件取出後之工件裝載區域之一例之側視圖。 圖8A係顯示工件取出前之工件裝載區域之另一例之側視圖。 圖8B係顯示工件取出後之工件裝載區域之另一例之側視圖。 圖9A係顯示工件取出前之工件裝載區域之另一例之側視圖。 圖9B係顯示工件取出後之工件裝載區域之另一例之側視圖。 圖10A係顯示工件取出前之工件裝載區域之進而另一例之側視圖。 圖10B係顯示工件取出後之工件裝載區域之進而另一例之側視圖。 圖11係第三實施形態之手部系統之構成圖。 圖12係顯示工件取出後之三維資訊之一例之距離圖像圖。
1:手部系統
2:手部
3:搬送裝置
4:控制裝置
5:視覺感測器
6:登記感測器
7:顯示裝置
40:工件取出個數計算裝置
41:三維資訊取得部
42:工件形狀資訊取得部
43:登記資訊取得部
44:工件取出個數計算部
45:動作控制部

Claims (15)

  1. 一種工件取出個數計算裝置，其具備： 三維資訊取得部，其取得裝載有複數個工件之對象空間之三維資訊； 工件形狀資訊取得部，其取得上述工件之形狀資訊；及 工件取出個數計算部，其基於工件取出前後之上述對象空間之三維資訊與上述工件之形狀資訊考慮上述工件之裝載區域中之空洞，計算工件取出個數之範圍。
  2. 如請求項1之工件取出個數計算裝置，其中上述工件取出個數計算部基於工件取出後自上述裝載區域消失之消失區域中可收納之工件消失個數之範圍，計算上述工件取出個數之範圍。
  3. 如請求項2之工件取出個數計算裝置，其中上述工件取出個數計算部考慮工件取出後上述工件之上述裝載區域中新出現之倒塌區域可收納之工件倒塌個數之範圍，計算上述工件取出個數之範圍。
  4. 如請求項3之工件取出個數計算裝置，其中上述工件取出個數計算部藉由自上述工件消失個數之最大數減去上述工件倒塌個數之最小數求出上述工件取出個數之最大值，自上述工件消失個數之最小數減去上述工件倒塌個數之最大數求出上述工件取出個數之最小值，計算上述工件取出個數之範圍。
  5. 如請求項1至4中任一項之工件取出個數計算裝置，其進而具備顯示部，其顯示以下中之至少一者： 工件取出後自上述工件之裝載區域消失之消失區域中可收納之工件消失個數之範圍； 視情形於工件取出後上述工件之裝載區域新出現之倒塌區域中可收納之工件倒塌個數之範圍； 基於上述工件消失個數之範圍、與視情形而定之上述工件倒塌個數之範圍計算出之工件取出個數之範圍；及 上述工件取出個數之範圍之最大值與最小值一致之情形之工件取出個數。
  6. 如請求項5之工件取出個數計算裝置，其中上述顯示部顯示對成為上述工件消失個數之範圍、視情形而定之上述工件倒塌個數之範圍、及上述工件取出個數之範圍中之至少一者之計算依據之場所，重合上述工件之形狀模型的重疊圖像。
  7. 如請求項1至6中任一項之工件取出個數計算裝置，其中上述工件取出個數計算部藉由將工件取出前後之上述對象空間之上述三維資訊差分化，而特定工件取出後上述裝載區域中變化之變化區域。
  8. 如請求項7之工件取出個數計算裝置，其中上述變化區域包含工件取出後自上述對象空間之上述三維資訊消失之消失區域、與工件取出後上述對象空間之上述三維資訊中新出現之倒塌區域中之至少一者。
  9. 如請求項1至8中任一項之工件取出個數計算裝置，其進而具備取得表示是否已取出1個以上之上述工件之登記資訊之登記資訊取得部，上述工件取出個數計算部基於上述登記資訊判定是否執行上述工件取出個數之範圍之計算處理。
  10. 如請求項1至9中任一項之工件取出個數計算裝置，其進而具備動作控制部，其基於上述工件取出個數之範圍，控制進行上述工件之取出及送出之手部、與使用上述手部搬送上述工件之搬送裝置之至少一者之動作。
  11. 如請求項10之工件取出個數計算裝置，其中上述動作控制部指示上述手部反復上述工件之取出及送出之動作直至上述工件取出個數之範圍成為一個值且成為期望之取出個數為止。
  12. 一種手部系統，其具備： 手部，其進行工件之取出及送出； 搬送裝置，其使用上述手部搬送工件； 控制裝置，其控制上述手部及上述搬送裝置之至少一者之動作；及 視覺感測器，其輸出裝載有複數個上述工件之對象空間之三維資訊；且 上述控制裝置具備： 三維資訊取得部，其自上述視覺感測器取得上述對象空間之三維資訊； 工件形狀資訊取得部，其取得上述工件之形狀資訊； 工件取出個數計算部，其基於工件取出前後之上述對象空間之三維資訊與上述工件之形狀資訊，考慮上述工件之裝載區域中之空洞，計算工件取出個數之範圍；及 動作控制部，其基於上述工件取出個數之範圍，控制上述手部及上述搬送裝置之至少一者之動作。
  13. 如請求項12之手部系統，其進而具備輸出表示是否已取出1個以上之工件之登記資訊之登記感測器，上述工件取出個數計算部基於上述登記資訊判定是否執行上述工件取出個數之範圍之計算處理。
  14. 一種顯示裝置，其視覺性顯示自裝載複數個之工件中取出之工件之取出個數之計算過程，且具備顯示對工件取出前後之對象空間之三維資訊之至少一者，重合工件取出後工件之裝載區域中變化之變化區域之重疊圖像的顯示部。
  15. 如請求項14之顯示裝置，其中上述變化區域包含上述工件取出後自上述裝載區域消失之消失區域、與視情形而定之上述工件取出後上述裝載區域中新出現之倒塌區域之至少一者，上述顯示部識別並顯示上述變化區域、上述消失區域、及視情形而定之上述倒塌區域之至少一者。
TW111118348A 2021-06-17 2022-05-17 工件取出個數計算裝置、手部系統及顯示裝置 TW202301197A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/023100 WO2022264381A1 (ja) 2021-06-17 2021-06-17 ワーク取出し個数算出装置、ハンドシステム、及び表示装置
WOPCT/JP2021/023100 2021-06-17

Publications (1)

Publication Number Publication Date
TW202301197A true TW202301197A (zh) 2023-01-01

Family

ID=84526952

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111118348A TW202301197A (zh) 2021-06-17 2022-05-17 工件取出個數計算裝置、手部系統及顯示裝置

Country Status (6)

Country Link
US (1) US20240269827A1 (zh)
JP (1) JPWO2022264381A1 (zh)
CN (1) CN117425549A (zh)
DE (1) DE112021007401T5 (zh)
TW (1) TW202301197A (zh)
WO (1) WO2022264381A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4784823B2 (ja) 2005-12-28 2011-10-05 株式会社Ｉｈｉ 物品の荷崩れ検出方法および装置
US9205558B1 (en) 2014-07-16 2015-12-08 Google Inc. Multiple suction cup control
JP6785687B2 (ja) * 2017-03-03 2020-11-18 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6725587B2 (ja) * 2018-05-18 2020-07-22 ファナック株式会社 バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法

Also Published As

Publication number Publication date
DE112021007401T5 (de) 2024-01-18
JPWO2022264381A1 (zh) 2022-12-22
CN117425549A (zh) 2024-01-19
WO2022264381A1 (ja) 2022-12-22
US20240269827A1 (en) 2024-08-15

Similar Documents

Publication Publication Date Title
US10703584B2 (en) Robotic system with automated package registration mechanism and methods of operating the same
JP2019509559A (ja) センサ誘導式ロボットを用いたボックスの位置特定、分離、およびピッキング
JP2021022364A (ja) エッジ及び多次元コーナーに基づく検出後の精緻化
JP2010247959A (ja) 箱状ワーク認識装置および方法
JP2014161965A (ja) 物品取り出し装置
EP3588436B1 (en) Methods, systems, and apparatuses for computing dimensions of an object using range images
JP7175487B1 (ja) 画像ベースのサイジングメカニズムを備えたロボットシステム及びロボットシステムを操作するための方法
JP6424560B2 (ja) 異常原因推定装置、ピッキング装置及びピッキング装置における異常原因推定方法
JP7398662B2 (ja) ロボット多面グリッパアセンブリ及びその操作方法
JP2024015358A (ja) 物体取り扱いを伴うロボットシステムのためのシステム及び方法
TW202301197A (zh) 工件取出個數計算裝置、手部系統及顯示裝置
CN111783529B (zh) 基于边缘和多维拐角的检测后改善
JP7398763B2 (ja) 重なり処理機構を備えたロボットシステム及びその操作方法
WO2023073780A1 (ja) 学習データの生成装置および学習データの生成方法、並びに学習データを使用する機械学習装置および機械学習方法
JP7218881B1 (ja) 物体更新機構を備えたロボットシステム及びロボットシステムを操作するための方法
US20230111819A1 (en) Workpiece holding apparatus, workpiece holding method, program, and control apparatus
CN116551672A (zh) 用于具有物体处置能力的机器人系统的系统和方法
CN113219900A (zh) 基于相机生成的图像信息执行运动规划的方法和计算系统
CN115258510A (zh) 具有物体更新机制的机器人系统和用于操作所述机器人系统的方法