TWI734055B - 自動控制方法以及自動控制裝置 - Google Patents

自動控制方法以及自動控制裝置 Download PDF

Info

Publication number
TWI734055B
TWI734055B TW107143035A TW107143035A TWI734055B TW I734055 B TWI734055 B TW I734055B TW 107143035 A TW107143035 A TW 107143035A TW 107143035 A TW107143035 A TW 107143035A TW I734055 B TWI734055 B TW I734055B
Authority
TW
Taiwan
Prior art keywords
automatic control
placement area
processing unit
control device
automatic
Prior art date
Application number
TW107143035A
Other languages
English (en)
Other versions
TW202021753A (zh
Inventor
林世偉
周阜毅
楊駿明
翁尉展
溫志群
Original Assignee
財團法人金屬工業研究發展中心
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人金屬工業研究發展中心 filed Critical 財團法人金屬工業研究發展中心
Priority to TW107143035A priority Critical patent/TWI734055B/zh
Priority to US16/691,544 priority patent/US20200171655A1/en
Publication of TW202021753A publication Critical patent/TW202021753A/zh
Application granted granted Critical
Publication of TWI734055B publication Critical patent/TWI734055B/zh

Links

Images

Landscapes

  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本發明提出一種自動控制方法以及自動控制裝置。自動控制裝置包括處理單元、記憶單元以及攝影單元,並藉由自動控制裝置操作機械手臂。記憶單元用以記錄物件資料庫以及行為資料庫。當自動控制裝置操作在自動工作模式時,攝影單元用以取得第一放置區域的連續影像。處理單元分析連續影像,以判斷在第一放置區域中是否放置有匹配記錄在物件資料庫中的物件模型的物件。當處理單元判斷第一放置區域放置有物件時,處理單元讀取行為資料庫,以取得對應於物件模型的控制資料,並且處理單元依據控制資料來操作機械手臂抓取並移動物件,以將物件放置於第二放置區域。

Description

自動控制方法以及自動控制裝置
本發明是有關於一種自動控制技術,且特別是有關於一種具有視覺引導功能的自動控制方法以及自動控制裝置。
由於目前的製造工業皆朝向自動化的方向發展,因此目前在自動化工廠中大量運用機械手臂來取代人力。然而,對於傳統的機械手臂來說,操作者須透過繁複的點位設定或程式撰寫,以教導機械手臂進行特定動作或姿勢。也就是說,傳統的機械手臂的建置具有佈署速度緩慢並且需要大量的程式編碼的缺點,因此導致機械手臂的建置成本過高。對此,如何提供一種可快速建置並且可準確地執行自動控制工作的自動控制裝置,以下將提出幾個實施例的解決方案。
本發明提供一種自動控制方法以及自動控制裝置,可提供有效且便利的視覺引導功能,並可準確地執行自動控制工作。
本發明的一種自動控制裝置包括處理單元、記憶單元以及攝影單元。記憶單元耦接處理單元,並且用以記錄物件資料庫以及行為資料庫。機械手臂被耦接至自動控制裝置的處理單元。攝影單元耦接處理單元。當自動控制裝置操作在自動工作模式時,攝影單元用以取得第一放置區域的連續影像。處理單元分析連續影像,以判斷在第一放置區域中是否放置有匹配記錄在物件資料庫中的物件模型的物件。當處理單元判斷第一放置區域放置有物件時,處理單元讀取行為資料庫,以取得對應於物件模型的控制資料。處理單元依據控制資料來自動控制機械手臂抓取並移動物件,以將物件放置於第二放置區域。
以下為關於本發明的自動控制裝置操作在自動學習模式的描述。
在本發明的一實施例中,當上述的自動控制裝置操作在自動學習模式時,攝影單元取得第一放置區域的連續影像中。處理單元分析連續影像,以判斷是否出現手部影像。當連續影像中出現手部影像接近放置在第一放置區域中的物件時,處理單元識別手部影像對物件進行的抓取動作,以取得對應的控制資料,並且記錄控制資料至行為資料庫。
在本發明的一實施例中,當上述的自動控制裝置操作在自動學習模式,並且第一放置區域出現手部影像時,處理單元判斷手部影像所抓取的物件是否匹配物件資料庫的物件模型,以決定進行識別,並且依據連續影像來記錄手部影像抓取物件時,物件於空間中的運動軌跡資料和運動姿態資料。物件的運動軌跡資料和運動姿態資料包括手部影像抓取物件後,手部影像移動並且將物件放置於第二放置區域直至手部影像離開物件時,物件的運動軌跡和姿態。
在本發明的一實施例中,上述的控制資料包括物件的運動軌跡資料和運動姿態資料以及手部影像的抓取手勢資料。
以下為關於本發明的自動控制裝置操作在自動工作模式的描述。
在本發明的一實施例中,當上述的自動控制裝置操作在自動工作模式時,處理單元依據經由自動學習模式預設或經修改後的物件的運動軌跡資料和運動姿態資料,以及手部影像的抓取手勢資料來控制機械手臂抓取物件。
在本發明的一實施例中,上述的控制資料包括物件被放置在第二放置區域的放置位置資料以及手部放置物件在第二放置區域的物件放置姿態資料。
在本發明的一實施例中,當上述的自動控制裝置操作在自動工作模式,並且機械手臂抓取物件後,處理單元依據物件放置位置資料以及物件放置姿態資料來操作機械手臂移動物件至第二放置區域。
在本發明的一實施例中,上述的控制資料包括第二放置區域的環境特徵資料。
在本發明的一實施例中,當上述的自動控制裝置操作在自動工作模式,並且機械手臂抓取物件並移動至第二放置區域後,處理單元依據環境特徵資料來操作機械手臂將物件放置至第二放置區域中。
在本發明的一實施例中,上述的攝影單元為彩色深度攝影機。
本發明的一種自動控制方法適用於自動控制裝置。所述自動控制方法包括以下步驟:當自動控制裝置操作在自動工作模式時,藉由攝影單元取得第一放置區域的連續影像;藉由處理單元分析連續影像,以判斷在第一放置區域中是否放置有匹配記錄在物件資料庫中的物件模型的物件;當處理單元判斷第一放置區域放置有物件時,藉由處理單元讀取記錄在記憶單元中的行為資料庫,以取得對應於物件模型的控制資料;以及藉由處理單元依據控制資料來操作機械手臂抓取並移動物件,以將物件放置於第二放置區域。
以下為關於在本發明的自動控制方法中所執行的自動學習模式的描述。
在本發明的一實施例中,上述的自動控制方法更包括以下步驟:當自動控制裝置操作在自動學習模式時,藉由攝影單元取得第一放置區域的連續影像;藉由處理單元分析連續影像,以判斷是否出現手部影像;以及當連續影像中出現手部影像接近放置在第一放置區域中的物件時,藉由處理單元識別手部影像對物件進行的抓取動作,以取得對應的控制資料,並且記錄控制資料至行為資料庫。
在本發明的一實施例中,上述的藉由處理單元分析連續影像,以判斷第一放置區域是否出現手部影像接近放置在第一放置區域中的物件的步驟包括:當自動控制裝置操作在自動學習模式,並且第一放置區域出現手部影像時,藉由處理單元判斷手部影像所抓取的物件是否匹配物件資料庫的物件模型,以決定進行識別,並且依據連續影像來記錄手部影像抓取物件時,物件於空間中的運動軌跡資料和運動姿態資料。物件的運動軌跡資料和運動姿態資料包括手部影像抓取物件後,手部影像移動並且將物件放置於第二放置區域直至手部影像離開物件的運動軌跡和姿態。
在本發明的一實施例中,上述的控制資料包括物件的運動軌跡資料和物件的運動姿態資料,以及手部影像的抓取手勢資料。
以下為關於在本發明的自動控制方法中所執行的自動工作模式的描述。
在本發明的一實施例中,上述的藉由處理單元依據控制資料來操作機械手臂抓取並移動物件,以將物件放置於第二放置區域的步驟包括:當自動控制裝置操作在自動工作模式時,藉由處理單元依據經由自動學習模式預設或經修改的物件的運動軌跡資料和運動姿態資料,以及手部影像的抓取手勢資料來操作機械手臂抓取物件。
在本發明的一實施例中,上述的控制資料包括物件被放置在第二放置區域的放置位置資料以及手部影像放置物件在第二放置區域的放置姿態資料。
在本發明的一實施例中,上述的藉由處理單元依據控制資料來操作機械手臂抓取並移動物件,以將物件放置於第二放置區域的步驟包括:當自動控制裝置操作在自動工作模式,並且機械手臂抓取物件後,藉由處理單元依據物件放置位置資料以及放置姿態資料來操作機械手臂移動物件至第二放置區域。
在本發明的一實施例中,上述的控制資料包括第二放置區域的環境特徵資料。
在本發明的一實施例中,上述的藉由處理單元依據控制資料來操作機械手臂抓取並移動物件,以將物件放置於第二放置區域的步驟包括:當自動控制裝置操作在自動工作模式,並且機械手臂抓取物件並移動至第二放置區域後,藉由處理單元依據環境特徵資料來操作機械手臂將物件放置至第二放置區域中。
在本發明的一實施例中,上述的攝影單元為彩色深度攝影機。
基於上述,本發明的自動控制裝置以及自動控制方法,可藉由視覺引導的方式來學習使用者操作物件的特定手勢或行為,並藉由機械手臂來實現相同或對應於操作物件的自動控制工作。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
為了使本發明之內容可以被更容易明瞭,以下特舉實施例做為本發明確實能夠據以實施的範例。另外,凡可能之處,在圖式及實施方式中使用相同標號的元件/構件/步驟,係代表相同或類似部件。
圖1是依照本發明的一實施例的自動控制裝置的功能方塊圖。參考圖1,自動控制裝置100包括處理單元110、記憶單元120、以及攝影單元130。處理單元110耦接記憶單元120以及攝影單元130。在本實施例中,處理單元110可進一步耦接至外部的機械手臂200。在本實施例中,記憶單元120用以記錄物件資料庫121以及行為資料庫122。在本實施例中,自動控制裝置100可操作在自動工作模式以及自動學習模式,並且自動控制裝置100可經由自動學習後,藉由控制機械手臂200,以在兩個放置區域中進行自動化的物件移動工作。
此外,值得注意的是,在本實施例中,操作者可預先建立其工作對象物件的物件模型,或是經由輸入電腦輔設計(Computer Aided Design, CAD)模型來在物件資料庫121中進行建檔,以供後續的自動學習模式以及自動工作模式進行物件識別時,其中處理單元110可讀取並且進行物件比對操作。
在本實施例中,處理單元110可為影像訊號處理器(Image Signal Processor, ISP)、中央處理器(Central Processing Unit, CPU)、微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor, DSP)、可程式化控制器(Programmable Logic Controller, PLC)、特殊應用積體電路(Application Specific Integrated Circuit, ASIC)、系統單晶片(System on Chip, SoC)或其他類似元件或上述元件的組合,本發明並不加以限制。
在本實施例中,記憶單元120可為動態隨機存取記憶體(Dynamic Random Access Memory, DRAM)、快閃記憶體(Flash memory)或非揮發性隨機存取記憶體(Non-Volatile Random Access Memory, NVRAM),本發明並不加以限制。記憶單元120可用以記錄本發明各實施例所述的資料庫、影像資料、控制資料以及各式控制軟體等,以供處理單元110讀取並執行之。
在本實施例中,機械手臂200可為單軸或多軸,並且可執行物件抓取動作以及移動物件等姿勢。自動控制裝置100透過有線或無線的方式與機械手臂200進行通訊,以自動控制機械手臂200來實現本發明各實施例所述的自動學習模式以及自動工作模式。在本實施例中,攝影單元130可為彩色深度攝影機(RGB-D camera),並且可用以同時取得二維(two-dimensional)影像資訊以及三維(three-dimensional)影像資訊,以提供至處理單元110進行分析,例如影像辨識、深度量測、物件判斷或手部識別等諸如此類的影像分析操作,以實現本發明各實施例的自動工作模式、自動學習模式以及自動控制方法。此外,在本實施例中,機械手臂200以及攝影單元130為可移動狀態。特別是,攝影單元130可外設於另一個機械手臂上或可移載的自動機械裝置,並且經由處理單元110操作,以使攝影單元130可自動追隨機械手臂200或是以下實施例所述的手部影像來進行相關的影像擷取操作。
圖2是依照本發明的一實施例的自動學習模式的操作示意圖。參考圖1以及圖2,在本實施例中,當自動控制裝置100操作自動學習模式時,自動控制裝置100可藉由攝影單元130取得第一放置區域R1的連續影像,並且藉由處理單元110對所述連續影像進行分析,以判斷在所述連續影像中是否出現手部影像B接近放置在第一放置區域R1的物件150。在本實施例中,處理單元110讀取記錄在記憶單元120中的物件資料庫121,以判斷是否有對應的物件模型可以與物件150匹配(係指此物件150為工作目標物件)。當處理單元110判斷在物件資料庫121中的物件模型與物件150匹配時,處理單元110對此手部影像B進行識別,以學習此手部影像B的姿勢。換言之,本實施例的自動控制裝置100會自動地先判斷是否存在物件150,接著執行手部識別。因此,在自動學習模式中,處理單元110可識別手部影像B對物件150進行的抓取動作,以取得對應的控制資料,並且記錄此控制資料至行為資料庫122中。
具體而言,當處理單元110判斷在第一放置區域R1當中放置有物件150,並且攝影單元130拍攝到手部影像B時,首先,攝影單元130將跟隨手部影像B進行影像擷取,以記錄手部影像B將物件150拾起、移動以及放置在第二放置區域R2的姿勢。在本實施例中,當手部影像B抓取並移動物件150時,處理單元110可記錄物件150的運動軌跡和物件150的運動姿態以及手部影像B的抓取手勢,以將物件150的運動軌跡資料和運動姿態資料以及手部影像B進行抓取動作的抓取手勢資料記錄至記憶單元120的行為資料庫122當中。詳細而言,所述的運動軌跡資料和所述的運動姿態資料可包括手部影像B從第一放置區R1抓取物件150後,手部影像B移動並且將物件150放置於第二放置區域R2直至手部影像B離開物件150的運動軌跡和姿態。接著,當手部影像B抓取並移動物件150時,當手部影像B將物件150抓取並移動至第二放置區域R2時,處理單元110可記錄第二放置區域R2的放置位置(例如座標)以及手部影像B放置物件150在第二放置區域R2的放置姿態,以將放置位置資料以及放置姿態資料記錄至記憶單元120的行為資料庫122當中。最後,處理單元110可記錄第二放置區域R2的環境特徵(例如放置區域的型態、外觀或周邊情境),以將環境特徵資料記錄至記憶單元120的行為資料庫122當中。因此,自動控制裝置100完成記錄上述的控制資料後,自動控制裝置100即可藉由讀取此控制資料來執行自動工作模式。
圖3是依照本發明的一實施例的自動學習模式的流程圖。參考圖1至圖3,本實施例的動學習模式的流程可適用於圖1以及圖2實施例的自動控制裝置100。在步驟S301中,自動控制裝置100執行自動學習模式。在步驟S302中,自動控制裝置100的攝影單元130取得第一放置區域R1的連續影像。在步驟S303中,自動控制裝置100的處理單元110分析第一放置區域R1的連續影像,以判斷是否出現手部影像B。若否,則自動控制裝置100重新執行步驟S302。若是,則自動控制裝置100執行步驟S304。在步驟S304中,自動控制裝置100的處理單元110判斷手部影像B所抓取的物件150是否與記錄在物件資料庫121中的物件模型匹配。若否,則自動控制裝置100重新執行步驟S302。若是,則自動控制裝置100執行步驟S305。在步驟S305中,自動控制裝置100的處理單元110識別手部影像B對所述物件150進行的抓取物件。在步驟S306中,自動控制裝置100的處理單元110記錄所述物件150的運動軌跡資料和運動姿態資料以及手部影像B的抓取手勢資料。在步驟S307中,自動控制裝置100的處理單元110記錄所述物件150被放置在第二放置區域R2的放置位置資料以及B放置所述物件150在第二放置區域R2的放置姿態資料。在步驟S308中,自動控制裝置100的處理單元110可記錄第二放置區域R2的環境特徵資料。在步驟S309中,自動控制裝置100的結束自動學習模式。據此,本實施例的自動控制裝置100可藉由視覺式的方式來實現的自動學習功能。
圖4是依照本發明的一實施例的自動工作模式的操作示意圖。參考圖1以及圖4,在本實施例中,當自動控制裝置100操作自動工作模式時,自動控制裝置100可藉由攝影單元130取得第一放置區域R1的連續影像,並且藉由處理單元110對所述影像進行分析,以判斷在所述連續影像中是否有放置物件150’。在本實施例中,處理單元110讀取記錄在記憶單元120中的物件資料庫121,以判斷是否有對應的物件模型與所述特物件150’匹配。當處理單元110判斷在物件資料庫121中的物件模型與所述物件150’匹配時,處理單元110讀取記錄在記憶單元120中的行為資料庫122,以讀取對應於所述物件模型的控制資料。因此,處理單元110可依據所述控制資料來操作機械手臂200抓取並移動放置在第一放置區域R1的物件150’,以將物件150’放置於第二放置區域R2中。
然而,值得注意的是,本實施例所述的控制資料可以是經由上述圖2以及圖3實施例所述的自動控制裝置100操作在自動學習模式時所記錄的相關控制資料,但本發明並不限於此。
具體而言,當處理單元110藉由攝影單元130拍攝第一放置區域R1的連續影像,並藉由判斷連續影像當中的第一放置區域R1當中是否放置有匹配記錄在物件資料庫121中的物件模型的物件150’。若有,則自動控制裝置100的處理單元110讀取行為資料庫122,以取得對應於物件模型(或對應物件150’)的控制資料。在本實施例中,所述控制資料可包括物件150’的運動軌跡資料、運動姿態資料、手部影像的抓取手勢資料、放置位置資料、放置姿態資料以及環境特徵資料等,本發明並不限於此。
更進一步而言,首先,處理單元110依據經由自動學習模式預設或經修改後的運動軌跡資料和運動姿態資料以及手部影像的抓取手勢資料來操作機械手臂200抓取物件150’。接著,處理單元110依據放置位置資料以及放置姿態資料來操作機械手臂200移動物件150’至第二放置區域R2。並且,在本實施例中,攝影單元130可跟隨機械手臂200移動,以拍攝第二放置區域R2的連續影像。最後,處理單元110依據環境特徵資料來操作機械手臂200將物件150’放置至第二放置區域R2中。因此,自動控制裝置100完成上述的動作後,自動控制裝置100即完成一次自動工作任務,並且機械手臂200可回到原位,以對放置在第一放置區域R1當中與物件150’有相同外觀的其他目標工作物件來接續執行相同自動工作任務。據此,本實施例的自動控制裝置100可提供高可靠度的自動工作效果。
圖5是依照本發明的一實施例的自動工作模式的流程圖。參考圖1、圖4以及圖5。本實施例的動作學習模式的流程可適用於圖4以及圖5實施例的自動控制裝置100。在步驟S501中,自動控制裝置100執行學習模式。在步驟S502中,自動控制裝置100的攝影單元130取得第一放置區域R1的連續影像。在步驟S503中,自動控制裝置100分析第一放置區域R1的所述連續影像,以判斷在第一放置區域R1中是否放置有與記錄在物件資料庫121中的物件模型匹配的物件150’。若否,則自動控制裝置100重新執行步驟S502。若是,則自動控制裝置100執行步驟S504。在步驟S504中,自動控制裝置100的處理單元110依據預設或經修改後物件運動軌跡和姿態資料以及抓取手勢資料來操作機械手臂200抓取物件150’。在步驟S505中,自動控制裝置100的處理單元110依據放置位置資料以及放置姿態資料來操作機械手臂200移動物件150’至第二放置區域R2。在步驟S506中,自動控制裝置100的處理單元110依據環境特徵資料來操作機械手臂200將所述物件150’放置至第二放置區域R2中。在步驟S507中,自動控制裝置100的處理單元110判斷是否符合自動工作模式結束條件。在本實施例中,自動工作模式結束條件例如是機械手臂200的執行次數,或是第一放置區域R1的連續影像當中的物件150’是否不存在,或是第二放置區域R2的放置環境是否無法繼續執行(例如第二放置區域R2被放滿多個物件150’)。若否,則自動控制裝置100的處理單元110執行步驟S502。若是,則自動控制裝置100的處理單元110步驟S508,以結束自動工作模式。據此,本實施例的自動控制裝置100可實現視覺引導功能,並可準確地執行自動控制工作。
值得注意的是,在上述各實施例中所述的連續影像是指攝影單元130在自動學習模式以及自動工作模式可連續地擷取影像。攝影單元130可即時地擷取影像,並且處理單元110可同步地分析影像,以取得相關資料來自動控制機械手臂200。換言之,使用者可先執行圖3實施例的流程,以進行自動學習模式後,接續執行圖5實施例所述的流程,進行自動工作模式。
圖6是依照本發明的一實施例的自動控制方法的流程圖。參考圖1以及圖6,本實施例的自動控制方法的流程可至少適用於圖1實施例的自動控制裝置100。在步驟S610中,當自動控制裝置100操作在自動工作模式時,自動控制裝置100藉由攝影單元130取得第一放置區域的連續影像。在步驟S620中,處理單元110藉由分析連續影像,以判斷在第一放置區域中是否放置有匹配記錄在物件資料庫121中的物件模型的物件。在步驟S630中,當處理單元110判斷第一放置區域放置有所述物件時,處理單元110讀取行為資料庫122,以取得對應於物件模型的控制資料。在步驟S640中,處理單元110依據控制資料來操作機械手臂200來抓取並移動所述物件,以將所述物件放置於第二放置區域。據此,本實施例的自動控制裝置100可準確地執行自動控制工作。
另外,關於本實施例的自動控制裝置100的其他元件特徵、實施細節以及技術特徵,可參考上述圖1至圖4的各實施例的說明而獲致足夠的教示、建議以及實施說明,因此在此不多加贅述。
綜上所述,本發明的自動控制裝置以及自動控制方法,可藉由在自動學習模式中先學習操作者的手部動作和被操作物件的行為,以記錄相關操作參數以及控制資料,接著可藉由在自動工作模式中利用在自動學習模式中取得的相關操作參數以及控制資料來自動控制機械手臂,以使機械手臂可準確地執行自動控制工作。因此,本發明的自動控制裝置以及自動控制方法可提供有效且便利的視覺引導功能,並可提供高可靠度的自動控制效果。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:自動控制裝置110:處理單元120:記憶單元121:物件資料庫122:行為資料庫130:攝影單元200:機械手臂150、150’:物件B:手部影像R1:第一放置區域R2:第二放置區域S301~S309、S501~S508、S610~S640:步驟
圖1是依照本發明的一實施例的自動控制裝置的功能方塊圖。 圖2是依照本發明的一實施例的自動學習模式的操作示意圖。 圖3是依照本發明的一實施例的自動學習模式的流程圖。 圖4是依照本發明的一實施例的自動工作模式的操作示意圖。 圖5是依照本發明的一實施例的自動工作模式的流程圖。 圖6是依照本發明的一實施例的自動控制方法的流程圖。
100:自動控制裝置
110:處理單元
120:記憶單元
121:物件資料庫
122:行為資料庫
130:攝影單元
200:機械手臂

Claims (20)

  1. 一種自動控制裝置,包括:一處理單元;一記憶單元,耦接該處理單元,並且用以記錄一物件資料庫以及一行為資料庫;以及一攝影單元,耦接該處理單元,其中當該自動控制裝置操作在一自動工作模式時,該攝影單元用以取得一第一放置區域的一連續影像,並且該處理單元分析該連續影像,以判斷在該第一放置區域中是否放置有匹配記錄在該物件資料庫中的一物件模型的一物件,其中當該處理單元判斷該第一放置區域放置有該物件時,該處理單元讀取該行為資料庫,以取得經由一自動學習模式預設或經修改後的對應於該物件模型的該物件的一控制資料,並且該處理單元操作在該自動工作模式時依據該控制資料來自動控制一機械手臂抓取並移動該物件,以將該物件放置於一第二放置區域,其中該控制資料包括該物件的一運動軌跡資料以及一運動姿態資料。
  2. 如申請專利範圍第1項所述的自動控制裝置,其中當該自動控制裝置操作在一自動學習模式時,該攝影單元取得該第一放置區域的該連續影像,並且該處理單元分析該連續影像,以判斷是否出現一手部影像, 其中當該連續影像中出現該手部影像接近放置在該第一放置區域中的該物件時,該處理單元識別該手部影像對該物件進行的抓取動作,以取得對應的該控制資料,並且記錄該控制資料至該行為資料庫。
  3. 如申請專利範圍第2項所述的自動控制裝置,其中當該自動控制裝置操作在該自動學習模式,並且該第一放置區域出現該手部影像時,該處理單元判斷該手部影像所抓取的該物件是否匹配該物件資料庫的該物件模型,以決定進行識別。
  4. 如申請專利範圍第2項所述的自動控制裝置,其中該控制資料更包括該手部影像的一抓取手勢資料。
  5. 如申請專利範圍第4項所述的自動控制裝置,其中當該自動控制裝置操作在該自動工作模式時,該處理單元更依據該抓取手勢資料來操作該機械手臂抓取該物件。
  6. 如申請專利範圍第2項所述的自動控制裝置,其中該控制資料包括該物件被放置在該第二放置區域的一放置位置資料以及該手部影像放置該物件在該第二放置區域的一放置姿態資料。
  7. 如申請專利範圍第6項所述的自動控制裝置,其中當該自動控制裝置操作在該自動工作模式,並且該機械手臂抓取該物件後,該處理單元依據該放置位置資料以及該放置姿態資料來操作該機械手臂移動該物件至該第二放置區域。
  8. 如申請專利範圍第2項所述的自動控制裝置,其中該控制資料包括該第二放置區域的一環境特徵資料。
  9. 如申請專利範圍第8項所述的自動控制裝置,其中當該自動控制裝置操作在該自動工作模式,並且該機械手臂抓取該物件並移動至該第二放置區域後,該處理單元依據該環境特徵資料來操作該機械手臂將該物件放置至該第二放置區域中。
  10. 如申請專利範圍第1項所述的自動控制裝置,其中該攝影單元為一彩色深度攝影機。
  11. 一種自動控制方法,適用於一自動控制裝置,其中該自動控制方法包括:當該自動控制裝置操作在一自動工作模式時,藉由一攝影單元取得一第一放置區域的一連續影像;藉由一處理單元分析該連續影像,以判斷在該第一放置區域中是否放置有匹配記錄在一物件資料庫中的一物件模型的一物件;當該處理單元判斷該第一放置區域放置有該物件時,藉由該處理單元讀取記錄在一記憶單元中的一行為資料庫,以取得經由一自動學習模式預設或經修改後的對應於該物件模型的該物件的一控制資料,其中該控制資料包括該物件的一運動軌跡資料以及一運動姿態資料;以及藉由該處理單元操作在該自動工作模式時依據該控制資料來自動控制一機械手臂抓取並移動該物件,以將該物件放置於一第二放置區域。
  12. 如申請專利範圍第11項所述的自動控制方法,更包括: 當該自動控制裝置操作在一自動學習模式時,藉由該攝影單元取得該第一放置區域的該連續影像;藉由該處理單元分析該連續影像,以判斷是否出現一手部影像;以及當該連續影像中出現該手部影像接近放置在該第一放置區域中的該物件時,藉由該處理單元識別該手部影像對該物件進行的抓取動作,以取得對應的該控制資料,並且記錄該控制資料至該行為資料庫。
  13. 如申請專利範圍第12項所述的自動控制方法,其中藉由該處理單元分析該連續影像,以判斷該第一放置區域是否出現該手部影像接近放置在該第一放置區域中的該物件的步驟包括:當該自動控制裝置操作在該自動學習模式,並且該第一放置區域出現該手部影像時,藉由該處理單元判斷該手部影像所抓取的該物件是否匹配該物件資料庫的該物件模型,以決定進行識別。
  14. 如申請專利範圍第12項所述的自動控制方法,其中該控制資料更包括該手部影像的一抓取手勢資料。
  15. 如申請專利範圍第14項所述的自動控制方法,其中藉由該處理單元依據該控制資料來操作該機械手臂抓取並移動該物件,以將該物件放置於該第二放置區域的步驟包括:當該自動控制裝置操作在該自動工作模式時,藉由該處理單元更依據該抓取手勢資料來操作該機械手臂抓取該物件。
  16. 如申請專利範圍第12項所述的自動控制方法,其中該控制資料包括該物件被放置在該第二放置區域的一放置位置資料以及該手部影像放置該物件在該第二放置區域的一放置姿態資料。
  17. 如申請專利範圍第16項所述的自動控制方法,其中藉由該處理單元依據該控制資料來操作該機械手臂抓取並移動該物件,以將該物件放置於該第二放置區域的步驟包括:當該自動控制裝置操作在該自動工作模式,並且該機械手臂抓取該物件後,藉由該處理單元依據該放置位置資料以及該放置姿態資料來操作該機械手臂移動該物件至該第二放置區域。
  18. 如申請專利範圍第12項所述的自動控制方法,其中該控制資料包括該第二放置區域的一環境特徵資料。
  19. 如申請專利範圍第18項所述的自動控制方法,其中藉由該處理單元依據該控制資料來操作該機械手臂抓取並移動該物件,以將該物件放置於該第二放置區域的步驟包括:當該自動控制裝置操作在該自動工作模式,並且該機械手臂抓取該物件並移動至該第二放置區域後,藉由該處理單元依據該環境特徵資料來操作該機械手臂將該物件放置至該第二放置區域中。
  20. 如申請專利範圍第11項所述的自動控制方法,其中該攝影單元為一彩色深度攝影機。
TW107143035A 2018-11-30 2018-11-30 自動控制方法以及自動控制裝置 TWI734055B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107143035A TWI734055B (zh) 2018-11-30 2018-11-30 自動控制方法以及自動控制裝置
US16/691,544 US20200171655A1 (en) 2018-11-30 2019-11-21 Automatic control method and automatic control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107143035A TWI734055B (zh) 2018-11-30 2018-11-30 自動控制方法以及自動控制裝置

Publications (2)

Publication Number Publication Date
TW202021753A TW202021753A (zh) 2020-06-16
TWI734055B true TWI734055B (zh) 2021-07-21

Family

ID=72175803

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107143035A TWI734055B (zh) 2018-11-30 2018-11-30 自動控制方法以及自動控制裝置

Country Status (1)

Country Link
TW (1) TWI734055B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS642882A (en) * 1987-06-25 1989-01-06 Omron Tateisi Electron Co Robot control method
TWI292264B (zh) * 2005-12-21 2008-01-01 Inventec Corp
CN104640677A (zh) * 2012-06-21 2015-05-20 睿信科机器人有限公司 训练和操作工业机器人

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS642882A (en) * 1987-06-25 1989-01-06 Omron Tateisi Electron Co Robot control method
TWI292264B (zh) * 2005-12-21 2008-01-01 Inventec Corp
CN104640677A (zh) * 2012-06-21 2015-05-20 睿信科机器人有限公司 训练和操作工业机器人

Also Published As

Publication number Publication date
TW202021753A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
JP5918266B2 (ja) 把持位置を決定する方法、コンピュータプログラム及び装置
US8843236B2 (en) Method and system for training a robot using human-assisted task demonstration
JP6931457B2 (ja) モーション生成方法、モーション生成装置、システム及びコンピュータプログラム
JP6640060B2 (ja) ロボットシステム
WO2019080228A1 (zh) 控制机器人抓取物体的方法和装置
JP6042291B2 (ja) ロボット、ロボット制御方法、及びロボット制御プログラム
WO2020241037A1 (ja) 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム
WO2020190166A1 (ru) Способ и система захвата объекта с помощью роботизированного устройства
JP7200610B2 (ja) 位置検出プログラム、位置検出方法及び位置検出装置
WO2021117479A1 (ja) 情報処理装置、方法およびプログラム
CN102830798A (zh) 单臂机器人基于Kinect的无标记人手跟踪方法
EP4400274A1 (en) Command value generating device, method, and program
US20230330858A1 (en) Fine-grained industrial robotic assemblies
US20200171655A1 (en) Automatic control method and automatic control device
TWI734055B (zh) 自動控制方法以及自動控制裝置
TWI696529B (zh) 自動定位方法以及自動控制裝置
WO2021195916A1 (zh) 动态手部仿真方法、装置和系统
TWI734237B (zh) 自動控制方法以及自動控制裝置
JP7376318B2 (ja) アノテーション装置
TWI784700B (zh) 機器人系統及拾取方法
US9613180B1 (en) Robotic control device and method for manipulating a hand-held tool
TWI780887B (zh) 機器人系統以及拾取方法
WO2023090274A1 (ja) 作業認識装置、作業認識方法、及び作業認識プログラム
US20240351205A1 (en) Command value generating device, method, and program
Ünal et al. Real time remote control of robotic hand system-TeleTouch