TWI734237B

TWI734237B - 自動控制方法以及自動控制裝置

Info

Publication number: TWI734237B
Application number: TW108139026A
Authority: TW
Inventors: 林世偉; 周阜毅; 楊駿明; 翁尉展; 溫志群
Original assignee: 財團法人金屬工業研究發展中心
Priority date: 2019-10-29
Filing date: 2019-10-29
Publication date: 2021-07-21
Also published as: TW202117475A

Abstract

本發明提出一種自動控制方法以及自動控制裝置。自動控制裝置包括處理單元、記憶單元以及攝影單元。記憶單元記錄物件資料庫以及行為資料庫。當自動控制裝置操作在自動學習模式時，攝影單元取得連續影像，並且處理單元分析連續影像，以判斷在第一放置區域中是否有匹配記錄在物件資料庫中的物件模型的物件被移動。當連續影像顯示物件被移動時，處理單元對應物件從第一放置區域被移動至第二放置區域而取得控制資料，並且處理單元記錄控制資料至行為資料庫。控制資料包括物件的運動軌跡資料以及運動姿態資料。

Description

自動控制方法以及自動控制裝置

本發明是有關於一種自動控制技術，且特別是有關於一種具有視覺引導功能的自動控制方法以及自動控制裝置。

由於目前的製造工業皆朝向自動化的方向發展，因此目前在自動化工廠中大量運用機械手臂來取代人力。然而，對於傳統的機械手臂來說，操作者須透過繁複的點位設定或程式撰寫，以教導機械手臂進行特定動作或姿勢。也就是說，傳統的機械手臂的建置具有佈署速度緩慢並且需要大量的程式編碼的缺點，因此導致機械手臂的建置成本過高。對此，如何提供一種可快速建置並且可準確地執行自動控制工作的自動控制裝置，以下將提出幾個實施例的解決方案。

本發明提供一種自動控制方法以及自動控制裝置，可提供有效且便利的視覺引導功能，並可準確地執行自動控制工作。

本發明的一種自動控制裝置包括處理單元、記憶單元以及攝影單元。記憶單元耦接處理單元，並且用以記錄物件資料庫以及行為資料庫。當自動控制裝置操作在自動學習模式時，攝影單元取得連續影像，並儲存至記憶單元的記憶體暫存區。處理單元分析連續影像，以判斷在第一放置區域中是否有匹配記錄在物件資料庫中的物件模型的物件被移動。當連續影像顯示物件被移動時，處理單元對應物件從第一放置區域被移動至第二放置區域而取得控制資料，並且處理單元記錄控制資料至行為資料庫，其中控制資料包括物件的運動軌跡資料以及運動姿態資料。

以下為關於本發明的自動控制裝置操作在自動學習模式的描述。

在本發明的一實施例中，當上述的自動控制裝置操作在自動學習模式，並且處理單元判斷匹配於物件資料庫的物件被移動時，處理單元分析記錄於記憶體暫存區的連續影像，以判斷是否出現手部影像或夾具影像抓取所述物件。當連續影像中出現手部影像或夾具影像時，處理單元識別手部影像或夾具影像對所述物件進行的抓取動作。

在本發明的一實施例中，上述的控制資料包括手部影像或夾具影像的抓取手勢資料。當上述的自動控制裝置操作在自動學習模式時，處理單元藉由攝影單元記錄手部影像或夾具影像對物件進行抓取動作，以取得抓取手勢資料。

在本發明的一實施例中，當上述的自動控制裝置操作在自動學習模式時，處理單元藉由攝影單元記錄手部影像或夾具影像將物件從第一放置區域移動且放置於第二放置區域，以取得物件的運動軌跡資料以及運動姿態資料。

在本發明的一實施例中，上述的控制資料包括放置位置資料以及放置姿態資料。當上述的自動控制裝置操作在自動學習模式時，處理單元藉由攝影單元記錄物件被放置在第二放置區域的放置位置資料，以及記錄手部影像或夾具影像放置物件在第二放置區域的放置姿態資料。

在本發明的一實施例中，上述的控制資料包括第二放置區域的環境特徵資料。當上述的自動控制裝置操作在自動學習模式時，處理單元藉由攝影單元記錄第二放置區域的環境特徵資料。

以下為關於本發明的自動控制裝置操作在自動工作模式的描述。

在本發明的一實施例中，當上述的自動控制裝置操作在自動工作模式時，攝影單元取得第一放置區域的另一連續影像，並儲存至記憶單元的記憶體暫存區。處理單元分析所述另一連續影像，以判斷在第一放置區域中是否放置有匹配記錄在物件資料庫中的物件模型的物件。當處理單元判斷第一放置區域放置有所述物件時，處理單元讀取行為資料庫，以取得對應於物件模型的控制資料。處理單元依據控制資料來自動控制機械手臂抓取並移動物件，以將物件放置於第二放置區域。

在本發明的一實施例中，當上述的自動控制裝置操作在自動工作模式時，處理單元依據經由自動學習模式預設或經修改後的物件的運動軌跡資料和運動姿態資料以及抓取手勢資料來操作機械手臂抓取物件，並移動至第二放置區域。

在本發明的一實施例中，當上述的自動控制裝置操作在自動工作模式，並且機械手臂抓取物件並移動至第二放置區域後，處理單元依據放置位置資料以及放置姿態資料來操作機械手臂將物件放置至第二放置區域中。

在本發明的一實施例中，當上述的自動控制裝置操作在自動工作模式，並且機械手臂抓取物件並移動至第二放置區域後，處理單元更依據第二放置區域的環境特徵資料來操作機械手臂將物件放置至第二放置區域中。

本發明的一種自動控制方法適用於自動控制裝置。所述自動控制方法包括以下步驟：當自動控制裝置操作在自動學習模式時，藉由攝影單元取得連續影像，並儲存於記憶單元的記憶體暫存區；藉由處理單元分析連續影像，以判斷在第一放置區域中是否有匹配記錄在物件資料庫中的物件模型的物件被移動；當連續影像顯示物件被移動時，藉由處理單元對應物件從第一放置區域被移動至第二放置區域而取得控制資料，其中控制資料包括物件的運動軌跡資料以及運動姿態資料；以及藉由處理單元記錄控制資料至行為資料庫。

以下為關於在本發明的自動控制方法中所執行的自動學習模式的描述。

在本發明的一實施例中，上述的自動控制方法更包括：當自動控制裝置操作在自動學習模式，並且處理單元判斷匹配於物件資料庫的物件被移動時，藉由處理單元分析記錄於記憶體暫存區的連續影像，以判斷是否出現手部影像或夾具影像抓取物件；以及當連續影像中出現手部影像或夾具影像時，藉由處理單元識別手部影像或夾具影像對所述物件進行的抓取動作。

在本發明的一實施例中，上述藉由處理單元對應物件從第一放置區域被移動至第二放置區域而取得控制資料的步驟包括：藉由攝影單元記錄手部影像或夾具影像對物件進行抓取動作，以取得抓取手勢資料，其中控制資料包括手部影像或夾具影像的抓取手勢資料。

在本發明的一實施例中，上述藉由處理單元對應物件從第一放置區域被移動至第二放置區域而取得控制資料的步驟包括：藉由攝影單元記錄手部影像或夾具影像將物件從第一放置區域移動且放置於第二放置區域，以取得物件的運動軌跡資料以及運動姿態資料。

在本發明的一實施例中，上述藉由處理單元對應物件從第一放置區域被移動至第二放置區域而取得控制資料的步驟包括：藉由攝影單元記錄物件被放置在第二放置區域的放置位置資料，以及記錄手部影像或夾具影像放置物件在第二放置區域的放置姿態資料，其中控制資料包括放置位置資料以及放置姿態資料。

在本發明的一實施例中，上述藉由處理單元對應物件從第一放置區域被移動至第二放置區域而取得控制資料的步驟包括：藉由攝影單元記錄第二放置區域的環境特徵資料，其中控制資料包括第二放置區域的環境特徵資料。

以下為關於在本發明的自動控制方法中所執行的自動工作模式的描述。

在本發明的一實施例中，上述的自動控制方法更包括以下步驟：當自動控制裝置操作在一自動工作模式時，藉由攝影單元取得第一放置區域的另一連續影像，並儲存於記憶單元的記憶體暫存區；藉由處理單元分析另一連續影像，以判斷在第一放置區域中是否放置有匹配記錄在物件資料庫中的物件模型的物件；當處理單元判斷第一放置區域放置有物件時，藉由處理單元讀取行為資料庫，以取得對應於物件模型的控制資料；以及藉由處理單元依據控制資料來自動控制機械手臂抓取並移動物件，以將物件放置於第二放置區域。

在本發明的一實施例中，上述的藉由處理單元依據控制資料來自動控制機械手臂抓取並移動物件，以將物件放置於第二放置區域的步驟包括：藉由處理單元依據經由自動學習模式預設或經修改後的物件的運動軌跡資料和運動姿態資料以及抓取手勢資料來操作機械手臂抓取物件，並移動至第二放置區域。

在本發明的一實施例中，上述藉由處理單元依據控制資料來自動控制機械手臂抓取並移動物件，以將物件放置於第二放置區域的步驟包括：藉由處理單元依據放置位置資料以及放置姿態資料來操作機械手臂將物件放置至第二放置區域中。

在本發明的一實施例中，上述藉由處理單元依據放置位置資料以及放置姿態資料來操作機械手臂將物件放置至第二放置區域中的步驟更包括：藉由處理單元更依據第二放置區域的環境特徵資料來操作機械手臂將物件放置至第二放置區域中。

基於上述，本發明的自動控制裝置以及自動控制方法，可藉由視覺引導的方式來學習使用者或夾具對物件進行移動的特定手勢或行為，並藉由機械手臂來實現相同或對應的物件移動行為的自動控制工作。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100:自動控制裝置

110:處理單元

120:記憶單元

121:物件資料庫

122:行為資料庫

123:記憶體暫存區

130:攝影單元

200:機械手臂

150、150’:物件

B:手部影像

R1:第一放置區域

R2:第二放置區域

S301~S309、S501~S508、S610~S640:步驟

圖1是依照本發明的一實施例的自動控制裝置的功能方塊圖。

圖2是依照本發明的一實施例的自動學習模式的操作示意圖。

圖3是依照本發明的一實施例的自動學習模式的流程圖。

圖4是依照本發明的一實施例的自動工作模式的操作示意圖。

圖5是依照本發明的一實施例的自動工作模式的流程圖。

圖6是依照本發明的一實施例的自動控制方法的流程圖。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1是依照本發明的一實施例的自動控制裝置的功能方塊圖。參考圖1，自動控制裝置100包括處理單元110、記憶單元120、以及攝影單元130。處理單元110耦接記憶單元120以及攝影單元130。在本實施例中，處理單元110可進一步耦接至外部的機械手臂200。在本實施例中，記憶單元120用以記錄物件資料庫121以及行為資料庫122，並且具有記憶體暫存區123。在本實施例中，自動控制裝置100可操作在自動工作模式以及自動學習模式，並且自動控制裝置100可經由自動學習後，藉由控制機械手臂200，以在兩個放置區域中進行自動化的物件移動工作。

此外，值得注意的是，在本實施例中，操作者可預先建立其工作對象物件的物件模型，或是經由輸入電腦輔設計(Computer Aided Design,CAD)模型來在物件資料庫121中進行建檔，以供後續的自動學習模式以及自動工作模式進行物件識別時，其中處理單元110可讀取並且進行物件比對操作。

在本實施例中，處理單元110可為影像訊號處理器(Image Signal Processor,ISP)、中央處理器(Central Processing Unit,CPU)、微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor,DSP)、可程式化控制器(Programmable Logic Controller,PLC)、特殊應用積體電路(Application Specific Integrated Circuit,ASIC)、系統單晶片(System on Chip,SoC)或其他類似元件或上述元件的組合，本發明並不加以限制。

在本實施例中，記憶單元120可為動態隨機存取記憶體(Dynamic Random Access Memory,DRAM)、快閃記憶體(Flash memory)或非揮發性隨機存取記憶體(Non-Volatile Random Access Memory,NVRAM)，本發明並不加以限制。記憶單元120可用以記錄本發明各實施例所述的資料庫、影像資料、控制資料以及各式控制軟體等，以供處理單元110讀取並執行之。

在本實施例中，機械手臂200可為單軸或多軸，並且可執行物件抓取動作以及移動物件等姿勢。自動控制裝置100透過有線或無線的方式與機械手臂200進行通訊，以自動控制機械手臂200來實現本發明各實施例所述的自動學習模式以及自動工作模式。在本實施例中，攝影單元130可為彩色深度攝影機(RGB-D camera)，並且可用以同時取得二維(two-dimensional)影像資訊以及三維(three-dimensional)影像資訊，以提供至處理單元110進行分析，例如影像辨識、深度量測、物件判斷或手部識別等諸如此類的影像分析操作，以實現本發明各實施例的自動工作模式、自動學習模式以及自動控制方法。此外，在本實施例中，機械手臂200以及攝影單元130為可移動狀態。特別是，攝影單元130可外設於另一個機械手臂上或可移載的自動機械裝置，並且經由處理單元110操作，以使攝影單元130可自動追隨機械手臂200或是以下實施例所述的手部影像來進行相關的影像擷取操作。

圖2是依照本發明的一實施例的自動學習模式的操作示意圖。參考圖1以及圖2，在本實施例中，當自動控制裝置100操作自動學習模式時，自動控制裝置100可藉由攝影單元130取得第一放置區域R1的連續影像，並儲存於記憶體暫存區123。處理單元110可對所述連續影像進行分析，以判斷在所述連續影像中是否出現手部影像B接近放置在第一放置區域R1的物件150。在本實施例中，處理單元110讀取記錄在記憶單元120中的物件資料庫121，以判斷是否有對應的物件模型可以與物件150匹配(係指此物件150為工作目標物件)。當處理單元110判斷在物件資料庫121中的物件模型與物件150匹配時，處理單元110分析在所述連續影像中物件150從第一放置區域R1被移動至第二放置區域R2的物件150的運動軌跡以及運動姿態，以取得對應於物件150的運動軌跡資料以及運動姿態資料。並且，處理單元110將運動軌跡資料以及運動姿態資料作為控制資料，並且記錄至行為資料庫122中。

此外，在一實施例中，處理單元110還可進一步對此手部影像B進行識別，以學習此手部影像B的姿勢。換言之，在一實施例中，自動控制裝置100會自動地先判斷是否存在物件150，接著執行手部識別。因此，在自動學習模式中，處理單元110可識別手部影像B對物件150進行的抓取動作，以取得對應的控制資料，並且記錄此控制資料至行為資料庫122中。

然而，本發明並不限於對使用者的手部影像B的移動物件150的行為進行學習。在一實施例中，上述移動物件150的對象也可由機械手臂的夾具來實現之。換言之，處理單元110可對所述連續影像進行分析，以判斷在所述連續影像中是否出現夾具影像接近放置在第一放置區域R1的物件150，並且學習夾具影像的姿勢，以取得對應的控制資料，並且記錄至行為資料庫122中。

具體而言，當處理單元110判斷在第一放置區域R1當中放置有物件150，並且攝影單元130拍攝到手部影像B(或夾具影像)時，首先，攝影單元130將跟隨手部影像B(或夾具影像)進行影像擷取，以記錄手部影像B(或夾具影像)將物件150拾起、移動以及放置在第二放置區域R2的姿勢。在本實施例中，當手部影像B(或夾具影像)抓取並移動物件150時，處理單元110可記錄物件150的運動軌跡和物件150的運動姿態以及手部影像B(或夾具影像)的抓取手勢，以將物件150的運動軌跡資料和運動姿態資料以及手部影像B(或夾具影像)進行抓取動作的抓取手勢資料記錄至記憶單元120的行為資料庫122當中。詳細而言，所述的運動軌跡資料和所述的運動姿態資料可包括手部影像B(或夾具影像)從第一放置區R1抓取物件150後，手部影像B(或夾具影像)移動並且將物件150放置於第二放置區域R2直至手部影像B(或夾具影像)離開物件150的運動軌跡和姿態。接著，當手部影像B(或夾具影像)抓取並移動物件150時，當手部影像B(或夾具影像)將物件150抓取並移動至第二放置區域R2時，處理單元110可記錄第二放置區域R2的放置位置(例如座標)以及手部影像B(或夾具影像)放置物件150在第二放置區域R2的放置姿態，以將放置位置資料以及放置姿態資料記錄至記憶單元120的行為資料庫122當中。最後，處理單元110可記錄第二放置區域R2的環境特徵(例如放置區域的型態、外觀或周邊情境)，以將環境特徵資料記錄至記憶單元120的行為資料庫122當中。因此，自動控制裝置100完成記錄上述的控制資料後，自動控制裝置100即可藉由讀取此控制資料來執行自動工作模式。

圖3是依照本發明的一實施例的自動學習模式的流程圖。參考圖1至圖3，本實施例的動學習模式的流程可適用於圖1以及圖2實施例的自動控制裝置100。在步驟S301中，自動控制裝置100執行自動學習模式。在步驟S302中，自動控制裝置100的攝影單元130取得第一放置區域R1的連續影像。連續影像可儲存於記憶體暫存區123。在步驟S303中，自動控制裝置100的處理單元110分析第一放置區域R1的連續影像，以判斷在第一放置區域R1中是否有匹配記錄在物件資料庫121中的物件模型的物件150被移動。若否，則自動控制裝置100重新執行步驟S302。若是，則自動控制裝置100執行步驟S304。在步驟S304中，自動控制裝置100的處理單元110進一步分析連續影像，以判斷是否出現手部影像B(或夾具影像)抓取所述物件150。若否，則自動控制裝置100重新執行步驟S302。若是，則自動控制裝置100執行步驟 S305。在步驟S305中，自動控制裝置100的處理單元110識別手部影像B(或夾具影像)對所述物件150進行的抓取動作。在步驟S306中，自動控制裝置100的處理單元110記錄所述物件150的運動軌跡資料和運動姿態資料以及手部影像B(或夾具影像)的抓取手勢資料。在步驟S307中，自動控制裝置100的處理單元110記錄所述物件150被放置在第二放置區域R2的放置位置資料以及B放置所述物件150在第二放置區域R2的放置姿態資料。在步驟S308中，自動控制裝置100的處理單元110可記錄第二放置區域R2的環境特徵資料。在步驟S309中，自動控制裝置100的結束自動學習模式。據此，本實施例的自動控制裝置100可藉由視覺式的方式來實現的自動學習功能。

圖4是依照本發明的一實施例的自動工作模式的操作示意圖。參考圖1以及圖4，在本實施例中，當自動控制裝置100操作自動工作模式時，自動控制裝置100可藉由攝影單元130取得第一放置區域R1的連續影像，並儲存於記憶單元120的記憶體暫存區123。處理單元110對所述影像進行分析，以判斷在所述連續影像中是否有放置物件150’。在本實施例中，處理單元110讀取記錄在記憶單元120中的物件資料庫121，以判斷是否有對應的物件模型與所述物件150’匹配。當處理單元110判斷在物件資料庫121中的物件模型與所述物件150’匹配時，處理單元110讀取記錄在記憶單元120中的行為資料庫122，以讀取對應於所述物件模型的控制資料。因此，處理單元110可依據所述控制資料來操作機械手臂200抓取並移動放置在第一放置區域R1的物件150’，以將物件150’放置於第二放置區域R2中。然而，值得注意的是，本實施例所述的控制資料可以是經由上述圖2以及圖3實施例所述的自動控制裝置100操作在自動學習模式時所記錄的相關控制資料，但本發明並不限於此。

具體而言，當處理單元110藉由攝影單元130拍攝第一放置區域R1的連續影像，並藉由判斷連續影像當中的第一放置區域R1當中是否放置有匹配記錄在物件資料庫121中的物件模型的物件150’。若有，則自動控制裝置100的處理單元110讀取行為資料庫122，以取得對應於物件模型(或對應物件150’)的控制資料。在本實施例中，所述控制資料可包括物件150’的運動軌跡資料、運動姿態資料、手部影像的抓取手勢資料、放置位置資料、放置姿態資料以及環境特徵資料等，本發明並不限於此。

更進一步而言，首先，處理單元110依據經由自動學習模式預設或經修改後的運動軌跡資料和運動姿態資料以及手部影像的抓取手勢資料來操作機械手臂200抓取物件150’。接著，處理單元110依據放置位置資料以及放置姿態資料來操作機械手臂200移動物件150’至第二放置區域R2。並且，在本實施例中，攝影單元130可跟隨機械手臂200移動，以拍攝第二放置區域R2的連續影像。最後，處理單元110依據環境特徵資料來操作機械手臂200將物件150’放置至第二放置區域R2中。因此，自動控制裝置100完成上述的動作後，自動控制裝置100即完成一次自動工作任務，並且機械手臂200可回到原位，以對放置在第一放置區域R1當中與物件150’有相同外觀的其他目標工作物件來接續執行相同自動工作任務。據此，本實施例的自動控制裝置100可提供高可靠度的自動工作效果。

圖5是依照本發明的一實施例的自動工作模式的流程圖。參考圖1、圖4以及圖5。本實施例的動作學習模式的流程可適用於圖4以及圖5實施例的自動控制裝置100。在步驟S501中，自動控制裝置100執行學習模式。在步驟S502中，自動控制裝置100的攝影單元130取得第一放置區域R1的連續影像。在步驟S503中，自動控制裝置100分析第一放置區域R1的所述連續影像，以判斷在第一放置區域R1中是否放置有與記錄在物件資料庫121中的物件模型匹配的物件150’。若否，則自動控制裝置100重新執行步驟S502。若是，則自動控制裝置100執行步驟S504。在步驟S504中，自動控制裝置100的處理單元110依據預設或經修改後物件運動軌跡和姿態資料以及抓取手勢資料來操作機械手臂200抓取物件150’。在步驟S505中，自動控制裝置100的處理單元110依據放置位置資料以及放置姿態資料來操作機械手臂200移動物件150’至第二放置區域R2。在步驟S506中，自動控制裝置100的處理單元110依據環境特徵資料來操作機械手臂200將所述物件150’放置至第二放置區域R2中。在步驟S507中，自動控制裝置100的處理單元110判斷是否符合自動工作模式結束條件。在本實施例中，自動工作模式結束條件例如是機械手臂200的執行次數，或是第一放置區域R1的連續影像當中的物件150’是否不存在，或是第二放置區域R2的放置環境是否無法繼續執行(例如第二放置區域R2被放滿多個物件150’)。若否，則自動控制裝置100的處理單元110執行步驟S502。若是，則自動控制裝置100的處理單元110步驟S508，以結束自動工作模式。據此，本實施例的自動控制裝置100可實現視覺引導功能，並可準確地執行自動控制工作。

值得注意的是，在上述各實施例中所述的連續影像是指攝影單元130在自動學習模式以及自動工作模式可連續地擷取影像。攝影單元130可即時地擷取影像，並且處理單元110可同步地分析影像，以取得相關資料來自動控制機械手臂200。換言之，使用者可先執行圖3實施例的流程，以進行自動學習模式後，接續執行圖5實施例所述的流程，進行自動工作模式。

圖6是依照本發明的一實施例的自動控制方法的流程圖。參考圖1以及圖6，本實施例的自動控制方法的流程可至少適用於圖1實施例的自動控制裝置100。在步驟S610中，當自動控制裝置100操作在自動學習模式時，藉由攝影單元130取得連續影像，並儲存於記憶單元120的記憶體暫存區123。在步驟S620中，處理單元110分析連續影像，以判斷在第一放置區域中是否有匹配記錄在物件資料庫121中的物件模型的物件被移動。在步驟S630中，當連續影像顯示物件被移動時，處理單元110對應物件從第一放置區域被移動至第二放置區域而取得控制資料，其中控制資料包括物件的運動軌跡資料以及運動姿態資料。在步驟S640中，處理單元110記錄控制資料至行為資料庫122。據此，本實施例的自動控制裝置100可準確地執行自動學習工作。

另外，關於本實施例的自動控制裝置100的其他元件特徵、實施細節以及技術特徵，可參考上述圖1至圖5的各實施例的說明而獲致足夠的教示、建議以及實施說明，因此在此不多加贅述。

綜上所述，本發明的自動控制裝置以及自動控制方法，可藉由在自動學習模式中先學習操作者的手部動作和被操作物件的行為，以記錄相關操作參數以及控制資料，接著可藉由在自動工作模式中利用在自動學習模式中取得的相關操作參數以及控制資料來自動控制機械手臂，以使機械手臂可準確地執行自動控制工作。因此，本發明的自動控制裝置以及自動控制方法可提供有效且便利的視覺引導功能，並可提供高可靠度的自動控制效果。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100：自動控制裝置 110：處理單元 120：記憶單元 121：物件資料庫 122：行為資料庫 123：記憶體暫存區 130：攝影單元 200：機械手臂

Claims

一種自動控制裝置，包括：一處理單元；一記憶單元，耦接該處理單元，並且用以記錄一物件資料庫以及一行為資料庫；以及一攝影單元，耦接該處理單元，其中當該自動控制裝置操作在一自動學習模式時，該攝影單元取得一連續影像，並儲存至該記憶單元的一記憶體暫存區，並且該處理單元分析該連續影像，以判斷在一第一放置區域中是否有與記錄在該物件資料庫中的一物件模型相匹配的一物件被移動，其中當該連續影像顯示該物件被移動時，該處理單元對應該物件從該第一放置區域被移動至一第二放置區域而取得一控制資料，並且該處理單元記錄該控制資料至該行為資料庫，其中該控制資料包括該物件的一運動軌跡資料以及一運動姿態資料，且該控制資料用於執行一自動工作模式，其中當該自動控制裝置操作在該自動工作模式時，該處理單元依據一特定條件而決定停止執行該自動工作模式，該特定條件包括該處理單元判定該第一放置區域所放置的一第一物件與該物件模型不匹配或該處理單元判定該第二放置區域放置有多個第二物件。
如申請專利範圍第1項所述的自動控制裝置，其中當該自動控制裝置操作在該自動學習模式，並且該處理單元判斷匹配於該物件資料庫的該物件被移動時，該處理單元分析記錄於該記憶體暫存區的該連續影像，以判斷是否出現一手部影像或一夾具影像抓取該物件，並且當該連續影像中出現該手部影像或該夾具影像時，該處理單元識別該手部影像或該夾具影像對該物件進行的抓取動作。
如申請專利範圍第2項所述的自動控制裝置，其中該控制資料包括該手部影像或該夾具影像的一抓取手勢資料，當該自動控制裝置操作在該自動學習模式時，該處理單元藉由該攝影單元記錄該手部影像或該夾具影像對該物件進行抓取動作，以取得該抓取手勢資料。
如申請專利範圍第2項所述的自動控制裝置，其中當該自動控制裝置操作在該自動學習模式時，該處理單元藉由該攝影單元記錄該手部影像或該夾具影像將該物件從該第一放置區域移動且放置於該第二放置區域，以取得該物件的該運動軌跡資料以及該運動姿態資料。
如申請專利範圍第2項所述的自動控制裝置，其中該控制資料包括一放置位置資料以及一放置姿態資料，當該自動控制裝置操作在該自動學習模式時，該處理單元藉由該攝影單元記錄該物件被放置在該第二放置區域的該放置位置資料，以及記錄該手部影像或該夾具影像放置該物件在該第二放置區域的該放置姿態資料。
如申請專利範圍第1項所述的自動控制裝置，其中該控制資料包括該第二放置區域的一環境特徵資料，當該自動控制裝置操作在該自動學習模式時，該處理單元藉由該攝影單元記錄該第二放置區域的該環境特徵資料。
如申請專利範圍第1項所述的自動控制裝置，其中當該自動控制裝置操作在該自動工作模式時，該攝影單元取得該第一放置區域的另一連續影像，並儲存至該記憶單元的該記憶體暫存區，並且該處理單元分析該另一連續影像，以判斷在該第一放置區域中是否放置有與記錄在該物件資料庫中的該物件模型相匹配的該物件，其中當該處理單元判斷該第一放置區域放置有該物件時，該處理單元讀取該行為資料庫，以取得對應於該物件模型的該控制資料，並且該處理單元依據該控制資料來自動控制一機械手臂抓取並移動該物件，以將該物件放置於該第二放置區域。
如申請專利範圍第7項所述的自動控制裝置，其中當該自動控制裝置操作在該自動工作模式時，該處理單元依據經由該自動學習模式預設或經修改後的該物件的該運動軌跡資料和該運動姿態資料以及一抓取手勢資料來操作該機械手臂抓取該物件，並移動至該第二放置區域。
如申請專利範圍第7項所述的自動控制裝置，其中當該自動控制裝置操作在該自動工作模式，並且該機械手臂抓取該物件並移動至該第二放置區域後，該處理單元依據一放置位置資料以及一放置姿態資料來操作該機械手臂將該物件放置至該第二放置區域中。
如申請專利範圍第9項所述的自動控制裝置，其中當該自動控制裝置操作在該自動工作模式，並且該機械手臂抓取該物件並移動至該第二放置區域後，該處理單元更依據該第二放置區域的一環境特徵資料來操作該機械手臂將該物件放置至該第二放置區域中。
一種自動控制方法，適用於一自動控制裝置，其中該自動控制方法包括：當該自動控制裝置操作在一自動學習模式時，藉由一攝影單元取得一連續影像，並儲存於一記憶單元的一記憶體暫存區；藉由一處理單元分析該連續影像，以判斷在一第一放置區域中是否有與記錄在一物件資料庫中的一物件模型相匹配的一物件被移動；當該連續影像顯示該物件被移動時，藉由該處理單元對應該物件從該第一放置區域被移動至一第二放置區域而取得一控制資料，其中該控制資料包括該物件的一運動軌跡資料以及一運動姿態資料，且該控制資料用於執行一自動工作模式；以及藉由該處理單元記錄該控制資料至一行為資料庫，其中當該自動控制裝置操作在該自動工作模式時，該處理單元依據一特定條件而決定停止執行該自動工作模式，該特定條件包括該處理單元判定該第一放置區域所放置的一第一物件與該物件模型不匹配或該處理單元判定該第二放置區域放置有多個第二物件。
如申請專利範圍第11項所述的自動控制方法，更包括：當該自動控制裝置操作在該自動學習模式，並且該處理單元判斷匹配於該物件資料庫的該物件被移動時，藉由該處理單元分析記錄於該記憶體暫存區的該連續影像，以判斷是否出現一手部影像或一夾具影像抓取該物件；以及當該連續影像中出現該手部影像或該夾具影像時，藉由該處理單元識別該手部影像或該夾具影像對該物件進行的抓取動作。
如申請專利範圍第12項所述的自動控制方法，其中藉由該處理單元對應該物件從該第一放置區域被移動至該第二放置區域而取得該控制資料的步驟包括：藉由該攝影單元記錄該手部影像或該夾具影像對該物件進行抓取動作，以取得一抓取手勢資料，其中該控制資料包括該手部影像或該夾具影像的一抓取手勢資料。
如申請專利範圍第12項所述的自動控制方法，其中藉由該處理單元對應該物件從該第一放置區域被移動至該第二放置區域而取得該控制資料的步驟包括：藉由該攝影單元記錄該手部影像或該夾具影像將該物件從該第一放置區域移動且放置於該第二放置區域，以取得該物件的該運動軌跡資料以及該運動姿態資料。
如申請專利範圍第12項所述的自動控制方法，其中藉由該處理單元對應該物件從該第一放置區域被移動至該第二放置區域而取得該控制資料的步驟包括：藉由該攝影單元記錄該物件被放置在該第二放置區域的該放置位置資料，以及記錄該手部影像或該夾具影像放置該物件在該第二放置區域的該放置姿態資料，其中該控制資料包括該放置位置資料以及該放置姿態資料。
如申請專利範圍第11項所述的自動控制方法，其中藉由該處理單元對應該物件從該第一放置區域被移動至該第二放置區域而取得該控制資料的步驟包括：藉由該攝影單元記錄該第二放置區域的一環境特徵資料，其中該控制資料包括該第二放置區域的該環境特徵資料。
如申請專利範圍第11項所述的自動控制方法，更包括：當該自動控制裝置操作在該自動工作模式時，藉由該攝影單元取得該第一放置區域的另一連續影像，並儲存於該記憶單元的該記憶體暫存區；藉由該處理單元分析該另一連續影像，以判斷在該第一放置區域中是否放置有與記錄在該物件資料庫中的該物件模型相匹配的該物件；當該處理單元判斷該第一放置區域放置有該物件時，藉由該處理單元讀取該行為資料庫，以取得對應於該物件模型的該控制資料；以及藉由該處理單元依據該控制資料來自動控制一機械手臂抓取並移動該物件，以將該物件放置於該第二放置區域。
如申請專利範圍第17項所述的自動控制方法，其中藉由該處理單元依據該控制資料來自動控制該機械手臂抓取並移動該物件，以將該物件放置於該第二放置區域的步驟包括：藉由該處理單元依據經由該自動學習模式預設或經修改後的該物件的該運動軌跡資料和該運動姿態資料以及一抓取手勢資料來操作該機械手臂抓取該物件，並移動至該第二放置區域。
如申請專利範圍第17項所述的自動控制方法，其中藉由該處理單元依據該控制資料來自動控制該機械手臂抓取並移動該物件，以將該物件放置於該第二放置區域的步驟包括：藉由該處理單元依據一放置位置資料以及一放置姿態資料來操作該機械手臂將該物件放置至該第二放置區域中。
如申請專利範圍第19項所述的自動控制方法，其中藉由該處理單元依據該放置位置資料以及該放置姿態資料來操作該機械手臂將該物件放置至該第二放置區域中的步驟更包括：藉由該處理單元更依據該第二放置區域的一環境特徵資料來操作該機械手臂將該物件放置至該第二放置區域中。