TW202117475A - Automatic control method and automatic control device - Google Patents
Automatic control method and automatic control device Download PDFInfo
- Publication number
- TW202117475A TW202117475A TW108139026A TW108139026A TW202117475A TW 202117475 A TW202117475 A TW 202117475A TW 108139026 A TW108139026 A TW 108139026A TW 108139026 A TW108139026 A TW 108139026A TW 202117475 A TW202117475 A TW 202117475A
- Authority
- TW
- Taiwan
- Prior art keywords
- processing unit
- data
- placement area
- automatic control
- image
- Prior art date
Links
Images
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
Description
本發明是有關於一種自動控制技術,且特別是有關於一種具有視覺引導功能的自動控制方法以及自動控制裝置。The present invention relates to an automatic control technology, and particularly relates to an automatic control method and an automatic control device with a visual guidance function.
由於目前的製造工業皆朝向自動化的方向發展,因此目前在自動化工廠中大量運用機械手臂來取代人力。然而,對於傳統的機械手臂來說,操作者須透過繁複的點位設定或程式撰寫,以教導機械手臂進行特定動作或姿勢。也就是說,傳統的機械手臂的建置具有佈署速度緩慢並且需要大量的程式編碼的缺點,因此導致機械手臂的建置成本過高。對此,如何提供一種可快速建置並且可準確地執行自動控制工作的自動控制裝置,以下將提出幾個實施例的解決方案。As the current manufacturing industry is developing towards automation, a large number of robotic arms are currently used in automated factories to replace manpower. However, for the traditional robotic arm, the operator must teach the robotic arm to perform specific actions or postures through complicated point settings or programming. That is to say, the construction of the traditional robotic arm has the disadvantages of slow deployment speed and a large amount of programming coding, which leads to the high cost of construction of the robotic arm. In this regard, how to provide an automatic control device that can be quickly built and can accurately perform automatic control tasks, the following will propose solutions in several embodiments.
本發明提供一種自動控制方法以及自動控制裝置,可提供有效且便利的視覺引導功能,並可準確地執行自動控制工作。The invention provides an automatic control method and an automatic control device, which can provide an effective and convenient visual guidance function and can accurately perform automatic control work.
本發明的一種自動控制裝置包括處理單元、記憶單元以及攝影單元。記憶單元耦接處理單元,並且用以記錄物件資料庫以及行為資料庫。當自動控制裝置操作在自動學習模式時,攝影單元取得連續影像,並儲存至記憶單元的記憶體暫存區。處理單元分析連續影像,以判斷在第一放置區域中是否有匹配記錄在物件資料庫中的物件模型的物件被移動。當連續影像顯示物件被移動時,處理單元對應物件從第一放置區域被移動至第二放置區域而取得控制資料,並且處理單元記錄控制資料至行為資料庫,其中控制資料包括物件的運動軌跡資料以及運動姿態資料。An automatic control device of the present invention includes a processing unit, a memory unit, and a photographing unit. The memory unit is coupled to the processing unit and used to record the object database and the behavior database. When the automatic control device is operated in the automatic learning mode, the photographing unit obtains continuous images and stores them in the memory temporary storage area of the memory unit. The processing unit analyzes the continuous image to determine whether an object matching the object model recorded in the object database is moved in the first placement area. When the continuous image display object is moved, the processing unit obtains control data corresponding to the object being moved from the first placement area to the second placement area, and the processing unit records the control data to the behavior database, where the control data includes the object's motion track data And sports posture information.
以下為關於本發明的自動控制裝置操作在自動學習模式的描述。The following is a description of the automatic control device of the present invention operating in the automatic learning mode.
在本發明的一實施例中,當上述的自動控制裝置操作在自動學習模式,並且處理單元判斷匹配於物件資料庫的物件被移動時,處理單元分析記錄於記憶體暫存區的連續影像,以判斷是否出現手部影像或夾具影像抓取所述物件。當連續影像中出現手部影像或夾具影像時,處理單元識別手部影像或夾具影像對所述物件進行的抓取動作。In an embodiment of the present invention, when the above-mentioned automatic control device is operated in the automatic learning mode, and the processing unit determines that the object matching the object database is moved, the processing unit analyzes the continuous images recorded in the temporary storage area of the memory, To determine whether there is a hand image or a gripper image to grab the object. When the hand image or the gripper image appears in the continuous image, the processing unit recognizes the grasping action of the hand image or the gripper image on the object.
在本發明的一實施例中,上述的控制資料包括手部影像或夾具影像的抓取手勢資料。當上述的自動控制裝置操作在自動學習模式時,處理單元藉由攝影單元記錄手部影像或夾具影像對物件進行抓取動作,以取得抓取手勢資料。In an embodiment of the present invention, the aforementioned control data includes grasping gesture data of a hand image or a gripper image. When the above-mentioned automatic control device is operated in the automatic learning mode, the processing unit uses the photographing unit to record the hand image or the clamp image to perform a grasping action on the object to obtain the grasping gesture data.
在本發明的一實施例中,當上述的自動控制裝置操作在自動學習模式時,處理單元藉由攝影單元記錄手部影像或夾具影像將物件從第一放置區域移動且放置於第二放置區域,以取得物件的運動軌跡資料以及運動姿態資料。In an embodiment of the present invention, when the above-mentioned automatic control device is operated in the automatic learning mode, the processing unit records the hand image or the clamp image by the photographing unit to move the object from the first placement area and place it in the second placement area , In order to obtain the object's movement trajectory data and movement posture data.
在本發明的一實施例中,上述的控制資料包括放置位置資料以及放置姿態資料。當上述的自動控制裝置操作在自動學習模式時,處理單元藉由攝影單元記錄物件被放置在第二放置區域的放置位置資料,以及記錄手部影像或夾具影像放置物件在第二放置區域的放置姿態資料。In an embodiment of the present invention, the aforementioned control data includes placement position data and placement posture data. When the above-mentioned automatic control device is operated in the automatic learning mode, the processing unit records the placement position data of the object placed in the second placement area by the photographing unit, and records the placement of the hand image or the fixture image placement object in the second placement area Posture information.
在本發明的一實施例中,上述的制資料包括第二放置區域的環境特徵資料。當上述的自動控制裝置操作在自動學習模式時,處理單元藉由攝影單元記錄第二放置區域的環境特徵資料。In an embodiment of the present invention, the aforementioned manufacturing data includes environmental characteristic data of the second placement area. When the above-mentioned automatic control device is operated in the automatic learning mode, the processing unit records the environmental characteristic data of the second placement area through the photographing unit.
以下為關於本發明的自動控制裝置操作在自動工作模式的描述。The following is a description of the automatic control device of the present invention operating in the automatic working mode.
在本發明的一實施例中,當上述的自動控制裝置操作在自動工作模式時,攝影單元取得第一放置區域的另一連續影像,並儲存至記憶單元的記憶體暫存區。處理單元分析所述另一連續影像,以判斷在第一放置區域中是否放置有匹配記錄在物件資料庫中的物件模型的物件。當處理單元判斷第一放置區域放置有所述物件時,處理單元讀取行為資料庫,以取得對應於物件模型的控制資料。處理單元依據控制資料來自動控制機械手臂抓取並移動物件,以將物件放置於第二放置區域。In an embodiment of the present invention, when the above-mentioned automatic control device is operated in the automatic working mode, the photographing unit obtains another continuous image of the first placement area and stores it in the memory temporary storage area of the memory unit. The processing unit analyzes the another continuous image to determine whether an object matching the object model recorded in the object database is placed in the first placement area. When the processing unit determines that the object is placed in the first placement area, the processing unit reads the behavior database to obtain control data corresponding to the object model. The processing unit automatically controls the robotic arm to grab and move the object according to the control data to place the object in the second placement area.
在本發明的一實施例中,當上述的自動控制裝置操作在自動工作模式時,處理單元依據經由自動學習模式預設或經修改後的物件的運動軌跡資料和運動姿態資料以及抓取手勢資料來操作機械手臂抓取物件,並移動至第二放置區域。In an embodiment of the present invention, when the above-mentioned automatic control device is operated in the automatic working mode, the processing unit is based on the movement trajectory data and movement posture data of the object preset or modified through the automatic learning mode and the grasping gesture data To operate the robotic arm to grab the object and move it to the second placement area.
在本發明的一實施例中,當上述的自動控制裝置操作在自動工作模式,並且機械手臂抓取物件並移動至第二放置區域後,處理單元依據放置位置資料以及放置姿態資料來操作機械手臂將物件放置至第二放置區域中。In an embodiment of the present invention, when the above-mentioned automatic control device is operated in the automatic working mode, and the robotic arm grabs the object and moves to the second placement area, the processing unit operates the robotic arm according to the placement position data and placement posture data Place the object in the second placement area.
在本發明的一實施例中,當上述的自動控制裝置操作在自動工作模式,並且機械手臂抓取物件並移動至第二放置區域後,處理單元更依據第二放置區域的環境特徵資料來操作機械手臂將物件放置至第二放置區域中。In an embodiment of the present invention, when the above-mentioned automatic control device is operated in the automatic working mode, and the robot arm grabs the object and moves to the second placement area, the processing unit further operates according to the environmental characteristic data of the second placement area The robotic arm places the object in the second placement area.
本發明的一種自動控制方法適用於自動控制裝置。所述自動控制方法包括以下步驟:當自動控制裝置操作在自動學習模式時,藉由攝影單元取得連續影像,並儲存於記憶單元的記憶體暫存區;藉由處理單元分析連續影像,以判斷在第一放置區域中是否有匹配記錄在物件資料庫中的物件模型的物件被移動;當連續影像顯示物件被移動時,藉由處理單元對應物件從第一放置區域被移動至第二放置區域而取得控制資料,其中控制資料包括物件的運動軌跡資料以及運動姿態資料;以及藉由處理單元記錄控制資料至行為資料庫。An automatic control method of the present invention is suitable for automatic control devices. The automatic control method includes the following steps: when the automatic control device is operating in the automatic learning mode, the continuous image is obtained by the photographing unit and stored in the memory temporary storage area of the memory unit; the continuous image is analyzed by the processing unit to determine In the first placement area, whether an object matching the object model recorded in the object database is moved; when the continuous image shows that the object is moved, the corresponding object is moved from the first placement area to the second placement area by the processing unit The control data is obtained, where the control data includes the movement track data and the movement posture data of the object; and the control data is recorded to the behavior database by the processing unit.
以下為關於在本發明的自動控制方法中所執行的自動學習模式的描述。The following is a description of the automatic learning mode executed in the automatic control method of the present invention.
在本發明的一實施例中,上述的自動控制方法更包括:當自動控制裝置操作在自動學習模式,並且處理單元判斷匹配於物件資料庫的物件被移動時,藉由處理單元分析記錄於記憶體暫存區的連續影像,以判斷是否出現手部影像或夾具影像抓取物件;以及當連續影像中出現手部影像或夾具影像時,藉由處理單元識別手部影像或夾具影像對所述物件進行的抓取動作。In an embodiment of the present invention, the above-mentioned automatic control method further includes: when the automatic control device is operating in the automatic learning mode, and the processing unit determines that the object matching the object database is moved, the processing unit analyzes the records in the memory The continuous images of the body temporary storage area to determine whether there is a hand image or a gripper image grabbing an object; and when a hand image or a gripper image appears in the continuous image, the processing unit recognizes the hand image or the gripper image The grabbing action performed by the object.
在本發明的一實施例中,上述藉由處理單元對應物件從第一放置區域被移動至第二放置區域而取得控制資料的步驟包括:藉由攝影單元記錄手部影像或夾具影像對物件進行抓取動作,以取得抓取手勢資料,其中控制資料包括手部影像或夾具影像的抓取手勢資料。In an embodiment of the present invention, the step of obtaining control data by the processing unit corresponding to the object being moved from the first placement area to the second placement area includes: recording a hand image or a fixture image on the object by a photographing unit Grabbing action to obtain grasping gesture data, where the control data includes the grasping gesture data of the hand image or the gripper image.
在本發明的一實施例中,上述藉由處理單元對應物件從第一放置區域被移動至第二放置區域而取得控制資料的步驟包括:藉由攝影單元記錄手部影像或夾具影像將物件從第一放置區域移動且放置於第二放置區域,以取得物件的運動軌跡資料以及運動姿態資料。In an embodiment of the present invention, the step of obtaining control data by the processing unit corresponding to the object being moved from the first placement area to the second placement area includes: recording a hand image or a fixture image by the photographing unit to remove the object from The first placement area is moved and placed in the second placement area to obtain movement track data and movement posture data of the object.
在本發明的一實施例中,上述藉由處理單元對應物件從第一放置區域被移動至第二放置區域而取得控制資料的步驟包括:藉由攝影單元記錄物件被放置在第二放置區域的放置位置資料,以及記錄手部影像或夾具影像放置物件在第二放置區域的放置姿態資料,其中控制資料包括放置位置資料以及放置姿態資料。In an embodiment of the present invention, the step of obtaining control data by the processing unit corresponding to the object being moved from the first placement area to the second placement area includes: recording the object placed in the second placement area by the photographing unit Placement position data, and record the placement posture data of the hand image or fixture image placement object in the second placement area, where the control data includes the placement position data and the placement posture data.
在本發明的一實施例中,上述藉由處理單元對應物件從第一放置區域被移動至第二放置區域而取得控制資料的步驟包括:藉由攝影單元記錄第二放置區域的環境特徵資料,其中控制資料包括第二放置區域的環境特徵資料。In an embodiment of the present invention, the step of obtaining control data by the processing unit corresponding to the object being moved from the first placement area to the second placement area includes: recording the environmental characteristic data of the second placement area by the photographing unit, The control data includes environmental characteristic data of the second placement area.
以下為關於在本發明的自動控制方法中所執行的自動工作模式的描述。The following is a description of the automatic working mode executed in the automatic control method of the present invention.
在本發明的一實施例中,上述的自動控制方法更包括以下步驟:當自動控制裝置操作在一自動工作模式時,藉由攝影單元取得第一放置區域的另一連續影像,並儲存於記憶單元的記憶體暫存區;藉由處理單元分析另一連續影像,以判斷在第一放置區域中是否放置有匹配記錄在物件資料庫中的物件模型的物件;當處理單元判斷第一放置區域放置有物件時,藉由處理單元讀取行為資料庫,以取得對應於物件模型的控制資料;以及藉由處理單元依據控制資料來自動控制機械手臂抓取並移動物件,以將物件放置於第二放置區域。In an embodiment of the present invention, the above-mentioned automatic control method further includes the following steps: when the automatic control device operates in an automatic working mode, another continuous image of the first placement area is obtained by the photographing unit and stored in the memory The temporary memory area of the unit; the processing unit analyzes another continuous image to determine whether an object matching the object model recorded in the object database is placed in the first placement area; when the processing unit determines the first placement area When an object is placed, the processing unit reads the behavior database to obtain the control data corresponding to the object model; and the processing unit automatically controls the robotic arm to grab and move the object based on the control data to place the object in the first 2. Placement area.
在本發明的一實施例中,上述的藉由處理單元依據控制資料來自動控制機械手臂抓取並移動物件,以將物件放置於第二放置區域的步驟包括:藉由處理單元依據經由自動學習模式預設或經修改後的物件的運動軌跡資料和運動姿態資料以及抓取手勢資料來操作機械手臂抓取物件,並移動至第二放置區域。In an embodiment of the present invention, the aforementioned step of automatically controlling the robotic arm to grab and move the object according to the control data by the processing unit to place the object in the second placement area includes: The motion trajectory data and motion posture data of the object and the grab gesture data of the preset or modified mode are used to operate the robotic arm to grab the object and move it to the second placement area.
在本發明的一實施例中,上述藉由處理單元依據控制資料來自動控制機械手臂抓取並移動物件,以將物件放置於第二放置區域的步驟包括:藉由處理單元依據放置位置資料以及放置姿態資料來操作機械手臂將物件放置至第二放置區域中。In an embodiment of the present invention, the step of automatically controlling the robotic arm to grab and move the object by the processing unit according to the control data to place the object in the second placement area includes: the processing unit according to the placement position data and Place the posture data to operate the robotic arm to place the object in the second placement area.
在本發明的一實施例中,上述藉由處理單元依據放置位置資料以及放置姿態資料來操作機械手臂將物件放置至第二放置區域中的步驟更包括:藉由處理單元更依據第二放置區域的環境特徵資料來操作機械手臂將物件放置至第二放置區域中。In an embodiment of the present invention, the step of operating the robotic arm to place the object in the second placement area by the processing unit according to the placement position data and placement posture data further includes: the processing unit further based on the second placement area The environmental characteristics data of the robot is used to operate the robotic arm to place the object in the second placement area.
基於上述,本發明的自動控制裝置以及自動控制方法,可藉由視覺引導的方式來學習使用者或夾具對物件進行移動的特定手勢或行為,並藉由機械手臂來實現相同或對應的物件移動行為的自動控制工作。Based on the above, the automatic control device and the automatic control method of the present invention can learn the specific gestures or behaviors of the user or the fixture to move the object by means of visual guidance, and realize the same or corresponding object movement by the mechanical arm Automatic control of behavior.
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。In order to make the above-mentioned features and advantages of the present invention more comprehensible, the following specific embodiments are described in detail in conjunction with the accompanying drawings.
為了使本發明之內容可以被更容易明瞭,以下特舉實施例做為本發明確實能夠據以實施的範例。另外,凡可能之處,在圖式及實施方式中使用相同標號的元件/構件/步驟,係代表相同或類似部件。In order to make the content of the present invention more comprehensible, the following embodiments are specifically cited as examples on which the present invention can indeed be implemented. In addition, wherever possible, elements/components/steps with the same reference numbers in the drawings and embodiments represent the same or similar components.
圖1是依照本發明的一實施例的自動控制裝置的功能方塊圖。參考圖1,自動控制裝置100包括處理單元110、記憶單元120、以及攝影單元130。處理單元110耦接記憶單元120以及攝影單元130。在本實施例中,處理單元110可進一步耦接至外部的機械手臂200。在本實施例中,記憶單元120用以記錄物件資料庫121以及行為資料庫122,並且具有記憶體暫存區123。在本實施例中,自動控制裝置100可操作在自動工作模式以及自動學習模式,並且自動控制裝置100可經由自動學習後,藉由控制機械手臂200,以在兩個放置區域中進行自動化的物件移動工作。Fig. 1 is a functional block diagram of an automatic control device according to an embodiment of the present invention. 1, the
此外,值得注意的是,在本實施例中,操作者可預先建立其工作對象物件的物件模型,或是經由輸入電腦輔設計(Computer Aided Design, CAD)模型來在物件資料庫121中進行建檔,以供後續的自動學習模式以及自動工作模式進行物件識別時,其中處理單元110可讀取並且進行物件比對操作。In addition, it is worth noting that in this embodiment, the operator can create an object model of his work object in advance, or input a Computer Aided Design (CAD) model to create it in the
在本實施例中,處理單元110可為影像訊號處理器(Image Signal Processor, ISP)、中央處理器(Central Processing Unit, CPU)、微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor, DSP)、可程式化控制器(Programmable Logic Controller, PLC)、特殊應用積體電路(Application Specific Integrated Circuit, ASIC)、系統單晶片(System on Chip, SoC)或其他類似元件或上述元件的組合,本發明並不加以限制。In this embodiment, the
在本實施例中,記憶單元120可為動態隨機存取記憶體(Dynamic Random Access Memory, DRAM)、快閃記憶體(Flash memory)或非揮發性隨機存取記憶體(Non-Volatile Random Access Memory, NVRAM),本發明並不加以限制。記憶單元120可用以記錄本發明各實施例所述的資料庫、影像資料、控制資料以及各式控制軟體等,以供處理單元110讀取並執行之。In this embodiment, the
在本實施例中,機械手臂200可為單軸或多軸,並且可執行物件抓取動作以及移動物件等姿勢。自動控制裝置100透過有線或無線的方式與機械手臂200進行通訊,以自動控制機械手臂200來實現本發明各實施例所述的自動學習模式以及自動工作模式。在本實施例中,攝影單元130可為彩色深度攝影機(RGB-D camera),並且可用以同時取得二維(two-dimensional)影像資訊以及三維(three-dimensional)影像資訊,以提供至處理單元110進行分析,例如影像辨識、深度量測、物件判斷或手部識別等諸如此類的影像分析操作,以實現本發明各實施例的自動工作模式、自動學習模式以及自動控制方法。此外,在本實施例中,機械手臂200以及攝影單元130為可移動狀態。特別是,攝影單元130可外設於另一個機械手臂上或可移載的自動機械裝置,並且經由處理單元110操作,以使攝影單元130可自動追隨機械手臂200或是以下實施例所述的手部影像來進行相關的影像擷取操作。In this embodiment, the
圖2是依照本發明的一實施例的自動學習模式的操作示意圖。參考圖1以及圖2,在本實施例中,當自動控制裝置100操作自動學習模式時,自動控制裝置100可藉由攝影單元130取得第一放置區域R1的連續影像,並儲存於記憶體暫存區123。處理單元110可對所述連續影像進行分析,以判斷在所述連續影像中是否出現手部影像B接近放置在第一放置區域R1的物件150。在本實施例中,處理單元110讀取記錄在記憶單元120中的物件資料庫121,以判斷是否有對應的物件模型可以與物件150匹配(係指此物件150為工作目標物件)。當處理單元110判斷在物件資料庫121中的物件模型與物件150匹配時,處理單元110分析在所述連續影像中物件150從第一放置區域R1被移動至第二放置區域R2的物件150的運動軌跡以及運動姿態,以取得對應於物件150的運動軌跡資料以及運動姿態資料。並且,處理單元110將運動軌跡資料以及運動姿態資料作為控制資料,並且記錄至行為資料庫122中。Fig. 2 is an operation schematic diagram of an automatic learning mode according to an embodiment of the present invention. 1 and 2, in this embodiment, when the
此外,在一實施例中,處理單元110還可進一步對此手部影像B進行識別,以學習此手部影像B的姿勢。換言之,在一實施例中,自動控制裝置100會自動地先判斷是否存在物件150,接著執行手部識別。因此,在自動學習模式中,處理單元110可識別手部影像B對物件150進行的抓取動作,以取得對應的控制資料,並且記錄此控制資料至行為資料庫122中。In addition, in an embodiment, the
然而,本發明並不限於對使用者的手部影像B的移動物件150的行為進行學習。在一實施例中,上述移動物件150的對象也可由機械手臂的夾具來實現之。換言之,處理單元110可對所述連續影像進行分析,以判斷在所述連續影像中是否出現夾具影像接近放置在第一放置區域R1的物件150,並且學習夾具影像的姿勢,以取得對應的控制資料,並且記錄至行為資料庫122中。However, the present invention is not limited to learning the behavior of the moving
具體而言,當處理單元110判斷在第一放置區域R1當中放置有物件150,並且攝影單元130拍攝到手部影像B(或夾具影像)時,首先,攝影單元130將跟隨手部影像B(或夾具影像)進行影像擷取,以記錄手部影像B(或夾具影像)將物件150拾起、移動以及放置在第二放置區域R2的姿勢。在本實施例中,當手部影像B(或夾具影像)抓取並移動物件150時,處理單元110可記錄物件150的運動軌跡和物件150的運動姿態以及手部影像B(或夾具影像)的抓取手勢,以將物件150的運動軌跡資料和運動姿態資料以及手部影像B(或夾具影像)進行抓取動作的抓取手勢資料記錄至記憶單元120的行為資料庫122當中。詳細而言,所述的運動軌跡資料和所述的運動姿態資料可包括手部影像B(或夾具影像)從第一放置區R1抓取物件150後,手部影像B(或夾具影像)移動並且將物件150放置於第二放置區域R2直至手部影像B(或夾具影像)離開物件150的運動軌跡和姿態。接著,當手部影像B(或夾具影像)抓取並移動物件150時,當手部影像B(或夾具影像)將物件150抓取並移動至第二放置區域R2時,處理單元110可記錄第二放置區域R2的放置位置(例如座標)以及手部影像B(或夾具影像)放置物件150在第二放置區域R2的放置姿態,以將放置位置資料以及放置姿態資料記錄至記憶單元120的行為資料庫122當中。最後,處理單元110可記錄第二放置區域R2的環境特徵(例如放置區域的型態、外觀或周邊情境),以將環境特徵資料記錄至記憶單元120的行為資料庫122當中。因此,自動控制裝置100完成記錄上述的控制資料後,自動控制裝置100即可藉由讀取此控制資料來執行自動工作模式。Specifically, when the
圖3是依照本發明的一實施例的自動學習模式的流程圖。參考圖1至圖3,本實施例的動學習模式的流程可適用於圖1以及圖2實施例的自動控制裝置100。在步驟S301中,自動控制裝置100執行自動學習模式。在步驟S302中,自動控制裝置100的攝影單元130取得第一放置區域R1的連續影像。連續影像可儲存於記憶體暫存區123。在步驟S303中,自動控制裝置100的處理單元110分析第一放置區域R1的連續影像,以判斷在第一放置區域R1中是否有匹配記錄在物件資料庫121中的物件模型的物件150被移動。若否,則自動控制裝置100重新執行步驟S302。若是,則自動控制裝置100執行步驟S304。在步驟S304中,自動控制裝置100的處理單元110進一步分析連續影像,以判斷是否出現手部影像B(或夾具影像)抓取所述物件150。若否,則自動控制裝置100重新執行步驟S302。若是,則自動控制裝置100執行步驟S305。在步驟S305中,自動控制裝置100的處理單元110識別手部影像B(或夾具影像)對所述物件150進行的抓取動作。在步驟S306中,自動控制裝置100的處理單元110記錄所述物件150的運動軌跡資料和運動姿態資料以及手部影像B(或夾具影像)的抓取手勢資料。在步驟S307中,自動控制裝置100的處理單元110記錄所述物件150被放置在第二放置區域R2的放置位置資料以及B放置所述物件150在第二放置區域R2的放置姿態資料。在步驟S308中,自動控制裝置100的處理單元110可記錄第二放置區域R2的環境特徵資料。在步驟S309中,自動控制裝置100的結束自動學習模式。據此,本實施例的自動控制裝置100可藉由視覺式的方式來實現的自動學習功能。Fig. 3 is a flowchart of an automatic learning mode according to an embodiment of the present invention. 1 to 3, the flow of the dynamic learning mode of this embodiment can be applied to the
圖4是依照本發明的一實施例的自動工作模式的操作示意圖。參考圖1以及圖4,在本實施例中,當自動控制裝置100操作自動工作模式時,自動控制裝置100可藉由攝影單元130取得第一放置區域R1的連續影像,並儲存於記憶單元120的記憶體暫存區123。處理單元110對所述影像進行分析,以判斷在所述連續影像中是否有放置物件150’。在本實施例中,處理單元110讀取記錄在記憶單元120中的物件資料庫121,以判斷是否有對應的物件模型與所述特物件150’匹配。當處理單元110判斷在物件資料庫121中的物件模型與所述物件150’匹配時,處理單元110讀取記錄在記憶單元120中的行為資料庫122,以讀取對應於所述物件模型的控制資料。因此,處理單元110可依據所述控制資料來操作機械手臂200抓取並移動放置在第一放置區域R1的物件150’,以將物件150’放置於第二放置區域R2中。然而,值得注意的是,本實施例所述的控制資料可以是經由上述圖2以及圖3實施例所述的自動控制裝置100操作在自動學習模式時所記錄的相關控制資料,但本發明並不限於此。Fig. 4 is an operation schematic diagram of an automatic working mode according to an embodiment of the present invention. 1 and 4, in this embodiment, when the
具體而言,當處理單元110藉由攝影單元130拍攝第一放置區域R1的連續影像,並藉由判斷連續影像當中的第一放置區域R1當中是否放置有匹配記錄在物件資料庫121中的物件模型的物件150’。若有,則自動控制裝置100的處理單元110讀取行為資料庫122,以取得對應於物件模型(或對應物件150’)的控制資料。在本實施例中,所述控制資料可包括物件150’的運動軌跡資料、運動姿態資料、手部影像的抓取手勢資料、放置位置資料、放置姿態資料以及環境特徵資料等,本發明並不限於此。Specifically, when the
更進一步而言,首先,處理單元110依據經由自動學習模式預設或經修改後的運動軌跡資料和運動姿態資料以及手部影像的抓取手勢資料來操作機械手臂200抓取物件150’。接著,處理單元110依據放置位置資料以及放置姿態資料來操作機械手臂200移動物件150’至第二放置區域R2。並且,在本實施例中,攝影單元130可跟隨機械手臂200移動,以拍攝第二放置區域R2的連續影像。最後,處理單元110依據環境特徵資料來操作機械手臂200將物件150’放置至第二放置區域R2中。因此,自動控制裝置100完成上述的動作後,自動控制裝置100即完成一次自動工作任務,並且機械手臂200可回到原位,以對放置在第一放置區域R1當中與物件150’有相同外觀的其他目標工作物件來接續執行相同自動工作任務。據此,本實施例的自動控制裝置100可提供高可靠度的自動工作效果。More specifically, first, the
圖5是依照本發明的一實施例的自動工作模式的流程圖。參考圖1、圖4以及圖5。本實施例的動作學習模式的流程可適用於圖4以及圖5實施例的自動控制裝置100。在步驟S501中,自動控制裝置100執行學習模式。在步驟S502中,自動控制裝置100的攝影單元130取得第一放置區域R1的連續影像。在步驟S503中,自動控制裝置100分析第一放置區域R1的所述連續影像,以判斷在第一放置區域R1中是否放置有與記錄在物件資料庫121中的物件模型匹配的物件150’。若否,則自動控制裝置100重新執行步驟S502。若是,則自動控制裝置100執行步驟S504。在步驟S504中,自動控制裝置100的處理單元110依據預設或經修改後物件運動軌跡和姿態資料以及抓取手勢資料來操作機械手臂200抓取物件150’。在步驟S505中,自動控制裝置100的處理單元110依據放置位置資料以及放置姿態資料來操作機械手臂200移動物件150’至第二放置區域R2。在步驟S506中,自動控制裝置100的處理單元110依據環境特徵資料來操作機械手臂200將所述物件150’放置至第二放置區域R2中。在步驟S507中,自動控制裝置100的處理單元110判斷是否符合自動工作模式結束條件。在本實施例中,自動工作模式結束條件例如是機械手臂200的執行次數,或是第一放置區域R1的連續影像當中的物件150’是否不存在,或是第二放置區域R2的放置環境是否無法繼續執行(例如第二放置區域R2被放滿多個物件150’)。若否,則自動控制裝置100的處理單元110執行步驟S502。若是,則自動控制裝置100的處理單元110步驟S508,以結束自動工作模式。據此,本實施例的自動控制裝置100可實現視覺引導功能,並可準確地執行自動控制工作。Fig. 5 is a flowchart of an automatic working mode according to an embodiment of the present invention. Refer to Figure 1, Figure 4 and Figure 5. The flow of the action learning mode of this embodiment can be applied to the
值得注意的是,在上述各實施例中所述的連續影像是指攝影單元130在自動學習模式以及自動工作模式可連續地擷取影像。攝影單元130可即時地擷取影像,並且處理單元110可同步地分析影像,以取得相關資料來自動控制機械手臂200。換言之,使用者可先執行圖3實施例的流程,以進行自動學習模式後,接續執行圖5實施例所述的流程,進行自動工作模式。It is worth noting that the continuous images described in the above embodiments refer to that the photographing
圖6是依照本發明的一實施例的自動控制方法的流程圖。參考圖1以及圖6,本實施例的自動控制方法的流程可至少適用於圖1實施例的自動控制裝置100。在步驟S610中,當自動控制裝置100操作在自動學習模式時,藉由攝影單元130取得連續影像,並儲存於記憶單元120的記憶體暫存區123。在步驟S620中,處理單元110分析連續影像,以判斷在第一放置區域中是否有匹配記錄在物件資料庫121中的物件模型的物件被移動。在步驟S630中,當連續影像顯示物件被移動時,處理單元110對應物件從第一放置區域被移動至第二放置區域而取得控制資料,其中控制資料包括物件的運動軌跡資料以及運動姿態資料。在步驟S640中,處理單元110記錄控制資料至行為資料庫122。據此,本實施例的自動控制裝置100可準確地執行自動學習工作。Fig. 6 is a flowchart of an automatic control method according to an embodiment of the present invention. 1 and 6, the flow of the automatic control method of this embodiment can be at least applicable to the
另外,關於本實施例的自動控制裝置100的其他元件特徵、實施細節以及技術特徵,可參考上述圖1至圖5的各實施例的說明而獲致足夠的教示、建議以及實施說明,因此在此不多加贅述。In addition, with regard to other component features, implementation details, and technical features of the
綜上所述,本發明的自動控制裝置以及自動控制方法,可藉由在自動學習模式中先學習操作者的手部動作和被操作物件的行為,以記錄相關操作參數以及控制資料,接著可藉由在自動工作模式中利用在自動學習模式中取得的相關操作參數以及控制資料來自動控制機械手臂,以使機械手臂可準確地執行自動控制工作。因此,本發明的自動控制裝置以及自動控制方法可提供有效且便利的視覺引導功能,並可提供高可靠度的自動控制效果。In summary, the automatic control device and automatic control method of the present invention can first learn the operator's hand movements and the behavior of the operated object in the automatic learning mode to record relevant operating parameters and control data, and then By using the relevant operating parameters and control data obtained in the automatic learning mode to automatically control the mechanical arm in the automatic working mode, so that the mechanical arm can accurately perform the automatic control work. Therefore, the automatic control device and the automatic control method of the present invention can provide an effective and convenient visual guidance function, and can provide a highly reliable automatic control effect.
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。Although the present invention has been disclosed in the above embodiments, it is not intended to limit the present invention. Anyone with ordinary knowledge in the relevant technical field can make some changes and modifications without departing from the spirit and scope of the present invention. The protection scope of the present invention shall be subject to those defined by the attached patent application scope.
100:自動控制裝置
110:處理單元
120:記憶單元
121:物件資料庫
122:行為資料庫
123:記憶體暫存區
130:攝影單元
200:機械手臂
150、150’:物件
B:手部影像
R1:第一放置區域
R2:第二放置區域
S301~S309、S501~S508、S610~S640:步驟100: automatic control device
110: processing unit
120: memory unit
121: Object Database
122: Behavior Database
123: Temporary memory area
130: Photography unit
200:
圖1是依照本發明的一實施例的自動控制裝置的功能方塊圖。 圖2是依照本發明的一實施例的自動學習模式的操作示意圖。 圖3是依照本發明的一實施例的自動學習模式的流程圖。 圖4是依照本發明的一實施例的自動工作模式的操作示意圖。 圖5是依照本發明的一實施例的自動工作模式的流程圖。 圖6是依照本發明的一實施例的自動控制方法的流程圖。Fig. 1 is a functional block diagram of an automatic control device according to an embodiment of the present invention. Fig. 2 is an operation schematic diagram of an automatic learning mode according to an embodiment of the present invention. Fig. 3 is a flowchart of an automatic learning mode according to an embodiment of the present invention. Fig. 4 is an operation schematic diagram of an automatic working mode according to an embodiment of the present invention. Fig. 5 is a flowchart of an automatic working mode according to an embodiment of the present invention. Fig. 6 is a flowchart of an automatic control method according to an embodiment of the present invention.
100:自動控制裝置100: automatic control device
110:處理單元110: processing unit
120:記憶單元120: memory unit
121:物件資料庫121: Object Database
122:行為資料庫122: Behavior Database
123:記憶體暫存區123: Temporary memory area
130:攝影單元130: Photography unit
200:機械手臂200: Robotic arm
Claims (20)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108139026A TWI734237B (en) | 2019-10-29 | 2019-10-29 | Automatic control method and automatic control device |
US16/691,544 US20200171655A1 (en) | 2018-11-30 | 2019-11-21 | Automatic control method and automatic control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108139026A TWI734237B (en) | 2019-10-29 | 2019-10-29 | Automatic control method and automatic control device |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202117475A true TW202117475A (en) | 2021-05-01 |
TWI734237B TWI734237B (en) | 2021-07-21 |
Family
ID=77020549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108139026A TWI734237B (en) | 2018-11-30 | 2019-10-29 | Automatic control method and automatic control device |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI734237B (en) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006236031A (en) * | 2005-02-25 | 2006-09-07 | Seiko Epson Corp | Robot trajectory controlling method, system, and program for robot trajectory controlling method |
TWI382762B (en) * | 2008-11-17 | 2013-01-11 | Ind Tech Res Inst | Method for tracking moving object |
TWI499966B (en) * | 2013-10-08 | 2015-09-11 | Univ Nat Taiwan Science Tech | Interactive operation method of electronic apparatus |
TWI520110B (en) * | 2014-08-21 | 2016-02-01 | 思創影像科技股份有限公司 | 3d visual detection system and method for determining if an object enters a zone on demand |
CN106407875B (en) * | 2016-03-31 | 2019-08-30 | 深圳奥比中光科技有限公司 | Target's feature-extraction method and device |
CN106934833B (en) * | 2017-02-06 | 2019-09-10 | 华中科技大学无锡研究院 | One kind stacking material pick device at random and method |
JP7122821B2 (en) * | 2017-12-15 | 2022-08-22 | 川崎重工業株式会社 | Robot system and robot control method |
-
2019
- 2019-10-29 TW TW108139026A patent/TWI734237B/en active
Also Published As
Publication number | Publication date |
---|---|
TWI734237B (en) | 2021-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8843236B2 (en) | Method and system for training a robot using human-assisted task demonstration | |
JP6931457B2 (en) | Motion generation method, motion generator, system and computer program | |
JP6499273B2 (en) | Teaching apparatus and control information generation method | |
JP5918266B2 (en) | Method, computer program and apparatus for determining gripping position | |
JP6640060B2 (en) | Robot system | |
KR101860200B1 (en) | Selection of a device or an object by means of a camera | |
RU2700246C1 (en) | Method and system for capturing an object using a robot device | |
WO2019080228A1 (en) | Robot object-grasping control method and apparatus | |
JP6042291B2 (en) | Robot, robot control method, and robot control program | |
WO2021117479A1 (en) | Information processing device, method, and program | |
US20230330858A1 (en) | Fine-grained industrial robotic assemblies | |
JP6660962B2 (en) | Teaching device and control information generation method | |
TWI696529B (en) | Automatic positioning method and automatic control apparatus | |
TWI734237B (en) | Automatic control method and automatic control device | |
TWI734055B (en) | Automatic control method and automatic control device | |
TW201914782A (en) | Holding position and posture instruction apparatus, holding position and posture instruction method, and robot system | |
US20200171655A1 (en) | Automatic control method and automatic control device | |
WO2016151667A1 (en) | Teaching device and method for generating control information | |
CN110271001A (en) | Robot recognition methods, control method, device, storage medium and main control device | |
TWI784700B (en) | Robot system and picking method | |
TWI780887B (en) | Robot system and picking method | |
RU2800443C1 (en) | Method of object manipulation | |
WO2023171687A1 (en) | Robot control device and robot control method | |
US20220301209A1 (en) | Device and method for training a neural network for controlling a robot | |
CN117657756A (en) | Workpiece stirring system and robot |