TW201830183A - 位置控制裝置及位置控制方法 - Google Patents

位置控制裝置及位置控制方法 Download PDF

Info

Publication number
TW201830183A
TW201830183A TW106109509A TW106109509A TW201830183A TW 201830183 A TW201830183 A TW 201830183A TW 106109509 A TW106109509 A TW 106109509A TW 106109509 A TW106109509 A TW 106109509A TW 201830183 A TW201830183 A TW 201830183A
Authority
TW
Taiwan
Prior art keywords
objects
unit
amount
control
image
Prior art date
Application number
TW106109509A
Other languages
English (en)
Other versions
TWI640851B (zh
Inventor
毬山利貞
三浦衛
松本渉
Original Assignee
三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機股份有限公司 filed Critical 三菱電機股份有限公司
Publication of TW201830183A publication Critical patent/TW201830183A/zh
Application granted granted Critical
Publication of TWI640851B publication Critical patent/TWI640851B/zh

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G05D3/20—Control of position or direction using feedback using a digital comparing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39271—Ann artificial neural network, ffw-nn, feedforward neural network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Manipulator (AREA)
  • Control Of Position Or Direction (AREA)

Abstract

包括拍攝部201，拍攝2個物體存在的影像；控制參數產生部202，輸入拍攝的2個物體的影像資訊至神經網路的輸入層，輸出用以控制2個物體的位置關係的位置控制量作為神經網路的輸出層；控制部203，使用輸出的位置控制量，控制用以控制2個物體的位置關係的電流或電壓；以及驅動部204，使用用以控制2個物體的位置關係的電流或電壓，使2個物體的位置關係的一方的位置移動；其中，控制參數產生部202，因為是從複數的神經網路中選擇一個的構成，即使有各個物體個體差或2個物體的位置關係誤差，也具有能更佳精度進行位置相合的效果。

Description

位置控制裝置及位置控制方法
本發明係關於位置控制裝置及位置控制方法。
建構以機械手臂(robot arm)進行組裝動作的生產系統之際，一般是進行根據稱作教導的人手產生的指教操作。但是，此教導中，因為機械器人只對記憶的位置重複進行動作，發生製作或安裝引起的誤差時，有時不能對應。因此，像吸收此個體誤差的位置補正技術可以開發的話，可以期待生產性的提高，機器人的活躍場面也變大。
目前的技術中，存在利用攝影機影像進行直到連接器插入操作之前的位置補正的技術(專利文件1)。又，使用力學感測器、立體攝影機等複數的裝置的話，可以吸收有關組裝(插入、工作保持等)的位置誤差。但是，為了決定位置補正量，如同參考文件，需要明示根據影像資訊計算把持的連接器的中心座標、插入側的連接器的中心座標等的量。此計算依存連接器的形狀，每使用連接器，設計者就必須設定。又，可以從距離攝影機等取得3次元資訊的話，此計算也比較容易，但為了從2次元資訊取得，因為每一連接器必須開發影像處理運算，花費大量的設計成本。
[先行技術文件]
[專利文件]
[專利文件1]世界專利第98-017444號公報
即，只根據來自單眼攝影機的資訊，具有難以控制用以組裝的位置之課題。
本發明係用以解決上述的課題而形成，以只以單眼攝影機進行位置相合為目的。
根據此發明的位置控制裝置的特徵在於包括拍攝部，拍攝2個物體存在的影像；以及控制參數產生部，輸入拍攝的2個物體存在的影像資訊至神經網路的輸入層，輸出用以控制拍攝的2個物體的位置關係的位置控制量作為神經網路的輸出層。
根據此發明，可以只以單眼攝影機進行位置相合之效果。
100‧‧‧機器手臂
101‧‧‧把持部
102‧‧‧單眼攝影機
110‧‧‧凸側連接器
120‧‧‧凹側連接器
201‧‧‧拍攝部
202‧‧‧控制參數產生部
203‧‧‧控制部
204‧‧‧驅動部
301‧‧‧輸出入界面
302‧‧‧處理器
303‧‧‧記憶體
304‧‧‧控制電路
305‧‧‧監視器
801‧‧‧力感測器
802‧‧‧路徑決定部
803‧‧‧Critic部
804‧‧‧Actor部
805‧‧‧評估部
806‧‧‧路徑設定部
[第1圖]係第一實施例中的機器手臂100、凸側連接器110及凹側連接器120的配置圖；[第2圖]係第一實施例中的位置控制裝置的機能構成圖；[第3圖]係第一實施例中的位置控制裝置的硬體構成圖；[第4圖]係第一實施例中的位置控制裝置在位置控制中的流程圖； [第5圖]係第一實施例中單眼攝影機102拍攝的插入開始位置與其周邊附近的攝影機影像與控制量的顯示圖範例；[第6圖]係顯示第一實施例中的神經網路以及神經網路的學習法則的範例圖；[第7圖]係第一實施例中的神經網路中，使用複數的網路的流程圖；[第8圖]係第二實施例中的位置控制裝置的機能構成圖；[第9圖]係第二實施例中的位置控制裝置的硬體構成圖；[第10圖]係顯示第二實施例中的凸側連接器110與凹側連接器120的嵌合試驗狀態圖；[第11圖]係顯示第二實施例中的位置控制裝置的路徑學習中的流程圖；[第12圖]係第三實施例中的位置控制裝置的路徑學習中的流程圖；以及[第13圖]係顯示第三實施例中的神經網路以及神經網路的學習法則的範例圖。
[第一實施列]
以下，說明關於此發明的實施例。
第一實施例中，說明關於學習各連接器的插入位置，生產線進行組裝的機器手臂與其位置控制方法。
說明構成，第1圖係第一實施例中的機器手臂100、凸側連接器110及凹側連接器120的配置圖。機器手臂100中備置把持凸側連接器110的把持部101，在看得見此把 持部101的位置安裝單眼攝影機102至機器手臂100。此單眼攝影機102位置，在機器手臂100的前端的把持部101把持凸側連接器110之際，設置為看得見把持的凸側連接器110的前端部與插入側的凹側連接器120。
第2圖係第一實施例中的位置控制裝置的機能構成圖。
第2圖中，由下列構成：拍攝部201，係第1圖中的單眼攝影機102的機能，拍攝影像；控制參數產生部202，使用拍攝的影像產生機器手臂100的位置的控制量；控制部203，使用位置的控制量，對機器手臂100的驅動部204，控制電流．電壓值；以及驅動部204，根據從控制部203輸出的電流．電壓值，變更機器手臂100的位置。
控制參數產生部202，係單眼攝影機102的機能，從拍攝影像的拍攝部201一取得影像，就決定對於機器手臂100的位置(X,Y,Z,Ax,Ay,Az)的值的控制量(△X,△Y,△Z,△Ax,△Ay,△Az)，輸出控制量至控制部203。(X,Y,Z是機器手臂的位置，Ax,Ay,Az是機器手臂100的姿勢角度)
控制部203根據對於接受的機器手臂100的位置(X,Y,Z,Ax,Ay,Az)的值的控制量(△X,△Y,△Z,△Ax,△Ay,△Az)，決定並控制對於構成驅動部204的各裝置的電流．電壓值。
驅動部204，由於以對於從控制部203接受的各裝置的電流．電壓值動作，機器手臂100移動至(X+△X,Y+△Y,Z+△Z,Ax+△Ax,Ay+△Ay,Az+△Az)的位置。
第3圖係第一實施例中的位置控制裝置的硬體構 成圖。
單眼攝影機102，經由輸出入界面301，不論有線無線可通訊連接至處理器302、記憶體303。以輸出入界面301、處理器302、記憶體303構成第2圖中的控制參數產生部202的機能。輸出入界面301，不論有線無線還可通訊連接至對應控制部203的控制電路304。控制電路304還與監視器305電性連接。監視器305，對應第2圖中的驅動部204，構成為用以控制各裝置位置的元件。又，本實施例中，作為對應驅動部204的硬體的形態，假設為監視器305，但只要是可以控制位置的硬體即可。因此，單眼攝影機201與輸出入界面301間、輸出入界面301與控制電路304間構成不同形式也可以。
其次說明關於動作。
第4圖係第一實施例中的位置控制裝置在位置控制中的流程圖。
首先，步驟S101中，機器手臂100的把持部101，把持凸側連接器110。在第2圖的控制部203側事前登錄此凸側連接器110的位置或姿勢，根據預先在控制部203側登錄的控制程式動作。
其次，步驟S102中，機器手臂100靠近凹側連接器120的插入位置近旁。此凸側連接器110的大致位置或姿勢，事前登錄在第2圖的控制部203側，根據預先在控制部203側登錄的控制程式，使凸側連接器110的位置動作。
其次，步驟S103中，控制參數產生部202對於單眼攝影機102的拍攝部201，指示拍攝影像，單眼攝影機103拍攝把 持部101把持的凸側連接器110以及成為插入處的凹側連接器120兩方映射的影像。
其次，步驟S104中，控制參數產生部202，從拍攝部201取得影像，決定控制量(△X,△Y,△Z,△Ax,△Ay,△Az)。關於此控制量的決定，控制參數產生部202，使用第3圖的處理器302、記憶體303作為硬體的同時，利用神經網路計算控制量(△X,△Y,△Z,△Ax,△Ay,△Az)。後述使用神經網路的控制量的計算方法。
其次，步驟S105中，控制部203取得控制參數產生部202輸出的控制量(△X,△Y,△Z,△Ax,△Ay,△Az)的同時，比較預先決定的臨界值與控制量的全部成分。控制量的全部成分在臨界值以下的話，進行至步驟S107，控制部203控制驅動部204，使凸側連接器110往凹側連接器120插入。
控制量的任一成分比臨界值大的話，在步驟S106中，控制部203利用參數產生部202輸出的控制量(△X,△Y,△Z,△Ax,△Ay,△Az)控制驅動部204，回到步驟S103。
其次，說明關於利用第4圖的步驟S104中的神經網路的控制量計算方法。
進行利用神經網路的控制量計算之前，作為事前準備，為了能由神經網路算出從輸入影像到嵌合成功的移動量，事前收集影像與需要的移動量的配套。例如，對於位置是已知的嵌合狀態的凸側連接器110與凹側連接器120，以機器手臂100的把持部101把持凸側連接器110。於是，往已知的拉拔方向一邊移動把持部101，一邊移動到插入開始位置的同時，以單眼攝影機 102取得複數枚影像。又，以插入開始位置為控制量(0,0,0,0,0,0)，不只是僅僅從嵌合狀態到插入開始的移動量，也取得對應其周邊的移動量即控制量(△X,△Y,△Z,△Ax,△Ay,△Az)的影像。第5圖係第一實施例中單眼攝影機102拍攝的插入開始位置與其周邊附近的攝影機影像與控制量的顯示圖範例。
於是，使用從嵌合狀態到插入開始位置的移動量以及單眼攝影機102中的插入開始位置及周邊的位置的影像構成的複數的配套，根據一般的神經網路的學習法則(例：機率梯度法)學習。
神經網路中存在CNN、RNN等各種形態，但本發明不依存其形態，可以使用任意的形態。
第6圖係顯示第一實施例中的神經網路以及神經網路的學習法則的範例圖。
輸入層中，輸入從單眼攝影機102得到的影像(例如各畫素的亮度、色差的值)，輸入層輸出控制量(△X,△Y,△Z,△Ax,△Ay,△Az)。
神經網路的學習過程中，為了使從輸入的影像經由中間層得到的輸出層的輸出值近似影像配套中記憶的控制量，進行最優化中間層的參數。作為其近似方法，有機率梯度法等。
因此，如第5圖所示，不只是僅僅從嵌合狀態到插入開始的移動量，也取得對應其周邊的移動的影像並學習，藉此可以進行更正確的學習。
又，第5圖中，凸側連接器110對單眼攝影機102，位置是固定的，顯示關於只有凹側連接器120的位置變化的情況， 但實際上，機器手臂100的把持部101，並非在正確的位置把持凸側連接器110，由於個體差，也存在凸側連接器110的位置偏離的情況。因此，此學習的過程中取得凸側連接器110從正確位置偏離時的插入開始位置、其附近的位置的複數的控制量與影像的配套並學習，進行可以對應凸側連接器110與凹側連接器120兩方的個體差的學習。
但是，在此必須注意的是，因為控制量(△X,△Y,△Z,△Ax,△Ay,△Az)係除去拍攝的時刻從嵌合狀態位置到插入開始位置的移動量而算出，關於從插入開始位置到嵌合狀態位置的移動量，為了在第4圖的步驟S107中使用，必須另外記憶。又，因為求出上述座標作為單眼攝影機的座標系，對於控制部203在單眼攝影機的座標系與機器手臂100全體的座標系不同的情況下轉換單眼攝影機的座標系之後，必須控制機器手臂100。
此實施例中，因為固定單眼攝影機至機器手臂100，放置凹側連接器120的座標系與單眼攝影機102的座標系不同。因此，如果單眼攝影機102與凹側連接器120的位置是相同座標系的話，就不用從單眼攝影機102的座標系轉換到機器手臂100的座標系。
其次，說明關於第4圖的動作細節與動作例。
步驟S101中，為了機器手臂100把持凸側連接器110，通過事前登錄的動作把持凸側連接器110，步驟S102中，凹側連接器120大致移動到上面。
此時，把持的凸側連接器110在臨把持前的位置不一定總是固定。由於設定此凸側連接器110的位置的機械的 微妙動作差距等，有可能常發生微妙的誤差。同樣地，凹側連接器120也可能具有一點誤差。
因此，步驟S103中，如第5圖附屬於機器手臂100的單眼攝影機102的拍攝部201拍攝的影像中，取得凸側連接器110與凹側連接器120兩方映射的影像變得很重要。因為單眼攝影機102對機器手臂100的位置總是固定，凸側連接器110與凹側連接器120的相對位置資訊反映在此影像中。
步驟S104中，以具有事前學習此相對位置資訊的如第6圖所示的神經網路之控制參數產生部202，計算控制量(△X,△Y,△Z,△Ax,△Ay,△Az)。但是，根據學習的成功．失敗，控制參數產生部202輸出的控制量也可能不能動作到插入開始位置。在此情況下，藉由複數次重複步驟S103~S106的迴路，為了成為步驟S105所示的臨界值以下，控制參數產生部202重複計算，控制部203與驅動部204控制，也有可能控制機器手臂100的位置。
步驟S105所示的臨界值根據嵌合的凸側連接器110與凹側連接器120的要求精度決定。例如，與連接器的嵌合鬆弛，原本作為連接器的特性精度不必到那樣的程度時，可以設定大的臨界值。又，相反的情況下，會設定小的臨界值。一般製造程序的情況下，因為很多規定製作可以容許的誤差，也可能使用此值。
又，根據學習的成功．失敗，假設控制參數產生部202輸出的控制量不能動作到插入開始位置的情況下，複數位置設定插入開始位置也可以。維持不能充分取得凸側連接器 110與凹側連接器120之間的距離，設定插入開始位置時，進行插入開始前凸側連接器110與凹側連接器120連接，存在其中之一破損的危險。在那情況下，例如，如同凸側連接器110與凹側連接器120間的清除稱為最初5mm(毫米)、其次為20mm、其次為10mm，根據第4圖中的步驟S103~步驟S106之間的迴路次數，設定插入開始位置也可以。
又，本實施例中，使用連接器說明，但此技術的應用不限於連接器的嵌合。例如，也可以應用於基板上裝載IC的情況，尤其對於腳的尺寸誤差大的電容器等插入基板的孔內，使用同樣的方法的話，也達到效果。
又，不一定是插入基板，根據影像與控制量的關係，可以全面利用求出控制量的位置控制。此發明中，利用神經網路學習影像與控制量的關係，進行物體與物體的位置相合之際具有可以吸收進行各個的個體差之優點。
因此，第一實施例中，因為包括拍攝部201，拍攝2個物體存在的影像；控制參數產生部202，輸入拍攝的2個物體的影像資訊至神經網路的輸入層，輸出用以控制2個物體的位置關係的位置控制量，作為神經網路的輸出層；控制部203，使用輸出的位置的控制量，控制用以控制2個物體的位置關係之電流或電壓；以及驅動部204，使用用以控制2個物體的位置關係之電流或電壓，使2個物體的位置關係之一方的位置移動；即使有各個物體的個體差或2個物體的位置關係的誤差也具有可以只以單眼攝影機進行位置相合的效果。
這次，說明關於使用一個神經網路的實施例，但 根據需要，出現使用複數的需要。原因是，如同這次輸入為影像、輸出為數值的情況下，此數值的近似精度有限度，根據狀況出現數%左右的誤差。根據第4圖的步驟2的插入開始附近的位置到插入開始位置的量，步驟S105的判定有可能總是No，動作不結束。這樣的情況下，如第7圖，使用複數的網路。
第7圖，在第一實施例中的神經網路中，係使用複數的網路的流程圖。指示第4圖的步驟S104的詳細步驟。複數的參數包括在第2圖的控制參數產生部內。
步驟S701中，控制參數產生部202，根據輸入的影像選擇使用哪個網路。
迴路次數是第1次或得到的控制量是25mm以上時，選擇神經網路1，進行至步驟S702。又，迴路次數是第2次以後且得到的控制量是5mm以上未滿25mm時，選擇神經網路2，進行至步驟S703。又，迴路次數是第2次以後且得到的控制量是未滿5mm時，選擇神經網路3，進行至步驟S704。步驟S702~S704中，使用選擇的神經網路算出控制量。
例如，各神經網路根據凸側連接器110與凹側連接器120的距離或控制量學習，轉換圖中的神經網路3的誤差在±1mm、±1度的範圍內的學習資料，神經網路2的誤差在±1~±10mm、±1~±5度的範圍的學習資料之階段學習的資料範圍。在此，各神經網路中使用的影像範圍不重疊比較有效率。
又，此第7圖中，顯示3個範例，但網路的數量沒有特別限制。使用如此的方式時，需要準備決定使用哪個網路的步驟S701的判別機能作為「網路選擇開關」。
此網路選擇開關，也可以由神經網路構成。在此情況下，對輸入層的輸入影像、輸出層的輸出成為網路號碼。影像資料，使用全部網路使用的影像、網路號碼的配對。
又，關於使用複數的神經網路的範例也使用連接器說明，但此技術的應用不只是嵌合。例如也可以適用於基板上裝載IC的情況，尤其插入腳的尺寸誤差大的電容器等至基板的孔內，使用同樣的方法的話也達到效果。
又，關於使用複數的神經網路的範例不一定限於對基板的插入，可以全面利用根據影像與控制量的關係求出的控制量的位置控制。此發明中，使用神經網路學習影像與控制量的關係，進行物體與物體的位置相合之際具有可以吸收各個個體差的優點，可以算出更佳精度的控制量。
因此，包括拍攝部201，拍攝2個物體存在的影像；控制參數產生部202，輸入拍攝的2個物體的影像資訊至神經網路的輸入層，輸出用以控制2個物體的位置關係的位置控制量作為神經網路的輸出層；控制部203，使用輸出的位置控制量，控制用以控制2個物體的位置關係的電流或電壓；以及驅動部204，使用用以控制2個物體的位置關係的電流或電壓，使2個物體的位置關係中一方的位置移動；因為控制參數產生部202為從複數的神經網路選擇一個的構成，即使有各個物體的個體差或2個物體的位置關係的誤差，也有能更佳精度進行位置相合的效果。
[第二實施例]
第一實施例中，對於位置是既知的嵌合狀態的凸 側連接器110與凹側連接器120，以機器手臂100的把持部101把持凸側連接器110。於是，往已知的抽出方向一邊移動把持部101，一邊移動至插入開始位置的同時，以單眼攝影機102取得複數枚影像。第二實施例中，說明關於凸側連接器110與凹側連接器120的嵌合位置是未知的情況。
作為機器人本身學習獲得適當的行動的手法的先行研究，研究稱作強化學習的手法。此手法中，機器人錯誤試驗進行各種動作，一邊記憶出現好的結果的行動，一邊最優化行動，但為了行動的最優化，需要大量的試驗次數。
作為減少此試驗次數的手法，一般使用強化學習中稱作依策略(on policy)的框架。但是，為了應用此框架於機器手臂的教導，因為對機器手臂或控制信號必須進行特殊化的種種設法是困難的，沒達到實用化。
第二實施例中，說明關於如第一實施例中的機器人進行錯誤試驗各種動作，一邊記憶出現好的結果的行動，一邊可以減輕用以最優化行動的大量試驗次數的形態。
說明系統構成。關於不特別記述的部分與第一實施例相同。
作為全體硬體構成，與第一實施例的第1圖相同，但機器手臂100中附加測量把持部101所受的負荷之力感測器801(第1圖中未圖示)之點不同。
第8圖係第二實施例中的位置控制裝置的機能構成圖。與第2圖不同，追加力感測器801、路徑決定部802，且路徑決定部802由Critic(評論者)部803、Actor(行動者)部 804、評估部805、路徑設定部806構成。
第9圖係第二實施例中的位置控制裝置的硬體構成圖。與第3圖的不同點只是力感測器801與輸出入界面301電性或可通訊連接。又，輸出入界面301、處理器302、記憶體303，構成第8圖的控制參數產生部202的機能的同時，也構成路徑決定部802的機能。因此力感測器801、單眼攝影機201及輸出入界面301之間、輸出入界面301與控制電路304之間構成另外形式也可以。
其次說明第8圖的細節。
力感測器801，測量機器手臂100的把持部101所受的負荷，例如可以測量第1圖中所稱的凸側連接器110與凹側連接器120連接時的力值。
Critic(評論者)部803及Actor(行動者)部804，在S3、S4與習知的強化學習中所稱的Critic部、Actor部相同。
在此說明關於習知的強化學習手法。本實施例在強化學習中也使用稱作Actor-Critic模型的模型(參考文件：強化學習：R.S.Sutton和A.G.Barto 2000年12月出版)。Actor部804、Critic部803通過拍攝部201或力感測器801取得環境狀態。Actor部804，係以利用感測器裝置取得的環境狀態I作為輸入，輸出控制量A至機器人控制器之函數。Critic部803對Actor部804成功適當嵌合，對輸入I Actor部804係用以適當學習輸出A之機構。
以下，記載關於習知的強化學習手法的方式。
強化學習中，定義稱作報酬R的量，讓Actor部804可以獲得最大化其R的行動A。例如，學習的操作為第一 實施例所示的凸側連接器110與凹側連接器120的嵌合的話，定義嵌合成功時R=1，不成功時R=0等。行動A，顯示這次從目前時刻的位置(X,Y,Z,Ax,Ay,Az)開始的移動補正量，A=(dX,dY,dZ,dAx,dAy,dAz)。在此，X,Y,Z表示以機器人的中心部為原點的位置座標，Ax,Ay,Az表示分別以X軸、Y軸、Z軸為中心的旋轉量。移動補正量，係根據目前的地點，關於凸側連接器110的嵌合，離最初用以試驗的嵌合開始位置的移動量。環境狀態，即試驗結果的觀測係根據來自拍攝部201的影像與力感測器801的值得到。
強化學習中，以Critic部803學習稱作狀態價值函數V(I)的函數。在此，假設時刻t=1(例如，嵌合試驗開始時)時，狀態I(1)中取得行動A(1)，時刻t=2(例如，第1次的嵌合試驗結束後第2次的嵌合試驗開始前)時環境變化為I(2)，得到報酬量R(2)(初次的嵌合試驗結果)。考慮各種更新式，舉下述作為一範例。V(I)的更新式由以下定義。
[數式1]δ=R(2)+γ V(I(2))-V(I(1))
在此，δ是預測誤差，α是學習係數而且是0~1的正實數，γ是打折率而且是0~1的正實數。
Actor部804以輸入為I，以輸出為A(I)，如下更新A(I)。
δ>0時
[數式3]
δ≦0時
在此，σ表示輸出的標準偏差值，Actor在狀態I中，A(I)加上具有平均0、分散為σ2的分佈的隨機數。即，不論試驗的結果為何，像是隨機決定第2次的移動補正量。
又，使用上述的更新式作為一範例，但Actor-Critic模型也有各種更新式，不限於上述，一般使用的模型就可以變更。
但，Actor部804在上述構成中記住各狀態中具有的適當行動，與第一實施例相同，移動是學習結束的時刻。因為學習中根據路徑設定部806計算並交接學習時的推薦行動，學習時對於控制部203，原封不動接受來自路徑設定部806的移動信號，控制部203控制驅動部204。
即，Actor-Critic的習知模型中，因為定義嵌合成功時R=1，不成功時R=0，嵌合成功時開始進行學習，而且直到嵌合成功，因為隨機給予試驗使用的移動補正量數，不進行根據試驗失敗程度對下一試驗的移動補正量的決定。這是因為不只是Actor-Critic的習知模型，使用Q-learning等其他的強化學習模型也只評估嵌合的成功與失敗本身，成為同樣的結果。本發明的本實施例中，說明關於評估此失敗程度，決定對下一試驗的移動補正量之過程。
評估部805，產生各嵌試驗時進行評估的函數。
第10圖係顯示第二實施例中的凸側連接器110與凹側連 接器120的嵌合試驗狀態圖。
例如，掌握像第10(A)圖的影像作為試驗的結果。此試驗中，因為連接器的嵌合位置大偏離，失敗。此時，測量哪種程度接近成功並數值化，求出表示成功程度的評估值。作為數值化的方法，例如，像第10(B)圖，有計算影像中插入處側的連接器表面積(畫素數)的方法。此方法中，凸側連接器110與凹側連接器120的插入失敗由機器手臂100的力感測器801檢知時，只有凹側連接器120嵌合面的表面塗佈與其他背景不同顏色，或是經由貼上封條，根據影像的資料取得和計算變得更簡單。又，目前為止敘述的的方法是攝影機的數量一台的情況，複數台的攝影機排列拍攝，綜合使用拍攝的各種影像的結果也沒關係。又，即使連接器表面積以外也取得2次元方向(例如，X、Y方向)的畫素數等，也可以同樣評估。
路徑設定部806，分為2個步驟處理。
第一步驟中，學習評估部805中處理的評估結果與機器入實施中移動的動作。假設機器人的移動補正量為A，指示評估部805中處理的成功程度的評估值為E時，準備路徑設定部806以A為輸入、E為輸出的函數，並近似。作為函數，例如舉出RBF(Radial Basis Function(徑向基底函數))網路。RBF，係熟知為可簡單近似各種未知的函數之函數。
例如，對於第k個輸入[數式5]x^k=(x_1^k,…,x_i^k,…x_I^k)
輸出f(x)，定義如下。
在此，意味σ是標準偏差，μ是RBF的中心。
RBF中學習的資料，不是單一，使用所有從試驗開始時到最新的資料為止的資料。例如，目前，第N次的試驗時，準備N個資料。根據學習，必須決定上述的W=(w_1,...w_J)，關於其決定，考慮各種方法，舉出如下述的RBF補足作為一範例。假設
[數式9]F=(f(x 1),…,f(x N ))時，以[數式10]W=Φ-1 F
結束學習。
以RBF補足結束近似後，根據最急下降法、PSO(Particle Swam Optimization(粒子群優化算法))等的一般最優化手法，由上述RBF網路求出最小值。以此最小值作為下一推薦值輸入至下一Actor部804。
總之，具體說明上述事例的話，以對於失敗時的移動補正量的表面積或2次元方向的畫素數作為評估值，每試驗次數時序排 列使用其排列值求得最佳解。更簡單地，求出使2次元方向的畫素數減少的方向上以固定比例移動的移動補正量也可以。
其次在第11圖中顯示動作流程。
第11圖係顯示第二實施例中的位置控制裝置的路徑學習中的流程圖。
首先，步驟S1101中，機器手臂100的把持部101，把持凸側連接器110。此凸側連接器110的位置或姿勢事前登錄在第8圖的控制部203側，根據預先登錄在控制部203側的控制程式動作。
其次，在步驟S1102中，機器手臂100靠近凹側連接器120的插入位置近旁。此凸側連接器110的大約位置或姿勢，事前登錄在第8圖的控制部203側，根據預先登錄在控制部203側的控制程式，使凸側連接器110的位置動作。目前為止與第一實施例中第4圖的流程圖的步驟S101~S102相同。
其次，步驟S1103中，路徑決定部802，對於單眼攝影機102的拍攝部201，指示拍攝影像，單眼攝影機102拍攝把持部101把持的凸側連接器110以及成為插入處的凹側連接器120兩方映射的影像。又，路徑決定部802，對於控制部203與單眼攝影機102，指示拍攝目前位置附近的影像，根據控制部203指示的複數的移動值，以驅動部204移動的位置中，單眼攝影機拍攝凸側連接器110以及成為插入處的凹側連接器120兩方映射的影像。
其次，步驟S1104中，路徑決定部802部的Actor部804，給予控制部203用以進行嵌合的移動量，由驅動部204 使機器手臂100移動，試驗凸側連接器110以及成為插入處的凹側連接器120的嵌合。
其次在步驟S1105中，以驅動部204移動機器手臂100中連接器之間接觸時每一移動量的單位量，路徑決定部802的評估部805與Critic部803記憶力感測器801的值以及來自單眼攝影機102的影像。
於是，步驟S1106中，評估部805與Critic部803確認是否嵌合成功。
通常，在這時刻嵌合不成功。因此，步驟S1108中，評估部805以第10圖中說明的方法評估成功程度，給予路徑設定部806指示對位置相合的成功程度的評估值。
於是，步驟S1109中，路徑設定部806使用上述方法進行學習，路徑設定部806給予Actor部804下一推薦值的同時，Critic部803輸出根據報酬量求出的值，由Actor部804接收。步驟S1110中，Actor部804將Critic部803輸出的根據報酬量求出的值與路徑設定部806輸出的下一推薦值相加，求出移動補正量。又，此步驟中，只要使用路徑設定部806輸出的下一推薦值就有充分的效果時，當然不必加上Critic部803輸出的根據報酬量求出的值。又，Actor部804，為了求出移動補正量，設定Critic部803輸出的根據報酬量求出的值與路徑設定部806輸出的下一推薦值的加法比率，根據加法比率變更也可以。
之後，步驟S1111中，Actor部804，給予控制部203移動補正量，使機器手臂100的把持部101移動。
之後，再次回到步驟S1103，在根據移動補正量移動的位 置拍攝影像，進行嵌合動作，重複直到嵌合成功為止。
嵌合成功的情況下，步驟S1107中，嵌合成功後，關於嵌合成功時的步驟S1102到S1106的I，進行Actor部804及Critic部803的學習。最後，路徑決定部802，由於給予控制參數產生部202此學習的神經網路的資料，第一實施例中的動作成為可能。
又，上述步驟S1107中，嵌合成功的情況下，關於I進行Actor部804及Critic部803的學習，但Actor部804及Critic部803使用嵌合試驗揭示開始到成功為止所有的試驗時的資料學習也可以。在此情況下，第一實施例中，記載關於根據控制量形成複數的神經網路的情況，但知道嵌合成功的位置的話，使用到嵌合成功為止的距離，能夠使根據控制量的大小的適當的複數的神經網路同時形成。
作為強化學習，記載Actor-Critic模型於基底，但使用Q-Learning等其他的學習模型也沒關係。
作為函數近似，舉出RBF網路，但使用其他的函數近似手法(線形、二次函數等)也沒關係。
作為評估手法，舉出連接器的表面上使顏色不同的手法，但根據其他的影像處理技術以連接器間的偏離量等作為評估手法也沒關係。
又，如第一實施例及本實施例中所述，此技術的應用不限於連接器的嵌合。例如也可以應用於基板上裝載IC的情況，尤其腳的尺寸誤差大的電容器等插入基板的孔時，使用相同的方法即達到效果。
又，不一定是插入基板，可以全面利用根據影像與控制量 的關係求出控制量的位置控制。此發明中，藉由使用神經網路學習影像與控制量的關係，物體與物體的位置相合之際具有可以吸收進行各個的個體差之優點，可以算出更佳精度的控制量。
因此，本實施例中，為了學習控制量使用Actor-Critic模型之際，Actor部804，將Critic部803根據報酬量求出的值以及路徑設定部806根據評估值求出的推薦值相加，藉由求出用以試驗的移動補正量，通常的Actor-Critic模型，到位置相合成功為止需要非常多的錯誤試驗數，但根據本發明可以大幅削減位置相合的試驗數。
又，本實施例中，根據評估來自位置相合失敗時的拍攝部201的影像，記載關於削減位置相合的試驗次數，但使用位置相合試驗時的力感測器801的值，也可以削減試驗次數。例如，連接器的嵌合或包含2個物體的插入的位置相合中，失敗時力感測器801的值成為某臨界值以上時，一般Actor部804判斷2個物體的位置是否在嵌合或插入完成的位置。在那情況下，也考慮a.達到臨界值的時刻嵌合或插入途中的情況b.雖然嵌合與插入完成，但嵌合或插入途中的力感測器801的值顯示某程度的值的情況。
a.的情況，具有學習力感測器801的值與影像兩方的方法，使用第三實施例詳細記載的方法即可以實施。
b.的情況，作為只以力感測器801的值學習的方法，使用第三實施例記載的方法即可以實施。又，作為別的方法，Actor-Critic模型中的報酬R的定義中，正在進行嵌合或插入中所受的最大負荷為F，A為正的定數時，定義成功時R= (1-A/F)，失敗時R=0，也可以達到相同的效果。
[第三實施例]
本實施例中，說明在第二實施例中位置相合成功後進行的學習過程中關於有效收集資料的方法。因此，關於不特別說明的情況，與第二實施例相同。即，第三實施例中的位置控制裝置的機能構成圖係第8圖，硬體構成圖為第9圖。
以下說明動作中第二實施例中的第11圖的步驟S1107動作之際，關於更有效收集學習資料的方法。
第12圖係顯示第三實施例中的位置控制裝置的路徑學習中的流程圖。
首先，步驟S1201中，第11圖的步驟S1107中凸側連接器110與凹側連接器120的嵌合成功時，路徑設定部806初期化變數為i=0,j=1,k=1。變數i係之後的機器手臂100的學習次數，變數k係從凸側連接器110與凹側連接器120的嵌合偏離時開始的學習次數，變數j係第12圖的流程圖的迴路次數。
其次，步驟S1202中，路徑設定部806為了在第11圖步驟S1104中進行嵌合從給予的移動量返回1mm(毫米)的部分，經由Actor部804給予控制部203移動量，由驅動部204使機器手臂100移動。於是，對於變數i加上1。在此，給予從移動量返回1mm的指示，但不一定限於1mm，也可以是0.5mm、2mm等的單位量。
其次，步驟S1203中，路徑設定部806記憶當時的座標為O(i)(此時i=1)。
步驟S1204中，路徑設定部806以O(i)為中心，隨機決定 移動量(△X,△Y,△Z,△Ax,△Ay,△Az)，經由Actor部804給予控制部203移動量，由驅動部204使機器手臂100移動。此時，此移動量的最大量，在可移動的範圍內可以任意設定。
其次，步驟S1205中，在步驟S1204中移動後的位置中，Actor部804收集對應移動量(△X,△Y,△Z,△Ax,△Ay,△Az)的力感測器801的值的同時，步驟S1206中，Critic部803與Actor部804，記錄移動量乘上-1的(-△X,-△Y,-△Z,-△Ax,-△Ay,-△Az)與測量為了保持凸側連接器110施加的力之力感測器801的感測值為學習資料。
其次，步驟S1207中，路徑設定部806，判定收集的資料數是否可以達到規定數J。資料數不足的話，步驟S1208中變數j加上1回到步驟S1204，根據隨機數改變移動量(△X,△Y,△Z,△Ax,△Ay,△Az)，取得資料，直到積存規定數j個的資料為止，重複S1204~S1207。
規定數的資料積存的話，在步驟S1209中，路徑設定部806使變數j為1之後，在步驟S1210中，確認凸側連接器110與凹側連接器120的嵌合是否偏離。
沒有偏離的話，經由步驟S1211，回到步驟S1202。
步驟S1211中，路徑設定部806，為了恢復機器手臂100的座標到給予移動量前的座標O(i)，經由Actor部804給予控制部203移動量，以驅動部204使機器手臂100移動。
之後，從步驟S1202到步驟S1210的迴路，直到凸側連接器110與凹側連接器120的嵌合偏離為止，重複為了進行嵌合從給予的移動量返回1mm或單位量的處理以及以返回的位置 為中心給予移動量收集力感測器801的資料的處理。凸側連接器110與凹側連接器120的嵌合偏離時，進行到步驟S1212。
步驟S1212中，路徑設定部806，使變數i為I(I是比判定凸側連接器110與凹側連接器120的嵌合偏離時的i值大的整數)的同時，為了進行嵌合，從給予的移動量返回例如10mm(在此也是其他值也可以)，經由Actor部804給予控制部203移動量，以驅動部204使機器手臂100移動。
其次，步驟S1213中，路徑設定部806記憶步驟S1212中移動的機器手臂100的座標的位置為中心位置O(i+k)。
其次，步驟S1214中，路徑設定部806以位置O(i+k)為中心，再次隨機決定移動量(△X,△Y,△Z,△Ax,△Ay,△Az)之後，經由Actor部804給予控制部203移動量，以驅動部204使機器手臂100移動。
步驟S1215中，Critic部803與Actor部804，以移動量(△X,△Y,△Z,△Ax,△Ay,△Az)移動後的機器手臂100位置中，單眼攝影機102的拍攝部201取得拍攝的影像。
步驟S1216中，Critic部803與Actor部804，記錄移動量乘上-1的(-△X,-△Y,-△Z,-△Ax,-△Ay,-△Az)與影像為1個學習資料。
步驟S1217中，路徑設定部806，判定收集的資料數是否可以到達規定數J。資料數不足的話，步驟S1212中變數j加上1回到步驟S1214，根據隨機數改變移動量(△X,△Y,△Z,△Ax,△Ay,△Az)，取得資料，直到積存規定數j個的資料 為止，重複S1214~S1217。
又，S1214中的移動量(△X,△Y,△Z,△Ax,△Ay,△Az)與S1214中的移動量的隨機值的最大值可以取不同的值。
以上的方法取得的學習資料，進行Actor部804及Critic部803的學習。
第13圖係顯示第三實施例中的神經網路以及神經網路的學習法則的範例圖。
關於第一、二實施例，記載使用力感測器801的資料的學習方法。第一及二實施例，對於輸入層只是影像，在第三實施例中，輸入層中換成影像放入力感測器801的值即可。力感測器801的值，3個(力與2方向的力矩)的情況與6個(3方向與3方向力矩)都可以。輸出層輸出控制量(△X,△Y,△Z,△Ax,△Ay,△Az)。又，凸側連接器110與凹側連接器120的嵌合偏離時，輸入層內將同時輸入影像與力感測器801的值。
神經網路的學習過程中，為了使從輸入的影像及力感測器801的值經由中間層得到的輸出層的輸出值近似影像及力感測器801的值以配對記憶的控制量，進行最優化中間層的參數並學習。
最後，由於路徑決定部802給予控制參數產生部202此學習的神經網路的資料，第一實施例中的動作成為可能。
又，本實施例中，從用以嵌合凸側連接器110與凹側連接器120的移動每次返回少許的同時，為了使機器手臂100微小往周邊移動並學習，係以直到嵌合偏離為止，根據單眼攝影機102的影像的畫素量不能充分學習為前提說明。
但是，單眼攝影機102的影像足夠高精細，即使是使機器 手臂100微小往周邊移動的影像也充分可學習的情況下，只以單眼攝影機102的影像學習也可以，在凸側連接器110與凹側連接器120嵌合的情況下，使用單眼攝影機102的影像與力感測器801兩方的值也可以。
又，第一、二實施例中，說明關於使用複數的神經網路的實例。本實施例中，例如也以凸側連接器110與凹側連接器120嵌合的狀態以及凸側連接器110與凹側連接器120不嵌合的情況，區別神經網路也可以。如上述說明，凸側連接器110與凹側連接器120嵌合的狀態下，只形成力感測器801為輸入層，嵌合偏離的話只以影像形成輸入層，可以進行更佳精度的學習，而且只以影像學習的情況也區別嵌合的情況及不嵌合的情況，因為影像的構成不同，能進行精度佳的學習。
又，如第一、二實施例中所述，本實施例中此技術的應用不限於連接器的嵌合。例如基板上裝載IC的情況下可以適用，尤其腳的尺寸誤差大的電容器等插入基板的孔時，只要使用同樣的方法即達到效果。
又，不一定限於對基板的插入，可以全面利用根據影像與控制量的關係求出控制量的位置控制。此發明中，利用神經網路學習影像與控制量的關係，進行物體與物體的位置相合之際具有可以吸收各個個體差之優點，可以算出精度更佳的控制量。
因此，本實施例中，因為包括路徑設定部806，關於2個物體包含伴隨插入的位置相合的情況，為了學習控制量，從插入狀態拔出之際，指示往插入狀態開始的路徑上及其周邊移動的移動量；以及Actor部804，移動位置作為輸出層， 移動位置的力感測器801的值作為輸入層，取得為了學習移動的位置與力感測器801的值；可以有效收集學習資料。

Claims (8)

  1. 一種位置控制裝置，包括：拍攝部，拍攝2個物體存在的影像；以及控制參數產生部，輸入拍攝的2個物體存在的影像資訊至神經網路的輸入層，輸出用以控制上述拍攝的2個物體的位置關係的位置控制量作為上述神經網路的輸出層。
  2. 如申請專利範圍第1項所述的位置控制裝置，更包括：控制部，使用申請專利範圍第1項中輸出的位置控制量，控制用以控制上述拍攝的2個物體的位置關係之電流或電壓；以及驅動部，使用用以控制上述拍攝的2個物體的位置關係之電流或電壓，使上述拍攝的2個物體的位置關係之一方的位置移動。
  3. 如申請專利範圍第1或2項所述的位置控制裝置，其中，申請專利範圍第1或2項所述的控制參數產生部從複數的神經網路中選擇一個。
  4. 如申請專利範圍第3項所述的位置控制裝置，其中，上述控制參數產生部，根據上述控制量的大小，選擇上述複數的神經網路中的一個。
  5. 如申請專利範圍第4項所述的位置控制裝置，其中，上述控制參數產生部，申請專利範圍第4項所述的上述複數的神經網路各個，使用對應上述控制量的大小的上述拍攝的兩個物體的影像進行學習。
  6. 如申請專利範圍第1至5項中任一項所述的位置控制裝 置，其中，為了學習上述控制量使用強化學習模型之際，Actor部根據路徑設定部指示成功程度的評估值，使用求出的推薦值，求出用以試驗的移動補正量。
  7. 一種2個物體的位置控制裝置之2個物體的位置控制方法，包括下列步驟：拍攝步驟，拍攝2個物體存在的影像；輸入步驟，輸入拍攝的2個物體存在的影像資訊至神經網路的輸入層；以及輸出步驟，輸出用以控制上述拍攝的2個物體的位置關係的位置控制量作為上述神經網路的輸出層。
  8. 一種2個物體的位置控制裝置之2個物體的位置控制方法，包括下列步驟：試驗與學習步驟，為了學習用以進行用以控制上述2個物體的位置關係的位置相合之控制量，根據指示成功程度的評估值，使用求出的推薦值，求出移動補正量，進行位置相合的試驗與成功時的學習；拍攝步驟，拍攝2個物體存在的影像；輸入步驟，輸入拍攝的2個物體存在的影像資訊至神經網路的輸入層；以及輸出步驟，輸出用以控制上述拍攝的2個物體的位置關係的位置的上述控制量作為上述神經網路的輸出層。
TW106109509A 2017-02-09 2017-03-22 Position control device and position control method TWI640851B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??PCT/JP2017/004732 2017-02-09
PCT/JP2017/004732 WO2018146769A1 (ja) 2017-02-09 2017-02-09 位置制御装置及び位置制御方法

Publications (2)

Publication Number Publication Date
TW201830183A true TW201830183A (zh) 2018-08-16
TWI640851B TWI640851B (zh) 2018-11-11

Family

ID=63107958

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106109509A TWI640851B (zh) 2017-02-09 2017-03-22 Position control device and position control method

Country Status (7)

Country Link
US (1) US11440184B2 (zh)
JP (1) JP6587761B2 (zh)
KR (1) KR102113462B1 (zh)
CN (1) CN110268358B (zh)
DE (1) DE112017007025T5 (zh)
TW (1) TWI640851B (zh)
WO (1) WO2018146769A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
JP6603257B2 (ja) * 2017-03-31 2019-11-06 ファナック株式会社 行動情報学習装置、管理装置、ロボット制御システム及び行動情報学習方法
CN107292392B (zh) * 2017-05-11 2019-11-22 苏州大学 基于深度带权双q学习的大范围监控方法及监控机器人
JP7020812B2 (ja) * 2017-07-19 2022-02-16 キヤノン株式会社 ロボット装置、ロボット装置の制御方法、ロボット装置を用いた物品の組立方法、制御プログラムおよび記録媒体
US11833681B2 (en) 2018-08-24 2023-12-05 Nvidia Corporation Robotic control system
DE102019122790B4 (de) * 2018-08-24 2021-03-25 Nvidia Corp. Robotersteuerungssystem
US11685052B2 (en) * 2018-09-18 2023-06-27 Kinova Inc. Vision guided robot arm and method for operating the same
US11292133B2 (en) * 2018-09-28 2022-04-05 Intel Corporation Methods and apparatus to train interdependent autonomous machines
JP6699702B2 (ja) * 2018-10-17 2020-05-27 トヨタ自動車株式会社 内燃機関の制御装置及びその制御方法、並びに内燃機関を制御するための学習モデル及びその学習方法
JP6978454B2 (ja) * 2019-02-22 2021-12-08 ファナック株式会社 物体検出装置、制御装置及び物体検出用コンピュータプログラム
JP7290439B2 (ja) * 2019-03-25 2023-06-13 Ntn株式会社 嵌合作業装置
DE102019205651B3 (de) * 2019-04-18 2020-08-20 Kuka Deutschland Gmbh Verfahren und System zum Ausführen von Roboterapplikationen
JP6941305B2 (ja) * 2019-07-30 2021-09-29 株式会社安川電機 嵌合装置、嵌合方法及びプログラム
WO2021118702A1 (en) 2019-12-12 2021-06-17 Mujin, Inc. Method and computing system for performing motion planning based on image information generated by a camera
WO2021176902A1 (ja) * 2020-03-02 2021-09-10 ソニーグループ株式会社 学習処理装置、ロボット制御装置、および方法、並びにプログラム
JP7463777B2 (ja) 2020-03-13 2024-04-09 オムロン株式会社 制御装置、学習装置、ロボットシステム、および方法
DE102020112149A1 (de) 2020-05-05 2021-11-11 Integrated Dynamics Engineering Gesellschaft mit beschränkter Haftung Verfahren zur Kontrolle von Handlingsystemen
US20210352835A1 (en) * 2020-05-05 2021-11-11 Integrated Dynamics Engineering Gmbh Method for processing substrates, in particular wafers, masks or flat panel displays, with a semi-conductor industry machine
DE102020113278A1 (de) 2020-05-15 2021-11-18 Gerhard Schubert Gesellschaft mit beschränkter Haftung Verfahren zur Steuerung des Betriebs eines Industrieroboters
DE102020206913B4 (de) * 2020-06-03 2022-12-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben eines Roboters
CN111823230B (zh) * 2020-06-19 2022-01-07 山东科技大学 一种基于Scara机器人的非固定式手眼关系标定方法
WO2022002571A2 (de) 2020-07-02 2022-01-06 Sew-Eurodrive Gmbh & Co. Kg Verfahren zum betreiben eines systems und system, aufweisend einen stapel von objekten, einen roboter, einen sensor und ein aufnahmemittel
DE102020209685B4 (de) * 2020-07-31 2023-07-06 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum steuern einer robotervorrichtung und robotervorrichtungssteuerung
US20220105626A1 (en) * 2020-10-05 2022-04-07 Autodesk, Inc. Techniques for force and torque-guided robotic assembly
CN114851184B (zh) * 2021-01-20 2023-05-09 广东技术师范大学 一种面向工业机器人的强化学习奖励值计算方法
CN113059570B (zh) * 2021-04-09 2022-05-24 华南理工大学 基于人体动态臂力估计模型的人-机器人协同控制方法
DE102021109332B4 (de) * 2021-04-14 2023-07-06 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern eines Roboters zum Einsetzen eines Objekts in eine Einsetzstelle
DE102021109333B4 (de) * 2021-04-14 2023-07-06 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Trainieren eines Neuronalen Netzes zum Steuern eines Roboters für eine Einsetzaufgabe
DE102021204846B4 (de) 2021-05-12 2023-07-06 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Steuern einer Robotervorrichtung
DE102022202144A1 (de) 2022-03-02 2023-09-07 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zur Steuerung eines Roboters zur Durchführung einer Aufgabe
DE102022202145A1 (de) 2022-03-02 2023-09-07 Robert Bosch Gesellschaft mit beschränkter Haftung Roboter und Verfahren zum Steuern eines Roboters
DE102022202143B4 (de) 2022-03-02 2024-05-16 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zur Steuerung eines Roboters zur Durchführung einer Aufgabe
DE102022204724A1 (de) 2022-05-13 2023-11-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Steuern einer Robotervorrichtung

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309525A (en) * 1990-06-14 1994-05-03 Canon Kabushiki Kaisha Image processing apparatus using neural network
JPH05318355A (ja) 1992-05-25 1993-12-03 Sony Corp 位置補正方法及び位置補正装置
CN1072374C (zh) * 1995-08-07 2001-10-03 货款接收机公司 用人工神经网络对硬币的有效性进行图形识别的装置
US6141863A (en) 1996-10-24 2000-11-07 Fanuc Ltd. Force-controlled robot system with visual sensor for performing fitting operation
TW444499B (en) * 1998-12-31 2001-07-01 Tsai Ching Yuan Binocular mechanical head monitoring system
JP3876234B2 (ja) * 2003-06-17 2007-01-31 ファナック株式会社 コネクタ把持装置、同装置を備えたコネクタ検査システム及びコネクタ接続システム
JP2005125475A (ja) 2003-10-24 2005-05-19 Sunao Kitamura 一回の成功試行で最良経路を学習するアーキテクチャ
KR20050073964A (ko) * 2004-01-12 2005-07-18 고종선 동기전동기를 이용한 위치 제어장치 및 방법
JP2008542859A (ja) * 2005-05-07 2008-11-27 エル ターラー、ステフエン 有用な情報を自律的にブートストラッピングする装置
CN101396829A (zh) * 2007-09-29 2009-04-01 株式会社Ihi 机器人装置的控制方法以及机器人装置
CN100524108C (zh) * 2007-11-19 2009-08-05 北京理工大学 一种基于小波神经网络的视觉反馈控制方法
JP5427658B2 (ja) 2010-03-16 2014-02-26 パナソニック株式会社 コンパレータのオフセット補正装置
FI20106090A0 (fi) * 2010-10-21 2010-10-21 Zenrobotics Oy Menetelmä kohdeobjektin kuvien suodattamiseksi robottijärjestelmässä
JP5744587B2 (ja) * 2011-03-24 2015-07-08 キヤノン株式会社 ロボット制御装置、ロボット制御方法、プログラム及び記録媒体
JP5869406B2 (ja) 2012-03-30 2016-02-24 株式会社大気社 熱交換システム、及び、コントローラ
US20140025613A1 (en) * 2012-07-20 2014-01-23 Filip Ponulak Apparatus and methods for reinforcement learning in large populations of artificial spiking neurons
TWI492008B (zh) * 2013-11-01 2015-07-11 Ind Tech Res Inst 工作機械控制系統及其方法
JP6427972B2 (ja) 2014-06-12 2018-11-28 セイコーエプソン株式会社 ロボット、ロボットシステム及び制御装置
CN105430255A (zh) * 2014-09-16 2016-03-23 精工爱普生株式会社 图像处理装置以及机器人系统
JP2016185572A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム
JP6517567B2 (ja) * 2015-03-31 2019-05-22 日本電産サンキョー株式会社 サーボモータ制御装置及び衝突検出方法
DE112016003350T5 (de) * 2015-07-24 2018-04-05 Google Llc Kontinuierliche steuerung mit tiefem bestärkendem lernen

Also Published As

Publication number Publication date
JP6587761B2 (ja) 2019-10-09
US11440184B2 (en) 2022-09-13
WO2018146769A1 (ja) 2018-08-16
CN110268358B (zh) 2022-11-04
DE112017007025T5 (de) 2019-10-24
KR102113462B1 (ko) 2020-05-21
US20200030970A1 (en) 2020-01-30
CN110268358A (zh) 2019-09-20
KR20190102250A (ko) 2019-09-03
TWI640851B (zh) 2018-11-11
JPWO2018146769A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
TWI640851B (zh) Position control device and position control method
TWI638249B (zh) Position control device and position control method
TW201932257A (zh) 位置控制裝置以及位置控制方法
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN105818167A (zh) 采用远距数字摄像头校准铰接的末端执行器的方法
JP6985532B2 (ja) データ処理方法及び装置、電子機器並びに記憶媒体
JP2017077614A (ja) 教示点補正方法、プログラム、記録媒体、ロボット装置、撮影点作成方法、及び撮影点作成装置
JP2022089269A (ja) キャリブレーション装置およびキャリブレーション方法
WO2017130650A1 (ja) ステレオカメラおよび撮像システム
CN113878588B (zh) 面向卡扣式连接的基于触觉反馈的机器人柔顺装配方法
CN113954076A (zh) 基于跨模态预测装配场景的机器人精密装配方法
KR20090090983A (ko) 복수의 카메라 영상을 이용한 공간좌표 추출방법
US11989928B2 (en) Image processing system
CN115862124B (zh) 视线估计方法、装置、可读存储介质及电子设备
Graae et al. Stereoscopic vision for a humanoid robot using genetic programming
WO2022107548A1 (ja) ３次元骨格検出方法及び３次元骨格検出装置
CN111536895B (zh) 外形识别装置、外形识别系统以及外形识别方法
CN111522299B (zh) 机械控制装置
KR20220146666A (ko) 화상 검사 장치 및 화상 검사 방법
CN103841394A (zh) 多层式三维显示器的标定设备和标定方法
JP7419993B2 (ja) 信頼度推定プログラム、信頼度推定方法、および信頼度推定装置
JP2023011319A (ja) 調整支援システムおよび調整支援方法
Liu Three-Dimensional Hand Tracking and Surface-Geometry Measurement for a Robot-Vision System
Sargent Tracker-endoscope calibration for colonoscopy
JP2015178138A (ja) 情報処理装置、情報処理方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees