TW201905729A - 動作預測系統以及動作預測方法 - Google Patents

動作預測系統以及動作預測方法

Info

Publication number
TW201905729A
TW201905729A TW107120025A TW107120025A TW201905729A TW 201905729 A TW201905729 A TW 201905729A TW 107120025 A TW107120025 A TW 107120025A TW 107120025 A TW107120025 A TW 107120025A TW 201905729 A TW201905729 A TW 201905729A
Authority
TW
Taiwan
Prior art keywords
surrounding environment
action
learning
model
data
Prior art date
Application number
TW107120025A
Other languages
English (en)
Other versions
TWI707280B (zh
Inventor
蓮沼仁志
榎本雅幸
藤森潤
Original Assignee
日商川崎重工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商川崎重工業股份有限公司 filed Critical 日商川崎重工業股份有限公司
Publication of TW201905729A publication Critical patent/TW201905729A/zh
Application granted granted Critical
Publication of TWI707280B publication Critical patent/TWI707280B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39298—Trajectory learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

一種自動運行系統(5)，具備複數個學習完畢模仿模型(61)及模型選擇部(35)。學習完畢模仿模型(61)，係藉由利用分類系統(51)的自動分類演算法將作業履歷資料分類為複數個群，且對其中的每個群使與前述群對應之模仿模型(61)進行機械學習而被建構。作業履歷資料，包含顯示週邊環境的資料、及顯示作業員在前述週邊環境之操作的資料。模型選擇部(35)係根據利用分類系統(51)的自動分類演算法對所提供的顯示週邊環境的資料進行分類的結果，自複數個模仿模型(61)選擇一個模仿模型(61)。自動運行系統(5)，係將顯示週邊環境的資料輸入藉由模型選擇部(35)選擇的模仿模型(61)，預測作業員之對前述週邊環境的操作。

Description

動作預測系統以及動作預測方法
本發明係關於一種藉由機械學習來預測人的動作之系統及方法。
以往，通常會藉由預先製作的程式來控制機器人及大型機器等控制對象物，使其等執行期望的動作。例如，專利文獻1揭示一種構成，其中前述機器人之控制部具備：CPU；ROM，其儲存有用以控制機器人的程式；及RAM，其儲存有用以供機器人執行作業的機器人語言編寫的程式。
[先前技術文獻]
[專利文獻]
專利文獻1：日本特開平7-134605號公報。
於以往的構成中，用以使機器人等運動的程式，係藉 由人理解作業且對運動方式進行程式設計而被實現。然而，此種之方法，多數情況下需要在程式的製作及其調整上花費時間。
此外，為了回應以下的需求即取代人工而使機器人自動進行伴隨有接觸零件等的作業、或者在大型機器中將根據操作者目視觀察得到之狀況而進行的運行操作自動化，有時也必須以程式來實現基於熟練者的經驗或直覺的運動方式，因而需要大量的反復試驗。此外，雖然也有藉由進行以語言等明文規定人的經驗或直覺的作業而將程式設計容易化的方法途徑，但即使被語言化有時也會有不能正確地表現語意的情況，於所謂程式之方法中，存在有許多不能實現良好控制的情況。
本發明係鑑於以上的情狀而完成者，其主要目的，在於提供一種能有效地實現猶如熟練的人進行之操作的自動化。
本發明所欲解決的問題誠如上述，以下對用以解決前述課題的手段及其功效進行說明。
根據本發明的第1觀點，提供以下構成的動作預測系統。即，前述動作預測系統，具備複數個學習完畢動作預 測模型、以及模型選擇部。前述動作預測模型，係藉由利用自動分類演算法將學習用動作事例資料分類成複數個群，且對其中的每個群使與前述群對應之動作預測模型進行機械學習而被建構。前述學習用動作事例資料包含顯示週邊環境的資料、及顯示人在前述週邊環境之動作的資料。前述模型選擇部，係根據利用前述自動分類演算法對所提供的顯示週邊環境的資料進行分類的結果，自複數個前述動作預測模型選擇一個動作預測模型。前述動作預測系統，係將顯示前述週邊環境的資料輸入藉由前述模型選擇部選擇的前述動作預測模型，預測人對前述週邊環境的動作。
根據本發明的第2觀點，提供以下的動作預測方法。即，前述動作預測方法，係包含分類步驟、學習步驟、模型選擇步驟以及預測步驟。於前述分類步驟中，利用自動分類演算法將學習用動作事例資料分類為複數個群，前述學習用動作事例資料包含顯示週邊環境的資料、及顯示前述週邊環境中的人的動作的資料。於前述學習步驟中，其在具有複數個動作預測模型的電腦中，對屬於在前述分類步驟中被分類的每個群之前述學習用動作事例資料，使與前述群對應的動作預測模型進行機械學習，而建構複數個學習完畢動作預測模型。於前述模型選擇步驟中，根據利用前述自動分類演算法對所提供的顯示週邊環境之資料進行分類的結果，自複數個前述動作預測模型中選擇一個動 作預測模型。於前述預測步驟中，將顯示前述週邊環境的資料輸入在前述模型選擇步驟中被選擇的前述動作預測模型，預測人對前述週邊環境的動作。
藉此，能以適宜取入有可能不適合語言化及程式上之表現的熟練的人工技術及技能的形式，短時間且低成本地實現自動化。此外，藉由限定一個動作預測模型所學習的對象，可進行有效率的學習。
根據本發明，可有效地實現猶如熟練的人進行之操作的自動化。
5、5x‧‧‧自動運行系統(動作預測系統)
11‧‧‧工件
12‧‧‧機械手臂
12a‧‧‧終端效應器
13‧‧‧垃圾焚化爐
21‧‧‧作業員
22‧‧‧主動臂
22a‧‧‧握把
23‧‧‧顯示器
24‧‧‧控制室
25‧‧‧指示器
31、32‧‧‧控制部
35‧‧‧模型選擇部
36‧‧‧評價部
37‧‧‧追加學習部
51‧‧‧分類系統
52‧‧‧模仿系統
61‧‧‧模仿模型
圖1係顯示於主從式的機器人遠距離操作系統中收集與機械手臂的作業相關的作業履歷資料之結構的概念圖。
圖2係顯示將作業履歷資料分類且使對應之模仿模型學習的作業的概念圖。
圖3係顯示第1實施形態之自動運行系統的方塊圖。
圖4係顯示建構及運用自動運行系統之作業的步驟流程圖。
圖5係顯示於垃圾焚化爐之操作系統中收集與垃圾焚化爐的運行相關的運行履歷資料之結構的概念圖。
圖6係顯示將作業履歷資料分類且使對應之模仿模型學習的作業的概念圖。
圖7係顯示第2實施形態之自動運行系統的方塊圖。
以下，參照圖式對本發明的實施形態進行說明。圖1係顯示於主從式的機器人遠距離操作系統中收集與機械手臂12的作業相關的作業履歷資料之結構的概念圖。圖2係顯示將作業履歷資料分類且使對應之模仿模型61學習的作業的概念圖。圖3係顯示第1實施形態之自動運行系統5的方塊圖。圖4係顯示建構及運用自動運行系統5之作業的步驟流程圖。
圖1顯示以下的狀況：為了實現機械手臂12的自動運行，於主從式的機器人遠距離操作系統中，取得作業員21手動遠距離操作機械手臂12對工件11進行各種各樣的作業的作業履歷。
於前述機器人遠距離操作系統中，作業員21藉由操作配置於操作場所的主動臂22，對作為從動臂的機械手臂12提供指示。
主動臂22係作為已知的多關節型機器人而構成。於主動臂22之各關節設置有省略圖示的致動器(例如，電動馬 達)，前述致動器係用來以前述關節為中心而驅動臂部。
於主動臂22具有之臂部的前端設置有供作業員21握持進行操作的握把22a。於主動臂22設置有未圖示的操作力檢測感測器，前述操作力檢測感測器可檢測作業員21對主動臂22施加之操作力。主動臂22係藉由作業員21施加的操作力與前述致動器施加的力的合力而進行運動。
機械手臂12係與主動臂22相同，作為已知的多關節型機器人而構成。於機械手臂12之前端部安裝有直接接觸於工件11而作用的終端效應器12a。
於機械手臂12設置有未圖示的反力檢測感測器，前述反力檢測感測器可檢測因終端效應器與外部環境(具體為工件11)接觸而受到的反力。機械手臂12係藉由自外部環境施加的反力、與用以驅動機械手臂12之各關節之未圖示的致動器施加的力的合力而進行運動。
機械手臂12及主動臂22，能對控制部31進行各種信號的輸入及輸出。控制部31係由已知的電腦構成，具有CPU、ROM、RAM、HDD等結構。此外，於前述HDD等藉由預先進行安裝作業而記憶有各種的軟體。前述軟體包含用以控制機械手臂12及主動臂22的控制應用軟體、及用以取得在本發明中為了學習的目的而使用的資料(後述的 作業履歷資料)的資料收集應用軟體。
控制部31一方面以追蹤根據作業員21之操作力之主動臂22的運動之方式驅動機械手臂12的致動器，另一方面以傳遞機械手臂12所受到的反力之方式驅動主動臂22之致動器。藉此，可實現相互作用的操作，作業員21可一面感受通過主動臂22而被虛擬提示的力感，一面使用前述主動臂22實時地對機械手臂12進行遠距離操作。
於機械手臂12之作業區設置有未圖示的照相機，照相機攝影的影像，經由控制部31被實時地傳送至設置於作業員21近旁的顯示器23。作業員21可一邊觀察顯示器23的影像來確認狀況，一邊操作主動臂22。
於如此之主從式的機器人遠距離操作系統中，當熟悉作業的作業員21進行操作時，作業員21可根據觀察所知的週邊狀況，適宜且合理地以精練的動作方式進行機械手臂12的作業。於傳承通過經驗累積而獲得之技藝的意義上，也希望能在自動運行中實現此種之作業員21的優異技術及技能。
因此，於本實施形態中，作為用以實現自動運行的準備，係取得精通作業的作業員21使用圖1之機器人遠距離操作系統而使機械手臂12進行多種多樣的作業時的作業 履歷，以作為作業履歷資料(學習用動作事例資料)。作為作業履歷資料之取得對象的作業，例如可為將工件插入其他工件之作業、搬運工件的作業、發現工件的不良等的作業等，但不限其等。獲得之作業履歷資料，係被儲存於控制部31具備的HDD等適宜的記憶媒體中。
作業履歷資料，大致上由顯示作業員21之週邊環境的資料、及顯示作業員21在前述週邊環境中進行的操作的資料構成。
顯示週邊環境的資料係一種表現能被作業員21察知之週邊狀況的資料，包含有機械手臂12之位置的資料、工件11之位置的資料、及反力感測器檢測的反力的資料。前述週邊環境資料，可作為多維向量來表現。
其中，機械手臂12及工件11之位置的資料，例如可藉由對以前述照相機攝影的影像進行圖像處理而獲得。惟，機械手臂12之位置的資料，例如也可根據機械手臂12之各關節具備的省略圖示的位置感測器的輸出值來生成。照相機也可被視作為光感測器的複合體，因此，綜上所述，週邊環境資料也可稱為感測器取得的資訊(感測器資訊)。
顯示作業員21進行的操作的資料，包含有以時序表現 主動臂22之位置(換言之，根據作業員21的操作的動作指令)的資料。前述資料可藉由反復進行以下的處理而收集，即：控制部31監視動作指令，且將檢測出的動作指令連同以控制部31具有的省略圖示的計時部(例如，計時器)取得的時間資訊一起進行記憶。前述資訊可為顯示人的動作之資訊。前述動作指令的資料，可作為多維向量來表現。
獲得充分數量的作業履歷資料後，如圖2所示，將前述作業履歷資料輸入分類系統51並進行分類。前述分類系統51，係藉由將實現前述分類系統51的軟體安裝於適宜的電腦而被實現。前述軟體包含有用以實現本發明之分類步驟的程式。
分類系統51係使用自動分類演算法的一種即例如分群法，將大量的作業履歷資料分類為複數個群。其中的分類係以顯示週邊環境的資料為基準而進行(動作指令的資料不包含於分類的基準內)，本實施形態中，自作業之步驟的觀點來進行。作為分群法，例如可採用NN法、K-Means法、自我組織映射(SOM)等，但不限此。此外，也可使用聚類以外的自動分類演算法對作業履歷資料進行分類。
假定藉由前述分類將作業履歷資料分類為n個群的作業履歷資料。將作業履歷資料分割為多少個群，只要考慮作業履歷資料的數量、作業的複雜度、後述的學習所需要 的時間等而適宜決定即可。以下的說明中，有時會將被分類的作業履歷資料的每個群分別稱為步驟1的作業履歷、步驟2的作業履歷、…，但這並非顯示被分類的作業履歷資料所示的步驟之時間順序(例如，顯示於步驟1之後進行步驟2的情況)。
其次，將每個群的作業履歷資料輸入模仿系統(動作預測系統)52進行學習。前述模仿系統52，係藉由將實現前述模仿系統52的軟體安裝於適宜的電腦而被實現。前述軟體包含有用以實現本發明的學習步驟的程式。若前述電腦具備GPU，則在能有效地進行機械學習方面較佳。
模仿系統52包含有與藉由前述分類系統51將作業履歷資料分類後的群數相同數量(即，n個)的模仿模型61。實際上，可以認為一個模仿模型61相當於將作業員21的技術及技能細分為數個之中的一個。此外，各模仿模型61，係與以作業之步驟的觀點分類的作業履歷資料的每個群對應。各模仿模型61相互獨立，且能單獨進行作業履歷資料的學習。
於前述構成中，將每個群的作業履歷資料(即，步驟1的作業履歷、步驟2的作業履歷、…)輸入對應的模仿模型61，使其學習此時的作業員21的操作。作為為了此目的之方法，可採用適合學習時序資料之已知的機械學習方 法(例如，回歸式神經網路、狀態空間模型等)。通過前述學習階段，於模仿系統52中建構複數個學習完畢模仿模型61，各模仿模型61可獲得週邊環境、及此時之作業員21的操作的相關資料。
如此，根據本實施形態的方法，可根據作業履歷資料學習週邊狀況、及此時熟練之作業員21進行的操作(應進行的操作)。因此，由於不需要在人理解後藉由程式來表現根據經驗豐富的作業員21進行的狀況的操作，因此可減少工時及成本。
此外，根據本實施形態的方法，藉由預先將作業履歷資料分類為複數個群，且以複數個模仿模型61分擔進行學習，可減少一個模仿模型61進行機械學習的作業履歷資料的數量。其結果，可適宜限定各個模仿模型61學習的對象，因此可有效地減少學習所需的時間，從而可有效地建構學習完畢模仿模型61。
完成模仿模型61的學習後，轉移至實際的運用。於圖3所示的實際運用的系統即自動運行系統(動作預測系統)5中，於用以自動運行機械手臂12的控制部32內組入有分類系統51及模仿系統52。
具體說明如下，控制部32除了模仿系統52外，還具 備模型選擇部35、評價部36及追加學習部37。並且，模型選擇部35具有分類系統51。
控制部32係與圖1所示的控制部31同樣地作為已知的電腦而構成，具有CPU、ROM、RAM、HDD等結構。此外，於前述HDD等藉由預先進行安裝作業而記憶有各種軟體。前述軟體包含有用以實現機械手臂12的自動運行的自動運行應用軟體。此外，前述自動運行應用軟體，包含實現本發明的模型選擇步驟、預測步驟、評價步驟及追加學習步驟的程式。
根據以上的硬體及軟體的協同工作，可使控制部32作為分類系統51、模仿系統52、模型選擇部35、評價部36、追加學習部37等而發揮作用。
作為模型選擇部35具備的分類系統51，係使用與圖2中對作業履歷資料進行分類的分類系統51相同之結構。此外，模仿系統52包含通過前述學習階段而建構的複數個(n個)學習完畢模仿模型61。
於實際運用中，將機械手臂12之位置的資料、工件11之位置的資料、及反力感測器檢測的反力的資料輸入模型選擇部35具備的分類系統51。於假定具有包含被輸入的前述資料(顯示週邊環境的資料)的作業履歷資料的情況 下，分類系統51判定前述作業履歷資料被分類為前述n個群中的哪一個群。模型選擇部35將前述判斷結果輸出至模仿系統52。
於模仿系統52中，根據自模型選擇部35輸入的分類結果，自n個模仿模型61中選擇與被分類的群對應之模仿模型61(模型選擇步驟)。
然後，於模仿系統52中，對選擇的模仿模型61輸入前述資料(顯示週邊環境的資料)，與此相對，前述模仿模型61輸出預測作業員21在前述情況下進行的動作(預測步驟)。藉由將前述動作作為動作指令輸入機械手臂12，可使機械手臂12自動動作而進行作業。此外，於未知的週邊環境中，只要為與模仿模型61過去所學習的作業履歷資料類似的週邊環境，也可預測適宜的操作而生成動作指令。
作為用以實現更佳的自動運行的結構，控制部32進一步具備評價部36及追加學習部37。
評價部36根據控制部32提供的動作指令適宜評價機械手臂12實際進行作業後的結果(評價步驟)。作為評價時的基準，雖可採用完成動作前的時間、動作所需的電力等能源、藉由動作對工件11施加的力的大小等，但不限其等。於本實施形態中，評價部36係根據機械手臂12具備 的前述位置感測器等的資訊而進行評價，但也可以採用自特別設置於機械手臂12或外部環境的感測器取得的資訊。
追加學習部37根據評價部36評價的結果，以輸出評價結果更高的動作之方式，使模仿模型61進行追加學習(追加學習步驟)。作為前述方法，例如可使用作為強化學習方法而熟知的時間差分法或Q-Learning法等。
藉此，由於在自動運行系統5之實際運用時也追加進行學習，因此可使機械手臂12進行更理想的動作。此外，可柔軟地應對周圍環境的變化。
再者，於作業的評價基準或周圍環境大幅變化的情況下，若依靠作業員21進行用以應對變化的運動方式而製成作業履歷資料，然後根據此資料進行追加學習，則於早期即可獲得良好的結果上較佳。或者，也可利用高評價的運動方式的資料進行追加學習。
圖4係顯示將在此之前說明之作業彙總的步驟流程圖，藉由如此的一連串之作業而建構的自動運行系統5，能低成本且短時間地實現簡直就像熟練的作業員21進行操作的自動運行。
如以上說明，本實施形態的自動運行系統5，具備複 數個學習完畢模仿模型61及模型選擇部35。學習完畢模仿模型61係藉由利用分類系統51的自動分類演算法將作業履歷資料分類為複數個群，且對其中的每個群使與前述群對應之模仿模型61進行機械學習而被建構。作業履歷資料包含顯示週邊環境的資料、及顯示前述週邊環境中的作業員21的操作的資料。模型選擇部35係根據利用分類系統51的自動分類演算法對所提供的顯示週邊環境的資料進行分類的結果，自複數個模仿模型61選擇一個模仿模型61。自動運行系統5將顯示週邊環境的資料輸入藉由模型選擇部35而選擇的模仿模型61，預測作業員21對前述週邊環境的操作。
此外，於本實施形態的自動運行系統5中，藉由如下的動作預測方法，預測作業員21的操作而進行自動運行。即，前述動作預測方法，包含分類步驟、學習步驟、模型選擇步驟及預測步驟。於分類步驟中，利用分類系統51的自動分類演算法將作業履歷資料分類為複數個群，前述作業履歷資料包含顯示週邊環境的資料、及顯示作業員21在前述週邊環境的操作的資料。於學習步驟中，在具有複數個模仿模型61的電腦中，對屬於在分類步驟中被分類的每個群的作業履歷資料，使與前述群對應之模仿模型61進行機械學習，而建構複數個學習完畢模仿模型61。於模型選擇步驟中，根據利用分類系統51的自動分類演算法對所提供的顯示週邊環境的資料進行分類的結果，自複數個 模仿模型61選擇一個模仿模型61。於預測步驟中，將顯示週邊環境的資料輸入在模型選擇步驟中被選擇的模仿模型61，預測作業員21對前述週邊環境的操作。
藉此，能以適宜取入有可能不適合語言化及程式上之表現的熟練的作業員21的技術及技能的形式，短時間且低成本地實現自動化。此外，藉由限定一個模仿模型61所學習的對象，可進行有效率的學習。
此外，於本實施形態的自動運行系統5中，於顯示週邊環境的資料中，除了前述機械手臂12之位置的資料、工件11之位置的資料、及反力感測器檢測的反力的資料外，還可包含例如以照相機攝影的影像的圖像資料。
即，本實施形態的自動運行系統5，尤其適合於以下的情況，亦即：將作業員21對如以圖像表現的狀況(語言化困難的狀況)進行的運行操作自動化。
此外，本實施形態的自動運行系統5，係對作業員21的在伴隨與週邊環境接觸的作業中的操作進行預測。
即，本實施形態的自動運行系統5，尤其適合於於以下的情況，亦即：將如作業員21憑感覺進行與週邊環境的接觸狀態(語言化困難的狀況)之運行操作自動化。
此外，本實施形態的自動運行系統5，具備評價部36及追加學習部37。評價部36係對藉由模型選擇部35選擇的模仿模型61輸出的根據作業員21之操作預測的結果進行評價。追加學習部37，係用以使學習完畢模仿模型61追加進行機械學習。
藉此，由於可追加學習，因而可根據狀況進行更良好的動作。
其次，對本發明的第2實施形態進行說明。圖5係顯示收集與垃圾焚化爐13的運行相關的運行履歷資料之結構的概念圖。圖6係顯示將作業履歷資料分類且使對應之模仿模型61學習的作業的概念圖。圖7係顯示第2實施形態的自動運行系統5x的方塊圖。再者，於本實施形態的說明中，有時會於圖式中對與前述實施形態相同或類似的構件賦予相同的符號，並省略說明。
圖5顯示為了實現大型機器的一種即垃圾焚化爐13的自動運行，藉由在控制室24的作業員21的手動操作，取得運行垃圾焚化爐13的運行履歷的狀況。作業員21藉由操作配置於控制室24的各種機器(例如，操作面板的開關等)，可進行與垃圾焚化爐13的運行相關的指示。
雖未圖示，於垃圾焚化爐13設置有檢測蒸氣量的感測器、攝影垃圾燃燒的狀況而作為燃燒影像的照相機等各種的感測器。
垃圾焚化爐13具備的控制部31，係以根據作業員21的操作來運行垃圾焚化爐13，並於控制室24的顯示器23或指示器25等顯示前述感測器取得的蒸氣量及燃燒影像等的方式進行控制。藉此，於本實施形態中，也可在與週邊環境之間實現伴隨相互作用的運行。
於熟練的作業員21手動運行垃圾焚化爐時，控制部31收集作為學習用動作事例資料的運行履歷資料，且保存於HDD等。前述運行履歷資料，包含由前述蒸氣量及燃燒影像等結構的感測器資訊(顯示週邊環境的資料)、及顯示作業員21在此種的狀況下進行的操作的資料。
然後，如圖6所示，與前述第1實施形態相同，藉由分類系統51將收集的運行履歷資料分類為複數個群。本實施形態中，分類可自垃圾焚化爐13之狀態的觀點進行。以下的說明中，有時會將被分類的運行履歷資料的每個群分別稱為狀態1的運行履歷、狀態2的運行履歷、…。並且，每個群的運行履歷資料(即，狀態1的運行履歷、狀態2的運行履歷、…)，係藉由對應的模仿模型61而被學習。其結果，可建構複數個學習完畢模仿模型61，前述模仿模型 61係於圖7所示的自動運行系統(動作預測系統)5x中使用。
然後，於自動運行垃圾焚化爐13之情況下，如圖7所示，將感測器取得的蒸氣量及燃燒影像等輸入模型選擇部35，模型選擇部35根據分類系統51，選擇應進行動作預測的模仿模型61。然後，於模仿系統52中，對選擇的模仿模型61輸入感測器取得的蒸氣量及燃燒影像等的週邊環境資料，前述模仿模型61輸出預測作業員21在輸入的週邊環境中進行的動作。
如此，關於如垃圾焚化爐13那樣的大型機器的運行，藉由使用自動運行系統5x，可實現猶如熟練的作業員21進行的良好的自動運行。惟，也可取代自動運行系統5x，而作為建議向作業員推薦之運行的運行建議系統而構成。
以上，對多個本發明之較佳實施形態進行了說明，但前述構成例如可變更如下。
顯示週邊環境的資料、顯示人的動作的資料，不限上述，也可將各種各樣的資料包含於作業履歷資料或運行履歷資料內。例如，於作業履歷資料內也可包含與安裝於機械手臂12的工具之狀態相關的資料。
於第1實施形態中，作業履歷資料的分類也可不是以步驟而是以其他的觀點進行。同樣地，於第2實施形態中，運行履歷資料的分類也可不是以狀態而是以其他的觀點進行。
使模仿模型61進行學習的電腦、及使學習後的模仿模型61進行動作預測的電腦，既可相同，也可單獨。
第1實施形態的自動運行系統5，不限於臂式機器人，也可應用於其他形式的機器人的運行，也可應用於機器人以外之機械的運行。此外，第2實施形態的自動運行系統5x，不限垃圾焚化爐，也可應用於其他形式的大型機器的運行，也可應用於大型機器以外之設施的運行。

Claims (10)

  1. 一種動作預測系統，具備：複數個學習完畢動作預測模型，其係藉由利用自動分類演算法將學習用動作事例資料分類成複數個群，且對其中的每個群使與前述群對應之動作預測模型進行機械學習而被建構，其中前述學習用動作事例資料係包含顯示週邊環境的資料、及顯示人在前述週邊環境中的動作之資料；以及模型選擇部，其係根據利用前述自動分類演算法對所提供的顯示週邊環境的資料進行分類的結果，自複數個前述動作預測模型選擇一個動作預測模型；將顯示前述週邊環境的資料輸入藉由前述模型選擇部選擇的前述動作預測模型，預測人對前述週邊環境的動作。
  2. 如請求項1所記載之動作預測系統，其中顯示前述週邊環境的資料包含圖像資料。
  3. 如請求項1或2所記載之動作預測系統，其中進行伴隨與週邊環境接觸的作業的動作預測。
  4. 如請求項1至3中任一項所記載之動作預測系統，具備：評價部，其對藉由前述模型選擇部選擇的前述動作預測模型輸出之根據人的動作預測的結果進行評價；以及 追加學習部，其使前述學習完畢動作預測模型追加進行機械學習。
  5. 一種機器人運行系統，係作為如請求項1至4中任一項所記載之動作預測系統。
  6. 一種大型機器運行系統，係作為如請求項1至4中任一項所記載之動作預測系統。
  7. 一種動作預測方法，包含以下步驟：分類步驟，其利用自動分類演算法將學習用動作事例資料分類為複數個群，前述學習用動作事例資料包含顯示週邊環境的資料、及顯示前述週邊環境中的人的動作的資料；學習步驟，其在具有複數個動作預測模型的電腦中，對屬於在前述分類步驟中被分類的每個群之前述學習用動作事例資料，使與前述群對應的動作預測模型進行機械學習，而建構複數個學習完畢動作預測模型；模型選擇步驟，其根據利用前述自動分類演算法對所供給的顯示週邊環境之資料進行分類的結果，自複數個前述動作預測模型中選擇一個動作預測模型；以及預測步驟，其將顯示前述週邊環境的資料輸入在前述模型選擇步驟中被選擇的前述動作預測模型，預測人對前述週邊環境的動作。
  8. 如請求項7所記載之動作預測方法，其中顯示前述週邊環境的資料包含圖像資料。
  9. 如請求項7或8所記載之動作預測方法，其中進行伴隨與週邊環境接觸的作業的動作預測。
  10. 如請求項7至9中任一項所記載之動作預測方法，具備：評價步驟，其對藉由前述模型選擇部選擇的前述動作預測模型輸出之根據人的動作預測的結果進行評價；以及追加學習步驟，其使前述學習完畢動作預測模型追加進行機械學習。
TW107120025A 2017-06-09 2018-06-11 動作預測系統以及動作預測方法 TWI707280B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-114055 2017-06-09
JP2017114055A JP6886869B2 (ja) 2017-06-09 2017-06-09 動作予測システム及び動作予測方法

Publications (2)

Publication Number Publication Date
TW201905729A true TW201905729A (zh) 2019-02-01
TWI707280B TWI707280B (zh) 2020-10-11

Family

ID=64567405

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107120025A TWI707280B (zh) 2017-06-09 2018-06-11 動作預測系統以及動作預測方法

Country Status (5)

Country Link
US (1) US11701772B2 (zh)
JP (1) JP6886869B2 (zh)
CN (1) CN111194452B (zh)
TW (1) TWI707280B (zh)
WO (1) WO2018225862A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113573856A (zh) * 2019-02-28 2021-10-29 川崎重工业株式会社 机器学习模型运用管理系统以及机器学习模型运用管理方法
TWI792580B (zh) * 2020-11-11 2023-02-11 日商索尼互動娛樂股份有限公司 基於表面剛度隨機化之機器人訓練方法、訓練控制輸入系統之方法、輸入控制系統、電腦可讀媒體
US12017359B2 (en) 2020-11-11 2024-06-25 Sony Interactive Entertainment Inc. Method for robotic training based on randomization of surface damping

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11200461B2 (en) * 2018-12-21 2021-12-14 Capital One Services, Llc Methods and arrangements to identify feature contributions to erroneous predictions
JP7128736B2 (ja) * 2018-12-27 2022-08-31 川崎重工業株式会社 ロボット制御装置、ロボットシステム及びロボット制御方法
JP7117237B2 (ja) * 2018-12-27 2022-08-12 川崎重工業株式会社 ロボット制御装置、ロボットシステム及びロボット制御方法
JP7336463B2 (ja) * 2018-12-27 2023-08-31 川崎重工業株式会社 ロボット制御装置、ロボットシステム及びロボット制御方法
JP6632095B1 (ja) * 2019-01-16 2020-01-15 株式会社エクサウィザーズ 学習済モデル生成装置、ロボット制御装置、及び、プログラム
JP7251555B2 (ja) * 2019-01-18 2023-04-04 株式会社安川電機 ロボット制御システム及びロボット制御方法
JP7389314B2 (ja) * 2019-03-05 2023-11-30 ダイキン工業株式会社 空気調和装置の制御システム
JP6811465B2 (ja) * 2019-05-24 2021-01-13 株式会社エクサウィザーズ 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム
EP3998140A4 (en) 2019-08-28 2022-09-28 Daily Color Inc. ROBOT CONTROL DEVICE
JP6742040B1 (ja) * 2019-08-28 2020-08-19 株式会社ＤａｉｌｙＣｏｌｏｒ ロボット制御装置
JP7221183B2 (ja) * 2019-09-20 2023-02-13 株式会社日立製作所 機械学習方法、フォークリフト制御方法、及び機械学習装置
JP7277340B2 (ja) * 2019-11-15 2023-05-18 川崎重工業株式会社 マスタスレーブシステム、制御方法及び制御装置
JP7518610B2 (ja) * 2019-11-15 2024-07-18 川崎重工業株式会社 制御装置、制御システム、ロボットシステム及び制御方法
CN114616076B (zh) * 2019-11-27 2024-07-19 株式会社安川电机 磨削系统、校正量估计装置、存储介质和磨削方法
JP2020113262A (ja) * 2019-12-05 2020-07-27 株式会社エクサウィザーズ 学習済モデル生成装置、ロボット制御装置、及び、プログラム
US11472028B2 (en) * 2019-12-06 2022-10-18 Mitsubishi Electric Research Laboratories, Inc. Systems and methods automatic anomaly detection in mixed human-robot manufacturing processes
JP2021094677A (ja) * 2019-12-19 2021-06-24 本田技研工業株式会社 ロボット制御装置、ロボット制御方法、プログラム及び学習モデル
JP7460366B2 (ja) * 2019-12-27 2024-04-02 川崎重工業株式会社 訓練データ選別装置、ロボットシステム及び訓練データ選別方法
FR3110720B1 (fr) * 2020-05-19 2022-07-15 Nrgybox Procédé de contrôle d’un éclairage public
JP2022045236A (ja) * 2020-09-08 2022-03-18 ソニーグループ株式会社 医療用撮像装置、学習モデル生成方法および学習モデル生成プログラム
JP2022061761A (ja) * 2020-10-07 2022-04-19 川崎重工業株式会社 ロボットシステム及びその制御方法
JP7504398B2 (ja) * 2020-10-16 2024-06-24 オムロン株式会社 軌道生成装置、軌道生成方法、及び軌道生成プログラム
JP7129673B2 (ja) * 2020-12-25 2022-09-02 肇也 矢原 制御システム、および学習済モデルの作成方法
DE112021007526T5 (de) * 2021-06-23 2024-04-04 Fanuc Corporation Lehrgerät
US20240302900A1 (en) * 2021-06-25 2024-09-12 Keio University Operational data management system, operational data management method, and storage medium
KR102366333B1 (ko) * 2021-07-08 2022-02-25 주식회사 제타뱅크 로봇용 인공지능 플랫폼 제공 방법
JP7449338B2 (ja) 2021-09-03 2024-03-13 東京エレクトロンデバイス株式会社 情報処理方法、プログラム、情報処理装置及び情報処理システム
JP2023038132A (ja) 2021-09-06 2023-03-16 川崎重工業株式会社 学習済モデルの構築方法
CN116100578B (zh) * 2023-04-13 2023-07-14 深圳市大族机器人有限公司 一种双关节机器人的指令快速响应系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07134605A (ja) 1993-11-11 1995-05-23 Mitsubishi Electric Corp 産業用ロボットの制御装置
KR100752098B1 (ko) * 2006-03-07 2007-08-24 한국과학기술연구원 신경망 기반 로봇 시스템
JP4876057B2 (ja) * 2007-11-20 2012-02-15 株式会社日立製作所 プラントの制御装置、及び火力発電プラントの制御装置
US8291243B2 (en) 2008-10-24 2012-10-16 International Business Machines Corporation Adaptive computing responsive to environmental conditions
CN104308849B (zh) * 2009-05-22 2016-06-01 丰田自动车东日本株式会社 作业辅助机器人系统
US8630744B2 (en) * 2011-01-28 2014-01-14 Honeywell International Inc. Management and monitoring of automated demand response in a multi-site enterprise
JP5847425B2 (ja) * 2011-04-01 2016-01-20 本田技研工業株式会社 観測行動選択機能を有する分類システム及び該システムを使用する分類方法
CN103699771B (zh) * 2013-09-27 2016-09-21 广东工业大学 一种冷负荷预测的情景-聚类方法
JP2015087903A (ja) * 2013-10-30 2015-05-07 ソニー株式会社 情報処理装置及び情報処理方法
KR101623642B1 (ko) * 2014-08-07 2016-05-23 윤덕찬 로봇 청소기, 단말장치의 제어방법 및 이를 포함하는 로봇 청소기 제어 시스템
US10474949B2 (en) * 2014-08-19 2019-11-12 Qualcomm Incorporated Knowledge-graph biased classification for data
CN105676670B (zh) * 2014-11-18 2019-07-19 北京翼虎能源科技有限公司 用于处理能源数据的方法和系统
WO2016189924A1 (ja) * 2015-05-28 2016-12-01 株式会社日立製作所 ロボット操作装置およびプログラム
JP6522488B2 (ja) * 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP6240689B2 (ja) 2015-07-31 2017-11-29 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
DE102016015936B8 (de) * 2015-07-31 2024-10-24 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
JP6555015B2 (ja) * 2015-08-31 2019-08-07 富士通株式会社 機械学習管理プログラム、機械学習管理装置および機械学習管理方法
US20170083623A1 (en) 2015-09-21 2017-03-23 Qualcomm Incorporated Semantic multisensory embeddings for video search by text
JP6720402B2 (ja) * 2017-03-21 2020-07-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113573856A (zh) * 2019-02-28 2021-10-29 川崎重工业株式会社 机器学习模型运用管理系统以及机器学习模型运用管理方法
CN113573856B (zh) * 2019-02-28 2024-05-10 川崎重工业株式会社 机器学习模型运用管理系统以及机器学习模型运用管理方法
US11986961B2 (en) 2019-02-28 2024-05-21 Kawasaki Jukogyo Kabushiki Kaisha Machine learning model operation management system and machine learning model operation management method
TWI792580B (zh) * 2020-11-11 2023-02-11 日商索尼互動娛樂股份有限公司 基於表面剛度隨機化之機器人訓練方法、訓練控制輸入系統之方法、輸入控制系統、電腦可讀媒體
US12017359B2 (en) 2020-11-11 2024-06-25 Sony Interactive Entertainment Inc. Method for robotic training based on randomization of surface damping

Also Published As

Publication number Publication date
WO2018225862A1 (ja) 2018-12-13
CN111194452B (zh) 2023-10-10
JP6886869B2 (ja) 2021-06-16
US20200139539A1 (en) 2020-05-07
CN111194452A (zh) 2020-05-22
TWI707280B (zh) 2020-10-11
US11701772B2 (en) 2023-07-18
JP2018206286A (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
TWI707280B (zh) 動作預測系統以及動作預測方法
El Zaatari et al. Cobot programming for collaborative industrial tasks: An overview
JP7391023B2 (ja) 人間による実演に基づく、ロボットによる産業タスクの学習のためのシステム及び方法
CN104858876B (zh) 机器人任务的可视调试
US20230045162A1 (en) Training data screening device, robot system, and training data screening method
EP1310844A1 (en) Simulation device
JPWO2010092981A1 (ja) 産業用ロボットシステム
US20220063091A1 (en) Robot control device, robot system and robot control method
Akkaladevi et al. Programming-free approaches for human–robot collaboration in assembly tasks
Baidya et al. Digital twin in safety-critical robotics applications: Opportunities and challenges
KR102529023B1 (ko) 트레이닝 처리 장치, 중개 장치, 트레이닝 시스템 및 트레이닝 처리 방법
Sanfilippo et al. SnakeSIM: A snake robot simulation framework for perception-driven obstacle-aided locomotion
WO2023067972A1 (ja) 動作指令生成装置および動作指令生成方法
RU2813444C1 (ru) Система взаимодействия человек-робот на основе смешанной реальности
Kaiser A framework for the generation of robot controllers from examples
JP7506180B2 (ja) 教示支援装置、作業システム、教示支援方法および教示支援プログラム
Bohren et al. Toward practical semi-autonomous teleoperation: do what i intend, not what i do
JP7468694B2 (ja) 情報収集装置、情報収集方法及びプログラム
KR101161309B1 (ko) 지능형 로봇의 실시간 시뮬레이션 데이터 처리 시스템
Ahle et al. A cognitive-oriented architecture to realize autonomous behavior-part I: theoretical background
WO2024158056A1 (ja) ロボット制御システム、ロボット制御方法、およびロボット制御プログラム
Universityof Teaching Robotic Assembly Tasks Using a 3D Simulation Environment
Kulakov et al. Intelligent method of robots teaching by show
JP2023018893A (ja) 学習装置及びロボット制御システム
CN115476365A (zh) 机器人示教装置及利用其的机器人示教方法