TW202235236A

TW202235236A - 產業機械系統

Info

Publication number: TW202235236A
Application number: TW111104936A
Authority: TW
Inventors: 並木勇太
Original assignee: 日商發那科股份有限公司
Priority date: 2021-02-26
Filing date: 2022-02-10
Publication date: 2022-09-16
Also published as: US20240091945A1; CN116783037A; DE112022000310T5; JPWO2022181595A1; WO2022181595A1

Abstract

目的是在產業機械即機器人作業中，可從已記憶的動作履歷中簡單地掌握處理失敗或發生異常的原因，可預防將來可能發生的問題。機器人系統可藉由以下構成來達成上述目的：儲存使對於工件的作業執行的程式的執行履歷，並且使來自感測器的資訊及對於前述工件的作業的處理結果的資訊，在每當前述程式的各程式區塊的執行時，被建立關聯並儲存，進而，當處理結果發生失敗時，將表示處理結果中之失敗的原因的參數資訊附加於執行履歷。

Description

產業機械系統

發明領域

本發明是關於一種產業機械系統，特別是關於一種將作業時的資訊作為執行履歷記錄於記憶裝置的產業機械。

發明背景

以往在機器人作業中，將作業時的系統的履歷資訊記憶於記憶裝置，作為用以推定現在的系統狀態的資訊來利用，或作為偵測到異常時用以追究異常原因的資訊來利用。

於專利文獻1記載一種機器人系統，前述機器人系統是在機器人握持對象物體的作業中，從拍攝了對象物體的視覺資訊來決定關於握持成功與否的機率分布，並基於機率分布來決定握持位置，藉此使握持作業的生產性提升。特別記載一種可管理各構成部分的動作資訊或握持判定結果的履歷資訊的系統的構成。

於專利文獻2記載一種動作履歷管理系統，前述動作履歷管理系統收集產業用機器人的動作履歷資料，將收集的資料進行統計處理，並適當地設定用以偵測動作履歷異常的管理值，可在動作履歷脫離管理值時容易進行原因追究。先行技術文獻專利文獻

專利文獻1：日本特開2019-188516號公報專利文獻2：日本特開2019-171490號公報

發明概要發明欲解決之課題

如上述，已知在機器人保存動作履歷，可讓保存的履歷資訊對各種事項派上用場。然而，於專利文獻1，各構成部分的動作資訊或握持判定結果的履歷資訊是動作結果的資訊，並非在作業發生失敗時具體表示哪個設定值等值為失敗的原因之資訊。又，於專利文獻2，在處理動作發生異常時，未表示處理結果中之哪個處理之哪個值為異常的原因。因此，兩者均無法簡單地知道處理失敗或發生異常的原因，難以預防將來可能發生的問題。

於本揭示，目的是在產業機械作業中，將作業時之系統的履歷資訊記憶於記憶裝置，並於作為用以推定現在的系統狀態的資訊來利用，或作為偵測到異常時之用以追究異常原因的資訊來利用時，可從已記憶的動作履歷中簡單地掌握處理失敗或發生異常的原因，可簡單地知道只要變更動作程式等中的哪個部分即可，以預防將來可能發生的問題。用以解決課題之手段

為了解決上述課題，本揭示的產業機械系統是一種利用感測器來取得資訊，並進行對於工件的作業之產業機械系統，前述產業機械系統具備記憶部，前述記憶部儲存使對於前述工件的作業執行的程式的執行履歷；於前述記憶部，儲存來自感測器的資訊及其處理結果的資訊，進而，在處理結果發生失敗時，將表示處理結果中之失敗的原因的資訊附加於執行履歷；表示前述失敗的原因的資訊，是於前述程式的執行後，分析執行時或將來可能發生的失敗的原因而導出的資訊，且是表示前述處理結果中之哪個資料之值為失敗的原因的資訊。發明效果

若依據本揭示的產業機械系統，於產業機械即機器人的程式的執行履歷中，因程式的執行導致發生失敗時，可簡單地知道失敗的原因，即哪個程式的執行履歷中之哪個值引起處理失敗，可預防將來可能發生的問題。

用以實施發明之形態

以下參考圖式來詳細說明本揭示的實施形態。

圖1是表示作為本揭示的產業機械系統的機器人系統的1個實施形態的機器人、機器人控制裝置、圖像處理裝置的關係的構成圖。圖1的機器人10是具有多關節臂11的多關節機器人，可進行正交動作及旋轉動作。藉由機器人的機構部的限制，就每個動作軸，分別對正交動作的移動距離及旋轉動作的旋轉角度決定有上限值/下限值，各動作軸是在一定的範圍內運作。

於多關節臂11的前端設置有視覺感測器12及握持構件13。例如使用照相機作為視覺感測器，拍攝作為目標物之工作台40上的工件41。以作為視覺感測器12的照相機所拍攝的圖像資訊送至圖像處理裝置30而進行圖像處理。

由圖像處理裝置30進行了圖像處理的圖像處理資訊送至機器人控制裝置20。於機器人控制裝置20，根據送來的圖像處理資訊來控制機器人10，使多關節臂11動作，藉由設置於多關節臂11的前端的手部等握持構件13，來握持工作台40上的工件41。

圖2是表示作為本揭示的產業機械系統的機器人系統1的方塊線圖。如圖2所示，本揭示的機器人系統1包含機器人10、機器人控制裝置20、圖像處理裝置30、顯示裝置50、操作盤60及程式編輯裝置70。

於機器人10的多關節臂11的前端，安裝具有攝像元件的視覺感測器12。藉由視覺感測器12來拍攝作為目標對象物之工作台40上的工件41。再者，於本實施形態，視覺感測器12是安裝於機器人10的多關節臂11的前端，但亦可採用固定設置。該情況下，視覺感測器12不僅拍攝目標對象物之工件41，亦可拍攝機器人10本身。

機器人控制裝置20具備控制部21及記憶部22。控制部21具有由微電腦等所構成之處理單元(CPU)，根據在處理單元(CPU)的運算結果控制機器人10，以藉由機器人10的多關節臂11之前端的握持構件13來握持工件41。

記憶部22包含ROM、RAM等記憶元件，記憶有機器人10的動作的執行程式或動作的執行上所需的各種參數，並且也至少暫時記憶有從圖像處理裝置30送來的圖像資訊或從操作盤60送來的輸入值的資訊等。

除此之外，於記憶部22，在機器人10對於工件41的作業用的程式執行上，針對執行履歷或作業的處理結果亦記憶有資訊。關於作業的處理結果的資訊，是連同從上述圖像處理裝置30送來之關於圖像的資訊或從操作盤60送來的輸入值的資訊等，在每當程式的各程式區塊的執行時，一同被與該各程式區塊建立關聯並記憶。

除此之外，當處理結果中存在有失敗的原因時，於記憶部22亦記憶表示處理結果中失敗的原因的資訊。這是在程式的執行後，分析執行時或離執行時經過時間後之失敗的原因而導出的資訊，且是表示處理結果中哪個資料之值為失敗的原因的資訊。

圖像處理裝置30具備圖像處理部31及記憶部32。圖像處理部31具有由微電腦等構成之處理單元(CPU)，控制視覺感測器12，並且藉由視覺程式，以處理單元(CPU)來處理從視覺感測器12送出的攝像資訊。

視覺程式是處理視覺感測器12的控制及以視覺感測器12拍攝到的攝像資訊的程式，由使用者所製作、設定並使用。藉由視覺程式所處理的圖像資料發送給機器人控制裝置20的控制部21，並作為用以控制機器人10的資料來利用。

再者，如前述，視覺感測器12不限於安裝在機器人10的多關節臂11的前端，亦可採用固定設置。此情況下，從視覺感測器12送來的攝像資訊不僅包含目標對象物的工件41的攝像資訊，亦包含機器人10本身的攝像資訊，關於機器人10的位置姿勢的資訊，亦會從視覺感測器12送到圖像處理裝置30。

又，亦可對安裝於機器人10的多關節臂11的前端的視覺感測器12，附加檢測視覺感測器12本身的位置或攝像方向的感測器構件。該情況下，視覺感測器12本身的位置姿勢的資訊是從視覺感測器12送到圖像處理裝置30。

記憶部32包含ROM、RAM等記憶元件，至少暫時記憶從視覺感測器12送來的攝像資訊，並且記憶前述視覺程式、或執行前述視覺程式所需的各種參數的資料等。

顯示裝置50具有顯示程式的執行履歷的執行履歷顯示畫面51。於執行履歷顯示畫面51，顯示從視覺感測器12送來的攝像圖像、以及由機器人10執行的結果的執行履歷。

然後，如後面所詳述，於執行程式的執行中，藉由執行程式所進行的關於機器人10的作業的處理發生失敗時，在以執行履歷顯示畫面51顯示執行履歷時，可顯示處理結果中為失敗的原因的參數之資訊。

操作盤60具有輸入部61，前述輸入部61是輸入關於機器人10的作業的執行程式的執行所需之操作資料。使用者可在執行關於機器人10的作業的執行程式之前，或在執行中，從輸入部61輸入操作資料。

然後，於操作盤60的輸入部61，以使用者所輸入的輸入值執行了執行程式時，當執行程式的處理發生失敗時，可從操作盤60將表示處理結果中失敗的原因的參數資訊通知使用者。

程式編輯裝置70具有程式編輯畫面71，前述程式編輯畫面71用以讓使用者編輯關於機器人10的作業的執行程式。於程式編輯畫面71，使用者可在執行關於機器人10的作業的執行程式之前，進行執行程式的編輯，並且亦可於執行程式的執行中，變更執行程式的一部分，並嘗試執行與該經變更的執行程式的一部分相關聯之部分的執行程式。又，亦可讀入執行程式的執行履歷來重現機器人10的作業狀態。

然後，當執行程式的處理發生失敗時，使用者可於程式編輯裝置70的程式編輯畫面71讀入執行程式的執行履歷，來重現機器人10的作業狀態，於程式編輯畫面71顯示為處理失敗的原因的參數之資訊。

圖3是表示以顯示裝置50的執行履歷顯示畫面51來顯示的執行履歷的畫面的一例的圖。於執行履歷的畫面左側，顯示從視覺感測器12送來的攝像資訊。於本實施形態，顯示藉由作為視覺感測器12的照相機所拍攝到的工件41的攝像對象部分的攝像資訊。於此例中，可知工件41具有孔。

另，於執行履歷的畫面左側，顯示藉由執行程式針對機器人10的作業所執行的執行履歷。使用者追溯顯示的執行履歷，可知道在哪個執行履歷發生問題。於圖3，執行履歷的第7行被反轉顯示，可知正在調查執行履歷的第7行。

表示關於執行履歷之被反轉顯示之行(部分)之處理結果的資料，是顯示於涵蓋畫面左側的攝像資訊的顯示部與右側的執行履歷的顯示部的顯示畫面之下部。於本實施形態，機器人10的多關節臂11是具有6自由度的多關節的臂，作為處理結果所示之資料是關於6自由度的距離資料X(mm)、Y(mm)、Z(mm)及角度資料W(deg)、P(deg)、R(deg)，以及關於檢測分數的資料。

於此例，正在調查顯示於執行履歷的畫面右側之執行履歷的第7行部分，表示現在調查中之第7行履歷的處理結果的資料是如箭頭a所示地顯示於畫面下側。

於表示此處理結果的資料中之檢測分數(Score)欄，顯示有「!」標記的圖標，可知檢測分數發生異常，未檢測到目標對象物(工件41的對象部分)，處理失敗。如此，當各別的資料值發生異常時，會顯示「!」標記的圖標而不顯示該資料值。

於此，若輕擊(tap)表示處理結果的資料中之檢測分數(Score)欄之「!」標記的圖標，會如箭頭b所示，以彈出(pop-up)方式顯示檢測分數值(Score：15.7)及其閾值(Threshold=80.00)，此時，由於檢測分數值比其閾值小，因此可知未檢測到目標對象物。

如此，於本揭示的實施形態，當關於機器人10的作業的執行程式的執行中發生處理失敗時，於顯示裝置50的執行履歷顯示畫面51，使用者可簡單且有效率地知道關於執行履歷中之哪個履歷的處理導致發生失敗，然後該處理結果的哪個資料之值導致引起失敗的參數資訊。

然後，關於前述處理的失敗的參數資訊是於程式執行後，從均值或變異數等統計資料來分析執行時失敗的原因，藉此可有效率地導出將來可能成為失敗的原因的事項。因此可有效率地適當編輯程式，又，可預防將來由於程式的執行而可能發生的問題。

圖4是表示顯示於程式編輯裝置70的程式編輯畫面71的程式編輯畫面中之程式執行結果的顯示部分的一例。於程式執行結果的顯示部分的上側，表示有分數的閾值、對比的閾值等，於下側，關於角度及尺寸，表示有勾選欄以及其基準值、最小值、最大值，前述勾選欄供使用者表示是否將最大值及最小值的範圍指定設為有效。

於此例，由於使用者將關於角度的判定設為有效，因此顯示有最小值(=-90.0)、最大值(=90.0)。關於尺寸，使用者未將範圍指定設為有效，未顯示其最大值、最小值，僅顯示有基準值(=101.4)。關於尺寸，若使用者勾選判定的有效欄來將判定設為有效，則亦會顯示最小值、最大值的欄。

又，於最大值的欄的「最大」的文字標示部分，顯示有「!」標記的圖標，可知於執行程式的執行的處理結果中，角度的最大值發生問題而成為處理失敗的原因。

若輕擊顯示於最大值的欄之「最大」的文字標示部分的「!」標記的圖標，會如箭頭c所示，以彈出顯示來進行角度之值(Angle=95.0)及其值超過閾值(Exceeds threshold)的顯示。

如此，於本揭示的實施形態，當因為以程式編輯畫面71編輯過的執行程式的執行而導致發生處理的失敗時，使用者亦可在程式編輯裝置70的程式編輯畫面71上簡單且有效率地知道，關於因為該執行程式的編輯而使得處理結果的哪個資料之值引起失敗之參數資訊。

接著，藉由圖5的流程圖來表示本揭示的一實施態樣。使用者首先製作檢測工件的視覺程式(步驟S10)。於此視覺程式，使用者必須設定工件檢測用的各種參數。

接著，製作呼叫視覺程式的機器人的執行程式(步驟S20)。然後，若執行機器人的執行程式，視覺程式會被呼叫並執行(步驟S30)。

伴隨於視覺程式的執行，執行履歷會儲存於記憶部(步驟S40)。於前述實施例，執行履歷是記憶於機器人控制裝置20的記憶部22，但執行履歷亦可記憶於圖像處理裝置30的記憶部32。

於執行履歷記錄有執行日時、視覺程式名、以視覺感測器12拍攝到的圖像、視覺感測器12的攝像位置、檢測分數、對比、檢測位置姿勢等。關於檢測分數、對比、檢測位置姿勢等之具有上限值/下限值的範圍或閾值的參數，當超過上限值/下限值的範圍時或大於(或小於)閾值時，是視為發生未檢測到等的處理失敗，而使處理失敗的資訊及該時間點之值與執行履歷建立關聯並記憶。

進而，關於檢測分數、對比、檢測位置姿勢等之具有上限值/下限值的範圍或閾值的參數，當可從其值的平均值等統計值與上限值/下限值或閾值的差距(差異)，來預測若直接進行程式的執行時可能發生未檢測到等的處理失敗的情況下，亦會使處理可能失敗的資訊及該時間點之值與執行履歷建立關聯並記憶。

關於其後的顯示處理，會依使用者的操作狀態而不同。具體而言，由於會依使用者是A.正在顯示顯示裝置50的執行履歷顯示畫面51、還是B.正在於操作盤60的輸入部61進行輸入操作、還是C.正在以程式編輯裝置70的程式編輯畫面71編輯程式而不同，因此要判定使用者的操作狀態為上述A.B.C.之何者(步驟S50)。

步驟S50的判定結果為A.時，亦即使用者正在顯示顯示裝置50的執行履歷顯示畫面51時，使用者可閱覽執行履歷，當閱覽中的執行履歷的處理發生失敗時，顯示表示失敗的原因的參數資訊(步驟S61)。

步驟S50的判定結果為B.時，亦即使用者正在於操作盤60的輸入部61進行輸入操作時，使用者能以使用者所輸入的輸入值來執行執行程式，當因該執行程式的執行而發生處理失敗時，通知表示失敗的原因的參數資訊(步驟S62)。再者，機器人亦可自動運轉，有時即使不是在輸入操作中，執行程式亦會被執行，該情況下，當因該執行程式的執行而發生處理失敗時，亦通知表示失敗的原因的參數資訊。

步驟S50的判定結果為C.時，亦即使用者正在以程式編輯裝置70的程式編輯畫面71編輯程式時，使用者能以編輯過的程式來執行執行程式，或從執行履歷讀入執行程式來重現作業狀態。又，使用者亦可於程式執行後，打開程式編輯畫面71來選擇執行履歷。在執行使用者編輯過的執行程式來進行處理、藉由從執行履歷讀入的執行程式來重現作業狀態、或程式執行後的執行履歷的選擇中，當處理發生失敗時，顯示表示失敗的原因的參數資訊(步驟S63)。

接著，判定機器人的執行程式是否已結束(步驟S70)。步驟S70的判定結果為是時，亦即機器人的執行程式已結束時，此流程結束。相對於此，步驟S70的判定結果為否時，亦即機器人的執行程式未結束時，返回步驟S30，再次將流程進行到步驟S70，直到其判定結果成為是為止，亦即重複步驟S30、步驟S40、步驟S50、步驟S61或步驟S62或步驟S63、步驟S70的迴圈，直到機器人的執行程式結束為止。

於前述實施形態，機器人10檢測工件41，以安裝於多關節臂11的前端的握持構件13來握持工件41，但作為其他實施形態，機器人10是對於工件41進行力控制。

於此實施形態，使用者製作對於工件41進行力控制的力控制程式。於此力控制程式，使用者設定用以對於工件41進行力控制所需的各種參數。例如對於工件進行仿形動作時，必須設定對機器人10的多關節臂11的各軸方向施加的適當的力(荷重)的範圍。

接著，製作呼叫力控制程式的機器人的執行程式，若呼叫機器人的執行程式，力控制程式會被呼叫並執行。伴隨於力控制程式的執行，執行履歷會記憶於記憶部22或32。關於之後的在顯示裝置50的顯示等處理，由於與機器人10檢測工件41並握持的前述實施例相同，因此省略。

於機器人10對於工件41進行力控制之此實施例，於機器人10安裝有力感測器，機器人10一面以力感測器檢測施加於工件的力，一面進行對於工件41的作業。力感測器亦可為安裝於機器人10的多關節臂11的各軸之扭矩感測器。亦可於力感測器，安裝偵測力感測器本身之位置姿勢的感測器構件。

力感測器的位置姿勢的資訊是與來自力感測器的輸出資訊，亦即與施加於工件41的力(荷重)的資訊，一同送至機器人控制裝置20而利用於機器人10的控制。

於本揭示的機器人系統，由於來自感測器的資訊及對於工件的作業的處理結果的資訊，是在每當程式的各程式區塊的執行時，與執行對於前述工件的作業的前述程式的執行履歷，一同建立關聯並儲存，進而，關於處理失敗的原因的參數資訊亦被記憶並顯示，因此在處理結果發生失敗時，使用者可簡單地知道執行履歷的哪個部分中之哪個處理之哪個值引起處理的失敗，可預防將來可能發生的問題。

又，關於處理失敗的原因的參數資訊，由於不僅以顯示執行程式的執行履歷的顯示裝置，還以輸入調查資訊的操作盤、或進行執行程式的編輯的程式編輯裝置，來進行通知/顯示，因此使用者可在各種操作場面，即刻知道處理的失敗或其原因，可迅速地對應。

以上關於本發明的實施，就實施態樣進行了說明，但本發明未受到此類實施態樣任何限定，當然可於不脫離本發明的主旨的範圍內以各種態樣來實施。

1:機器人系統 10:機器人 11:多關節臂 12:視覺感測器(照相機) 13:握持構件 20:機器人控制裝置 21:控制部 22,32:記憶部 30:圖像處理裝置 31:圖像處理部 40:工作台 41:工件 50:顯示裝置 51:執行履歷顯示畫面 60:操作盤 61:輸入部 70:程式編輯裝置 71:程式編輯畫面 a,b,c:箭頭 S10,S20,S30,S40,S50,S61,S62,S63,S70:步驟

圖1是表示本揭示的1個實施形態的機器人、機器人控制裝置、圖像處理裝置的關係的構成圖。圖2是表示本揭示的1個實施形態的機器人系統的方塊線圖。圖3是表示本揭示的程式的執行履歷畫面的一例的圖。圖4是表示本揭示的程式編輯畫面的一例的圖。圖5是表示本揭示的1個實施形態的流程圖。

a,b:箭頭

Claims

一種產業機械系統，其利用感測器來取得資訊，並進行對於工件的作業，前述產業機械系統具備記憶部，前述記憶部儲存使對於前述工件的作業執行的程式的執行履歷，於前述記憶部，儲存來自感測器的資訊及其處理結果的資訊，進而，在處理結果發生失敗時，將表示處理結果中之失敗的原因的資訊附加於執行履歷，表示前述失敗的原因的資訊，是於前述程式的執行後，分析執行時或將來可能發生的失敗的原因而導出的資訊，且是表示前述處理結果中哪個資料之值為失敗的原因的資訊。
如請求項1之產業機械系統，其中前述感測器包含視覺感測器，前述產業機械系統是以前述視覺感測器檢測工件，並對於檢測到的工件進行作業，來自前述感測器的資訊包含攝像圖像資訊、以及作業時之產業機械的位置資訊及姿勢資訊之至少一者的資訊，前述處理結果的資訊包含關於前述工件的檢測結果、未檢測到/誤檢測的資訊。
如請求項1之產業機械系統，其中前述感測器包含力感測器，前述產業機械系統一面以前述力感測器檢測負載荷重，一面對於前述工件進行作業，來自前述力感測器的資訊包含前述力感測器的輸出的資訊、以及作業時之產業機械的位置資訊及姿勢資訊之至少一者的資訊，前述處理結果的資訊包含將前述力感測器的輸出進行處理後的結果的資訊。
如請求項1至3中任一項之產業機械系統，其中前述產業機械系統具備顯示裝置，前述顯示裝置具有顯示前述執行履歷的執行履歷顯示畫面，當前述程式的處理發生失敗時，於前述顯示裝置的前述執行履歷顯示畫面顯示執行履歷時，會顯示表示前述失敗的原因的參數資訊。
如請求項1至4中任一項之產業機械系統，其中前述產業機械系統具備操作盤，前述操作盤具有在前述程式的執行中，用以讓使用者進行輸入的輸入部，於前述操作盤，以使用者所輸入的輸入值執行了前述程式時，當前述程式的處理發生失敗時，將表示前述失敗的原因的參數資訊通知使用者。
如請求項1至5中任一項之產業機械系統，其中前述產業機械系統具備程式編輯裝置，前述程式編輯裝置具有編輯前述程式的程式編輯畫面，當前述程式的處理發生失敗時，於前述程式編輯裝置的程式編輯畫面讀入前述程式的執行履歷，來重現對於前述工件的作業狀態，於前述程式編輯畫面顯示表示前述失敗的原因的參數資訊。
一種產業機械系統，其利用感測器來取得資訊，並進行對於工件的作業，前述產業機械系統具備：記憶部，其儲存使對於前述工件的作業執行的程式的執行履歷；及程式編輯裝置，其具有編輯前述程式的程式編輯畫面；當前述程式的處理發生失敗時，於前述程式編輯裝置的程式編輯畫面讀入前述程式的執行履歷，來重現對於前述工件的作業狀態，分析執行時或將來可能發生的失敗的原因，將表示分析出來的失敗的原因的資訊顯示於前述程式編輯畫面。