TW202325508A

TW202325508A - 機器人系統及攝像方法

Info

Publication number: TW202325508A
Application number: TW111144370A
Authority: TW
Inventors: 山﨑岳
Original assignee: 日商發那科股份有限公司
Priority date: 2021-12-21
Filing date: 2022-11-21
Publication date: 2023-07-01
Also published as: WO2023119442A1

Abstract

本發明提供一種可消除在以不同之條件使用用於自動對焦相機之攝像之程式時可能產生之不良狀況之機器人系統及攝像方法。機器人系統具有：相機，其具備自動對焦透鏡；及機器人，其基於相機之攝像結果進行作業；且可設定用於使用相機之複數個程式。機器人系統進一步具有：使用者介面，其在程式各者中可設定自動對焦透鏡之焦點位置；及記憶部，其保存在複數個程式各者中被設定之焦點值；且使用者介面構成為在程式之執行時可執行第1攝像模式及第2攝像模式，該第1攝像模式利用自動對焦透鏡之自動對焦功能進行攝像，該第2攝像模式不利用自動對焦功能，而使用保存於記憶部之焦點值進行攝像。

Description

機器人系統及攝像方法

本發明係關於一種具有用於藉由自動對焦相機拍攝對象物之使用者介面之機器人系統、及利用該使用者介面之攝像方法。

已周知一種對於藉由相機拍攝對象物而獲得之圖像進行檢測處理，基於其檢測結果使機器人動作之系統。先前，在如此之系統中所使用之相機中，一般而言使用以手動來調節焦點之透鏡(手動對焦透鏡)，但近年來，因自動對焦技術之提高及低價格化，而使用可自動地調節焦點之透鏡(自動對焦透鏡)之情形亦增加。

例如，已知藉由具有自動焦點功能之CCD相機拍攝人，求出機器人與人之距離，而控制機器人之動作之技術(例如參照專利文獻1)。又，已知將具有自動對焦機構之攝像部搭載於機器人臂，使用該攝像部拍攝對象物，基於獲得之圖像而控制機器人之技術(例如參照專利文獻2)。 [先前技術文獻] [專利文獻]

[專利文獻1]日本特開2002-219676號公報 [專利文獻2]日本特開2019-125056號公報

[發明所欲解決之課題]

使用具有自動對焦透鏡之相機之情況具有即便作業者無專業知識亦可取得某程度之適切之圖像、或無需以手動進行焦點調節等之優點。另一方面，在利用自動對焦之攝像中，即便攝像對象相對於相機之位置、姿勢完全相同，但有因照明等之條件而自動調節之焦點位置(焦點距離)不同之情形。因此，例如，在教示檢測程式時，在將教示之檢測程式適用於生產現場時，有藉由自動對焦獲得之焦點位置不同之情形。在如此之情形下，在生產現場中，因對以與教示時不同之焦點拍攝到之圖像執行所教示之檢測程式且進行檢測處理，故會成為無法獲得所期望之檢測精度之結果。

又，即便在焦點調節之精度上無問題，但因焦點調節需要一定之時間，故在生產現場中之製造生產線作動時等進行焦點調節，關係到機器人系統之節拍時間之增加。 [解決課題之技術手段]

本揭示之一態樣係一種機器人系統，其具有：相機，其具備自動對焦透鏡；及機器人，其基於前述相機之攝像結果進行作業；且可設定用於使用前述相機之複數個程式；且具有：使用者介面，其在前述程式各者中可設定前述自動對焦透鏡之焦點位置；及記憶部，其保存在前述複數個程式各者中被設定之焦點值；且前述使用者介面構成為在前述程式之執行時，可執行第1攝像模式及第2攝像模式，該第1攝像模式利用前述自動對焦透鏡之自動對焦功能進行攝像，該第2攝像模式不利用前述自動對焦功能，而使用保存於前述記憶部之前述焦點值進行攝像。

本揭示之又一態樣係一種攝像方法，其用於機器人系統，該機器人系統係具有：相機，其具備自動對焦透鏡；及機器人，其基於前述相機之攝像結果進行作業；且可設定用於使用前述相機之複數個程式；並且該攝像方法包含：在前述程式各者中設定前述自動對焦透鏡之焦點位置；保存在前述複數個程式各者中被設定之焦點值；及在前述程式之執行時，執行第1攝像模式及第2攝像模式，該第1攝像模式利用前述自動對焦透鏡之自動對焦功能進行攝像，該第2攝像模式不利用前述自動對焦功能，而使用被保存之前述焦點值進行攝像。 [發明之效果]

根據本揭示，無需利用手動進行之焦點調節，另一方面，可排除或降低在不同之條件下使用用於自動對焦相機之攝像之程式時會產生之焦點位置之偏差。進而，藉由使用不利用自動對焦功能之第2攝像模式，而相機之調焦動作減少，而謀求相機之長壽命化。

圖1係較佳之實施形態之機器人系統之概略構成圖。機器人系統10具有：至少1台機器人12；機器人控制裝置14，其控制機器人12；及相機20，其具備用於拍攝檢測對象物(工件)16之自動對焦透鏡18；且機器人12、控制裝置14及相機20可藉由有線或無線相互通訊地連接。

機器人12例如係產業用之多關節機器人，構成為可基於自機器人控制裝置14發送之指令，且基於後述之工件16之攝像結果，而執行工件之加工或取出等之各種動作。機器人控制裝置14具備處理器及記憶部(記憶體等)，藉由預先準備之檢測程式控制相機20，在拍攝工件16時可調節透鏡18之焦點。

再者，機器人控制裝置14除了執行用於控制機器人12之機器人程式以外，亦可保存上述之檢測程式且執行該檢測程式。或者，可行的是，將檢測程式保存於如藉由有線或無線連接於控制裝置14或相機20之具有處理器及記憶部(記憶體等)之個人電腦(PC)22之計算機，而由PC 22控制相機20。控制裝置14及PC 22之至少一者具備鍵盤24或觸控面板等輸入部、及顯示器26等顯示部，該輸入部及顯示部構成後述之使用者介面。

再者，在圖1之例中，相機20固定、支持於與機器人12獨立之架台27等，如此之態樣例如適宜於工件16藉由輸送機(未圖示)等搬送、且必須在相機之視野內通過之情形。或者，相機20亦可設置於機器人12之機器人臂28等可動部，如此之態樣例如適宜於工件為比較大型、為了拍攝工件之不同之部位而希望使相機移動之情形。

(實施例1) 圖2顯示使用相機20拍攝連桿形狀之工件16a時使用之使用者介面之一例。參考符號30表示顯示於控制裝置14或PC 22之顯示器26等之教示畫面。在本實施例中，教示畫面30係用於進行與工件之攝像相關之設定、使用工件之圖像之檢測程式之參數設定等之使用者介面，包含：攝像之工件之圖像顯示區域32、顯示檢測程式所含之工具之構成樹之樹區域34、及在構成樹內作為設定對象而選擇之工具之設定區域36。在本實施例中，如樹區域34所示般，使用相機20之檢測程式包含：攝像程式_1，其用於使用相機20拍攝工件16a；及模板匹配工具_1，其進行藉由攝像程式_1之執行而獲得之工件16a之圖像與預先準備之模板之匹配。

接著，對於利用使用者介面之工件之攝像步序進行說明。首先，作業者若在例如機器人12之教示時操作(例如觸控或按下)攝像按鈕40，則如圖1所示般，相機20進行工件16a之攝像。該攝像通常使用相機20之自動對焦功能而進行，但在焦點被固定之情形下可利用經固定之焦點拍攝。將如此般利用相機20之自動對焦功能拍攝工件之方法亦稱為第1攝像模式。

藉由自動對焦功能而自動地調節、設定之焦點位置(相機20與工件16a之距離)顯示於設定區域36內之焦點位置顯示部42。或者，亦可在焦點位置顯示部42，顯示在過去(例如緊接在前)之攝影中使用之焦點位置。

在判斷為以顯示於焦點位置顯示部42之焦點位置(此處為770 mm)拍攝、且顯示於顯示區域32之工件16a之圖像為適切時，作業者操作(例如觸控或按下)焦點固定按鈕44，而可將焦點位置固定(保存於控制裝置14或PC 22之記憶部)。或者，在工件16a之圖像為不適切時(例如，在焦點明顯偏移而不清晰時、或雖然某程度清晰但對於進行上述之模板匹配判斷為不適當時)，作業者可經由使用者介面(具體而言為對焦點位置調節按鈕46進行操作)對獲得適切之圖像之焦點位置進行修正之後，操作焦點固定按鈕44而保存焦點位置。

如此般，在機器人之教示階段等中，藉由第1攝像模式，而完成1個檢測程式中之焦點位置之保存(固定)。接著，在將機器人系統10移設、適用於生產線等之生產現場，與教示階段同樣地在藉由相機20進行工件16a之攝像時，不使用相機20之自動對焦功能，而使用在第1攝像模式中固定之焦點位置進行工件16a之攝像。惟，在教示階段與生產階段中，相機20與工件16a之相對位置關係(工件16a相對於相機20之位置及姿勢)設為相同。將如此般不利用相機20之自動對焦功能、而利用在第1攝像模式中被保存之焦點值拍攝工件之方法亦稱為第2攝像模式。

在圖2所示之使用者介面中，除了焦點位置之顯示或固定(保存)以外，亦可進行各種設定。例如如設定區域36所示般，關於攝像程式之執行，可進行是否縮小圖像之設定(參考符號50)、曝光模式(固定或自動調節)之設定(參考符號52)、曝光時間之設定(參考符號54)、多重曝光之張數之設定(參考符號56)、是否使用LED照明之設定(參考符號58)、及圖像顯示模式(僅顯示攝像圖像、或在攝像圖像重疊地顯示檢測結果或教示模型等)之設定(參考符號60)等。

再者，在圖2之例中，如樹區域34所示般，在檢測程式中包含攝像程式及匹配工具，在攝像程式內進行焦點位置之設定、保存，但本揭示並不限於此。例如，在個別地準備攝像程式及檢測程式且包含於機器人之教示程式之情形下，亦可在檢測程式內、或教示程式中之攝像程式及檢測程式以外之程式部分進行焦點位置之保存或設定，如此般，在本揭示中，用於使用相機之程式並不限於攝像程式。

(實施例2) 圖3顯示使用相機20，拍攝包含齒輪狀之旋轉切刀62及可旋轉地支持旋轉切刀62之凸緣64之工件16b時使用之使用者介面之一例。再者，在實施例2中，主要對於與實施例1不同之部分進行說明，對於可與實施例1相同之部分，賦予與實施例1相同之參考符號且省略詳細之說明。

在本實施例中，如樹區域34所示般，使用相機20之檢測程式包含：攝像程式_2，其用於使用相機20拍攝工件16b；及模板匹配工具_2，其進行藉由攝像程式_2之執行而獲得之工件16b之圖像與預先準備之模板之匹配。

接著，對於利用使用者介面之工件之攝像步序進行說明。首先，作業者若在例如機器人12之教示時操作(例如觸控或按下)攝像按鈕40，則如圖1所示般，相機20進行工件16b之攝像。惟，在實施例2中，設為需要攝像、檢測工件16b中之複數個不同之部位，首先，如圖3所示般，以第1攝像模式(自動對焦功能)拍攝凸緣64(特別是形成於凸緣64之孔)。是否利用自動對焦功能，例如可藉由操作設定區域36內之自動對焦設定按鈕66而設定。在如此般獲得之工件16b之圖像中，如顯示區域32所示般，焦點對準凸緣64，與相機20之距離明顯不同於凸緣64之旋轉切刀62，成為焦點偏移而略模糊之狀態。

藉由自動對焦功能而自動地調節、設定之焦點位置(相機20與凸緣64之距離)顯示於設定區域36內之焦點位置顯示部42。或者，亦可在焦點位置顯示部42，顯示在過去(例如緊接在前)之攝影中使用之焦點位置。

在判斷為以顯示於焦點位置顯示部42之焦點位置(此處為800 mm)拍攝、且顯示於顯示區域32之工件16b之圖像為適切時，作業者操作(例如觸控或按下)焦點固定按鈕44，而可將焦點位置固定(保存於控制裝置14或PC 22之記憶部)。或者，在工件16b之圖像為不適切時(例如，在焦點明顯偏移而不清晰時、或雖然某程度清晰但對於進行上述之模板匹配判斷為不適當時)，作業者可在操作焦點位置調節按鈕46對獲得適切之圖像之焦點位置進行調節之後，操作焦點固定按鈕44而保存焦點位置。

接著，如圖4所示般，以第1攝像模式(自動對焦功能)拍攝旋轉切刀62。是否利用自動對焦功能，例如可藉由操作設定區域36內之自動對焦設定按鈕66而設定。在如此般獲得之工件16b之圖像中，如顯示區域32所示般，焦點對準旋轉切刀62，凸緣64成為焦點偏移而略模糊之狀態。

藉由自動對焦功能而自動地調節、設定之焦點位置(相機20與旋轉切刀62之距離)顯示於設定區域36內之焦點位置顯示部42。或者，亦可在焦點位置顯示部42，顯示在過去(例如緊接在前)之攝影中使用之焦點位置。

在判斷為以顯示於焦點位置顯示部42之焦點位置(此處為1100 mm)拍攝、且顯示於顯示區域32之工件16b之圖像為適切時，作業者操作(例如觸控或按下)焦點固定按鈕44，而可將焦點位置固定(保存於控制裝置14或PC 22之記憶部)。或者，在工件16b之圖像為不適切時(例如，在焦點明顯偏移而不清晰時、或雖然某程度清晰但對於進行上述之模板匹配判斷為不適當時)，作業者可在操作焦點位置調節按鈕46對獲得適切之圖像之焦點位置進行調節之後，操作焦點固定按鈕44而保存焦點位置。

如上述般在圖3及圖4中，藉由自動對焦功能獲得之焦點位置不同，針對各者而保存焦點位置。即，在實施例2中，即便為同一工件但攝像部位不同，與此相伴而焦點位置亦不同，故各個檢測程式亦被作為不同之檢測程序而處理。如此般即便攝像對象(工件)相同，但在其攝像部位不同之情形下最佳之焦點位置亦不同，故較佳的是準備不同之檢測程式，在各檢測程式中進行焦點位置之保存、固定。再者，毋庸置疑，在如實施例1與實施例2般攝像對象為不同之情形下，使用不同之檢測程式。

如此般，在機器人之教示階段等中，藉由第1攝像模式，完成複數個(此處為2個)檢測程式各者中之焦點位置之保存(固定)。接著，在將機器人系統10適用於生產線等之生產現場，在與教示階段同樣地藉由相機20進行工件16b之攝像時，不使用相機20之自動對焦功能，而分別使用在第1攝像模式中固定之焦點位置進行工件16b之攝像、更具體而言為旋轉切刀62之攝像及凸緣64之攝像。惟，在教示階段與生產階段中，設為相機20與工件16b之相對位置關係(工件16b相對於相機20之位置及姿勢)相同。將如此般不利用相機20之自動對焦功能、而利用在第1攝像模式中被保存之焦點值拍攝工件之方法亦稱為第2攝像模式。

根據上述之實施例，即便對於利用手動之對焦操作不熟習之作業者，教示亦變得容易，另一方面，因在生產現場不利用自動對焦功能，故可削減焦點位置之調節所需之時間，作為系統整體可謀求週期時間之縮短。又，因在生產現場中不進行調焦動作，與在教示時及生產線作動時之兩者中利用自動對焦功能之情形相比進行調焦動作之次數下降，而可謀求相機之長壽命化。進而，在自動對焦中，即便相機與工件之相對位置關係相同，但特別是在生產現場中有因照明之狀況或干擾之影響(蟲或異物之飛散等)而焦點位置就每次檢測處理產生偏差之情形，但在本實施例中可避免如此之偏差。

在上述之實施例中，在機器人之教示時執行第1攝像模式，在機器人向生產現場之適用時執行第2攝像模式，但本揭示並不限於此。例如，可行的是，取代在與生產現場不同之場所之教示，執行使用PC 22等之模擬，在該模擬中執行第1攝像模式，且進行焦點位置之保存。在模擬中，若輸入相機與工件之位置關係等，則可藉由計算而製作、顯示實際上以相機拍攝工件時可能獲得之圖像，故藉由與上述之實施例相同之操作，可進行焦點位置之設定、調節、保存。

圖5係顯示上述之實施例中之處理之流程之流程圖。首先，在步驟S1中，作為第1攝像模式(例如在機器人之教示時)，藉由自動對焦而拍攝工件。在下一步驟S2中，保存藉由自動對焦拍攝時之焦點位置。該焦點位置之保存就每一檢測程式而進行。換言之，焦點位置就每一檢測程式而設定、保存不同之值。在下一步驟S3中，例如在生產現場使機器人作動時，作為第2攝像模式，在檢測程式執行時不使用自動對焦功能，而藉由在第1攝像模式中(例如教示時)保存之焦點位置進行工件之攝像。

10:機器人系統 12:機器人 14:機器人控制裝置 16, 16a, 16b:工件(檢測對象物) 18:透鏡 20:相機 22:PC 24:鍵盤(輸入部) 26:顯示器 27:架台 28:機器人臂 30:教示畫面 32:圖像顯示區域/顯示區域 34:樹區域 36:設定區域 40:攝像按鈕 42:焦點位置顯示部 44:焦點固定按鈕 46:焦點位置調節按鈕 50~60:參考符號 62:旋轉切刀 64:凸緣 66:自動對焦設定按鈕 S1~S4:步驟

圖1係實施形態之機器人系統之概略構成圖。圖2係顯示利用使用者介面之攝像程式之設定例之圖。圖3係顯示利用使用者介面之攝像程式之又一設定例之圖。圖4係顯示在圖3之例中設定不同之焦點值之例之圖。圖5係顯示與攝像程式相關聯之處理之一例之流程圖。

10:機器人系統

12:機器人

14:機器人控制裝置

16,16a,16b:工件(檢測對象物)

18:透鏡

20:相機

22:PC

24:鍵盤(輸入部)

26:顯示器

27:架台

28:機器人臂

Claims

一種機器人系統，其具有：相機，其具備自動對焦透鏡；及機器人，其基於前述相機之攝像結果進行作業；且可設定用於使用前述相機之複數個程式；且具有：使用者介面，其在前述程式各者中可設定前述自動對焦透鏡之焦點位置；及記憶部，其保存在前述複數個程式各者中被設定之焦點值；且前述使用者介面構成為在前述程式之執行時，可執行第1攝像模式及第2攝像模式，該第1攝像模式利用前述自動對焦透鏡之自動對焦功能進行攝像，該第2攝像模式不利用前述自動對焦功能，而使用保存於前述記憶部之前述焦點值進行攝像。
如請求項1之機器人系統，其中在前述第1攝像模式與前述第2攝像模式中，前述相機與前述相機之攝像對象物之相對位置關係相同。
如請求項2之機器人系統，其中保存於前述記憶部之焦點值係在前述第1攝像模式中利用前述自動對焦功能獲得之焦點值、或經由前述使用者介面對利用前述自動對焦功能而獲得之焦點值進行修正後之焦點值。
如請求項2或3之機器人系統，其中前述第1攝像模式在前述機器人之教示時執行，前述第2攝像模式在前述機器人之在生產現場之使用時執行。
如請求項1至4中任一項之機器人系統，其中前述程式就不同之工件每一者、或同一工件之不同之攝像部位每一者而準備。
一種攝像方法，其係用於機器人系統者，該機器人系統具有：相機，其具備自動對焦透鏡；及機器人，其基於前述相機之攝像結果進行作業；且可設定用於使用前述相機之複數個程式；並且該攝像方法包含：在前述程式各者中設定前述自動對焦透鏡之焦點位置；保存在前述複數個程式各者中被設定之焦點值；及在前述程式之執行時，執行第1攝像模式及第2攝像模式，該第1攝像模式利用前述自動對焦透鏡之自動對焦功能進行攝像，該第2攝像模式不利用前述自動對焦功能，而使用被保存之前述焦點值進行攝像。
如請求項6之攝像方法，其中在前述機器人之教示時執行前述第1攝像模式，在前述機器人之在生產現場之使用時執行前述第2攝像模式。