TW202326600A - 教示裝置 - Google Patents

Abstract

教示裝置(10)具備：對象物檢測部(111)，其從藉由視覺感測器拍攝對象物所得到的攝像圖像，執行對象物的檢測；攝像條件設定部(112)，其設定關於對象物的攝像之複數個攝像條件，以該複數個攝像條件的各個，令對象物檢測部(111)執行對象物的攝像及檢測；及檢測結果決定部(113)，其基於指標來決定正式採用的檢測結果，前述指標表示藉由複數個攝像條件執行攝像及檢測所得到之複數個檢測結果的統計性質。

Description

教示裝置

發明領域

本發明是有關於一種教示裝置。

發明背景

已知一種視覺檢測功能，其使用圖像處理裝置，從攝像裝置的視野內的圖像當中檢測出特定的對象物，並取得檢測到的對象物的位置。藉由使用以視覺檢測功能檢測到的對象物的位置，機器人可操作未被定位的對象物(參考例如專利文獻1)。

再者，關於吸附/保持能力測試程式，專利文獻2記載：「令移動裝置比平常更激烈地移動噴嘴座(nozzle holder)，並且於其移動前後，令攝像裝置拍攝由吸附嘴所保持的電子電路零件，處理從移動前後之攝像的結果所取得之圖像的資料，當移動前後的電子電路零件相對於吸附嘴的相對位置沒有變化時，判定為吸附嘴的電子電路零件保持能力是足夠的」(摘要)。 先行技術文獻 專利文獻

專利文獻1：日本特開2019-113895號公報 專利文獻2：日本特開2003-304095號公報

發明概要 發明欲解決之課題

在如專利文獻1所記載的使用視覺感測器之以往的機器人系統，有時因檢測作為對象物的工件時之攝像位置或環境的變化等影響，會發生未檢測出或誤檢測。由於未檢測出或誤檢測是使系統停止的主要原因，會對週程時間(cycle time)造成影響，因此期望可事先防止其發生。 用以解決課題之手段

本揭示的一態樣為一種教示裝置，前述教示裝置具備：對象物檢測部，其從藉由視覺感測器拍攝對象物所得到的攝像圖像，執行前述對象物的檢測；攝像條件設定部，其設定關於前述對象物的攝像之複數個攝像條件，以該複數個攝像條件的各個，令前述對象物檢測部執行前述對象物的攝像及檢測；及檢測結果決定部，其基於指標來決定正式採用的檢測結果，前述指標表示藉由前述複數個攝像條件執行前述攝像及檢測所得到之複數個檢測結果的統計性質。 發明效果

若依據上述構成，可得到精度更高的檢測結果，且可事先防止未檢測出或誤檢測的發生。

由附圖所示之本發明典型的實施形態之詳細說明，本發明的這些目的、特徵及優點、以及其他目的、特徵及優點將變得更加明確。

用以實施發明之形態

接著，參考圖式來說明本揭示的實施形態。在參考的圖式中，於同樣的構成部分或功能部分附上同樣的參考符號。為了易於理解，這些圖式適當地變更了比例。又，圖式所示的形態是用以實施本發明的一例，本發明不受圖示的形態所限定。

圖1是表示包含一實施形態的教示操作盤10的機器人系統100的全體構成的圖。機器人系統100包含：於臂前端部搭載有手部(把持裝置)33之機器人30、控制機器人30之機器人控制裝置50、作為教示裝置之教示操作盤10、安裝於機器人30的臂前端部之視覺感測器70、及控制視覺感測器70的視覺感測器控制裝置20。視覺感測器控制裝置20連接於機器人控制裝置50，又，教示操作盤10連接於機器人控制裝置50。機器人系統100可藉由視覺感測器70進行作業台2上之對象物(以下記載為工件)1的檢測，以搭載於機器人30之手部33來進行工件1之處置(handling)。

作為產業機械的機器人30在此雖採用垂直多關節機器人，但亦可使用其他種類的機器人。機器人控制裝置50按照載入於機器人控制裝置50內的動作程式或從教示操作盤10輸入的指令，來控制機器人30的動作。

視覺感測器控制裝置20具有控制視覺感測器70的功能、及針對以視覺感測器70所拍攝的圖像進行圖像處理的功能。視覺感測器控制裝置20從視覺感測器70所拍攝的圖像檢測工件1的位置，並將檢測結果提供給機器人控制裝置50。藉此，機器人控制裝置50可進行未被定位的工件1的處置。再者，檢測結果可包含工件1的檢測位置、關於檢測的評估值(檢測分數、圖像的對比(contrast)等)。

視覺感測器70可為拍攝灰階圖像或彩色圖像的照相機，亦可為能取得距離圖像或三維點雲的立體照相機或三維感測器。視覺感測器控制裝置20保持工件的模型型樣(model pattern)，可執行藉由攝像圖像中之工件的圖像與模型型樣的型樣匹配(pattern matching)來檢測工件的圖像處理。在本實施形態，視覺感測器70已校正完畢，視覺感測器控制裝置20保有定義視覺感測器70與機器人30的相對位置關係之校正資料。藉此，可將以視覺感測器70所拍攝之圖像上的位置，轉換成固定在作業空間之座標系統(機器人座標系統等)上的位置。

再者，在圖1中，視覺感測器控制裝置20是作為與機器人控制裝置50互為獨立的裝置而構成，但作為視覺感測器控制裝置20的功能亦可搭載於機器人控制裝置50內。

如以下所說明，機器人系統100構成為：綜合地使用就以複數個攝像條件拍攝對象物之攝像圖像的各個進行了檢測處理的結果，來決定正式的檢測結果，藉此可提高檢測的精度，事先防止未檢測出或誤檢測的發生。

圖2是表示機器人控制裝置50及教示操作盤10的硬體構成例的圖。機器人控制裝置50亦可具有以下之作為一般電腦的構成：對於處理器51，透過匯流排連接有記憶體52(ROM、RAM、非揮發性記憶體等)、輸出入介面53、包含各種操作開關的操作部54等。教示操作盤10是作為用以進行教示機器人30(亦即製作動作程式)用的操作輸入及畫面顯示的裝置來使用。教示操作盤10亦可具有以下之作為一般電腦的構成：對於處理器11，透過匯流排連接有記憶體12(ROM、RAM、非揮發性記憶體等)、顯示部13、藉由鍵盤及觸控面板(軟體鍵盤(software key))等輸入裝置所構成的操作部14、輸出入介面15等。再者，亦可取代教示操作盤10，而使用平板終端、智慧型手機、個人電腦等各種資訊處理裝置來作為教示裝置。

視覺感測器控制裝置20亦可具有以下之作為一般電腦的構成：對於處理器，透過匯流排連接有記憶體(ROM、RAM、非揮發性記憶體等)、輸出入介面、顯示部、操作部等。

圖3是教示操作盤10、機器人控制裝置50及視覺感測器控制裝置20的功能方塊圖。

視覺感測器控制裝置20具有記憶部121及圖像處理部122。記憶部121記憶進行圖像處理上所需的各種資料(模型型樣等)、檢測結果、校正資料等。校正資料包含相對於設定在機器人30的座標系統之設定在視覺感測器70的座標系統之相對位置關係。校正資料亦可進一步包含關於攝影光學系統的內部參數(焦點距離、圖像尺寸、透鏡畸變等)。圖像處理部122擔任執行型樣匹配等其他各種圖像處理的功能。

機器人控制裝置50具有記憶部151及動作控制部152。記憶部151記憶動作程式等各種程式、及其他使用於機器人控制的各種資訊。動作程式是從例如教示操作盤10提供。動作控制部152按照來自教示操作盤10的指令或動作程式來控制機器人30等之動作。再者，由動作控制部152所進行的控制包含手部33的控制、及對於視覺感測器控制裝置20的控制。

如圖3所示，教示操作盤10具備程式製作部110、對象物檢測部111、攝像條件設定部112、檢測結果決定部113、攝像條件調整部114及記憶部115。再者，教示操作盤10雖具有與機器人的教示有關的各種功能，但在圖3中，是記載著眼於程式製作、及用以執行使用視覺感測器的檢測之功能的情況下之功能方塊。

程式製作部110具有與程式製作相關的各種功能，諸如程式製作(教示)用之各種使用者介面畫面的提供等。在程式製作部110的支援下，使用者可進行動作程式或檢測程式等各種程式的製作。

對象物檢測部111執掌以下控制：藉由視覺感測器70拍攝工件1，並從攝像圖像執行工件1的檢測。更具體而言，對象物檢測部111將攝像及檢測用的指令送至機器人控制裝置50側，令其執行攝像及檢測的動作。對象物檢測部111亦可作為在教示操作盤10的處理器11的控制下動作之檢測程式來實現。例如，對象物檢測部111進行從攝像圖像擷取到的特徵點、與對象物的模型型樣的特徵點之匹配，來檢測對象物的像。在此，特徵點亦可為邊緣點。然後，對象物檢測部111亦可使用表示攝像圖像上之對象物的特徵點與模型型樣的特徵點的一致度之評估值(例如檢測分數)，來判定是檢測成功還是檢測錯誤。

攝像條件設定部112設定關於工件1的攝像之複數個攝像條件，以該複數個攝像條件的各個，令對象物檢測部111執行工件1的攝像及檢測處理。

作為例示，攝像條件亦可包含照相機的攝像位置(或攝像區域)、照相機的曝光時間、光源(LED等)的光量、增益(gain)、合併(binning)、檢測範圍、機器人的位置姿勢之至少任一者。這些各種各樣的條件可能會對檢測結果造成影響。再者，合併表示將攝像元件上的複數個像素集體視為一個像素的取入手法，檢測範圍表示攝像圖像中應可使用於檢測的範圍。作為攝像條件之機器人的位置姿勢，是作為規定照相機的位置姿勢的資訊而具有意義。

檢測結果決定部113動作如：綜合地使用由攝像條件設定部112所設定的複數個攝像條件下的檢測結果，來決定正式的檢測結果，藉此提高檢測結果的精度。在本實施形態，檢測結果決定部113基於指標來決定正式採用的檢測結果，前述指標表示藉由複數個攝像要件來執行攝像及檢測所得到之複數個檢測結果的統計性質。在此，表示統計性質的指標可包含眾數、平均值、中位數、標準差及其他各種統計量。

攝像條件調整部114基於藉由攝像條件設定部112所設定的複數個攝像條件下的檢測所得到的複數個檢測結果，來調整對於對象物檢測部111預先教示的攝像條件。再者，對於對象物檢測部111預先教示的攝像條件，是由使用者透過參數設定畫面，或者以描述於檢測程式的態樣來教示的攝像條件。

記憶部115是為了記憶包含關於教示設定的資訊、程式編寫用的資訊等各種資訊而使用。

說明由攝像條件設定部112所進行之複數個攝像條件的設定。攝像條件設定部112可自動生成複數個攝像條件。攝像條件設定部112亦可按照使用者所進行的攝像條件數等參數的指定，來生成複數個攝像條件。攝像條件設定部112按照來自使用者之攝像條件數的指定而自動地生成攝像條件的態樣，可能有以下手法： (a1)在用以設定視覺檢測功能的命令(命令圖標等)或者處理程式(檢測程式)的詳細參數之參數設定畫面中，包含用以使複數個攝像條件自動地生成之核取項目， (a2)設置用以自動生成複數個攝像條件的程式編寫的語法，在進行文字為基(text-based)的程式編寫時使用該語法。

上述手法(a1)可藉由例如在參數設定畫面中，設置“□攝像條件的自動設定”這類的核取方塊來實現。當使用者核取了此核取方塊時，攝像條件設定部112會自動生成複數個攝像條件。

於圖4，表示在針對視覺檢測功能的執行命令或者檢測程式的參數設定畫面中，設置有用以自動設定複數個攝像條件的核取方塊之例。圖4的參數設定畫面200包含「照相機的攝像位置」210及「檢測設定」220來作為設定項目。「檢測設定」220包含用以指定檢測程式的指定欄221、及用以儲存工件的檢測數之暫存器的指定欄222。藉由按下「照相機的攝像位置」210的指定欄的教示按鈕211，使用者可操作教示操作盤10的微動(jog)操作按鈕，來使機器人30移動以進行攝像位置的教示。

參數設定畫面200進一步包含用以自動生成作為攝像條件的複數個攝像位置的核取方塊230、及指定此情況下之攝像位置數的指定欄231。若核取此核取方塊230，攝像條件設定部112基於使用者在「照相機的攝像位置」210的指定欄所教示的攝像位置，自動生成在檢測數的指定欄所指定的數目的攝像位置。

上述手法(a2)的具體例可藉由例如設置如以下的命令語法來實現。 攝像位置自動生成(“攝像位置數”、“檢測程式名”) 上述命令提供以下功能：就以引數“檢測程式名”所指定的檢測程式，來生成以引數“攝像位置數”所指定的數目的攝像位置。例如，在動作程式內描述有上述語法時，攝像條件設定部112以檢測程式，在使用者指定(教示)的攝像位置的周圍，生成以攝像位置數所指定的數目的攝像位置。

參考圖5來說明在使用者所教示的攝像位置的周圍，自動生成1個以上的攝像位置的手法之例。再者，此情況下的攝像位置亦可包含姿勢。圖5所示之中央部的攝像區域301，是與使用者預先在參數設定畫面200的「照相機的攝像位置」210欄所教示的攝像位置相對應之攝像對象面上的攝像區域。再者，攝像對象面是例如工件1的載置面(作業台2的上表面)。又，在此，攝像位置自動生成的指定數假設為4個。

作為一例，攝像條件設定部112如圖5的左側部分所示，在以攝像區域301的中心C01為中心之圓的圓周方向上，以等角度間隔(在本例為90度間隔)配置4個攝像區域311-314。從攝像區域301的中心C01到各攝像區域311、312、313、314的中心C11、C12、C13、C14的距離亦可設為同一距離。此情況下，從攝像區域301的中心C01到各攝像區域311、312、313、314的中心C11、C12、C13、C14的距離，亦可因應要使各攝像區域311-314與攝像區域301交疊多少程度，而於攝像條件設定部112自動設定，或亦可構成為可讓使用者來指定。再者，在圖5的左側部分，雖為了便於說明而圖示為5個攝像區域301、311-314不相互重疊，但實際上攝像區域311-314是如同圖右側所示，以各個攝像區域包含對象物的方式配置為與攝像區域301部分地重疊。攝像條件設定部112基於如此所設定的攝像區域的位置、關於視覺感測器70的攝影光學系統的資訊(攝影鏡頭的焦點距離、視角等)、視覺感測器70與攝像對象面的相對位置關係等各種各樣的條件，來求出與各個攝像區域311-314相對應之視覺感測器70的攝像位置。再者，攝像條件設定部112可從機器人控制裝置50側，取得用以生成攝像條件所需的資訊。對象物檢測部111使機器人30(手部33)移動，以在由攝像條件設定部112如上述所設定的複數個攝像位置進行工件1的攝像。

圖6是表示對以預先教示的攝像條件拍攝對象物並進行檢測之對象物檢測部111的基本的檢測處理功能，附加了藉由上述攝像條件設定部112及檢測結果決定部113的功能，從以複數個攝像條件拍攝的圖像來決定檢測結果的處理之「攝像及檢測處理」的流程圖。再者，本處理是在教示操作盤10的處理器11的控制下，藉由教示操作盤10、機器人控制裝置50及視覺感測器控制裝置20協同合作來實現的處理。

說明圖6的處理內容。透過如上述的參數設定畫面200指定了攝像條件的自動設定、或者藉由命令的語法指定了攝像條件的自動生成時，攝像條件設定部112生成經使用者指定的數目的攝像條件(步驟S1)。然後，攝像條件設定部112對於對象物檢測部111，令其就複數個攝像條件，重複執行包括拍攝工件的處理(步驟S2)及使用拍攝的圖像的檢測處理(圖像處理)(步驟S3)之平常的檢測處理(循環處理L1)。再者，在此被進行循環處理的複數個攝像條件包含使用者預先教示的攝像條件、及攝像條件設定部112自動生成的攝像條件。

當在複數個攝像條件下的攝像及檢測處理完成，處理脫離循環時，綜合地使用以複數個攝像條件拍攝所得之複數個檢測結果，藉此進行最終檢測結果的決定(步驟S4)。

圖6的步驟S4中之檢測結果的決定處理是藉由檢測結果決定部113的功能來提供。由檢測結果決定部113所進行之檢測結果的決定，可能有基於表示複數個檢測結果的統計性質的指標之各種決定例。作為例示有如以下(b1)至(b4)的決定例。 (b1)從與複數個攝像條件下之對象物的檢測有關的複數個檢測結果中，基於相互一致的檢測結果的數目，以多數決定方式來決定正式採用的檢測結果。 (b2)將與複數個攝像條件下之對象物的檢測有關的複數個檢測結果予以平均化，藉此決定正式的檢測結果。 (b3)基於將作為複數個攝像條件下的複數個檢測結果之分數予以相加之值，來評估檢測結果以決定正式的檢測結果。在此方式下，例如就產生一致的檢測結果之檢測結果的群組，將分數的合計值作為評估的指標值來使用。例如，亦可在分數的合計值超過閾值時採用為正式的檢測結果。或者，在檢測結果一致的群組有複數個時，亦可將各群組的分數的合計值進行對比，來決定要採用為正式的檢測結果的群組。 (b4)從複數個檢測結果剔除離群值，然後予以平均化。

接著，說明按照上述手法(b1)的動作例(第1實施例)及按照上述手法(b2)的動作例(第2實施例)，來作為圖6所示的複數個攝像條件下之對象物的攝像及檢測處理之具體的動作例。

參考圖7及圖8，來說明按照上述手法(b1)的複數個攝像條件下之對象物的攝像及檢測處理之動作例(第1實施例)。圖7表示在包含由攝像條件設定部112所自動生成的攝像位置之6個攝像位置進行了工件1的檢測時的檢測結果411-416的圖。各檢測結果411-416包含攝像圖像及檢測位置。具體而言，檢測結果411包含攝像圖像M1及檢測位置P1，檢測結果412包含攝像圖像M2及檢測位置P2，檢測結果413包含攝像圖像M3及檢測位置P3，檢測結果414包含攝像圖像M4及檢測位置P4，檢測結果415包含攝像圖像M5及檢測位置P5，檢測結果416包含攝像圖像M6及檢測位置P6。再者，檢測位置是從作為二維圖像的攝像圖像檢測到之工件1的三維位置。如上述，視覺感測器控制裝置20保有校正資料。此校正資料包含外部參數或關於攝影光學系統的內部參數，前述外部參數規定相對於機器人座標系統之設定在視覺感測器70的座標系統(照相機座標系統)之相對位置關係。藉由基於此校正資料所設定的轉換矩陣，機器人座標系統中的三維位置可被映射(mapping)到二維圖像上。亦即，機器人座標系統上的三維位置藉由外部參數而轉換成照相機座標系統上的位置，照相機座標系統上的位置藉由內部參數而映射到圖像平面上的位置。基於此類的映射，可從以視覺感測器70所拍攝之圖像上的位置，算出固定在作業空間中之座標系統(機器人座標系統)上的三維位置。

圖7的檢測結果411-416是從各不相同的攝像位置拍攝工件1的檢測結果。在此，檢測結果411的檢測位置P1、檢測結果413的檢測位置P3及檢測結果415的檢測位置P5一致。又，檢測結果412的檢測位置P2及檢測結果414的檢測位置P4一致，檢測位置P6無其他相同者。再者，於本說明書中，所謂在檢測位置(檢測結果)一致或者整合時，亦包含即使是各檢測位置(檢測結果)並未嚴格地一致的情況，其差異仍為預定的容許範圍(例如，於機器人30所進行的工件1的處置中不會產生問題的程度的差異)這類的情況。再者，在圖7之例中，檢測位置P1、P3、P5為正確的檢測位置，檢測位置P2、檢測位置P4、檢測位置P6為誤檢測。

圖8是基於圖7所示之檢測結果411-416，檢測結果決定部113依循上述決定手法(b1)來決定正式的檢測結果時之處理(圖6的步驟S4)以流程圖來表示的圖。首先，檢測結果決定部113比較檢測結果411-416之6個檢測位置P1-P6(步驟S11)。再者，檢測位置(三維位置)可從攝像時之機器人30的位置資訊及在攝像圖像上的檢測結果來求出。此情況下，檢測結果決定部113辨識出檢測位置P1、P3及P5為相同的檢測位置，檢測位置P2及P4為相同的檢測位置，檢測結果P6無相同者(步驟S12)。

接著，檢測結果決定部113將在最多的攝像圖像上檢測位置為相同時之檢測位置(此情況是檢測結果411、413及415的檢測位置P1、P3及P5)，採用為正式的檢測位置(步驟S13)。

如此，藉由構成為將檢測結果一致的數目最多的檢測結果(亦即眾數)採用為正式的檢測結果，可提高檢測結果的可靠性，且可事先防止未檢測出或誤檢測的發生。

接著，說明由攝像條件設定部114所進行之對於對象物檢測部111預先教示的攝像條件的調整。如由上述說明可理解，產生檢測結果一致的數目更少的檢測結果(檢測位置P2及P4、或者檢測位置P6)之攝像條件，相較於產生檢測結果一致的數目最多時的檢測結果(檢測位置P1、P3、P5)之攝像條件，可定位為「檢測成功的機率低的攝像條件」。反之，產生檢測結果一致的數目最多的檢測結果(檢測位置P1、P3、P5)之攝像條件，相較於產生檢測結果一致的數目更少的檢測結果(檢測位置P2及P4、或者檢測結果P6)之攝像條件，可定位為「檢測成功的機率高的攝像條件」。又，關於檢測結果所包含的評估值(檢測分數等)，亦可視為該評估值越低時的攝像條件為檢測成功的機率越低的攝像條件。又，亦可視為該評估值越高的攝像條件為檢測成功的機率越高的攝像條件。

故，攝像條件調整部114可使用以下至少任一判斷基準： (c1)產生相互一致的數目越多的檢測結果之攝像條件，是檢測成功的機率越高的攝像條件， (c2)產生與檢測結果相關之預定的評估值越高的結果之攝像條件，是檢測成功的機率越高的攝像條件， 從攝像條件設定部112所設定的複數個攝像條件，擷取「被定位為不適於使用在攝像及檢測的攝像條件」、及/或「被定位為適於使用在攝像及檢測的攝像條件」。然後，攝像條件調整部114可藉由擷取到之「被定位為不適於使用在攝像及檢測的攝像條件」、及/或「被定位為適於使用在攝像及檢測的攝像條件」，來調整對於對象物檢測部111預先教示的攝像條件。再者，「(c1)產生相互一致的數目越多的檢測結果之攝像條件，是檢測成功的機率越高的攝像條件」，是等價於「產生相互一致的數目越少的檢測結果之攝像條件，是檢測成功的機率越低的攝像條件」。又，「(c2)產生與檢測結果相關之預定的評估值越高的結果之攝像條件，是檢測成功的機率越高的攝像條件」，是等價於「與檢測結果相關之預定的評估值越低的攝像條件，是檢測成功的機率越低的攝像條件」。

攝像條件調整部114亦可藉由上述判斷基準(c1)，將產生檢測結果P1、P3、P5的攝像條件，作為「被定位為適於使用在攝像及檢測的攝像條件」來擷取。又，攝像條件調整部114亦可藉由上述判斷基準(c1)，將產生檢測位置P2及P4、或者檢測結果P6的攝像條件，作為「被定位為不適於使用在攝像及檢測的攝像條件」來擷取。

檢測位置P1、P3、P5為正確的檢測位置，檢測位置P2、P4及檢測位置P6為誤檢測。此情況下，檢測位置P1、P3及P5的檢測分數是比檢測結果P2及P4、或者檢測結果P6的檢測分數還要高的值。因此，攝像條件調整部114亦可藉由上述判斷基準(c2)，將產生檢測結果P1、P3、P5的攝像條件，作為「被定位為適於使用在攝像及檢測的攝像條件」來擷取。又，攝像條件調整部114亦可藉由上述判斷基準(c2)，將產生檢測位置P2及P4、或者檢測結果P6的攝像條件，作為「被定位為不適於使用在攝像及檢測的攝像條件」來擷取。

再者，將判斷基準(c2)與判斷基準(c1)一同使用時，例如亦可進行以下動作： (d1)即使是藉由判斷手法(c1)所擷取到之「被定位為適於使用在攝像及檢測的攝像條件」，當產生檢測分數低於預定值的檢測結果時，不作為「被定位為適於使用在攝像及檢測的攝像條件」來使用， (d2)當有相互一致的檢測結果的數目相等的2個群組時，將產生檢測分數之值(平均值、合計值等)較高的群組的檢測結果之攝像條件，當作「被定位為適於使用在攝像及檢測的攝像條件」。

攝像條件調整部114可將如上述擷取到之「被定位為不適於使用在攝像及檢測的攝像條件」及/或「被定位為適於使用在攝像及檢測的攝像條件」記憶於記憶部115，以使用在攝像條件的調整。在此，記憶部115可包含可從程式參考的變數的記憶區域、非揮發性記憶體內的檔案等之可於記憶體52內構成的所有記憶裝置。或者，記憶部115亦可構成於教示操作盤10的外部。

作為例示，攝像條件調整部114亦可動作如：當使用者對檢測程式所教示或者預先指定的攝影條件，符合「被定位為不適於使用在攝像及檢測的攝像條件」時，向使用者輸出催促變更攝像條件的訊息，或者當「被定位為適於使用在攝像及檢測的攝像條件」保存於記憶部115時，將教示給檢測程式或者預先設定於檢測程式的攝像條件，更新為「被定位為適於使用在攝像及檢測的攝像條件」。藉由此類的動作，可使得「被定位為不適於使用在攝像及檢測的攝像條件」不會被作為對象物檢測部111的攝像條件來使用。

若依據如以上的構成，在使用預先教示的攝影條件執行檢測程式的實際運用時頻繁發生檢測錯誤的情況下，可藉由使圖6所示的處理執行一次，來得到「被定位為適於使用在攝像及檢測的攝像條件」或者「被定位為不適於使用在攝像及檢測的攝像條件」，以適當地調整攝像條件。

接著，參考圖9，來說明按照上述手法(b2)「將與複數個攝像條件下之對象物的檢測有關的複數個檢測結果予以平均化，藉此決定正式的檢測結果」之複數個攝像條件下之對象物的攝像及檢測處理之動作例(第2實施例)。如圖9所示，將在包含由攝像條件設定部112所自動生成的攝像位置之3個攝像位置進行了工件1的檢測時之檢測結果，設為檢測結果511-513。檢測結果511包含攝像圖像M11及檢測位置P11，檢測結果512包含攝像圖像M12及檢測位置P12，檢測結果513包含攝像圖像M13及檢測位置P13。再者，圖9之例中的檢測位置P11、P12、P13均為正確的檢測位置(非誤檢測的檢測結果)。

檢測結果決定部113將作為3個檢測結果之檢測位置P11-P13的平均值，採用為正式的檢測位置。作為檢測結果之工件1的三維位置一般會有不一致，因此可藉由進行這些檢測位置的平均化(例如，將檢測位置P11-P13的平均值當作正式的檢測位置)來提高檢測精度。再者，當檢測位置P11、P12、P13中包含誤檢測(評估值低於預定值)時，亦可將該誤檢測的檢測位置從平均化中去掉。再者，在本例中，雖說明將平均值決定為正式的檢測結果之例，但亦可能有將中位數決定為正式的檢測結果之例。

即使在檢測結果決定部113藉由上述手法(b2)進行如上述的動作時，攝像條件調整部114亦可使用上述的判斷基準(c2)「產生與檢測結果相關之預定的評估值越高的結果之攝像條件，是檢測成功的機率越高的攝像條件」，從攝像條件設定部112所設定的複數個攝像條件，擷取「被定位為不適於使用在攝像及檢測的攝像條件」、及/或「被定位為適於使用在攝像及檢測的攝像條件」。然後，攝像條件調整部114可進行如上述的攝像條件的調整，亦即調整為使「被定位為不適於使用在攝像及檢測的攝像條件」，不會被對象物檢測部111作為攝像條件來使用，或者以「被定位為適於使用在攝像及檢測的攝像條件」，來更新對於對象物檢測部111預先教示的攝像條件。

再者，由於關於圖7所示之第1實施例的檢測位置P1、P3、P5，有時會包含不一致，因此檢測結果決定部113亦可就第1實施例中所採用的檢測位置P1、P3、P5進行平均化，來作為第1實施例的正式的檢測位置。

如以上所說明，若依據本實施形態，可得到精度更高的檢測結果，且可事先防止未檢測出或誤檢測的發生。

以上雖使用典型的實施形態來說明了本發明，但若是所屬技術領域中具有通常知識者，應可理解能夠不脫離本發明的範圍而對上述各實施形態進行變更及各種其他的變更、省略、追加。

上述實施形態所示的機器人系統雖為於機器人搭載視覺感測器，並拍攝載置於作業台上的工件的構成，但亦可對將視覺感測器固定於機器人被設置的作業空間內、使把持工件的機器人移動來讓視覺感測器查看工件的系統，適用上述實施形態所記載的各種功能。參考圖5所說明之由攝像條件設定部112所設定的複數個攝像位置，是以工件為基準之視覺感測器70的相對的攝像位置。因此，在此類系統構成的情況下，對象物檢測部111亦可進行控制(亦即對於機器人控制裝置的指令)來使以機器人把持的工件移動，以在由攝像條件設定部112所設定的複數個攝像位置，藉由視覺感測器70進行工件的攝像。再者，此情況下的攝像對象面亦可定義為包含工件的表面之面。

在上述實施形態中，雖說明攝像條件設定部112自動生成複數個攝像條件的動作，但攝像條件設定部112亦可動作如：受理指定複數個攝像條件的使用者輸入，讓對象物檢測部111使用該經使用者輸入的複數個攝像條件。

圖3所示之功能方塊圖中之各功能的配置是例示，關於功能的配置可能有各種變形例。例如，亦可能有將配置於教示操作盤10內的對象物檢測部111、攝像條件設定部112、檢測結果決定部113、攝像條件調整部114及記憶部115，配置於機器人控制裝置50側的構成例。又，此情況下，亦可使視覺感測器控制裝置20的功能也包含於機器人控制裝置50。再者，此情況下，亦可將藉由教示操作盤10及機器人控制裝置50來提供的功能全體，定義為教示裝置。

圖3所示之教示操作盤10、機器人控制裝置50及視覺感測器控制裝置20之功能方塊，亦可藉由這些裝置的處理器執行儲存於記憶裝置的各種軟體來實現，或者亦可藉由以ASIC(Application Specific Integrated Circuit(特殊應用積體電路))等硬體作為主體的構成來實現。

執行上述實施形態的攝像及檢測處理等各種處理的程式，可記錄於電腦可讀取的各種記錄媒體(例如ROM、EEPROM、快閃記憶體(flash memory)等半導體記憶體、磁性記錄媒體、CD-ROM、DVD-ROM等光碟片)。

1:工件 2:作業台 10:教示操作盤 11:處理器 12:記憶體 13:顯示部 14:操作部 15:輸出入介面 20:視覺感測器控制裝置 30:機器人 33:手部 50:機器人控制裝置 51:處理器 52:記憶體 53:輸出入介面 54:操作部 70:視覺感測器 100:機器人系統 110:程式製作部 111:對象物檢測部 112:攝像條件設定部 113:檢測結果決定部 114:攝像條件調整部 115:記憶部 121:記憶部 122:圖像處理部 151:記憶部 152:動作控制部 200:參數設定畫面 210:「照相機的攝像位置」 211:教示按鈕 220:「檢測設定」 221,222,231:指定欄 230:核取方塊 301,311~314:攝像區域 411~416,511~513:檢測結果 C01,C11,C12,C13,C14:中心 L1:循環處理 M1~M6,M11~M13:攝像圖像 P1~P6,P11~P13:檢測位置 S1~S4,S11~S13:步驟

圖1是表示包含一實施形態的教示操作盤的機器人系統的全體構成的圖。 圖2是表示機器人控制裝置及教示操作盤的硬體構成例的圖。 圖3是教示操作盤、機器人控制裝置及視覺感測器控制裝置的功能方塊圖。 圖4是表示在針對視覺檢測功能的執行命令或者檢測程式的參數設定畫面中，設置有用以自動設定複數個攝像條件的核取方塊(checkbox)之例的圖。 圖5是表示在使用者所教示或指定的攝像位置的周圍，自動生成複數個攝像位置的手法之例的圖。 圖6是表示包含從在複數個攝像位置拍攝的圖像決定檢測結果的處理之攝像及檢測處理的流程圖。 圖7是表示在包含由攝像條件設定部所自動生成的攝像位置之6個攝像位置進行了工件的檢測時的檢測結果之例的圖。 圖8是表示檢測結果決定部基於圖7所示之檢測結果來決定正式的檢測結果的處理的流程圖。 圖9是表示在包含由攝像條件設定部所自動生成的攝像位置之3個攝像位置進行了工件的檢測時的檢測結果之例的圖。

10:教示操作盤

20:視覺感測器控制裝置

30:機器人

33:手部

50:機器人控制裝置

70:視覺感測器

110:程式製作部

111:對象物檢測部

112:攝像條件設定部

113:檢測結果決定部

114:攝像條件調整部

115:記憶部

121:記憶部

122:圖像處理部

151:記憶部

152:動作控制部

Claims (15)

1. 一種教示裝置，其具備： 對象物檢測部，其從藉由視覺感測器拍攝對象物所得到的攝像圖像，執行前述對象物的檢測； 攝像條件設定部，其設定關於前述對象物的攝像之複數個攝像條件，以該複數個攝像條件的各個，令前述對象物檢測部執行前述對象物的攝像及檢測；及 檢測結果決定部，其基於指標來決定正式採用的檢測結果，前述指標表示藉由前述複數個攝像條件執行前述攝像及檢測所得到之複數個檢測結果的統計性質。
2. 如請求項1之教示裝置，其中前述檢測結果決定部基於作為前述指標的與前述複數個檢測結果有關的眾數，來決定前述正式採用的檢測結果。
3. 如請求項2之教示裝置，其中前述檢測結果決定部將前述複數個檢測結果當中被決定為前述正式採用的檢測結果之1個以上的檢測結果進一步予以平均化，並作為前述正式採用的檢測結果來使用。
4. 如請求項2或3之教示裝置，其中進一步具備攝像條件調整部，前述攝像條件調整部基於前述複數個檢測結果，來調整對於前述對象物檢測部預先教示的攝像條件， 前述攝像條件調整部使用以下至少任一判斷基準： (1)產生相互一致的數目越多的檢測結果之攝像條件，是檢測成功的機率越高的攝像條件， (2)產生與檢測結果相關之預定的評估值越高的結果之攝像條件，是檢測成功的機率越高的攝像條件， 從前述複數個攝像條件，擷取被定位為不適於使用在前述攝像及檢測的攝像條件、或被定位為適於使用在前述攝像及檢測的攝像條件， 並藉由擷取到之被定位為不適於使用在前述攝像及檢測的攝像條件、或被定位為適於使用在前述攝像及檢測的攝像條件，來調整預先教示給前述對象物檢測部的攝像條件。
5. 如請求項4之教示裝置，其中前述攝像條件調整部擷取被定位為不適於使用在前述攝像及檢測的攝像條件，並調整為使被定位為不適於使用在該攝像及檢測的攝像條件，不會被前述對象物檢測部作為攝像條件來使用。
6. 如請求項4之教示裝置，其中前述攝像條件調整部擷取被定位為適於使用在前述攝像及檢測的攝像條件，並以被定位為適於使用在該攝像及檢測的攝像條件，來更新對於前述對象物檢測部預先教示的攝像條件。
7. 如請求項1之教示裝置，其中前述檢測結果決定部使用前述複數個檢測結果經平均化之值作為前述指標，來決定前述正式的檢測結果。
8. 如請求項7之教示裝置，其中進一步具備攝像條件調整部，前述攝像條件調整部基於前述複數個檢測結果，來調整對於前述對象物檢測部預先教示的攝像條件， 前述攝像條件調整部使用產生與檢測結果相關之預定的評估值越高的結果之攝像條件，是檢測成功的機率越高的攝像條件之判斷基準，從前述複數個攝像條件，擷取被定位為不適於使用在前述攝像及檢測的攝像條件、或被定位為適於使用在前述攝像及檢測的攝像條件， 並藉由擷取到之被定位為不適於使用在前述攝像及檢測的攝像條件、或被定位為適於使用在前述攝像及檢測的攝像條件，來調整預先教示給前述對象物檢測部的攝像條件。
9. 如請求項8之教示裝置，其中前述攝像條件調整部擷取被定位為不適於使用在前述攝像及檢測的攝像條件，並調整為使被定位為不適於使用在該攝像及檢測的攝像條件，不會被前述對象物檢測部作為攝像條件來使用。
10. 如請求項8之教示裝置，其中前述攝像條件調整部擷取被定位為適於使用在前述攝像及檢測的攝像條件，並以被定位為適於使用在該攝像及檢測的攝像條件，來更新對於前述對象物檢測部預先教示的攝像條件。
11. 如請求項1至10中任一項之教示裝置，其中前述攝像條件調整部基於作為基準的一個攝像條件來生成1個以上的攝像條件，藉此設定前述複數個攝像條件。
12. 如請求項11之教示裝置，其中前述作為基準的一個攝像條件是對於前述對象物檢測部預先教示的攝像條件。
13. 如請求項11或12之教示裝置，其中前述攝像條件是前述視覺感測器的攝像位置， 前述攝像條件設定部是於前述作為基準的一個攝像位置的周圍，以如下方式決定1個以上的攝像位置：使前述1個以上的攝像位置在攝像對象面上的1個以上的攝像區域，會與前述作為基準的一個攝像位置在前述攝像對象面上的攝像區域部分地相互重疊。
14. 如請求項13之教示裝置，其中前述視覺感測器搭載於機器人， 前述對象物檢測部使前述機器人移動，以在由前述攝像條件設定部所設定的複數個攝像位置，進行對於前述對象物的攝像。
15. 如請求項13之教示裝置，其中前述視覺感測器固定於搭載有手部的機器人被設置的作業空間中， 前述機器人是以前述手部來把持前述對象物， 前述對象物檢測部使前述機器人移動，以在由前述攝像條件設定部所設定的複數個攝像位置拍攝前述對象物。