TW202333920A - 取得工件位置之裝置、機器人之控制裝置、機器人系統及方法 - Google Patents

取得工件位置之裝置、機器人之控制裝置、機器人系統及方法 Download PDF

Info

Publication number
TW202333920A
TW202333920A TW112101701A TW112101701A TW202333920A TW 202333920 A TW202333920 A TW 202333920A TW 112101701 A TW112101701 A TW 112101701A TW 112101701 A TW112101701 A TW 112101701A TW 202333920 A TW202333920 A TW 202333920A
Authority
TW
Taiwan
Prior art keywords
model
workpiece
partial
coordinate system
aforementioned
Prior art date
Application number
TW112101701A
Other languages
English (en)
Inventor
和田潤
Original Assignee
日商發那科股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商發那科股份有限公司 filed Critical 日商發那科股份有限公司
Publication of TW202333920A publication Critical patent/TW202333920A/zh

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

例如,在工件為大型之情形下,有工件無法落於形狀檢測感測器之檢測範圍內之情形。在如此之情形下,追求取得工件位置之技術。 裝置50包含:模型取得部44,其取得將工件模型化之工件模型;部分模型產生部46,其使用模型取得部44取得之工件模型,產生將該工件模型限定為一部分之部分模型;及位置取得部48,其藉由將部分模型產生部46產生之部分模型與形狀檢測感測器14檢測出之形狀資料進行匹配,而取得與該部分模型對應之工件之部位在控制座標系中之位置。

Description

取得工件位置之裝置、機器人之控制裝置、機器人系統及方法
本揭示係關於一種取得工件位置之裝置、控制裝置、機器人系統及方法。
已知一種基於形狀檢測感測器(具體而言為視覺感測器)檢測出之工件之形狀資料(具體而言為圖像資料),取得工件位置之裝置(例如,專利文獻1)。 [先前技術文獻] [專利文獻]
[專利文獻1] 日本特開2017-102529號公報
[發明所欲解決之課題]
例如,在工件為大型之情形下,有工件無法落於形狀檢測感測器之檢測範圍內之情形。在如此之情形下,追求取得工件位置之技術。 [解決課題之技術手段]
本揭示之一態樣之裝置係基於配置於控制座標系之已知之位置之形狀檢測感測器檢測出之工件之形狀資料,取得該控制座標系中之該工件之位置者,其包含:模型取得部,其取得將工件模型化之工件模型;部分模型產生部,其使用模型取得部取得之工件模型,產生將該工件模型限定為一部分之部分模型;及位置取得部,其藉由將部分模型產生部產生之部分模型與形狀檢測感測器檢測出之形狀資料進行匹配,而取得與該部分模型對應之工件之部位在控制座標系中之第1位置。
本揭示之又一態樣之方法係基於配置於控制座標系之已知之位置之形狀檢測感測器檢測出之工件之形狀資料,取得該控制座標系中之工件之位置者,處理器取得將工件模型化之工件模型;使用取得之工件模型,產生將該工件模型限定為一部分之部分模型;藉由將部分模型產生部產生之部分模型與形狀檢測感測器檢測出之形狀資料進行匹配,而取得與該部分模型對應之工件之部位在控制座標系中之位置。 [發明之效果]
根據本揭示,即便在工件無法落於形狀檢測感測器之檢測範圍之情形下,仍可藉由使用將工件模型限定為一部分之部分模型來執行匹配,而取得形狀檢測感測器檢測出之工件之部位之位置。因此,即便在工件為比較大型之情形等下,仍可準確地取得控制座標系中之工件之位置,其結果,可基於取得之該位置而高精度地執行對該工件之作業。
以下,基於圖式詳細地說明本揭示之實施之形態。再者,於以下所說明之各種實施形態中,對於同樣之要件賦予相同之符號,且省略重複之說明。首先,參照圖1及圖2,對於一實施形態之機器人系統10進行說明。機器人系統10包含機器人12、形狀檢測感測器14、及控制裝置16。
在本實施形態中,機器人12係垂直多關節機器人,具有機器人基座18、回轉主體20、下臂部22、上臂部24、手腕部26、及末端作用器28。機器人基座18固定於作業單元之地板之上。回轉主體20以可繞鉛直軸回轉之方式設置於機器人基座18。
下臂部22繞水平軸可旋動地設置於回轉主體20,上臂部24可旋動地設置於下臂部22之前端部。手腕部26具有:手腕基座26a,其以可繞相互正交之2個軸旋動之方式設置於上臂部24之前端部;及手腕凸緣26b,其以可繞手腕軸A1旋動之方式設置於該手腕基座26a。
末端作用器28可拆裝地安裝於手腕凸緣26b。末端作用器28例如為可固持工件W之機器人手、熔接工件W之熔接氣炬、或對工件W進行雷射加工之雷射加工頭等,對工件W進行特定之作業(工件搬運、熔接、或雷射加工)。
在機器人12之各構成要件(機器人基座18、回轉主體20、下臂部22、上臂部24、手腕部26)設置有伺服馬達30(圖2)。該等伺服馬達30相應於來自控制裝置16之指令,使機器人12之各可動要件(回轉主體20、下臂部22、上臂部24、手腕部26、手腕凸緣26b)繞驅動軸旋動。其結果,機器人12可使末端作用器28移動且配置於任意位置。
形狀檢測感測器14配置於用於控制機器人12之控制座標系C之已知之位置,檢測工件W之形狀。在本實施形態中,形狀檢測感測器14係攝像感測器(CMOS、CCD等)、及具有向該攝像感測器導光被攝體像之光學透鏡(準直透鏡、對焦透鏡等)之三維視覺感測器,固定於末端作用器28(或手腕凸緣26b)。
形狀檢測感測器14構成為沿著光軸A2拍攝被攝體像、且測定與該被攝體像相隔之距離d。再者,可以光軸A2與手腕軸A1為相互平行之方式,將形狀檢測感測器14固定於末端作用器28。形狀檢測感測器14將檢測出之工件W之形狀資料SD供給至控制裝置16。
如圖1所示般,在機器人12中設定機器人座標系C1、及工具座標系C2。機器人座標系C1係用於控制機器人12之各可動要件之動作之控制座標系C。在本實施形態中,機器人座標系C1以其原點配置於機器人基座18之中心、其z軸與鉛直方向平行之方式相對於機器人基座18而固定。
另一方面,工具座標系C2係用於控制機器人座標系C1之末端作用器28之位置之控制座標系C。在本實施形態中,工具座標系C2以其原點(所謂之TCP)配置於末端作用器28之作業位置(例如工件把持位置、熔接位置、或雷射光出射口)、其z軸與手腕軸A1平行(具體而言為一致)之方式相對於末端作用器28而設定。
在使末端作用器28移動時,控制裝置16在機器人座標系C1中設定工具座標系C2,以在由設定之工具座標系C2表示之位置配置末端作用器28之方式,產生向機器人12之各伺服馬達30之指令。如此般,控制裝置16可將末端作用器28定位於機器人座標系C1之任意位置。再者,在本稿中,「位置」有意指位置及姿勢之情形。
另一方面,在形狀檢測感測器14,設定感測器座標系C3。感測器座標系C3係表示機器人座標系C1中之形狀檢測感測器14之位置(即光軸A2之方向)之控制座標系C。在本實施形態中,感測器座標系C3以其原點配置於形狀檢測感測器14之攝像感測器之中心、其z軸與光軸A2平行(具體而言為一致)之方式,相對於形狀檢測感測器14而設定。感測器座標系C3規定形狀檢測感測器14拍攝之圖像資料(或攝像感測器)之各像素之座標。
感測器座標系C3與工具座標系C2之位置關係藉由校準而為已知,因此,感測器座標系C3之座標與工具座標系C2之座標可經由已知之變換矩陣(例如,齊次變換矩陣)而相互變換。又,因工具座標系C2與機器人座標系C1之位置關係為已知,故感測器座標系C3之座標與機器人座標系C1之座標可經由工具座標系C2相互變換。亦即,機器人座標系C1之形狀檢測感測器14之位置(具體而言為感測器座標系C3之座標)為已知。
控制裝置16控制機器人12之動作。具體而言,控制裝置16係具有處理器32、記憶體34、及I/O介面36之電腦。處理器32具有CPU或GPU等,與記憶體34及I/O介面36經由匯流排38可通訊地連接,一面與該等部件通訊,一面進行用於實現後述之各種功能之運算處理。
記憶體34具有RAM或ROM等,暫時或恒久地記憶各種資料。I/O介面36例如具有乙太網路(註冊商標)埠、USB埠、光纖連接器、或HDMI(註冊商標)端子,基於來自處理器32之指令,在與外部機器之間將資料利用有線或無線進行通訊。機器人12之各伺服馬達30、及形狀檢測感測器14可通訊地連接於I/O介面36。
又,在控制裝置16設置有顯示裝置40及輸入裝置42。顯示裝置40及輸入裝置42可通訊地連接於I/O介面36。顯示裝置40具有液晶顯示器或有機EL顯示器等,基於來自處理器32之指令,將各種資料可視認地顯示。
輸入裝置42具有按鈕、開關、鍵盤、滑鼠、或觸控面板等,受理來自操作者之輸入資料。再者,顯示裝置40及輸入裝置42可一體地組入控制裝置16之殼體,或可與控制裝置16之殼體作為個別構體地外置於該殼體。
為了使機器人12執行對工件W之作業,處理器32使形狀檢測感測器14動作而檢測工件W之形狀,基於檢測出之該工件W之形狀資料SD,取得機器人座標系C1中之工件W之位置P R。此時,處理器32使機器人12動作,將形狀檢測感測器14相對於工件W定位在特定之檢測位置DP,藉由使該形狀檢測感測器14拍攝工件W,而檢測該工件W之形狀資料SD。再者,檢測位置DP作為感測器座標系C3在機器人座標系C1中之座標而表示。
然後,處理器32藉由對將工件W模型化之工件模型WM與檢測出之形狀資料SD進行匹配,而取得顯現於形狀資料SD之工件W在機器人座標系C1中之位置P R。此處,例如在工件W為比較大型之情形等時,有工件W無法落於定位在檢測位置DP之形狀檢測感測器14可檢測工件W之檢測範圍DR內之情形。
圖3示意性地顯示如此之狀態。在圖3所示之例中,工件W具有相互連結之3個環部W1、W2及W3,環部W1落於檢測範圍DR,另一方面,環部W2及W3位於檢測範圍DR之外側。該檢測範圍DR根據形狀檢測感測器14之規格SP而決定。
在本實施形態中,形狀檢測感測器14如上述般為三維視覺感測器,其規格SP具有攝像感測器之像素數PX、視野角φ、表示來自形狀檢測感測器14之距離δ與檢測範圍DR之面積E之關係之資料表DT等。因此,定位於檢測位置DP之形狀檢測感測器14之檢測範圍DR,藉由來自定位於該檢測位置DP之形狀檢測感測器14之距離δ與上述之資料表DT而決定。
圖4顯示在圖3所示之狀態下形狀檢測感測器14檢測出之工件W之形狀資料SD1。在本實施形態中,形狀檢測感測器14將形狀資料SD1作為三維點群圖像資料而檢測。在形狀資料SD1中,工件W之視覺特徵(邊緣、面等)藉由點群表示,構成點群之各點具有上述之距離d之資訊,因此,可以感測器座標系C3之三維座標(X S,Y S,Z S)來表示。
如圖4所示般,當在形狀資料SD1中僅顯現工件W之一部位之情形下,處理器32即便執行使工件模型WM與顯現於形狀資料SD1之工件W在圖像上為一致之模型匹配MT,但顯現於形狀資料SD1之工件W與工件模型WM之一致度μ可能變低。該情形下,處理器32在形狀資料SD1中無法將工件W與工件模型WM進行匹配,其結果,可能無法自形狀資料SD1準確地取得機器人座標系C1中之工件W之位置P R
因此,在本實施形態中,處理器32為了使用於模型匹配MT、而將工件模型WM以與顯現於形狀資料SD1之工件W之部位對應之方式限定為一部分。以下,對於該功能進行說明。首先,處理器32取得將工件W模型化之工件模型WM。
工件模型WM如圖5例示般,係表示工件W之三維形狀之視覺特徵之三維資料,包含將環部W1模型化之環部模型RM1、將環部W2模型化之環部模型RM2、及將環部W3模型化之環部模型RM3。
工件模型WM例如具有工件W之CAD模型WM C、及將該CAD模型WM C之模型部件(邊緣、面等)以點群(或法線)表示之點群模型WM P。CAD模型WM C係三維CAD模型,由操作者使用CAD裝置(未圖示)預先製作。另一方面,點群模型WM P係將CAD模型WM C所含之模型部件以點群(或法線)表示之三維模型。
處理器32自CAD裝置取得CAD模型WM C,可藉由依照預先決定之圖像產生算法對該CAD模型WM C之模型部件賦予點群,而產生點群模型WM P。處理器32將取得之工件模型WM(CAD模型WM C、或點群模型WM P)儲存於記憶體34。如此般,處理器32作為取得工件模型WM之模型取得部44(圖2)發揮功能。
接著,處理器32產生將取得之工件模型WM限定為一部分之部分模型WM1。圖6顯示以與顯現於圖4之形狀資料SD1之工件W之部位對應之方式將工件模型WM予以限定之部分模型WM1之例。圖6所示之部分模型WM1係圖5所示之工件模型WM中之與顯現於圖4之形狀資料SD1之工件W之部位(即包含環部W1之部位)對應之部分(即包含環部模型RM1之部分)。
處理器32藉由使用工件模型WM之模型資料(具體而言為CAD模型WMC、或點群模型WMP之資料),將該工件模型WM限定為圖6所示之部分,而將部分模型WM1作為與工件模型WM不同之模型資料而新產生。
如此般,在本實施形態中,處理器32作為產生部分模型WM1之部分模型產生部46(圖2)發揮功能。處理器32將部分模型WM1例如作為CAD模型WM1 C或點群模型WM1 P而產生,將產生之部分模型WM1儲存於記憶體34。
再者,處理器32亦可將CAD模型WM1 C或點群模型WM1 P之模型資料與該模型資料所含之特徵點FPm及匹配參數PR之資料組,作為部分模型WM1而產生。匹配參數PR為使用於後述之模型匹配MT之參數,例如包含工件模型WM(即工件W)之概算尺寸DS、及在模型匹配MT中使部分模型WM1在假想空間內變位之變位量DA等。在該情形下,處理器32可自工件模型WM取得概算尺寸DS,根據該概算尺寸DS自動決定變位量DA。
接著,處理器32藉由將作為部分模型產生部46而產生之部分模型WM1與形狀檢測感測器14檢測出之形狀資料SD1進行匹配(模型匹配MT),而取得與該部分模型WM1對應之工件W之部位(包含環部W1之部位)在控制座標系C中之位置P(第1位置)。
具體而言,處理器32在模型匹配MT中,在藉由設定於形狀資料SD1之感測器座標系C3規定之假想空間配置部分模型WM1,求得該部分模型WM1與形狀資料SD1之一致度μ1,藉由將求得之該一致度μ1與預先決定之臨限值μ1 th進行比較,而判定該部分模型WM1與形狀資料SD1是否匹配。
以下,對於模型匹配MT之一例進行說明。處理器32依照預先決定之匹配算法MA,使配置於藉由感測器座標系C3規定之假想空間之部分模型WM1在感測器座標系C3中以匹配參數PR所含之變位量DA將部分模型WM1之位置進行重複變位。
處理器32在每次使部分模型WM1之位置變位時,求得該部分模型WM1所含之特徵點FPm、與顯現於形狀資料SD1之工件W之部位之特徵點FPw之一致度μ1 _1。再者,特徵點FPm及FPw例如為包含複數個邊緣、面、孔、槽、突起、或該等之組合之比較複雜、且由電腦藉由圖像處理易於擷取之特徵,在部分模型WM1及形狀資料SD1中,可包含複數個特徵點FPm、及與該特徵點FPm對應之複數個特徵點FPw。
又,一致度μ1 _1例如包含特徵點FPm、和與該特徵點FPm對應之特徵點FPw之距離之誤差。該情形下,在感測器座標系C3中特徵點FPm與特徵點FPw愈一致,則一致度μ1 _1成為愈小之值。替代地,一致度μ1 _1包含特徵點FPm和與該特徵點FPm對應之特徵點FPw之類似性之類似度。該情形下,在感測器座標系C3中特徵點FPm與特徵點FPw愈一致,則一致度μ1 _1成為愈大之值。
然後,處理器32將求得之一致度μ1 _1與相對於該一致度μ1 _1預先決定之臨限值μ1 th1進行比較,在該一致度μ1 _1超過臨限值μ1 th1時(即μ1 _1≦μ1 th1、或μ1 _1≧μ1 th1) ,判定為在感測器座標系C3中特徵點FPm及FPw為一致。
然後,處理器32對判定為相互一致之一對特徵點FPm及FPw之個數ν1是否超過特定之臨限值ν th1(ν1≧ν th1)進行判定,將判定為ν1≧ν th1時之部分模型WM1在感測器座標系C3中之位置作為初始位置P0 1而取得(初始位置檢索步驟)。
接著,處理器32以在初始位置檢索步驟中取得之初始位置P0 1為基準,依照匹配算法MA(例如,迭代最近點(ICP;Iterative Closest Point)等數理最佳化算法),在感測器座標系C3中檢索部分模型WM1與形狀資料SD1高度匹配之位置(位置對準步驟)。作為位置對準步驟之一例,處理器32求得配置於感測器座標系C3之點群模型WM P之點群、與形狀資料SD1之三維點群之一致度μ1 _2。例如,該一致度μ1 _2包含點群模型WM P之點群與形狀資料SD1之三維點群之距離之誤差、或點群模型WM P之點群與形狀資料SD1之三維點群之類似度。
然後,處理器32對求得之一致度μ1 _2與相對於該一致度μ1 _2預先決定之臨限值μ1 th2進行比較,在該一致度μ1 _2超過臨限值μ1 th2時(例如,μ1 _2≦μ1 th2、或μ1 _2≧μ1 th2),判定為在感測器座標系C3中部分模型WM1及形狀資料SD1高度匹配。
如此般,處理器32執行使部分模型WM1與顯現於形狀資料SD1之工件W之部位進行匹配之模型匹配MT(例如,初始位置檢索步驟、及位置對準步驟)。再者,上述之模型匹配MT之方法為一例,處理器32亦可依照其他任意匹配算法MA執行模型匹配MT。
接著,處理器32對與形狀資料SD1高度匹配之部分模型WM1設定工件座標系C4。圖7顯示該狀態。在圖7所示之例中,處理器32對與顯現於形狀資料SD1之工件W之部位匹配之部分模型WM1,將工件座標系C4以其原點配置於環部模型RM1之中心、其z軸與環部模型RM1之中心軸線一致之方式,在感測器座標系C3中進行設定。工件座標系C4係表示顯現於形狀資料SD1之工件W之部位(即環部W1之部位)之位置之控制座標系C。
然後,處理器32將設定之工件座標系C4在感測器座標系C3中之座標P1 S(X1 S,Y1 S,Z1 S,W1 S,P1 S,R1 S),作為顯現於形狀資料SD1之工件W之部位(環部W1)在感測器座標系C3中之位置P1 S(第1位置)之資料而取得。此處,座標P1 S中之(X1 S,Y1 S,Z1 S)表示感測器座標系C3中之工件座標系C4之原點位置,(W1 S,P1 S,R1 S)表示感測器座標系C3中之工件座標系C4之各軸之方向(即偏航角、俯仰角、翻滾角)。
接著,處理器32將取得之座標P1 S使用已知之變換矩陣變換成機器人座標系C1之座標P1 R(X1 R,Y1 R,Z1 R,W1 R,P1 R,R1 R)。該座標P1 R係表示顯現於形狀資料SD1之工件W之部位(環部W1)在機器人座標系C1中之位置(第1位置)之資料。
如此般,在本實施形態中,處理器32作為如下之位置取得部48(圖2)發揮功能:藉由將部分模型WM1與形狀資料SD1進行匹配,而取得與該部分模型WM1對應之工件W之部位(環部W1)在控制座標系C(感測器座標系C3、機器人座標系C1)中之位置P1(P1 S及P1 R)。
如以上般,在本實施形態中,處理器32作為模型取得部44、部分模型產生部46、及位置取得部48發揮功能,基於形狀檢測感測器14檢測出之工件W之形狀資料SD1,取得控制座標系C中之工件W(環部W1)之位置P1。因此,模型取得部44、部分模型產生部46、及位置取得部48構成基於形狀資料SD1而取得工件W之位置P1之裝置50(圖2)。
如此般,在本實施形態中,裝置50包含:模型取得部44,其取得工件模型WM;部分模型產生部46,其使用取得之工件模型WM,產生將該工件模型WM限定為一部分(包含環部模型RM1之部分)之部分模型WM1;及位置取得部48,其藉由將部分模型WM1與形狀檢測感測器14檢測出之形狀資料SD1進行匹配,而取得與該部分模型WM1對應之工件W之部位(包含環部W1之部位)在控制座標系C中之位置P1。
根據該裝置50,即便在如圖3所示般工件W無法落於形狀檢測感測器14之檢測範圍DR之情形下,仍可藉由使用將工件模型WM限定為一部分之部分模型WM1執行模型匹配MT,而取得形狀檢測感測器14檢測出之工件W之部位W1之位置P1。因此,即便在工件W為比較大型之情形下,仍可準確地取得控制座標系C(例如,機器人座標系C1)中之位置P1,其結果,可基於該位置P1高精度地執行對該工件W之作業。
接著,參照圖8,對於機器人系統10之其他功能進行說明。在本實施形態中,處理器32對作為模型取得部44而取得之工件模型WM,設定用於將該工件模型WM限定為一部分之限定範圍RR。圖9顯示限定範圍RR之一例。在圖9所示之例中,處理器32對工件模型WM設定3個限定範圍RR1、RR2及RR3。該等限定範圍RR1、RR2及RR3係分別具有特定之面積E1、E2及E3之四角形之範圍。
更具體而言,處理器32對作為模型取得部44而取得之工件模型WM(CAD模型WM C、或點群模型WM P),設定模型座標系C5。該模型座標系C5係規定工件模型WM之位置之座標系,構成工件模型WM之各模型部件(邊緣、面等)作為模型座標系C5之座標而表示。再者,模型座標系C5亦可預先設定於自CAD裝置取得之CAD模型WM C
在圖9所示之例中,模型座標系C5以其z軸與工件模型WM所含之環部模型RM1、RM2及RM3之中心軸線平行之方式針對該工件模型WM而設定。再者,在以下之說明中,將圖9所示之工件模型WM之方向設為「正面」。在如圖9所示般自正面觀察工件模型WM之情形下,觀察該工件模型WM之假想視線方向VL與模型座標系C5之z軸方向平行。
處理器32以模型座標系C5為基準,基於該模型座標系C5中之工件模型WM之位置,對如圖9所示般自正面觀察到之狀態之工件模型WM設定限定範圍RR1、RR2及RR3。如此般,在本實施形態中,處理器32作為對工件模型WM設定限定範圍RR1、RR2及RR3之範圍設定部52(圖8)發揮功能。
此處,在本實施形態中,處理器32基於形狀檢測感測器14檢測工件W之檢測範圍DR自動設定限定範圍RR1、RR2及RR3。更具體而言,處理器32首先取得形狀檢測感測器14之規格SP、及與形狀檢測感測器14之距離δ。
作為一例,處理器32取得自形狀檢測感測器14至該形狀檢測感測器14之光軸A2之方向之檢測範圍(所謂之景深)之中央位置之距離作為距離δ。作為又一例,處理器32亦可取得形狀檢測感測器14之焦點距離作為距離δ。在距離δ為自形狀檢測感測器14至檢測範圍(所謂之景深)之中央位置之距離、或為焦點距離之情形下,該距離δ可於規格SP中預先規定。作為再一例,操作者可操作輸入裝置42而輸入任意之距離δ,處理器32經由輸入裝置42取得距離δ。
然後,處理器32根據取得之距離δ與規格SP所含之上述之資料表DT求得檢測範圍DR,相應於求得之該檢測範圍DR,決定限定範圍RR1、RR2及RR3。作為一例,處理器32將限定範圍RR1、RR2及RR3之面積E1、E2及E3以與檢測範圍DR之面積E一致之方式決定。
作為又一例,處理器32將限定範圍RR1、RR2及RR3之面積E1、E2及E3以成為檢測範圍DR之面積E以下之方式決定。在該情形下,處理器32可將面積E1、E2及E3決定為對檢測範圍DR之面積E乘以特定之係數α(<1)而得之值。再者,面積E1、E2及E3可彼此相同,(換言之,限定範圍RR1、RR2及RR3可為彼此具有相同面積之相同外形之範圍)。
又,處理器32如圖9所示般以限定範圍RR1及RR2之邊界B1相互一致、且限定範圍RR2及RR3之邊界B2相互一致之方式決定限定範圍RR1、RR2及RR3。又,處理器32考量模型座標系C5與假想視線方向VL之位置關係,如圖9所示般以自正面觀察到之工件模型WM落於限定範圍RR1、RR2及RR3之內側之方式決定限定範圍RR1、RR2及RR3。
其結果,處理器32如圖9所示般,可將分別具有面積E1、E2及E3,彼此邊界B1及B2一致、且可將自正面觀察到之工件模型WM落於其內側之限定範圍RR1、RR2及RR3自動設定於模型座標系C5。
替代地,亦可構成為由操作者手動劃定限定範圍RR1、RR2及RR3。具體而言,處理器32於顯示裝置40顯示工件模型WM之圖像資料,操作者一面視認顯示於該顯示裝置40之工件模型WM一面操作輸入裝置42,將用於在模型座標系C5中手動劃定限定範圍RR1、RR2及RR3之輸入IP1給予處理器32。
例如,該輸入IP1可為限定範圍RR1、RR2及RR3之各頂點之座標之輸入、面積E1、E2及E3之輸入、或將限定範圍RR1、RR2及RR3之邊界藉由拖放操作而放大或縮小之輸入。處理器32經由輸入裝置42受理來自操作者之輸入IP1,作為範圍設定部52發揮功能,依照受理之該輸入IP1,將限定範圍RR1、RR2及RR3設定於模型座標系C5。如此般,在本實施形態中,處理器32作為受理用於劃定限定範圍RR1、RR2及RR3之輸入IP1之第1輸入受理部54(圖8)發揮功能。
在設定了限定範圍RR1、RR2及RR3之後,處理器32作為部分模型產生部46發揮功能,藉由依照設定之限定範圍RR1、RR2及RR3來限定工件模型WM,而分別產生3個部分模型WM1(圖6)、部分模型WM2(圖10)、及部分模型WM3(圖11)。
具體而言,處理器32藉由使用工件模型WM之模型資料(CAD模型WM C、或點群模型WM P之資料),將工件模型WM限定為將設定於模型座標系C5之限定範圍RR1向假想視線方向VL(在本例中為模型座標系C5之z軸方向)投影後之假想投影區域內所含之工件模型WM之一部分,而將包含圖6所示之環部模型RM1之部分模型WM1作為與工件模型WM不同之資料而產生。
同樣地,處理器32藉由將工件模型WM分別限定為將限定範圍RR2及RR3向假想視線方向VL(模型座標系C5之z軸方向)投影後之假想投影區域內所含之工件模型WM之一部分,而將包含圖10所示之環部模型RM2之部分模型WM2、及包含圖11所示之環部模型RM3之部分模型WM3作為與工件模型WM不同之資料而分別產生。再者,處理器32可將部分模型WM1、WM2及WM3以CAD模型WM C或點群模型WM P之資料形式產生。
如此般,處理器32藉由將工件模型WM之整體依照限定範圍RR1、RR2及RR3分割成3個部分(包含環部模型RM1之部分、包含環部模型RM2之部分、及包含環部模型RM3之部分),而產生3個部分模型WM1、WM2及WM3。
接著,處理器32在使自圖9所示之正面觀察到之工件模型WM之姿勢變化之狀態下,再次設定限定範圍RR1、RR2及RR3。圖12顯示如此之例。在圖12所示之例中,藉由將工件模型WM之方向自圖9所示之正面之狀態繞模型座標系C5之x軸旋轉,而可使工件模型WM(或模型座標系C5)之姿勢相對於觀察該工件模型WM之假想視線方向VL而變化。
然後,處理器32作為範圍設定部52發揮功能,對如此般使姿勢變化之工件模型WM藉由上述之方法,將分別具有面積E1、E2及E3、彼此邊界B1、B2一致且可將該工件模型WM落於其內側之限定範圍RR1、RR2及RR3,設定於模型座標系C5。
然後,處理器32藉由將工件模型WM分別限定為將限定範圍RR1、RR2及RR3分別向假想視線方向VL(圖12之紙面表裏方向)投影後之假想投影區域內所含之工件模型WM之一部分,而分別產生圖13所示之部分模型WM1、圖14所示之部分模型WM2、及圖15所示之部分模型WM3。
再者,如上述般產生之部分模型WM1、WM2及WM3可僅具有沿著假想視線方向VL可視認之表面側之模型資料,而不具有沿著假想視線方向VL不可視認之背面側之模型資料。例如,處理器32在將圖13所示之部分模型WM1作為點群模型WM1 P產生時,產生自圖13之方向可視認之紙面表面側之模型部件之點群之模型資料,另一方面,不產生不可視認之紙面表面側之模型部件(即,自圖13之方向觀察,背面側之邊緣及面等)之點群之模型資料。根據該構成,可削減產生之部分模型WM1、WM2及WM3之資料量。
如此般,處理器32對配置成複數個姿勢之工件模型WM分別設定限定範圍RR1、RR2及RR3,藉由依照該限定範圍RR1、RR2及RR3限定工件模型WM,而分別產生以複數個姿勢限定之部分模型WM1、WM2及WM3。處理器32將產生之部分模型WM1、WM2及WM3儲存於記憶體34。
如上述般,在本實施形態中,處理器32作為部分模型產生部46發揮功能,產生將工件模型WM分別限定為複數個部分(包含環部模型RM1部分、包含環部模型RM2之部分、及包含環部模型RM3之部分)之複數個部分模型WM1、WM2及WM3。
接著,處理器32分別產生作為部分模型產生部46產生之部分模型WM1、WM2及WM3之圖像資料ID1、ID2及ID3。具體而言,處理器32分別產生以圖6及圖13所示之複數個姿勢而限定之部分模型WM1之圖像資料ID1,且依次顯示於顯示裝置40。
同樣地,處理器32分別產生以圖10及圖14所示之複數個姿勢而限定之部分模型WM2之圖像資料ID2,且分別產生以圖11及圖15所示之複數個姿勢而限定之部分模型WM3之圖像資料ID3,並依次顯示於顯示裝置40。
操作者可藉由視認顯示於顯示裝置40之圖像資料ID1、ID2及ID3,而確認工件模型WM是否適切地限定 (具體而言,分割)為各個部分模型WM1、WM2及WM3。如此般,在本實施形態中,處理器32作為產生圖像資料ID1、ID2及ID3之圖像資料產生部56(圖8)發揮功能。
接著,處理器32經由作為圖像資料產生部56產生之圖像資料ID1、ID2及ID3,受理允許為了進行模型匹配MT而使用部分模型WM1、WM2及WM3之輸入IP2。具體而言,操作者視認依次顯示於顯示裝置40之圖像資料ID1、ID2或ID3之結果,在判斷為所顯示之部分模型WM1、WM2或WM3被適切地限定時,操作輸入裝置42,將用於允許該部分模型WM1、WM2或WM3之輸入IP2給予處理器32。如此般,處理器32作為受理允許部分模型WM1、WM2、WM3之輸入IP2之第2輸入受理部58(圖8)發揮功能。
再者,處理器32在未受理輸入IP2(或受理到不允許部分模型WM1、WM2或WM3之輸入IP2’)時,操作者可操作輸入裝置42,經由產生之圖像資料ID1、ID2或ID3將用於在模型座標系C5中手動劃定限定範圍RR1、RR2或RR3之輸入IP1給予處理器32。
例如,操作者可一面視認圖像資料ID1、ID2或ID3、一面操作輸入裝置42,將變更設定於模型座標系C5之限定範圍RR1、RR2或RR3之各頂點之座標、面積E1、E2及E3、或邊界的輸入IP1經由圖像資料ID1、ID2或ID3給予處理器32。替代地,操作者可操作輸入裝置42,將取消設定於模型座標系C5之限定範圍RR1、RR2或RR3、或將新的限定範圍RR4追加於模型座標系C5的輸入IP1,經由圖像資料ID1、ID2或ID3給予處理器32。
該情形下,處理器32可作為第1輸入受理部54發揮功能而受理輸入IP1,作為範圍設定部52發揮功能,依照受理之輸入IP1,將限定範圍RR1、RR2、RR3或RR4再次設定於模型座標系C5。然後,處理器32可依照再次設定之限定範圍RR1、RR2及RR3(或限定範圍RR1、RR2、RR3及RR4),產生新的部分模型WM1、WM2及WM3(或部分模型WM1、WM2、WM3及WM4)。
另一方面,處理器32在受理到允許部分模型WM1、WM2及WM3之輸入IP2時,對產生之部分模型WM1、WM2及WM3各者,個別地設定在模型匹配MT時使用之一致度μ之臨限值μ th。作為一例,操作者操作輸入裝置42,輸入針對部分模型WM1之第1臨限值μ1 th(例如,μ1 th1及μ1 th2)、針對部分模型WM2之第2臨限值μ th(例如,μ2 th1及μ2 th2)、及針對部分模型WM3之第3臨限值μ th(例如,μ3 th1及μ3 th2)。
處理器32經由輸入裝置42自操作者受理臨限值μ1 th、μ2 th及μ3 th之輸入IP3,相應於該輸入IP3,針對部分模型WM1設定臨限值μ1 th,針對部分模型WM2設定臨限值μ2 th,針對部分模型WM3設定臨限值μ3 th
替代地,處理器32可無需受理輸入IP3,而基於部分模型WM1、WM2及WM3之模型資料,自動設定臨限值μ1 th、μ2 th及μ3 th。再者,臨限值μ1 th、μ2 th及μ3 th可設定為互不相同之值,亦可將臨限值μ1 th、μ2 th及μ3 th中至少2者設定為彼此相同之值。如此般,在本實施形態中,處理器32作為對於複數個部分模型WM1、WM2及WM3各者個別地設定臨限值μ1 th、μ2 th及μ3 th之臨限值設定部60(圖8)發揮功能。
接著,與上述之實施形態同樣地,處理器32作為位置取得部48發揮功能,依照匹配算法MA,執行將部分模型WM1、WM2、WM3與形狀檢測感測器14檢測出之形狀資料SD進行匹配之模型匹配MT。
例如,機器人12在每次將形狀檢測感測器14依次定位於不同之檢測位置DP1、DP2及DP3時,形狀檢測感測器14拍攝工件W,其結果,檢測出圖4所示之形狀資料SD1、圖16所示之形狀資料SD2、及圖17所示之形狀資料SD3。
該情形下,處理器32將如上述般以各種姿勢產生之部分模型WM1(圖6、圖13)、部分模型WM2(圖10、圖14)、及部分模型WM3(圖11、圖15)依次配置於圖4之形狀資料SD1之感測器座標系C3,檢索該部分模型WM1、WM2或WM3、與顯現於形狀資料SD1之工件W之部位相匹配的該部分模型WM1、WM2或WM3之位置(即模型匹配MT)。
更具體而言,處理器32在每次將各個姿勢之部分模型WM1配置於形狀資料SD1之感測器座標系C3時,執行該部分模型WM1、與顯現於形狀資料SD1之工件W之部位之模型匹配MT。此時,作為初始位置檢索步驟,處理器32求得配置於感測器座標系C3之部分模型WM1之特徵點FPm、與顯現於形狀資料SD1之工件W之特徵點FPw之一致度μ1 _1,藉由對求得之一致度μ1 _1、與針對部分模型WM1設定之第1臨限值μ1 th1進行比較,而檢索部分模型WM1之初始位置P0 1
在取得初始位置P0 1時,作為位置對準步驟,處理器32求得配置於感測器座標系C3之部分模型WM1(點群模型WM P)之點群、與形狀資料SD1之三維點群之一致度μ1 _2,藉由對求得之一致度μ1 _2與第1臨限值μ1 th2進行比較,而檢索配置於感測器座標系C3之部分模型WM1與形狀資料SD1高度地匹配之位置。
同樣地,處理器32在每次將各個姿勢之部分模型WM2依次配置於形狀資料SD1之感測器座標系C3時,執行該部分模型WM2與顯現於形狀資料SD1之工件W之部位之模型匹配MT。此時,作為初始位置檢索步驟,處理器32求得該部分模型WM2之特徵點FPm、與顯現於形狀資料SD1之工件W之特徵點FPw之一致度μ2 _1,藉由對求得之一致度μ2 _1、與針對部分模型WM2設定之第2臨限值μ2 th1進行比較,而檢索部分模型WM1之初始位置P0 2
在取得初始位置P0 2時,作為位置對準步驟,處理器32求得配置於感測器座標系C3之部分模型WM2(點群模型WM P)之點群、與形狀資料SD1之三維點群之一致度μ2 _2,藉由對求得之一致度μ2 _2與第2臨限值μ2 th2進行比較,而檢索配置於感測器座標系C3之部分模型WM2與形狀資料SD1高度地匹配之位置。
同樣地,處理器32在每次將各個姿勢之部分模型WM3依次配置於形狀資料SD1之感測器座標系C3時,執行該部分模型WM3與顯現於形狀資料SD1之工件W之部位之模型匹配MT。此時,作為初始位置檢索步驟,處理器32求得該部分模型WM3之特徵點FPm與顯現於形狀資料SD1之工件W之特徵點FPw之一致度μ3 _1,藉由對求得之一致度μ3 _1與針對部分模型WM3設定之第3臨限值μ3 th1進行比較,而檢索部分模型WM1之初始位置P0 3
在取得初始位置P0 3時,作為位置對準步驟,處理器32求得配置於感測器座標系C3之部分模型WM3(點群模型WM P)之點群、與形狀資料SD1之三維點群之一致度μ3 _2,藉由對求得之一致度μ3 _2與第3臨限值μ3 th2進行比較,而檢索配置於感測器座標系C3之部分模型WM3與形狀資料SD1高度地匹配之位置。
如此般,處理器32使部分模型WM1、WM2及WM3與形狀資料SD1依次匹配,檢索部分模型WM1、WM2或WM3與形狀資料SD1一致的部分模型WM1、WM2或WM3之位置。如此之形狀資料SD1與部分模型WM1、WM2或WM3之模型匹配MT之結果,在判定為部分模型WM1與形狀資料SD1匹配時,處理器32如圖7所示般對配置於感測器座標系C3之部分模型WM1設定工件座標系C4。
然後,處理器32取得設定之工件座標系C4在感測器座標系C3中之座標P1 S,繼而,藉由將該座標P1 S變換成機器人座標系C1之座標P1 R,而取得顯現於形狀資料SD1之工件W之部位(環部W1)在機器人座標系C1中之位置P1 R
同樣地,處理器32對圖16所示之形狀資料SD2,執行與部分模型WM1、WM2或WM3之模型匹配MT。其結果,在判定為部分模型WM2與形狀資料SD2匹配時,處理器32如圖18所示般,對配置於感測器座標系C3之部分模型WM2設定工件座標系C6。
在圖18所示之例中,處理器32對與形狀資料SD2匹配之部分模型WM2,將工件座標系C6以其原點配置於環部模型RM2之中心、其z軸與環部模型RM2之中心軸線一致之方式在感測器座標系C3中設定。工件座標系C6係表示顯示於形狀資料SD2的工件W之部位(即包含環部W2之部位)之位置之控制座標系C。
然後,處理器32取得設定之工件座標系C6在感測器座標系C3中之座標P2 S,繼而,藉由將該座標P2 S變換成機器人座標系C1之座標P2 R,而取得顯現於形狀資料SD2的工件W之部位(環部W2)在機器人座標系C1中之位置P2 R
同樣地,處理器32對圖17所示之形狀資料SD3執行與部分模型WM1、WM2或WM3之模型匹配MT。其結果,在判定為部分模型WM3與形狀資料SD3匹配時,處理器32如圖19所示般,對配置於感測器座標系C3之部分模型WM3設定工件座標系C7。
在圖19所示之例中,處理器32對與形狀資料SD3匹配之部分模型WM3,將工件座標系C7以其原點配置於環部模型RM3之中心、其z軸與環部模型RM3之中心軸線一致之方式在感測器座標系C3中設定。工件座標系C7係表示顯示於形狀資料SD3的工件W之部位(即包含環部W3之部位)之位置之控制座標系C。
然後,處理器32取得設定之工件座標系C7在感測器座標系C3中之座標P3 S,繼而,藉由將該座標P3 S變換成機器人座標系C1之座標P3 R,而取得顯現於形狀資料SD3的工件W之部位(環部W3)在機器人座標系C1中之位置P3 R
如此般,處理器32作為位置取得部48發揮功能,藉由將作為部分模型產生部46產生之部分模型WM1、WM2及WM3與形狀檢測感測器14檢測出之形狀資料SD1、SD2及SD3分別進行匹配,而取得工件W之部位W1、W2及W3在控制座標系C(感測器座標系C3、機器人座標系C1)中之位置P1 S、P1 R、P2 S、P2 R、P3 S及P3 R(第1位置)。
接著,處理器32作為位置取得部48發揮功能,基於取得之機器人座標系C1之位置P1 R、P2 R及P3 R、與工件模型WM中之部分模型WM1、WM2及WM3之位置,取得機器人座標系C1中之工件W之位置P4 R(第2位置)。
圖20示意性地顯示作為位置取得部48取得之機器人座標系C1之位置P1 R(工件座標系C4)、位置P2 R(工件座標系C6)、及位置P3 R(工件座標系C7)之相對於工件模型WM之位置。此處,在本實施形態中,表示工件模型WM之整體之位置之基準工件座標系C8針對工件模型WM設定。
該基準工件座標系C8係處理器32在使機器人12執行對工件W之作業時為了對末端作用器28進行定位而參照之控制座標系C。另一方面,處理器32產生之部分模型WM1、WM2及WM3在工件模型WM中之理想位置為已知。因此,針對該等部分模型WM1、WM2及WM3設定之工件座標系C4、C6及C7在相對於基準工件座標系C8之模型上之理想位置(換言之為基準工件座標系C8中之工件座標系C4、C6及C7之理想座標)為已知。
此處,處理器32作為位置取得部48而取得之機器人座標系C1之位置P1 R(工件座標系C4之座標)、位置P2 R(工件座標系C6之座標)、及位置P3 R(工件座標系C7之座標)之位置關係,可根據工件座標系C4、C6及C7之相對於基準工件座標系C8之理想位置而不同。
因此,在本實施形態中,處理器32在機器人座標系C1設定基準工件座標系C8,取得針對該基準工件座標系C8設定於理想位置之工件座標系C4、C6及C7在機器人座標系C1中之位置P1 R’、位置P2 R’、及位置P3 R’。
接著,處理器32求得作為位置取得部48取得之機器人座標系C1之位置P1 R、位置P2 R、及位置P3 R、與作為理想位置而取得之位置P1 R’、位置P2 R’、及位置P3 R’之誤差γ1(=|P1 R-P1 R’|、或 (P1 R-P1 R’) 2)、γ2(=|P2 R-P2 R’|、或(P2 R-P2 R’) 2)、及γ3(=|P3 R-P3 R’|、或 (P3 R-P3 R’) 2),且求得該誤差γ1、γ2及γ3之和∑γ=(γ1+γ2+γ3)。處理器32在每次在機器人座標系C1重複設定基準工件座標系C8時求得和∑γ,檢索該和∑γ為最小之在機器人座標系C1中之基準工件座標系C8之位置P4 R(座標)。
如此般,處理器32基於作為位置取得部48取得之機器人座標系C1中之位置P1 R、P2 R及P3 R、與相對於基準工件座標系C8之工件座標系C4、C6及C7之位置(即理想座標),取得機器人座標系C1中之基準工件座標系C8之位置P4 R
該位置P4 R表示形狀檢測感測器14作為形狀資料SD1、SD2及SD3檢測出之工件W在機器人座標系C1中之位置(第2位置)。再者,求得上述之位置P4 R之方法為一例,處理器32可使用任意方法求得位置P4 R
接著,處理器32基於取得之位置P4 R,決定在對工件W進行作業時對末端作用器28進行定位之目標位置TP(即設定於機器人座標系C1之工具座標系C2之座標)。例如,操作者預先示教相對於基準工件座標系C8之目標位置TP之位置關係RL(例如,基準工件座標系C8中之目標位置TP之座標)。
該情形下,處理器32可基於作為位置取得部48取得之位置P4 R、與預先示教之位置關係RL,在機器人座標系C1中決定目標位置TP。處理器32依照在機器人座標系C1中決定之目標位置TP,產生向機器人12之各伺服馬達30之指令,藉由利用該機器人12之動作將末端作用器28定位於目標位置TP,而藉由該末端作用器28對工件W進行作業。
如以上般,在本實施形態中,處理器32作為模型取得部44、部分模型產生部46、位置取得部48、範圍設定部52、第1輸入受理部54、圖像資料產生部56、第2輸入受理部58、及臨限值設定部60發揮功能,基於形狀資料SD1、SD2、SD3,取得控制座標系C(機器人座標系C1、感測器座標系C3)中之工件W之位置P1 S、P1 R、P2 S、P2 R、P3 S、P3 R及P4 R
因此,模型取得部44、部分模型產生部46、位置取得部48、範圍設定部52、第1輸入受理部54、圖像資料產生部56、第2輸入受理部58、及臨限值設定部60構成基於形狀資料SD1、SD2、SD3取得工件W之位置之裝置70(圖8)。
在該裝置70中,部分模型產生部46產生將工件模型WM分別限定為複數個部分W1、W2及W3之複數個部分模型WM1、WM2及WM3。根據該構成,位置取得部48可藉由將複數個部分模型WM1、WM2及WM3與形狀檢測感測器14檢測工件W之複數個部位而得之形狀資料SD1、SD2及SD3分別進行匹配,而取得工件W之各部位在控制座標系C(機器人座標系C1)中之位置P1 R、P2 R及P3 R
又,在裝置70中,部分模型產生部46藉由將工件模型WM之整體分割成複數個部分而產生將該工件模型WM分別限定為該複數個部分之複數個部分模型WM1、WM2及WM3。根據該構成,位置取得部48可求得構成工件W之整體之各部位之位置P1 R、P2 R及P3 R
又,裝置70包含對複數個部分模型WM1、WM2及WM3各者個別地設定臨限值1μ th、μ2 th及μ3 th之臨限值設定部60。而且,位置取得部48分別求得部分模型WM1、WM2及WM3與形狀資料SD1、SD2及SD3之一致度μ1、μ2及μ3,藉由將求得之一致度μ1、μ2及μ3與預先決定之臨限值μ1 th、μ2 th及μ3 th分別進行比較,而判定部分模型WM1、WM2及WM3與形狀資料SD1、SD2及SD3是否匹配。
根據該構成,可考量各個部分模型WM1、WM2及WM3之特徵點FPm等之諸條件而任意設定在上述之模型匹配MT中所要求之一致度μ1、μ2及μ3。因此,可更靈活地設計模型匹配MT之處理。
又,裝置70進一步包含對工件模型WM設定限定範圍RR1、RR2、RR3之範圍設定部52,部分模型產生部46藉由依照範圍設定部52設定之限定範圍RR1、RR2、RR3限定工件模型WM,而產生部分模型WM1、WM2及WM3。根據該構成,可決定將工件模型WM限定為何一部分而產生部分模型WM1、WM2及WM3。
又,在裝置70中,範圍設定部52基於形狀檢測感測器14檢測工件W之檢測範圍DR,設定限定範圍RR1、RR2、RR3。根據該構成,部分模型產生部46可產生與形狀檢測感測器14檢測出之工件W之部位之形狀資料SD1、SD2、SD3高度相關(具體而言為大致一致)之部分模型WM1、WM2、WM3。
又,在將部分模型WM1、WM2、WM3與形狀資料SD1、SD2、SD3進行模型匹配MT時,該部分模型WM1、WM2、WM3落於形狀資料SD1、SD2、SD3之最大尺寸。其結果,可更高精度地執行模型匹配MT。
又,裝置70進一步包含受理用於劃定限定範圍RR1、RR2、RR3之輸入IP1之第1輸入受理部54,範圍設定部52依照第1輸入受理部54受理之輸入IP1,設定限定範圍RR1、RR2及RR3。根據該構成,操作者任意設定限定範圍RR1、RR2、RR3,藉此,可將工件模型WM限定為任意之部分模型WM1、WM2及WM3。
又,在裝置70中,範圍設定部52對工件模型WM設定用於限定第1部分(例如,環部模型RM1之部分)之第1限定範圍(例如,限定範圍RR1)、及用於限定第2部分(例如,環部模型RM2之部分)之第2限定範圍(例如,限定範圍RR2)。
然後,部分模型產生部46藉由依照第1限定範圍RR1將工件模型WM限定為第1部分RM1,而產生第1部分模型WM1,藉由依照第2限定範圍RR2將工件模型WM2限定為第2部分RM2,而產生第2部分模型WM2。根據該構成,部分模型產生部46可依照複數個限定範圍RR1及RR2,分別產生複數個部分模型WM1及WM2。
又,在裝置70中,範圍設定部52將第1限定範圍與第2限定範圍(例如,限定範圍RR1及RR2、或限定範圍RR2及RR3)以彼此之邊界B1或B2為一致之方式設定。根據該構成,例如如圖6、圖10及圖11所示般,可將工件模型WM無過不足地分割成部分模型WM1、WM2、WM3。
又,在裝置70中,位置取得部48基於取得之第1位置P1 R、P2 R及P3 R、與工件模型WM中之部分模型WM1、WM2及WM3之位置(具體而言為相對於基準工件座標系C8之工件座標系C4、C6及C7之理想位置),取得機器人座標系C1中之工件W之第2位置P4 R
更具體而言,位置取得部48藉由將複數個部分模型WM1、WM2及WM3與形狀資料SD1、SD2及SD3分別進行匹配,而分別取得與該複數個部分模型WM1、WM2及WM3分別對應之複數個部位W1、W2及W3在控制座標系C中之第1位置P1 R、P2 R及P3 R,基於取得之各個第1位置P1 R、P2 R及P3 R而取得第2位置P4 R。根據該構成,藉由取得比較大型之工件W之各部位W1、W2及W3之位置P1 R、P2 R及P3 R,而可高精度地求得該工件W之整體之位置P4 R
又,裝置70包含:圖像資料產生部56,其產生部分模型WM1、WM2及WM3之圖像資料ID1、ID2及ID3;及第2輸入受理部58,其經由該圖像資料ID1、ID2及ID3,受理允許位置取得部48為了進行模型匹配MT而使用部分模型WM1、WM2及WM3之輸入IP2。根據該構成,操作者可在藉由視認圖像資料ID1、ID2及ID3,而確認是否適切地產生部分模型WM1、WM2及WM3後,決定是否允許該部分模型WM1、WM2及WM3。
再者,範圍設定部52可將限定範圍RR1與限定範圍RR2、或限定範圍RR2與限定範圍RR3以彼此一部分重疊之方式設定。圖21顯示如此之形態。在圖21所示之例中,以由虛線區域示出之限定範圍RR1、與由一點鏈線區域示出之限定範圍RR2在重疊區域OL1相互重疊,限定範圍RR2與由兩點鏈線區域示出之限定範圍RR3在重疊區域OL2相互重疊之方式,在模型座標系C5中設定。
處理器32作為範圍設定部52發揮功能,可基於形狀檢測感測器14之檢測範圍DR,將限定範圍RR1、RR2及RR3如圖21所示般以相互重疊之方式自動設定。在該情形下,處理器32可受理用於決定重疊區域OL1及OL2之面積之輸入IP4。
例如,操作者為了將限定範圍RR1、RR2及RR3設定於如圖21所示般自正面觀察到之狀態之工件模型WM,而對處理器32給予將重疊區域OL1及OL2之面積設為限定範圍RR1、RR2及RR3之面積E1、E2及E3之β[%]之輸入IP4。
該情形下,與上述之實施形態同樣地,處理器32基於檢測範圍DR決定面積E1、E2及E3,且以限定範圍RR1及RR2重疊各自之面積E1及E2之β[%]之方式決定重疊區域OL1,又,以限定範圍RR2及RR3重疊各自之面積E2及E3之β[%]之方式決定重疊區域OL2。如此般,處理器32如圖21所示般,可將在重疊區域OL1及OL2彼此重疊、且可將自正面觀察到之工件模型WM落於其內側之限定範圍RR1、RR2及RR3自動設定於模型座標系C5。
替代地,處理器32可依照經由輸入裝置42自操作者受理之輸入IP1(限定範圍RR1、RR2及RR3之各頂點之座標之輸入、面積E1、E2及E3之輸入、或拖放限定範圍RR1、RR2及RR3之邊界之輸入),設定如圖21般彼此重疊之限定範圍RR1、RR2及RR3。
然後,處理器32作為部分模型產生部46發揮功能,依照如圖21般設定之限定範圍RR1、RR2及RR3限定工件模型WM,分別產生由限定範圍RR1限定出之部分模型WM1、由限定範圍RR2限定出之部分模型WM2、及由限定範圍RR3限定出之部分模型WM3。
如本實施形態般,藉由範圍設定部52可將限定範圍RR1、RR2、RR3以彼此一部分重疊之方式設定,而可根據諸條件,更多樣地設定限定區域RR1、RR2、RR3。藉此,部分模型產生部46可產生更多樣之形態之部分模型WM1、WM2、WM3。
接著,參照圖22,對於機器人系統10之再一功能進行說明。在本實施形態中,處理器32為了對圖23所示之工件K進行作業,而取得該工件K之位置。在圖23所示之例中,工件K具有底板K1、及設置於該底板K1之上之複數個構造物K2及K3。構造物K2及K3各者具有包含含有複數個面及邊緣之壁、孔、槽、及突起等的比較複雜之構造。
首先,與上述之實施形態同樣地,處理器32作為模型取得部44發揮功能,取得將工件K模型化之工件模型KM。再者,處理器32可將工件模型KM作為工件K之CAD模型KM C(三維CAD)、或以點群表示該CAD模型KM C之模型部件之點群模型KM P之模型資料而取得。
接著,處理器32擷取工件模型KM之特徵點FPn。在本實施形態中,工件模型K包含將工件K之底板K1、構造物K2及K3分別模型化之底板模型J1、構造物模型J2及J3。在構造物模型J2及J3,如上述般較多地包含壁部、孔部、槽部、及突起等比較複雜、且由電腦藉由圖像處理容易擷取之特徵點FPn,另一方面,在底板模型J1,如此之特徵點FPn比較少。
處理器32依照預先決定之圖像解析算法對工件模型KM進行圖像解析,擷取工件模型KM所含之複數個特徵點FPn。該特徵點FPn在位置取得部48執行之模型匹配MT中使用。如此般,在本實施形態中,處理器32作為擷取使用於位置取得部48進行模型匹配MT之工件模型KM之特徵點FPn的特徵擷取部62(圖22)發揮功能。如上述般,在工件模型KM中,因構造物模型J2及J3具有比較複雜之構造,故處理器32對於構造物模型J2及J3擷取更多個數之特徵點FPn。
接著,處理器32作為範圍設定部52發揮功能,對作為模型取得部44取得之工件模型KM,設定用於將該工件模型KM限定為一部分之限定範圍RR。此處,在本實施形態中,處理器32基於作為特徵擷取部62而擷取出之特徵點FPn之個數N,自動設定限定範圍RR。
具體而言,處理器32對工件模型KM設定模型座標系C5,特定出擷取出之特徵點FPn之個數N為預先決定之臨限值N th以上(N≧N th)之工件模型KM之部分。然後,處理器32以包含特定出之工件模型KM之部分之方式在模型座標系C5中設定限定範圍RR4及RR5。
圖24顯示限定範圍RR4及RR5之例。再者,在以下之說明中,將圖24所示之工件模型KM之方向設為「正面」。在如圖24所示般自正面觀察工件模型KM之情形下,觀察該工件模型KM之假想視線方向VL與模型座標系C5之z軸方向平行。
處理器32判定工件模型KM中包含構造物模型J2之部分之特徵點FPn之個數N、與包含構造物模型J3之部分之特徵點FPn之個數N為臨限值N th以上。因此,處理器32作為範圍設定部52發揮功能,如圖24所示般,對自正面觀察到之狀態之工件模型KM自動設定包含含有構造物模型J2之部分之限定範圍RR4、及包含含有構造物模型J3之部分之限定範圍RR5。
另一方面,處理器32對特徵點FPn之個數少於臨限值N th之工件模型KM之部分(在本實施形態中為底板模型J1之中央部分)不設定限定範圍RR。其結果,在本實施形態中,處理器32將限定範圍RR4及RR5以彼此分開之方式設定。
接著,處理器32作為部分模型產生部46發揮功能,與上述之實施形態同樣地,藉由依照設定之限定範圍RR4及RR5來限定工件模型KM,而將2個部分模型KM1(圖25)及部分模型KM2(圖26)作為與工件模型KM不同之資料而分別產生。
如此般,處理器32產生將工件模型KM限定為第1部分(包含構造物模型J2之部分)之部分模型KM1、及限定為與該第1部分分開之第2部分(包含構造物模型J3之部分)之部分模型KM2。如此般產生之部分模型KM1及KM2各者,包含個數N(≧N th)之處理器32作為特徵擷取部62擷取出之特徵點FPn。
又,處理器32在使自圖24所示之正面觀察到之工件模型KM之姿勢變化之狀態下,再次設定限定範圍RR4及RR5。圖27顯示如此之例。在圖27所示之例中,藉由使工件模型KM之方向自圖24所示之正面之狀態相對於假想視線方向VL旋動,而該工件模型KM之姿勢變化成如觀察立體圖之姿勢。
處理器32作為範圍設定部52發揮功能,對如此般使姿勢變化之工件模型KM,藉由上述之方法,以包含滿足N≧N th之工件模型KM之部分(即,構造物模型J2及J3)之方式將限定範圍RR4及RR5自動設定於模型座標系C4。
再者,處理器32於在模型座標系C5中設定限定範圍RR4及RR5時,可基於形狀檢測感測器14之檢測範圍DR,以將限定範圍RR4之面積E4與限定範圍RR5之面積E5限制為檢測範圍DR之面積E以下之方式決定。
然後,處理器32作為部分模型產生部46發揮功能,藉由依照設定之限定範圍RR4及RR5限定工件模型KM,而將2個部分模型KM1(圖28)及部分模型KM2(圖29)作為與工件模型KM不同之資料而分別產生。
如此般,處理器32對配置成複數個姿勢之工件模型KM分別設定限定範圍RR4及RR5,藉由依照該限定範圍RR4及RR5限定工件模型KM,而分別產生以複數個姿勢限定之部分模型KM1及KM2。處理器32將產生之部分模型KM1及KM2儲存於記憶體34。
接著,與上述之裝置70同樣地,處理器32作為圖像資料產生部56發揮功能,分別產生所產生之部分模型KM1之圖像資料ID4、及部分模型KM2之圖像資料ID5,且顯示於顯示裝置40。繼而,處理器32作為第2輸入受理部58發揮功能,與上述之裝置70同樣地,受理允許部分模型KM1及KM3之輸入IP2。
再者,處理器32在未受理到輸入IP2(或受理到不允許部分模型KM1及KM2之輸入IP2’)時,操作者可操作輸入裝置42,將用於在模型座標系C5中手動劃定(具體而言為變更、取消、或追加)限定範圍RR4及RR5之輸入IP1給予處理器32。該情形下,處理器32可作為第1輸入受理部54發揮功能而受理輸入IP1,作為範圍設定部52發揮功能,依照受理之該輸入IP1,將限定範圍RR4及RR5再次設定於模型座標系C5。
在受理到允許部分模型KM1及KM2之輸入IP2時,與上述之裝置70同樣地,處理器32作為臨限值設定部60發揮功能,對產生之複數個部分模型KM1及KM2各者,個別地設定在模型匹配MT中使用之一致度μ之臨限值μ4 th及μ5 th
接著,與上述之實施形態同樣地,處理器32作為位置取得部48發揮功能,依照匹配算法MA,執行將部分模型KM1、KM2與形狀檢測感測器14檢測出之形狀資料SD進行匹配之模型匹配MT。例如,形狀檢測感測器14自不同之檢測位置DP4及DP5拍攝工件K,檢測圖30所示之形狀資料SD4、與圖31所示之形狀資料SD5。
該情形下,處理器32將如上述般以各種姿勢產生之部分模型KM1(圖25、圖28)、及部分模型KM2(圖26、圖29)依次配置於圖30之形狀資料SD4之感測器座標系C3,檢索該部分模型KM1或KM2之複數個特徵點FPn、與顯現於形狀資料SD4之工件K之複數個特徵點FPk分別一致的該部分模型KM1或KM2之位置。
具體而言,與上述之裝置70同樣地,處理器32在每次配置各種姿勢之部分模型KM1時,求得該部分模型KM1與顯現於形狀資料SD4之工件K之一致度μ4(具體而言為部分模型KM1之特徵點FPm與形狀資料SD4之特徵點FPw之一致度μ4 _1、及部分模型KM1之點群模型WM P之點群與形狀資料SD4之三維點群之一致度μ4 _2),藉由將該一致度μ4與針對部分模型KM1設定之臨限值μ4 th(具體而言為與一致度μ4 _1相關之臨限值μ4 th1、及與一致度μ4 _2相關之臨限值μ4 th2)進行比較,而判定部分模型KM1與形狀資料SD4是否匹配。
又,處理器32在每次配置各種姿勢之部分模型KM2時,求得該部分模型KM2與顯現於形狀資料SD4之工件K之一致度μ5(具體而言為部分模型KM2之特徵點FPm與形狀資料SD4之特徵點FPw之一致度μ5 _1、及部分模型KM2之點群模型WM P之點群與形狀資料SD4之三維點群之一致度μ5 _2),藉由將該一致度μ5與針對部分模型KM2設定之臨限值μ5 th(具體而言為與一致度μ5 _1相關之臨限值μ5 th1、及與一致度μ5 _2相關之臨限值μ5 th2)進行比較,而判定部分模型KM2與形狀資料SD4是否匹配。
圖32顯示模型匹配MT之結果、部分模型KM1與形狀資料SD4匹配之狀態。在使部分模型KM1與形狀資料SD4匹配時,處理器32如圖32所示般,對配置於感測器座標系C3之部分模型KM1設定工件座標系C9。工件座標系C9係表示顯現於形狀資料SD4之工件K之部位(即,包含構造物K2之部位)之位置之控制座標系C。
然後,處理器32取得設定之工件座標系C9在感測器座標系C3中之座標P5 S,繼而,藉由將該座標P5 S變換成機器人座標系C1之座標P5 R,而取得顯現於形狀資料SD4之工件K之部位(構造物K2)在機器人座標系C1中之位置P5 R
同樣地,處理器32對圖31所示之形狀資料SD5執行與部分模型KM1或KM2之模型匹配MT。其結果,在判定為部分模型WM2與形狀資料SD5匹配時,處理器32如圖33所示般,對配置於感測器座標系C3之部分模型KM2設定工件座標系C10。工件座標系C10係表示顯現於形狀資料SD5之工件K之部位(即,包含構造物J3之部位)之位置之控制座標系C。
然後,處理器32取得設定之工件座標系C10在感測器座標系C3中之座標P6 S,繼而,藉由將該座標P6 S變換成機器人座標系C1之座標P6 R,而取得顯現於形狀資料SD5之工件K之部位(構造物K3)在機器人座標系C1中之位置P6 R
如此般,處理器32作為位置取得部48發揮功能,藉由將部分模型KM1及KM2與形狀檢測感測器14檢測出之形狀資料SD4及SD5分別進行匹配,而取得工件K之部位K2及K3在控制座標系C(感測器座標系C3、機器人座標系C1)中之位置P5 S、P5 R、P6 S及P6 R(第1位置)。
接著,與上述之裝置70同樣地,處理器32作為位置取得部48發揮功能,基於取得之機器人座標系C1之位置P5 R及P6 R、與工件模型KM中之部分模型KM1及KM2之位置(具體而言為理想位置),取得機器人座標系C1中之工件K之位置P7 R(第2位置)。
圖34示意性地顯示作為位置取得部48取得之機器人座標系C1之位置P5 R(工件座標系C9)、及位置P6 R(工件座標系C10)之相對於工件模型KM之位置。此處,與上述之基準工件座標系C8同樣地,對於工件模型KM之整體設定基準工件座標系C11。
與上述之裝置70同樣地,處理器32基於作為位置取得部48取得之機器人座標系C1之位置P5 R及P6 R、與相對於基準工件座標系C11之工件座標系C9及C10之理想位置(具體而言為理想座標),取得機器人座標系C1中之基準工件座標系C11之位置P7 R
該位置P7 R表示形狀檢測感測器14作為形狀資料SD4及SD5而檢測出之工件K在機器人座標系C1中之位置(第2位置)。然後,與上述之裝置70同樣地,處理器32基於取得之位置P7 R、與預先示教之相對於基準工件座標系C11之目標位置TP之位置關係RL,在機器人座標系C1中決定末端作用器28之目標位置TP,藉由依照該目標位置TP使機器人12動作,而藉由末端作用器28進行對工件W之作業。
如以上般,在本實施形態中,處理器32作為模型取得部44、部分模型產生部46、位置取得部48、範圍設定部52、第1輸入受理部54、圖像資料產生部56、第2輸入受理部58、臨限值設定部60、及特徵擷取部62發揮功能,基於形狀資料SD4、SD5,取得控制座標系C(機器人座標系C1、感測器座標系C3)中之工件K之位置P5 S、P5 R、P6 S、P6 R、P7 R
因此,模型取得部44、部分模型產生部46、位置取得部48、範圍設定部52、第1輸入受理部54、圖像資料產生部56、第2輸入受理部58、臨限值設定部60、及特徵擷取部62構成基於形狀資料SD4、SD5而取得工件W之位置之裝置80(圖22)。
在該裝置80中,範圍設定部52將限定範圍RR4及RR5以相互分開之方式設定(圖24),部分模型產生部46產生將工件模型KM限定為第1部分(包含構造物模型J2之部分)之第1部分模型KM1、與限定為與該第1部分分開之第2部分(包含構造物模型J3之部分)之第2部分模型KM2。根據該構成,可根據諸條件(例如,特徵點FPn之個數N),產生互不相同之工件模型KM之部分之部分模型KM1及KM2。
又,裝置80包含擷取使用於位置取得部48進行模型匹配MT之工件模型KM之特徵點FPn之特徵擷取部62,部分模型產生部46藉由以包含特徵擷取部62擷取出之特徵點FPn之方式將工件模型KM限定為部分J2、J3,而產生部分模型KM1、KM2。
更具體而言,部分模型產生部46以包含預先決定之臨限值N th以上之個數N之特徵點FPn之方式,將工件模型WM限定為部分J2、J3,根據該構成,可優先產生容易執行模型匹配MT之部分模型KM1、KM2,而可高精度地執行該模型匹配MT。
再者,在本實施形態中,範圍設定部52基於由特徵擷取部62擷取出之特徵點FPn之個數N自動設定限定範圍RR4及RR5之結果,將限定範圍RR4及RR5以彼此分開之方式設定。然而,例如,於在工件模型KM中構造物J2及J3相互接近之情形下,範圍設定部52基於特徵點FPn之個數N自動設定限定範圍RR4及RR5之結果,可將限定範圍RR4及RR5以彼此之邊界一致、或彼此一部分重疊之方式設定。
再者,在上述之裝置70及80中,對於處理器32基於位置取得部48取得之機器人座標系C1中之工件W及K(即,基準工件座標系C8及C11)之位置P4 R及P7 R、與預先示教之位置關係RL,決定末端作用器28之目標位置TP之情形進行了描述。
然而,在上述之裝置70或80中,處理器32亦可基於作為位置取得部48取得之位置P4 R或P7 R,求得自預先示教之示教點TP’之修正量CA。例如,在上述之裝置70中,操作者將在執行作業時應將末端作用器28予以定位之示教點TP’預先示教給機器人12。該示教點TP’作為機器人座標系C1之座標而被示教。
然後,在實際之作業生產線中,處理器32在取得形狀檢測感測器14檢測出之工件W之位置P4 R時,基於該位置P4 R,算出在執行對實際之工件W之作業時將定位末端作用器28之位置自示教點TP’偏移之修正量CA。
然後,處理器32在執行對工件W之作業時,藉由依照算出之修正量CA來修正將末端作用器28向示教點TP’定位之動作,而將末端作用器28定位於自示教點TP’偏移修正量CA後之位置。再者,在裝置80中亦同樣地,理解為可執行修正量CA之算出、與向示教點TP’之定位動作之修正。
再者,在上述之裝置70或80中,對於位置取得部48基於機器人座標系C1中之工件W及K之複數個部位之位置P(即位置P1 R、P2 R及P3 R、以及位置P5 R及P6 R),取得機器人座標系C1中之工件W及K(即基準工件座標系C8及C11)之位置P4 R及P7 R之情形進行了描述。
然而,在裝置70或80中,亦可基於工件W或K之僅1個部位之位置P1 R、P2 R、P3 R、P5 R或P6 R,取得機器人座標系C1中之工件W或K之位置P4 R或P7 R。例如,在裝置80中,工件K之構造物K2(或K3)具有可唯一特定出工件K之固有之構造性特徵,其結果,在工件模型KM之構造物模型J2中存在充分之個數N之特徵點FPn。
該情形下,若可特定出構造物K2(構造物模型J2)之位置,則可唯一地特定出工件K(工件模型KN)之整體之位置。在如此之情形下,位置取得部48可藉由上述之方法僅根據機器人座標系C1中之構造物K2之部位之位置P5 R(即,圖34中之機器人座標系C1中之工件座標系C9之座標),求得機器人座標系C1中之工件K之位置P7 R(即,機器人座標系C1中之基準工件座標系C11之座標)。
再者,在上述之裝置70或80中,在範圍設定部52對工件模型WM或KM設定複數個限定範圍RR1、RR2及RR3、或限定範圍RR4及RR5之情形下,操作者可取消該等中之至少1者。例如,在上述之裝置70中,處理器32作為範圍設定部52而設定圖9所示之限定範圍RR1、RR2及RR3。
在該情形下,操作者操作輸入裝置42,例如將取消限定範圍RR2之輸入IP1給予處理器32。處理器32受理輸入IP1,將設定於模型座標系C5之限定範圍RR2予以取消。其結果,限定範圍RR2被削除,處理器32在模型座標系C5中,設定彼此分開之限定範圍RR1及RR3。
再者,在上述之裝置70及80中,對於範圍設定部52在將工件模型WM及KM配置為各種姿勢之狀態下,設定限定範圍RR1、RR2及RR3、以及限定範圍RR4及RR5,部分模型產生部46產生以各種姿勢限定之部分模型WM1、WM2及WM3、以及部分模型KM1及KM2之情形進行了說明。
然而,在裝置70或80中,可行的是,範圍設定部52僅對1個姿勢之工件模型WM或KM設定限定範圍RR1、RR2及RR3、或限定範圍RR4及RR5,部分模型產生部46產生僅以1個姿勢限定之部分模型WM1、WM2及WM3、或部分模型KM1及KM2。
又,在上述之裝置70或80中,範圍設定部52可設定任意數n之限定區域RRn,部分模型產生部46可相應於該限定區域RR,產生任意數n之部分模型WMn或KMn。又,設定上述之限定區域RR之方法為一例,範圍設定部52亦可藉由其他任意方法而設定限定區域RR。
再者,亦可自上述之裝置70省略範圍設定部52、第1輸入受理部54、圖像資料產生部56、第2輸入受理部58、及臨限值設定部60之至少1者。例如,可自上述之裝置70省略範圍設定部52,處理器32基於形狀檢測感測器14之檢測位置DP1、DP2及DP3,將工件模型WM自動限定為部分模型WM1、WM2及WM3。
具體而言,在作業生產線中配置工件W之基準位置RP,作為機器人座標系C1之座標而預先決定。該情形下,處理器32在藉由機器人座標系C1規定之假想空間內將工件模型WM配置於基準位置RP,在每次將對形狀檢測感測器14模型化之形狀檢測感測器模型14M配置於檢測位置DP1、DP2及DP3各者時,執行藉由該形狀檢測感測器模型14M模擬地拍攝工件模型WM之模擬。
此處,因機器人座標系C1與感測器座標系C3之位置關係為已知,故可推定在該模擬中定位於檢測位置DP1、DP2及DP3各者之形狀檢測感測器模型14M模擬地拍攝工件模型WM而得之形狀資料SD1’、SD2’及SD3’。
處理器32基於機器人座標系C1中之基準位置RP之座標、與配置於該基準位置RP之工件模型WM之模型資料、及檢測位置DP1、DP2及DP3(即感測器座標系C3)之座標,推定形狀資料SD1’、SD2’及SD3’。然後,處理器32基於顯現於推定出之形狀資料SD1’、SD2’及SD3’之工件模型WM之部分RM1、RM2及RM3,自動產生部分模型WM1、WM2及WM3。
替代地,部分模型產生部46亦可藉由將工件模型WM以預先決定之(或隨機決定之)間隔進行分割,而限定為複數個部分模型。如此般,處理器32可無需設定限定範圍RR,而將工件模型WM自動限定為部分模型WM1、WM2及WM3。
再者,應理解處理器32對於工件模型KM亦可藉由同樣之方法無需設定限定範圍RR而自動限定為部分模型KM1及KM2之點。又,將上述之工件模型WM或KM限定為部分模型之方法為一例,部分模型產生部46可藉由其他任意方法,將工件模型WM或KM限定為部分模型。
又,可自裝置70省略圖像資料產生部56及第2輸入受理部58,位置取得部48無需自操作者接收允許之輸入IP2,而執行部分模型WM1、WM2、WM3與形狀資料SD1、SD2、SD3之模型匹配MT。或,可自裝置70省略臨限值設定部60,用於模型匹配MT之臨限值μ1 th、μ2 th及μ3 th可作為由部分模型WM1、WM2及WM3共通之值而預先決定。
又,亦可自上述之裝置80省略範圍設定部52、第1輸入受理部54、圖像資料產生部56、第2輸入受理部58、臨限值設定部60、及特徵擷取部62之至少1者。例如,可自裝置80省略範圍設定部52及特徵擷取部62,部分模型產生部46藉由將工件模型KM以預先決定(或隨機決定)之間隔進行分割,而限定為複數個部分模型。
再者,在上述之實施形態中,對於形狀檢測感測器14為三維視覺感測器之情形進行了描述,但並不限定為此,形狀檢測感測器14亦可為拍攝工件W、K之二維相機。在該情形下,機器人系統10可進一步包含可計測自形狀檢測感測器14至工件W、K之距離d之測距感測器。
又,形狀檢測感測器14並不限於視覺感測器(或相機),亦可為藉由接收出射之雷射光之反射光而檢測工件W、K之形狀之三維雷射掃描器、或具有檢測與工件W、K之接觸之探針之接觸式形狀檢測感測器等的可檢測工件W、K之形狀之任意之感測器。
又,形狀檢測感測器14並不限於固定於末端作用器28之形態,亦可固定於機器人座標系C1中之已知之位置(例如,治具等)。又,形狀檢測感測器14可具有固定於末端作用器28之第1形狀檢測感測器14A、與固定於機器人座標系C1中之已知之位置之第2形狀檢測感測器14B。又,工件模型WM可為二維資料(例如,二維CAD資料)。
再者,上述之裝置70或80之各部分(模型取得部44、部分模型產生部46、位置取得部48、範圍設定部52、第1輸入受理部54、圖像資料產生部56、第2輸入受理部58、臨限值設定部60、特徵擷取部62),例如為藉由由處理器32執行之電腦程式而實現之功能模組。
又,在上述之實施形態中,對於裝置50、70及80安裝於控制裝置16之情形進行了描述。然而,並不限於此,裝置50、70或80之功能(模型取得部44、部分模型產生部46、位置取得部48、範圍設定部52、第1輸入受理部54、圖像資料產生部56、第2輸入受理部58、臨限值設定部60、特徵擷取部62)之至少1者,可安裝於與控制裝置16不同之其他電腦。
圖35顯示如此之形態。圖35所示之機器人系統90包含機器人12、形狀檢測感測器14、控制裝置16、及示教裝置92。示教裝置92將用於執行對工件W之作業(工件搬運、熔接、或雷射加工等)之動作示教給機器人12。
具體而言,示教裝置92例如為示教器或平板型終端裝置等可攜式電腦,具有處理器94、記憶體96、I/O介面98、顯示裝置100、及輸入裝置102。再者,因處理器94、記憶體96、I/O介面98、顯示裝置100、及輸入裝置102之構成與上述之處理器32、記憶體34、I/O介面36、顯示裝置40、及輸入裝置42相同,故省略重複之說明。
處理器94具有CPU或GPU等,與記憶體96、I/O介面98、顯示裝置100、及輸入裝置102經由匯流排104可通訊地連接,一面與該等部件通訊,一面進行用於實現示教功能之運算處理。I/O介面98可通訊地連接於控制裝置16之I/O介面36。再者,顯示裝置100及輸入裝置102可一體地組入示教裝置92之殼體,或亦可作為與示教裝置92之殼體不同之個別構體而外置於該殼體。
處理器94構成為相應於向輸入裝置102之輸入資料,經由控制裝置16向機器人12之伺服馬達30發送指令,依照該指令可使該機器人12進行點動動作。操作者藉由操作輸入裝置102而對機器人12示教用於特定之作業之動作,處理器94基於自示教之結果獲得之示教資料(例如,機器人12之示教點TP’、動作速度V等),產生用於作業之動作程式OP。
在本實施形態中,裝置80之模型取得部44、部分模型產生部46、範圍設定部52、第1輸入受理部54、圖像資料產生部56、第2輸入受理部58、臨限值設定部60、及特徵擷取部62安裝於示教裝置92。另一方面,裝置80之位置取得部48安裝於控制裝置16。
該情形下,示教裝置92之處理器94作為模型取得部44、部分模型產生部46、範圍設定部52、第1輸入受理部54、圖像資料產生部56、第2輸入受理部58、臨限值設定部60、及特徵擷取部62發揮功能,另一方面,控制裝置16之處理器32作為位置取得部48發揮功能。
例如,示教裝置92之處理器94可作為模型取得部44、部分模型產生部46、範圍設定部52、第1輸入受理部54、圖像資料產生部56、第2輸入受理部58、臨限值設定部60、及特徵擷取部62發揮功能,產生部分模型KM1及KM2,基於該部分模型KM1及KM2之模型資料,製作使控制裝置16之處理器32(即位置取得部48)執行取得控制座標系C中之工件K之部位K2及K3之第1位置P5 S、P5 R、P6 S及P6 R之動作(例如,模型匹配MT之動作)之動作程式OP。
以上,藉由實施形態對本揭示進行了說明,但上述之實施形態並不限定申請專利範圍之發明。
10,90:機器人系統 12:機器人 14:形狀檢測感測器 16:控制裝置 18:機器人基座 20:回轉主體 22:下臂部 24:上臂部 26:手腕部 26a:手腕基座 26b:手腕凸緣 28:末端作用器 30:伺服馬達 32,94:處理器 34,96:記憶體 36,98:I/O介面 38,104:匯流排 40,100:顯示裝置 42,102:輸入裝置 44:模型取得部 46:部分模型產生部 48:位置取得部 50,70,80:裝置 52:範圍設定部 54:第1輸入受理部 56:圖像資料產生部 58:第2輸入受理部 60:臨限值設定部 62:特徵擷取部 92:示教裝置 A1:手腕軸 A2:光軸 B1,B2:邊界 C1:機器人座標系 C2:工具座標系 C3:感測器座標系 C4:工件座標系 C5:模型座標系 C6:工件座標系 C7:工件座標系 C8:基準工件座標系 C9:工件座標系 C10:工件座標系 C11:基準工件座標系 DR:檢測範圍 E1,E2,E3,E4,E5:面積 J1:底板模型 J2,J3:構造物模型 K,W:工件 K1:底板 K2,K3:構造物 KM,WM:工件模型 KM1,KM2,WM1,WM2,WM3:部分模型 OL1,OL2:重疊區域 RR1,RR2,RR3,RR4,RR5:限定範圍 RM1,RM2,RM3:環部模型 SD1,SD2,SD3,SD4,SD5:形狀資料 VL:假想視線方向 W1,W2,W3:環部
圖1係一實施形態之機器人系統之概略圖。 圖2係圖1所示之機器人系統之方塊圖。 圖3示意性地顯示檢測工件時之形狀檢測感測器之檢測範圍。 圖4係在圖3之檢測範圍內形狀檢測感測器檢測出之工件之形狀資料之一例。 圖5顯示工件模型之一例。 圖6係將圖5所示之工件模型限定為一部分之部分模型之一例。 圖7顯示將圖6所示之部分模型與圖4所示之形狀資料進行匹配之狀態。 圖8係又一實施形態之機器人系統之方塊圖。 圖9顯示設定於工件模型之限定範圍之一例。 圖10顯示依照圖9所示之限定範圍而產生之部分模型之一例。 圖11顯示依照圖9所示之限定範圍而產生之部分模型之一例。 圖12顯示設定於工件模型之限定範圍之又一例。 圖13顯示依照圖12所示之限定範圍而產生之部分模型之一例。 圖14顯示依照圖12所示之限定範圍而產生之部分模型之一例。 圖15顯示依照圖12所示之限定範圍而產生之部分模型之一例。 圖16顯示形狀檢測感測器檢測出之工件之形狀資料之又一例。 圖17顯示形狀檢測感測器檢測出之工件之形狀資料之再一例。 圖18顯示將圖10所示之部分模型與圖16所示之形狀資料進行匹配之狀態。 圖19顯示將圖11所示之部分模型與圖17所示之形狀資料進行匹配之狀態。 圖20示意性地顯示表示取得之工件之複數個部位之位置之工件座標、及藉由該位置規定之工件模型。 圖21顯示設定於工件模型之限定範圍之再一例。 圖22係再一實施形態之機器人系統之方塊圖。 圖23顯示工件及將該工件模型化之工件模型之又一例。 圖24顯示設定於圖23所示之工件模型之限定區域之一例。 圖25顯示依照圖24所示之限定區域而產生之部分模型之一例。 圖26顯示依照圖24所示之限定區域而產生之部分模型之一例。 圖27顯示設定於圖23所示之工件模型之限定區域之又一例。 圖28顯示依照圖27所示之限定區域而產生之部分模型之一例。 圖29顯示依照圖27所示之限定區域而產生之部分模型之一例。 圖30顯示形狀檢測感測器檢測出之工件之形狀資料之一例。 圖31顯示形狀檢測感測器檢測出之工件之形狀資料之又一例。 圖32顯示將圖25所示之部分模型與圖30所示之形狀資料進行匹配之狀態。 圖33顯示將圖26所示之部分模型與圖31所示之形狀資料進行匹配之狀態。 圖34示意性地顯示表示取得之工件之複數個部位之位置之工件座標、及藉由該位置規定之工件模型。 圖35係又一實施形態之機器人系統之概略圖。
10:機器人系統
12:機器人
14:形狀檢測感測器
16:控制裝置
30:伺服馬達
32:處理器
34:記憶體
36:I/O介面
38:匯流排
40:顯示裝置
42:輸入裝置
44:模型取得部
46:部分模型產生部
48:位置取得部
50:裝置

Claims (19)

  1. 一種裝置,其係基於配置於控制座標系之已知之位置之形狀檢測感測器檢測出之工件之形狀資料,取得該控制座標系中之該工件之位置者,且包含: 模型取得部,其取得將前述工件模型化之工件模型; 部分模型產生部,其使用前述模型取得部取得之前述工件模型,產生將該工件模型限定為一部分之部分模型;及 位置取得部,其藉由將前述部分模型產生部產生之前述部分模型與前述形狀檢測感測器檢測出之前述形狀資料進行匹配,而取得與該部分模型對應之前述工件之部位在前述控制座標系中之第1位置。
  2. 如請求項1之裝置,其中前述部分模型產生部產生將前述工件模型分別限定為複數個前述部分之複數個前述部分模型。
  3. 如請求項2之裝置,其中前述部分模型產生部產生將前述工件模型限定為第1前述部分之第1部分模型、及將前述工件模型限定為與前述第1部分分開之第2前述部分之第2前述部分模型。
  4. 如請求項2之裝置,其中前述部分模型產生部藉由將前述工件模型之整體分割成前述複數個部分而產生將該工件模型分別限定為該複數個部分之前述複數個部分模型。
  5. 如請求項2至4中任一項之裝置,其中前述位置取得部 求得前述部分模型與前述形狀資料之一致度, 藉由將求得之前述一致度與預先決定之臨限值進行比較,而判定前述部分模型與前述形狀資料是否匹配,且 前述裝置進一步包含對前述複數個部分模型各者個別地設定前述臨限值之臨限值設定部。
  6. 如請求項1至5中任一項之裝置,其進一步包含範圍設定部,其對前述工件模型設定用於限定前述部分之限定範圍,且 前述部分模型產生部藉由依照前述範圍設定部設定之前述限定範圍將前述工件模型限定為前述部分,而產生前述部分模型。
  7. 如請求項6之裝置,其中前述範圍設定部基於前述形狀檢測感測器檢測前述工件之檢測範圍,設定前述限定範圍。
  8. 如請求項6或7之裝置,其進一步包含第1輸入受理部,其受理用於劃定前述限定範圍之輸入,且 前述範圍設定部依照前述第1輸入受理部受理之前述輸入,設定前述限定範圍。
  9. 如請求項8之裝置,其進一步包含圖像資料產生部,其產生前述部分模型產生部產生之前述部分模型之圖像資料,且 前述第1輸入受理部經由前述圖像資料產生部產生之前述圖像資料,受理用於將前述範圍設定部設定之前述限定範圍進行變更或取消之前述輸入、或用於使前述範圍設定部追加設定新的前述限定範圍之前述輸入。
  10. 如請求項6至9中任一項之裝置,其中前述範圍設定部對前述工件模型設定用於限定第1前述部分之第1前述限定範圍、及用於限定第2前述部分之第2前述限定範圍,且 前述部分模型產生部, 藉由依照前述範圍設定部設定之前述第1限定範圍將前述工件模型限定為前述第1部分,而產生第1前述部分模型, 藉由依照前述範圍設定部設定之前述第2限定範圍將前述工件模型限定為前述第2部分,而產生第2前述部分模型。
  11. 如請求項10之裝置,其中前述範圍設定部, 將前述第1限定範圍與前述第2限定範圍以彼此之邊界一致之方式設定,或 將前述第1限定範圍與前述第2限定範圍以相互分開之方式設定,或者 將前述第1限定範圍與前述第2限定範圍以彼此一部分重疊之方式設定。
  12. 如請求項1至11中任一項之裝置,其進一步包含特徵擷取部,其擷取使用於前述位置取得部進行前述匹配之前述工件模型之特徵點,且 前述部分模型產生部藉由以包含前述特徵擷取部擷取出之前述特徵點之方式將前述工件模型限定為前述部分,而產生前述部分模型。
  13. 如請求項12之裝置,其中前述部分模型產生部以包含預先決定之臨限值以上之個數之前述特徵點之方式將前述工件模型限定為前述部分。
  14. 如請求項1至13中任一項之裝置,其中前述位置取得部基於前述第1位置、與前述工件模型中之前述部分模型之位置,取得前述控制座標系中之前述工件之第2位置。
  15. 如請求項14之裝置,其中前述部分模型產生部產生將前述工件模型分別限定為複數個前述部分之複數個前述部分模型, 前述位置取得部, 藉由將前述部分模型產生部產生之前述複數個部分模型與前述形狀資料分別進行匹配,而分別取得與該複數個部分模型分別對應之複數個前述部位之前述控制座標系中之前述第1位置, 基於取得之各個前述第1位置,取得前述第2位置。
  16. 如請求項1至15中任一項之裝置,其進一步包含:圖像資料產生部,其產生前述部分模型產生部產生之前述部分模型之圖像資料;及 第2輸入受理部,其經由前述圖像資料產生部產生之前述圖像資料,受理允許前述位置取得部為了進行前述匹配而使用前述部分模型之輸入。
  17. 一種機器人之控制裝置,其包含請求項1至16中任一項之裝置。
  18. 一種機器人系統,其包含:形狀檢測感測器,其配置於控制座標系之已知之位置,檢測工件之形狀; 機器人,其對前述工件進行特定之作業;及 請求項17之控制裝置;且 前述控制裝置以基於前述位置取得部取得之前述第1位置,執行前述特定之作業之方式控制前述機器人。
  19. 一種方法,其係基於配置於控制座標系之已知之位置之形狀檢測感測器檢測出之工件之形狀資料,取得該控制座標系中之前述工件之位置者,且 處理器, 取得將前述工件模型化之工件模型, 使用取得之前述工件模型,產生將該工件模型限定為一部分之部分模型, 藉由將產生之前述部分模型與前述形狀檢測感測器檢測出之前述形狀資料進行匹配,而取得與該部分模型對應之前述工件之部位在前述控制座標系中之位置。
TW112101701A 2022-02-15 2023-01-16 取得工件位置之裝置、機器人之控制裝置、機器人系統及方法 TW202333920A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2022/005957 2022-02-15
PCT/JP2022/005957 WO2023157083A1 (ja) 2022-02-15 2022-02-15 ワークの位置を取得する装置、制御装置、ロボットシステム、及び方法

Publications (1)

Publication Number Publication Date
TW202333920A true TW202333920A (zh) 2023-09-01

Family

ID=87577787

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112101701A TW202333920A (zh) 2022-02-15 2023-01-16 取得工件位置之裝置、機器人之控制裝置、機器人系統及方法

Country Status (4)

Country Link
JP (1) JPWO2023157083A1 (zh)
CN (1) CN118660793A (zh)
TW (1) TW202333920A (zh)
WO (1) WO2023157083A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002046087A (ja) * 2000-08-01 2002-02-12 Mitsubishi Heavy Ind Ltd 3次元位置計測方法及び計測装置並びにロボット制御装置
JP4356579B2 (ja) * 2004-10-05 2009-11-04 オムロン株式会社 画像処理方法および画像処理装置
JP2017182113A (ja) * 2016-03-28 2017-10-05 株式会社アマダホールディングス ワーク判定装置及び方法
CN116585031A (zh) * 2017-03-22 2023-08-15 直观外科手术操作公司 用于智能种子配准的系统和方法
US10625427B2 (en) * 2017-06-14 2020-04-21 The Boeing Company Method for controlling location of end effector of robot using location alignment feedback
JP6998183B2 (ja) * 2017-11-15 2022-01-18 川崎重工業株式会社 ロボットシステム及びロボット制御方法

Also Published As

Publication number Publication date
WO2023157083A1 (ja) 2023-08-24
CN118660793A (zh) 2024-09-17
JPWO2023157083A1 (zh) 2023-08-24

Similar Documents

Publication Publication Date Title
JP5310130B2 (ja) 3次元視覚センサによる認識結果の表示方法および3次元視覚センサ
JP5257335B2 (ja) 3次元視覚センサにおける計測有効領域の表示方法および3次元視覚センサ
JP4492654B2 (ja) 3次元計測方法および3次元計測装置
JP6222898B2 (ja) 3次元計測装置及びロボット装置
JP2016099257A (ja) 情報処理装置及び情報処理方法
JP5742862B2 (ja) ロボット装置及び被加工物の製造方法
US11446822B2 (en) Simulation device that simulates operation of robot
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
JP2021016922A (ja) 三次元データ生成装置及びロボット制御システム
JPWO2020144784A1 (ja) 画像処理装置、作業ロボット、基板検査装置および検体検査装置
CN104976950B (zh) 物件空间信息量测装置与方法及取像路径的计算方法
WO2022163580A1 (ja) 視覚センサにて取得される3次元の位置情報から断面画像を生成する処理装置および処理方法
KR102096897B1 (ko) 3d 도면 파일을 이용하여 로봇 제어에 필요한 자동 티칭 시스템 및 티칭 방법
US20190287258A1 (en) Control Apparatus, Robot System, And Method Of Detecting Object
TW202333920A (zh) 取得工件位置之裝置、機器人之控制裝置、機器人系統及方法
CN110955958A (zh) 一种基于cad模型的工件定位装置的工作方法
JP7509535B2 (ja) 画像処理装置、ロボットシステム、及び画像処理方法
JP6285765B2 (ja) 情報処理装置、情報処理方法
JP2017113815A (ja) 対象物をロボットを用いて把持するロボットシステムの画像表示方法
WO2022181500A1 (ja) 視覚センサの出力から得られる3次元位置情報を用いるシミュレーション装置
JP2021058979A (ja) ロボットアーム試験装置
JP7063764B2 (ja) 3次元モデル作成装置
WO2023073959A1 (ja) 作業支援装置及び作業支援方法
WO2023248353A1 (ja) ワークの位置データを取得する装置、制御装置、ロボットシステム、方法、及びコンピュータプログラム
WO2022249295A1 (ja) ロボットシミュレーション装置