TW202319196A - 標誌檢測裝置以及機器人示教系統 - Google Patents

標誌檢測裝置以及機器人示教系統 Download PDF

Info

Publication number
TW202319196A
TW202319196A TW111133907A TW111133907A TW202319196A TW 202319196 A TW202319196 A TW 202319196A TW 111133907 A TW111133907 A TW 111133907A TW 111133907 A TW111133907 A TW 111133907A TW 202319196 A TW202319196 A TW 202319196A
Authority
TW
Taiwan
Prior art keywords
dimensional
dimensional plane
marker
plane
unit
Prior art date
Application number
TW111133907A
Other languages
English (en)
Other versions
TWI806762B (zh
Inventor
池口誠人
Original Assignee
日商達誼恆股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商達誼恆股份有限公司 filed Critical 日商達誼恆股份有限公司
Publication of TW202319196A publication Critical patent/TW202319196A/zh
Application granted granted Critical
Publication of TWI806762B publication Critical patent/TWI806762B/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G06T3/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/02—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of industrial processes; of machinery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本發明提供能簡易地檢測標誌的位置的標誌檢測裝置以及利用其的機器人示教系統。標誌檢測裝置（220）具備：三維平面檢測部（221），其基於由3D攝像機取得的點群數據來檢測三維空間中的平面即三維平面；二維平面圖像生成部（222），其通過將構成檢測到的三維平面的點群數據投影在以該三維平面為基準的垂直方向上進行投影，來生成二維平面圖像；標誌檢測部（223），其從所生成的二維平面圖像檢測標誌；標誌位置算出部（224），其對於檢測到的二維平面圖像中所含的標誌，算出三維平面中的三維坐標。

Description

標誌檢測裝置以及機器人示教系統
本發明涉及標誌檢測裝置以及機器人示教系統。
近年來，在產業界，大量機器人普及。該機器人例如用在電子部件以及機械部件的組裝、焊接以及運送等中，謀求工廠的生產線的效率化以及自動化。
例如，在焊接機器人中，需要作成用於進行所期望的動作的程式，並將其作為所謂示教數據預先存儲。操作者使用示教器，並與機器人控制裝置協作來操作實際的機器人，記錄其動作來生成該示教數據。
為了讓操作者使用示教器實際使機器人動作的同時作成示教數據，對操作者的技能的依賴度大，有時需要長時間，為了減輕對操作者的負擔，公開了使用AR設備以及標誌來認識機器人的位置的機器人系統（例如專利文獻1）。
在專利文獻1公開的技術中，用AR設備同時檢測二個基準用標誌，進而，認識與機器人坐標系確定用標誌的位置關係，由此抑制AR圖形的顯示位置偏離，並認識機器人的位置、朝向。在這樣的機器人系統中，為了精度良好地認識工件以及機器人的位置、朝向，需要合適地檢測成為基準的標誌。
現有技術文獻 專利文獻 專利文獻1：JP2021-62463號公報
但在專利文獻1公開的技術中，在標誌的檢測中，例如在使用二維攝像機的情況下，為了從二維圖像算出三維位置，需要事前設定決定與該二維圖像的各像素對應的三維坐標的攝像機參數，因此，需要煩雜的事前的準備。
為此，本發明的目的在於，提供能簡易地檢測標誌的位置的標誌檢測裝置以及利用其的機器人示教系統。
本發明的一方式所涉及的標誌檢測裝置具備：三維平面檢測部，其基於由3D攝像機取得的點群數據，來檢測三維空間中的平面即三維平面；二維平面圖像生成部，其通過將構成檢測到的三維平面的點群數據在以該三維平面為基準的垂直方向上進行投影，來生成二維平面圖像；標誌檢測部，其從所生成的二維平面圖像檢測標誌；和標誌位置算出部，其對於檢測到的二維平面圖像中所含的標誌，算出三維平面中的三維坐標。
根據該方式，三維平面檢測部基於由3D攝像機取得的點群數據來檢測三維平面，二維平面圖像生成部通過將構成三維平面的點群數據在以該三維平面為基準的垂直方向上進行投影，來生成二維平面圖像。並且，標誌檢測部從二維平面圖像檢測標誌，標誌位置算出部對於二維平面圖像中所含的標誌，算出三維平面中的三維坐標值（X，Y，Z）。由此，能合適地檢測設定在平面的標誌的位置。並且，不進行煩雜的攝像機參數的設定，就能簡易地檢測設定在平面的標誌的位置，因此還有助於產品成本的減少。
在上述方式中，也可以是，標誌檢測部在由三維平面檢測部檢測到多個三維平面的情況下，對每一個平面檢測標誌。
根據該方式，標誌檢測部在檢測到多個三維平面的情況下，對每一個平面檢測標誌，因此能效率良好、可靠地檢測標誌。
在上述方式中，也可以是，標誌檢測部可以按照多個三維平面當中的面積從大到小的順序來檢測標誌。
根據該方式，標誌檢測部由於按照多個三維平面當中的面積從大到小的順序來檢測標誌，因此，能按照認為設定標誌的可能性從高到低的順序進行處理，能期待在早期階段檢測到標誌。由此，有助於運算處理的減輕以及處理時間的縮短。
在上述方式中，也可以是，標誌檢測部按照多個三維平面當中的距視野中心從近到遠的順序來檢測標誌。
根據該方式，標誌檢測部由於按照多個三維平面當中的距視野中心從近到遠的順序來檢測標誌，因此按照認為設定標誌的可能性從高到低的順序進行處理，能期待在早期階段檢測到標誌。由此，有助於運算處理的減輕以及處理時間的縮短。
本發明的一方式所涉及的機器人示教系統具備：拍攝部，其具有拍攝包含工件和標誌的圖像的3D攝像機；三維平面檢測部，其基於由3D攝像機取得的點群數據，來檢測三維空間中的平面即三維平面；二維平面圖像生成部，其通過將構成檢測到的三維平面的點群數據在以該三維平面為基準的垂直方向上進行投影，來生成二維平面圖像；標誌檢測部，其從所生成的二維平面圖像檢測標誌；標誌位置算出部，其對於檢測到的二維平面圖像中所含的標誌，算出三維平面中的三維坐標；攝像機坐標系設定部，其基於算出的標誌的三維坐標來設定攝像機坐標系；程式生成部，其將攝像機坐標系中的機械手的動作路徑變換成在機器人控制裝置中設定的機器人坐標系，並生成用於使該機械手動作的作業程式。
根據該方式，三維平面檢測部基於由3D攝像機取得的點群數據來檢測三維平面，二維平面圖像生成部通過將構成該三維平面的點群數據在以該三維平面為基準的垂直方向上進行投影，來生成二維平面圖像。並且，標誌檢測部從二維平面圖像檢測標誌，標誌位置算出部對於二維平面圖像中所含的標誌，算出三維平面中的三維坐標值（X，Y，Z）。攝像機坐標系設定部基於由標誌位置算出部算出的標誌的三維坐標來設定攝像機坐標系，程式生成部將攝像機坐標系中的機械手的動作路徑變換成在機器人控制裝置中設定的機器人坐標系，並生成用於使該機械手動作的作業程式。其結果，由於基於合適地檢測到的標誌的三維坐標來設定攝像機坐標系，生成作業程式，因此，能更簡易、合適地使機械手動作。
發明的效果 根據本發明，能提供能簡易地檢測標誌的位置的標誌檢測裝置以及利用其的機器人示教系統。
以下參考附圖來具體說明本發明的實施方式。另外，以下說明的實施方式只是舉出用於實施本發明的具體的一例，並不限定地解釋本發明。此外，為了使說明的理解容易，在各附圖中對相同構成要素盡可能標註相同附圖標記，有時省略重複的說明。
＜一實施方式＞
[焊接機器人系統的基本結構]
圖1是例示包含本發明的一實施方式所涉及的機器人示教系統的焊接機器人系統100的結構的圖。如圖1所示那樣，焊接機器人系統100例如具備拍攝終端1、機器人控制裝置2和機械手3。拍攝終端1和機器人控制裝置2例如經由網路N連接，機器人控制裝置2和機械手3例如經由通信線纜C連接。網路N可以是有線（包括通信線纜），也可以是無線。另外，可以在焊接機器人系統100中包含示教器。示教器是作業者對機械手3的動作進行示教的操作裝置。
機械手3是按照在機器人控制裝置2中設定的施工條件來進行電弧焊接的焊接機器人（產業用機器人）。機械手3例如具有：設置在固定於工廠的地面等的底座構件上的多關節臂31；和與多關節臂31的前端連結的焊炬32（末端執行器）。
機器人控制裝置2是控制機械手3的動作的控制元件，例如包含控制部21、存儲部22、通信部23以及焊接電源部24。
控制部21例如通過存處理器執行儲於存儲部22的作業程式，來控制機械手3以及焊接電源部24。
通信部23控制與經由網路N連接的拍攝終端1的通信，控制與經由通信線纜C連接的機械手3的通信。
焊接電源部24例如為了使焊絲的前端與工件之間產生電弧，按照預先確定的焊接的施工條件來將焊接電流以及焊接電壓等供給到機械手3。在焊接的施工條件中例如包含焊接條件、焊接開始位置、焊接結束位置、電弧放電的時間、焊接距離、焊炬的姿態以及焊炬的移動速度等數據項目。焊接電源部24可以與機器人控制裝置2分體地具備。
拍攝終端1是3D攝像機，取得與拍攝對象對應的坐標數據，使用點群數據來掌握該拍攝對象的形狀。例如，可以通過基於從不同的多個位置對拍攝對象拍攝而得到的多個圖像進行估算，來取得與拍攝對象對應的坐標數據。在該情況下，能使用基於公知的立體法的三維測量手法。此外，可以使用LiDAR（Light Detection and Ranging，光探測和測距）傳感器、毫米波傳感器、超聲波傳感器等距離測量傳感器，也可以對拍攝對象照射鐳射，基於其反射光取得點群數據，由此掌握該拍攝對象的形狀。
另外，3D攝像機可以是帶3D攝像機的可挪動型終端。可挪動型終端例如包含平板終端、智慧手機、便攜資訊終端（PDA）、筆記本PC（個人電腦）等能攜帶移動的終端。拍攝終端1例如包含控制部11、拍攝部12、通信部13、顯示部14。
控制部11通過處理器執行存放於記憶體的給定的程式，來控制拍攝終端1的各部。
拍攝部12如上述那樣，取得例如使用基於公知的立體法的三維測量手法取得的坐標數據、或用距離測量傳感器等進行3D掃描而取得的坐標數據，作為點群數據。另外，在點群數據中例如可以包含以三維坐標值（X，Y，Z）示出的位置（距離）資訊以及以（R，G，B）示出的顏色資訊。
通信部13控制與經由網路N連接的機器人控制裝置2的通信。
顯示部14例如是具有觸控面板的顯示器，基於由拍攝部12取得的點群數據來顯示被攝體的形狀，並且接受基於作業者的操作指示等輸入。顯示部14例如可以設為具有觸控面板的顯示器裝置，與拍攝終端1分體地具備。
[機器人示教系統的結構]
圖2是例示本發明的一實施方式所涉及的機器人示教系統200的功能結構的圖。如圖2所示那樣，機器人示教系統200作為功能結構例如具有拍攝部211、攝像機坐標系設定部212和程式生成部213，進而包含用於檢測成為用於設定攝像機坐標系的基準的標誌的標誌檢測裝置220。另外，標誌檢測裝置220包含三維平面檢測部221、二維平面圖像生成部222、標誌檢測部223和標誌位置算出部224。
這些功能當中的拍攝部211是拍攝終端1所具有的功能。另一方面，攝像機坐標系設定部212、程式生成部213以及標誌檢測裝置220中的各部可以在拍攝終端1以及機器人控制裝置2的任一者中具備全部，也可以在拍攝終端1以及機器人控制裝置2中分散具備各功能。此外，也可以是由拍攝終端1以及機器人控制裝置2以外的其他裝置具備上述功能的一部分或全部。
拍攝部211與拍攝終端1的拍攝部12相同，作為3D攝像機的功能，取得點群數據。另外，拍攝部211取得至少包含標誌以及成為焊接對象的工件的點群數據。
攝像機坐標系設定部212基於通過由拍攝部211取得的點群數據認識到的標誌來設定攝像機坐標系。例如，攝像機坐標系設定部212以通過由拍攝部211取得的點群數據認識到的標誌的位置為原點，來設定由在該原點相互正交的X軸、Y軸以及Z軸構成的三維的正交坐標系，作為攝像機坐標系。
圖3是表示標誌M設定在作為焊接對象的工件W、以該標誌M的位置為原點O來設定攝像機坐標系的情形的圖。如圖3所示那樣，標誌M設定在工件W的底板，攝像機坐標系設定部212以通過由拍攝部211取得的點群數據認識到的標誌M的位置為原點O，來設定由在該原點O相互正交的X軸、Y軸以及Z軸構成的三維的正交坐標系，作為攝像機坐標系。另外，原點O設定標誌M當中的任意的點。例如，作為原點O，設定標誌M當中的預先決定的一點、中心點、或所選擇的一點等即可。
標誌M只要是能使拍攝部211認識到正放置於空間內的識別符即可。作為標誌，例如優選使用AR標誌。在通過使用AR標誌認識到放置於空間內的AR標誌時，能簡易地實現使實際取得的點群數據顯示以該AR標誌為原點的攝像機坐標系。另外，關於檢測標誌M的標誌檢測裝置220的處理的詳細，之後敘述。
在由攝像機坐標系設定部212設定的攝像機坐標系中，基於從由拍攝部211取得的點群數據認識到的工件W的焊接位置L1、L2、L3來設定機械手3的動作路徑。例如，從由拍攝部211取得的點群數據認識焊接位置L1、L2、L3，用戶手動選擇機械手3（焊炬32）的動作路徑，或者算出該焊接位置L1、L2、L3與焊炬32的距離，來自動設定機械手3（焊炬32）的動作路徑，以使得安裝於機械手3的前端的焊炬32沿著工件W的焊接位置L1、L2、L3動作。
另一方面，機器人控制裝置2從與該機器人控制裝置2所控制的機械手3的各軸的角度相關的資訊等掌握該機械手3的位置姿態（機器人坐標系）。然後，能基於標誌M的設置位置和相對於該標誌M的設置位置的機械手3的位置姿態（設置位置），來進行用於使攝像機坐標系和機器人坐標系一致的校準。該校準例如通過使機械手3（焊炬32）的前端對準標誌M的設置位置來進行即可。
程式生成部213將攝像機坐標系中設定的機械手3的動作路徑從攝像機坐標系變換成機器人控制裝置2中設定的機器人坐標系，並生成用於使機械手3動作的作業程式。
如此地，在機器人示教系統200中，以從拍攝部211中取得的點群數據認識到的標誌M為基準來設定攝像機坐標系，將該攝像機坐標系中的焊接位置L1、L2、L3以及機械手3的動作路徑變換成機器人坐標系，並生成使得機械手3合適地在焊接位置L1、L2、L3進行焊接的作業程式。然後，該作業程式存儲在機器人控制裝置2中的存儲部，該機器人控制裝置2基於作業程式來控制機械手3的動作，由此，作為焊接機器人系統100，能在工件W的焊接位置L1、L2、L3合適地進行焊接。
[標誌檢測裝置220中的處理的詳細]
如上述那樣，由於以標誌M的位置為原點O來設定攝像機坐標系，因此，合適地檢測該標誌M的位置變得重要。以下詳細說明檢測標誌M的位置的標誌檢測裝置220的處理。
圖4是示意表示檢測設定在工件W的標誌M的位置的標誌檢測裝置220中的具體的處理的情形的圖。如圖4所示那樣，標誌檢測裝置220基於由3D攝像機取得的點群數據來檢測標誌M的位置。
如圖4的（a）所示那樣，描畫由3D攝像機取得的點群數據。例如，拍攝部211取得使用基於公知的立體法的三維測量手法取得的坐標數據、或用距離測量傳感器等進行3D掃描而取得的坐標數據，作為點群數據。
三維平面檢測部221基於由3D攝像機取得的點群數據來檢測三維空間中的平面即三維平面（圖4的（b））。例如，三維平面檢測部221基於由拍攝部211取得的點群數據，將給定的面積以上的平面設為三維平面，來檢測構成工件W的底板即平面Wa以及背板即平面Wb。
二維平面圖像生成部222通過將構成由三維平面檢測部221檢測到的三維平面的點群數據投影到二維平面，來生成二維平面圖像（圖4的（c）、（d））。例如，關於由三維平面檢測部221檢測到的平面Wa，所謂投影到二維平面，包括：使以三維坐標值（X，Y，Z）的位置示出的各點群數據在以該平面Wa為基準的垂直方向移動到與該平面Wa交叉的位置，來生成二維平面圖像。將各點群數據的三維坐標值（X，Y，Z）以及以（R，G，B）示出的顏色資訊基於平面Wa的平面的方程式來建立對應地變換成二維平面圖像的像素資訊（XY坐標值以及顏色資訊）。由此，如圖4的（d）所示那樣，二維平面圖像生成部222生成二維平面圖像Wa2。這時，在點群數據的粒度粗的情況下，二維平面圖像生成部222可以通過進行給定的影像處理（例如高斯模糊等的平滑化處理、像素插補處理等）來生成二維平面圖像Wa2。
標誌檢測部223從由二維平面圖像生成部222生成的二維平面圖像Wa2檢測標誌M（圖4的（e））。例如，標誌檢測部223通過與預先存儲的標誌的圖像進行圖案匹配，來從由二維平面圖像生成部222生成的二維平面圖像Wa2檢測標誌M。
標誌位置算出部224對於由標誌檢測部223檢測到的二維平面圖像Wa2中所含的標誌M，算出由三維平面檢測部221檢測為三維平面的平面Wa中的三維坐標（圖4的（f））。如使用圖4的（c）以及（d）說明的那樣，使構成平面Wa的點群數據的三維坐標值（X，Y，Z）在以該平面Wa為基準的垂直方向上移動到與該平面Wa交叉的位置，來生成二維平面圖像Wa2，但進行其相反的處理。即，將二維平面圖像Wa2中所含的標誌M的位置資訊變換成作為三維平面的平面Wa上的三維坐標值（X，Y，Z）。
如此地，標誌檢測裝置220合適地檢測設定在平面Wa上的標誌M的位置。
[標誌檢測方法]
接下來，具體地詳細說明本發明的一實施方式所涉及的標誌檢測裝置220檢測標誌的方法。
圖5是表示本發明的一實施方式所涉及的標誌檢測裝置220所執行的標誌檢測方法M100的處理的流程的流程圖。如圖5所示那樣，標誌檢測方法M100包含步驟S110～S140，各步驟由標誌檢測裝置220中所含的處理器來執行。
在步驟S110，標誌檢測裝置220基於由3D攝像機取得的點群數據來檢測三維空間中的平面即三維平面（三維平面檢測步驟）。作為具體例，標誌檢測裝置220中的三維平面檢測部221檢測構成工件W的平面Wa以及Wb等，作為給定的面積以上的平面。
在步驟S120，標誌檢測裝置220通過將構成步驟S110中檢測到的三維平面的點群數據投影到二維平面，來生成二維平面圖像（二維平面圖像生成步驟）。作為具體例，標誌檢測裝置220中的二維平面圖像生成部222對於步驟S110中檢測到的三維平面Wa，使以三維坐標值（X，Y，Z）的位置示出的各點群數據在以該平面Wa為基準的垂直方向上移動到與該平面Wa交叉的位置，來生成二維平面圖像Wa2。
在步驟S130，標誌檢測裝置220從步驟S120中生成的二維平面圖像檢測標誌M（標誌檢測步驟）。作為具體例，標誌檢測裝置220中的標誌檢測部223通過與預先存儲的標誌的圖像進行圖案匹配，來從二維平面圖像Wa2檢測標誌M。
在步驟S140，標誌檢測裝置220對於步驟S130中檢測到的二維平面圖像中所含的標誌M，算出步驟S110中檢測為三維平面的平面中的三維坐標（三維坐標算出步驟）。作為具體例，標誌檢測裝置220中的標誌位置算出部224將二維平面圖像Wa2中所含的標誌M的位置資訊變換成作為三維平面的平面Wa上的三維坐標值（X，Y，Z）。
如以上那樣，根據本發明的一實施方式所涉及的標誌檢測裝置220以及標誌檢測方法M100，三維平面檢測部221基於由3D攝像機取得的點群數據來檢測三維空間中的平面Wa以及Wb，二維平面圖像生成部222通過將構成該平面Wa的點群數據在以該平面Wa為基準的垂直方向上進行投影，來生成二維平面圖像Wa2。然後，標誌檢測部223從二維平面圖像Wa2檢測標誌M，標誌位置算出部224對於二維平面圖像Wa2中所含的標誌M，算出三維平面Wa中的三維坐標值（X，Y，Z）。由此，能合適地檢測設定在平面的標誌M的位置，即使不進行煩雜的攝像機參數的設定，也能簡易地檢測設定在平面的標誌M的位置。
進而，根據利用了本發明的一實施方式所涉及的標誌檢測裝置220的機器人示教系統200，攝像機坐標系設定部212基於由該標誌檢測裝置220合適地檢測到的標誌M的位置，來以該標誌M的位置為原點O設定攝像機坐標系。程式生成部213基於標誌M的設置位置，來將攝像機坐標系中設定的機械手3的動作路徑從攝像機坐標系變換成機器人控制裝置2中設定的機器人坐標系，並生成用於使機械手3動作的作業程式。由此，能在合適的焊接位置更簡易地進行焊接。
另外，在本實施方式中，標誌檢測部223對於由三維平面檢測部221檢測到的三維平面Wa以及Wb當中的平面Wa檢測標誌M。例如也可以是，由用戶選擇在多個平面當中的哪個平面包含標誌，還可以對多個平面當中的每一個平面檢測標誌。
實際上，用戶只要掌握設定標誌M的平面，就能通過選擇該平面，來使標誌檢測部223效率良好地檢測標誌M。
另一方面，例如，若對多個平面當中的每一個平面檢測標誌，通過可靠地推進處理，由此能自動地檢測標誌M。在此，關於對於多個平面以怎樣的順序檢測標誌，例如可以是按照面積從大到小的順序、距視野中心從近到遠的順序或它們的組合的順序，來進行處理。
考慮在由三維平面檢測部221檢測到的多個平面當中面積大的平面、距視野中心近的平面設定標誌M的可能高，能期待在對多個平面當中的每一個平面檢測標誌的過程中，在早期階段檢測到標誌。由此，有助於運算處理的減輕以及處理時間的縮短。
進而，關於對於多個平面以怎樣的順序檢測標誌，只要是能效率良好地檢測標誌的順序即可，並不限定於這些順序。
作為具體例，使用由給定顏色（例如紅色等）構成的標誌、或構成為較多地包含給定顏色的標誌。並且，在由三維平面檢測部221檢測到多個平面時，對於該多個平面，以從多到少包含該給定顏色的順序進行處理即可。對於多個平面，在構成各平面的點群數據中包含以（R，G，B）示出的顏色資訊，能基於該顏色資訊來判定各平面中所含的給定顏色資訊的比例。
如此地，通過使用給定顏色構成標誌，在由三維平面檢測部221檢測到多個平面的情況下，能效率良好地檢測包含標誌的平面。由此，有助於運算處理的減輕以及處理時間的縮短。
此外，在本實施方式中，舉出焊接機器人系統100的機器人示教系統200中所用的標誌檢測裝置220作為一例進行了說明，但使用標誌檢測裝置220的產業用機器人並不限定于焊接機器人系統100。例如，還能在進行電子部件以及機械部件的組裝、運送等的組裝機器人系統、運送機器人系統等中適用標誌檢測裝置220。
以上說明的實施方式用於使本發明的理解容易，並不限定地解釋本發明。實施方式所具備的各要素和其配置、材料、條件、形狀以及尺寸等並不限定於例示，能適宜變更。此外，能將不同的實施方式中示出的結構彼此部分地置換或組合。
1:拍攝終端 2:機器人控制裝置 3:機械手 11:控制部 12:拍攝部 13:通信部 14:顯示部 21:控制部 22:存儲部 23:通信部 24:焊接電源部 31:多關節臂 32:焊炬 100:焊接機器人系統 200:機器人示教系統 211:拍攝部 212:攝像機坐標系設定部 213:程式生成部 220:標誌檢測裝置 221:三維平面檢測部 222:二維平面圖像生成部 223:標誌檢測部 224:標誌位置算出部 C:通信線纜 N:網路 M:標誌 O:原點 W:工件 L1～L3:焊接位置 Wa,Wb:平面 Wa2:平面圖像 M100:標誌檢測方法 S110～S140:標誌檢測方法M100的各步驟
圖1是例示包含本發明的一實施方式所涉及的機器人示教系統的焊接機器人系統100的結構的圖。 圖2是例示本發明的一實施方式所涉及的機器人示教系統200的功能結構的圖。 圖3是表示標誌M設定在作為焊接對象的工件W、以該標誌M的位置為原點O來設定攝像機坐標系的情形的圖。 圖4是示意表示檢測設定在工件W的標誌M的位置的標誌檢測裝置220中的具體的處理的情形的圖。 圖5是表示本發明的一實施方式所涉及的標誌檢測裝置220所執行的標誌檢測方法M100的處理的流程的流程圖。
200:機器人示教系統
211:拍攝部
212:攝像機坐標系設定部
213:程式生成部
220:標誌檢測裝置
221:三維平面檢測部
222:二維平面圖像生成部
223:標誌檢測部
224:標誌位置算出部

Claims (5)

  1. 一種標誌檢測裝置，其特徵在於，具備： 三維平面檢測部，其基於由3D攝像機取得的點群數據，來檢測三維空間中的平面即三維平面； 二維平面圖像生成部，其通過將構成所檢測的所述三維平面的點群數據在以該三維平面為基準的垂直方向上進行投影，來生成二維平面圖像； 標誌檢測部，其從所生成的所述二維平面圖像檢測標誌；和 標誌位置算出部，其對於所檢測的所述二維平面圖像中所含的標誌，算出所述三維平面中的三維坐標。
  2. 如請求項1所述的標誌檢測裝置，其中： 所述標誌檢測部在由所述三維平面檢測部檢測到多個三維平面的情況下，對每一個平面檢測標誌。
  3. 如請求項2所述的標誌檢測裝置，其中： 所述標誌檢測部按照所述多個三維平面當中的面積從大到小的順序來檢測標誌。
  4. 如請求項2述的標誌檢測裝置，其中： 所述標誌檢測部按照所述多個三維平面當中的距視野中心從近到遠的順序來檢測標誌。
  5. 一種機器人示教系統，其特徵在於，具備： 拍攝部，其具有拍攝包含工件和標誌的圖像的3D攝像機； 三維平面檢測部，其基於由所述3D攝像機取得的點群數據，來檢測三維空間中的平面即三維平面； 二維平面圖像生成部，其通過將構成所檢測的所述三維平面的點群數據在以該三維平面為基準的垂直方向上進行投影，來生成二維平面圖像； 標誌檢測部，其從所生成的所述二維平面圖像來檢測標誌； 標誌位置算出部，其對於所檢測的所述二維平面圖像中所含的標誌，算出所述三維平面中的三維坐標； 攝像機坐標系設定部，其基於所算出的所述標誌的三維坐標來設定攝像機坐標系； 程式生成部，其將所述攝像機坐標系中的機械手的動作路徑變換成在機器人控制裝置中設定的機器人坐標系，同時生成用於使該機械手動作的作業程式。
TW111133907A 2021-11-05 2022-09-07 標誌檢測裝置以及機器人示教系統 TWI806762B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-181014 2021-11-05
JP2021181014A JP7177239B1 (ja) 2021-11-05 2021-11-05 マーカ検出装置及びロボット教示システム

Publications (2)

Publication Number Publication Date
TW202319196A true TW202319196A (zh) 2023-05-16
TWI806762B TWI806762B (zh) 2023-06-21

Family

ID=83081915

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111133907A TWI806762B (zh) 2021-11-05 2022-09-07 標誌檢測裝置以及機器人示教系統

Country Status (6)

Country Link
US (1) US20230143710A1 (zh)
EP (1) EP4177838A1 (zh)
JP (1) JP7177239B1 (zh)
KR (1) KR20230065879A (zh)
CN (1) CN116086311A (zh)
TW (1) TWI806762B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5785074B2 (ja) 2011-12-22 2015-09-24 国立大学法人 東京大学 モデル生成装置、モデル生成方法及びモデル生成プログラム
JP2016176816A (ja) 2015-03-20 2016-10-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11042146B2 (en) * 2017-11-17 2021-06-22 Kodak Alaris Inc. Automated 360-degree dense point object inspection
JP7359633B2 (ja) * 2019-10-17 2023-10-11 ファナック株式会社 ロボットシステム
JP2021085751A (ja) * 2019-11-27 2021-06-03 倉敷紡績株式会社 作業位置決定方法、ロボット制御方法、作業位置決定装置、およびロボット制御システム

Also Published As

Publication number Publication date
TWI806762B (zh) 2023-06-21
JP7177239B1 (ja) 2022-11-22
EP4177838A1 (en) 2023-05-10
CN116086311A (zh) 2023-05-09
US20230143710A1 (en) 2023-05-11
JP2023069265A (ja) 2023-05-18
KR20230065879A (ko) 2023-05-12

Similar Documents

Publication Publication Date Title
TWI807990B (zh) 機器人示教系統
JP7176148B1 (ja) 溶接線検出システム
TWI806762B (zh) 標誌檢測裝置以及機器人示教系統
TWI806761B (zh) 標誌檢測裝置以及機器人示教系統
TWI822314B (zh) 焊接線檢測系統
TWI818717B (zh) 作業程式作成系統以及作業程式作成方法
JP7228070B1 (ja) 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム
JP7195476B1 (ja) 作業プログラム作成システム及び作業プログラム作成方法
JP2023069274A (ja) 座標系変換システム及び座標系変換方法
JP7433501B1 (ja) 干渉判定装置
JP7423851B1 (ja) 端末装置
WO2023073959A1 (ja) 作業支援装置及び作業支援方法
TW202348378A (zh) 非易失性的電腦可讀取媒體、標記位置登記裝置、方法以及其中使用的標記
JP2024025074A (ja) マーカ位置登録装置、マーカ位置登録プログラム及びマーカ位置登録方法
TW202313284A (zh) 焊接程式作成系統以及焊接程式作成方法