TWI806761B - 標誌檢測裝置以及機器人示教系統 - Google Patents

標誌檢測裝置以及機器人示教系統 Download PDF

Info

Publication number
TWI806761B
TWI806761B TW111133904A TW111133904A TWI806761B TW I806761 B TWI806761 B TW I806761B TW 111133904 A TW111133904 A TW 111133904A TW 111133904 A TW111133904 A TW 111133904A TW I806761 B TWI806761 B TW I806761B
Authority
TW
Taiwan
Prior art keywords
marker
plane
unit
mark
point cloud
Prior art date
Application number
TW111133904A
Other languages
English (en)
Other versions
TW202319195A (zh
Inventor
池口誠人
Original Assignee
日商達誼恆股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商達誼恆股份有限公司 filed Critical 日商達誼恆股份有限公司
Publication of TW202319195A publication Critical patent/TW202319195A/zh
Application granted granted Critical
Publication of TWI806761B publication Critical patent/TWI806761B/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G06T3/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/02—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of industrial processes; of machinery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

本發明提供能高精度地檢測標誌的位置的標誌檢測裝置以及利用其的機器人示教系統。標誌檢測裝置（220）具備：圖像生成部（221），其在由2D攝像機取得的圖像數據重疊由從與該2D攝像機相同視點拍攝的3D攝像機取得的點群數據，來生成合成圖像；標誌位置算出部（222），其基於圖像數據，來檢測標誌並算出位置；平面檢測部（223），其基於點群數據來檢測平面；標誌平面判定部（224），其根據基於由標誌位置算出部（222）算出的標誌的位置的標誌的區域內的點群數據和由平面檢測部（223）檢測到的平面，來判定標誌平面；和標誌位置補正部（225），其通過將由標誌位置算出部（222）算出的標誌的位置投影到標誌平面，來補正標誌的位置。

Description

標誌檢測裝置以及機器人示教系統
本發明涉及標誌檢測裝置以及機器人示教系統。
近年來，在產業界普及了大量機器人。該機器人例如用在電子部件以及機械部件的組裝、焊接以及運送等中，謀求工廠的生產線的效率化以及自動化。
例如在焊接機器人中，需要作成用於進行所期望的動作的程式，並作為所謂示教數據預先存儲。操作者使用示教器，與機器人控制裝置協作地操作實際的機器人，由此記錄該動作，來生成該示教數據。
為了讓操作者使用示教器實際使機器人動作的同時作成示教數據，對操作者的技能的依賴度大，有時需要長時間，因此，為了減輕給操作者的負擔，公開了使用AR設備以及標誌來認識機器人的位置的機器人系統（例如專利文獻1）。
在專利文獻1公開的技術中，用AR設備同時檢測二個基準用標誌，進而認識與機器人坐標系確定用標誌的位置關係，由此抑制AR圖形的顯示位置偏離，並認識機器人的位置、朝向。在這樣的機器人系統中，為了精度良好地認識工件以及機器人的位置、朝向，需要適當地檢測成為基準的標誌。
現有技術文獻 專利文獻 專利文獻1：JP特開2021-62463號公報
但在專利文獻1公開的技術中，在標誌的檢測中，例如在使用二維攝像機的情況下，會在影像處理中的輪廓判定時等，標誌的輪廓位置出現偏離，或者原本就由於鏡頭的失真等，對應於視野角位置而發生標誌圖像失真，從而有可能與實際的標誌的位置產生誤差。
為此，本發明目的在於，提供能高精度地檢測標誌的位置的標誌檢測裝置以及利用其的機器人示教系統。
本發明的一方式所涉及的標誌檢測裝置具備：圖像生成部，其在由2D攝像機取得的圖像數據重疊由從與該2D攝像機相同視點拍攝的3D攝像機取得的點群數據，來生成合成圖像；標誌位置算出部，其基於合成圖像當中的圖像數據，來檢測標誌並算出該標誌的位置；平面檢測部，其基於合成圖像當中的點群數據來檢測平面；標誌平面判定部，其基於從由標誌位置算出部算出的標誌的位置檢測到的標誌的區域內所含的點群數據和由平面檢測部檢測到的平面，來判定該標誌所存在的標誌平面；和標誌位置補正部，其通過將由標誌位置算出部算出的標誌的位置投影到標誌平面，來補正該標誌的位置。
根據該方式，標誌位置算出部基於由圖像生成部生成的圖像數據與點群數據的合成圖像當中的圖像數據，來檢測標誌並算出該標誌的位置，平面檢測部基於合成圖像當中的點群數據來檢測平面。並且，標誌平面判定部基於從由標誌位置算出部算出的標誌的位置檢測到的標誌的區域內所含的點群數據和由平面檢測部檢測到的平面，來判定該標誌所存在的標誌平面，標誌位置補正部通過將由標誌位置算出部算出的標誌的位置投影到標誌平面，來補正該標誌的位置。由此，能高精度地檢測標誌的位置。另外，雖然也考慮僅使用距離攝像機等來認識標誌的位置，但由於用點群數據形成的圖像的解析度低，因此不能在該圖像上認識標誌的位置，或者即使認識出，進行檢測的位置的精度也會變低。與其相比，在本發明的一方式所涉及的標誌檢測裝置中，由於使用圖像數據和點群數據，因此能高精度地檢測標誌的位置。
在上述方式中，也可以是，標誌平面判定部在合成圖像中檢測到的標誌的區域內的點群數據當中的給定比例以上的點群數據包含在由平面檢測部檢測到的平面中的情況下，將該平面判定為標誌平面。
根據該方式，標誌平面判定部由於使用點群數據來判定標誌所存在的平面，因此，能適當地判定在由平面檢測部檢測到的平面中是否存在標誌。其結果，在由平面檢測部檢測到的平面存在標誌的情況下，將由平面檢測部檢測到的平面判定為標誌平面，標誌位置補正部通過將由標誌位置算出部算出的標誌的位置投影到該標誌平面，來補正該標誌的位置。由此，能適當且高精度地檢測標誌的位置。
在上述方式中，也可以是，標誌平面判定部在合成圖像中檢測到的標誌的區域內的點群數據當中的給定比例以上的點群數據未包含在由平面檢測部檢測到的平面中的情況下，將由該標誌的區域內的點群數據構成的虛擬平面判定為標誌平面。
根據該方式，標誌平面判定部由於使用點群數據來判定標誌所存在的平面，因此能適當地判定在由平面檢測部檢測到的平面中是否存在標誌。其結果，在由平面檢測部檢測到的平面中不存在標誌的情況下，將由該標誌的區域內的點群數據構成的虛擬平面判定為標誌平面，標誌位置補正部通過將由標誌位置算出部算出的標誌的位置投影到該標誌平面，來補正該標誌的位置。由此，能適當且高精度地檢測標誌的位置。
在上述方式中，也可以是，標誌平面判定部執行如下處理：在標誌設定在工件的情況下，將由平面檢測部檢測到的平面判定為標誌平面，在標誌設定在機械手的情況下，將由合成圖像中檢測到的標誌的區域內的點群數據構成的虛擬平面判定為標誌平面。
根據該方式，標誌平面判定部在標誌設定在工件的情況下，將由平面檢測部檢測到的平面判定為標誌平面，在標誌設定在機械手的情況下，將由該標誌的區域內的點群數據構成的虛擬平面判定為標誌平面。即，標誌平面判定部能對應於標誌的設定位置來適當地判定標誌平面。其結果，標誌位置補正部能通過將由標誌位置算出部算出的標誌的位置投影到由標誌平面判定部判定的標誌平面，來適當地補正該標誌的位置。
本發明的一方式所涉及的機器人示教系統具備：拍攝部，其具有拍攝包含工件和標誌的圖像的2D攝像機以及從與該2D攝像機相同視點進行拍攝的3D攝像機；圖像生成部，其在由2D攝像機取得的圖像數據重疊由所述3D攝像機取得的點群數據，來生成合成圖像；標誌位置算出部，其基於合成圖像當中的圖像數據，來檢測標誌並算出該標誌的位置；平面檢測部，其基於合成圖像當中的點群數據來檢測平面；標誌平面判定部，其基於從由標誌位置算出部算出的標誌的位置檢測到的標誌的區域內所含的點群數據和由平面檢測部檢測到的平面，來判定該標誌所存在的標誌平面；標誌位置補正部，其通過將由標誌位置算出部算出的標誌的位置投影到標誌平面，來補正該標誌的位置；攝像機坐標系設定部，其基於所補正的標誌的位置來設定攝像機坐標系；和程式生成部，其將攝像機坐標系中的機械手的動作路徑變換成在機器人控制裝置中設定的機器人坐標系，並生成用於使該機械手動作的作業程式。
根據該方式，拍攝部具有2D攝像機以及從與該2D攝像機相同視點進行拍攝的3D攝像機，標誌位置算出部基於由圖像生成部生成的圖像數據與點群數據的合成圖像當中的圖像數據，來檢測標誌並算出該標誌的位置，平面檢測部基於合成圖像當中的點群數據來檢測平面。並且，標誌平面判定部基於從由標誌位置算出部算出的標誌的位置檢測到的標誌的區域內所含的點群數據和由平面檢測部檢測到的平面，來判定該標誌所存在的標誌平面，標誌位置補正部通過將由標誌位置算出部算出的標誌的位置投影到標誌平面來補正該標誌的位置。攝像機坐標系設定部基於由標誌位置補正部補正過的標誌的位置來設定攝像機坐標系，程式生成部將攝像機坐標系中的機械手的動作路徑變換成在機器人控制裝置中設定的機器人坐標系，並生成用於使機械手動作的作業程式。其結果，由於基於更高精度地檢測到的標誌的位置來設定攝像機坐標系，生成作業程式，因此，能更高精度且適當地使機械手動作。
發明的效果 根據本發明，能提供能高精度地檢測標誌的位置的標誌檢測裝置以及利用其的機器人示教系統。
以下參考附圖來具體說明本發明的實施方式。另外，以下說明的實施方式只是舉出用於實施本發明的具體的一例，並不限定地解釋本發明。此外，為了使說明的理解容易，在各附圖中對相同的構成要素盡可能標註相同的附圖標記，有時省略重複的說明。
＜第一實施方式＞
[焊接機器人系統的基本結構]
圖1是例示包含本發明的第一實施方式所涉及的機器人示教系統的焊接機器人系統100的結構的圖。如圖1所示那樣，焊接機器人系統100例如具備拍攝終端1、機器人控制裝置2和機械手3。拍攝終端1和機器人控制裝置2例如經由網路N連接，器人控制裝置2和機械手3例如經由通信線纜C連接。網路N可以是有線（包含通信線纜），也可以是無線。另外，可以在焊接機器人系統100中包含示教器。示教器是作業者示教機械手3的動作的操作裝置。
機械手3是按照機器人控制裝置2中設定的施工條件來進行電弧焊接的焊接機器人（產業用機器人）。機械手3例如具有：設置在固定於工廠的地板面等的底座構件上的多關節臂31；和與多關節臂31的前端連結的焊炬32（末端執行器）。
機器人控制裝置2是控制機械手3的動作的控制元件，例如包含控制部21、存儲部22、通信部23以及焊接電源部24。
控制部21例如通過由處理器執行存儲於存儲部22的作業程式，來控制機械手3以及焊接電源部24。
通信部23控制與經由網路N連接的拍攝終端1的通信，控制與經由通信線纜C連接的機械手3的通信。
焊接電源部24例如為了在焊絲的前端與工件之間使電弧產生，按照預先確定的焊接的施工條件，將焊接電流以及焊接電壓等供給到機械手3。在焊接的施工條件中，例如包含焊接條件、焊接開始位置、焊接結束位置、電弧放電的時間、焊接距離、焊炬的姿態以及焊炬的移動速度等數據項目。焊接電源部24可以與機器人控制裝置2分體地具備。
拍攝終端1例如是數位攝像機（2D攝像機），可以是帶數位攝像機的可挪動型終端。可挪動型終端例如包含平板終端、智慧手機、便攜資訊終端（PDA）、筆記本PC（個人電腦）等能攜帶移動的終端。拍攝終端1例如包含控制部11、拍攝部12、通信部13、顯示部14。
控制部11通過由處理器執行存放於記憶體的給定的程式，來控制拍攝終端1的各部。
拍攝部12例如包含鏡頭以及攝像元件（圖像傳感器），將在鏡頭受光的被攝體的光變換成電信號（數位圖像數據）。
通信部13控制與經由網路N連接的機器人控制裝置2的通信。
顯示部14例如是具有觸控面板的顯示器，顯示通過拍攝部12得到的被攝體的影像，接受作業者的操作指示等的輸入。顯示部14例如可以作為具有觸控面板的顯示器裝置，與拍攝終端1分體地具備。
進而，拍攝終端1還具有作為3D攝像機的功能，例如可以包含LiDAR（Light Detection and Ranging，光探測和測距）傳感器、毫米波傳感器、超聲波傳感器等距離測量傳感器。典型地，距離測量傳感器對測量對象照射鐳射，基於其反射光來掌握該測量對象的形狀，取得所謂3D掃描的數據，作為點群數據。另外，在點群數據中，例如可以包含以三維坐標值（X，Y，Z）示出的位置（距離）資訊以及以（R，G，B）示出的色資訊。
另外，取得上述的圖像數據的2D攝像機和取得點群數據的3D攝像機可以構成為一個拍攝終端，使其包含兩功能，也可以構成為構成各個功能的分開的拍攝終端。
[機器人示教系統的結構]
圖2是例示本發明的第一實施方式所涉及的機器人示教系統200的功能結構的圖。如圖2所示那樣，機器人示教系統200作為功能結構，例如具有拍攝部211、攝像機坐標系設定部212和程式生成部213，進而，包含用於檢測成為用於設定攝像機坐標系的基準的標誌的標誌檢測裝置220。另外，標誌檢測裝置220包含圖像生成部221、標誌位置算出部222、平面檢測部223、標誌平面判定部224和標誌位置補正部225。
這些功能當中的拍攝部211是拍攝終端1所具有的功能。另一方面，攝像機坐標系設定部212、程式生成部213以及標誌檢測裝置220中的各部可以在拍攝終端1以及機器人控制裝置2的任一者中具備全部，也可以在拍攝終端1以及機器人控制裝置2中分散具備各功能。此外，也可以是，拍攝終端1以及機器人控制裝置2以外的其他裝置具備上述功能的一部分或全部。
拍攝部211與拍攝終端1的拍攝部12相同，作為2D攝像機的功能，取得圖像數據。進而，拍攝部211作為3D攝像機的功能，取得點群數據。另外，拍攝部211取得至少包含標誌以及成為焊接對象的工件的圖像。
攝像機坐標系設定部212基於由拍攝部211拍攝到的圖像中所含的標誌來設定攝像機坐標系。例如，攝像機坐標系設定部212在由拍攝部211拍攝到的圖像中，以標誌的位置為原點來設定由在該原點相互正交的X軸、Y軸以及Z軸構成的三維的正交坐標系，作為攝像機坐標系。
圖3是表示標誌M設定在作為焊接對象的工件W、以該標誌M的位置為原點O來設定攝像機坐標系的情形的圖。如圖3所示那樣，標誌M設定在工件W的底板，攝像機坐標系設定部212以由拍攝部211拍攝到的圖像中所含的標誌M的位置為原點O來設定由在該原點O相互正交的X軸、Y軸以及Z軸構成的三維的正交坐標系，作為攝像機坐標系。另外，原點O設定標誌M當中的任意的點。例如，作為原點O，設定標誌M當中的預先決定的一點、中心點或所選擇的一點等即可。
在此，在從由拍攝部211拍攝到的圖像檢測標誌M時，標誌檢測裝置220基於由2D攝像機取得的圖像數據和由所述3D攝像機取得的點群數據來適當檢測該標誌M的位置。
標誌M只要是能使拍攝部211認識到正放置於空間內的識別符即可。作為標誌，例如優選使用AR標誌。通過使用AR標誌，在認識到放置於空間內的AR標誌時，能簡易地實現使以該AR標誌為原點的用戶坐標系與實際的影像重合顯示。另外，關於檢測標誌M的標誌檢測裝置220的處理的詳細，之後敘述。
在由攝像機坐標系設定部212設定的攝像機坐標系中，基於由拍攝部211拍攝到的圖像中所含的工件W的焊接位置L1、L2、L3來設定機械手3的動作路徑。例如，用戶手動選擇機械手3（焊炬32）的動作路徑，或者算出該焊接位置L1、L2、L3與焊炬32的距離來自動設定機械手3（焊炬32）的動作路徑，以使得在由拍攝部211拍攝到的圖像中，安裝於機械手3的前端的焊炬32沿著工件W的焊接位置L1、L2、L3來動作。
另一方面，機器人控制裝置2從與該機器人控制裝置2所控制的機械手3的各軸的角度相關的資訊等掌握該機械手3的位置姿態（機器人坐標系）。然後，基於標誌M的設置位置和相對於該標誌M的設置位置的機械手3的位置姿態（設置位置），來進行用於使攝像機坐標系和機器人坐標系一致的校準。該校準例如通過使機械手3（焊炬32）的前端對準標誌M的設置位置來進行即可。
程式生成部213將攝像機坐標系中設定的機械手3的動作路徑從攝像機坐標系變換成機器人控制裝置2中設定的機器人坐標系，並生成用於使機械手3動作的作業程式。
如此地，在機器人示教系統200中，從用拍攝部211拍攝到的圖像檢測標誌M，來設定攝像機坐標系，將該攝像機坐標系中的焊接位置L1、L2、L3以及機械手3的動作路徑變換成機器人坐標系，並生成使得機械手3適當地在焊接位置L1、L2、L3進行焊接的作業程式。然後，將該作業程式存儲到機器人控制裝置2中的存儲部，該機器人控制裝置2基於作業程式來控制機械手3的動作，由此，作為焊接機器人系統，能在工件W的焊接位置L1、L2、L3適當地進行焊接。
[標誌檢測裝置220中的處理的詳細]
如上述那樣，由於以標誌M的位置為原點O來設定攝像機坐標系，因此適當地檢測該標誌M的位置變得重要。以下詳細說明檢測標誌M的位置的標誌檢測裝置220的處理。
圖4是示意表示檢測設定在工件W的標誌M的位置的標誌檢測裝置220中的具體的處理的情形的圖。如圖4所示那樣，標誌檢測裝置220基於由2D攝像機取得的圖像數據和由所述3D攝像機取得的點群數據來檢測標誌M的位置。
圖像生成部221在由2D攝像機取得的圖像數據上重疊由所述3D攝像機取得的點群數據，來生成合成圖像（圖4的（a））。例如，由數位攝像機拍攝成包含作為焊接對象的工件W以及標誌M，將該拍攝到的圖像作為由2D攝像機取得的圖像數據進行保存。由距離測量傳感器測量與作為焊接對象的工件W以及標誌M對應的位置（距離）資訊，取得該位置（距離）資訊，作為以三維坐標值（X，Y，Z）示出的點群數據。然後，圖像生成部221，通過在由2D攝像機取得的圖像數據上重疊點群數據，來生成合成圖像。具體地，在與由所述3D攝像機取得的點群數據的一點一點對應的三維坐標值（X，Y，Z）以及RGB值上附加在由2D攝像機取得的圖像數據中吻合的像素（XY坐標值）資訊即可。如此地，基於由2D攝像機取得的圖像數據的給定的描畫範圍、和構成由3D攝像機取得的點群數據的各繪製的位置，被記錄成分別對應。
另外，圖像生成部221為了在由2D攝像機取得的圖像數據上重疊由3D攝像機取得的點群數據，掌握2D攝像機與3D攝像機的相對位置姿態為好。由2D攝像機取得的圖像數據和由3D攝像機取得的點群數據典型地是從相同視點拍攝的。
標誌位置算出部222基於由圖像生成部221生成的合成圖像當中的圖像數據，來檢測標誌M，並算出該標誌M的位置（圖4的（b））。例如，標誌位置算出部222從由圖像生成部221生成的合成圖像當中的圖像數據中使用給定的影像處理等來檢測預先設定的標誌M的圖像圖案。然後，標誌位置算出部222對於從該圖像數據檢測到的標誌M，從圖像數據中的坐標變換成空間中的坐標，來算出三維位置。在此，所謂標誌M的位置，可以是該標誌M的輪廓範圍位置，也可以是該標誌M的4角的點的位置。
標誌位置算出部222例如基於包含攝像機的位置、視線方向、鏡頭失真、變焦、解析度以及其他設定值等的預先設定的攝像機參數等，來算出從圖像數據檢測到的標誌M的三維位置即可。此外，標誌位置算出部222能從算出的標誌M的三維位置掌握該標誌M的區域內所含的點群數據Dm。
在此，由標誌位置算出部222算出的標誌M的三維位置由於是基於由2D攝像機取得的圖像數據算出的，因此，有時會與實際的標誌M的位置產生誤差（圖4的（c））。
平面檢測部223基於由圖像生成部221生成的合成圖像當中的點群數據來檢測平面（圖4的（d））。例如，在此，平面檢測部223檢測工件W的底板即平面Wa以及背板即平面Wb，作為給定的面積以上的平面。
標誌平面判定部224基於合成圖像中檢測到的標誌M的區域內所含的點群數據Dm和由平面檢測部223檢測到的平面Wa以及Wb，來判定該標誌M所存在的標誌平面（圖4的（e））。例如，在此，標誌平面判定部224，判定標誌M的區域內所含的點群數據Dm是否包含在構成平面Wa（Wb）的點群數據中。具體地，若標誌M的區域內所含的點群數據Dm當中的給定比例（例如20%～80%）以上的點群數據包含在構成平面Wa的點群數據中，標誌平面判定部224就可以視作標誌M存在於平面Wa上，將平面Wa判定為標誌平面。
另一方面，如圖4所示那樣，由於標誌M的區域內所含的點群數據Dm未包含在構成平面Wb的點群數據中，因此，標誌平面判定部224不將平面Wb判定為標誌平面。
標誌位置補正部225通過將由標誌位置算出部222算出的標誌M的位置投影到由標誌平面判定部224判定的標誌平面，來補正該標誌M的位置（圖4的（f））。例如，標誌位置補正部225將由標誌位置算出部222算出的標誌M的位置對由標誌平面判定部224判定為標誌平面的平面Wa在垂直方向上進行投影。即，判定為使從由標誌位置算出部222算出的標誌M的位置檢測到的該標誌M的輪廓範圍位置在以平面Wa為基準的垂直方向上移動，標誌M被置於與平面Wa交叉的位置。然後，將投影到該平面Wa的標誌M的位置設為設置該標誌M的位置。
如此地，標誌檢測裝置220由於將基於由2D攝像機取得的圖像數據算出的標誌M的位置通過基於由3D攝像機取得的點群數據投影到該標誌M所存在的標誌平面（在此是平面Wa）來進行補正，因此高精度地檢測標誌M的位置。
如以上那樣，根據本發明的第一實施方式所涉及的標誌檢測裝置220，標誌位置算出部222基於由圖像生成部221生成的圖像數據與點群數據的合成圖像當中的圖像數據，來檢測標誌M，並算出該標誌M的位置。平面檢測部223基於該合成圖像當中的點群數據，來檢測平面Wa以及Wb。然後，標誌平面判定部224基於由標誌位置算出部222檢測到的標誌M的區域內所含的點群數據Dm和由平面檢測部223檢測到的平面Wa以及Wb，來判定該標誌M所存在的標誌平面（本實施方式中是平面Wa），標誌位置補正部225通過將由標誌位置算出部222算出的標誌M的位置投影到標誌平面，來補正該標誌M的位置。由此，能高精度地檢測標誌M的位置。
進而，根據利用了本發明的第一實施方式所涉及的標誌檢測裝置220的機器人示教系統200，攝像機坐標系設定部212基於由該標誌檢測裝置220高精度地檢測到的標誌M的位置，來以該標誌M的位置為原點O來設定攝像機坐標系。程式生成部213基於標誌M的設置位置，來將攝像機坐標系中設定的機械手3的動作路徑從攝像機坐標系變換成在機器人控制裝置2中設定的機器人坐標系，並生成用於使機械手3動作的作業程式。由此，能在適當的焊接位置更高精度地進行焊接。
另外，在本實施方式中，基於標誌M的區域內所含的點群數據Dm和構成平面Wa的點群數據，視作標誌M存在於平面Wa上，標誌平面判定部224將平面Wa判定為標誌平面，但將平面Wa判定為標誌平面的方法並不限定於此。例如，可以是，用戶選擇標誌M所存在的平面，將該選擇的平面判定為標誌平面，在標誌M設定在工件W的情況下，可以將由平面檢測部223檢測到的平面的任一者判定為標誌平面，或者通過用戶從該平面選擇任一者，來判定標誌平面。
此外，在本實施方式中，標誌位置補正部225通過將由標誌位置算出部222算出的標誌M的位置投影到由標誌平面判定部224判定的標誌平面，來補正該標誌M的位置，但是例如，在補正前後的標誌M的位置大幅不同的情況下，考慮實際上標誌M並不存在於由標誌平面判定部224判定的標誌平面上的可能性。為此，也可以在補正前後的標誌M的位置的差超過給定的閾值的情況下，不將由標誌位置算出部222算出的標誌M的位置投影到由標誌平面判定部224判定的標誌平面（本實施方式中是平面Wa），將由該標誌位置算出部222算出的標誌M的位置作為標誌M的位置。
＜第二實施方式＞
接下來，在本發明的第二實施方式中，說明在標誌M設定在機械手3的情況下適當地檢測該標誌M的位置的情形。另外，機器人示教系統以及標誌檢測裝置由於是與使用圖1以及圖2說明的機器人示教系統200以及標誌檢測裝置220相同的結構，因此，對於相同的處理以及功能，有時省略詳細的說明，在本實施方式中，主要詳細說明與第一實施方式的不同點。
圖5是表示標誌M設定在機械手3、以該標誌M的位置為原點O來設定攝像機坐標系的情形的圖。如圖5所示那樣，標誌M設定在機械手3，攝像機坐標系設定部212將由拍攝部211拍攝到的圖像中所含的標誌M的位置作為原點O，設定由在該原點O相互正交的X軸、Y軸以及Z軸構成的三維的正交坐標系，作為攝像機坐標系。並且，在從由拍攝部211拍攝到的圖像檢測標誌M時，由標誌檢測裝置220基於由2D攝像機取得的圖像數據和由3D攝像機取得的點群數據來適當地檢測該標誌M的位置。
[標誌檢測裝置220中的處理的詳細]
以下詳細說明檢測本實施方式中的標誌M的位置的標誌檢測裝置220的處理。
圖6是示意表示檢測設定在機械手3的標誌M的位置的標誌檢測裝置220中的具體的處理的情形的圖。如圖6所示那樣，標誌檢測裝置220基於由2D攝像機取得的圖像數據和由3D攝像機取得的點群數據，來檢測標誌M的位置。
圖像生成部221在由2D攝像機取得的圖像數據上重疊由3D攝像機取得的點群數據，來生成合成圖像（圖6的（a）），標誌位置算出部222基於由圖像生成部221生成的合成圖像當中的圖像數據，來檢測標誌M，並算出該標誌M的位置（圖6的（b））。此外，標誌位置算出部222從所算出的標誌M的三維位置掌握該標誌M的區域內所含的點群數據Dm。這些與使用第一實施方式的圖4的（a）、（b）說明的處理同樣。
此外，標誌位置算出部222與第一實施方式的圖4的（c）同樣，都是基於由2D攝像機取得的圖像數據來算出由標誌位置算出部222算出的標誌M的三維位置，因此，有時與實際的標誌M的位置產生誤差（圖6的（c））。
平面檢測部223基於由圖像生成部221生成的合成圖像當中的點群數據來檢測平面圖6的（d））。例如，在此，平面檢測部223檢測工件W的底板即平面Wa以及背板即平面Wb，作為給定的面積以上的平面。
標誌平面判定部224基於合成圖像中檢測到的標誌M的區域內所含的點群數據Dm、和由平面檢測部223檢測到的平面Wa以及Wb，來判定該標誌M所存在的標誌平面（圖6的（e））。在本實施方式中，如圖5所示那樣，標誌M未設定在構成工件W的平面Wa以及Wb的任一者上，而是設定在機械手3上。為此，標誌平面判定部224判定為標誌M的區域內所含的點群數據Dm當中的給定比例（例如20%～80%）以上的點群數據未包含在構成平面Wa以及Wb的點群數據上，標誌M不存在於平面Wa以及Wb上。在該情況下，基於該標誌M的區域內所含的點群數據Dm來生成由該點群數據Dm構成的虛擬平面BP，將該虛擬平面BP判定為標誌M所存在的標誌平面（圖6的（e））。
標誌位置補正部225通過將由標誌位置算出部222算出的標誌M的位置投影到由標誌平面判定部224判定的標誌平面，來補正該標誌M的位置（圖6的（f））。例如，標誌位置補正部225將由標誌位置算出部222算出的標誌M的位置對由標誌平面判定部224判定為標誌平面的虛擬平面BP在垂直方向上進行投影。然後，將投影到該虛擬平面BP的標誌M的位置設為設置該標誌M的位置。
如此地，標誌檢測裝置220基於由3D攝像機取得的點群數據來生成該標誌M所虛擬存在的虛擬平面BP，將該虛擬平面BP作為標誌平面，將基於由2D攝像機取得的圖像數據算出的標誌M的位置通過投影到標誌平面（在此，虛擬平面BP）來進行補正，因此，高精度地檢測標誌M的位置。
如以上那樣，根據本發明的第二實施方式所涉及的標誌檢測裝置220，即使是實際上標誌M未設定在構成工件W的平面上的情況，標誌平面判定部224也基於標誌M的區域內所含的點群數據Dm，來將虛擬平面BP判定為標誌M所存在的標誌平面。然後，標誌位置補正部225將由標誌位置算出部222算出的標誌M的位置，通過投影到標誌平面來補正該標誌M的位置。由此，能高精度地檢測標誌M的位置。
另外，在本實施方式中，基於標誌M的區域內所含的點群數據Dm和構成平面Wa以及Wb的點群數據，來判定標誌M不存在於面Wa以及Wb上，但例如也可以根據標誌M設定在機械手3上，來判定為標誌M不存在於平面上，還可以通過用戶進行選擇，來判定為不存在於平面上。
此外，在本實施方式中，標誌平面判定部224，生成虛擬平面BP，並將該虛擬平面BP判定為標誌平面，但在用於生成虛擬平面BP的標誌M的區域內所含的點群數據Dm極端少的情況或偏差大的情況下，考慮不能適當地生成該虛擬平面的可能性。為此，在補正前後的標誌M的位置的差超過給定的閾值的情況下，也可以不將由標誌位置算出部222算出的標誌M的位置投影到由標誌平面判定部224判定的標誌平面（在本實施方式中是虛擬平面BP），而是將該由標誌位置算出部222算出的標誌M的位置設為標誌M的位置。
[標誌檢測方法]
接下來，具體詳細地說明本發明的第一以及第二實施方式所涉及的標誌檢測裝置220檢測標誌的方法。
圖7是表示本發明的第一以及第二實施方式所涉及的標誌檢測裝置220所執行的標誌檢測方法M100的處理的流程的流程圖。如圖7所示那樣，標誌檢測方法M100包含步驟S110～S170，各步驟由標誌檢測裝置220中所含的處理器執行。
在步驟S110，標誌檢測裝置220在由2D攝像機取得的圖像數據上重疊由3D攝像機取得的點群數據來生成合成圖像（合成圖像生成步驟）。作為具體例，標誌檢測裝置220中的圖像生成部221基於用數位攝像機拍攝成同時包含工件W以及標誌M的圖像數據、以及用距離測量傳感器測量的點群數據，來生成合成圖像。
在步驟S120，標誌檢測裝置220基於步驟S110中生成的合成圖像當中的圖像數據，來檢測標誌，並算出該標誌的位置（標誌位置算出部）。作為具體例，標誌檢測裝置220中的標誌位置算出部222從圖像數據檢測預先設定的標誌M的圖像圖案，基於攝像機參數等來算出標誌M的三維位置。
在步驟S130，標誌檢測裝置220基於步驟S110中生成的合成圖像當中的點群數據來檢測平面（平面檢測步驟）。作為具體例，標誌檢測裝置220中的平面檢測部223檢測構成工件W的平面Wa以及Wb等，作為給定的面積以上的平面。
在步驟S140，標誌檢測裝置220基於步驟S120中檢測到的標誌的區域內所含的點群數據和步驟S130中檢測到的平面，來判定該標誌所存在的標誌平面（標誌平面判定步驟）。作為具體例，標誌檢測裝置220中的標誌平面判定部224判定標誌M的區域內所含的點群數據Dm當中的給定比例以上的點群數據是否包含在構成步驟S130中檢測到的平面Wa（Wb）的點群數據中。
標誌平面判定部224在點群數據Dm當中的給定比例以上的點群數據包含在構成平面Wa（Wb）的點群數據中的情況下（標誌M存在於平面Wa的情況下），將步驟S130中檢測到的平面Wa判定為標誌平面（步驟S150）。
另一方面，標誌平面判定部224在點群數據Dm當中的給定比例以上的點群數據未包含在構成平面Wa（Wb）的點群數據中的情況下（標誌M不存在於平面Wa（Wb）的情況下），將由點群數據Dm構成的虛擬平面BP判定為標誌平面（步驟S160）。
在步驟S170，標誌檢測裝置220將步驟S120中算出的標誌的位置通過投影到步驟S150或步驟S160中判定的標誌平面，來補正該標誌的位置（標誌位置補正步驟）。作為具體例，標誌檢測裝置220中的標誌位置補正部225將步驟S120中算出的標誌M的位置通過投影到平面Wa或虛擬平面BP，來補正該標誌M的位置。
如以上那樣，根據標誌檢測方法M100，無論是標誌M存在於平面Wa等平面的情況，還是設定在機械手3等而不存在於平面的情況，都是通過在步驟S140掌握標誌M的狀態，來在步驟S150將平面Wa判定為標誌平面，或在步驟S160將虛擬平面BP判定為標誌平面。然後，在步驟S170中通過將標誌M的位置投影到標誌平面（平面Wa或虛擬平面BP），來補正該標誌M的位置。由此，不管是標誌M存在於平面Wa等平面的情況，還是設定在機械手3等而不存在於平面的情況，都能高精度地檢測標誌M的位置。
此外，在上述的各實施方式中，舉出焊接機器人系統100的機器人示教系統200中所用的標誌檢測裝置220為一例進行了說明，但使用標誌檢測裝置220的產業用機器人並不限定于焊接機器人系統100。例如，還能在進行電子部件以及機械部件的組裝、運送等的組裝機器人系統、運送機器人系統等中運用標誌檢測裝置220。
以上說明的實施方式用於使本發明的理解容易，並非限定地解釋本發明。實施方式所具備的各要素和其配置、材料、條件、形狀以及尺寸等並不限定於例示，能適宜變更。此外，能將以不同的實施方式示出的結構彼此部分地置換或組合。
1:拍攝終端 2:機器人控制裝置 3:機械手 11:控制部 12:拍攝部 13:通信部 14:顯示部 21:控制部 22:存儲部 23:通信部 24:焊接電源部 31:多關節臂 32:焊炬 100:焊接機器人系統 200:機器人示教系統 211:拍攝部 212:攝像機坐標系設定部 213:程式生成部 220:標誌檢測裝置 221:圖像生成部 222:標誌位置算出部 223:平面檢測部 224:標誌平面判定部 225:標誌位置補正部 C:通信線纜 N:網路 M:標誌 O:原點 W:工件 L1～L3:焊接位置 Dm:點群數據 Wa,Wb:平面 BP:虛擬平面 M100:標誌檢測方法 S110～S170:標誌檢測方法M100的各步驟
圖1是例示包含本發明的第一實施方式所涉及的機器人示教系統的焊接機器人系統100的結構的圖。 圖2是例示本發明的第一實施方式所涉及的機器人示教系統200的功能結構的圖。 圖3是表示標誌M設定在作為焊接對象的工件W、以該標誌M的位置為原點O來設定攝像機坐標系的情形的圖。 圖4是示意表示檢測設定在工件W的標誌M的位置的標誌檢測裝置220中的具體的處理的情形的圖。 圖5是表示標誌M設定在機械手3、以該標誌M的位置為原點O來設定攝像機坐標系的情形的圖。 圖6是示意表示檢測設定在機械手3的標誌M的位置的標誌檢測裝置220中的具體的處理的情形的圖。 圖7是表示本發明的第一以及第二實施方式所涉及的標誌檢測裝置220所執行的標誌檢測方法M100的處理的流程的流程圖。
200:機器人示教系統 211:拍攝部 212:攝像機坐標系設定部 213:程式生成部 220:標誌檢測裝置 221:圖像生成部 222:標誌位置算出部 223:平面檢測部 224:標誌平面判定部 225:標誌位置補正部

Claims (5)

  1. 一種標誌檢測裝置，其特徵在於，具備： 圖像生成部，其在由2D攝像機取得的圖像數據重疊由從與該2D攝像機相同視點拍攝的3D攝像機取得的點群數據，來生成合成圖像； 標誌位置算出部，其基於所述合成圖像當中的圖像數據，來檢測標誌並算出該標誌的位置； 平面檢測部，其基於所述合成圖像當中的點群數據來檢測平面； 標誌平面判定部，其基於從由所述標誌位置算出部算出的標誌的位置檢測到的所述標誌的區域內所含的點群數據和由所述平面檢測部檢測到的平面，來判定該標誌所存在的標誌平面；和 標誌位置補正部，其通過將由所述標誌位置算出部算出的所述標誌的位置投影到所述標誌平面，來補正該標誌的位置。
  2. 如請求項1所述的標誌檢測裝置，其中： 所述標誌平面判定部在所述合成圖像中檢測到的所述標誌的區域內的點群數據當中的給定比例以上的點群數據包含在由所述平面檢測部檢測到的平面中的情況下，將該平面判定為所述標誌平面。
  3. 如請求項1或2所述的標誌檢測裝置，其中： 所述標誌平面判定部在所述合成圖像中檢測到的所述標誌的區域內的點群數據當中的給定比例以上的點群數據未包含在由所述平面檢測部檢測到的平面中的情況下，將由該標誌的區域內的點群數據構成的虛擬平面判定為所述標誌平面。
  4. 如請求項1所述的標誌檢測裝置，其中： 所述標誌平面判定部執行如下處理： 在所述標誌設定在工件的情況下，將由所述平面檢測部檢測到的平面判定為所述標誌平面； 在所述標誌設定在機械手的情況下，將由所述合成圖像中檢測到的所述標誌的區域內的點群數據構成的虛擬平面判定為所述標誌平面。
  5. 一種機器人示教系統，其特徵在於，具備： 拍攝部，其具有拍攝包含工件和標誌的圖像的2D攝像機以及從與該2D攝像機相同視點進行拍攝的3D攝像機； 圖像生成部，其在由所述2D攝像機取得的圖像數據上重疊由所述3D攝像機取得的點群數據，來生成合成圖像； 標誌位置算出部，其基於所述合成圖像當中的圖像數據，來檢測所述標誌並算出該標誌的位置； 平面檢測部，其基於所述合成圖像當中的點群數據來檢測平面； 標誌平面判定部，其基於從由所述標誌位置算出部算出的標誌的位置檢測到的所述標誌的區域內所含的點群數據和由所述平面檢測部檢測到的平面，來判定該標誌所存在的標誌平面； 標誌位置補正部，其通過將由所述標誌位置算出部算出的所述標誌的位置投影到所述標誌平面，來補正該標誌的位置； 攝像機坐標系設定部，其基於所補正的所述標誌的位置來設定攝像機坐標系；和 程式生成部，其將所述攝像機坐標系中的機械手的動作路徑變換成在機器人控制裝置中設定的機器人坐標系，並生成用於使該機械手動作的作業程式。
TW111133904A 2021-11-05 2022-09-07 標誌檢測裝置以及機器人示教系統 TWI806761B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021181167A JP7183372B1 (ja) 2021-11-05 2021-11-05 マーカ検出装置及びロボット教示システム
JP2021-181167 2021-11-05

Publications (2)

Publication Number Publication Date
TW202319195A TW202319195A (zh) 2023-05-16
TWI806761B true TWI806761B (zh) 2023-06-21

Family

ID=83081705

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111133904A TWI806761B (zh) 2021-11-05 2022-09-07 標誌檢測裝置以及機器人示教系統

Country Status (6)

Country Link
US (1) US20230147940A1 (zh)
EP (1) EP4177837A1 (zh)
JP (1) JP7183372B1 (zh)
KR (1) KR20230065880A (zh)
CN (1) CN116086312A (zh)
TW (1) TWI806761B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013131171A (ja) * 2011-12-22 2013-07-04 Univ Of Tokyo モデル生成装置、モデル生成方法及びモデル生成プログラム
WO2014147863A1 (ja) * 2013-03-21 2014-09-25 日本電気株式会社 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム
JP2021062463A (ja) * 2019-10-17 2021-04-22 ファナック株式会社 ロボットシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6869159B2 (ja) * 2017-10-03 2021-05-12 株式会社ダイヘン ロボットシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013131171A (ja) * 2011-12-22 2013-07-04 Univ Of Tokyo モデル生成装置、モデル生成方法及びモデル生成プログラム
WO2014147863A1 (ja) * 2013-03-21 2014-09-25 日本電気株式会社 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム
JP2021062463A (ja) * 2019-10-17 2021-04-22 ファナック株式会社 ロボットシステム

Also Published As

Publication number Publication date
US20230147940A1 (en) 2023-05-11
JP2023069373A (ja) 2023-05-18
TW202319195A (zh) 2023-05-16
JP7183372B1 (ja) 2022-12-05
KR20230065880A (ko) 2023-05-12
EP4177837A1 (en) 2023-05-10
CN116086312A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN105269578B (zh) 指示装置以及机器人系统
JP6021533B2 (ja) 情報処理システム、装置、方法及びプログラム
TWI807990B (zh) 機器人示教系統
JP7176148B1 (ja) 溶接線検出システム
TWI806761B (zh) 標誌檢測裝置以及機器人示教系統
WO2023013740A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
TWI806762B (zh) 標誌檢測裝置以及機器人示教系統
TWI822314B (zh) 焊接線檢測系統
TWI818717B (zh) 作業程式作成系統以及作業程式作成方法
JP7423851B1 (ja) 端末装置
JP7195476B1 (ja) 作業プログラム作成システム及び作業プログラム作成方法
JP7228070B1 (ja) 点群データ合成装置、点群データ合成プログラム、点群データ合成方法及び点群データ合成システム
JP2023069274A (ja) 座標系変換システム及び座標系変換方法
WO2024048491A1 (ja) ロボットシステム、および、ロボットシステムの制御方法
JP2023087928A (ja) 溶接位置検出装置及びロボット教示システム