TWI839380B - 帶狀物的作業位置決定方法、機器人控制方法、帶狀物的作業位置決定裝置、帶狀物處理系統、帶狀物的三維測量方法及帶狀物的三維測量裝置 - Google Patents
帶狀物的作業位置決定方法、機器人控制方法、帶狀物的作業位置決定裝置、帶狀物處理系統、帶狀物的三維測量方法及帶狀物的三維測量裝置 Download PDFInfo
- Publication number
- TWI839380B TWI839380B TW108131151A TW108131151A TWI839380B TW I839380 B TWI839380 B TW I839380B TW 108131151 A TW108131151 A TW 108131151A TW 108131151 A TW108131151 A TW 108131151A TW I839380 B TWI839380 B TW I839380B
- Authority
- TW
- Taiwan
- Prior art keywords
- strip
- image
- side edge
- working position
- working
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000000691 measurement method Methods 0.000 title claims description 28
- 238000005259 measurement Methods 0.000 title claims description 22
- 238000012545 processing Methods 0.000 title claims description 18
- 238000005452 bending Methods 0.000 claims description 34
- 239000000284 extract Substances 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 27
- 238000010586 diagram Methods 0.000 description 16
- 238000013459 approach Methods 0.000 description 11
- 238000003466 welding Methods 0.000 description 4
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 2
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 2
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 238000009958 sewing Methods 0.000 description 2
- 238000001179 sorption measurement Methods 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
本發明提供一種不受由帶狀物的狀態所產生的限制,決定帶狀物的作業位置的方法。一種帶狀物的作業位置決定方法,具有:端邊座標取得步驟,取得帶狀物40的至少一端邊的三維座標;以及作業位置決定步驟,根據所述一端邊的三維座標,決定所述帶狀物的作業位置。較佳為所述端邊座標取得步驟是取得所述帶狀物的第一側端邊的三維座標的步驟,所述作業位置決定步驟是根據所述第一側端邊的三維座標,決定所述帶狀物的所述作業位置的步驟。
Description
本發明是有關於一種決定對於帶狀物的作業的作業位置的方法及裝置、以及使機械手針對該作業位置進行作業的機器人控制方法及帶狀物處理系統。另外,本發明是有關於一種使用立體相機進行帶狀物的三維測量的方法及裝置。
利用機器人來自動地進行對扁平電纜等具有可撓性的帶狀物進行處理的作業。於此種作業中,如何辨識並握持已彎曲或扭曲的狀態下的帶狀物成為問題。
於專利文獻1中記載有一種握持扁平電纜,並將前端的電纜用連接器插入接收側連接器的機械手。機械手將吸附部按壓於被貯存在台上的扁平電纜來吸附保持電纜,略微地舉起電纜後,將握持爪插入電纜的下側,藉此握持電纜。
於專利文獻2中記載有一種握持柔性扁平電纜等具有可撓性的長尺寸構件,並將前端的電纜側連接器與基板側連接器連接的機器人。機器人針對基端側被安裝於剛體的扁平電纜,利用機械手可滑動地夾持位置及姿勢的偏差比前端部小的基端部與握
持目標位置的中途部位,並使機械手一面朝握持目標位置滑動一面移動,藉此握持電纜。
[現有技術文獻]
[專利文獻]
[專利文獻1]日本專利特開2017-189850號公報
[專利文獻2]日本專利特開2015-030086號公報
但是,專利文獻1及專利文獻2中所揭示的方法並非進行處於由撓曲或扭曲所引起的變形未受到限制的自由狀態下的帶狀物或帶狀物的一部分的三維測量的方法。
於專利文獻1中所記載的握持方法中,必須事先將扁平電纜貯存於台上。因此,例如無法應用於辨識並握持被雜亂地收容於箱中的帶狀物、或被懸掛於空中的帶狀物。
於專利文獻2中所記載的握持方法中,需要長尺寸構件的基端側為被安裝於剛體的狀態,而無法應用於兩端均未被固定的帶狀物。另外,於專利文獻2中所記載的握持方法中,利用機械手夾持中途位置後,使機械手朝握持目標位置滑動,因此存在於機械手最終握持長尺寸構件之前耗費時間這一問題。
本發明是考慮所述情況而成,其目的在於提供一種不受由帶狀物的狀態所產生的限制,高速地進行帶狀物的三維測量的方法及裝置,決定帶狀物的握持等對於帶狀物的作業的作業位置
的方法及裝置,以及可利用機械手握持該作業位置的處理方法及系統。
本發明的帶狀物的作業位置決定方法具有:端邊座標取得步驟,取得帶狀物的至少一端邊的三維座標;以及作業位置決定步驟,根據所述至少一端邊的三維座標,決定所述帶狀物的作業位置。
此處,所謂帶狀物的端邊,是指構成帶狀物的平坦的兩面(表面與背面)的邊界部分的四條外周邊。端邊的三維座標是表示於三維空間內該端邊所佔據的位置,可為表示端邊的形狀的方程式,亦可為端邊上的點的三維座標的集合。另外,三維座標的取得不僅包含利用立體相機等三維測量裝置拍攝帶狀物來獲得三維座標,亦包含自儲存裝置等讀取事先儲存的帶狀物的三維座標資料。另外,所謂作業位置,是指於人或機器人對帶狀物進行握持、夾持、吸附等保持作業或塗佈、做標記、熔接、切斷、開孔、零件安裝、縫製、焊接等加工作業時,成為作業的目標位置的三維座標。藉由該方法,即便將要進行作業的帶狀物為產生了撓曲或扭曲的狀態,亦可針對帶狀物準確地決定作業位置。
較佳為所述端邊座標取得步驟是取得所述帶狀物的第一側端邊的三維座標的步驟,所述作業位置決定步驟是根據所述第一側端邊的三維座標,決定所述帶狀物的所述作業位置的步驟。此處,所謂側端邊,是指所述端邊之中,相當於長邊的兩邊
中的任一邊。
或者,較佳為所述端邊座標取得步驟是取得所述帶狀物的前端邊的三維座標的步驟,所述作業位置決定步驟是根據所述前端邊的三維座標,決定所述帶狀物的所述作業位置的步驟。此處,所謂前端邊,是指所述端邊之中,相當於短邊的兩邊中的任一邊。
較佳為所述帶狀物的作業位置決定方法進而具有根據所取得的所述端邊的三維座標,決定所述帶狀物的作業方向的作業方向決定步驟。此處,所謂作業方向,是指對帶狀物直接執行作業的末端執行器(end effector)等作業構件接近帶狀物的方向。換言之,所謂作業方向,是指對帶狀物進行作業的作業構件(例如,機械手或人的手、機械手或人的手握持的保持用具或加工用具)最終靠近帶狀物的作業位置為止時的行進方向。例如,於利用機械手的帶狀物的握持作業中,作業方向(握持方向)較佳為與帶狀物的作業位置(握持位置)附近的面平行、且與帶狀物的寬度方向形成規定的角度而朝向握持位置的方向,可將該方向設為作業方向。作業方向(握持方向)可對應於機械手的形狀或作業內容等而適宜設定。決定作業方向包含求出作業方向的三維向量。藉由該方法,即便帶狀物為已變形的狀態,亦可準確地決定作業方向。
本發明的機器人控制方法具有:所述任一種帶狀物的作業位置決定方法中的所述端邊座標取得步驟及所述作業位置決定
步驟、以及使機械手針對所述帶狀物的所述作業位置進行作業的作業步驟。較佳為所述作業步驟是將所述作業位置作為握持位置,利用所述機械手握持所述帶狀物的握持步驟。藉由該方法,可準確地握持無法應用教導或模式匹配等先前的方法的可撓性的帶狀物。
當於所述任一種帶狀物的作業位置決定方法中決定了作業方向時,本發明的另一機器人控制方法具有:該作業位置決定方法中的所述端邊座標取得步驟及所述作業位置決定步驟;以及於所述作業方向上,使機械手針對所述帶狀物的所述作業位置進行作業的作業步驟。較佳為本發明的另一機器人控制方法於所述作業步驟之前,進而具有於自所述作業位置朝所述作業方向的反向分離規定距離的位置設定作業跟前位置的作業跟前位置設定步驟。更佳為所述作業步驟是將所述作業位置作為握持位置,將所述作業方向作為握持方向,利用所述機械手握持所述帶狀物的握持步驟。藉由該方法,可準確地握持無法應用教導或模式匹配等先前的方法的可撓性的帶狀物。
本發明的帶狀物的作業位置決定裝置具有:三維測量裝置,對帶狀物進行測量;以及運算部,根據所述三維測量裝置所測量的所述帶狀物的至少一端邊的三維座標,算出所述帶狀物的作業位置並進行輸出。
本發明的帶狀物處理系統具有:所述作業位置決定裝置;以及機器人,包括握持所述帶狀物的機械手;且根據所述作
業位置決定裝置所輸出的所述作業位置,利用所述機械手握持所述帶狀物。
本發明的帶狀物的三維測量方法具有:拍攝步驟,取得自不同的視點拍攝帶狀物所得的第一圖像及第二圖像;提取步驟,於所述第一圖像及所述第二圖像中分別提取所述帶狀物的第一側端邊;以及三維計算步驟,根據自所述第一圖像中所提取的所述第一側端邊及自所述第二圖像中所提取的所述第一側端邊,算出所述第一側端邊的三維座標。
此處,所謂帶狀物的側端邊,是指位於帶狀物的外周的四邊之中,相當於長邊的兩邊中的任一邊。所謂第一側端邊的三維座標,是指表示於三維空間內第一側端邊所佔據的位置,可為表示第一側端邊的形狀的方程式,亦可為第一側端邊上的點的三維座標的集合。藉由該方法,對在第一圖像及第二圖像上所提取的第一側端邊進行處理,藉此不論帶狀物的撓曲或扭曲的狀態,均可高速地算出第一側端邊的三維座標。
較佳為所述提取步驟於所述第一圖像及所述第二圖像中分別進一步提取所述帶狀物的第二側端邊,所述三維計算步驟根據自所述第一圖像中所提取的所述第二側端邊及自所述第二圖像中所提取的所述第二側端邊,進一步算出所述第二側端邊的三維座標。藉由該方法,可高速地算出帶狀物的兩側的側端邊的三維座標,並可求出帶狀物的寬度方向的整體的三維座標。
更佳為所述提取步驟於所述第一圖像及所述第二圖像
中分別辨識所述帶狀物的第一角部及第二角部,並根據所述第一角部及所述第二角部來提取所述第一側端邊及所述第二側端邊。進而更佳為所述提取步驟於所述第一圖像及所述第二圖像中分別提取所述帶狀物的輪廓,並根據該輪廓來提取所述第一側端邊及所述第二側端邊。或者,進而更佳為所述提取步驟於所述第一圖像及所述第二圖像中分別提取所述帶狀物的輪廓,並根據該輪廓來辨識所述第一角部及所述第二角部。特佳為所述提取步驟於所述第一圖像及所述第二圖像中分別提取所述帶狀物的所述輪廓,將所述輪廓的兩個彎曲點作為所述第一角部及所述第二角部來辨識,且將所述輪廓之中,自所述第一角部朝與所述第二角部相反側延長的部分作為所述第一側端邊來選擇,將自所述第二角部朝與所述第一角部相反側延長的部分作為所述第二側端邊來選擇。藉由該些方法,可更高速地算出第一側端邊及第二側端邊的三維座標。
或者,於本發明的帶狀物的三維測量方法中,所述提取步驟於所述第一圖像及所述第二圖像中分別辨識所述帶狀物的第一角部,並提取所述第一側端邊。更佳為所述提取步驟於所述第一圖像及所述第二圖像中分別提取所述帶狀物的輪廓,並於該輪廓上辨識所述第一角部。藉由該些方法,可更高速地算出第一側端邊的三維座標。
更佳為所述提取步驟於所述第一圖像及所述第二圖像中分別提取所述帶狀物的所述輪廓,並於所述輪廓上辨識所述第
一角部,所述三維計算步驟根據所述第一圖像及所述第二圖像,於所述輪廓的三維座標上將所述第一角部以外的角部作為第二角部來辨識,並根據所述輪廓的三維座標及所述第二角部的三維座標,進一步算出第二側端邊的三維座標。藉此,即便當於第一圖像及第二圖像上無法辨識兩側的角部時,亦可更高速地算出第一側端邊及第二側端邊的三維座標。
較佳為所述之中算出第一側端邊及第二側端邊的三維座標的帶狀物的三維測量方法是用於對作業位置進行作業的帶狀物的三維測量方法,所述三維計算步驟於算出所述第一側端邊及所述第二側端邊的三維座標後,進而具有:於連結所述第一側端邊上的第一基準點與所述第二側端邊上的第二基準點的直線上設定作業位置,並算出該作業位置的三維座標的步驟;以及算出穿過所述作業位置朝所述帶狀物的面內方向伸長,並與所述帶狀物的寬度方向形成規定的角度的作業方向的步驟。此處,作業方向的三維座標是表示於三維空間內表示作業方向的直線所佔據的位置,可為該直線的向量方程式,亦可為該直線上的兩個以上的點的三維座標的集合。
本發明的另一帶狀物的三維測量方法具有:拍攝步驟,取得自不同的視點拍攝帶狀物所得的第一圖像及第二圖像;提取步驟,於所述第一圖像及所述第二圖像中分別提取所述帶狀物的前端邊;以及三維計算步驟,根據所述第一圖像及所述第二圖像,算出所述前端邊的三維座標。此處,所謂帶狀物的前端邊,是指
位於帶狀物的外周的四邊之中,相當於短邊的兩邊中的任一邊。
藉由該方法,對在第一圖像及第二圖像上所提取的前端邊進行處理,藉此不論帶狀物的撓曲或扭曲的狀態,均可高速地算出前端邊的三維座標。
本發明的另一帶狀物的三維測量方法是用於針對帶狀物決定作業位置的帶狀物的三維測量方法,具有:拍攝步驟,取得自不同的視點拍攝帶狀物所得的第一圖像及第二圖像;提取步驟,於所述第一圖像及所述第二圖像中分別提取所述帶狀物的第一側端邊或前端邊;三維計算步驟,根據自所述第一圖像中所提取的所述第一側端邊及自所述第二圖像中所提取的所述第一側端邊,算出所述第一側端邊的三維座標,或者根據自所述第一圖像中所提取的所述前端邊及自所述第二圖像中所提取的所述前端邊,算出所述前端邊的三維座標;以及作業位置計算步驟,根據所述第一側端邊或所述前端邊的三維座標,算出所述作業位置的三維座標。
此處,所謂作業位置,是指於人或機器人對帶狀物進行握持、夾持、吸附等保持作業或塗佈、做標記、熔接、切斷、開孔、零件安裝、縫製、焊接等加工作業時,成為作業的目標位置的三維座標。藉由該方法,即便將要進行作業的帶狀物為產生了撓曲或扭曲的狀態,亦可針對帶狀物準確地決定作業位置。
較佳為所述任一種帶狀物的三維測量方法於所述帶狀物不受變形的限制的自由狀態下進行測量。此處,所述帶狀物不
受變形的限制的自由狀態是指帶狀物的前端部不自其他物體受到應力的狀態,或者即便自其他物體受到些許的應力,形狀或姿勢亦因與自重的平衡或風等外部因素而不穩定的狀態。本發明可特別適宜地用於此種帶狀物。
本發明的帶狀物的三維測量裝置具有:第一相機及第二相機,自不同的視點拍攝帶狀物;以及運算部,自所述第一相機及所述第二相機所拍攝的第一圖像及第二圖像中分別提取所述帶狀物的第一側端邊,根據自所述第一圖像中所提取的所述第一側端邊及自所述第二圖像中所提取的所述第一側端邊,算出該第一側端邊的三維座標。
本發明的另一帶狀物的三維測量裝置具有:第一相機及第二相機,自不同的視點拍攝帶狀物;以及運算部,自所述第一相機及所述第二相機所拍攝的第一圖像及第二圖像中分別提取所述帶狀物的前端邊,根據自所述第一圖像中所提取的所述前端邊及自所述第二圖像中所提取的所述前端邊,算出該前端邊的三維座標。
本發明的另一帶狀物的三維測量裝置是與對帶狀物進行作業的機械手一同使用的帶狀物的三維測量裝置,具有:第一相機及第二相機,自不同的視點拍攝所述帶狀物;以及運算部,根據所述第一相機及所述第二相機所拍攝的第一圖像及第二圖像,算出所述帶狀物的第一側端邊或前端邊的三維座標,並根據所述第一側端邊或所述前端邊的三維座標,算出作業位置的三維
座標及作業方向。
藉由該結構,即便帶狀物為已變形的狀態,亦可準確地算出作業位置及作業方向。再者,此處所謂作業方向,是指對帶狀物直接執行作業的末端執行器等作業構件接近帶狀物的方向。換言之,所謂作業方向,是指對帶狀物進行作業的作業構件(例如,機械手或人的手、機械手或人的手握持的保持用具或加工用具)最終靠近帶狀物的作業位置為止時的行進方向。例如,於利用機械手的帶狀物的握持作業中,作業方向(握持方向)較佳為與帶狀物的作業位置(握持位置)附近的面平行、且與帶狀物的寬度方向形成規定的角度而朝向握持位置的方向,可將該方向設為作業方向。作業方向(握持方向)可對應於機械手的形狀或作業內容等而適宜設定。算出作業方向包含求出作業方向的三維向量。
根據本發明的帶狀物的作業位置決定方法或帶狀物的作業位置決定裝置,可基於帶狀物的至少一端邊的三維座標來決定作業位置。藉此,對於產生撓曲、扭曲、彎曲等自由變形的可撓性的帶狀物等無法應用先前的模式匹配方法的帶狀物,亦可準確且高速地決定作業的目標位置。另外,根據本發明的機器人控制方法,基於帶狀物的至少一端邊的三維形狀來決定作業位置,因此可不採用教導或模式匹配等先前的方法而使機械手對帶狀物進行作業。另外,根據本發明的帶狀物處理系統,即便是於帶狀
物中產生了撓曲或扭曲的狀態,亦可利用機械手準確地握持帶狀物。
另外,根據本發明的帶狀物的三維測量方法,對在第一圖像及第二圖像上所提取的第一側端邊或前端邊進行處理,藉此不論帶狀物的撓曲或扭曲的狀態,均可高速地算出第一側端邊或前端邊的三維座標。根據本發明的一種帶狀物的三維測量裝置,對在第一圖像及第二圖像上所提取的第一側端邊進行處理,藉此不論帶狀物的撓曲或扭曲的狀態,均可高速地算出第一側端邊的三維座標。根據本發明的另一帶狀物的三維測量裝置,對在第一圖像及第二圖像上所提取的前端邊進行處理,藉此不論帶狀物的撓曲或扭曲的狀態,均可高速地算出前端邊的三維座標。根據本發明的另一帶狀物的三維測量裝置,可基於第一側端邊或前端邊的三維座標而高速地算出作業位置的三維座標及作業方向,因此可不受由帶狀物的狀態所產生的限制,進而不採用教導或模式匹配等先前的方法,而使機械手對帶狀物進行作業。
10:帶狀物處理系統
20:三維測量裝置
21:第一相機
22:第二相機
23:運算部
30:機器人
31:臂
32:手
33:握持面
34:連桿
35:關節
36:控制部
40:帶狀物
41:前端邊
42:第一角部
43:第二角部
44:第一側端邊
45:第二側端邊
46、47:角部
48、49:側端邊
56:彎曲點
58:第一區域
59:第二區域
60:目標位置
A:跟前位置
C:輪廓
D:握持距離
d:距離
G:握持位置
L:第一圖像
P1:第一基準點
P2:第二基準點
P3:第三基準點
R:第二圖像
θ:握持角度
V:握持方向
W:基準線
X:方向
圖1是表示作為本發明的一實施方式的帶狀物處理系統的結構的圖,且為表示實施作為本發明的一實施方式的三維測量方法的場景的裝置結構的圖。
圖2是表示機械手的結構例的圖。
圖3是作為本發明的一實施方式的帶狀物的作業位置決定方
法及三維測量方法的步驟流程圖。
圖4是作為本發明的一實施方式的機器人控制方法中的握持步驟的步驟流程圖。
圖5是用於說明帶狀物的握持位置與握持方向的圖。
圖6A是用於說明第一圖像及第二圖像的圖,圖6B是用於說明提取輪廓的圖,圖6C是用於說明選擇彎曲點及側端邊的圖。
圖7是用於說明帶狀物上的基準點及握持位置、以及帶狀物外的跟前位置的設定方法的圖。
圖8A至圖8C是用於說明利用機械手的帶狀物的握持作業的圖,圖8A是表示機械手位於跟前位置時的圖,圖8B是表示機械手位於握持位置時的圖,圖8C是表示機械手已握持帶狀物的狀態的圖。
圖9A是用於說明第一圖像及第二圖像的圖,圖9B是用於說明提取輪廓的圖,圖9C是用於說明選擇彎曲點及區域的圖。
圖10是用於說明帶狀物的側端邊選擇方法的圖。
圖11A至圖11B是用於說明帶狀物的握持位置的決定方法的圖。
根據圖1~圖10對本發明的帶狀物的作業位置決定方法、機器人控制方法、帶狀物的作業位置決定裝置、帶狀物處理系統、帶狀物的三維測量裝置及帶狀物的三維測量方法的一實施方式進行說明。於本實施方式中,根據帶狀物的側端邊來決定作
業位置,機械手將該作業位置作為握持位置來進行握持作業。
參照圖1,本實施方式的帶狀物處理系統10包含三維測量裝置20與機器人30。於本實施方式中,利用三維測量裝置20進行帶狀物40的三維測量,根據其結果來決定帶狀物40的握持位置(作業位置)及握持方向(作業方向),利用機器人30的手(機械手)32握持帶狀物,使帶狀物變成規定的朝向後移動至規定的目標位置60為止。
帶狀物40是具有可撓性的帶狀的物體。作為帶狀物,可例示扁平電纜、布料、膜、帶等,但並不限定於此,帶狀物的種類並無特別限定。另外,帶狀物的剖面形狀無需厚度完全地均一,只要是兩側的側端邊可作為邊緣來辨識的形狀即可。例如,可具有中央部形成得厚的凸透鏡狀的剖面形狀,亦可如許多帶般,於一側或兩側的側端邊形成折回部分等厚壁部分。
另外,帶狀物40可為如圖1中所描繪般被切斷或加工前的物體,亦可為已被切斷或一部分已被加工的物體。於圖1中,帶狀物40捲繞於捲盤上,前端處於在空中垂下去的下垂狀態。帶狀物40的前端附近的位置或姿勢等狀態因撓曲或扭曲而不固定。本實施方式的三維測量裝置及三維測量方法可特別適宜地用於如下的情況:帶狀物如所述般處於由撓曲或扭曲、彎曲所引起的變形不受限制的「自由的」「未得到支持的」狀態,例如帶狀物處於沿著地板或牆壁、搬送通道等接地面上不進行接觸,帶狀物的位置或朝向未由接地面規定的狀態。即,可特別適宜地用於所拍攝
的帶狀物的前端部為不自其他物體受到應力的狀態的情況。另外,本實施方式的三維測量裝置及三維測量方法可特別適宜地用於如下的情況:帶狀物如所述般處於「自由的」狀態、及帶狀物為即便自其他物體受到些許的應力,形狀或姿勢亦因與自重的平衡或風等外部因素而不穩定的狀態。
三維測量裝置20測量帶狀物40的各部的三維座標。三維測量裝置的種類並無特別限定,可使用公知的各種裝置。本實施方式的三維測量裝置20是立體方式的三維測量裝置。三維測量裝置20具有第一相機21、第二相機22及運算部23。第一相機21及第二相機22自不同的視點拍攝應握持的帶狀物40。運算部23除對第一相機及第二相機所拍攝的兩張圖像進行處理來求出帶狀物40的三維座標以外,還進行各種運算。其後對運算部的功能進行詳細敍述。
機器人30是多關節機器人,具有臂31、手(機械手)32及控制部36。控制部36對包含臂及手的機器人30整體進行控制。機器人30利用手32握持帶狀物40,並使臂及手移動來將帶狀物40移動至目標位置60為止。
參照圖2,手32安裝於臂31的前端,具有兩個握持面33、多個連桿34、以及將連桿連結的多個關節35。手32使關節35適當地進行動作,藉此可擴大或縮小兩握持面33的間隔。手32將兩握持面的間隔擴大來接近帶狀物40,然後將兩握持面的間隔縮小來夾持帶狀物。再者,手的結構並不限定於此,亦可使用
利用凸輪或齒輪來使手指開閉的各種夾具或真空吸附、磁鐵吸附等方式。
以下,按照圖3及圖4中所示的步驟的流程,對本實施方式的機器人控制方法進行說明。再者,圖3是本實施方式的作業位置決定方法、及帶狀物的三維測量方法的步驟流程圖。
於圖3中,三維測量裝置20的運算部23首先接收作為機械手32握持帶狀物40時的握持條件的握持距離及握持角度。參照圖5,所謂握持位置(作業位置)G,是指位於帶狀物40上且手32握持的位置,例如由自帶狀物的前端邊41起的握持距離D來給予。所謂握持角度θ,是指手32握持帶狀物40時的相對於帶狀物的手的朝向,例如由自帶狀物的寬度方向(圖5的虛線)起的角度θ來給予。手32使握持面33、握持面33與根據側端邊的三維座標所推斷的帶狀物的面大致平行,並使握持面33、握持面33的前後方向(圖2的X方向)朝向以握持角度θ與帶狀物的寬度方向交叉的握持方向(作業方向)V,而握持帶狀物。例如當握持角度θ為0度時,手32自正側面握持帶狀物。握持距離D及握持角度θ均作為相對於帶狀物40的相對的位置或角度而非空間的三維座標來給予。握持距離D及握持角度θ可對應於加工或捆包等後續步驟來決定。例如,運算部23接收作業者自未圖示的輸入元件所輸入的握持距離D及握持角度θ。
參照圖6A,第一相機21及第二相機22拍攝帶狀物40的第一圖像L及第二圖像R。無需拍攝帶狀物整體,只要拍攝想
要推斷帶狀物的形狀的範圍即可。即,只要取得決定所期望的握持位置或握持方向所需要的範圍的帶狀物的圖像即可。
參照圖6B,運算部23於第一圖像L及第二圖像R中分別提取帶狀物40的輪廓C。可利用公知的方法,藉由鄰接的畫素彼此的差值運算等來提取輪廓C。
運算部23於第一圖像L及第二圖像R中分別選擇輪廓C的彎曲點。輪廓C上的點是否為彎曲點可根據自該點朝輪廓C上的兩側的相鄰點畫出的兩條直線形成的角度來判斷。例如,當該角度為120度以下時,可判斷該點為彎曲點。
參照圖6C,當於第一圖像L及第二圖像R兩者中選擇了兩個彎曲點時,將該兩個彎曲點作為帶狀物40的第一角部42及第二角部43來辨識。以下,對可選擇第一角部42、第二角部43的情況進行說明,其後對無法選擇第一角部42、第二角部43的情況進行敍述。
當於第一圖像L及第二圖像R中選擇了第一角部42及第二角部43時,於第一圖像及第二圖像上,選擇帶狀物40的第一側端邊44及第二側端邊45。具體而言,將輪廓C之中,自第一角部42朝與第二角部43相反側延長的部分作為第一側端邊44來選擇,將輪廓C之中,自第二角部朝與所述第一角部相反側延長的部分作為第二側端邊45來選擇。更具體而言,例如對輪廓C上的點依次分配編號(指數),將第一角部的指數設為n1,將第二角部的指數設為n2,若n1<n2,則可判斷是指數為n1以下的點
構成第一側端邊,指數為n2以上的點構成第二側端邊。
運算部23分別針對第一側端邊44及第二側端邊45,將第一圖像L與第二圖像R進行比較,藉此求出側端邊上的各點的三維座標。藉此,算出第一側端邊及第二側端邊的三維座標。
於利用立體法的三維測量中,於視點不同的兩個圖像上求出想要測量的點的對應點,根據各圖像上的對應點及兩台相機的位置關係,藉由三角測量的原理來算出測量點的三維座標。此處,搜索各圖像上的對應點的匹配處理是資訊處理的負擔最重,且花費成本的製程。於本實施方式中,首先於作為二維圖像的第一圖像L及第二圖像R上提取第一側端邊44,並對構成第一圖像L的第一側端邊44的畫素與構成第二圖像R的第一側端邊44的畫素進行匹配,因此處理的負擔輕。
另外,於對應點的搜索中可利用核線(epipolar line)。核線是將使一個圖像的視點與測量點連結的直線投影於另一個圖像上而成的直線,所述測量點必定投影於另一個圖像上的核線上。若計算對應於構成第一圖像L的第一側端邊44的各畫素的核線與第二圖像R的第一側端邊44的交點,則無需對兩圖像的各畫素進行匹配,因此可更高速地求出對應點。
進而,若可於第一圖像L與第二圖像R上分別選擇兩個彎曲點,則所述兩個彎曲點彼此為第一角部42及第二角部43的對應點。因此,關於第一側端邊44,將第一角部42作為線索,自第一角部出發而依次搜索第一側端邊上的點的對應點,藉此可大
幅度地減輕匹配處理的負擔。例如,如以下般進行第一側端邊的匹配處理。關於作為第一側端邊的端點的第一角部,已於第一圖像及第二圖像上獲得了對應點。於第一圖像上相對於第一角部之後的點(於第一側端邊上位於第一角部的旁邊的點,以下亦相同),於第二圖像上僅搜索包含第一角部、第一角部之後的點、該點之後的點等的幾個點,藉此可決定第二圖像的對應點。以後亦同樣地對已獲得對應關係的點之後的點決定對應點,並重覆該操作。第二側端邊45亦同樣如此。
參照圖7,運算部23算出第一側端邊44及第二側端邊45的三維座標後,於第一側端邊44上將自第一角部42起規定的握持距離D的點作為第一基準點P1來選定,於第二側端邊45上將自第二角部43起規定的握持距離D的點作為第二基準點P2來選定。而且,將連結第一基準點P1與第二基準點P2的直線設為基準線W,將第一基準點P1與第二基準點P2的中點設為握持位置G,計算握持位置G的三維座標。再者,關於握持位置G,可對應於手的形狀來設定基準線W上的任意的點。例如,當手為字狀且手的指部的長度比帶狀物的寬度方向短時,可於基準線W上,將自第一基準點P1起指部的長度以內的距離作為握持位置G來設定。另外,當兩個基準點之間的距離比帶狀物的寬度短時,可推測帶狀物相對於寬度方向,撓曲成剖面為U字狀或S字狀。因此,當基準點間距離相對於帶狀物的寬度短規定的臨限值以上時,判斷帶狀物的變形顯著,可判定為無法握持,亦可另外利用
三維測量裝置再次取得握持位置附近的三維座標來調查實際的形狀。
再者,當第一角部42及第二角部43並非直角時,即當帶狀物40的前端邊41相對於寬度方向傾斜時,只要先將規定的握持距離D的起點決定為第一角部或第二角部中的銳角者或前端邊41的中點等,並對應於此來選定第一基準點P1及第二基準點P2即可。
繼而,運算部23計算握持方向V及跟前位置A的三維座標。跟前位置亦被稱為接近位置。跟前位置是位於帶狀物40的側方,機械手32沿著握持方向V,開始朝握持位置G筆直地前進的位置。
運算部23於三維座標上,求出於握持位置G上以規定的角度θ與連結第一基準點P1與第二基準點P2的直線(基準線)W交叉,並朝帶狀物40的面內方向伸長的握持方向V。此處,對帶狀物40的面內方向的推斷方法進行說明。於僅取得帶狀物的側端邊的三維座標的情況下,帶狀物的面(平坦部)的形狀不明確。因此,根據側端邊的三維座標來推斷帶狀物的面。首先,藉由連結第一基準點與第二基準點的基準線W、及第一側端邊的三維座標或第二側端邊的三維座標來規定面。可想到該些直線及座標實際上不在同一平面上,因此只要計算近似面來作為帶狀物的面方向即可。推斷方法並不限定於此,亦可根據第一側端邊及第二側端邊的三維座標來進行計算。而且,將位於握持方向V上並位於
帶狀物40外、且位於自握持位置G起規定的距離的點作為跟前位置A來設定,而決定跟前位置A的三維座標。較佳為運算部23判定握持位置G及跟前位置A為機械手32的可動區域內還是可動區域外。
跟前位置A可位於帶狀物40的任一側。例如於圖7中,跟前位置A可位於帶狀物40的跟前側,亦可位於裏側。將跟前位置A設定於帶狀物的哪一側可根據帶狀物與機器人的位置關係而事先決定,亦可每次測量時選擇靠近機械手之側。
三維測量裝置20將握持位置G及跟前位置A的三維座標輸出至機器人30的控制部36。
於圖4中,於機器人30中,控制部36自三維測量裝置20的運算部23接收握持位置G及跟前位置A的三維座標,並將其轉換成機器人座標。機器人座標是將機器人的某一點作為基準的座標系中的座標,例如為將機器人的基座作為基準的基座座標系。控制部進而根據機器人座標,求出使手32移動至跟前位置A或握持位置G為止所需要的各關節的旋轉角度等姿勢參數。
機器人30的控制部36驅動臂31與手32的關節,使手移動至跟前位置A,繼而使手的前端朝向握持位置G。於跟前位置上,手使兩握持面33的前後方向與握持方向V平行後將間隔擴大,採取使前端筆直地朝向握持位置G的姿勢(圖8A)。或者,機器人30亦可一面逐漸地改變手32的朝向一面使手移動至跟前位置A為止,於手已到達跟前位置的時間點,使前端筆直地朝向
握持位置。於此情況下,亦可無需使手於跟前位置上暫時停止,而連續地進行前進動作直至後述的握持位置為止。
參照圖8B,機器人30於將兩握持面33的間隔擴大的狀態下,使手32自跟前位置A沿著握持方向V筆直地前進至握持位置G為止,以使帶狀物40進入兩握持面33之間。若使手32直接移動至握持位置G,則存在帶狀物40自身干擾手32的情況。使手32暫時經過不與帶狀物發生干擾的跟前位置A,然後自跟前位置A朝握持位置G前進,藉此可準確地握持帶狀物40。
參照圖8C,若手32已到達握持位置G,則將兩握持面33的間隔縮小來夾持帶狀物40。
機器人30於握持帶狀物40的狀態下使帶狀物40移動至目標位置60為止。所謂目標位置,例如是指用於後續步驟中的加工的治具、朝加工機械中的投入口、或收容帶狀物的容器等。
另外,於本實施方式中,由於知道利用手32的帶狀物40的握持方向,換言之,由於知道已被握持的帶狀物40與手32形成的角度,因此藉由適當地控制手的朝向,可使帶狀物40變成規定的朝向來移動至目標位置為止。
繼而,返回至彎曲點選擇步驟,對無法於第一圖像L或第二圖像R上選擇兩個彎曲點的情況進行說明。
參照圖9,第一相機21及第二相機22拍攝帶狀物40的第一圖像L及第二圖像R(圖9A),即便於第一圖像及第二圖像中分別提取輪廓C(圖9B),亦存在因帶狀物40的扭曲等而無
法選擇兩個彎曲點的情況。如圖9C般,當於第一圖像L及第二圖像R上選擇了一個輪廓C的彎曲點56時,如以下般進行處理。運算部23以彎曲點56為界線而將輪廓C分割成第一區域58與第二區域59。彎曲點56是帶狀物40前端的一個角部的對應點,因此將彎曲點56作為線索來算出第一區域及第二區域的三維座標。
根據第一區域58及第二區域59的三維座標,選擇位於任一個區域內的另一個角部。即便於未作為彎曲點而出現在第一圖像L及第二圖像R上的情況下,只要根據三維座標,亦可辨識角部。例如參照圖10,當於第二區域59內發現了另一個角部47時,彎曲點56及第一區域58與帶狀物40的一側的角部46及將該角部46作為端點的一側的側端邊48一致。可自第二區域59中選擇將另一側的角部47作為端點的另一側的側端邊49。而且,可根據第二區域59的三維座標及另一側的角部47的三維座標,求出另一側的側端邊49的三維座標。
藉由以上方式而選擇了帶狀物40的兩個側端邊48、側端邊49。於選定第一基準點及第二基準點以後,可與所述方法同樣地實施。
當於第一圖像L及第二圖像R中在輪廓C上無法選擇任一個彎曲點時,算出輪廓C整體的三維座標,並根據該三維座標而於輪廓C上辨識兩個角部,藉此可選擇兩個側端邊。於選定第一基準點及第二基準點以後,可與所述方法同樣地實施。
本發明並不限定於所述實施方式,可於其技術思想的範
圍內進行各種變形。
例如於所述實施方式中,於第一圖像L及第二圖像R上提取帶狀物40的輪廓C,並自該輪廓C之中選擇了第一側端邊44,但亦可不提取整體的輪廓,而藉由霍夫轉換(Hough transform)等來直接提取第一側端邊44。
另外,例如於所述實施方式中,算出了第一側端邊44及第二側端邊45的三維座標,但有時亦可僅算出第一側端邊的三維座標。例如,當手32的握持面33遠大於帶狀物40的寬度時,可於帶狀物的第一側端邊44上設定握持位置G。
另外,例如於所述實施方式中,算出了第一側端邊44的三維座標,但亦可於第一圖像L及第二圖像R中分別提取帶狀物40的前端邊41,並根據第一圖像及第二圖像來算出前端邊41的三維座標。藉此,可於前端邊41上設定握持位置G。於此情況下,亦可將握持方向作為相對於前端邊41垂直的方向,即帶狀物的長邊方向來設定,並將跟前位置設定於圖1的帶狀物前端部的下方。
另外,例如除前端邊的三維座標以外,只要算出一個側端邊,例如第一側端邊44的三維座標,便可於由前端邊41與第一側端邊44夾持的帶狀物40的面內設定握持位置G。參照圖11A,亦可於連結第一側端邊44上的第一基準點P1與前端邊41上的第三基準點P3的直線上設定握持位置G,參照圖11B,亦可於在與前端邊41平行的方向上自第一基準點P1僅分離規定的距
離d的位置上設定握持位置G。進而,與所述實施方式同樣地,可根據連結第一基準點P1與第三基準點P3的直線、及前端邊41的三維座標或第一側端邊44的三維座標來計算帶狀物40的面方向的近似面,並求出朝帶狀物的面內方向伸長的握持方向。握持方向可根據作為移動目的地的目標位置或移動目的地的形狀來設定,例如於移動目的地為治具的插入口的情況下,可根據治具的插入口的尺寸或形狀等來設定。
10:帶狀物處理系統
20:三維測量裝置
21:第一相機
22:第二相機
23:運算部
30:機器人
31:臂
32:手
36:控制部
40:帶狀物
60:帶狀物的移動目標位置
Claims (39)
- 一種帶狀物的作業位置決定方法,包括:端邊座標取得步驟,所述端邊座標取得步驟取得帶狀物的至少一端邊的三維座標,其中所述帶狀物具有可撓性,且為不受變形的限制的自由狀態;以及作業位置決定步驟,所述作業位置決定步驟根據所述至少一端邊的三維座標,決定所述帶狀物的作業位置。
- 如申請專利範圍第1項所述的帶狀物的作業位置決定方法,其中所述端邊座標取得步驟是取得所述帶狀物的第一側端邊的三維座標的步驟,所述作業位置決定步驟是根據所述第一側端邊的三維座標,決定所述帶狀物的所述作業位置的步驟。
- 如申請專利範圍第2項所述的帶狀物的作業位置決定方法,其中所述端邊座標取得步驟是進一步取得所述帶狀物的第二側端邊的三維座標的步驟,所述作業位置決定步驟是根據所述第一側端邊及所述第二側端邊的三維座標,決定所述帶狀物的所述作業位置的步驟。
- 如申請專利範圍第3項所述的帶狀物的作業位置決定方法,其中所述作業位置位於連結所述第一側端邊上的第一基準點與所述第二側端邊上的第二基準點的直線上。
- 如申請專利範圍第4項所述的帶狀物的作業位置決定方法,其中所述第一基準點位於自所述第一側端邊上的第一角部 起規定的距離,所述第二基準點位於自所述第二側端邊上的第二角部起規定的距離。
- 如申請專利範圍第1項所述的帶狀物的作業位置決定方法,其中所述端邊座標取得步驟是取得所述帶狀物的前端邊的三維座標的步驟,所述作業位置決定步驟是根據所述前端邊的三維座標,決定所述帶狀物的所述作業位置的步驟。
- 如申請專利範圍第6項所述的帶狀物的作業位置決定方法,其中所述端邊座標取得步驟是進一步取得所述帶狀物的第一側端邊的三維座標的步驟,所述作業位置決定步驟是根據所述第一側端邊及所述前端邊的三維座標,決定所述帶狀物的所述作業位置的步驟。
- 如申請專利範圍第7項所述的帶狀物的作業位置決定方法,其中所述作業位置是連結所述第一側端邊上的第一基準點與所述前端邊上的第三基準點的直線上的位置、或在與所述前端邊平行的方向上自所述第一基準點僅分離規定的距離的位置。
- 如申請專利範圍第2項所述的帶狀物的作業位置決定方法,更包括作業方向決定步驟,所述作業方向決定步驟根據所述第一側端邊的三維座標,決定所述帶狀物的作業方向。
- 如申請專利範圍第3項所述的帶狀物的作業位置決定方法,更包括作業方向決定步驟,所述作業方向決定步驟根據所 述第一側端邊及所述第二側端邊的三維座標,決定所述帶狀物的作業方向。
- 如申請專利範圍第4項所述的帶狀物的作業位置決定方法,更包括作業方向決定步驟,所述作業方向決定步驟根據連結所述第一基準點與所述第二基準點的直線,決定所述帶狀物的作業方向。
- 如申請專利範圍第5項所述的帶狀物的作業位置決定方法,更包括作業方向決定步驟,所述作業方向決定步驟根據連結所述第一基準點與所述第二基準點的直線,決定所述帶狀物的作業方向。
- 如申請專利範圍第6項所述的帶狀物的作業位置決定方法,更包括作業方向決定步驟,所述作業方向決定步驟根據所述前端邊的三維座標,決定所述帶狀物的作業方向。
- 如申請專利範圍第7項所述的帶狀物的作業位置決定方法,更包括作業方向決定步驟,所述作業方向決定步驟根據所述第一側端邊及所述前端邊的三維座標,決定所述帶狀物的作業方向。
- 如申請專利範圍第8項所述的帶狀物的作業位置決定方法,更包括作業方向決定步驟,所述作業方向決定步驟將與所述前端邊平行的方向決定為所述帶狀物的作業方向。
- 一種機器人控制方法,包括:如申請專利範圍第1項至第8項中任一項所述的帶狀物的作 業位置決定方法中的所述端邊座標取得步驟及所述作業位置決定步驟;以及使機械手針對所述帶狀物的所述作業位置進行作業的作業步驟。
- 如申請專利範圍第16項所述的機器人控制方法,其中於所述作業步驟之前,更包括判定所述作業位置為所述機械手的可動區域內還是可動區域外的步驟。
- 如申請專利範圍第16項所述的機器人控制方法,其中所述作業步驟是將所述作業位置作為握持位置,利用所述機械手握持所述帶狀物的握持步驟。
- 一種機器人控制方法,包括:如申請專利範圍第9項至第15項中任一項所述的帶狀物的作業位置決定方法中的所述端邊座標取得步驟、所述作業位置決定步驟及所述作業方向決定步驟;以及於所述作業方向上,使機械手針對所述帶狀物的所述作業位置進行作業的作業步驟。
- 如申請專利範圍第19項所述的機器人控制方法,其中於所述作業步驟之前,更包括作業跟前位置設定步驟,所述作業跟前位置設定步驟於自所述作業位置朝所述作業方向的反向分離規定距離的位置設定作業跟前位置。
- 如申請專利範圍第20項所述的機器人控制方法,其中於所述作業步驟之前,更包括判定所述作業位置及所述作業跟前 位置為所述機械手的可動區域內還是可動區域外的步驟。
- 如申請專利範圍第19項所述的機器人控制方法,其中所述作業步驟是將所述作業位置作為握持位置,將所述作業方向作為握持方向,利用所述機械手握持所述帶狀物的握持步驟。
- 一種帶狀物的作業位置決定裝置,包括:三維測量裝置,對帶狀物進行測量,其中所述帶狀物具有可撓性,且為不受變形的限制的自由狀態;以及運算部,自所述三維測量裝置所測量的所述帶狀物的至少一端邊的三維座標,算出所述帶狀物的作業位置並進行輸出。
- 一種帶狀物處理系統,包括:如申請專利範圍第23項所述的作業位置決定裝置;以及機器人,具有握持所述帶狀物的機械手;且根據所述作業位置決定裝置所輸出的所述作業位置,利用所述機械手握持所述帶狀物。
- 一種帶狀物的三維測量方法,包括:拍攝步驟,所述拍攝步驟取得自不同的視點拍攝帶狀物所得的第一圖像及第二圖像,其中所述帶狀物具有可撓性,且為不受變形的限制的自由狀態;提取步驟,所述提取步驟於所述第一圖像及所述第二圖像中分別提取所述帶狀物的第一側端邊;以及三維計算步驟,所述三維計算步驟根據自所述第一圖像中所提取的所述第一側端邊及自所述第二圖像中所提取的所述第一側 端邊,算出所述第一側端邊的三維座標。
- 如申請專利範圍第25項所述的帶狀物的三維測量方法,其中所述提取步驟於所述第一圖像及所述第二圖像中分別進一步提取所述帶狀物的第二側端邊,所述三維計算步驟根據自所述第一圖像中所提取的所述第二側端邊及自所述第二圖像中所提取的所述第二側端邊,進一步算出所述第二側端邊的三維座標。
- 如申請專利範圍第26項所述的帶狀物的三維測量方法,其中所述提取步驟於所述第一圖像及所述第二圖像中分別辨識所述帶狀物的第一角部及第二角部,並根據所述第一角部及所述第二角部來提取所述第一側端邊及所述第二側端邊。
- 如申請專利範圍第26項所述的帶狀物的三維測量方法,其中所述提取步驟於所述第一圖像及所述第二圖像中分別提取所述帶狀物的輪廓,並根據所述輪廓來提取所述第一側端邊及所述第二側端邊。
- 如申請專利範圍第27項所述的帶狀物的三維測量方法,其中所述提取步驟於所述第一圖像及所述第二圖像中分別提取所述帶狀物的輪廓,並根據所述輪廓來提取所述第一側端邊及所述第二側端邊。
- 如申請專利範圍第27項所述的帶狀物的三維測量方法,其中所述提取步驟於所述第一圖像及所述第二圖像中分別提取所述帶狀物的輪廓,並根據所述輪廓來辨識所述第一角部及所 述第二角部。
- 如申請專利範圍第30項所述的帶狀物的三維測量方法,其中所述提取步驟於所述第一圖像及所述第二圖像中,分別提取所述帶狀物的所述輪廓,將所述輪廓的兩個彎曲點作為所述第一角部及所述第二角部來辨識,且將所述輪廓之中,自所述第一角部朝與所述第二角部相反側延長的部分作為所述第一側端邊來選擇,將自所述第二角部朝與所述第一角部相反側延長的部分作為所述第二側端邊來選擇。
- 如申請專利範圍第25項所述的帶狀物的三維測量方法,其中所述提取步驟於所述第一圖像及所述第二圖像中分別辨識所述帶狀物的第一角部,並提取所述第一側端邊。
- 如申請專利範圍第32項所述的帶狀物的三維測量方法,其中所述提取步驟於所述第一圖像及所述第二圖像中分別提取所述帶狀物的輪廓,並於所述輪廓上辨識所述第一角部。
- 如申請專利範圍第33項所述的帶狀物的三維測量方法,其中,所述三維計算步驟包括根據所述第一圖像及所述第二圖像,於所述輪廓的三維座標上將所述第一角部以外的角部作為第二角部來辨識的步驟。
- 一種帶狀物的三維測量方法,包括:拍攝步驟,所述拍攝步驟取得自不同的視點拍攝帶狀物所得 的第一圖像及第二圖像,其中所述帶狀物具有可撓性,且為不受變形的限制的自由狀態;提取步驟,所述提取步驟於所述第一圖像及所述第二圖像中分別提取所述帶狀物的前端邊;以及三維計算步驟,所述三維計算步驟根據所述第一圖像及所述第二圖像,算出所述前端邊的三維座標。
- 一種帶狀物的三維測量方法,是用於針對帶狀物決定作業位置的帶狀物的三維測量方法,包括:拍攝步驟,所述拍攝步驟取得自不同的視點拍攝帶狀物所得的第一圖像及第二圖像,其中所述帶狀物具有可撓性,且為不受變形的限制的自由狀態;提取步驟,所述提取步驟於所述第一圖像及所述第二圖像中分別提取所述帶狀物的第一側端邊或前端邊;三維計算步驟,所述三維計算步驟根據自所述第一圖像中所提取的所述第一側端邊及自所述第二圖像中所提取的所述第一側端邊,算出所述第一側端邊的三維座標,或者所述三維計算步驟根據自所述第一圖像中所提取的所述前端邊及自所述第二圖像中所提取的所述前端邊,算出所述前端邊的三維座標;以及作業位置計算步驟,所述作業位置計算步驟根據所述第一側端邊或所述前端邊的三維座標,算出所述作業位置的三維座標。
- 一種帶狀物的三維測量裝置,包括:第一相機及第二相機,自不同的視點拍攝帶狀物,其中所述 帶狀物具有可撓性,且為不受變形的限制的自由狀態;以及運算部,自所述第一相機及所述第二相機所拍攝的第一圖像及第二圖像中分別提取所述帶狀物的第一側端邊,根據自所述第一圖像中所提取的所述第一側端邊及自所述第二圖像中所提取的所述第一側端邊,算出所述第一側端邊的三維座標。
- 一種帶狀物的三維測量裝置,包括:第一相機及第二相機,自不同的視點拍攝帶狀物,其中所述帶狀物具有可撓性,且為不受變形的限制的自由狀態;以及運算部,自所述第一相機及所述第二相機所拍攝的第一圖像及第二圖像中分別提取所述帶狀物的前端邊,根據自所述第一圖像中所提取的所述前端邊及自所述第二圖像中所提取的所述前端邊,算出所述前端邊的三維座標。
- 一種帶狀物的三維測量裝置,是與對帶狀物進行作業的機械手一同使用的帶狀物的三維測量裝置,其中所述帶狀物具有可撓性,且為不受變形的限制的自由狀態,包括:第一相機及第二相機,自不同的視點拍攝所述帶狀物;以及運算部,根據所述第一相機及所述第二相機所拍攝的第一圖像及第二圖像,算出所述帶狀物的第一側端邊或前端邊的三維座標,並根據所述第一側端邊或所述前端邊的三維座標,算出作業位置的三維座標及作業方向。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-164904 | 2018-09-03 | ||
JP2018164904A JP7217109B2 (ja) | 2018-09-03 | 2018-09-03 | 帯状物の作業位置決定方法、ロボット制御方法、帯状物の作業位置決定装置および帯状物ハンドリングシステム |
JP2018-168289 | 2018-09-07 | ||
JP2018168289A JP7177639B2 (ja) | 2018-09-07 | 2018-09-07 | 帯状物の3次元計測方法および帯状物の3次元計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202020405A TW202020405A (zh) | 2020-06-01 |
TWI839380B true TWI839380B (zh) | 2024-04-21 |
Family
ID=69723227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108131151A TWI839380B (zh) | 2018-09-03 | 2019-08-30 | 帶狀物的作業位置決定方法、機器人控制方法、帶狀物的作業位置決定裝置、帶狀物處理系統、帶狀物的三維測量方法及帶狀物的三維測量裝置 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN112672859B (zh) |
TW (1) | TWI839380B (zh) |
WO (1) | WO2020050121A1 (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101842195A (zh) * | 2007-10-29 | 2010-09-22 | 佳能株式会社 | 把持设备和把持设备控制方法 |
TW201107707A (en) * | 2009-07-07 | 2011-03-01 | Smc Kk | Position measurement apparatus and position measuring method |
JP2015030086A (ja) * | 2013-08-07 | 2015-02-16 | キヤノン株式会社 | ロボット制御方法、ロボットシステム、プログラム及び記録媒体 |
CN105890578A (zh) * | 2015-02-16 | 2016-08-24 | 株式会社拓普康 | 姿势检测装置以及数据取得装置 |
JP2017189850A (ja) * | 2016-04-14 | 2017-10-19 | 富士通株式会社 | ロボットハンド及びロボットハンドの制御プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007098567A (ja) * | 2006-09-25 | 2007-04-19 | Hitachi Ltd | 自律制御型ロボットおよびその制御装置 |
JP2009279700A (ja) * | 2008-05-21 | 2009-12-03 | Purex:Kk | ワークの把持方法および装置 |
JP5744587B2 (ja) * | 2011-03-24 | 2015-07-08 | キヤノン株式会社 | ロボット制御装置、ロボット制御方法、プログラム及び記録媒体 |
CN105988433A (zh) * | 2015-02-03 | 2016-10-05 | 合肥联鑫智能科技有限公司 | 一种全自动贴泡棉生产线 |
CN106094724A (zh) * | 2016-07-01 | 2016-11-09 | 合肥研力电子科技有限公司 | 高精度贴泡棉机及其使用方法 |
CN106122203B (zh) * | 2016-08-03 | 2018-08-03 | 深圳市伟鸿科科技有限公司 | Ccd贴胶机 |
JP6892268B2 (ja) * | 2017-01-16 | 2021-06-23 | 倉敷紡績株式会社 | 布片把持装置用三次元計測装置 |
-
2019
- 2019-08-29 CN CN201980056885.8A patent/CN112672859B/zh active Active
- 2019-08-29 WO PCT/JP2019/033831 patent/WO2020050121A1/ja active Application Filing
- 2019-08-30 TW TW108131151A patent/TWI839380B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101842195A (zh) * | 2007-10-29 | 2010-09-22 | 佳能株式会社 | 把持设备和把持设备控制方法 |
TW201107707A (en) * | 2009-07-07 | 2011-03-01 | Smc Kk | Position measurement apparatus and position measuring method |
JP2015030086A (ja) * | 2013-08-07 | 2015-02-16 | キヤノン株式会社 | ロボット制御方法、ロボットシステム、プログラム及び記録媒体 |
CN105890578A (zh) * | 2015-02-16 | 2016-08-24 | 株式会社拓普康 | 姿势检测装置以及数据取得装置 |
JP2017189850A (ja) * | 2016-04-14 | 2017-10-19 | 富士通株式会社 | ロボットハンド及びロボットハンドの制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN112672859A (zh) | 2021-04-16 |
TW202020405A (zh) | 2020-06-01 |
CN112672859B (zh) | 2024-06-25 |
WO2020050121A1 (ja) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5778311B1 (ja) | ピッキング装置およびピッキング方法 | |
CN111452040B (zh) | 在引导装配环境中将机器视觉坐标空间关联的系统和方法 | |
US9089971B2 (en) | Information processing apparatus, control method thereof and storage medium | |
US9089966B2 (en) | Workpiece pick-up apparatus | |
JP2019063984A (ja) | 情報処理装置、方法及びロボットシステム | |
JP4004899B2 (ja) | 物品の位置姿勢検出装置及び物品取出し装置 | |
JP2016099257A (ja) | 情報処理装置及び情報処理方法 | |
JP2008087074A (ja) | ワーク取り出し装置 | |
JP2020121352A (ja) | 物体把持システム | |
WO2019098074A1 (ja) | 線状物把持方法および制御装置 | |
JP7177639B2 (ja) | 帯状物の3次元計測方法および帯状物の3次元計測装置 | |
JP7040147B2 (ja) | 制御装置、ロボット、ロボットシステム,及び、物体を認識する方法 | |
CN111745640A (zh) | 物体检测方法、物体检测装置以及机器人系统 | |
Jerbić et al. | Robot assisted 3D point cloud object registration | |
JP7217109B2 (ja) | 帯状物の作業位置決定方法、ロボット制御方法、帯状物の作業位置決定装置および帯状物ハンドリングシステム | |
TWI839380B (zh) | 帶狀物的作業位置決定方法、機器人控制方法、帶狀物的作業位置決定裝置、帶狀物處理系統、帶狀物的三維測量方法及帶狀物的三維測量裝置 | |
TWI760596B (zh) | 線狀物之前端移動方法、控制裝置以及三維相機 | |
US20220234208A1 (en) | Image-Based Guidance for Robotic Wire Pickup | |
JP7232652B2 (ja) | ワーク移載システム | |
TW202218836A (zh) | 機器人控制裝置及機器人系統 | |
CN117377558A (zh) | 自动拾取和放置系统 | |
JP6784991B2 (ja) | ワーク検知システム及び衣服検知システム | |
TW202035255A (zh) | 物件運送方法及系統 | |
TW201945144A (zh) | 握持控制裝置 | |
JP2018122409A (ja) | ロボットの制御装置 |