TW202222519A - 機器人系統、機器人手臂、端點效果器以及配接器 - Google Patents
機器人系統、機器人手臂、端點效果器以及配接器 Download PDFInfo
- Publication number
- TW202222519A TW202222519A TW110140421A TW110140421A TW202222519A TW 202222519 A TW202222519 A TW 202222519A TW 110140421 A TW110140421 A TW 110140421A TW 110140421 A TW110140421 A TW 110140421A TW 202222519 A TW202222519 A TW 202222519A
- Authority
- TW
- Taiwan
- Prior art keywords
- photographing device
- imaging
- imaging device
- photographing
- distance
- Prior art date
Links
- 239000012636 effector Substances 0.000 title claims description 261
- 238000003384 imaging method Methods 0.000 claims abstract description 802
- 230000003287 optical effect Effects 0.000 claims description 72
- 238000009434 installation Methods 0.000 claims description 10
- 230000036544 posture Effects 0.000 description 47
- 238000012545 processing Methods 0.000 description 35
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/08—Gripping heads and other end effectors having finger members
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37046—Use simultaneous several pairs of stereo cameras, synchronized
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37425—Distance, range
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37567—3-D vision, stereo vision, with two cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39575—Wrist, flexible wrist
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40584—Camera, non-contact sensor mounted on wrist, indep from gripper
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40617—Agile eye, control position of camera, active vision, pan-tilt camera, follow object
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Manipulator (AREA)
Abstract
一種機器人系統,包括具有可動部的機器人手臂,所述機器人系統包括:第一攝影裝置以及第二攝影裝置,被安裝於所述機器人手臂;控制部,控制所述機器人系統;以及距離資訊獲取部,獲取與對象物的距離相關的資訊,所述控制部可變更基線長度,所述基線長度為所述第一攝影裝置與所述第二攝影裝置之間的距離,所述距離資訊獲取部基於所述基線長度來獲取與所述對象物的距離相關的資訊。
Description
本發明是有關於一種機器人系統(robot system)、機器人手臂(robot arm)、端點效果器(end effector)以及配接器(adapter)。
已知有一種包括攝影裝置的機器人系統。例如,專利文獻1中記載了一種於機器人手臂安裝有攝影裝置的結構。
[現有技術文獻]
[專利文獻]
專利文獻1:日本專利特開2010-131685號公報
本發明的機器人系統的一個形態包括具有可動部的機器人手臂,所述機器人系統包括:第一攝影裝置以及第二攝影裝置,被安裝於所述機器人手臂;控制部,控制所述機器人系統;以及距離資訊獲取部,獲取與對象物的距離相關的資訊,所述控制部可變更基線長度,所述基線長度為所述第一攝影裝置與所述第二攝影裝置之間的距離,所述距離資訊獲取部基於所述基線長度來獲取與所述對象物的距離相關的資訊。
本發明的機器人系統的一個形態包括具有可動部的機器人手臂,所述機器人系統包括:第一攝影裝置以及第二攝影裝置,被安裝於所述機器人手臂,至少所述第一攝影裝置以及所述第二攝影裝置的其中一者相對於所述機器人手臂可移動。
本發明的機器人系統的一個形態包括具有可動部的機器人手臂,所述機器人系統包括:端點效果器,被安裝於所述機器人手臂;以及第一攝影裝置以及第二攝影裝置,被安裝於所述端點效果器,至少所述第一攝影裝置以及所述第二攝影裝置的其中一者相對於所述端點效果器可移動。
本發明的機器人系統的一個形態包括具有可動部的機器人手臂,所述機器人系統包括:配接器,用於將端點效果器安裝至機器人手臂;以及第一攝影裝置以及第二攝影裝置,被安裝於所述配接器,至少所述第一攝影裝置以及所述第二攝影裝置的其中一者相對於所述配接器可移動。
本發明的機器人系統的一個形態包括具有可動部的機器人手臂,所述機器人系統包括:第一攝影裝置以及第二攝影裝置,被安裝於所述機器人手臂,所述第一攝影裝置與所述第二攝影裝置的相對位置可變。
本發明的機器人系統的一個形態包括具有可動部的機器人手臂,所述機器人系統包括:端點效果器,被安裝於所述機器人手臂;以及第一攝影裝置以及第二攝影裝置,被安裝於所述端點效果器,所述第一攝影裝置與所述第二攝影裝置的相對位置可變。
本發明的機器人系統的一個形態包括具有可動部的機器人手臂,所述機器人系統包括:配接器,用於將端點效果器安裝至所述機器人手臂;以及第一攝影裝置以及第二攝影裝置,被安裝於所述配接器,所述第一攝影裝置與所述第二攝影裝置的相對位置可變。
本發明的機器人系統的一個形態包括具有可動部的機器人手臂,所述機器人系統包括:第一攝影裝置,相對於所述機器人手臂可移動;以及距離資訊獲取部,基於由所述第一攝影裝置所拍攝的圖像來獲取與對象物的距離相關的資訊,所述第一攝影裝置在第一位置拍攝所述對象物的第一圖像,且在與所述第一位置不同的第二位置拍攝所述對象物的第二圖像,所述距離資訊獲取部基於所述第一圖像以及所述第二圖像來獲取與所述對象物的距離相關的資訊。
本發明的機器人系統的一個形態包括具有可動部的機器人手臂,所述機器人系統包括:端點效果器,被安裝於所述機器人手臂;第一攝影裝置,相對於所述端點效果器可移動;以及距離資訊獲取部,基於由所述第一攝影裝置所拍攝的圖像來獲取與對象物的距離相關的資訊,所述第一攝影裝置在第一位置拍攝所述對象物的第一圖像,且在與所述第一位置不同的第二位置拍攝所述對象物的第二圖像,所述距離資訊獲取部基於所述第一圖像以及所述第二圖像來獲取與所述對象物的距離相關的資訊。
本發明的機器人系統的一個形態包括具有可動部的機器人手臂,所述機器人系統包括:配接器,用於將端點效果器安裝至所述機器人手臂;第一攝影裝置,相對於所述配接器可移動;以及距離資訊獲取部,基於由所述第一攝影裝置所拍攝的圖像來獲取與對象物的距離相關的資訊,所述第一攝影裝置在第一位置拍攝所述對象物的第一圖像,且在與所述第一位置不同的第二位置拍攝所述對象物的第二圖像,所述距離資訊獲取部基於所述第一圖像以及所述第二圖像來獲取與所述對象物的距離相關的資訊。
本發明的機器人系統的一個形態包括:機器人手臂;三個以上的攝影裝置,拍攝對象物;以及控制部,基於由所述三個以上的攝影裝置中的兩個攝影裝置所獲取的所述對象物的圖像的資訊,來獲取與所述對象物的距離相關的資訊。
本發明的機器人系統的一個形態包括:機器人手臂;三個以上的攝影裝置,拍攝對象物;以及控制部,基於由所述三個以上的攝影裝置中的兩個攝影裝置所獲取的圖像的資訊,來控制所述機器人手臂以及與所述機器人手臂連接的端點效果器的至少一者。
本發明的機器人系統的一個形態包括:機器人手臂;以及三個以上的攝影裝置,所述三個以上的攝影裝置被配置於所述機器人手臂、與所述機器人手臂連接的端點效果器、以及用於將所述端點效果器安裝至所述機器人手臂的配接器的任一者的周圍。
本發明的機器人手臂的一個形態包括:第一保持部,保持第一攝影裝置;以及第二保持部,保持第二攝影裝置,所述第一攝影裝置由所述第一保持部可移動地予以保持,或者所述第二攝影裝置由所述第二保持部可移動地予以保持。
本發明的端點效果器的一個形態被安裝於機器人手臂,所述機器人手臂包括:第一保持部,保持第一攝影裝置;以及第二保持部,保持第二攝影裝置,所述第一攝影裝置由所述第一保持部可移動地予以保持,或者所述第二攝影裝置由所述第二保持部可移動地予以保持。
本發明的配接器的一個形態用於將端點效果器安裝至機器人手臂,所述配接器包括:第一保持部,保持第一攝影裝置;以及第二保持部,保持第二攝影裝置,所述第一攝影裝置由所述第一保持部可移動地予以保持,或者所述第二攝影裝置由所述第二保持部可移動地予以保持。
本發明的機器人手臂的一個形態包括:第一保持部,保持第一攝影裝置;以及第二保持部,保持第二攝影裝置,所述第一攝影裝置與所述第二攝影裝置的相對位置可變。
本發明的端點效果器的一個形態被安裝於機器人手臂,所述機器人手臂包括:第一保持部,保持第一攝影裝置;以及第二保持部,保持第二攝影裝置,所述第一攝影裝置與所述第二攝影裝置的相對位置可變。
本發明的配接器的一個形態用於將端點效果器安裝至機器人手臂,所述配接器包括:第一保持部,保持第一攝影裝置;以及第二保持部,保持第二攝影裝置,所述第一攝影裝置與所述第二攝影裝置的相對位置可變。
本發明的機器人手臂的一個形態包括:保持部,保持拍攝對象物的三個以上的攝影裝置;以及控制部,基於由所述三個以上的攝影裝置中的兩個攝影裝置所獲取的所述對象物的圖像的資訊,來獲取與所述對象物的距離相關的資訊。
以下,一邊參照圖式,一邊說明本發明的實施形態的機器人系統、機器人手臂、端點效果器以及配接器。
再者,本發明的範圍並不限定於以下的實施形態,可在本發明的技術思想的範圍內進行任意變更。而且,以下的圖式中,為了便於理解各結構,有時使各結構中的比例尺以及數量等與實際結構中的比例尺以及數量等不同。
<第一實施形態>
圖1是表示本實施形態的機器人系統10的立體圖。圖2是表示本實施形態的機器人系統10的結構的一部分的方塊圖。
如圖1所示,機器人系統10具有機器人20、攝影裝置30、控制部40以及顯示部50。機器人20例如對作業台WB上的對象物W進行作業。
機器人20具有機器人手臂21、端點效果器22以及配接器23。機器人手臂21具有手臂部24來作為可動部。本實施形態中,手臂部24設有多個。機器人手臂21例如是多個手臂部24相連結而構成的多關節手臂。手臂部24例如包含第一手臂部24a、第二手臂部24b、第三手臂部24c、第四手臂部24d以及第五手臂部24e這五個手臂部。第一手臂部24a、第二手臂部24b、第三手臂部24c、第四手臂部24d與第五手臂部24e從機器人手臂21的設置面開始依此順序連結。
如圖2所示,機器人手臂21具有手臂驅動部25與手臂位置獲取部26。手臂驅動部25例如為伺服馬達。手臂驅動部25例如針對每個手臂部24而設。即,手臂驅動部25例如設有五個。
設於第一手臂部24a的手臂驅動部25以機器人20的設置面為基準來使第一手臂部24a位移。設於第二手臂部24b的手臂驅動部25以第一手臂部24a為基準來使第二手臂部24b位移。設於第三手臂部24c的手臂驅動部25以第二手臂部24b為基準來使第三手臂部24c位移。設於第四手臂部24d的手臂驅動部25以第三手臂部24c為基準來使第四手臂部24d位移。設於第五手臂部24e的手臂驅動部25以第四手臂部24d為基準來使第五手臂部24e位移。各手臂驅動部25例如使各手臂部24分別旋轉。
手臂位置獲取部26例如包含未圖示的旋轉編碼器。手臂位置獲取部26例如針對每個手臂部24而設。即,手臂位置獲取部26例如設有五個。設於第一手臂部24a的手臂位置獲取部26可檢測以機器人20的設置面為基準的第一手臂部24a的位移量。設於二手臂部24b的手臂位置獲取部26可檢測以第一手臂部24a為基準的第二手臂部24b的位移量。設於第三手臂部24c的手臂位置獲取部26可檢測以第二手臂部24b為基準的第三手臂部24c的位移量。設於第四手臂部24d的手臂位置獲取部26可檢測以第三手臂部24c為基準的第四手臂部24d的位移量。設於第五手臂部24e的手臂位置獲取部26可檢測以第四手臂部24d為基準的第五手臂部24e的位移量。可由各手臂位置獲取部26來檢測的各手臂部24的位移量例如包含藉由未圖示的旋轉編碼器而檢測的各手臂部24的旋轉角度。
圖3是表示本實施形態的機器人手臂21的一部分、端點效果器22、配接器23以及攝影裝置30的立體圖。圖4是表示本實施形態的機器人手臂21的一部分、端點效果器22、配接器23以及攝影裝置30的平面圖。
如圖3以及圖4所示,端點效果器22被安裝於機器人手臂21。本實施形態中,端點效果器22經由配接器23而安裝於第五手臂部24e的前端部。端點效果器22例如相對於機器人手臂21可裝卸地安裝。端點效果器22可更換為其他端點效果器。
再者,作為安裝於機器人手臂21的端點效果器22,可根據機器人20所進行的作業來適當採用具有各種形狀、結構及功能的端點效果器。作為安裝於機器人手臂21的端點效果器22,例如可列舉可抓持對象物W的機器手、進行雷射加工或超音波加工的加工頭、攝影機、射出已熔融的金屬、樹脂或噴射加工用粒子等的噴頭、機械手(manipulator)以及鼓風機等。
本實施形態中,端點效果器22為可抓持作業台WB上的對象物W的多指型的機器手。如圖3所示,端點效果器22具有基部22a、多個指部22b、端點效果器驅動部28以及端點效果器位置獲取部29。基部22a例如經由配接器23而連接於第五手臂部24e。基部22a例如是以各圖中適當表示的中心軸CL作為中心的圓柱狀。各圖中適當表示的中心軸CL為端點效果器22、配接器23以及第五手臂部24e的中心軸。
以下的說明中,將與中心軸CL平行的方向稱作「中心軸方向」,於各圖中適當地以Z軸來表示。將中心軸方向中的Z軸的正側(+Z側)稱作「前端側」,將中心軸方向中的負側(-Z側)稱作「基端側」。而且,若未特別說明,則將以中心軸CL為中心的徑方向簡稱作「徑方向」,將繞中心軸CL的周方向簡稱作「周方向」。
本實施形態中,於基部22a設有導軌部22e。導軌部22e例如是沿著周方向包圍基部22a的圓環狀的槽。多個指部22b從基部22a朝中心軸方向的前端側(+Z側)突出。本實施形態中,端點效果器22可藉由多個指部22b來抓持對象物W。再者,指部22b的數量並無特別限定。
端點效果器驅動部28可驅動端點效果器22。端點效果器驅動部28具有旋轉驅動部22c。旋轉驅動部22c例如被設於基部22a的內部。旋轉驅動部22c例如是可使基部22a繞中心軸CL旋轉的伺服馬達。儘管省略了圖示,但端點效果器驅動部28具有驅動多個指部22b的指驅動部。指驅動部例如是針對多個指部22b的每一個而設。指驅動部既可針對每個指部22b而各設有一個,亦可針對每個指部22b而各設有多個。指驅動部例如使指部22b相對於基部22a的角度發生位移。指驅動部例如為伺服馬達。
端點效果器位置獲取部29可獲取端點效果器22相對於配接器23的相對位置。端點效果器位置獲取部29具有旋轉位置獲取部22d。旋轉位置獲取部22d例如被設於基部22a的內部。旋轉位置獲取部22d可檢測端點效果器22的旋轉位置。旋轉位置獲取部22d例如可檢測基部22a的繞中心軸CL的旋轉角度。旋轉位置獲取部22d例如為旋轉編碼器。端點效果器位置獲取部29例如亦可包含可對指部22b相對於基部22a的位置以及角度進行檢測的感測器。
本實施形態中,於端點效果器22安裝有攝影機單元60。攝影機單元60被固定於基部22a。攝影機單元60具有支持部61、第一攝影機62及第二攝影機63。支持部61從基部22a朝中心軸方向的前端側(+Z側)突出。支持部61的基端側(-Z側)的端部連接於基部22a的前端側的端部的外周面。第一攝影機62以及第二攝影機63被固定於支持部61的前端側的端部。第一攝影機62以及第二攝影機63可拍攝多個指部22b以及藉由指部22b所抓持的對象物W。由第一攝影機62與第二攝影機63構成立體攝影機。再者,圖4中,省略了攝影機單元60的圖示。
如圖2所示,攝影機單元60具有攝影元件64、記憶體65以及數位訊號處理部66。攝影元件64例如為電荷耦合元件(Charge Coupling Device,CCD)影像感測器、互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor,CMOS)影像感測器等。攝影元件64被設於第一攝影機62與第二攝影機63的各個。各攝影元件64將入射至各自所設的攝影機中的光訊號轉換為類比的電訊號,且將經轉換的類比的電訊號轉換為數位的圖像訊號並予以輸出。
數位訊號處理部66對於從攝影元件64輸出的數位的圖像訊號,進行數位放大、色彩內插處理、白平衡處理等圖像處理等。經數位訊號處理部66處理後的數位的圖像訊號既可暫時保存於記憶體65中,亦可不保存於記憶體65而輸出至控制部40。從數位訊號處理部66輸出至控制部40的數位的圖像訊號被輸出至後述的距離資訊獲取部44。
記憶體65可記憶從攝影元件64輸出的數位的圖像訊號、以及從數位訊號處理部66輸出的數位的圖像訊號。記憶體65例如為揮發性記憶體。再者,記憶體65亦可為非揮發性記憶體。從攝影元件64輸出的數位的圖像訊號例如被保存於記憶體65中之後,從記憶體65被送往數位訊號處理部66,於數位訊號處理部66中實施圖像處理。
再者,記憶體65以及數位訊號處理部66既可於攝影機單元60內各設有一個而對第一攝影機62的攝影元件64以及第二攝影機63的攝影元件64這兩者使用,亦可針對第一攝影機62的攝影元件64與第二攝影機63的攝影元件64的每一個而分別設置。而且,記憶體65以及數位訊號處理部66的一部分或整體亦可設於控制部40等攝影機單元60的外部。而且,攝影機單元60亦可為僅具有一個攝影機的結構。
配接器23是用於將端點效果器22安裝至機器人手臂21的構件。如圖4所示,配接器23具有支持部23a、台座部23b、連接部23c以及台座驅動部23d。支持部23a是連接於機器人手臂21的部分。支持部23a例如可裝卸地連接於第五手臂部24e的前端部。支持部23a具有從中心軸方向的前端側(+Z側)朝基端側(-Z側)凹陷的凹部23g。再者,支持部23a亦可無法裝卸地固定於機器人手臂21。
台座部23b被配置於支持部23a的前端側(+Z側)。台座部23b是端點效果器22所連接的部分。本實施形態中,端點效果器22的基部22a可裝卸地連接於台座部23b的前端側(+Z側)的端部。再者,端點效果器22亦可無法裝卸地固定於台座部23b。台座部23b中的基端側(-Z側)的部分例如插入至凹部23g的內部。例如,於支持部23a與台座部23b之間設有間隙,支持部23a與台座部23b彼此不直接接觸。
連接部23c被設於凹部23g的內部。連接部23c被設於支持部23a與台座部23b之間。連接部23c連接支持部23a與台座部23b。即,本實施形態中,支持部23a與台座部23b在彼此不直接接觸的狀態下,彼此經由連接部23c而間接地連接。連接部23c支持著台座部23b的重量以及端點效果器22的重量。
連接部23c具有阻尼器(damper)元件23e與彈簧元件23f。彈簧元件23f例如亦可為可調整彈力的彈性構件。此時,機器人系統10亦可具有可調整彈簧元件23f的彈力的調整部。彈簧元件23f例如亦可為空氣彈簧(air spring)。此時,亦可藉由調整部來調整空氣彈簧的空氣壓力,藉此來調整彈簧元件23f的彈力。連接部23c例如設有多個。多個連接部23c例如包含:連接部23c,具有在中心軸方向上受力而位移的阻尼器元件23e及彈簧元件23f;以及連接部23c,具有在與中心軸方向正交的方向上受力而位移的阻尼器元件23e及彈簧元件23f。
連接部23c例如可降低端點效果器22的振動以及從外部給予的振動。連接部23c抑制因端點效果器22的自重及台座部23b的自重所引起的端點效果器22的位移及台座部23b的位移。連接部23c不論端點效果器22的姿勢如何,均可在重力方向上支持端點效果器22。再者,連接部23c例如除了阻尼器元件23e以及彈簧元件23f以外,還具有可降低端點效果器22的振動的其他元件。所述其他元件例如包含壓電元件(piezo device)。
台座驅動部23d例如在凹部23g的內部被設於支持部23a與台座部23b之間。台座驅動部23d可使台座部23b相對於支持部23a的位置發生位移。台座驅動部23d藉由使台座部23b移動,從而可使連接於台座部23b的端點效果器22移動。
台座驅動部23d例如具有多個線性馬達27。線性馬達27例如為音圈馬達。線性馬達27具有磁場產生部27a以及磁鐵部27b。磁場產生部27a以及磁鐵部27b中的其中一者被安裝於支持部23a,另一者被安裝於台座部23b。圖4中,例如磁場產生部27a被安裝於支持部23a,磁鐵部27b被安裝於台座部23b。再者,亦可為:磁場產生部27a被安裝於台座部23b,磁鐵部27b被安裝於支持部23a。
磁場產生部27a例如為線圈。藉由對磁場產生部27a供給電流,從而產生磁場。藉由從磁場產生部27a產生的磁場與從磁鐵部27b產生的磁場,於磁場產生部27a與磁鐵部27b之間產生斥力或吸引力。藉由該斥力或吸引力,磁鐵部27b相對於磁場產生部27a而位移。藉此,線性馬達27使安裝有磁鐵部27b的台座部23b相對於安裝有磁場產生部27a的支持部23a而位移。如此,台座驅動部23d可使支持部23a與台座部23b不會彼此直接接觸,而以非接觸狀態來驅動台座部23b。
多個線性馬達27例如包含:可使台座部23b相對於支持部23a而沿中心軸方向位移的線性馬達27、以及可使台座部23b相對於支持部23a而沿與中心軸方向正交的方向位移的線性馬達27。
再者,配接器23只要可將端點效果器22安裝於機器人手臂21,則為任何結構皆可。作為配接器23的結構,例如亦可採用國際申請案PCT/JP2019/016043號所記載的配接器的結構。
如圖3所示,本實施形態中,攝影裝置30設有多個。攝影裝置30例如設有第一攝影裝置31與第二攝影裝置32這兩個。第一攝影裝置31以及第二攝影裝置32例如既可為紅綠藍(Red Green Blue,RGB)攝影機,亦可為紅外線攝影機。由第一攝影裝置31與第二攝影裝置32構成立體攝影機。本實施形態中,第一攝影裝置31以及第二攝影裝置32被安裝於端點效果器22。第一攝影裝置31以及第二攝影裝置32被配置於端點效果器22的周圍。第一攝影裝置31與第二攝影裝置32例如位於基部22a的徑方向外側,且沿著周方向而配置。
本實施形態中,第一攝影裝置31的光軸AX1與第二攝影裝置32的光軸AX2相互平行。光軸AX1、光軸AX2例如與中心軸CL平行。再者,本說明書中,所謂「多個攝影裝置的光軸相互平行」,除了多個攝影裝置的光軸嚴格地相互平行的情況以外,還包含多個攝影裝置的光軸相互大致平行的情況。所謂多個攝影裝置的光軸相互大致平行的情況,作為一例,包含多個攝影裝置的光軸於5°以內相互傾斜的情況。
圖5是從中心軸方向的前端側(+Z側)觀察端點效果器22的一部分、第一攝影裝置31以及第二攝影裝置32的圖。圖6是從中心軸方向的前端側(+Z側)觀察端點效果器22的一部分、第一攝影裝置31以及第二攝影裝置32的圖,且是表示第一攝影裝置31以及第二攝影裝置32位於規定的初始位置的情況的圖。再者,圖5以及圖6中,省略了端點效果器22的指部22b以及攝影機單元60的圖示。
如圖5及圖6所示,至少第一攝影裝置31以及第二攝影裝置32的其中一者相對於端點效果器22可移動。本實施形態中,第一攝影裝置31以及第二攝影裝置32這兩者相對於端點效果器22可移動。第一攝影裝置31與第二攝影裝置32的相對位置可變。本實施形態中,第一攝影裝置31以及第二攝影裝置32的至少一者在端點效果器22周圍的規定的周方向上可動。本實施形態中,所謂「規定的周方向」,是指基部22a周圍的繞中心軸CL的周方向。
本實施形態中,第一攝影裝置31以及第二攝影裝置32這兩者在端點效果器22周圍的規定的周方向上可動。即,本實施形態中,第一攝影裝置31以及第二攝影裝置32的其中一者在端點效果器22周圍的規定的周方向上可動,另一者亦在端點效果器22周圍的規定的周方向上可動。如圖6所示,本實施形態中,第一攝影裝置31與第二攝影裝置32可在周方向上彼此接觸。本實施形態中,第一攝影裝置31與第二攝影裝置32在分別位於圖6所示的初始位置的情況下,成為在周方向上彼此接觸的狀態。
如圖3所示,第一攝影裝置31具有框體31a、第一驅動部31b、第一位置獲取部31c、透鏡31e以及攝影元件31f。框體31a例如是於前端側(+Z側)具有開口部,且沿中心軸方向延伸的圓筒狀。框體31a的中心軸例如與第一攝影裝置31的光軸AX1一致。框體31a經由滑塊(slider)31d而安裝於端點效果器22的基部22a。
滑塊31d例如被固定於框體31a的基端側(-Z側)的部分的徑方向內側部分。滑塊31d連接框體31a與端點效果器22的基部22a。即,本實施形態中,第一攝影裝置31經由滑塊31d而與端點效果器22連接。滑塊31d連結於端點效果器22的導軌部22e。滑塊31d可沿著導軌部22e而在周方向上移動。藉此,第一攝影裝置31可沿著導軌部22e而在周方向上移動。
透鏡31e被嵌入至框體31a的前端側(+Z側)的開口部。透鏡31e例如是沿中心軸方向觀察呈圓形狀的透鏡。第一攝影裝置31的光軸AX1通過透鏡31e的中心。
攝影元件31f被配置於框體31a的內部。攝影元件31f例如為CCD影像感測器、CMOS影像感測器等。經由透鏡31e而入射至框體31a內的光入射至攝影元件31f。攝影元件31f將所入射的光訊號轉換為類比的電訊號,且將經轉換的類比的電訊號轉換為數位的圖像訊號並予以輸出。
如圖5所示,攝影元件31f沿中心軸方向觀察呈長方形狀。沿中心軸方向觀察時,攝影元件31f的長邊與徑方向中的通過第一攝影裝置31的光軸AX1的方向正交。本實施形態中,第一攝影裝置31可在周方向上移動,以維持沿中心軸方向觀察時攝影元件31f的長邊與通過第一攝影裝置31的光軸AX1的徑方向正交的狀態。
如圖3所示,第一驅動部31b例如被配置於框體31a的內部。第一驅動部31b例如為伺服馬達。第一驅動部31b使第一攝影裝置31在端點效果器22周圍的周方向上移動。本實施形態中,第一攝影裝置31與滑塊31d一同亦包含第一驅動部31b在內的整體在周方向上移動。
第一位置獲取部31c例如被配置於框體31a的內部。第一位置獲取部31c例如為旋轉編碼器。第一位置獲取部31c藉由檢測第一驅動部31b的旋轉,從而可獲取第一攝影裝置31的周方向的位置資訊。第一位置獲取部31c例如將第一攝影裝置31位於圖6所示的初始位置時的第一驅動部31b的旋轉數設為零,藉由檢測第一驅動部31b的旋轉數,來檢測第一攝影裝置31的周方向位置。
第二攝影裝置32具有框體32a、第二驅動部32b、第二位置獲取部32c、透鏡32e以及攝影元件32f。框體32a例如是於前端側(+Z側)具有開口部,且沿中心軸方向延伸的圓筒狀。框體32a的中心軸例如與第二攝影裝置32的光軸AX2一致。框體32a經由滑塊32d而安裝於端點效果器22的基部22a。
滑塊32d例如被固定於框體32a的基端側(-Z側)的部分的徑方向內側部分。滑塊32d連接框體32a與端點效果器22的基部22a。即,本實施形態中,第二攝影裝置32經由滑塊32d而與端點效果器22連接。滑塊32d連結於端點效果器22的導軌部22e。滑塊32d可沿著導軌部22e而在周方向上移動。藉此,第二攝影裝置32可沿著導軌部22e而在周方向上移動。
如此,本實施形態中,導軌部22e相當於保持第一攝影裝置31的第一保持部,且相當於保持第二攝影裝置32的第二保持部。即,本實施形態中,端點效果器22具有導軌部22e來作為保持第一攝影裝置31的第一保持部以及保持第二攝影裝置32的第二保持部。本實施形態中,第一攝影裝置31是由作為第一保持部的導軌部22e可移動地予以保持,第二攝影裝置32是由作為第二保持部的導軌部22e可移動地予以保持。
透鏡32e被嵌入至框體32a的前端側(+Z側)的開口部。透鏡32e例如是沿中心軸方向觀察呈圓形狀的透鏡。第二攝影裝置32的光軸AX2通過透鏡32e的中心。
攝影元件32f被配置於框體32a的內部。攝影元件32f例如為CCD影像感測器、CMOS影像感測器等。經由透鏡32e而入射至框體32a內的光入射至攝影元件32f。攝影元件32f將所入射的光訊號轉換為類比的電訊號,且將經轉換的類比的電訊號轉換為數位的圖像訊號並予以輸出。
如圖5所示,攝影元件32f沿中心軸方向觀察呈長方形狀。沿中心軸方向觀察時,攝影元件32f的長邊與徑方向中的通過第二攝影裝置32的光軸AX2的方向正交。本實施形態中,第二攝影裝置32可在周方向上移動,以維持沿中心軸方向觀察時攝影元件32f的長邊與通過第二攝影裝置32的光軸AX2的徑方向正交的狀態。攝影元件32f例如具有與第一攝影裝置31的攝影元件31f同樣的形狀以及大小。
再者,本說明書中,所謂「攝影元件的長邊」,是指攝影元件中的、光所入射的長方形狀的區域的長邊。各圖所示的攝影元件31f、攝影元件32f僅表示了具有光所入射的長方形狀的區域的本體部。攝影元件31f、攝影元件32f亦可具有保持光所入射的本體部的框架部等本體部以外的部分。此時,即便沿光軸AX1、光軸AX2的方向觀察時,攝影元件31f、攝影元件32f的外形為長方形以外的形狀,所謂攝影元件31f、攝影元件32f的長邊,仍是攝影元件31f、攝影元件32f中的光所入射的長方形狀的區域的長邊。
如圖3所示,第二驅動部32b例如被配置於框體32a的內部。第二驅動部32b例如為伺服馬達。第二驅動部32b使第二攝影裝置32在端點效果器22周圍的周方向上移動。本實施形態中,第二攝影裝置32與滑塊32d一同亦包含第二驅動部32b在內的整體在周方向上移動。
本實施形態中,由第一驅動部31b與第二驅動部32b構成驅動攝影裝置30的驅動部33。驅動部33至少使第一攝影裝置31以及第二攝影裝置32的其中一者相對於端點效果器22可移動。本實施形態中,驅動部33藉由設於各攝影裝置30的各驅動部,使第一攝影裝置31以及第二攝影裝置32這兩者相對於端點效果器22可移動。
第二位置獲取部32c例如被配置於框體32a的內部。第二位置獲取部32c例如為旋轉編碼器。第二位置獲取部32c藉由檢測第二驅動部32b的旋轉,從而可獲取第二攝影裝置32的周方向的位置資訊。第二位置獲取部32c例如將第二攝影裝置32位於圖6所示的初始位置時的第二驅動部32b的旋轉數設為零,藉由檢測第二驅動部32b的旋轉數,來檢測第二攝影裝置32的周方向位置。
本實施形態中,由第一位置獲取部31c與第二位置獲取部32c構成至少獲取第一攝影裝置31的位置資訊的位置獲取部34。本實施形態中,位置獲取部34可藉由設於各攝影裝置30的各位置獲取部,來獲取第一攝影裝置31的位置資訊以及第二攝影裝置32的位置資訊這兩者。位置獲取部34例如可獲取第一攝影裝置31的周方向位置以及第二攝影裝置32的周方向位置。
如圖2所示,各攝影裝置30分別具有記憶體35與數位訊號處理部36。數位訊號處理部36對從各攝影裝置30的攝影元件輸出的數位的圖像訊號進行數位放大、色彩內插處理、白平衡處理等圖像處理等。經數位訊號處理部36處理後的數位的圖像訊號既可暫時保存於記憶體35中,亦可不保存於記憶體35而輸出至控制部40。從數位訊號處理部36輸出至控制部40的數位的圖像訊號被輸出至後述的距離資訊獲取部44。
記憶體35可記憶從各攝影裝置30的攝影元件輸出的數位的圖像訊號、以及從數位訊號處理部36輸出的數位的圖像訊號。記憶體35例如為揮發性記憶體。再者,記憶體35亦可為非揮發性記憶體。從各攝影裝置30的攝影元件輸出的數位的圖像訊號例如被保存於記憶體35中之後,從記憶體35被送往數位訊號處理部36,於數位訊號處理部36中實施圖像處理。
再者,所述的說明中,記憶體35以及數位訊號處理部36採用了於各攝影裝置30內分別各設有一個的結構,但並不限於此。記憶體35以及數位訊號處理部36亦可針對兩個攝影裝置30而各設有一個,從而對第一攝影裝置31的攝影元件31f以及第二攝影裝置32的攝影元件32f這兩者使用。而且,記憶體35以及數位訊號處理部36的一部分或整體亦可被設於控制部40等攝影裝置30的外部。
控制部40控制機器人系統10。如圖2所示,本實施形態中,控制部40具有手臂控制部41、端點效果器控制部42、攝影裝置控制部43以及距離資訊獲取部44。手臂控制部41、端點效果器控制部42、攝影裝置控制部43以及距離資訊獲取部44各自既可藉由專用的硬體來實現,亦可藉由記憶體以及微處理器來實現。
手臂控制部41控制手臂驅動部25。本實施形態中,對於手臂控制部41,從手臂位置獲取部26輸入與手臂部24的位置以及姿勢相關的資訊,且從距離資訊獲取部44輸入與對象物W的距離相關的資訊。本實施形態中,手臂控制部41基於與手臂部24的位置以及姿勢相關的資訊、和與對象物W的距離相關的資訊,來控制手臂驅動部25。更詳細而言,手臂控制部41例如基於與對象物W的距離相關的資訊來算出手臂部24的位置以及姿勢的目標值,藉由使用來自手臂位置獲取部26的資訊的反饋控制來控制手臂驅動部25,以使手臂部24的位置以及姿勢成為所述目標值。如此,控制部40藉由手臂控制部41來控制手臂驅動部25,藉此來控制機器人手臂21的位置以及姿勢的至少一者。再者,對於手臂控制部41,亦可從外部輸入手臂部24的位置以及姿勢的目標值。
端點效果器控制部42控制端點效果器驅動部28。本實施形態中,對於端點效果器控制部42,從端點效果器位置獲取部29輸入與端點效果器22的位置以及姿勢相關的資訊,且從距離資訊獲取部44輸入與對象物W的距離相關的資訊。本實施形態中,端點效果器控制部42基於與端點效果器22的位置以及姿勢相關的資訊、和與對象物W的距離相關的資訊,來控制端點效果器驅動部28。更詳細而言,端點效果器控制部42例如基於與對象物W的距離相關的資訊來算出端點效果器22的位置以及姿勢的目標值,藉由使用來自端點效果器位置獲取部29的資訊的反饋控制來控制端點效果器驅動部28,以使端點效果器22的位置以及姿勢成為所述目標值。如此,控制部40藉由端點效果器控制部42來控制端點效果器驅動部28,藉此來控制端點效果器22的位置以及姿勢的至少一者。再者,對於端點效果器控制部42,亦可從外部輸入端點效果器22的位置以及姿勢的目標值。
攝影裝置控制部43控制攝影裝置30的驅動部33。本實施形態中,對於攝影裝置控制部43,從攝影裝置30的位置獲取部34輸入與攝影裝置30的位置相關的資訊。更詳細而言,對於攝影裝置控制部43,從第一位置獲取部31c輸入第一攝影裝置31的周方向的位置資訊,且從第二位置獲取部32c輸入第二攝影裝置32的周方向的位置資訊。而且,對於攝影裝置控制部43,從距離資訊獲取部44輸入與對象物W的距離相關的資訊。攝影裝置控制部43例如基於從位置獲取部34輸入的攝影裝置30的位置資訊、和從距離資訊獲取部44輸入的與對象物W的距離相關的資訊,來控制第一驅動部31b以及第二驅動部32b。藉此,控制部40藉由攝影裝置控制部43來控制驅動部33,藉此來控制攝影裝置30的位置。
攝影裝置控制部43可變更第一攝影裝置31與第二攝影裝置32之間的距離即基線長度L。如圖5所示,基線長度L是第一攝影裝置31的光軸AX1與第二攝影裝置32的光軸AX2之間的距離。例如,使第一攝影裝置31與第二攝影裝置32從圖5中兩點鏈線所示的位置沿著周方向以彼此遠離的方式移動至實線所示的位置為止,藉此,可將基線長度L從基線長度L1設為較基線長度L1大的基線長度L2。藉此,可加大第一攝影裝置31與第二攝影裝置32之間的基線長度L。另一方面,藉由使第一攝影裝置31與第二攝影裝置32沿著周方向以彼此靠近的方式移動,可縮小第一攝影裝置31與第二攝影裝置32之間的基線長度L。如此,本實施形態中,控制部40藉由攝影裝置控制部43來控制攝影裝置30的驅動部33,藉此,可變更第一攝影裝置31與第二攝影裝置32之間的距離即基線長度L。
攝影裝置控制部43例如基於與對象物W的距離相關的資訊來算出要變更的基線長度L的目標值。攝影裝置控制部43在從攝影裝置30直至對象物W為止的距離相對較大的情況下,使基線長度L相對較大。另一方面,攝影裝置控制部43在從攝影裝置30直至對象物W為止的距離相對較小的情況下,使基線長度L相對較小。再者,對於攝影裝置控制部43,亦可從外部輸入基線長度L的目標值。對於攝影裝置控制部43,亦可從距離資訊獲取部44輸入基線長度L的目標值。
本實施形態中,控制部40藉由攝影裝置控制部43,根據機器人系統10的作業內容來變更基線長度L。控制部40例如在搜尋作業台WB上的對象物W時,使基線長度L相對較大。另一方面,控制部40例如在找到了要進行作業的對象物W後,在使端點效果器22靠近所述對象物W時,使基線長度L相對較小。此時,控制部40亦可隨著端點效果器22靠近對象物W而使基線長度L變小。
本實施形態中,攝影裝置控制部43在機器人系統10的電源接通後,控制驅動部33來使攝影裝置30移動至規定的初始位置。攝影裝置控制部43例如在機器人系統10的電源接通後,使第一攝影裝置31移動至圖6所示的規定的初始位置,使第二攝影裝置32移動至圖6所示的規定的初始位置。第一攝影裝置31以及第二攝影裝置32向各初始位置的移動例如是在機器人系統10的電源接通後,且在使用第一攝影裝置31以及第二攝影裝置32之前進行。第一攝影裝置31以及第二攝影裝置32向各初始位置的移動例如亦可在機器人系統10的電源接通後立即進行。
攝影裝置控制部43例如使第一攝影裝置31與第二攝影裝置32在周方向上相互接觸,藉此,使第一攝影裝置31與第二攝影裝置32各自適宜且容易地移動至初始位置。再者,機器人系統10亦可具有可檢測第一攝影裝置31與第二攝影裝置32在周方向上的接觸的感測器。
如此,本實施形態中,至少第一攝影裝置31在機器人系統10的電源接通後,移動至規定的初始位置。更詳細而言,第一攝影裝置31以及第二攝影裝置32這兩者在機器人系統10的電源接通後,移動至規定的初始位置。再者,亦可為,第一攝影裝置31以及第二攝影裝置32中的僅第一攝影裝置31在機器人系統10的電源接通後移動至規定的初始位置,還可為,第一攝影裝置31以及第二攝影裝置32中的僅第二攝影裝置32在機器人系統10的電源接通後移動至規定的初始位置。
本實施形態中,控制部40在藉由攝影裝置控制部43來使第一攝影裝置31以及第二攝影裝置32移動時,使安裝有攝影裝置30的構件即本實施形態中的端點效果器22處於靜止的狀態。即,本實施形態中,第一攝影裝置31的移動以及第二攝影裝置32的移動是在安裝有第一攝影裝置31以及第二攝影裝置32的構件靜止的狀態下進行。本實施形態中,第一攝影裝置31向規定的初始位置的移動以及第二攝影裝置32向規定的初始位置的移動均是在安裝有第一攝影裝置31以及第二攝影裝置32的構件(端點效果器22)靜止的狀態下進行。
在第一攝影裝置31以及第二攝影裝置32的至少一者中無法拍攝對象物W的情況下,控制部40亦可使第一攝影裝置31以及第二攝影裝置32的至少一者移動,而使第一攝影裝置31以及第二攝影裝置32這兩者位於可拍攝對象物W的位置。所謂無法藉由攝影裝置30來拍攝對象物W的情況,例如是指在攝影裝置30與對象物W之間配置有障礙物,對象物W無法映照於攝影裝置30之類的情況。控制部40亦可根據端點效果器22對於對象物W的作業,來使第一攝影裝置31以及第二攝影裝置32移動至不會對端點效果器22的作業造成妨礙的位置。
距離資訊獲取部44獲取與對象物W的距離相關的資訊。與對象物W的距離相關的資訊例如包含從攝影裝置30直至對象物W為止的距離、從端點效果器22直至對象物W為止的距離、從機器人手臂21直至對象物W為止的距離、多個對象物W彼此之間的距離、以及關於對象物W的3D點陣資料等。對於距離資訊獲取部44,輸入由攝影元件31f、攝影元件32f所拍攝的圖像的資訊。
對於距離資訊獲取部44,從攝影裝置30的位置獲取部34輸入與攝影裝置30的位置相關的資訊。距離資訊獲取部44基於由位置獲取部34所獲取的第一攝影裝置31的位置資訊來獲取基線長度L。本實施形態中,距離資訊獲取部44基於由第一位置獲取部31c所獲取的第一攝影裝置31的位置資訊與由第二位置獲取部32c所獲取的第二攝影裝置32的位置資訊,來獲取基線長度L。具體而言,距離資訊獲取部44根據第一攝影裝置31的周方向位置與第二攝影裝置32的周方向位置來算出第一攝影裝置31的光軸AX1與第二攝影裝置32的光軸AX2的距離,以獲取基線長度L。再者,距離資訊獲取部44例如亦可從攝影裝置控制部43等其他部分獲取基線長度L。
距離資訊獲取部44基於所獲取的基線長度L、由第一攝影裝置31所獲取的第一圖像、以及由第二攝影裝置32所獲取的第二圖像,來獲取與對象物W的距離相關的資訊。此處,本實施形態中,沿中心軸方向觀察時,第一攝影裝置31的攝影元件31f的姿勢與第二攝影裝置32的攝影元件32f的姿勢互不相同。因此,距離資訊獲取部44藉由使由第一攝影裝置31所獲取的第一圖像以及由第二攝影裝置32所獲取的第二圖像的至少一者旋轉,從而使第一圖像的方向(朝向)與第二圖像的方向(朝向)一致。
如此,本實施形態中,距離資訊獲取部44藉由使由第一攝影裝置31所獲取的第一圖像以及由第二攝影裝置32所獲取的第二圖像的至少一者旋轉,從而調整所獲取的圖像的方向。距離資訊獲取部44既可僅使由第一攝影裝置31所獲取的第一圖像旋轉而使第一圖像的方向一致於第二圖像的方向,亦可僅使由第二攝影裝置32所獲取的第二圖像旋轉而使第二圖像的方向一致於第一圖像的方向,還可使由第一攝影裝置31所獲取的第一圖像與由第二攝影裝置32所獲取的第二圖像與這兩者旋轉而使第一圖像的方向與第二圖像的方向一致。本實施形態中,距離資訊獲取部44使用基線長度L與經旋轉而使方向一致的第一圖像以及第二圖像,來測量從攝影裝置30直至對象物W為止的距離。控制部40基於如此般獲取的與對象物W的距離相關的資訊,來控制機器人手臂21以及端點效果器22的至少一者。
顯示部50顯示基於與距離相關的資訊的資訊。與距離相關的資訊例如包含與對象物W的距離相關的資訊、以及與第一攝影裝置31和第二攝影裝置32之間的距離即基線長度L相關的資訊等。所謂基於與距離相關的資訊的資訊,既可為與距離相關的資訊其自身,亦可為由與距離相關的資訊而獲得的資訊。於顯示部50上,例如顯示當前的直至對象物W為止的距離以及當前的基線長度L。例如,於顯示部50上,亦可圖表化地顯示直至對象物W為止的距離以及基線長度L的變化。顯示部50只要可顯示基於與距離相關的資訊的資訊,則為任何結構皆可。顯示部50例如既可與機器人20獨立地設置,亦可被設於機器人手臂21。顯示部50是由控制部40予以控制。
根據本實施形態,安裝於端點效果器22的第一攝影裝置31以及第二攝影裝置32的至少一者相對於端點效果器22可移動。因此,藉由使第一攝影裝置31與第二攝影裝置32的至少一者移動,從而可改變第一攝影裝置31與第二攝影裝置32之間的距離。藉此,可變更第一攝影裝置31與第二攝影裝置32之間的距離即基線長度L。
此處,在基線長度L相對較大的情況下,可使針對位於距攝影裝置30相對較遠處的對象物W的解析度相對較大,從而可高精度地檢測直至位於距攝影裝置30相對較遠處的對象物W為止的距離。然而,此時,位於距攝影裝置30相對較近處的對象物W無法映照於攝影裝置30中,因此無法檢測直至位於距攝影裝置30相對較近處的對象物W為止的距離。另一方面,在基線長度L相對較小的情況下,雖可拍攝位於距攝影裝置30相對較近處的對象物W,但難以使焦點對準位於距攝影裝置30相對較遠處的對象物W,因而難以高精度地檢測直至距攝影裝置30相對較遠處的對象物W為止的距離。如此,根據基線長度L的大小,可適宜地檢測距離的對象物W的位置不同。因此,例如在基線長度L的大小已被固定的攝影裝置中,可適宜地獲取與距離相關的資訊的對象物W相對於攝影裝置的位置受到限制。由此,在僅使用所述攝影裝置的情況下,機器人系統的作業內容有時受到限制。
與此相對,根據本實施形態,如上所述,可變更安裝於端點效果器22的第一攝影裝置31與第二攝影裝置32之間的基線長度L。因此,在端點效果器22與對象物W的距離相對較大的情況下使基線長度L相對較大,在端點效果器22與對象物W的距離相對較小的情況下使基線長度L相對較小,藉此,即便端點效果器22與對象物W的距離在一定程度上大幅變化,亦只要利用安裝於端點效果器22的攝影裝置30便可高精度地測量直至對象物W為止的距離。而且,在端點效果器22與對象物W的距離相對較大的情況下,可使基線長度L相對較大,藉此,可藉由立體匹配來更高精度地檢測直至對象物W為止的距離。而且,在端點效果器22與對象物W的距離相對較小的情況下,可使基線長度L相對較小,藉此,可加大由第一攝影裝置31所拍攝的圖像與由第二攝影裝置32所拍攝的圖像的重合程度(重覆部分),從而可在由各攝影裝置30所拍攝的圖像內的相對較廣的範圍內進行立體匹配而測量直至對象物W為止的距離。藉此,不論端點效果器22與對象物W的距離如何,均可藉由機器人系統10來對於對象物W進行作業。因此,可抑制機器人系統10的作業內容受到限制的現象。藉此,可提高對於對象物W的作業性。
具體而言,例如,對於從相對較遠處搜索作業台WB上而搜尋對象物W的作業、使端點效果器22靠近所搜尋到的對象物W的作業、以及藉由端點效果器22來抓住對象物W的作業、使所抓住的對象物W移動至其他場所的作業等,可僅使用安裝於端點效果器22的第一攝影裝置31以及第二攝影裝置32來適宜地獲取直至對象物W為止的距離而進行。
而且,例如在配置機器人系統的場所的天花板等設置可對直至機器人系統進行作業的對象物W為止的距離進行測量的設備的情況下,藉由使所述設備中的基線長度L與被安裝於端點效果器的攝影裝置的基線長度L不同,從而即便在端點效果器與對象物的距離在大到一定程度的範圍內發生變化的情況下,亦能掌握直至對象物為止的距離並藉由機器人系統來進行作業。然而,此時,存在需要用於設置所述設備的成本的問題。而且,存在只有在設有所述設備的場所才能使用機器人系統的問題。
與此相對,根據本實施形態,由於可變更安裝於端點效果器22的第一攝影裝置31與第二攝影裝置32之間的基線長度L,因此即便在端點效果器22與對象物W的距離在大到一定程度的範圍內發生變化的情況下,亦無須設置如上所述般的設於天花板等的設備,機器人系統10便可對於對象物W進行作業。藉此,不需要用於設置所述設備的成本。而且,在未設有如上所述般的設備的場所,亦能使用機器人系統10。因此,能夠提高可利用機器人系統10的場所的自由度。
而且,在第一攝影裝置31或第二攝影裝置32的任一者位於無法拍攝對象物W的位置的情況下,藉由使第一攝影裝置31或第二攝影裝置32相對於端點效果器22而移動,從而無須使端點效果器22移動,便可容易地藉由第一攝影裝置31以及第二攝影裝置32這兩者來拍攝對象物W。藉此,不論端點效果器22的位置以及姿勢等如何,均可適宜地獲取與對象物W的距離相關的資訊。
而且,亦可配合機器人手臂21以及端點效果器22所移動的路徑、以及配置機器人手臂21及端點效果器22的周圍的環境等,來使第一攝影裝置31以及第二攝影裝置32的至少一者的位置移動至適宜的位置。例如,在使機器人手臂21以及端點效果器22相對於對象物W而移動的情況下,可使第一攝影裝置31以及第二攝影裝置32以第一攝影裝置31及第二攝影裝置32不會接觸到其他物體等的方式而移動。因此,可提高機器人手臂21以及端點效果器22的移動的自由度。
而且,例如,藉由使第一攝影裝置31以及第二攝影裝置32的至少一者移動,亦能使機器人20活動時的慣性(inertia)最佳化。具體而言,例如在端點效果器22尚未抓持對象物W的情況下,將第一攝影裝置31與第二攝影裝置32夾著中心軸CL而配置於相反側,藉此,容易使端點效果器22、第一攝影裝置31與第二攝影裝置32的整體的慣性達到最小。藉此,可容易使安裝有第一攝影裝置31以及第二攝影裝置32的端點效果器22適宜地移動。而且,例如在端點效果器22抓持著對象物W的情況下,可使第一攝影裝置31以及第二攝影裝置32的至少一者移動至第一攝影裝置31以及第二攝影裝置32相對於所抓持的對象物W而作為配重(counter weight)來發揮功能的位置。藉此,容易使端點效果器22、第一攝影裝置31、第二攝影裝置32與對象物W的整體的慣性達到最小。因此,在端點效果器22抓持有對象物W的狀態下,可容易使端點效果器22適宜地移動。
而且,在可藉由第一攝影裝置31以及第二攝影裝置32來拍攝對象物W的範圍內,對象物W與第一攝影裝置31及第二攝影裝置32的距離發生變化的情況下,第一攝影裝置31以及第二攝影裝置32越靠近對象物W,則亦可使基線長度L越大。此處,基線長度L越大,則可越提高直至對象物W為止的距離的檢測精度。因此,只要處於可拍攝對象物W的範圍內,則越靠近對象物W,使基線長度L越大,藉此,可更高精度地獲取直至對象物W為止的距離,從而可容易地對於對象物W進行精密的作業。
例如,在端點效果器22為抓持對象物W的機器手的情況、以及端點效果器22為對於對象物W進行作業的工具的情況等下,端點效果器22越靠近對象物W,則可越高精度地獲取直至對象物W為止的距離,因此可容易地藉由端點效果器22來對於對象物W進行精密的作業。而且,在端點效果器22距對象物W相對較遠的情況下,由於基線長度L相對較小,因此由第一攝影裝置31所拍攝的圖像與由第二攝影裝置32所拍攝的圖像重合的區域(重覆部分)變大,從而可在包含對象物W在內的相對較大的範圍內測量距離。
而且,根據本實施形態,第一攝影裝置31的光軸AX1與第二攝影裝置32的光軸AX2相互平行。因此,容易基於由第一攝影裝置31所獲取的第一圖像與由第二攝影裝置32所獲取的第二圖像來適宜地獲取直至對象物W為止的距離。
而且,根據本實施形態,可藉由控制機器人系統10的控制部40來變更第一攝影裝置31與第二攝影裝置32之間的距離即基線長度L,且可藉由距離資訊獲取部44來基於基線長度L而獲取與對象物W的距離相關的資訊。因此,可根據機器人系統10的作業內容來容易地變更基線長度L。而且,可藉由距離資訊獲取部44來容易地獲取與對象物W的距離相關的資訊。
而且,根據本實施形態,設有至少獲取第一攝影裝置31的位置資訊的位置獲取部34,距離資訊獲取部44基於由位置獲取部34所獲取的第一攝影裝置31的位置資訊來獲取基線長度L。因此,藉由距離資訊獲取部44,既可適宜地獲取基線長度L,又可基於所獲取的基線長度L來適宜地獲取與對象物W的距離相關的資訊。
而且,根據本實施形態,控制部40根據機器人系統10的作業內容來變更基線長度L。因此,可根據機器人系統10的作業內容來適宜地改變第一攝影裝置31與第二攝影裝置32之間的基線長度L。藉此,可藉由機器人系統10來適宜地進行作業。具體而言,例如在進行從相對較遠處搜索對象物W的作業的情況下,使基線長度L相對較大,藉此,可高精度地獲取直至位於相對較遠處的對象物W為止的距離,從而容易搜索對象物W。而且,例如在進行藉由端點效果器22來抓持對象物W的作業的情況下,使基線長度L相對較小,藉此,可獲取直至位於相對較小處的對象物W為止的距離,從而容易藉由端點效果器22來適宜地抓持對象物W。
而且,根據本實施形態,距離資訊獲取部44藉由使由第一攝影裝置31所獲取的第一圖像以及由第二攝影裝置32所獲取的第二圖像的至少一者旋轉,從而調整所獲取的圖像的方向。因此,即便第一攝影裝置31的攝影元件31f與第二攝影裝置32的攝影元件32f以不同的姿勢而配置,亦可使由第一攝影裝置31所獲取的第一圖像的方向與由第二攝影裝置32所獲取的第二圖像的方向一致。藉此,不論第一攝影裝置31與第二攝影裝置32的相對位置以及相對姿勢等如何,均可藉由距離資訊獲取部44來基於由各攝影裝置30所獲取的圖像而適宜地獲取與對象物W的距離相關的資訊。因此,即便在使第一攝影裝置31以及第二攝影裝置32的至少一者移動,而將第一攝影裝置31與第二攝影裝置32設為任意的位置以及姿勢的情況下,亦可適宜地獲取與對象物W的距離相關的資訊。
而且,根據本實施形態,第一攝影裝置31以及第二攝影裝置32被配置於端點效果器22的周圍。因此,容易根據由第一攝影裝置31及第二攝影裝置32所拍攝的圖像,來測定端點效果器22與對象物W之間的距離。而且,例如藉由如本實施形態般將第一攝影裝置31以及第二攝影裝置32配置於基部22a的徑方向外側,從而可使第一攝影裝置31以及第二攝影裝置32難以阻礙藉由端點效果器22來抓持對象物W的作業。
而且,根據本實施形態,第一攝影裝置31以及第二攝影裝置32的至少一者在端點效果器22周圍的規定的周方向上可動。因此,藉由使第一攝影裝置31以及第二攝影裝置32的至少一者移動,從而可變更第一攝影裝置31與第二攝影裝置32之間的周方向的距離,並可容易地變更第一攝影裝置31與第二攝影裝置32之間的基線長度L。
而且,根據本實施形態,至少第一攝影裝置31在機器人系統10的電源接通後移動至規定的初始位置。因此,在使用第一攝影裝置31之前,可進行第一攝影裝置31中的第一位置獲取部31c的校準。藉此,即便使第一攝影裝置31移動,亦能以規定的初始位置作為基準來高精度地檢測第一攝影裝置31的位置。本實施形態中,第一攝影裝置31與第二攝影裝置32這兩者在機器人系統10的電源接通後移動至規定的初始位置。因此,可對各攝影裝置30的各位置檢測部進行校準,從而可高精度地檢測各攝影裝置30的位置。藉此,可高精度地變更第一攝影裝置31與第二攝影裝置32之間的基線長度L,並可基於基線長度L來更適宜地獲取與對象物W的距離相關的資訊。而且,本實施形態中,藉由使第一攝影裝置31與第二攝影裝置32在周方向上接觸,從而可使第一攝影裝置31與第二攝影裝置32各自容易地移動至初始位置。
而且,根據本實施形態,第一攝影裝置31向規定的初始位置的移動是在安裝有第一攝影裝置31的構件即本實施形態中的端點效果器22靜止的狀態下進行。因此,與在端點效果器22正在移動的過程中使第一攝影裝置31移動至初始位置的情況相比,容易使第一攝影裝置31移動。而且,可抑制在端點效果器22正在移動的過程中第一攝影裝置31發生移動的情況,因此可抑制端點效果器22的移動計算以及機器人手臂21的移動計算複雜化。本實施形態中,第二攝影裝置32向規定的初始位置的移動亦是在端點效果器22靜止的狀態下進行。因此,可容易地使第二攝影裝置32移動至初始位置。而且,亦能抑制在端點效果器22正在移動的過程中第二攝影裝置32發生移動的情況,因此可進一步抑制端點效果器22的移動計算以及機器人手臂21的移動計算複雜化。
本實施形態中,第一攝影裝置31相對於端點效果器22的移動以及第二攝影裝置32相對於端點效果器22的移動全部是在安裝有第一攝影裝置31以及第二攝影裝置32的構件即本實施形態中的端點效果器22靜止的狀態下進行。因此,在端點效果器22正在移動的過程中,第一攝影裝置31以及第二攝影裝置32不會相對於端點效果器22而相對移動。藉此,可進一步抑制端點效果器22的移動計算以及機器人手臂21的移動計算複雜化。
而且,根據本實施形態,設有顯示部50,所述顯示部50顯示基於與距離相關的資訊的資訊。因此,機器人系統10的操作者等藉由查看顯示部50,便可容易地獲取與距離相關的資訊。
再者,所述的說明中,採用了藉由使由第一攝影裝置31所獲取的第一圖像以及由第二攝影裝置32所獲取的第二圖像的至少一者旋轉來調整所獲取的圖像的方向的方法,但並不限於此。本實施形態中,控制部40亦可藉由使第一攝影裝置31的攝影元件31f以及第二攝影裝置32的攝影元件32f的至少一者旋轉來調整所獲取的圖像的方向。此時,控制部40例如使第一攝影裝置31的攝影元件31f以及第二攝影裝置32的攝影元件32f的至少一者旋轉,以使攝影元件31f的長邊與攝影元件32f的長邊變得平行。藉此,無須對拍攝後的圖像實施旋轉等的處理,便可使由各攝影裝置30所獲取的圖像的方向一致。因此,與對所獲取的圖像實施旋轉等的處理的情況相比,可降低控制部40所進行的圖像處理的負載。
在使第一攝影裝置31的攝影元件31f旋轉的情況下,控制部40既可使第一攝影裝置31整體連同攝影元件31f一起旋轉,亦可僅使第一攝影裝置31中的攝影元件31f旋轉。在使第一攝影裝置31的攝影元件31f旋轉的情況下,控制部40使攝影元件31f繞光軸AX1旋轉。此時,第一攝影裝置31可繞光軸AX1旋轉地安裝於端點效果器22。
在使第二攝影裝置32的攝影元件32f旋轉的情況下,控制部40既可使第二攝影裝置32整體連同攝影元件32f一起旋轉,亦可僅使第二攝影裝置32中的攝影元件32f旋轉。在使第二攝影裝置32的攝影元件32f旋轉的情況下,控制部40使攝影元件32f繞光軸AX2旋轉。此時,第二攝影裝置32可繞光軸AX2旋轉地安裝於端點效果器22。
而且,本實施形態中,端點效果器22亦可具有無法移動地保持第一攝影裝置31的第一保持部。此時,端點效果器22亦可具有導軌部22e來作為可移動地保持第二攝影裝置32的第二保持部。而且,端點效果器22亦可具有無法移動地保持第二攝影裝置32的第二保持部。此時,端點效果器22亦可具有導軌部22e來作為可移動地保持第一攝影裝置31的第一保持部。
而且,本實施形態中,亦可為,至少第一攝影裝置31在機器人系統10的電源斷開之前移動至規定的結束位置。此時,控制部40例如亦可在收到使機器人系統10停止的命令後,使第一攝影裝置31與第二攝影裝置32在周方向上相互接觸,從而使第一攝影裝置31與第二攝影裝置32這兩者移動至規定的結束位置。規定的結束位置既可與規定的初始位置相同,亦可與規定的初始位置不同。
例如,在規定的結束位置與規定的初始位置相同的情況下,第一攝影裝置31以及第二攝影裝置32在機器人系統10的電源再次接通的時間點位於規定的初始位置。因此,不需要設置在機器人系統10的電源接通後使第一攝影裝置31以及第二攝影裝置32移動至規定的初始位置的步驟。藉此,即便從機器人系統10的電源接通後立即使第一攝影裝置31以及第二攝影裝置32移動,亦可藉由位置獲取部34來適宜地獲取各攝影裝置30的位置。
第一攝影裝置31向規定的結束位置的移動例如是在安裝有第一攝影裝置31的構件已靜止的狀態下進行。因此,可容易地使第一攝影裝置31移動至結束位置。而且,亦能抑制在端點效果器22正在移動的過程中第一攝影裝置31發生移動的情況,因此可進一步抑制端點效果器22的移動計算以及機器人手臂21的移動計算複雜化。
第二攝影裝置32向規定的結束位置的移動例如是在安裝有第二攝影裝置32的構件已靜止的狀態下進行。因此,可容易地使第二攝影裝置32移動至結束位置。而且,亦能抑制在端點效果器22正在移動的過程中第二攝影裝置32發生移動的情況,因此可進一步抑制端點效果器22的移動計算以及機器人手臂21的移動計算複雜化。
而且,對於由第一攝影裝置31所拍攝的圖像與由第二攝影裝置32所拍攝的圖像的重覆部分(共同映入兩個圖像的部分),可遍及所述重覆部分的整體來測量直至映照於所述重覆部分的對象物W等的特徵部分為止的距離。因此,控制部40亦可遍及由第一攝影裝置31所拍攝的圖像與由第二攝影裝置32所拍攝的圖像的所述重覆部分的整體來測量距離,並製作關於所述重覆部分的深度圖(depth map)。深度圖例如是藉由顏色的不同、顏色的深淺等來表示距離資訊的圖像。
而且,控制部40亦可使用由第一攝影裝置31及第二攝影裝置32所拍攝的圖像與由攝影機單元60所拍攝的圖像來測量直至對象物W為止的距離。控制部40例如亦可在根據由第一攝影裝置31及第二攝影裝置32所拍攝的圖像而測量的、直至對象物W為止的距離成為規定距離以下的情況下,將攝影機單元60的電源設為接通,並使用由第一攝影裝置31及第二攝影裝置32所拍攝的各圖像與由攝影機單元60所拍攝的圖像,來測量直至對象物W為止的距離。
而且,控制部40亦可根據直至對象物W為止的距離來切換第一攝影模式與第二攝影模式,所述第一攝影模式是使用由第一攝影裝置31及第二攝影裝置32所拍攝的圖像來測量直至對象物W為止的距離的模式,所述第二攝影模式是使用由攝影機單元60所拍攝的圖像來測量直至對象物W為止的距離的模式。此時,控制部40例如亦可在直至對象物W為止的距離大於規定距離的情況下,利用所述第一攝影模式來測量直至對象物W為止的距離,在對象物W為止的距離為規定距離以下的情況下,利用所述第二攝影模式來測量直至對象物W為止的距離。
<第二實施形態>
圖7是表示本實施形態的機器人系統110的一部分的立體圖。圖7中,省略了端點效果器122的指部22b以及攝影機單元60的圖示。再者,對於與所述實施形態同樣的結構,有時藉由適當附上相同的符號等而省略說明。
如圖7所示,本實施形態的機器人系統110中,第二攝影裝置132相對於端點效果器122而固定。即,本實施形態中,第二攝影裝置132不相對於端點效果器122而相對移動。因此,本實施形態中,僅有第一攝影裝置31在端點效果器122周圍的規定的周方向上可動。如此,本實施形態中,第一攝影裝置31以及第二攝影裝置132的其中一者在端點效果器122周圍的規定的周方向上可動,另一者相對於端點效果器122的規定部位而固定。
第二攝影裝置132例如被固定於基部122a。基部122a具有從基部122a的前端側(+Z側)的面朝基端側(-Z側)凹陷的孔部122f。孔部122f例如是以中心軸CL為中心的圓形狀的孔。
第二攝影裝置132的基端側(-Z側)的部分被嵌入保持於孔部122f內。本實施形態中,孔部122f相當於保持第二攝影裝置132的第二保持部。即,本實施形態中,端點效果器122具有孔部122f來作為第二保持部。本實施形態中,第二攝影裝置132是由作為第二保持部的孔部122f無法移動地予以保持。第二攝影裝置132的前端側(+Z側)的部分從基部122a中的前端側的面的中央朝前端側突出。基部122a除了設有孔部122f以外,為與所述的第一實施形態的基部22a同樣的結構。
第二攝影裝置132的光軸AX2a例如與第一攝影裝置31的光軸AX1平行,且與中心軸CL一致。第二攝影裝置132具有圓筒狀的框體132a、被嵌入至框體132a的前端側(+Z側)的開口部內的透鏡132e、以及配置於框體132a內的攝影元件132f。第二攝影裝置132的各部可與所述第一實施形態的第二攝影裝置32的各部設為同樣。第二攝影裝置132不同於第一實施形態的第二攝影裝置32,不具有第二驅動部32b以及第二位置獲取部32c。
本實施形態中,第一攝影裝置31與第二攝影裝置132之間的基線長度L被固定。本實施形態中,距離資訊獲取部44與所述第一實施形態同樣地,基於基線長度L與從第一攝影裝置31及第二攝影裝置132所獲取的兩個圖像,來獲取與對象物W的距離相關的資訊。
而且,本實施形態中,距離資訊獲取部44亦可基於由第一攝影裝置31所拍攝的兩個圖像來獲取與對象物W的距離相關的資訊。具體而言,例如當第一攝影裝置31位於圖7中實線所示的第一位置P1時,藉由第一攝影裝置31來獲取第一圖像,當第一攝影裝置31位於圖7中兩點鏈線所示的第二位置P2時,藉由第一攝影裝置31來獲取第二圖像。本實施形態中,距離資訊獲取部44亦可基於如此般獲得的第一圖像以及第二圖像來獲取與對象物W的距離相關的資訊。更詳細而言,距離資訊獲取部44亦可基於由第一攝影裝置31所獲取的第一圖像及第二圖像、以及第一位置P1處的第一攝影裝置31與第二位置P2處的第一攝影裝置31之間的距離即基線長度La,來獲取與對象物W的距離相關的資訊。
基線長度La是第一位置P1處的第一攝影裝置31的光軸AX1a與第二位置P2處的第一攝影裝置31的光軸AX1b之間的距離。基線長度La是由第一位置P1與第二位置P2而定。本實施形態中,控制部40藉由變更第一攝影裝置31獲取圖像的第一位置P1與第二位置P2,從而可變更基線長度La。控制部40例如根據機器人系統110的作業內容來變更基線長度La。
本實施形態中,位置獲取部134獲取與第一位置P1及第二位置P2相關的位置資訊。與第一位置P1及第二位置P2相關的位置資訊例如包含第一位置P1的資訊、第二位置P2的資訊、以及表示第一位置P1與第二位置P2的相對位置關係的資訊等。本實施形態中,位置獲取部134僅包含第一攝影裝置31的第一位置獲取部31c。位置獲取部134例如基於驅動部133的旋轉位置來獲取第一位置P1以及第二位置P2的位置資訊。本實施形態中,驅動部133僅包含第一攝影裝置31的第一驅動部31b。距離資訊獲取部44基於由位置獲取部134所獲取的與第一位置P1及第二位置P2相關的位置資訊來獲取基線長度La。
距離資訊獲取部44例如可根據機器人系統110的作業內容等,來選擇是使用由第一攝影裝置31及第二攝影裝置132分別獲取的圖像來獲取與對象物W的距離相關的資訊,還是使用由第一攝影裝置31在互不相同的第一位置P1以及第二位置P2處所獲取的兩個圖像來獲取與對象物W的距離相關的資訊。
在使用由第一攝影裝置31及第二攝影裝置132分別獲取的圖像來獲取與對象物W的距離相關的資訊的情況下,距離資訊獲取部44與第一實施形態同樣地,藉由使由第一攝影裝置31所獲取的圖像以及由第二攝影裝置132所獲取的圖像的至少一者旋轉,來調整所獲取的圖像的方向。
另一方面,在使用由第一攝影裝置31在互不相同的第一位置P1以及第二位置P2處所獲取的兩個圖像來獲取與對象物W的距離相關的資訊的情況下,距離資訊獲取部44藉由使由第一攝影裝置31在第一位置P1處所獲取的第一圖像以及由第一攝影裝置31在第二位置P2處所獲取的第二圖像的至少一者旋轉,來調整所獲取的圖像的方向。距離資訊獲取部44既可僅使在第一位置P1處所獲取的第一圖像旋轉而使第一圖像的方向一致於第二圖像的方向,亦可僅使在第二位置P2處所獲取的第二圖像旋轉而使第二圖像的方向一致於第二圖像的方向,還可使在第一位置P1處所獲取的第一圖像與在第二位置P2處所獲取的第二圖像這兩者旋轉而調整第一圖像的方向與第二圖像的方向。本實施形態的機器人系統110的其他結構可與所述實施形態的機器人系統的其他結構設為同樣。
根據本實施形態,第一攝影裝置31在端點效果器122周圍的規定的周方向上可動,第二攝影裝置132相對於端點效果器122的規定部位而固定。因此,與第一攝影裝置31以及第二攝影裝置132均可動地設置的情況相比,容易簡化機器人系統110的結構。
而且,根據本實施形態,第一攝影裝置31在第一位置P1處拍攝對象物W的第一圖像,且在與第一位置P1不同的第二位置P2處拍攝對象物W的第二圖像。距離資訊獲取部44基於所述第一圖像以及所述第二圖像來獲取與對象物W的距離相關的資訊。因此,可僅使用由一個第一攝影裝置31所獲取的圖像來獲取與對象物W的距離相關的資訊。藉此,即便未設置第二攝影裝置132,亦可僅藉由一個第一攝影裝置31來獲取與對象物W的距離相關的資訊。而且,藉由變更第一位置P1與第二位置P2的相對位置,從而可變更基線長度La。
而且,根據本實施形態,距離資訊獲取部44藉由使由第一攝影裝置31在第一位置P1處所獲取的第一圖像以及由第一攝影裝置31在第二位置P2處所獲取的第二圖像的至少一者旋轉,來調整所獲取的圖像的方向。因此,即便第一位置P1處的第一攝影裝置31的攝影元件31f與第二位置P2處的第二攝影裝置132的攝影元件132f以不同的姿勢而配置,亦能使在第一位置P1處所獲取的第一圖像的方向與在第二位置P2處所獲取的第二圖像的方向一致。藉此,無論第一位置P1與第二位置P2為何種位置,均可藉由距離資訊獲取部44來基於由第一攝影裝置31所獲取的圖像而適宜地獲取與對象物W的距離相關的資訊。
而且,根據本實施形態,控制部40可變更第一位置P1處的第一攝影裝置31與第二位置P2處的第一攝影裝置31之間的距離即基線長度La,距離資訊獲取部44基於基線長度La來獲取與對象物W的距離相關的資訊。因此,可僅使用第一攝影裝置31而在不同的基線長度La下獲取與對象物W的距離相關的資訊。
而且,根據本實施形態,位置獲取部134獲取與第一位置P1及第二位置P2相關的位置資訊,距離資訊獲取部44基於由位置獲取部134所獲取的與第一位置P1及第二位置P2相關的位置資訊來獲取基線長度La。因此,藉由距離資訊獲取部44,既可適宜地獲取基線長度La,又可基於所獲取的基線長度La來適宜地獲取與對象物W的距離相關的資訊。
而且,根據本實施形態,控制部40根據機器人系統110的作業內容來變更基線長度La。因此,可根據機器人系統110的作業內容來適宜地變更第一位置P1處的第一攝影裝置31與第二位置P2處的第一攝影裝置31之間的距離即基線長度La。藉此,可藉由機器人系統110來適宜地進行各作業。
而且,根據本實施形態,距離資訊獲取部44藉由使由第一攝影裝置31所獲取的第一圖像以及由第二攝影裝置32所獲取的第二圖像的至少一者旋轉,來調整所獲取的圖像的方向。因此,即便第一攝影裝置31的攝影元件31f與第二攝影裝置32的攝影元件32f以不同的姿勢而配置,亦可使由第一攝影裝置31所獲取的第一圖像的方向與由第二攝影裝置32所獲取的第二圖像的方向一致。藉此,不論第一攝影裝置31與第二攝影裝置32的相對位置以及相對姿勢等如何,均可藉由距離資訊獲取部44基於由各攝影裝置30所獲取的圖像來適宜地獲取與對象物W的距離相關的資訊。因此,即便在使第一攝影裝置31以及第二攝影裝置32的至少一者移動而將第一攝影裝置31與第二攝影裝置32設為任意的位置以及姿勢的情況下,亦可適宜地獲取與對象物W的距離相關的資訊。
再者,本實施形態中,第一攝影裝置31亦可在徑方向上可移動。此時,藉由變更第一攝影裝置31的徑方向位置,從而可變更第一攝影裝置31與第二攝影裝置132之間的距離即基線長度。而且,本實施形態中,亦可不設置第二攝影裝置132。此時,如上所述,亦可僅使用第一攝影裝置31來獲取與對象物W的距離相關的資訊。
而且,本實施形態中,第一攝影裝置31亦可為可動,以使第一位置P1處的第一攝影裝置31的攝影元件31f以及第二位置P2處的第一攝影裝置31的攝影元件31f的彼此長邊變得平行。藉此,無須對拍攝後的圖像實施旋轉等的處理,便可使由第一攝影裝置31在第一位置P1以及第二位置P2處所拍攝的圖像的方向一致。因此,與對所獲取的圖像實施旋轉等的處理的情況相比,可降低控制部40所進行的圖像處理的負載。此時,第一攝影裝置31例如是可繞光軸AX1旋轉地安裝。例如,控制部40根據第一攝影裝置31的周方向位置來使第一攝影裝置31繞光軸AX1旋轉而進行調整,以使攝影元件31f的長邊始終成為相同的方向。如此,本實施形態中,控制部40亦可藉由使第一攝影裝置31的攝影元件31f旋轉,來調整由第一攝影裝置31所獲取的圖像的方向。
而且,如本實施形態般,在相對於僅安裝有一個第一攝影裝置31的構件而可相對移動的情況下,第一攝影裝置31既可相對於機器人手臂21而可移動,亦可相對於配接器23而可移動。在第一攝影裝置31相對於機器人手臂21而可移動的情況下,第一攝影裝置31亦可在機器人手臂21周圍的規定的周方向上可動。在第一攝影裝置31相對於配接器23而可移動的情況下,第一攝影裝置31亦可在配接器23周圍的規定的周方向上可動。即便在該些情況下,距離資訊獲取部44亦可基於由第一攝影裝置31在不同的第一位置P1以及第二位置P2處分別拍攝的第一圖像以及第二圖像,來獲取與對象物W的距離相關的資訊。
<第三實施形態>
圖8是從中心軸方向的前端側(+Z側)觀察本實施形態的機器人系統210的一部分的圖。圖8中,省略了端點效果器22的指部22b以及攝影機單元60的圖示。再者,對於與所述實施形態同樣的結構,有時藉由適當附上相同的符號等而省略說明。
如圖8所示,本實施形態的機器人系統210具有拍攝對象物W的三個以上的攝影裝置230。攝影裝置230例如設有攝影裝置230a、攝影裝置230b以及攝影裝置230c這三個。本實施形態中,三個攝影裝置230a、230b、230c排列配置於規定的軸VA上。軸VA例如是沿與中心軸方向及徑方向這兩方向正交的方向(圖8中為左右方向)延伸的假想軸。攝影裝置230a、攝影裝置230b與攝影裝置230c例如是沿著軸VA的軸方向而等間隔地配置。在軸VA的軸方向上,攝影裝置230b位於攝影裝置230a與攝影裝置230c之間。攝影裝置230a的光軸AX3a、攝影裝置230b的光軸AX3b與攝影裝置230c的光軸AX3c例如沿中心軸方向延伸且相互平行。
攝影裝置230a的攝影元件235a、攝影裝置230b的攝影元件235b與攝影裝置230c的攝影元件235c在沿中心軸方向觀察時為長方形狀。本實施形態中,攝影元件235a、攝影元件235b與攝影元件235c以相同的姿勢而配置。本實施形態中,三個攝影裝置230a、230b、230c被配置為,三個攝影裝置230a、230b、230c中的攝影元件235a、235b、235c各自的長邊為相互平行。
機器人系統210具有:保持構件230d,保持三個攝影裝置230a、230b、230c;以及滑塊230e,將保持構件230d連結於端點效果器22的基部22a。三個攝影裝置230a、230b、230c是無法彼此相對移動地固定於保持構件230d。滑塊230e與第一實施形態的滑塊31d、滑塊32d同樣,連結於設於端點效果器22的基部22a的導軌部22e。滑塊230e可沿著導軌部22e而在基部22a的周圍沿周方向移動。
儘管省略了圖示,但機器人系統210具有使滑塊230e沿周方向移動的驅動部。藉由驅動部來使滑塊230e沿著導軌部22e而沿周方向移動,從而保持構件230d以及由保持構件230d所保持的三個攝影裝置230a、230b、230c沿周方向移動。本實施形態中,三個攝影裝置230a、230b、230c保持攝影元件235a、235b、235c的彼此長邊相互平行的狀態而沿周方向移動。
本實施形態中,控制部40基於由三個攝影裝置230a、230b、230c中的兩個攝影裝置230所獲取的對象物W的圖像資訊,來獲取與對象物W的距離相關的資訊。控制部40例如從三個攝影裝置230a、230b、230c中選擇兩個攝影裝置230,基於由所述選擇的兩個攝影裝置230所獲取的圖像資訊來獲取與對象物W的距離相關的資訊。作為所選擇的兩個攝影裝置230,有攝影裝置230a以及攝影裝置230b、攝影裝置230b以及攝影裝置230c、與攝影裝置230a以及攝影裝置230c這三種模式。
攝影裝置230a與攝影裝置230b之間的距離即基線長度L3、和攝影裝置230a與攝影裝置230c之間的距離即基線長度L4互不相同。即,在選擇攝影裝置230a以及攝影裝置230b來作為兩個攝影裝置230的情況下、與選擇攝影裝置230a以及攝影裝置230c來作為兩個攝影裝置230的情況下,基線長度不同。藉此,本實施形態中,控制部40在獲取與對象物W的距離相關的資訊時,藉由變更所選擇的兩個攝影裝置230,從而可變更基線長度。基線長度L3例如小於基線長度L4。基線長度L3為攝影裝置230a的光軸AX3a與攝影裝置230b的光軸AX3b之間的距離。基線長度L4為攝影裝置230a的光軸AX3a與攝影裝置230c的光軸AX3c之間的距離。
再者,攝影裝置230b與攝影裝置230c之間的距離即基線長度例如跟攝影裝置230a與攝影裝置230b之間的距離即基線長度L3相同。攝影裝置230b與攝影裝置230c之間的距離即基線長度是攝影裝置230b的光軸AX3b與攝影裝置230c的光軸AX3c之間的距離。
控制部40例如根據機器人系統210的作業內容等來變更所選擇的兩個攝影裝置230,以變更基線長度。控制部40藉由距離資訊獲取部44,基於由所選擇的兩個攝影裝置230所獲取的圖像與所述兩個攝影裝置230間的基線長度,來獲取與對象物W的距離相關的資訊。控制部40基於如此般獲取的與對象物W的距離相關的資訊,來控制機器人手臂21以及端點效果器22的至少一者。
本實施形態中,控制部40基於由三個攝影裝置230a、230b、230c中的兩個攝影裝置230所獲取的圖像資訊,來控制機器人手臂21以及與機器人手臂21連接的端點效果器22的至少一者。本實施形態中,控制部40從三個攝影裝置230a、230b、230c中選擇兩個攝影裝置230,基於由所述選擇的兩個攝影裝置230所獲取的圖像資訊,來控制機器人手臂21以及端點效果器22的至少一者。
具體而言,控制部40例如在對象物W未映入由所選擇的兩個攝影裝置230分別拍攝的圖像的至少一者中的情況下,使機器人手臂21以及端點效果器22的至少一者移動,以使得可藉由所選擇的兩個攝影裝置230這兩者來拍攝對象物W。
再者,控制部40例如在對象物W未映入由所選擇的兩個攝影裝置230分別拍攝的圖像的至少一者中的情況下,亦可使三個攝影裝置230沿周方向移動,以使得可藉由所選擇的兩個攝影裝置230這兩者來拍攝對象物W。
本實施形態中,控制部40進行控制,以使三個攝影裝置230a、230b、230c中的至少兩個攝影裝置230所進行的攝影同步。控制部40例如進行控制,以使所述所選擇的兩個攝影裝置230所進行的攝影同步。
根據本實施形態,控制部40基於由三個攝影裝置230a、230b、230c中的兩個攝影裝置230所獲取的對象物W的圖像資訊,來獲取與對象物W的距離相關的資訊。因此,藉由根據機器人系統210的作業內容以及對象物W等來變更使用由哪兩個攝影裝置230所獲取的圖像,從而可適宜地獲取與對象物W的距離相關的資訊。本實施形態中,例如可根據是使用由兩個攝影裝置230a、230b所獲取的圖像,還是使用由兩個攝影裝置230a、230c所獲取的圖像,來變更基線長度。因此,藉由根據直至對象物W為止的距離等來變更適當選擇的兩個攝影裝置230,從而可適宜地獲取與對象物W的距離相關的資訊。
而且,根據本實施形態,控制部40從三個攝影裝置230a、230b、230c中選擇兩個攝影裝置230,基於由所述選擇的兩個攝影裝置230所獲取的圖像資訊,來獲取與對象物W的距離相關的資訊。因此,在獲取與對象物W的距離相關的資訊時,只要藉由三個攝影裝置230a、230b、230c中的兩個攝影裝置230來進行攝影即可,亦可不藉由剩餘的一個攝影裝置230來進行攝影。因此,可降低獲取與對象物W的距離相關的資訊時的控制部40的負載。
而且,根據本實施形態,控制部40基於由三個攝影裝置230a、230b、230c中的兩個攝影裝置230所獲取的圖像資訊,來控制機器人手臂21以及與機器人手臂21連接的端點效果器22的至少一者。因此,可根據由兩個攝影裝置230所獲取的圖像來獲取對象物W的位置以及配置機器人系統210的環境等的資訊,並可根據機器人系統210的作業內容等來使機器人手臂21以及端點效果器22適宜地活動。
而且,根據本實施形態,控制部40從三個攝影裝置230a、230b、230c中選擇兩個攝影裝置230,基於由所述選擇的兩個攝影裝置230所獲取的圖像資訊,來控制機器人手臂21以及與機器人手臂21連接的端點效果器22的至少一者。因此,在基於由兩個攝影裝置230所獲取的圖像資訊來控制機器人手臂21以及端點效果器22的至少一者時,亦可不藉由剩餘的一個攝影裝置230來進行攝影。藉此,可降低對機器人手臂21以及端點效果器22進行控制時的控制部40的負載。
而且,根據本實施形態,控制部40進行控制,以使三個攝影裝置230a、230b、230c中的至少兩個攝影裝置230所進行的攝影同步。因此,可藉由至少兩個攝影裝置230而於同一時機適宜地拍攝對象物W。藉此,可基於由至少兩個攝影裝置230所獲取的圖像,來適宜地獲取與對象物W的距離相關的資訊。
而且,根據本實施形態,三個攝影裝置230a、230b、230c排列配置於規定的軸VA上。因此,如本實施形態般,可將攝影裝置230a、230b、230c以使攝影元件235a、235b、235c的姿勢一致的狀態來排列配置。藉此,即便在使用由三個攝影裝置230a、230b、230c中的任意兩個攝影裝置230所獲取的圖像來獲取與對象物W的距離相關的資訊的情況下,亦無須使由攝影裝置230所獲取的圖像旋轉等,而容易獲取與對象物W的距離相關的資訊。因此,可降低獲取與對象物W的距離相關的資訊時的控制部40的負載。
而且,根據本實施形態,三個攝影裝置230a、230b、230c的光軸AX3a、AX3b、AX3c相互平行。因此,即便在使用由三個攝影裝置230a、230b、230c中的任兩個攝影裝置230所獲取的圖像的情況下,亦能從兩個圖像適宜地獲取與對象物W的距離相關的資訊。
而且,根據本實施形態,三個攝影裝置230a、230b、230c被配置為,三個攝影裝置230a、230b、230c中的攝影元件235a、235b、235c各自的長邊變得平行。因此,無須使由攝影裝置230所獲取的圖像旋轉等,而容易根據所獲取的圖像來獲取與對象物W的距離相關的資訊。藉此,可降低獲取與對象物W的距離相關的資訊時的控制部40的負載。
再者,本實施形態中,亦可將四個以上的攝影裝置230排列配置於規定的軸VA上。排列配置於軸VA上的三個以上的攝影裝置230中的相鄰的兩個攝影裝置230彼此之間的距離亦可各不相同。
<第四實施形態>
圖9是從中心軸方向的前端側(+Z側)觀察本實施形態的機器人系統310的一部分的圖。圖9中,省略了端點效果器22的指部22b以及攝影機單元60的圖示。再者,對於與所述實施形態同樣的結構,有時藉由適當附上相同的符號等而省略說明。
如圖9所示,本實施形態的機器人系統310具有連結第一攝影裝置331與第二攝影裝置332的連結構件336。連結構件336例如為導軌。連結構件336具有呈直線狀延伸的槽336a。槽336a例如是從前端側(+Z側)朝基端側(-Z側)凹陷的槽。槽336a例如在槽336a所延伸的方向的兩端部開口。
機器人系統310具有將第一攝影裝置331安裝至連結構件336的第一滑塊331g、以及將第二攝影裝置332安裝至連結構件336的第二滑塊332g。第一滑塊331g被固定於第一攝影裝置331。第二滑塊332g被固定於第二攝影裝置332。第一滑塊331g以及第二滑塊332g例如可在槽336a所延伸的方向上移動地嵌入至槽336a內。如此,本實施形態中,經由第一滑塊331g以及第二滑塊332g,第一攝影裝置331與第二攝影裝置332藉由連結構件336而連結。
第一滑塊331g以及第二滑塊332g在槽336a所延伸的方向以外的方向上,相對於連結構件336的相對移動以及相對旋轉受到限制。第一滑塊331g可在周方向上移動並且可繞第一攝影裝置331的光軸AX1c旋轉地安裝。第二滑塊332g可在周方向上移動並且可繞第二攝影裝置332的光軸AX2c旋轉地安裝。
第一攝影裝置331以及第二攝影裝置332可在端點效果器22的基部22a的周圍沿周方向移動。本實施形態中,第一攝影裝置331可與第一滑塊331g一同繞第一攝影裝置331的光軸AX1c旋轉。本實施形態中,第二攝影裝置332可與第二滑塊332g一同繞第二攝影裝置332的光軸AX2c旋轉。第一攝影裝置331的攝影元件331f的長邊以及第二攝影裝置332的攝影元件332f的長邊例如相互平行地配置,且與槽336a所延伸的方向平行地配置。
例如,當第一攝影裝置331以及第二攝影裝置332從圖9中兩點鏈線所示的位置沿周方向移動至實線所示的位置時,連結第一攝影裝置331以及第二攝影裝置332的連結構件336亦對應於第一攝影裝置331的位置以及第二攝影裝置332的位置而移動。圖9中,例如連結構件336繞中心軸方向的軸旋轉且朝上方移動。
第一攝影裝置331以及第二攝影裝置332對應於周方向位置,相對於連結構件336而朝槽336a所延伸的方向相對移動。在槽336a所延伸的方向上,第一攝影裝置331的位置與第二攝影裝置332的位置相對變化,藉此,第一攝影裝置331與第二攝影裝置332之間的距離即基線長度發生變化。第一攝影裝置331與第二攝影裝置332之間的基線長度是第一攝影裝置331的光軸AX1c與第二攝影裝置332的光軸AX2c之間的距離。例如,當第一攝影裝置331以及第二攝影裝置332從圖9中兩點鏈線所示的位置沿周方向移動至實線所示的位置時,第一攝影裝置331與第二攝影裝置332朝彼此靠近的方向移動,基線長度變小。
此處,第一滑塊331g以及第二滑塊332g在槽336a所延伸的方向以外的方向上,相對於連結構件336的相對移動以及相對旋轉受到限制。因此,第一滑塊331g以及第二滑塊332g對應於伴隨第一攝影裝置331及第二攝影裝置332的移動所產生的連結構件336的位置及姿勢的至少一者的變化,而繞各攝影裝置的光軸AX1c、AX2c旋轉,以維持與連結構件336的相對姿勢。藉此,固定有第一滑塊331g的第一攝影裝置331以及固定有第二滑塊332g的第二攝影裝置332亦繞各光軸AX1c、AX2c旋轉,以維持與連結構件336的相對姿勢。因此,即便第一攝影裝置331以及第二攝影裝置332沿周方向移動,仍可維持第一攝影裝置331的攝影元件331f與第二攝影裝置332的攝影元件332f的相對姿勢。即,不論第一攝影裝置331的位置以及第二攝影裝置332的位置如何,第一攝影裝置331的攝影元件331f的長邊與第二攝影裝置332的攝影元件332f的長邊均保持為平行。如此,本實施形態中,連結構件336能以將第一攝影裝置331與第二攝影裝置332的相對姿勢維持為規定姿勢的狀態來保持第一攝影裝置331與第二攝影裝置332。機器人系統310的其他結構可與所述的各實施形態的機器人系統的其他結構設為同樣。
根據本實施形態,如上所述,第一攝影裝置331以及第二攝影裝置332的至少一者可動,以使第一攝影裝置331的攝影元件331f以及第二攝影裝置332的攝影元件332f的彼此長邊平行。因此,無須使由各攝影裝置所獲取的圖像旋轉等,便可基於由第一攝影裝置331所獲取的圖像以及由第二攝影裝置332所獲取的圖像來適宜地獲取與對象物W的距離相關的資訊。
而且,根據本實施形態,設有連結第一攝影裝置331與第二攝影裝置332的連結構件336,連結構件336能以將第一攝影裝置331與第二攝影裝置332的相對姿勢維持為規定姿勢的狀態來保持第一攝影裝置331與第二攝影裝置332。因此,例如即便不設置使第一攝影裝置331以及第二攝影裝置332繞各光軸AX1c、AX2c旋轉的驅動部等,亦可藉由連結構件336來容易地將第一攝影裝置331的攝影元件331f與第二攝影裝置332的攝影元件332f的相對姿勢維持為彼此長邊平行的姿勢。藉此,即便使第一攝影裝置331以及第二攝影裝置332的至少一者移動而變更基線長度,亦可基於由第一攝影裝置331以及第二攝影裝置332所獲取的圖像來容易且適宜地獲取與對象物W的距離相關的資訊。
再者,本實施形態中,例如亦可僅第一攝影裝置331中的攝影元件331f可繞光軸AX1c旋轉,還可僅第二攝影裝置332中的攝影元件332f可繞光軸AX2c旋轉。此時,亦可為,第一攝影裝置331的攝影元件331f以及第二攝影裝置332的攝影元件332f的至少一者可動,以使第一攝影裝置331的攝影元件331f以及第二攝影裝置332的攝影元件332f的彼此長邊平行。
<第五實施形態>
圖10是從中心軸方向的前端側(+Z側)觀察本實施形態的機器人系統410的一部分的圖。圖10中,省略了端點效果器22的指部22b以及攝影機單元60的圖示。圖11是用於說明本實施形態的機器人系統410獲取與對象物W的距離相關的資訊時的程序的一部分的圖。再者,對於與所述實施形態同樣的結構,有時藉由適當附上相同的符號等而省略說明。
本實施形態中,攝影裝置430設有三個以上。攝影裝置430例如設有24個。多個攝影裝置430於端點效果器22的周圍沿著周方向排列配置。即,本實施形態中,三個以上的攝影裝置430排列配置於規定的圓周上。本實施形態中,規定的圓周是以中心軸CL為中心的圓周。多個攝影裝置430例如沿著周方向遍及一周而等間隔地配置。即,本實施形態中,三個以上的攝影裝置430等間隔地配置於規定的圓周上。三個以上的攝影裝置430的光軸AX4相互平行。
沿中心軸方向觀察時,各攝影裝置430的攝影元件435的長邊與通過各攝影裝置430的光軸AX4的徑方向正交。在將攝影裝置430的數量設為N時,N個攝影裝置430繞中心軸CL呈N次對稱地配置。即,本實施形態中,24個攝影裝置430繞中心軸CL呈24次對稱地配置。攝影裝置430例如被固定於端點效果器22。更詳細而言,攝影裝置430例如被固定於基部22a的外周面。即,端點效果器22例如在基部22a的外周面具有保持三個以上的攝影裝置430的保持部。
本實施形態中,控制部40從由三個以上的攝影裝置430所獲取的三個以上的圖像中選擇兩個圖像,基於所述選擇的兩個圖像的資訊來獲取與對象物W的距離相關的資訊。控制部40例如從由24個攝影裝置430分別獲取的24個圖像中,基於與對象物W的遮擋(occlusion)相關的資訊來選擇兩個圖像。所謂與對象物W的遮擋相關的資訊,例如包含與對象物W是否映照於圖像中相關的資訊、與對象物W的遮蔽狀態相關的資訊、以及與對象物W中映照於圖像中的部分的比例相關的資訊等。控制部40例如從所獲取的24個圖像中,選擇最適宜地映照有對象物W的兩個圖像。控制部40基於所選擇的兩個圖像來獲取與對象物W的距離相關的資訊。
此處,作為一例,對控制部40選擇由多個攝影裝置430中的攝影裝置431所獲取的圖像F1與由攝影裝置432所獲取的圖像F2的情況進行說明。攝影裝置431的攝影元件435a與攝影裝置432的攝影元件435b是以互不相同的姿勢而配置。此時,如圖11所示,控制部40沿著長方形狀的框架Fs切出所獲取的兩個圖像F1、F2的一部分。長方形狀的框架Fs的長邊與連接攝影裝置431的光軸和攝影裝置432的光軸的假想線IL平行。控制部40基於該切出的兩個圖像F1、F2的一部分來獲取與對象物W的距離相關的資訊。
本實施形態中,控制部40從由三個以上的攝影裝置430所獲取的三個以上的圖像中選擇兩個圖像,基於所述選擇的兩個圖像的資訊來控制機器人手臂21以及與機器人手臂21連接的端點效果器22的至少一者。本實施形態中,控制部40進行控制,以使三個以上的攝影裝置430所進行的攝影同步。機器人系統410的其他結構可與所述的各實施形態的機器人系統的其他結構設為同樣。
根據本實施形態,控制部40從由三個以上的攝影裝置430所獲取的三個以上的圖像中選擇兩個圖像,基於所述選擇的兩個圖像的資訊來獲取與對象物W的距離相關的資訊。因此,可從由三個以上的攝影裝置430所獲取的三個以上的圖像中,選擇最適宜獲取與對象物W的距離相關的資訊的兩個圖像,而獲取與對象物W的距離相關的資訊。藉此,可根據機器人系統410的作業內容、配置有機器人系統410的環境、機器人手臂21的位置以及姿勢等,來適宜地獲取與對象物W的距離相關的資訊。
而且,根據本實施形態,控制部40基於與對象物W的遮擋相關的資訊,從由多個攝影裝置430所獲取的三個以上的圖像中選擇兩個圖像。因此,即便在因遮蔽物等而導致無法從一部分攝影裝置430拍攝對象物W的至少一部分的情況下,亦能適宜地選擇拍攝有對象物W的兩個圖像。藉此,即便在對象物W的一部分被遮蔽物等遮蔽的情況下,亦容易適宜地獲取與對象物W的距離相關的資訊。
而且,根據本實施形態,控制部40從由三個以上的攝影裝置430所獲取的三個以上的圖像中選擇兩個圖像,並基於所述選擇的兩個圖像的資訊來控制機器人手臂21以及與機器人手臂21連接的端點效果器22的至少一者。因此,藉由從由各攝影裝置430所獲取的多個圖像中選擇包含最適宜使機器人手臂21以及端點效果器22活動的資訊的兩個圖像,從而可使機器人手臂21以及端點效果器22適宜地活動。
而且,根據本實施形態,三個以上的攝影裝置430排列配置於規定的圓周上。因此,可將相對較多的攝影裝置430例如本實施形態般排列配置於端點效果器22的基部22a的周圍等。藉此,與將相同數量的攝影裝置430配置成直線狀的情況相比,攝影裝置430可難以從機器人20突出。因此,即便對機器人20安裝相對較多的攝影裝置430,亦可容易地使機器人20活動。而且,藉由將多個攝影裝置430沿著圓周而排列配置,從而可容易地藉由多個攝影裝置430從各種角度拍攝對象物W。因此,容易使用多個攝影裝置430來更適宜地獲取與對象物W的距離相關的資訊。
而且,根據本實施形態,三個以上的攝影裝置430等間隔地配置於規定的圓周上。因此,與攝影裝置430非等間隔地排列的情況相比,難以因安裝有攝影裝置430的構件(例如端點效果器22)的位置以及姿勢導致可拍攝對象物W的攝影裝置430的數量等產生偏頗。藉此,不論安裝有攝影裝置430的構件的位置以及姿勢如何,均容易使用攝影裝置430來獲取與對象物W的距離相關的資訊。
再者,本實施形態中,控制部40亦可基於事先求出的與對象物W相關的距離資訊、與對象物W的遮擋相關的資訊、攝影裝置430的焦距資訊、以及與由三個以上的攝影裝置430獲得的圖像的形狀變化相關的資訊中的至少一個資訊,來從由多個攝影裝置430所獲取的三個以上的圖像中選擇兩個圖像。
所謂事先求出的與對象物W相關的距離資訊,例如包含機器人20以及對象物W以初始姿勢配置於初始位置時的從機器人20直至對象物W為止的距離、直至配置於對象物W附近的遮蔽物為止的距離、以及多個對象物W以初始姿勢配置於初始位置時的多個對象物W彼此之間的距離等。從機器人20直至對象物W為止的距離例如包含從機器人手臂21的某部位直至對象物W為止的距離、從端點效果器22的某部位直至對象物W為止的距離、以及從配接器23的某部位直至對象物W為止的距離等。控制部40基於事先求出的與對象物W相關的距離資訊來選擇兩個圖像,藉此,可根據對象物W的位置來選擇成為適宜的基線長度的兩個圖像,從而可適宜地獲取與對象物W的距離相關的資訊。
控制部40基於攝影裝置430的焦距資訊來選擇兩個圖像,藉此,可選擇成為與攝影裝置430的焦距相應的適宜的基線長度的兩個圖像。此處,例如在攝影裝置430的變焦倍率相對較大的情況下,若選擇基線長度相對較大的兩個圖像,則兩個圖像的重覆部分(重覆映入的特徵部分的圖像的範圍)將變小。因此,例如在攝影裝置430的變焦倍率相對較大的情況下,藉由選擇基線長度相對較小的兩個圖像,可加大兩個圖像的重覆部分。藉此,可基於兩個圖像來更適宜地獲取直至對象物W為止的距離。
圖12A~圖12C是用於說明兩個圖像的重覆部分根據基線長度以及變焦倍率而變化的情況的圖。圖12A是表示在攝影裝置430的變焦倍率相對較小的情況下,選擇了基線長度相對較大的兩個圖像F1a、F2a時的一例的圖。圖12B是表示在攝影裝置430的變焦倍率相對較大的情況下,選擇了基線長度相對較大的兩個圖像F1b、F2b時的一例的圖。圖12C是表示在攝影裝置430的變焦倍率相對較大的情況下,選擇了基線長度相對較小的兩個圖像F1c、F2c時的一例的圖。圖12A~圖12C中,例示了將對象物W設為樹T以及車V的情況。
假設在圖12A所示的情況下,即,在攝影裝置430的變焦倍率相對較小的情況下,選擇了基線長度相對較大的兩個圖像F1a、F2a時,在兩個圖像F1a、F2a中映入有樹T的整體以及車V的整體。此時,兩個圖像F1a、F2a的重覆部分(重覆映入的特徵部分的圖像的範圍)OPa包含樹T的整體以及車V的整體。因此,於樹T的整體以及車V的整體中,可獲取直至各對象物W為止的距離。
另一方面,如圖12B般,在使變焦倍率大於圖12A所示的情況,且以基線長度與圖12A所示的情況相同的方式而選擇了兩個圖像F1b、F2b時,映入各圖像F1b、F2b中的範圍較映入圖12A的各圖像F1a、F2a中的範圍變窄,另一方面,由於基線長度仍相對較大,因此各圖像F1b、F2b中的對象物W所映照的位置的偏離仍相對較大。因此,如圖12B所示,存在下述情況:各圖像F1b、F2b中,看不到對象物W的一部分,圖像F1b、圖像F2b的重覆部分變小。
圖12B的示例中,於圖像F1b中看不到樹T的包含左側部分的大半部分,於圖像F2b中看不到車V的右側部分。此時,於重覆部分OPb僅包含樹T的一部分以及車V的一部分。因此,即便樹T的整體或車V的整體映入其中一個圖像,對於未包含在重覆部分OPb中的部分,亦無法獲取直至對象物W為止的距離。
與此相對,即便變焦倍率與圖12B所示的情況相同,但如圖12C般選擇基線長度較圖12B所示的情況為小的兩個圖像F1c、F2c,藉此,可減小各圖像F1c、F2c中的對象物W所映照的位置的偏離。藉此,可於各圖像F1c、F2c中分別加大對象物W所映入的範圍,從而可加大各圖像F1c、F2c的重覆部分OPc。圖12C的示例中,於各圖像F1c、F2c中,均映入有樹T的整體以及車V的整體。即,於重覆部分OPc中,與圖12A同樣,包含樹T的整體以及車V的整體。因此,於樹T的整體以及車V的整體中,可獲取直至各對象物W為止的距離。
如上所述,在使攝影裝置430的變焦倍率如圖12B以及圖12C般相對較大的情況下,藉由如圖12C般選擇基線長度相對較小的兩個圖像F1c、F2c,可加大兩個圖像F1c、F2c的重覆部分OPc。藉此,可基於兩個圖像F1c、F2c來更適宜地獲取直至對象物W為止的距離。
與由三個以上的攝影裝置430獲得的圖像的形狀變化相關的資訊例如包含關於映照在三個以上的攝影裝置430中的任意兩個圖像中的對象物W的視覺差異的資訊。根據對象物W的形狀以及因照射向對象物W的照明而產生的陰影等,由不同的攝影裝置430所拍攝的圖像中的對象物W的視覺差異的大小不同。與由三個以上的攝影裝置430獲得的圖像的形狀變化相關的資訊例如包含兩個圖像中的對象物W的視覺的一致度、對象物W的形狀資訊、以及照射至對象物W的照明的資訊等。控制部40例如亦可對於從由各攝影裝置430所獲取的多個圖像中選擇兩個圖像的所有組合進行匹配,獲取映照於各圖像中的對象物W的視覺的一致度來作為參數。而且,對於控制部40,亦可預先輸入與圖像的形狀變化相關的資訊。
此處,兩個攝影裝置430彼此之間的基線長度越大,則由所述兩個攝影裝置430所獲取的圖像中,對象物W的視覺差異容易變得越大。若對象物W的視覺差異大到一定程度,則難以進行兩個圖像的匹配。因此,此種情況下,藉由減小基線長度,可抑制對象物W的視覺差異大,從而可容易地進行兩個圖像間的匹配。因此,可基於兩個圖像來適宜地獲取與對象物W的距離相關的資訊。
因此,控制部40基於與由三個以上的攝影裝置430獲得的圖像的形狀變化相關的資訊來選擇兩個圖像,藉此,可選擇成為基於每個圖像的對象物W的視覺差異的、適宜的基線長度的兩個圖像。即,例如在對象物W是在多個攝影裝置430的每一個中視覺差異大的對象物的情況下,藉由選擇基線長度小的兩個圖像,可基於所選擇的兩個圖像來適宜地獲取與對象物W的距離相關的資訊。
而且,本實施形態中,控制部40亦可基於事先求出的與對象物W相關的距離資訊、與對象物W的遮擋相關的資訊、攝影裝置430的焦距資訊、以及與由三個攝影裝置430獲得的圖像的形狀變化相關的資訊中的至少一個資訊,來從三個以上的攝影裝置430中選擇兩個攝影裝置430。此時,可僅利用所選擇的兩個攝影裝置430來進行攝影,而選擇與對象物W的距離相關的資訊。因此,與利用所有的攝影裝置430來進行攝影並從所獲取的圖像中選擇兩個圖像的情況相比,可降低控制部40的負載。
而且,本實施形態中,控制部40在對象物W的形狀、以及對象物W的亮度的視覺差異等的資訊已預先知曉的情況下,亦可基於該些資訊來決定要選擇的攝影裝置430。對象物W的形狀以及對象物W的亮度的視覺差異等亦可根據事先求出的與對象物W相關的距離資訊來獲取。
而且,本實施形態中,三個以上的攝影裝置430亦可非等間隔地配置於規定的圓周上。而且,三個以上的攝影裝置430亦可與所述第三實施形態的攝影裝置230a、攝影裝置230b、攝影裝置230c同樣地,排列配置於規定的軸上。此時,三個以上的攝影裝置430亦可配置為,三個以上的攝影裝置430中的攝影元件435各自的長邊變得平行。三個以上的攝影裝置430亦可配置成矩陣狀。而且,三個以上的攝影裝置430亦可為飛行時間(Time Of Flight,TOF)攝影機。
而且,所述實施形態中,採用了三個以上的攝影裝置430配置於端點效果器22的周圍的結構,但並不限於此。三個以上的攝影裝置430亦可配置於機器人手臂21、與機器人手臂21連接的端點效果器22、以及用於將端點效果器22安裝至機器人手臂21的配接器23的任一者的周圍。在三個以上的攝影裝置430配置於機器人手臂21的周圍或配接器23的周圍的情況下,亦可獲得與所述的、在三個以上的攝影裝置430配置於端點效果器22的周圍的情況下獲得的效果同樣的效果。
在三個以上的攝影裝置430配置於機器人手臂21的周圍的情況下,機器人手臂21亦可具有對拍攝對象物W的三個以上的攝影裝置430進行保持的保持部。而且,在三個以上的攝影裝置430配置於配接器23的周圍的情況下,配接器23亦可具有對拍攝對象物W的三個以上的攝影裝置430進行保持的保持部。該些情況下,控制部40均可基於由保持於機器人手臂21或配接器23的三個以上的攝影裝置430中的兩個攝影裝置430所獲取的對象物W的圖像資訊,來獲取與對象物W的距離相關的資訊。
而且,控制部40亦可使用不同組合的兩個攝影裝置430,來多次進行基於由三個以上的攝影裝置430中的兩個攝影裝置430所獲取的圖像的、與對象物W的距離相關的資訊的獲取作業。此時,控制部40對藉由多次作業所獲取的與對象物W的距離相關的資訊彼此進行對照,藉此,可更高精度地獲取與對象物W的距離相關的資訊。尤其,在從至少一部分攝影裝置430看來,對象物W的至少一部分被遮蔽物遮蔽的情況下,藉由使用利用多組組合的兩個攝影裝置430而獲得的多個資訊,從而既可將遮蔽物的遮蔽造成的影響抑制為最小限度,又可獲取與對象物W的距離相關的資訊。
而且,控制部40亦可在利用所有的攝影裝置430拍攝了對象物W之後,藉由使機器人手臂21移動等而使端點效果器22移動,並從其他場所再次利用所有的攝影裝置430來拍攝對象物W。藉此,控制部40可獲取多角度拍攝對象物W的圖像。此時,若攝影裝置430的數量相對較多,則即便使端點效果器22移動而拍攝的次數少,亦可獲取從不同的角度拍攝對象物W的多幅圖像。再者,此時,對於所獲取的各圖像,亦可關聯拍攝所述圖像時的端點效果器22的位置及姿勢、進行拍攝的攝影裝置430的位置及姿勢等的資訊。
如上所述,在從不同的位置多次進行對象物W的拍攝的情況下,控制部40亦可使用所述獲取的圖像,藉由視覺伺服(visual servo)來控制機器人系統410。此時,控制部40例如進行控制,以使攝影裝置430移動至可藉由攝影裝置430來拍攝作為目標的對象物W的圖像的位置。此處,若在初始位置由攝影裝置430所拍攝的對象物W的圖像與作為目標的對象物W的圖像大不相同,則有時難以取得圖像彼此的對應,從而難以使攝影裝置430移動至可拍攝作為目標的對象物W的圖像的位置。
與此相對,藉由從不同的位置多次進行對象物W的拍攝,獲取從不同的角度拍攝的對象物W的圖像,從而容易將所述從不同的角度拍攝的圖像作為中間圖像而使由攝影裝置430所拍攝的圖像接近作為目標的圖像。即,容易使攝影裝置430適宜地移動至可拍攝作為目標的對象物W的圖像的位置。而且,在對於所述中間圖像而關聯有拍攝所述中間圖像時的距對象物W的距離資訊的情況下,控制部40亦可將中間圖像依照在距對象物W遠的位置進行拍攝的順序予以排列,依序經過多個中間圖像,來使由攝影裝置430所拍攝的圖像接近作為目標的圖像。
而且,本實施形態中,機器人系統410例如除了所述的多個攝影裝置430以外,亦可具有多個僅可簡單地拍攝對象物W的圖像的通用攝影機。此時,控制部40亦可使用由多個通用攝影機所拍攝的多個圖像來構建對象物W的3D模型。藉由使用所述3D模型,例如可進一步提高使用多個攝影裝置430的、與對象物W的距離相關的資訊的獲取精度。此時,作為一例,亦可沿著周方向而等間隔地排列設有12個攝影裝置430,在相鄰的攝影裝置430彼此之間沿周方向排列地各設有兩個通用攝影機。此時,例如設置24個通用攝影機。作為通用攝影機,例如可使用被用於智慧電話的相對較廉價的攝影機。
而且,本實施形態中,控制部40亦可進行即時定位與地圖構建(Simultaneous Localization and Mapping,SLMA)。即,控制部40亦可同時進行機器人系統410的自身位置推測與配置有機器人系統410的環境的地圖製作。此時,在設有相對較多的攝影裝置430的情況下,可藉由多個攝影裝置430來容易地獲取相對較多的關於環境的3D點陣資料。因此,容易進行配置有機器人系統410的環境的地圖製作。
<第六實施形態>
圖13是表示本實施形態的機器人系統510的立體圖。再者,對於與所述實施形態同樣的結構,有時藉由適當附上相同的符號等而省略說明。
如圖13所示,本實施形態的機器人系統510中,攝影裝置530包含:被安裝於機器人手臂521的第一攝影裝置531、以及被安裝於端點效果器22的第二攝影裝置32。第一攝影裝置531例如被配置於第五手臂部524e的周圍。第一攝影裝置531例如藉由與在第一實施形態中第一攝影裝置31連結於導軌部22e同樣的結構,來連結於設於第五手臂部524e的導軌部521a。
導軌部521a為包圍第五手臂部524e的圓環狀。第一攝影裝置531沿著導軌部521a而在機器人手臂521周圍的規定的周方向上可動。機器人手臂521除了設有導軌部521a以外,為與第一實施形態的機器人手臂21同樣的結構。本實施形態的機器人系統510的其他結構可與所述的各實施形態的機器人系統的其他結構設為同樣。
根據本實施形態,第一攝影裝置531與第二攝影裝置32被安裝於互不相同的構件,且相對於所安裝的各構件可相對移動。因此,與兩個攝影裝置被安裝於相同構件的情況相比,可抑制第一攝影裝置531的移動及第二攝影裝置32的移動分別被另一個攝影裝置阻礙的現象。藉此,可使第一攝影裝置531以及第二攝影裝置32各自相對於所安裝的各構件而適宜地相對移動。
<第七實施形態>
圖14是表示本實施形態的機器人系統610的立體圖。再者,對於與所述實施形態同樣的結構,有時藉由適當附上相同的符號等而省略說明。
如圖14所示,本實施形態的機器人系統610具有投射光SL的投射裝置670。本實施形態中,投射裝置670被配置於機器人手臂621的周圍。投射裝置670例如被配置於第五手臂部624e的周圍。投射裝置670連結於第五手臂部624e的導軌部621a。導軌部621a除了取代攝影裝置而連結有投射裝置670以外,為與第六實施形態的導軌部521a同樣的結構。本實施形態中,投射裝置670沿著導軌部621a而在機器人手臂621周圍的規定的周方向上可移動。投射裝置670例如將格子狀圖案的光SL投射至對象物W。投射裝置670的結構只要可投射光SL,則並無特別限定。
本實施形態中,第一攝影裝置31以及第二攝影裝置32在藉由投射裝置670而投射有光SL的狀態下執行拍攝而獲取圖像。本實施形態中,控制部40使投射裝置670、第一攝影裝置31以及第二攝影裝置32移動,以使得可藉由第一攝影裝置31以及第二攝影裝置32來拍攝投射裝置670投射至對象物W的光SL。機器人手臂621除了設有導軌部621a以外,為與第一實施形態的機器人手臂21同樣的結構。機器人系統610的其他結構可與所述的各實施形態的機器人系統的其他結構設為同樣。
根據本實施形態,第一攝影裝置31以及第二攝影裝置32在藉由投射裝置670而投射有光SL的狀態下執行拍攝而獲取圖像。因此,可藉由第一攝影裝置31以及第二攝影裝置32來拍攝被投射有光SL的對象物W。藉此,可藉由第一攝影裝置31以及第二攝影裝置32來更適宜地獲取對象物W的圖像。而且,藉由將從投射裝置670投射的光SL設為格子狀等圖案的光,從而亦能基於映照於由第一攝影裝置31及第二攝影裝置32所獲取的圖像中的圖案,來測量對象物W的三次元形狀等。
再者,本實施形態中,亦可僅第一攝影裝置31與第二攝影裝置32中的第一攝影裝置31在藉由投射裝置670而投射有光SL的狀態下執行拍攝而獲取圖像。而且,亦可僅第一攝影裝置31與第二攝影裝置32中的第二攝影裝置32在藉由投射裝置670而投射有光SL的狀態下執行拍攝而獲取圖像。而且,本實施形態中,機器人系統610亦可僅具有第一攝影裝置31與第二攝影裝置32中的第一攝影裝置31。此時,第一攝影裝置31亦可在藉由投射裝置670而投射有光SL的狀態下執行攝影而獲取圖像,且藉由與第二實施形態中所述的、藉由一個第一攝影裝置31來獲取與對象物W的距離相關的資訊的方法同樣的方法,來獲取與對象物W的距離相關的資訊。
而且,本實施形態中,投射裝置670亦可被配置於端點效果器22的周圍,還可被配置於配接器23的周圍。將投射裝置670配置於機器人手臂621、端點效果器22與配接器23中的哪個部位的周圍,是根據安裝第一攝影裝置31及第二攝影裝置32的位置、機器人系統610的作業內容等來適當決定。藉由將投射裝置670配置於該些部位的周圍,容易使得從投射裝置670投射的光SL難以被機器人系統610的部位遮擋,從而可容易地將從投射裝置670投射的光SL適宜地投射至對象物W。
而且,投射裝置670亦可相對於所安裝的構件而無法相對移動地受到固定。而且,投射裝置670亦可設有多個。此時,多個投射裝置670亦可被安裝於不同的構件。
<第八實施形態>
圖15是表示本實施形態的機器人系統710的立體圖。再者,對於與所述實施形態同樣的結構,有時藉由適當附上相同的符號等而省略說明。
如圖15所示,本實施形態中,配接器723具有沿著周方向的環狀的導軌部723h。配接器723除了具有導軌部723h以外,為與第一實施形態的配接器23同樣的結構。本實施形態中,端點效果器722除了不具有導軌部22e,且未安裝有第一攝影裝置731以及第二攝影裝置732以外,為與第一實施形態的端點效果器22同樣的結構。
本實施形態中,第一攝影裝置731以及第二攝影裝置732被安裝於配接器723。第一攝影裝置731以及第二攝影裝置732被配置於配接器723的周圍。第一攝影裝置731經由滑塊731d而連結於導軌部723h。第二攝影裝置732經由滑塊732d而連結於導軌部723h。即,本實施形態中,配接器723具有導軌部723h,以作為保持第一攝影裝置731的第一保持部以及保持第二攝影裝置732的第二保持部。
本實施形態中,滑塊731d、滑塊732d從導軌部723h朝徑方向外側延伸,且較端點效果器722突出至徑方向外側。藉此,分別設於滑塊731d、滑塊732d的徑方向外端部的第一攝影裝置731以及第二攝影裝置732較端點效果器722位於徑方向外側。
本實施形態中,第一攝影裝置731以及第二攝影裝置732的至少一者相對於配接器723可移動。至少第一攝影裝置731以及第二攝影裝置732的其中一者在配接器723周圍的規定的周方向上可動。本實施形態中,第一攝影裝置731以及第二攝影裝置732這兩者相對於配接器723可移動,且在配接器723周圍的規定的周方向上可動。即,本實施形態中,第一攝影裝置731及第二攝影裝置732是由作為第一保持部及第二保持部的導軌部723h可移動地予以保持。第一攝影裝置731與第二攝影裝置732的相對位置可變。機器人系統710的其他結構可與所述的各實施形態的機器人系統的其他結構設為同樣。
根據本實施形態,藉由安裝於配接器723的第一攝影裝置731及第二攝影裝置732,可獲得與在第一實施形態中藉由安裝於端點效果器22的第一攝影裝置31及第二攝影裝置32而獲得的效果同樣的效果。
再者,本實施形態中,配接器723亦可具有無法移動地保持第一攝影裝置731的第一保持部。此時,配接器723亦可具有導軌部723h作為可移動地保持第二攝影裝置732的第二保持部。而且,配接器723亦可具有無法移動地保持第二攝影裝置732的第二保持部。此時,配接器723亦可具有導軌部723h作為可移動地保持第一攝影裝置731的第一保持部。如此,本實施形態中,亦可為,第一攝影裝置731以及第二攝影裝置732的其中一者在配接器723周圍的規定的周方向上可動,另一者相對於配接器723的規定部位而固定。
<第九實施形態>
圖16是表示本實施形態的機器人系統810的立體圖。再者,對於與所述實施形態同樣的結構,有時藉由適當附上相同的符號等而省略說明。
如圖16所示,本實施形態中,第一攝影裝置831以及第二攝影裝置832被安裝於機器人手臂521。第一攝影裝置831以及第二攝影裝置832被配置於機器人手臂521的周圍。更詳細而言,第一攝影裝置831以及第二攝影裝置832被配置於第五手臂部524e的周圍。第一攝影裝置831以及第二攝影裝置832例如藉由與在第一實施形態中連結第一攝影裝置31以及第二攝影裝置32的結構同樣的結構,而連結於導軌部521a。即,本實施形態中,機器人手臂521具有導軌部521a,以作為保持第一攝影裝置831的第一保持部以及保持第二攝影裝置832的第二保持部。
本實施形態中,至少第一攝影裝置831以及第二攝影裝置832的其中一者相對於機器人手臂521可移動。第一攝影裝置831以及第二攝影裝置832的至少一者在機器人手臂521周圍的規定的周方向上可動。本實施形態中,第一攝影裝置831以及第二攝影裝置832這兩者相對於機器人手臂521可移動,且在機器人手臂521周圍的規定的周方向上可動。即,第一攝影裝置831以及第二攝影裝置832是由作為第一保持部及第二保持部的導軌部521a可移動地予以保持。第一攝影裝置831與第二攝影裝置832的相對位置可變。機器人系統810的其他結構可與所述的各實施形態的機器人系統的其他結構設為同樣。
根據本實施形態,藉由安裝於機器人手臂521的第一攝影裝置831以及第二攝影裝置832,可獲得與在第一實施形態中藉由安裝於端點效果器22的第一攝影裝置31以及第二攝影裝置32而獲得的效果同樣的效果。
再者,本實施形態中,機器人手臂521亦可具有無法移動地保持第一攝影裝置831的第一保持部。此時,機器人手臂521亦可具有導軌部521a作為可移動地保持第二攝影裝置832的第二保持部。而且,機器人手臂521亦可具有無法移動地保持第二攝影裝置832的第二保持部。此時,機器人手臂521亦可具有導軌部521a作為可移動地保持第一攝影裝置831的第一保持部。如此,本實施形態中,亦可為,第一攝影裝置831以及第二攝影裝置832的其中一者在機器人手臂521周圍的規定的周方向上可動,另一者相對於機器人手臂521的規定部位而固定。
以上,參照圖式詳述了本發明的實施形態,但具體的結構並不限於該實施形態,可在不脫離本發明的主旨的範圍內實施適當變更。
在攝影裝置相對於所安裝的構件而可相對移動的情況下,攝影裝置的位置校準以任何方法來進行皆可。例如亦可相對於攝影裝置而在特定的距離配置記載有特定標記的面板等,藉由拍攝所述標記來進行攝影裝置的位置校準。而且,在攝影裝置相對於所安裝的構件而可相對移動的情況下,攝影裝置亦可僅在預先決定的多個部位間移動。此時,攝影裝置可移動的位置亦可在結構上決定。此時,亦能在結構上掌握攝影裝置的位置。
在攝影裝置相對於所安裝的構件而可相對移動的情況下,攝影裝置相對於所述構件怎樣相對移動皆可。攝影裝置既可相對於所述構件而呈直線狀地移動,亦可呈圓弧以外的曲線狀地移動。在多個攝影裝置相對於所安裝的構件而可相對移動的情況下,各攝影裝置亦可沿著互不相同的移動路徑而移動。使攝影裝置相對於所安裝的構件而相對移動的驅動部的結構並無特別限定。
在設有多個攝影裝置的情況下,多個攝影裝置亦可包含互不相同的種類的攝影裝置。多個攝影裝置例如亦可包含紅外線攝影機與RGB攝影機。此時,亦可藉由紅外線攝影機與RGB攝影機分別從相同的位置拍攝對象物而獲取圖像。
機器人系統亦可具有可對機器人的位置、姿勢以及形狀等的至少一者進行檢測的外部感測器。外部感測器既可配置於配置機器人的場所的天花板,亦可配置於配置機器人的場所的地板。外部感測器例如既可為可對機器人手臂的位置以及姿勢進行檢測的感測器,亦可為可對端點效果器的位置以及姿勢進行檢測的感測器,還可為可對配接器的位置以及姿勢進行檢測的感測器。
外部感測器例如亦可為雷射跟蹤器(laser traker)。此時,外部感測器例如根據基於照射光的照射時機與接收被反射的光的受光時機之差的飛行時間(Time Of Flight,TOF)方式的測距結果,來檢測各部的位置資訊。而且,外部感測器亦可基於照射多個光路的光而產生的反射光的反射位置的測定結果,藉由三角測量的要領來求出幾何學的位置關係,藉此來檢測各部的位置資訊。此時,為了提高反射光的反射位置的測定精度,外部感測器亦可於接收反射光的受光部的光學系統中具有可變焦點透鏡(例如變焦透鏡)。而且,對於藉由外部感測器所進行的各部的位置檢測,亦可使用利用借助極短時間光脈波的光梳(optical comb)的測距方法。
外部感測器亦可為可檢測攝影裝置的位置以及姿勢。此時,在攝影裝置相對於所安裝的構件而可相對移動的情況下,控制部亦可基於由外部感測器所獲得的攝影裝置的資訊來使攝影裝置移動。而且,此時,於攝影裝置中,亦可設有可藉由外部感測器來檢測的標記。
外部感測器亦可為可變更基線長度的攝影裝置。此時,控制部例如亦可根據藉由端點效果器來進行作業的對象物與外部感測器的距離,來變更外部感測器的基線長度。作為一例,控制部亦可在藉由使機器人手臂移動而使利用端點效果器所抓持的對象物靠近外部感測器時,減小外部感測器的基線長度。外部感測器的基線長度的變更例如可藉由與在所述的各實施形態中適當說明的基線長度的變更方法同樣的方法來進行。
以上說明的機器人系統的用途並無特別限定。以上說明的各結構以及各方法可在不相互矛盾的範圍內進行適當組合。
10、110、210、310、410、510、610、710、810:機器人系統
20:機器人
21、521、621:機器人手臂
22、122、722:端點效果器
22a、122a:基部
22b:指部
22c:旋轉驅動部
22d:旋轉位置獲取部
22e、521a、621a、723h:導軌部(第一保持部、第二保持部)
23、723:配接器
23a、61:支持部
23b:台座部
23c:連接部
23d:台座驅動部
23e:阻尼器元件
23f:彈簧元件
23g:凹部
24:手臂部(可動部)
24a:第一手臂部
24b:第二手臂部
24c:第三手臂部
24d:第四手臂部
24e、524e、624e:第五手臂部
25:手臂驅動部
26:手臂位置獲取部
27:線性馬達
27a:磁場產生部
27b:磁鐵部
28:端點效果器驅動部
29:端點效果器位置獲取部
30、230、230a、230b、230c、430、431、432、530:攝影裝置
31、62、331、531、731、831:第一攝影裝置
31a、32a、132a:框體
31b:第一驅動部
31c:第一位置獲取部
31d、32d、230e、731d、732d:滑塊
31e、32e、132e:透鏡
31f、32f、64、132f、235a、235b、235c、331f、332f、435、435a、435b:攝影元件
32、63、132、332、732、832:第二攝影裝置
32b:第二驅動部
32c:第二位置獲取部
33、133:驅動部
34、134:位置獲取部
35、65:記憶體
36、66:數位訊號處理部
40:控制部
41:手臂控制部
42:端點效果器控制部
43:攝影裝置控制部
44:距離資訊獲取部
50:顯示部
60:攝影機單元
122f:孔部(第二保持部)
230d:保持構件
331g:第一滑塊
332g:第二滑塊
336:連結構件
336a:槽
670:投射裝置
AX1、AX1a、AX1b、AX1c、AX2、AX2a、AX2c、AX3a、AX3b、AX3c、AX4:光軸
CL:中心軸
F1、F1a、F1b、F1c、F2、F2a、F2b、F2c:圖像
Fs:框架
IL:假想線
L、L1、L2、L3、L4、La:基線長度
OPa、OPb、OPc:重覆部分
P1:第一位置
P2:第二位置
SL:光
T:樹
V:車
VA:軸
W:對象物
WB:作業台
圖1是表示第一實施形態的機器人系統的立體圖。
圖2是表示第一實施形態的機器人系統的結構的一部分的方塊圖。
圖3是表示第一實施形態的機器人手臂的一部分、端點效果器、配接器以及攝影裝置的立體圖。
圖4是表示第一實施形態的機器人手臂的一部分、端點效果器、配接器以及攝影裝置的平面圖。
圖5是從中心軸方向的前端側觀察端點效果器的一部分、第一攝影裝置以及第二攝影裝置的圖。
圖6是從中心軸方向的前端側觀察端點效果器的一部分、第一攝影裝置以及第二攝影裝置的圖,且是表示第一攝影裝置以及第二攝影裝置位於規定的初始位置的情況的圖。
圖7是表示第二實施形態的機器人系統的一部分的立體圖。
圖8是從中心軸方向的前端側觀察第三實施形態的機器人系統的一部分的圖。
圖9是從中心軸方向的前端側觀察第四實施形態的機器人系統的一部分的圖。
圖10是從中心軸方向的前端側觀察第五實施形態的機器人系統的一部分的圖。
圖11是用於說明第五實施形態的機器人系統獲取與對象物的距離相關的資訊時的程序的一部分的圖。
圖12A是表示第五實施形態中的在攝影裝置的變焦倍率相對較小的情況下,選擇了基線長度相對較大的兩個圖像時的一例的圖。
圖12B是表示第五實施形態中的在攝影裝置的變焦倍率相對較大的情況下,選擇了基線長度相對較大的兩個圖像時的一例的圖。
圖12C是表示第五實施形態中的在攝影裝置的變焦倍率相對較大的情況下,選擇了基線長度相對較小的兩個圖像時的一例的圖。
圖13是表示第六實施形態的機器人系統的立體圖。
圖14是表示第七實施形態的機器人系統的立體圖。
圖15是表示第八實施形態的機器人系統的立體圖。
圖16是表示第九實施形態的機器人系統的立體圖。
20:機器人
21:機器人手臂
22:端點效果器
22a:基部
22b:指部
22c:旋轉驅動部
22d:旋轉位置獲取部
22e:導軌部(第一保持部、第二保持部)
23:配接器
24e:第五手臂部
28:端點效果器驅動部
29:端點效果器位置獲取部
30:攝影裝置
31、62:第一攝影裝置
31a、32a:框體
31b:第一驅動部
31c:第一位置獲取部
31d、32d:滑塊
31e、32e:透鏡
31f、32f:攝影元件
32、63:第二攝影裝置
32b:第二驅動部
32c:第二位置獲取部
33:驅動部
34:位置獲取部
60:攝影機單元
61:支持部
AX1、AX2:光軸
CL:中心軸
Claims (71)
- 一種機器人系統,包括具有可動部的機器人手臂,所述機器人系統包括: 第一攝影裝置以及第二攝影裝置,被安裝於所述機器人手臂; 控制部,控制所述機器人系統;以及 距離資訊獲取部,獲取與對象物的距離相關的資訊, 所述控制部能夠變更基線長度,所述基線長度為所述第一攝影裝置與所述第二攝影裝置之間的距離, 所述距離資訊獲取部基於所述基線長度來獲取與所述對象物的距離相關的資訊。
- 如請求項1所述的機器人系統,其中 所述控制部根據所述機器人系統的作業內容來變更所述基線長度。
- 如請求項1或請求項2所述的機器人系統,更包括: 連結構件,連結所述第一攝影裝置與所述第二攝影裝置, 所述連結構件能夠在將所述第一攝影裝置與所述第二攝影裝置的相對姿勢維持為規定姿勢的狀態下保持所述第一攝影裝置與所述第二攝影裝置。
- 如請求項1至請求項3中任一項所述的機器人系統,其中 所述距離資訊獲取部藉由使由所述第一攝影裝置所獲取的第一圖像以及由所述第二攝影裝置所獲取的第二圖像的至少一者旋轉,來調整所獲取的圖像的方向。
- 如請求項1至請求項4中任一項所述的機器人系統,其中 所述控制部藉由使所述第一攝影裝置的攝影元件以及所述第二攝影裝置的攝影元件的至少一者旋轉,來調整所獲取的圖像的方向。
- 如請求項1至請求項5中任一項所述的機器人系統,其中 所述第一攝影裝置以及所述第二攝影裝置被配置於所述機器人手臂的周圍。
- 如請求項6所述的機器人系統,其中 所述第一攝影裝置以及所述第二攝影裝置的至少一者在所述機器人手臂周圍的規定的周方向上可動。
- 一種機器人系統,包括具有可動部的機器人手臂,所述機器人系統包括: 第一攝影裝置以及第二攝影裝置,被安裝於所述機器人手臂, 至少所述第一攝影裝置以及所述第二攝影裝置的其中一者相對於所述機器人手臂能夠移動。
- 一種機器人系統,包括具有可動部的機器人手臂,所述機器人系統包括: 端點效果器,被安裝於所述機器人手臂;以及 第一攝影裝置以及第二攝影裝置,被安裝於所述端點效果器, 至少所述第一攝影裝置以及所述第二攝影裝置的其中一者相對於所述端點效果器能夠移動。
- 一種機器人系統,包括具有可動部的機器人手臂,所述機器人系統包括: 配接器,用於將端點效果器安裝至機器人手臂;以及 第一攝影裝置以及第二攝影裝置,被安裝於所述配接器, 至少所述第一攝影裝置以及所述第二攝影裝置的其中一者相對於所述配接器能夠移動。
- 一種機器人系統,包括具有可動部的機器人手臂,所述機器人系統包括: 第一攝影裝置以及第二攝影裝置,被安裝於所述機器人手臂, 所述第一攝影裝置與所述第二攝影裝置的相對位置可變。
- 一種機器人系統,包括具有可動部的機器人手臂,所述機器人系統包括: 端點效果器,被安裝於所述機器人手臂;以及 第一攝影裝置以及第二攝影裝置,被安裝於所述端點效果器, 所述第一攝影裝置與所述第二攝影裝置的相對位置可變。
- 一種機器人系統,包括具有可動部的機器人手臂,所述機器人系統包括: 配接器,用於將端點效果器安裝至所述機器人手臂;以及 第一攝影裝置以及第二攝影裝置,被安裝於所述配接器, 所述第一攝影裝置與所述第二攝影裝置的相對位置可變。
- 如請求項8至請求項13中任一項所述的機器人系統,其中 所述第一攝影裝置的光軸與所述第二攝影裝置的光軸相互平行。
- 如請求項8至請求項14中任一項所述的機器人系統,其中 所述第一攝影裝置以及所述第二攝影裝置的至少一者可動,以使所述第一攝影裝置的攝影元件以及所述第二攝影裝置的攝影元件的彼此長邊變得平行。
- 如請求項8至請求項15中任一項所述的機器人系統,更包括: 連結構件,連結所述第一攝影裝置與所述第二攝影裝置, 所述連結構件能夠在將所述第一攝影裝置與所述第二攝影裝置的相對姿勢維持為規定姿勢的狀態下保持所述第一攝影裝置與所述第二攝影裝置。
- 如請求項8至請求項16中任一項所述的機器人系統,更包括: 控制部,控制所述機器人系統;以及 距離資訊獲取部,獲取與對象物的距離相關的資訊, 所述控制部能夠變更基線長度,所述基線長度為所述第一攝影裝置與所述第二攝影裝置之間的距離, 所述距離資訊獲取部基於所述基線長度來獲取與所述對象物的距離相關的資訊。
- 如請求項17所述的機器人系統,更包括: 位置獲取部,至少獲取所述第一攝影裝置的位置資訊, 所述距離資訊獲取部基於由所述位置獲取部所獲取的所述第一攝影裝置的位置資訊來獲取所述基線長度。
- 如請求項17或請求項18所述的機器人系統,其中 所述控制部根據所述機器人系統的作業內容來變更所述基線長度。
- 如請求項17至請求項19中任一項所述的機器人系統,其中 所述距離資訊獲取部藉由使由所述第一攝影裝置所獲取的第一圖像以及由所述第二攝影裝置所獲取的第二圖像的至少一者旋轉,來調整所獲取的圖像的方向。
- 如請求項17至請求項19中任一項所述的機器人系統,其中 所述控制部藉由使所述第一攝影裝置的攝影元件以及所述第二攝影裝置的攝影元件的至少一者旋轉,來調整所獲取的圖像的方向。
- 如請求項8或請求項11所述的機器人系統,其中 所述第一攝影裝置以及所述第二攝影裝置被配置於所述機器人手臂的周圍。
- 如請求項22所述的機器人系統,其中 所述第一攝影裝置以及所述第二攝影裝置的至少一者在所述機器人手臂周圍的規定的周方向上可動。
- 如請求項22所述的機器人系統,其中 所述第一攝影裝置以及所述第二攝影裝置的其中一者在所述機器人手臂周圍的規定的周方向上可動,另一者亦在所述規定的周方向上可動、或者另一者相對於所述機器人手臂的規定部位而固定。
- 如請求項9或請求項12所述的機器人系統,其中 所述第一攝影裝置以及所述第二攝影裝置被配置於所述端點效果器的周圍。
- 如請求項25所述的機器人系統,其中 所述第一攝影裝置以及所述第二攝影裝置的至少一者在所述端點效果器周圍的規定的周方向上可動。
- 如請求項25所述的機器人系統,其中 所述第一攝影裝置以及所述第二攝影裝置的其中一者在所述端點效果器周圍的規定的周方向上可動,另一者亦在所述規定的周方向上可動、或者另一者相對於所述端點效果器的規定部位而固定。
- 如請求項10或請求項13所述的機器人系統,其中 所述第一攝影裝置以及所述第二攝影裝置被配置於所述配接器的周圍。
- 如請求項28所述的機器人系統,其中 所述第一攝影裝置以及所述第二攝影裝置的至少一者在所述配接器周圍的規定的周方向上可動。
- 如請求項28所述的機器人系統,其中 所述第一攝影裝置以及所述第二攝影裝置的其中一者在所述配接器周圍的規定的周方向上可動,另一者亦在所述規定的周方向上可動、或者另一者相對於所述配接器的規定部位而固定。
- 一種機器人系統,包括具有可動部的機器人手臂,所述機器人系統包括: 第一攝影裝置,相對於所述機器人手臂能夠移動;以及 距離資訊獲取部,基於由所述第一攝影裝置所拍攝的圖像來獲取與對象物的距離相關的資訊, 所述第一攝影裝置在第一位置拍攝所述對象物的第一圖像,且在與所述第一位置不同的第二位置拍攝所述對象物的第二圖像, 所述距離資訊獲取部基於所述第一圖像以及所述第二圖像來獲取與所述對象物的距離相關的資訊。
- 一種機器人系統,包括具有可動部的機器人手臂,所述機器人系統包括: 端點效果器,被安裝於所述機器人手臂; 第一攝影裝置,相對於所述端點效果器能夠移動;以及 距離資訊獲取部,基於由所述第一攝影裝置所拍攝的圖像來獲取與對象物的距離相關的資訊, 所述第一攝影裝置在第一位置拍攝所述對象物的第一圖像,且在與所述第一位置不同的第二位置拍攝所述對象物的第二圖像, 所述距離資訊獲取部基於所述第一圖像以及所述第二圖像來獲取與所述對象物的距離相關的資訊。
- 一種機器人系統,包括具有可動部的機器人手臂,所述機器人系統包括: 配接器,用於將端點效果器安裝至所述機器人手臂; 第一攝影裝置,相對於所述配接器能夠移動;以及 距離資訊獲取部,基於由所述第一攝影裝置所拍攝的圖像來獲取與對象物的距離相關的資訊, 所述第一攝影裝置在第一位置拍攝所述對象物的第一圖像,且在與所述第一位置不同的第二位置拍攝所述對象物的第二圖像, 所述距離資訊獲取部基於所述第一圖像以及所述第二圖像來獲取與所述對象物的距離相關的資訊。
- 如請求項31至請求項33中任一項所述的機器人系統,其中 所述第一攝影裝置可動,以使所述第一位置處的所述第一攝影裝置的攝影元件以及所述第二位置處的所述第一攝影裝置的攝影元件的彼此長邊變得平行。
- 如請求項31至請求項34中任一項所述的機器人系統,更包括: 控制部,控制所述機器人系統, 所述控制部能夠變更基線長度,所述基線長度為所述第一位置處的所述第一攝影裝置與所述第二位置處的所述第一攝影裝置之間的距離, 所述距離資訊獲取部基於所述基線長度來獲取與所述對象物的距離相關的資訊。
- 如請求項35所述的機器人系統,更包括: 位置獲取部,獲取與所述第一位置以及所述第二位置相關的位置資訊, 所述距離資訊獲取部基於由所述位置獲取部所獲取的與所述第一位置以及所述第二位置相關的位置資訊來獲取所述基線長度。
- 如請求項35或請求項36所述的機器人系統,其中 所述控制部根據所述機器人系統的作業內容來變更所述基線長度。
- 如請求項35至請求項37中任一項所述的機器人系統,其中 所述距離資訊獲取部藉由使由所述第一攝影裝置在所述第一位置所獲取的第一圖像以及由所述第一攝影裝置在所述第二位置所獲取的第二圖像的至少一者旋轉,來調整所獲取的圖像的方向。
- 如請求項35至請求項37中任一項所述的機器人系統,其中 所述控制部藉由使所述第一攝影裝置的攝影元件旋轉,來調整由所述第一攝影裝置所獲取的圖像的方向。
- 如請求項31所述的機器人系統,其中 所述第一攝影裝置在所述機器人手臂周圍的規定的周方向上可動。
- 如請求項32所述的機器人系統,其中 所述第一攝影裝置在所述端點效果器周圍的規定的周方向上可動。
- 如請求項33所述的機器人系統,其中 所述第一攝影裝置在所述配接器周圍的規定的周方向上可動。
- 如請求項8至請求項42中任一項所述的機器人系統,其中 至少所述第一攝影裝置在所述機器人系統的電源接通之後,移動至規定的初始位置。
- 如請求項43所述的機器人系統,其中 所述第一攝影裝置向所述規定的初始位置的移動是在安裝有所述第一攝影裝置的構件靜止的狀態下進行。
- 如請求項8至請求項44中任一項所述的機器人系統,其中 至少所述第一攝影裝置在所述機器人系統的電源斷開之前,移動至規定的結束位置。
- 如請求項45所述的機器人系統,其中 所述第一攝影裝置向所述規定的結束位置的移動是在安裝有所述第一攝影裝置的構件靜止的狀態下進行。
- 如請求項8至請求項46中任一項所述的機器人系統,更包括: 投射裝置,投射光, 至少所述第一攝影裝置在藉由所述投射裝置而投射有光的狀態下執行攝影而獲取圖像。
- 一種機器人系統,包括: 機器人手臂; 三個以上的攝影裝置,拍攝對象物;以及 控制部,基於由所述三個以上的攝影裝置中的兩個攝影裝置所獲取的所述對象物的圖像的資訊,來獲取與所述對象物的距離相關的資訊。
- 如請求項48所述的機器人系統,其中 所述控制部從由所述三個以上的攝影裝置所獲取的三個以上的圖像中選擇兩個圖像,基於所選擇的所述兩個圖像的資訊來獲取與所述對象物的距離相關的資訊。
- 如請求項48所述的機器人系統,其中 所述控制部從所述三個以上的攝影裝置中選擇所述兩個攝影裝置,基於由所選擇的所述兩個攝影裝置所獲取的圖像的資訊來獲取與所述對象物的距離相關的資訊。
- 一種機器人系統,包括: 機器人手臂; 三個以上的攝影裝置,拍攝對象物;以及 控制部,基於由所述三個以上的攝影裝置中的兩個攝影裝置所獲取的圖像的資訊,來控制所述機器人手臂以及與所述機器人手臂連接的端點效果器的至少一者。
- 如請求項51所述的機器人系統,其中 所述控制部從由所述三個以上的攝影裝置所獲取的三個以上的圖像中選擇兩個圖像,基於所選擇的所述兩個圖像的資訊,來控制所述機器人手臂以及與所述機器人手臂連接的端點效果器的至少一者。
- 如請求項51所述的機器人系統,其中 所述控制部從所述三個以上的攝影裝置中選擇所述兩個攝影裝置,基於由所選擇的所述兩個攝影裝置所獲取的圖像的資訊,來控制所述機器人手臂以及與所述機器人手臂連接的端點效果器的至少一者。
- 如請求項49或請求項52所述的機器人系統,其中 所述控制部基於事先求出的與所述對象物相關的距離資訊、與所述對象物的遮擋相關的資訊、所述攝影裝置的焦距資訊、以及與利用所述三個以上的攝影裝置獲得的圖像的形狀變化相關的資訊中的至少一個資訊,來選擇所述兩個圖像。
- 如請求項50或請求項53所述的機器人系統,其中 所述控制部基於事先求出的與所述對象物相關的距離資訊、與所述對象物的遮擋相關的資訊、所述攝影裝置的焦距資訊、以及與利用所述三個以上的攝影裝置獲得的圖像的形狀變化相關的資訊中的至少一個資訊,來選擇所述兩個攝影裝置。
- 如請求項48至請求項55中任一項所述的機器人系統,其中 所述控制部進行控制,以使所述三個以上的攝影裝置中的至少兩個攝影裝置所進行的攝影同步。
- 如請求項17至請求項21、請求項31至請求項33以及請求項48至請求項50中任一項所述的機器人系統,更包括: 顯示部,顯示基於與所述距離相關的資訊的資訊。
- 一種機器人系統,包括: 機器人手臂;以及 三個以上的攝影裝置, 所述三個以上的攝影裝置被配置於所述機器人手臂、與所述機器人手臂連接的端點效果器、以及用於將所述端點效果器安裝至所述機器人手臂的配接器的任一者的周圍。
- 如請求項58所述的機器人系統,其中 所述三個以上的攝影裝置被排列配置於規定的軸上。
- 如請求項58所述的機器人系統,其中 所述三個以上的攝影裝置被排列配置於規定的圓周上。
- 如請求項60所述的機器人系統,其中 所述三個以上的攝影裝置被等間隔地配置於所述圓周上。
- 如請求項58至請求項61中任一項所述的機器人系統,其中 所述三個以上的攝影裝置的光軸相互平行。
- 如請求項58至請求項62中任一項所述的機器人系統,其中 所述三個以上的攝影裝置被配置為,所述三個以上的攝影裝置中的攝影元件各自的長邊變得平行。
- 如請求項58至請求項63中任一項所述的機器人系統,更包括: 投射裝置,投射光, 所述投射裝置被配置於所述機器人手臂、所述端點效果器以及所述配接器的任一者的周圍。
- 一種機器人手臂,包括: 第一保持部,保持第一攝影裝置;以及 第二保持部,保持第二攝影裝置, 所述第一攝影裝置由所述第一保持部能夠移動地予以保持,或者所述第二攝影裝置由所述第二保持部能夠移動地予以保持。
- 一種端點效果器,被安裝於機器人手臂,所述機器人手臂包括: 第一保持部,保持第一攝影裝置;以及 第二保持部,保持第二攝影裝置, 所述第一攝影裝置由所述第一保持部能夠移動地予以保持,或者所述第二攝影裝置由所述第二保持部能夠移動地予以保持。
- 一種配接器,用於將端點效果器安裝至機器人手臂,所述配接器包括: 第一保持部,保持第一攝影裝置;以及 第二保持部,保持第二攝影裝置, 所述第一攝影裝置由所述第一保持部能夠移動地予以保持,或者所述第二攝影裝置由所述第二保持部能夠移動地予以保持。
- 一種機器人手臂,包括: 第一保持部,保持第一攝影裝置;以及 第二保持部,保持第二攝影裝置, 所述第一攝影裝置與所述第二攝影裝置的相對位置可變。
- 一種端點效果器,被安裝於機器人手臂,所述機器人手臂包括: 第一保持部,保持第一攝影裝置;以及 第二保持部,保持第二攝影裝置, 所述第一攝影裝置與所述第二攝影裝置的相對位置可變。
- 一種配接器,用於將端點效果器安裝至機器人手臂,所述配接器包括: 第一保持部,保持第一攝影裝置;以及 第二保持部,保持第二攝影裝置, 所述第一攝影裝置與所述第二攝影裝置的相對位置可變。
- 一種機器人手臂,包括: 保持部,保持拍攝對象物的三個以上的攝影裝置;以及 控制部,基於由所述三個以上的攝影裝置中的兩個攝影裝置所獲取的所述對象物的圖像的資訊,來獲取與所述對象物的距離相關的資訊。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
WOPCT/JP2020/040779 | 2020-10-30 | ||
PCT/JP2020/040779 WO2022091328A1 (ja) | 2020-10-30 | 2020-10-30 | ロボットシステム、ロボットアーム、エンドエフェクタ、およびアダプタ |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202222519A true TW202222519A (zh) | 2022-06-16 |
Family
ID=81382127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110140421A TW202222519A (zh) | 2020-10-30 | 2021-10-29 | 機器人系統、機器人手臂、端點效果器以及配接器 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240046401A1 (zh) |
EP (1) | EP4238719A1 (zh) |
KR (1) | KR20230104161A (zh) |
CN (1) | CN116438042A (zh) |
TW (1) | TW202222519A (zh) |
WO (1) | WO2022091328A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010131685A (ja) | 2008-12-03 | 2010-06-17 | Seiko Epson Corp | ロボット装置および撮像方法 |
JP5834545B2 (ja) * | 2011-07-01 | 2015-12-24 | セイコーエプソン株式会社 | ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム |
WO2014192876A1 (ja) * | 2013-05-30 | 2014-12-04 | 独立行政法人産業技術総合研究所 | 撮像システム及び撮像方法 |
JP6855492B2 (ja) * | 2016-09-02 | 2021-04-07 | 倉敷紡績株式会社 | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 |
-
2020
- 2020-10-30 EP EP20959846.5A patent/EP4238719A1/en active Pending
- 2020-10-30 CN CN202080106828.9A patent/CN116438042A/zh active Pending
- 2020-10-30 WO PCT/JP2020/040779 patent/WO2022091328A1/ja unknown
- 2020-10-30 US US18/034,452 patent/US20240046401A1/en active Pending
- 2020-10-30 KR KR1020237015508A patent/KR20230104161A/ko active Search and Examination
-
2021
- 2021-10-29 TW TW110140421A patent/TW202222519A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2022091328A1 (ja) | 2022-05-05 |
US20240046401A1 (en) | 2024-02-08 |
CN116438042A (zh) | 2023-07-14 |
EP4238719A1 (en) | 2023-09-06 |
KR20230104161A (ko) | 2023-07-07 |
JPWO2022091328A1 (zh) | 2022-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102038396B1 (ko) | 터치 프로브에 대하여 시각 시스템을 켈리브레이팅하기 위한 시스템 및 방법 | |
JP6966582B2 (ja) | ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法 | |
JP5290324B2 (ja) | 空間内において少なくとも1つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム | |
KR101458991B1 (ko) | 측정 대상 표면에 대한 3d 좌표들을 결정하기 위한 광학 측정 방법 및 측정 시스템 | |
JP2009269110A (ja) | 組立装置 | |
JP5377758B2 (ja) | 空間内において少なくとも1つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム | |
EP3584533A1 (en) | Coordinate measurement system | |
JP2016185572A (ja) | ロボット、ロボット制御装置およびロボットシステム | |
WO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
TW201618913A (zh) | 機器人及機器人系統 | |
JP6069275B2 (ja) | 端子挿入用位置合わせ装置 | |
CN111781894B (zh) | 利用机器视觉进行装配工具空间定位及姿态导航的方法 | |
US11230011B2 (en) | Robot system calibration | |
US9746848B2 (en) | System and method for adaptive positioning of a work piece | |
JP2001249007A5 (zh) | ||
JP2016536150A (ja) | 向上した正確度を伴うロボット配置および操作 | |
JP2001074428A (ja) | 形状測定装置の校正方法及び校正治具 | |
JPWO2018043524A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
JP2003065714A (ja) | カメラ・キャリブレーションのためのガイド装置及びガイド方法、並びに、カメラ・キャリブレーション装置 | |
TW202222519A (zh) | 機器人系統、機器人手臂、端點效果器以及配接器 | |
JP2016203282A (ja) | エンドエフェクタの姿勢変更機構を備えたロボット | |
JPH0820207B2 (ja) | 光学式3次元位置計測方法 | |
US8885051B2 (en) | Camera calibration method and camera calibration apparatus | |
TWI776694B (zh) | 自動化機械手臂系統與機械手臂與其電腦視覺之間的協調方法 | |
JP2020196116A (ja) | カメラおよびロボットシステム |