TWI670153B - 機器人及機器人系統 - Google Patents

機器人及機器人系統 Download PDF

Info

Publication number
TWI670153B
TWI670153B TW104138100A TW104138100A TWI670153B TW I670153 B TWI670153 B TW I670153B TW 104138100 A TW104138100 A TW 104138100A TW 104138100 A TW104138100 A TW 104138100A TW I670153 B TWI670153 B TW I670153B
Authority
TW
Taiwan
Prior art keywords
imaging unit
robot
coordinate system
mark
state
Prior art date
Application number
TW104138100A
Other languages
English (en)
Other versions
TW201618913A (zh
Inventor
原田篤
山口如洋
石毛太郎
安田光一
赤羽和重
Original Assignee
日商精工愛普生股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014236299A external-priority patent/JP6565175B2/ja
Priority claimed from JP2015068272A external-priority patent/JP6507792B2/ja
Application filed by 日商精工愛普生股份有限公司 filed Critical 日商精工愛普生股份有限公司
Publication of TW201618913A publication Critical patent/TW201618913A/zh
Application granted granted Critical
Publication of TWI670153B publication Critical patent/TWI670153B/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39008—Fixed camera detects reference pattern held by end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39022—Transform between measuring and manipulator coordinate system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/09—Closed loop, sensor feedback controls arm movement
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本發明之目的在於可容易進行攝像部之座標系與機器人之座標系之校正。
機器人包含：指示接收部，其接收校正開始指示；及臂，其係於接收到上述校正開始指示時，使表示基準點之標記與攝像部之位置關係變化；且該機器人基於上述攝像部與上述標記之位置關係變化後以上述攝像部拍攝上述標記而得之圖像，進行上述攝像部之座標系與機器人之座標系之校正。

Description

機器人及機器人系統
本發明係關於機器人及機器人系統。
先前以來，於使用機器人視覺控制機器人時，必須進行校正機器人座標系與攝像部之座標系之處理。於校正時，以機器人座標系與攝像部之座標系之各者特定出機器人設置空間內之基準點之位置，求取用於將以一座標系表示之基準點位置轉換為以另一座標系表示之基準點位置之矩陣式。根據專利文獻1中所記載之技術，藉由以能夠接觸3個基準點之方式使臂動作，以機器人座標系教示基準點，其後，由藉由臂而移動至特定位置之攝像部拍攝表示基準點之標記，藉由以攝像部之座標系檢測基準點而進行校正。
[先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開平8-210816號公報
根據專利文獻1中所揭示之技術，必須藉由操作者以能夠接觸3個基準點之方式操作臂而教示基準點之位置。但，於以目測特定出臂與基準點接觸或非接觸之邊界狀態之同時正確進行臂操作則並非易事。亦即，於專利文獻1中所揭示之技術中，存在難以正確教示基準點之位置之問題。又，若設為一面正確教示複數個基準點之位置，一 面進行校正，則存在校正所需時間增加之問題，而校正對象之機器人越多，則該問題越嚴重。
本發明係為解決該等問題而創作者，其目的之一在於可容易進行攝像部之座標系與機器人之座標系之校正。
用於達成上述目的之機器人包含：指示接收部，其接收校正開始指示；及臂，其係於接收到上述校正開始指示時，使表示基準點之標記與攝像部之位置關係變化；且基於上述攝像部與上述標記之位置關係變化後以上述攝像部拍攝上述標記而得之圖像，進行上述攝像部之座標系與機器人之座標系之校正。
再者，用於達成上述目的之機器人包含臂，該臂係使表示3個以上之基準點之標記與攝像部之位置關係自動變化為如下之狀態之至少任一者：包含上述3個以上之基準點之平面與上述攝像部之光軸垂直之第一狀態，上述攝像部對焦於表示上述3個以上之基準點之至少任一者之上述標記之第二狀態，上述攝像部之光軸通過上述平面上之第一點之第三狀態，上述攝像部之光軸通過上述平面上之第二點之第四狀態，及上述攝像部之光軸通過上述平面上之第三點之第五狀態；且基於於上述第三狀態、上述第四狀態及上述第五狀態中以上述攝像部拍攝上述標記而得之圖像，進行上述攝像部座標系與機器人座標系之校正。
根據該等發明，可於可拍攝校正攝像部座標系與機器人座標系所需之圖像之狀態下，根據校正開始指示使攝像部與標記之位置關係變化。因此，容易進行攝像部座標系與機器人座標系之校正。
此處，校正開始指示只要為特定出使臂開始以可拍攝校正攝像部座標系與機器人座標系所需之圖像之狀態使攝像部與標記之位置關係變化之動作之時序的指示即可，其可不包含特定出臂之位置或姿勢 之變化量的目標值。且，標記只要為標示機器人座標系之基準點者即可。例如，可將標記於平板上之點或圓等之二維圖形用作標記，亦可將具有三維形狀者(例如臂之前端部)用作標記。又，標記亦可設於臂上，亦可設於固定於機器人所設置之空間內者(例如作業台)。於將標記設於臂之情形時(包含臂成為標記之情形)，攝像部固定於機器人座標系。於將標記固定於機器人座標系之情形時，攝像部設置於臂上。
另，技術方案所記載之各手段之功能係由以構成本身特定功能之硬體資源、藉由程式特定功能之軟體資源、或其等之組合而實現。且，該等各手段之功能之各者並未限定於由物理上相互獨立之硬體資源實現者。
用於達成上述目的之機器人包含：接收指示部，其接收校正開始指示；及臂，其可安裝設有表示基準點之標記的工具，且於接收到上述校正開始指示時，使上述標記與攝像部之位置變化；上述標記設置於上述工具之與上述臂對向之面；且基於上述攝像部與上述標記之位置關係變化後以上述攝像部拍攝上述標記而得之圖像，進行上述攝像部之座標系與機器人之座標系之校正。
再者，用於達成上述目的之機器人包含臂，其可安裝設有表示3個以上之基準點之標記的工具，且使上述標記與攝像部之位置關係自動變化為如下之狀態之至少任一者：包含上述3個以上之基準點之平面與上述攝像部之光軸垂直之第一狀態，上述攝像部對焦於表示上述3個以上之基準點之至少任一者之上述標記之第二狀態，上述攝像部之光軸通過上述平面上之第一點之第三狀態，上述攝像部之光軸通過上述平面上之第二點之第四狀態，及上述攝像部之光軸通過上述平面上之第三點之第五狀態；並基於於上述第三狀態、上述第四狀態及上述第五狀態中以上述攝像部拍攝上述標記而得之圖像，進行上述攝像部座標系與機器人座標系之校正。
根據該等發明，可於可拍攝用以校正攝像部座標系與機器人座標系所需之圖像之狀態下，根據校正開始指示使攝像部與標記之位置關係變化。因此，容易進行攝像部座標系與機器人座標系之校正。
於上述機器人中，上述臂係於接收到上述校正開始指示時，使上述位置關係變化為預設之狀態，且基於上述位置關係處於上述預設狀態時以上述攝像部拍攝上述標記而得之圖像進行上述校正。
於上述機器人中，上述臂亦可取得基於以上述攝像部拍攝上述標記而得之圖像而導出之目標值，並基於上述目標值使上述位置關係變化為上述預設之狀態。
於上述機器人中，上述校正開始指示亦可不包含用於使上述位置關係變化為上述預設狀態之目標值。
於上述機器人中，上述預設之狀態亦可包含上述攝像部對焦於上述標記之狀態。
於上述機器人中，上述臂係於接收到上述校正開始指示時，取得基於自以上述攝像部拍攝上述標記而得之圖像切出之部分圖像而導出之目標值，並基於上述目標值，使上述位置關係變化為使上述攝像部對焦於上述標記之狀態。
於上述機器人中，上述臂亦可藉由於與含有3個以上之上述基準點之平面垂直之第一方向使上述攝像部與上述標記之位置關係變化後，於與上述第一方向相反方向之第二方向使上述攝像部與上述標記之位置關係變化，而使上述攝像部對焦於上述標記。
於上述機器人中，上述預設之狀態亦可包含含有3個以上之上述基準點之平面與上述攝像部之光軸垂直之狀態。
於上述機器人中，上述預設之狀態亦可包含上述攝像部之光軸通過上述平面之位置互不相同之3種以上之狀態。
於上述機器人中，上述攝像部亦可設置於上述臂。
於上述機器人中，上述攝像部亦可設為於重力方向，自較上述臂更上側拍攝上述臂。
於上述機器人中，上述攝像部亦可設為於重力方向，自較上述臂更下側拍攝上述臂。
再者，用於達成上述目的之機器人系統包含：機器人及校正裝置，該機器人具備：指示接收部，其接收校正開始指示；及臂，其係於接收到上述校正開始指示時，使表示基準點之標記與攝像部之位置關係變化；該校正裝置係基於上述攝像部與上述標記之位置關係變化後以上述攝像部拍攝上述標記而得之圖像，進行上述攝像部座標系與上述機器人座標系之校正；且於將上述標記之位置相對於上述臂而固定之情形時，上述攝像部設置於在上述臂運動之座標系中固定之點，而於將上述標記之位置相對於上述臂運動之座標系固定之情形時，上述攝像部設置於相對於上述臂固定之點。
於上述機器人中，上述臂亦可使上述位置關係自動變化為上述第一狀態、上述第二狀態、上述第三狀態、上述第四狀態、及上述第五狀態。
於上述機器人中，上述臂亦可取得基於以上述攝像部拍攝上述標記而得之圖像所導出之目標值，並基於上述目標值自動變化上述位置關係。
1‧‧‧機器人
2‧‧‧攝像部
3‧‧‧PC
4‧‧‧標記板
9‧‧‧台(作業台)
11‧‧‧臂
14‧‧‧控制部
22‧‧‧攝像部
30‧‧‧指示接收部
31‧‧‧圖像取得部
32‧‧‧目標值導出部
33‧‧‧輸出部
34‧‧‧校正部
41‧‧‧標記
42‧‧‧標記
43‧‧‧標記
44‧‧‧標記
45‧‧‧標記
46‧‧‧標記
47‧‧‧標記
48‧‧‧標記
49‧‧‧標記
50‧‧‧標記工具
51‧‧‧標記
52‧‧‧平板部
53‧‧‧安裝部
110‧‧‧基台
111‧‧‧臂
112‧‧‧臂
113‧‧‧臂
114‧‧‧臂
115‧‧‧臂
121‧‧‧旋轉軸構件
122‧‧‧旋轉軸構件
123‧‧‧旋轉軸構件
124‧‧‧旋轉軸構件
125‧‧‧旋轉軸構件
126‧‧‧旋轉軸構件
131‧‧‧馬達
132‧‧‧馬達
133‧‧‧馬達
134‧‧‧馬達
135‧‧‧馬達
136‧‧‧馬達
201‧‧‧鏡頭
202‧‧‧區域影像感測器
1261‧‧‧工具夾具
A‧‧‧攝像方向
A2‧‧‧實線
A5‧‧‧實線
A8‧‧‧實線
A8‧‧‧實線
B‧‧‧軸
C‧‧‧軸
d1‧‧‧間隔
d2‧‧‧間隔
d3‧‧‧間隔
d4‧‧‧間隔
F‧‧‧值
F‧‧‧基準平面
F(0)‧‧‧基準平面
F(1)‧‧‧基準平面
F(2)‧‧‧基準平面
F(3)‧‧‧基準平面
F(4)‧‧‧基準平面
F(5)‧‧‧基準平面
F(6)‧‧‧基準平面
F(7)‧‧‧基準平面
F(8)‧‧‧基準平面
F(9)‧‧‧基準平面
F(n)‧‧‧基準平面
H1‧‧‧當前之傾斜指標
H2‧‧‧傾斜指標
H3‧‧‧傾斜指標
Hx‧‧‧傾斜指標
Hy‧‧‧傾斜指標
MC‧‧‧標記中心
TCP‧‧‧工具中心點
TCP(1)‧‧‧工具中心點
TCP(2)‧‧‧工具中心點
P1‧‧‧基準點(網格點)
P2‧‧‧基準點(網格點)
P3‧‧‧基準點(網格點)
P4‧‧‧基準點(網格點)
P5‧‧‧基準點(網格點)
P6‧‧‧基準點(網格點)
P7‧‧‧基準點(網格點)
P8‧‧‧基準點(網格點)
P9‧‧‧基準點(網格點)
P21‧‧‧基準點
P22‧‧‧基準點
P23‧‧‧基準點
P24‧‧‧基準點
P25‧‧‧基準點
P26‧‧‧基準點
P27‧‧‧基準點
P28‧‧‧基準點
P29‧‧‧基準點
Pn‧‧‧基準點(基準點)
T1‧‧‧工具
T2‧‧‧工具
u‧‧‧繞z軸之旋轉
v‧‧‧繞y軸之旋轉
v1‧‧‧旋轉角度
v2‧‧‧旋轉角度
w‧‧‧繞x軸之旋轉
X‧‧‧軸
x‧‧‧軸
Y‧‧‧軸
y‧‧‧軸
z‧‧‧軸
△V‧‧‧傾斜修正量
△W‧‧‧傾斜修正量
θ‧‧‧中心角
r‧‧‧半徑
圖1(A)係本發明之實施形態之示意性立體圖；圖1(B)係本發明之實施形態之方塊圖。
圖2係本發明之實施形態之平面圖。
圖3係本發明之實施形態之示意性立體圖。
圖4係本發明之實施形態之流程圖。
圖5係本發明之實施形態之流程圖。
圖6係本發明之實施形態之流程圖。
圖7係本發明之實施形態之示意圖。
圖8(A)~(D)係表示本發明之實施形態之圖像之圖。
圖9係本發明之實施形態之流程圖。
圖10係本發明之實施形態之示意性立體圖。
圖11係本發明之實施形態之流程圖。
圖12係本發明之實施形態之示意性立體圖。
圖13係本發明之實施形態之示意性平面圖。
圖14係本發明之實施形態之示意圖。
圖15(A)、(B)係本發明之實施形態之示意圖。
圖16係本發明之實施形態之示意性立體圖。
圖17(A)係本發明之實施形態之平面圖，圖17(B)係本發明之實施形態之側視圖。
圖18係本發明之實施形態之流程圖。
圖19(A)及圖19(B)係表示本發明之實施形態之圖像之平面圖；圖19(C)係表示本發明之實施形態之座標圖。
圖20(A)係本發明之實施形態之說明圖，圖20(B)係本發明之實施形態之座標圖。
以下，一面參照附加圖式一面說明本發明之實施形態。另，對各圖中對應之構成要件附加相同符號，並省略重複之說明。
1.第一實施例
1-1.概要
如圖1所示，作為本發明之本實施例之機器人系統包含：機器人1、攝像部2、及作為校正裝置之PC(Personal Computer：個人電腦)3。
機器人1係於臂包含6個旋轉軸構件121、122、123、124、125、126之6軸機器人。將供安裝用於操作工件之各種工具之旋轉軸構件126之前端中心，稱為工具中心點(TCP)。TCP之位置與姿勢成為各種工具之位置與姿勢之基準。控制機器人1時所使用之機器人1之座標系係由相互水平之x軸與y軸及將鉛直向下設為正方向之z軸所定義之三維正交座標系。且，以u表示繞z軸之旋轉，以v表示繞y軸之旋轉，以w表示繞x軸之旋轉。機器人座標系之長度單位係毫米，角度單位係度。
攝像部2係用於識別對於鏡頭201之光軸垂直之基準平面內之工件之大小、形狀及位置之攝像部。攝像部2之座標系係自攝像部2輸出之圖像之座標系，且其係由將圖像之水平右方向設為正方向之B軸及將圖像之垂直向下設為正方向之C軸所定義。攝像部2之座標系之長度單位係像素，角度單位為度。攝像部2之座標系係將垂直於攝像部2之光軸之實際空間內之平面座標系根據鏡頭201之光學特性(焦點距離、變形等)與區域影像感測器202之像素數及大小，經過非線性轉換後之二維正交座標系。因此，為了基於攝像部2所輸出之圖像識別工件之大小、形狀或位置，並基於識別結果控制機器人1，必須對攝像部2之座標系進行與機器人1之座標系相關連之處理亦即校正。
PC3連接於機器人1及攝像部2。PC3中安裝有用於校正機器人1之座標系與攝像部2之座標系之校正程式。操作員為執行校正而啟動校正程式，並對PC3輸入校正開始指示。校正開始指示係校正程式用於開始校正處理之單一觸發，不包含用於操作機器人1之目標值。為了校正攝像部2之座標系，若為以往，必須設定為使攝像部2之光軸相對於含有3個以上之基準點之平面正確垂直之狀態，或藉由以TCP進行修正(touch up)，而正確地教示3個以上之基準點之縝密準備。又，於該等準備不正確時，會導致校正失敗，操作員於了解到校正失敗時方 了解準備不正確。因此，在以往，校正需要花費大量時間。
若根據以下所說明之本發明之實施例，使用尚未進行校正之狀態之機器人視覺(以攝像部2拍攝之圖像)自動進行校正準備。自動進行之校正準備包含攝像部2之光軸相對於含有3個以上之基準點之基準平面垂直，即設為攝像部2對焦於基準平面之狀態的操作。因此，只要於尚未決定基準點與攝像部之正確位置關係之狀態，輸入校正開始指示，即可非常容易地進行機器人1之座標系與攝像部2之座標系之校正。
1-2.構成
如圖1(A)中簡略化地所表示般，機器人1包含：基台110、臂111、112、113、114、115。基台110支持第一臂111之旋轉軸構件121。第一臂111係以旋轉軸構件121之中心軸為中心，與旋轉軸構件121一起相對於基台110旋轉。第一臂111支持第二臂112之旋轉軸構件122。第二臂112係以旋轉軸構件122之中心軸為中心，與旋轉軸構件122一起相對於第一臂111旋轉。第二臂112支持第三臂113之旋轉軸構件123。第三臂113係以旋轉軸構件123之中心軸為中心，與旋轉軸構件123一起相對於第二臂112旋轉。第三臂113支持第四臂114之旋轉軸構件124。第四臂114係以旋轉軸構件124之中心軸為中心，與旋轉軸構件124一起相對於第三臂113旋轉。第四臂114支持第五臂115之旋轉軸構件125。第五臂115係以旋轉軸構件125之中心軸為中心，與旋轉軸構件125一起相對於第四臂114旋轉。第五臂115支持旋轉軸構件126。於位於機械手(manipulator)之前端之旋轉軸構件126，設有圖2中示出工具之安裝面之工具夾具1261。於工具夾具1261，安裝有用於操作工件之各種工具。如圖2所示，工具夾具1261之安裝面進行4分割，於其中央部插入工具之軸。工具夾具1261之安裝面之中心相當於TCP。
如圖1(B)所示，機器人1包含：驅動旋轉軸構件121之馬達131、驅動旋轉軸構件122之馬達132、驅動旋轉軸構件123之馬達133、驅動旋轉軸構件124之馬達134、驅動旋轉軸構件125之馬達135、驅動旋轉軸構件126之馬達136、及控制馬達131~136之控制部14。馬達131~136係臂111~115之構成要件。馬達131~136係以能夠使目標值與當前值之差量成為零之方式進行反饋控制之伺服馬達。控制部14自PC3取得表示TCP之位置與姿勢之目標值，基於表示TCP之位置與姿勢之目標值，導出馬達131~136之目標值。
攝像部2係包含鏡頭201、區域影像感測器202及未圖示之AD轉轉器等之數位攝像部。攝像部2係如圖1(A)所示，以可於鉛直上方攝像之方式，設置於供載置工件之台(作業台)9上之特定位置。另，本實施例中被校正之機器人視覺係將預設之基準平面作為對象之二維機器人視覺。因此，對鏡頭201，較佳使用景深較淺(焦點距離較短)，F值較小之單焦點鏡頭。
PC3係包含未圖示之處理器、包含DRAM之未圖示之主記憶、未圖示之輸入輸出機構、包含非揮發性記憶體之未圖示之外部記憶、顯示器、及作為指示接收部30發揮作用之鍵盤等之電腦。PC3係藉由使處理器執行外部記憶所記憶之校正程式，而作為指示接收部30、圖像取得部31、目標值導出部32、輸出部33、及校正部34發揮作用。
圖像取得部31指示攝像部2進行拍攝，並自攝像部2取得根據指示拍攝表示基準點之標記而得之圖像。本實施例中所使用之基準點係如圖3所示之垂直於任意之位置與姿勢之旋轉軸構件126之平面上之9個網格點P1、P2、P3、P4、P5、P6、P7、P8、P9。於本實施例中，將包含相對於任意之位置與姿勢之旋轉軸構件126而決定之基準點P1~P9之平面，稱為基準平面。基準點P1~P9彼此之相對位置關係於機器人座標系中被固定，但基準點P1~P9於自動校正執行中，藉由使 旋轉軸構件126運動而於攝像部2之固定視野內運動。亦即，於校正過程中，根據旋轉軸構件126之位置與姿勢(x,y,z,u,v,w)，定出決定基準平面之X軸與Y軸，基準點之座標係由X軸座標與Y軸座標決定。X軸與Y軸相對於旋轉軸構件126之中心軸垂直且互相垂直，將決定出基準平面時之TCP設為基準平面之原點。而且，最後進行校正之時點之基準平面成為機器人視覺之對象。另，因基準平面係固定於旋轉軸構件126之座標系，故基準平面之座標系與機器人座標系之關係為線性。於本實施例中，作為表示基準點P1~P9之標記，使用圖2所示之工具夾具1261之安裝面。
目標值導出部32保持工具夾具1261之安裝面模板。工具夾具1261之安裝面模板係於用於解析自攝像部2取得之圖像，以攝像部2之座標系檢測基準點之座標而使用。目標值導出部32係基於攝像2所拍攝之圖像導出用於使攝像部2與基準點P1~P2之位置關係變化為預設之狀態之目標值。具體而言，目標值導出部32係基於攝像部2所拍攝之圖像，導出與預設之狀態對應之基準點P1~P9之位置與姿勢而作為TCP之目標值。此處所言及之預設之狀態，係指以下狀態。
垂直狀態：基準平面與攝像部2之光軸垂直之狀態
對焦狀態：攝像部2對焦於基準平面之狀態
垂直狀態係包含：由基於以未對焦於基準平面之狀態拍攝之圖像所導出之目標值而決定之低精度垂直狀態，及由後述之[傾斜指標]之閾值決定之高精度垂直狀態。對焦狀態係由對焦指標即圖像之鮮明度(sharpness)決定。另，於本實施例中，雖將圖像之預設區域(部分圖像)之鮮明度成為最大之狀態設為對焦狀態，但亦可藉由於對焦指標中設定閾值而使對焦狀態具有一定餘裕。
輸出部33藉由將由目標值導出部32導出之目標值輸出至機器人1之控制部14，而使攝像部2與基準點P1~P9之位置關係變化為垂直狀 態、對焦狀態。
1-3.自動校正
1-3-1.全體流程
其次對使用上述機器人系統之自動校正之全體流程，一面參照圖4一面進行說明。
機器人系統之自動校正係藉由操作員對PC3輸入校正開始指示而啟動，其後，無需對操作員要求任何操作即可完成校正。於輸入校正開始指示之前僅要求操作員進行對PC3輸入機器人系統之環境資訊之操作，與藉由所謂緩步進給(jog feed)，以攝像部2之光軸大致通過機械手前端之旋轉軸構件126之狀態使TCP移動者。亦即，於輸入校正開始指示之前，對操作員而言無須進行任何精密操作。環境資訊包含區域影像感測器202之像素數、尺寸及鏡頭201之焦點距離。且，於本實施例中，將工具夾具1261之安裝面本身用作表示基準點之標記，但於將標示有表示基準點之標記之板等安裝於工具夾具1261之情形時，則必須輸入標記相對於TCP之相對位置或姿勢。
若將校正開始指示輸入至PC3(步驟S1)，則PC3執行低精度傾斜修正(步驟S2)。於低精度傾斜修正中，設定與輸入校正開始指示之時點之TCP之位置與姿勢對應之基準平面。接著，以TCP位於所設定之基準平面上之9個基準點之狀態，藉由攝像部2進行拍攝，以攝像部2之座標系檢測表示9個基準點之TCP之位置。接著，基於檢測結果，導出用於將基準平面與攝像部2之光軸設為垂直之狀態(垂直狀態)之目標值。將所導出之目標值輸入至機器人1，若臂111~115基於目標值運動，則成為基準平面與攝像部2之光軸大致垂直之低精度垂直狀態。
其次，PC3執行焦點調整(步驟S3)。於焦點調整中，一面使TCP於相對於低精度垂直狀態之基準平面垂直之方向移動，一面藉由攝像 部2進行拍攝，而探索圖像中所映現之工具夾具1261之鮮明度成為最大之對焦狀態。接著，基於探索結果導出用於設為對焦狀態之目標值。所導出之目標值被輸入至機器人1，當臂111~115基於目標值而運動時，則成為對焦狀態。
其次，PC3執行高精度傾斜修正(步驟S4)。於高精度傾斜修正中，一面使為低精度垂直狀態且對焦狀態之基準平面，以微小之角度逐漸傾斜，一面藉由攝像部2進行拍攝。基於拍攝作為表示同一基準平面內之複數個基準點之標記之工具夾具1261而得之複數個圖像，導出基準平面之傾斜指標。基準平面之傾斜指標係與攝像部2之光軸與基準平面所成之角度具有90度之差之正的相互關係之值。基於所導出之傾斜指標，導出用於設為垂直狀態之目標值。將所導出之目標值輸入至機器人1，當臂111~115基於目標值而運動，則成為高精度垂直狀態。
其次，PC3執行9點校正(步驟S5)。於9點校正中，基於屬於高精度垂直狀態之基準平面之9個基準點之基準平面座標系之座標，及攝像部2之座標系之座標，導出校正機器人座標系與攝像部2之座標系之最終之轉換式。
以上，誠如概要所述，作為校正裝置之PC3藉由依序進行低精度傾斜修正、焦點調整、及高精度傾斜修正，以成為能夠使基準平面相對於攝像部2之光軸垂直、且攝像部2相對於基準平面為對焦的之狀態之方式自動控制機器人1，於設定成為機器人視覺之對象之基準平面後，對於所設定之基準平面執行9點校正。
1-3-2.低精度傾斜修正
其次，一面參照圖5，一面說明低精度傾斜修正之詳情。
首先，目標導出部32設定基準平面，導出用於使作為標記之TCP移動至屬於所設定之基準平面之9個基準點之目標值。接著，輸出部 33對機器人1之控制部14輸出目標值，圖像取得部31自攝像部2取得以TCP位於各基準點之狀態所拍攝到之9個圖像(步驟S21)。TCP之移動目標即基準點，係基於輸入校正開始指示之時點之工具夾具1261之位置與姿勢(TCP之位置與姿勢)而導出。具體而言，例如，將中央之基準點P5設定為輸入校正開始指示之時點之TCP之位置，將輸入校正開始指示之時點之與旋轉軸構件126垂直之平面設為基準平面，而導出其他基準點。輸出部33將如此導出之9個基準點之機器人座標系上之座標，作為目標值而輸出至控制部14。
此處，對以攝像部2拍攝之9個圖像，使用圖7及圖8進行說明。圖7示意性地表示基準平面F(n)相對於攝像部2之位置與姿勢。F(0)係於步驟S21中所拍攝之基準平面。若每當使作為標記之TCP移動至9個基準點P1~P9時進行拍攝，則自攝像部2取得之各圖像中之工具夾具1261之位置根據基準點P1~P9之位置而不同。若將9個圖像之各者所顯現之工具夾具1261匯集於一個圖像而表示，則例如如圖8(A)所示，工具夾具1261顯現為非網格點。另，圖8並未反映對焦程度。若以標記表示於機器人座標系上設定於同一平面內之各基準點之方式，使機器人動作，則自以於機器人座標系上固定之攝像部拍攝各基準點之標記而得之n個圖像獲得之基準點之資訊，與由機器人將附有表示n個基準點之標記之板保持特定之位置與姿勢、自以該狀態拍攝板上所附之標記而得之1個圖像獲得之基準點之資訊大致相同。前者之資訊反映縝密之機器人座標系與攝像部座標系之對應關係，後者之資訊反映將機器人座標系與附有標記之板之座標系合成後之座標系與攝像部座標系之對應關係。因機器人座標系與附有標記之板之座標系未必成線性關係，故為縝密地校正機器人座標系與攝像部座標系，較佳使用前者之資訊。
接著，目標值導出部32解析以TCP位於各基準點之狀態所拍攝之 9個圖像，檢測各圖像之工具夾具1261之安裝面之中心位置(步驟S22)。亦即，目標值導出部32係以攝像部2之座標系檢測9個基準點之位置。
接著，目標值導出部32基於基準平面座標系之基準點座標與攝像部2之座標系之基準點座標，導出攝像部2之座標系與機器人座標系之對應關係(步驟S23)。具體而言，導出用於將攝像部2之座標系轉換為機器人座標系之轉換矩陣。而求得此種轉換矩陣是為了針對步驟S21中所設定之基準平面，校正攝像部2之座標系與機器人座標系。惟，因此處所導出之轉換矩陣係基於於攝像部2未對焦於基準點P1~P9之狀態所拍攝之圖像而導出者，故其並非與基準平面相對於攝像部2之光軸之姿勢或基準點P1~P9之位置正確對應者。
接著，目標值導出部32基於步驟S23中所導出之轉換矩陣，導出用於使基準平面運動使其成為相對於攝像部2之光軸垂直，且攝像部2之光軸通過中央之基準點P5之位置與姿勢的目標值。所導出之目標值由輸出部33輸出至機器人1之控制部14(步驟S24)。藉由臂111~115根據所輸入之目標值動作，使基準平面成為相對於攝像部2之光軸大致垂直，且攝像部2之光軸通過大致中央之基準點P5之位置與姿勢。亦即，執行並結束低精度傾斜修正時，攝像部2與基準點P1~P9之位置關係成為低精度垂直狀態。
1-3-3.焦點調整
其次，一面參照圖6，一面說明焦點調整之細節。
首先，目標值導出部32保存當前之TCP之位置與姿勢(步驟S31)。亦即，保存如圖7所示之與結束低精度傾斜修正之時點之基準平面F(1)對應之TCP之位置與姿勢。
其次，目標值導出部32基於於低精度傾斜修正時所導出之基準平面之座標系之基準點座標，及攝像部2之座標系之基準點座標，導 出於焦點調整時取得之圖像內工具夾具1261所映現之區域、及攝像部2至工具夾具1261之距離(步驟S32)。
接著，圖像取得部31自攝像部2取得圖像(步驟S33)。此時，圖像取得部31取得於步驟S32中導出之區域中工具夾具1261所映現之圖像。
接著，目標值導出部32基於自攝像部2取得之圖像，導出攝像部2之對焦指標(步驟S34)。作為對焦指標，可使用按一定面積將工具夾具1261所映現之區域之微分積算值(鮮明度)標準化之值。導出對焦指標之對象區域設定為如圖8(B)之被虛線包圍之區域般，工具夾具1261映現於圖像中之區域。亦即，基於自以攝像部2拍攝作為標記之工具夾具1261而得之圖像切出之部分圖像，導出對焦指標。
接著，目標值導出部32判斷焦點調整中攝像部2之拍攝次數是否達到規定次數(步驟S35)。
於焦點調整中攝像部2之拍攝次數並未達到規定次數之情形時，目標值導出部32使TCP於相對於基準平面垂直，且接近攝像部2之方向僅移動特定距離(步驟S36)，反復進行步驟S33後之處理。亦即，於拍攝次數達到規定次數之前，基準平面係與機器人1之TCP一起如圖7所示般，以F(2)、F(3)、F(4)、‧‧‧地移動，藉由攝像部2對各基準平面進行拍攝，對每個所拍攝之圖像導出對焦指標。工具夾具1261越接近攝像部2，工具夾具1261所映現之區域越大，最終工具夾具1261係如圖8(C)所示般無法再容納於圖像內。因此，將導出對焦指標之對象區域設定為工具夾具1261越接近攝像部2則越大，於工具夾具1261所映現之區域與圖像之端邊相接後，成為圖像全體。若針對如此設定之區域導出對焦指標，若對焦指標為鮮明度，則通常是於逐漸變大後再逐漸變小。
若焦點調整中攝像部2之拍攝次數達到規定次數，則目標值導出 部32基於對焦指標導出用於設為對焦狀態之目標值，輸出部33將導出之目標值輸出至機器人1(步驟S37)。具體而言，例如，導出用於使TCP移動至可獲得於步驟S34中導出之複數個對焦指標中之最大對焦指標之位置的目標值。若將所導出之目標值輸出至機器人1，則基準平面相對於攝像部2成為對焦狀態。通常，如圖7中基準平面自F(7)移動至F(5)般，藉由以TCP能夠於相對於基準平面垂直且遠離攝像部2之方向移動之方式，臂111~115動作，而成為對焦狀態。
如上述般，焦點調整係於使基準點接近與基準平面垂直且接近攝像部2之第一方向後，基於自拍攝作為標記之工具夾具1261而得之圖像切出之部分圖像，導出用於設為對焦狀態之目標值。基於所導出之目標值，臂111~115使基準點與攝像部2之位置關係變化為對焦狀態。此處因焦點調整係以低精度垂直狀態進行，故基準平面與攝像部2之光軸垂直。因此，使基準點於與基準平面垂直之方向移動，大致等同於使攝像部2與基準點沿與攝像部2之光軸平行之方向變化。
1-3-4.高精度傾斜修正
其次，對高精度傾斜修正，一面參照圖9，一面進行詳細說明。
首先，目標值導出部32導出當前之傾斜指標H1(步驟S401)。傾斜指標係使用屬於同一基準平面之中央基準點P5及其附近之4個基準點P2、P4、P6、P8之基準平面座標系之座標、及攝像部2之座標系之座標而導出。於基準平面垂直於攝像部2之光軸，且攝像部2之光軸通過中央基準點P5之狀態下以攝像部拍攝之圖像中(參照圖8(D))，工具夾具1261所表示之各基準點之間隔d1、d2、d3、d4變得相等。又此時，若設為以p(n)表示基準點Pn之座標，則下式成立。
u1=u2
v1=v2
其中： u1=p(5)-p(4)
u2=p(6)-p(5)
v1=p(5)-p(2)
v2=p(8)-p(5)
而且，若基準平面自垂直狀態以連結基準點P2與基準點P8之直線為軸而旋轉，則根據旋轉角度而定，v1與v2之差變大。且，若基準平面自垂直狀態以連結基準點P4與基準點P6之直線為軸而旋轉，則根據旋轉角度而定，u1與u2之差變大。因此，作為傾斜指標，可使用下式之Hx、Hy。
Hx=｜u1-u2｜
Hy=｜v1-v2｜
其次，目標值導出部32將所導出之傾斜指標Hx、Hy與預設之閾值進行比較，判斷傾斜指標Hx、Hy是否為預設之閾值以下(步驟S402)。於傾斜指標Hx、Hy為預設之閾值以下時，高精度傾斜修正成功並結束。
於傾斜指標Hx、Hy並非為預設之閾值以下時，目標值導出部32判斷後述之步驟S411之傾斜修正之實施次數是否未達預設之閾值(步驟S403)。於傾斜修正之實施次數未達預設之閾值時，高精度傾斜修正失敗並結束。於高精度傾斜修正失敗並結束之情形時，亦可結束自動校正，亦可於低精度傾斜修正後矯正自動校正。
於傾斜修正之實施次數未達預設之閾值之情形時，目標值導出部32將當前之TCP之姿勢作為姿勢(1)而保存(步驟S404)。
其次，目標值導出部32導出用於使基準平面繞Y軸旋轉δ度之目標值，輸出部33將所導出之目標值輸出至機器人(步驟S405)。δ係根據高精度垂直狀態所容許之誤差而預設之之微小之角度。接著，目標值導出部32根據目標值，針對與TCP一起旋轉之基準平面，設定新的基準點，藉由解析於TCP位於新的各基準點之狀態下所拍攝之圖像，而導出傾斜指標H2(步驟S406)。具體而言，目標值導出部32導出用於 使TCP移動至屬於旋轉後之新基準平面之基準點P2、P4、P5、P6、P8之目標值，輸出部33將所導出之目標值輸出至機器人1，圖像取得部31自攝像部2取得於TCP位於各基準點之狀態下所拍攝之圖像。目標值導出部32藉由與步驟S401同樣地解析如此取得之圖像，而導出傾斜指標H2。其結果，針對自與姿勢(1)對應之基準平面繞Y軸旋轉δ度後之基準平面，導出傾斜指標H2。接著，輸出部33將用於使TCP恢復姿勢(1)之目標值輸出至機器人1(步驟S407)。
其次目標值導出部32導出用於使基準平面繞X軸旋轉δ度之目標值，輸出部33將所導出之目標值輸出至機器人(步驟S408)。接著，目標值導出部32根據目標值，針對與TCP一起旋轉之基準平面，設定新的基準點，藉由解析於TCP位於新的各基準點之狀態下所拍攝之圖像，而導出傾斜指標H3(步驟S409)。其結果，針對自與姿勢(1)對應之基準平面繞X軸旋轉δ度後之基準平面，導出傾斜指標H3。
其次，目標值導出部32基於傾斜指標H1、H2、H3，導出傾斜修正量△V、△W(步驟S410)。傾斜修正量△V、△W係由下式導出。
其次，目標值導出部32基於所導出之傾斜修正量△V、△W而導出目標值，輸出部33將所導出之目標值輸出至機器人(步驟S411)。其結 果，藉由臂111~115之動作，基準平面繞X軸僅旋轉△V、繞Y軸僅旋轉△W。
高精度傾斜修正，係於步驟S402中作出肯定判定而成為高精度垂直狀態而結束上述步驟S401至S411之處理，或於步驟S403中作出否定判定之前，反復進行上述步驟S401至步驟S411之處理。
1-3-5. 9點校正
其次，對9點校正進行說明。於高精度傾斜修正成功之狀態中，基準平面相對於攝像部2之光軸正確垂直。此意味著可基於高精度傾斜修正完成之前所獲得之基準點座標，針對機器人座標系與攝像部2之座標系於基準平面中之旋轉成分與擴大縮小成分進行校正。所謂9點校正，係指對基準平面上之任意點，再加上鏡頭201之形變，而正確地校正機器人座標系與攝像部2之座標系。亦即，9點校正係使用機器人座標系之9個基準點之座標與攝像部2之座標系之9個基準點之座標，導出用於非線性修正機器人座標系與攝像部2之座標系之線性之關係性的參數。具體而言，輸出部33將用於使TCP移動至9個基準點之目標值輸出至機器人1而使臂111~115動作，圖像取得部31取得拍攝位於各基準點之工具夾具1261而得之9個圖像。校正部34解析各圖像而檢測工具夾具1261所表示之基準點。接著，校正部34係基於輸出部33輸出至機器人1之目標值座標，及解析圖像而取得之基準點座標，而導出最終之用於校正之修正參數。另，用來導出此種非線性修正所使用之參數之基準點之數量越多，則校正之精度越高。
1-4.變化例
另，若攝像部2之位置與姿勢固定於機器人座標系，毋庸贅言，可按照上述方法校正攝像部2之座標系與機器人座標系。例如，亦可將攝像部2以光軸成為水平之方式固定於室內之牆壁，而設定垂直之基準平面。又例如，亦可將攝像部2鉛直朝下地固定於室內之天花 板，而設定水平之基準平面。
2.第二實施例
於本實施例中，對將攝像部22安裝於機器人1之可動部之機器人系統進行說明。於本實施例中，設為如圖10所示般以攝像部22之光軸與旋轉軸構件126平行之方式，將攝像部22以支架等固定於臂111上。於第一實施例中，為校正固定於機器人座標系之攝像部2之機器人視覺，一面使基準點於機器人座標系中移動，一面設定成為校正對象之基準平面。相對於此，於本實施例中，因一開始便將成為校正對象之基準平面相對於機器人座標系而固定，故以能夠成為光軸相對於成為校正對象之基準平面垂直之狀態的方式，於以機器人1使攝像部22動作之狀態下執行校正。
以下，對將攝像部22安裝於機器人1之可動部之機器人系統之自動校正，一面參照圖11一面進行說明。
本實施例之自動校正係以攝像部22之光軸與旋轉軸構件126大致平行為前提而實施。於輸入校正開始指示前之準備階段，必須將攝像部22相對於臂115之拍攝位置與拍攝姿勢設定為環境資訊。將拍攝位置設為攝像部22之光軸與區域影像感測器202相交之位置。將拍攝姿勢設為光軸之姿勢。且，被設為環境資訊之攝像部22之相對於臂115之拍攝位置與拍攝姿勢於開始自動校正之時點，無需與攝像部22對於臂115之安裝狀態縝密對應。
再者，本實施例之自動校正係如圖12所示般針對相對於機器人座標系固定之9個基準點P21~P29實施。基準點P21~P29係可任意設定之1個基準平面所含有之網格點。此處，於準備階段，將圖13所示之附有標記41~49之標記板(marker board)4如圖10所示般固定於台9。標記板4係將具有圓形輪廓之9個標記41~49附於平坦之面之特定網格點之板。標記板4上之各標記41~49之中心位置係以固定於標記板4之二 維座標系(標記座標系)保持於目標值導出部32。將各標記41~49之中心定義為基準點P21~P29。另，標記只要為可藉由自拍攝標記而得之圖像檢測標記而特定出基準點之形態即可。亦即，只要為可相對於標記之圖形以幾何學定義特定之點之位置之形態即可。亦可將遠離標記之點定義為基準點，亦可自1個標記定義複數個基準點，亦可由相互分離之複數個標記定義1個基準點。
於指示接收部30接收校正開始指示(步驟S1)時，執行低精度傾斜修正(步驟S2)。因標記板4所附之標記41~49表示9個基準點，故本實施例之低精度修正無需使機器人移動至每個基準點。若以可以攝像部22拍攝標記板4全體之狀態接收校正開始指示，則圖像取得部31自攝像部22取得9個標記41~49所映現之1個圖像。目標值導出部32解析所取得之1個圖像，並以攝像部22之座標系檢測標記41~49所表示之9個基準點。接著，目標值導出部32基於基準點之攝像部22之座標系座標、作為環境資訊輸入之攝像部22之拍攝位置與拍攝姿勢、及標記41~49之標記座標系之座標，導出攝像部22之座標系與機器人座標系之對應關係。具體而言，針對標記41~49所位於之基準平面，導出用於將攝像部22之座標系轉換為機器人座標系之轉換矩陣。惟，因此處所導出之轉換矩陣係基於於攝像部22未對焦於標記41~49之狀態下所拍攝之圖像而導出者，故其並非與攝像部22相對於基準點P21~P29之拍攝姿勢或拍攝位置正確對應者。接著，目標值導出部32基於所導出之轉換矩陣，導出用於使臂115動作以成為攝像部22之光軸相對於標記板4垂直、且攝像部22之光軸通過中央標記45之中心之位置與姿勢的目標值，並將所導出之目標值經由輸出部33而輸出至機器人1之控制部14。藉由臂111~115根據所輸入之目標值動作，攝像部22之光軸相對於標記板4大致垂直，且攝像部22之光軸通過中央標記45之大致中心。亦即，當執行並結束低精度傾斜修正時，攝像部22與基準平面 之位置關係成為低精度垂直狀態。
其次，執行焦點調整(步驟S3)。本實施例之焦點調整除了並非以使工具夾具1261所映現之區域之鮮明度成為最大之方式使TCP動作，而是以使標記板4之中央標記45所映現之區域之鮮明度成為最大之方式使臂115動作之方面以外，其餘與第一實施例之焦點調整相同。當結束焦點調整時，攝像部22與基準點P25之位置關係成為對焦狀態。
其次，執行攝像部姿勢修正(步驟S6)。攝像部姿勢修正係藉由修正環境資訊而修正被設為環境資訊之攝像部22之拍攝姿勢與實際之攝像部22之拍攝姿勢之偏差之處理。關於細節將後敘述。
其次，執行高精度傾斜修正(步驟S4)。高精度傾斜修正與第一實施例之高精度傾斜修正除了以下方面以外其餘均相同。將第一實施例中所使用之5個基準點中之中央基準點P5設為當前之攝像部22之拍攝位置。且，作為攝像部22之拍攝位置，按照將當前之攝像部22之拍攝位置作為中心以90度間隔，將第一實施例中所使用之5個基準點之其餘4個基準點P2、P4、P6、P8設定於與攝像部22之光軸垂直且包含當前之拍攝位置之平面上。於設定該等5個拍攝位置時，使用步驟S4中經修正之環境資訊，即攝像部22之拍攝位置與拍攝姿勢，及當前之臂115之位置與姿勢。圖像取得部31係以位於如此設定之5個拍攝位置且光軸與包含5個拍攝位置之平面垂直之攝像部22拍攝標記板4，而取得5個圖像。目標值導出部32解析5個圖像，以攝像部22之座標系檢測標記板4之中央標記45之中心。使用如此檢測之標記45之5個中心座標代替第一實施例之高精度修正中所檢測出之5個基準點之座標，而執行與第一實施例相同之高精度傾斜修正。藉由進行此種高精度傾斜修正，導出與攝像部22之光軸垂直於標記板4且攝像部22之光軸通過標記45之中心之狀態對應之目標值。若將所導出之目標值輸入至機器人1，則臂111~115基於所輸入之目標值動作，攝像部22之光軸通過標記 45之中心而相對於標記4垂直。亦即，當成功結束高精度傾斜修正時，基準點P21~P29與攝像部22之位置關係成為高精度垂直狀態。
此處，對步驟S6之攝像部姿勢修正進行詳細說明。例如，將上述之拍攝位置P2、P5、P8之攝像部22之光軸相當於圖14之虛線之拍攝位置與拍攝姿勢設為環境資訊。接著，以實際上拍攝位置P2、P5、P8之光軸相當於不垂直於基準平面F之實線A2、A5、A8之方式，將攝像部22安裝至臂115。於該情形時，設為將攝像部22定位於拍攝位置P2、P5、P8，藉由拍攝標記板4，而執行高精度傾斜修正。但，即使臂111~115基於以高精度傾斜修正導出之目標值而動作，攝像部22之光軸亦不會與標記板4垂直。相對於以自位於相對於[現實之攝像部22之光軸]垂直之平面上之5個拍攝位置，以攝像部22對中央標記45進行5次拍攝為前提，高精度傾斜修正係基於自位於相對於[與存在誤差之環境資訊對應之光軸]垂直之平面上之5個拍攝位置，以攝像部22拍攝之5個圖像而導出傾斜指標。因此，必須於高精度修正前執行使[現實之攝像部22之光軸]與[與環境資訊對應之光軸]一致之修正。高精度修正前必須進行之該修正係攝像部姿勢修正。
攝像部姿勢修正係自上述之5個拍攝位置P2、P4、P5、P6、P8，以光軸垂直於包含該等拍攝位置之平面垂直之拍攝姿勢(基於應修正之環境資訊之拍攝姿勢)，藉由攝像部22進行拍攝，自5個圖像之各者檢測標記板4中央之標記45的中心。接著，代替第一實施例之高精度修正中所檢測出之5個基準點之座標，使用如此檢測之標記45之5個中心座標，導出與第一實施例相同之傾斜修正量△V、△W。若使用所導出之修正量△V、△W修正作為環境資訊之攝像部22之拍攝姿勢，則可使[現實之攝像部22之光軸]與[與環境資訊對應之光軸]一致。
於高精度傾斜修正成功並結束後，執行9點校正(步驟S5)。本實施例之9點校正並非第一實施例之一面使TCP移動至9個基準點 P1~P9，一面自攝像部22所拍攝之圖像，以攝像部22之座標系檢測各基準點之位置，而是自處於高精度垂直狀態之當前拍攝位置與拍攝姿勢之攝像部22取得之圖像，檢測9個標記41~49之中心作為基準點P21~P29。接著，導出用於將以攝像部22之座標系檢測出之基準點P21~P29之座標轉換為機器人座標系之基準點P21~P29之座標之最終之轉換式。
3.第三實施例
機器人1之狀態係藉由將表示供安裝各種工具之工具夾具1261之位置與姿勢(亦即TCP之位置與姿勢)之目標值輸入至機器人1而控制。因此，為控制安裝於工具夾具1261或其他部位之工具之位置與姿勢，必須將工具相對於TCP之位置與姿勢事先設定為環境資訊，將工具之位置與姿勢轉換為TCP所對應之位置與姿勢，並將目標值輸入至機器人1。於本實施例中，對使用機器人視覺檢測各種工具相對於TCP之位置與姿勢而自動設定之方法進行闡述。於使用機器人視覺檢測各種工具相對於TCP之位置與姿勢時，先前係以可針對基準平面進行機器人座標系與攝像部座標系之校正為前提。因此本實施例中，如第一實施例中所說明般設定相對於固定於台9之攝像部2之光軸垂直之基準平面F，對所設定之基準平面F上之9個基準點完成校正。對以該狀態，使用機器人視覺檢測對於TCP之位置與姿勢被固定之工具相對於TCP之位置與姿勢之方法，一面參照圖15一面進行說明。本實施例之[工具相對於TCP之位置與姿勢]係由用於自TCP之位置與姿勢(x,y,z,u,v,w)特定出位於基準平面上之工具之位置與姿勢之偏移(△X,△Y,△U)表示。此處，(x,y,z,u,v,w)係機器人座標系，(△X,△Y,△U)係基準平面座標系，但如前所述，機器人座標系與基準平面座標系之關係為線性。因此，以機器人座標系與基準平面座標系之任一座標系定出工具之位置與姿勢，在幾何學上並無差別。另，△U係繞垂直於基準平 面之Z軸之旋轉成分。
首先，藉由使TCP保持其中心軸相對於基準平面垂直之姿勢平行移動，而使由工具標記表示之工具參照點於基準平面上移動。此時，只要使工具夾具1261之中心軸平行移動即可，但亦可使工具夾具1261繞其中心軸旋轉(因△U包含於偏移之故)。工具標記只要為指示參照點者即可，亦可將工具本身作為工具標記，但於本實施例中，設為將標籤作為工具標記貼附於工具上者。標籤係只要其形狀與大小為既知者即可。參照點只要為相對於工具固定之點即可。且，於使工具之參照點於基準平面移動時，亦可藉由緩步進給使TCP移動，亦可使用機器人視覺自動地使TCP移動。具體而言，因工具標記之形狀與大小為既知，故基於移動前所拍攝之工具標記之圖像，特定出移動前之工具標記相對於基準平面之位置。接著，導出用於使工具標記自相對於基準平面而特定出之工具標記之位置移動至基準平面之TCP之目標值，將所導出之目標值輸出至機器人1。進而，藉由反復進行該拍攝與移動之處理，可將由工具標記表示之工具之參照點正確定位於座標平面上。
其次，於工具參照點位於基準平面上之狀態下，以攝像部2拍攝工具標記，以攝像部2之座標系檢測由工具標記指示之參照點位置。接著，基於自拍攝時之TCP降下至基準平面之垂直末端座標及所檢測出之參照點座標，自TCP之機器人座標系之位置與姿勢(x0,y0,z0,u0,v0,w0)，導出用於特定出基準平面上之工具之位置與姿勢之偏移(△X,△Y,△U)。
例如，藉由將第二實施例之攝像部22作為工具而導出偏移(△X,△Y,△U)，特定出作為環形資訊所必需之攝像部22之位置與姿勢。因此，並非由使用者設定攝像部22之位置與姿勢，而是可自動檢測攝像部22之位置與姿勢，並將所檢測出之攝像部22之位置與姿勢自動設定 為環境資訊。而且，可使用如此自動設定環境資訊之攝像部22，校正攝像部22之座標系與機器人座標系。亦即，亦可僅以校正開始指示之輸入自動完成固定於機器人座標系之攝像部2與固定於機器人1之可動部之攝像部22之各者之座標系與機器人座標系之校正。進而，於追加與攝像部2或攝像部22另外之攝像部之情形時，藉由以攝像部22拍攝該另外之攝像部，亦可進行該另外之攝像部之座標系與機器人座標系之校正。即，例如藉由機器人利用標記板4而動作，可自動校正複數個攝像部座標系與機器人座標系。
另，於對複數個工具T1、T2而言環境資訊為必需之情形時，只要針對每個工具導出用於特定出各者之位置與姿勢之偏移即可。亦即，只要如圖15(A)所示般使工具T1於基準平面F移動，導出關於工具T1之偏移，並如圖15(B)所示般，使工具T2於基準平面F移動，而導出關於工具T2之偏移即可。且，至此已對設置1個最終經校正後之基準平面之例進行說明，但亦可設定2個以上之經校正後之基準平面。例如，亦可設定與工具T1對應之基準平面及與工具T2對應之基準平面，且各基準平面被校正為機器人座標系。
4.第四實施例
於本實施例中，如圖1(A)中簡略化所示般，機器人1包含由臂111、112、113、114、115組成之臂11，及基台110。以下，對與第一實施例相同之構成構件附加相同符號，此處省略或簡略化其等之說明。基台110只要為不於圖1所示之xyz座標系中動作之構成即可，例如亦可將其設為具有直接支持臂11之底座，及將底座固定於上部且設置於地板上之殼體之構成；亦可與作業台9構成為一體構造物；亦可與作業台9、帶式輸送機之殼體、或供設置其他機器人之單元成為一體構造物。
本實施例之攝像部2設置於控制機器人1時所使用之圖1所示之xyz 座標系中固定之點。亦即，於本實施例中，攝像部2設置於固定於臂11所動作之座標系中之點。另，只要於臂11動作之座標系中固定之點設置攝像部2，即可實施第一實施例中所說明之自動校正。例如，攝像部2亦可固定於供設置機器人1之房間之牆壁、天花板或地面，亦可固定於機器人1之基台110，或可固定於供固定機器人1之單元之殼體。
4-1.變化例
另，只要於臂11所動作之座標系中固定之點設置攝像部2，即可實施第一實施例中所說明之自動校正。例如，亦可將攝像部2以光軸成為水平之方式固定於室內牆壁上，而設定垂直之基準平面。又例如，亦可將攝像部2固定於設置有機器人1之房間之地面，亦可將攝像部2固定於機器人1之基台110，亦可將攝像部2固定於固定有機器人1之單元之殼體，或可將攝像部2固定於與機器人1並設之帶式輸送機等之裝置。若將攝像部2固定於帶式輸送機等外部裝置，則可容易進行為使機器人1與外部裝置協同作動而進行之機器人1與外部裝置之對位。
又，於臂11所動作之座標系中固定之點設置攝像部2之情形時，如第一實施例中所說明般藉由臂11將標記定位於用於控制機器人1之xyz座標系之特定點而實施自動校正。另，於該情形時，亦可將標記固定於臂11之任意之部分。例如，上述實施例中將TCP用作標記，但亦可將標記固定於第一臂111、第二臂112、第三臂113、第四臂114、及第五臂115之任一者。
5.第五實施例
於本實施例中，對將攝像部22安裝於機器人1之可動部即臂11之機器人系統進行說明。於本實施例中，如圖10所示，設為以攝像部22之光軸與旋轉軸構件126平行之方式，將攝像部22以支架等固定於臂 111。以下，對與第二實施例相同之構成構件附加相同符號，並在此處省略或簡略化其等之說明。
5-1.變化例
另，若將攝像部2固定於臂11，則毋庸贅言可按照上述方法校正攝像部2之座標系與機器人座標系。亦即，只要於固定於第一臂111、第二臂112、第三臂113、第四臂114、及第五臂115之任一者之點設置攝像部2，即可實施第一實施例中所說明之自動校正。
又，於將攝像部2設置於相對於臂11固定之點之情形時，如於第二實施例中所說明般，將標記固定於用於控制機器人1之xyz座標系(臂所動作之座標系)之特定點而實施自動校正。於該情形時，標記可固定於用於控制機器人1之xyz座標系之任意點。亦可將標記固定於設置有機器人1之房間之地面，亦可將標記固定於機器人1之基台110，亦可將標記固定於固定有機器人之單元之殼體，或可將標記固定於與機器人1並設之帶式輸送機等之裝置。若將標記固定於帶式輸送機等外部裝置，則可容易進行為使機器人1與外部裝置協同作動而進行之機器人1與外部裝置之對位。
6.第六實施例
於本實施例中，針對第四實施例中設置於鉛直朝上之攝像部2如圖16所示般以可拍攝臂11之姿勢設置於較臂11更上方之機器人系統，對校正機器人座標系與攝像部2之座標系之方法進行說明。現在，如圖16所示，將攝像部2以鉛直朝下設置於較臂11之可動範圍更上方，一面以攝像部2拍攝工件，一面對位於臂11下方之工件藉由機器人1進行處理。於該情形時，以使工具夾具1261之工具安裝面朝下之狀態處理工件，但於該狀態下，無法以攝像部2拍攝於第一實施例中被用作標記之工具夾具1261之工具安裝面。因此，於本實施例中，為取得校正攝像部2之座標系與機器人座標系時所需之圖像，將設有即使於使 工具夾具1261之工具安裝面朝下之狀態下亦可被攝像部2拍攝之標記51之標記工具50安裝於工具夾具1261。而且，於導出標記工具50相對於TCP之偏移後，與第一實施例同樣地進行攝像部2之座標系與機器人座標系之校正。
如圖17所示，標記工具50包含：平坦之板體即平板部52，及相對於平板部52垂直而設之柱體即安裝部53。安裝部53係如圖17(B)中以虛線所示般插入至工具夾具1261而固定於工具夾具1261之部分。於將安裝部53正確安裝於工具夾具1261之狀態下，安裝部53之中心線與平板部52之交點與TCP一致。於安裝於工具夾具1261時，於平板部52之與工具夾具1261對向之面(亦即設有安裝部53之平板部52之面)，形成表示參照點之標記51。標記51具有同心圓之形態，且為貼附於標記工具50之與工具夾具1261對向之面的工具。標記51其中心MC成為參照點。標記51若為可自以攝像部2拍攝之圖像資料檢測參照點之形態，則可為任意之形態。且，於工具之參照點本身具有可藉由圖像識別而檢測之形態時，則無需使用表示參照點之標記。
將由標記中心MC表示之參照點之相對於TCP固定之座標系之座標設定為偏移量。亦即，於原點與TCP對應，具有與旋轉軸構件126之旋轉軸平行之一軸，與相對於該一軸正交之兩軸，且與旋轉軸構件126一起旋轉之座標系中，將工具之參照點座標設定為工具之偏移。容易將標記工具50之棒狀之安裝部53僅以預設之深度插入至工具夾具1261。因此，於本實施例中，針對與旋轉軸構件126之旋轉軸平行之一軸之偏移成分，設定預設值，以後述之工具設定處理導出並設定其他兩軸之偏移成分者。
藉由使用此種標記工具50，因可由機器人座標系中固定之攝像部2拍攝與TCP一起運動之標記51，故只要可特定標記51相對於TCP之偏移，即可與第一實施例同樣，自動校正機器人座標系與攝像部2之 座標系。
以下，針對用於特定出相對於TCP之標記中心MC之位置之工具設定，一面參照圖18一面進行說明。
工具設定係藉由操作員將工具設定開始指示輸入至PC3而啟動，其後，無需對操作員要求任何操作即可完成設定，或可藉由簡單之操作完成設定。於輸入工具設定開始指示之前操作員應進行的是將標記工具50之安裝部53正確安裝於工具夾具1261，藉由緩步進給操作使TCP移動至可由攝像部2拍攝標記51之位置，或對於與旋轉軸構件126之旋轉軸平行之一軸之方向，設定標記工具50相對於TCP之偏移成分。
若指示接收部30根據操作員之輸入取得工具設定開始指示(步驟S71)，則PC3係以能夠使標記中心MC位於以攝像部2拍攝之圖像之重心之方式，使TPC移動(步驟S72)。具體內容如下。若輸入工具設定開始指示，則圖像取得部31指示攝像部2拍攝，並自攝像部2取得圖像資料(1)。接著，目標值導出部32自所取得之圖像資料(1)，以攝像部2之座標系檢測標記中心MC之位置。標記中心MC之檢測係使用預先準備之標記51之模板。接著，目標值導出部32以使TCP僅以預設之距離分別於x軸方向與y軸方向並進之狀態，指示攝像部2拍攝，並自攝像部2取得圖像資料(2)。接著，目標值導出部32自所取得之圖像資料(2)，以攝像部2之座標系檢測標記中心MC之位置。接著，目標值導出部32係基於拍攝圖像資料(1)之時點之TCP之機器人座標系之座標、自圖像資料(1)檢測出之標記中心MC之攝像部2之座標系之座標、拍攝圖像資料(2)之時點之TCP之機器人座標系之座標、及自圖像資料(2)檢測出之標記中心MC之攝像部2之座標系之座標，導出將圖像座標系之對象之位移轉換為機器人座標系之對象之位移之座標系轉換矩陣。接著，目標值導出部32導出自圖像資料(2)檢測出之標記中心MC至圖像 重心之位移，藉由使用座標轉換矩陣，將所導出之位移轉換為機器人座標系之x軸方向與y軸方向之位移，而導出用於使標記中心MC與以攝像部2拍攝之圖像重心對位之TCP之目標值。接著，輸出部33藉由將所導出之目標值輸出至控制部14而使臂11動作。其結果，成為TCP分別於x軸方向與y軸方向並進，攝像部2與TCP及標記中心MC之位置關係成為第一狀態，如圖19(A)所示般標記中心MC位於以攝像部2拍攝之圖像重心。以攝像部2拍攝之圖像重心成為使圖像座標系與機器人座標系產生關連之基準點。而且，於標記中心MC位於圖像重心之狀態下，標記中心MC成為與基準點對應之作業空間內之點。
若成為標記中心MC位於以攝像部2拍攝之圖像重心之狀態，則PC3係以TCP以圖像座標系之圖像重心為中心而旋轉之方式，變化臂11之姿勢(步驟S73)。具體內容如下。目標值導出部32使用於步驟S72中導出之座標轉換矩陣，導出機器人座標系之標記中心MC之x座標及y座標。此處，因標記中心MC位於圖像重心，故若使用座標轉換矩陣將圖像重心座標轉換為機器人座標系，則可導出機器人座標系之標記中心MC之x座標及y座標。接著，目標值導出部32導出用於以標記中心MC為中心，使TCP於xy平面上僅旋轉預設之角度之目標值。接著，藉由使輸出部33將所導出之目標值輸出至控制部14，而使臂11動作。具體而言，例如於工具設定處理之執行中，於旋轉軸構件124之旋轉軸總是維持為與z軸平行之情形時，只要於僅使旋轉軸構件124旋轉預設之角度(例如30度)後，藉由使旋轉軸構件121、122、123、125、126旋轉，而使TCP於與z軸垂直之方向並進即可。其結果，如圖19(C)所示，以標記中心MC為中心使TCP僅旋轉預設之角度，使攝像部2與TCP及標記中心MC之位置關係自第一狀態轉變為第二狀態。於該轉變過程中，圖像座標系係如自圖19(A)至圖19(B)所示般，TCP以圖像重心為中心而旋轉。旋轉角度只要於可由攝像部2拍攝旋轉後 位置與姿勢產生變化之工具夾具1261上所安裝之標記工具50之範圍內預先設定即可。
因圖像重心與鏡頭201之光軸對應，故與偏離圖像重心之情形相比鏡頭201之形變較少。因此，如本實施例般即使於機器人座標系與圖像座標系未被正確校正之狀態，TCP之圖像座標系之旋轉中心即基準點與圖像重心之關係中形變亦較少。但，於本實施例中，因只要以基準點為中心使TCP旋轉即可，故即便基準點與圖像上之特定點之關係存在形變，只要不挪動特定點，便不成問題。因此，與使TCP旋轉之基準點對應之點亦可並非為圖像重心。
若以圖像座標系之圖像重心為中心使TCP旋轉，則PC3基於執行步驟S72後之TCP之位置與步驟S73之TCP之位置，導出並設定標記中心MC相對於TCP之偏移(步驟S74)。此處，一面參照圖19(C)一面說明機器人座標系之第一狀態與第二狀態。於自第一狀態轉變為第二狀態之過程中，TCP並未於z方向移動，而以標記中心MC為中心而旋轉。於該過程中，TCP畫出以標記中心MC為中心之圓弧軌跡。該圓弧之半徑係與TCP至標記中心MC之距離相等，圓弧之中心角係與使TCP自第一狀態朝第二狀態旋轉之角度相等。因此，校正部34對於第一狀態與第二狀態，以標記中心MC之x、y座標、圓弧之中心角θ、圓弧半徑r表示TCP之x、y座標而解開聯立方程式，導出機器人座標系之標記中心MC之x座標及y座標。第一狀態、第二狀態之TCP之x座標及y座標為已知，故機器人座標系與固定於旋轉軸構件126之座標系(固定於TCP之座標系)之對應關係亦已知。因此，校正部34基於第一狀態、第二狀態之任一者之TCP之x座標及y座標，及標記中心MC之x座標及y座標，對於垂直於旋轉軸構件126之旋轉軸之兩軸之方向，導出並設定標記工具50相對於TCP之偏移成分。
不過，本實施例雖以攝像部2之拍攝方向A與機器人座標系之z軸 平行為前提，但即使如圖20(A)所示般攝像部2之拍攝方向A與機器人座標系之z軸並非平行，亦可無問題地導出標記工具50之偏移。原因在於，自第一狀態至第二狀態，TCP並非繞與拍攝方向A平行之軸，而是繞與z軸平行之軸旋轉，步驟S74中於導出偏移時無需使用TCP之圖像座標，藉由解開機器人座標系之方程式，即可導出偏移。亦即，即使如圖20(A)所示般攝像部2之拍攝方向A與機器人座標系之z軸並非平行，機器人座標系之TCP與標記中心MC之關係仍與如圖20(B)所示般攝像部2之拍攝方向A與機器人座標系之z軸平行時並無差別。
於以上所說明之工具設定處理中，若藉由緩步進給操作使TCP移動至可由攝像部2拍攝標記M之位置，即可針對除了與旋轉軸構件126之旋轉軸平行之一軸以外之兩軸之成分，自動導出並設定標記工具50相對於TCP之偏移。因此，可容易且可短時間內執行偏移設定。而且，若工具設定結束，則與第一實施例同樣地成為可進行攝像部2之座標系與機器人座標系之自動校正之狀態。且，根據本實施例，即使將攝像部2設置於無法拍攝供安裝工具之工具夾具1261之位置與姿勢，亦因於標記工具50之與工具夾具1261對向之面形成有標記51，故可自動校正攝像部2之座標系與機器人座標系。
另，於本實施例中，因於將安裝部53正確安裝於工具夾具1261之狀態下安裝部53之中心線與平板部52之交點與TCP一致，形成有標記51之面為平面，故於將安裝部53正確安裝於工具夾具1261之狀態下標記51位於與旋轉軸構件126之旋轉軸垂直且包含TCP之平面上，但標記51亦可並非位於與旋轉軸構件126之旋轉軸垂直且包含TCP之平面上。
7.其他實施形態
另，本發明之技術範圍當然並非限定於上述實施例，而可於不脫離本發明之主旨之範圍內進行各種變更。
例如，校正開始指示亦可通過利用滑鼠之點擊操作或對顯示器之觸控操作，或利用聲音而接收。
再者，亦可變更上述實施例中所說明之低精度傾斜修正、焦點調整，高精度傾斜修正之順序，亦可於低精度傾斜修正之前執行焦點調整，亦可省略低精度傾斜修正、焦點調整、高精度傾斜修正之任一者。且，取得基於於未進行校正之狀態下以攝像部拍攝標記而得之圖像所導出之目標值，基於目標值使攝像部與基準點之位置關係變更為預設之狀態之處理，至少有一個即可。例如，亦可藉由緩步進給進行用於對焦於基準點之機器人操作，亦可根據基於圖像而導出之目標值僅執行高精度傾斜修正。
再者，亦可不實施9點校正，而基於進行高精度傾斜修正時所取得之3點以上之基準點之座標，進行機器人座標系與攝像部座標系之校正。亦即，攝像部座標系與機器人座標系之校正只要使用藉由高精度傾斜修正設定之基準平面上之3個以上之基準點進行即可，亦可使用8個以下之基準點執行校正，亦可使用10個以上之基準點執行校正。
再者，亦可使用於使機器人變化為特定姿勢之任意之目標值包含於校正開始指示。例如，於預先設定攝像部或標記板固定於台之位置之情形時，亦可使不使用機器人視野即可使機器人移動至基準平面與攝像部大致正對之位置之目標值包含於校正開始指示。
再者，本發明亦可應用於除6軸以外之垂直多關節機器人，亦可應用於臂之旋轉軸皆平行之組裝機器人(scalar robot)。而且，本發明亦可應用於使用2個以上之攝像部之三維機器人視覺。亦即，於校正用於實現三維機器人視覺之複數個攝像部之座標系與機器人座標系時，藉由應用本發明，可於可拍攝用以校正攝像部座標系與機器人座標系所需之圖像之狀態下，藉由校正開始指示變化各攝像部與標記之 位置關係。

Claims (15)

  1. 一種機器人，其包含：指示接收部，其接收校正開始指示；及臂，其係於接收到上述校正開始指示時，使表示基準點之標記與具有單一焦點距離之攝像部之位置關係變化；且上述臂係於接收到上述校正開始指示時，使上述位置關係變化為預設之狀態；上述攝像部與上述標記之位置關係處於上述攝像部對焦於上述標記之狀態時，基於以上述攝像部拍攝上述標記而得之圖像，進行上述攝像部之座標系與機器人之座標系之校正。
  2. 如請求項1之機器人，其中上述臂取得基於以上述攝像部拍攝上述標記而得之圖像而導出之目標值，並基於上述目標值使上述位置關係變化為上述預設之狀態。
  3. 如請求項1之機器人，其中上述校正開始指示不包含用於使上述位置關係變化為上述預設之狀態之目標值。
  4. 如請求項2之機器人，其中上述校正開始指示不包含用於使上述位置關係變化為上述預設之狀態之目標值。
  5. 如請求項3之機器人，其中上述臂係於接收到上述校正開始指示時，取得基於自以上述攝像部拍攝上述標記而得之圖像切出之部分圖像而導出之目標值，並基於上述目標值，使上述位置關係變化為上述攝像部對焦於上述標記之狀態。
  6. 如請求項4之機器人，其中上述臂係於接收到上述校正開始指示時，取得基於自以上述攝像部拍攝上述標記而得之圖像切出之部分圖像而導出之目標值，並基於上述目標值，使上述位置關係變化為上述攝像部對焦於上述標記之狀態。
  7. 如請求項5之機器人，其中上述臂係藉由沿與含有3個以上之上述基準點之平面垂直之第一方向使上述攝像部與上述標記之位置關係變化後，沿與上述第一方向相反方向之第二方向使上述攝像部與上述標記之位置關係變化，而使上述攝像部對焦於上述標記。
  8. 如請求項6之機器人，其中上述臂係藉由沿與含有3個以上之上述基準點之平面垂直之第一方向使上述攝像部與上述標記之位置關係變化後，沿與上述第一方向相反方向之第二方向使上述攝像部與上述標記之位置關係變化，而使上述攝像部對焦於上述標記。
  9. 如請求項1至8中之任一項之機器人，其中上述預設之狀態包含含有3個以上之上述基準點之平面與上述攝像部之光軸垂直之狀態。
  10. 如請求項9之機器人，其中上述預設之狀態包含上述攝像部之光軸通過上述平面之位置各不相同之3種以上之狀態。
  11. 如請求項1至8中之任一項之機器人，其中上述攝像部設置於上述臂。
  12. 如請求項1至8中之任一項之機器人，其中上述標記設於上述臂。
  13. 一種機器人系統，其包含機器人與校正裝置，上述機器人包含：指示接收部，其接收校正開始指示；臂，其係於接收到上述校正開始指示時，使表示基準點之標記與具有單一焦點距離之攝像部之位置關係變化；且上述校正裝置係於上述攝像部與上述標記之位置關係處於上述攝像部對焦於上述標記之狀態時，基於以上述攝像部拍攝上述標記而得之圖像，進行上述攝像部座標系與上述機器人座標系之校正。
  14. 一種機器人，其包含臂，且該臂係使表示3個以上之基準點之標記與具有單一焦點距離之攝像部之位置關係依如下之順序自動變化為如下之狀態：含有上述3個以上之基準點之平面與上述攝像部之光軸垂直之第一狀態；上述攝像部對焦於表示上述3個以上之基準點之至少任一者之上述標記之第二狀態；上述攝像部之光軸通過上述平面上之第一點之第三狀態；上述攝像部之光軸通過上述平面上之第二點之第四狀態；及上述攝像部之光軸通過上述平面上之第三點之第五狀態；且基於於上述第三狀態、上述第四狀態及上述第五狀態中以上述攝像部拍攝上述標記而得之圖像，進行上述攝像部座標系與機器人座標系之校正。
  15. 如請求項14之機器人，其中上述臂取得基於以上述攝像部拍攝上述標記而得之圖像而導出之目標值，並基於上述目標值使上述位置關係自動變化。
TW104138100A 2014-11-21 2015-11-18 機器人及機器人系統 TWI670153B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-236299 2014-11-21
JP2014236299A JP6565175B2 (ja) 2014-11-21 2014-11-21 ロボットおよびロボットシステム
JP2015-068272 2015-03-30
JP2015068272A JP6507792B2 (ja) 2015-03-30 2015-03-30 ロボットおよびロボットシステム

Publications (2)

Publication Number Publication Date
TW201618913A TW201618913A (zh) 2016-06-01
TWI670153B true TWI670153B (zh) 2019-09-01

Family

ID=56013540

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104138100A TWI670153B (zh) 2014-11-21 2015-11-18 機器人及機器人系統

Country Status (5)

Country Link
US (1) US10525597B2 (zh)
EP (1) EP3221095B1 (zh)
CN (1) CN107073719B (zh)
TW (1) TWI670153B (zh)
WO (1) WO2016079967A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6407826B2 (ja) * 2015-09-03 2018-10-17 ファナック株式会社 座標系設定方法、座標系設定装置、及び座標系設定装置を備えたロボットシステム
JP6812095B2 (ja) * 2015-10-22 2021-01-13 キヤノン株式会社 制御方法、プログラム、記録媒体、ロボット装置、及び物品の製造方法
JP6710946B2 (ja) 2015-12-01 2020-06-17 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
TWI617405B (zh) * 2016-08-08 2018-03-11 Correction method for robot arm correction system
EP3512667A1 (en) * 2016-09-13 2019-07-24 ABB Schweiz AG Method of programming an industrial robot
TWI610245B (zh) * 2016-10-19 2018-01-01 廣明光電股份有限公司 機器人視覺座標的編程方法
TWI614103B (zh) * 2016-10-21 2018-02-11 和碩聯合科技股份有限公司 機械手臂定位方法及應用其的系統
US10940586B2 (en) * 2016-12-13 2021-03-09 Fuji Corporation Method for correcting target position of work robot
US11511435B2 (en) * 2017-05-22 2022-11-29 Abb Schweiz Ag Robot-conveyor calibration method, robot system and control system
JP6568172B2 (ja) * 2017-09-22 2019-08-28 ファナック株式会社 キャリブレーションを行うロボット制御装置、計測システム及びキャリブレーション方法
EP3746270A4 (en) 2018-02-01 2021-10-13 ABB Schweiz AG VISION-BASED OPERATION FOR ROBOTS
JP7035727B2 (ja) * 2018-03-30 2022-03-15 日本電産株式会社 キャリブレーション精度の評価方法及び評価装置
JP6773084B2 (ja) * 2018-07-02 2020-10-21 株式会社安川電機 動作教示装置、ロボットシステム及び動作教示方法
CN111971529A (zh) * 2018-09-03 2020-11-20 Abb瑞士股份有限公司 用于管理机器人系统的方法和装置
US10875177B2 (en) * 2018-10-02 2020-12-29 Techman Robot Inc. Partitioning method for a work space of a robot
US11065768B2 (en) * 2018-11-01 2021-07-20 TE Connectivity Services Gmbh Automatic calibration for camera-robot system with tool offsets
US11254019B2 (en) * 2019-03-05 2022-02-22 The Boeing Company Automatic calibration for a robot optical sensor
CN111716346B (zh) * 2019-03-20 2021-09-17 台达电子工业股份有限公司 机械手臂工具校正方法及其校正装置
TWI708667B (zh) * 2019-09-27 2020-11-01 國立臺灣大學 運動裝置之位置與姿態校正裝置及系統與方法
CN111168719B (zh) * 2020-02-20 2021-06-22 上海节卡机器人科技有限公司 一种基于定位工装的机器人校准方法及系统
US20230168081A1 (en) * 2020-04-10 2023-06-01 The Research Foundation for The State Unviersity of New York System and method for 3d image scanning
CN113733078B (zh) * 2020-05-27 2022-09-13 中国人民解放军63920部队 机械臂精调控制量判读方法、计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
CN104057457A (zh) * 2013-03-19 2014-09-24 株式会社安川电机 机器人系统及校准方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2690603B2 (ja) * 1990-05-30 1997-12-10 ファナック株式会社 視覚センサのキャリブレーション方法
US5297238A (en) * 1991-08-30 1994-03-22 Cimetrix Incorporated Robot end-effector terminal control frame (TCF) calibration method and device
JPH08108382A (ja) * 1994-10-07 1996-04-30 Kobe Steel Ltd 工業用ロボットのキャリブレーション装置
JPH08210816A (ja) 1995-02-03 1996-08-20 Fanuc Ltd ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法
JP2000263477A (ja) * 1999-03-19 2000-09-26 Denso Corp ロボットのキャリブレーション方法
JP4298757B2 (ja) * 2007-02-05 2009-07-22 ファナック株式会社 ロボット機構のキャリブレーション装置及び方法
EP2269783A1 (de) * 2009-06-30 2011-01-05 Leica Geosystems AG Kalibrierungsverfahren für ein Messsystem
JP5365379B2 (ja) * 2009-07-06 2013-12-11 富士電機株式会社 ロボットシステム及びロボットシステムのキャリブレーション方法
TW201247373A (en) * 2011-05-23 2012-12-01 Hon Hai Prec Ind Co Ltd System and method for adjusting mechanical arm
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
CN102909728B (zh) * 2011-08-05 2015-11-25 鸿富锦精密工业（深圳）有限公司 机器人工具中心点的视觉校正方法
KR20150067163A (ko) * 2012-10-05 2015-06-17 베크만 컬터, 인코포레이티드 카메라 기반 자동 정렬을 위한 시스템 및 방법
JP6108860B2 (ja) * 2013-02-14 2017-04-05 キヤノン株式会社 ロボットシステム及びロボットシステムの制御方法
US9457470B2 (en) 2013-04-05 2016-10-04 Abb Technology Ltd Robot system and method for calibration
JP6468741B2 (ja) * 2013-07-22 2019-02-13 キヤノン株式会社 ロボットシステム及びロボットシステムの校正方法
JP6335460B2 (ja) * 2013-09-26 2018-05-30 キヤノン株式会社 ロボットシステムの制御装置及び指令値生成方法、並びにロボットシステムの制御方法
JP6415190B2 (ja) * 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
US9193073B1 (en) * 2014-10-15 2015-11-24 Quanta Storage Inc. Robot calibration apparatus for calibrating a robot arm

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103209809A (zh) * 2010-05-14 2013-07-17 康耐视公司 用于机器视觉系统和机器人之间的稳健校准的系统和方法
CN104057457A (zh) * 2013-03-19 2014-09-24 株式会社安川电机 机器人系统及校准方法

Also Published As

Publication number Publication date
EP3221095B1 (en) 2020-08-19
EP3221095A4 (en) 2018-05-23
TW201618913A (zh) 2016-06-01
EP3221095A1 (en) 2017-09-27
CN107073719B (zh) 2020-07-28
US10525597B2 (en) 2020-01-07
CN107073719A (zh) 2017-08-18
US20180243911A1 (en) 2018-08-30
WO2016079967A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
TWI670153B (zh) 機器人及機器人系統
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
US10099380B2 (en) Robot, robot control device, and robot system
US9884425B2 (en) Robot, robot control device, and robotic system
JP6429473B2 (ja) ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
JP3946711B2 (ja) ロボットシステム
JP6565175B2 (ja) ロボットおよびロボットシステム
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
JP2016185572A (ja) ロボット、ロボット制御装置およびロボットシステム
JP2017077614A (ja) 教示点補正方法、プログラム、記録媒体、ロボット装置、撮影点作成方法、及び撮影点作成装置
JPWO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
US20190030722A1 (en) Control device, robot system, and control method
KR20170087996A (ko) 로봇의 캘리브레이션 장치 및 그 방법
JP2019098409A (ja) ロボットシステムおよびキャリブレーション方法
CN111482964A (zh) 一种新的机器人手眼标定方法
JP2016182648A (ja) ロボット、ロボット制御装置およびロボットシステム
JP6507792B2 (ja) ロボットおよびロボットシステム
US20230123629A1 (en) 3d computer-vision system with variable spatial resolution
JP2017007026A (ja) 位置補正システム
TWI706843B (zh) 機器人工具的校正方法與校正系統
TW202239546A (zh) 圖像處理系統及圖像處理方法
CN115397626A (zh) 坐标系设定系统和位置姿势测量系统
CN114445548A (zh) 一种确定待测对象的三维模型的方法、装置和系统