TWI708216B - 用以於環境中校正視覺系統的方法和系統 - Google Patents

用以於環境中校正視覺系統的方法和系統 Download PDF

Info

Publication number
TWI708216B
TWI708216B TW108108676A TW108108676A TWI708216B TW I708216 B TWI708216 B TW I708216B TW 108108676 A TW108108676 A TW 108108676A TW 108108676 A TW108108676 A TW 108108676A TW I708216 B TWI708216 B TW I708216B
Authority
TW
Taiwan
Prior art keywords
workpiece
image
signature
coordinate space
identified
Prior art date
Application number
TW108108676A
Other languages
English (en)
Other versions
TW201923706A (zh
Inventor
格陸帕沙德 席發郎
二世 賽力歐Ｃ 馬力恩
劉麗芳
李涂涂
Original Assignee
美商康耐視公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商康耐視公司 filed Critical 美商康耐視公司
Publication of TW201923706A publication Critical patent/TW201923706A/zh
Application granted granted Critical
Publication of TWI708216B publication Critical patent/TWI708216B/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39039—Two cameras detect same reference on workpiece to define its position in space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Abstract

本發明提供一種利用運轉時間工件上的特徵符取代校正目標物在校正時間期間將位於兩個位置處的座標空間結合一起的系統與方法。本發明假設三種可能的情境：在其中一種情境中，相同的工件特徵符會在兩個位置處被成像與辨識；在另一種情境中，運轉時間工件的成像特徵符於每一個位置處皆不相同(可以利用CAD或是量測工件再現)；以及在又一種情境中，含有一運動級的第一位置已經利用手-眼校正以該運動級為基準被校正，而第二位置則藉由在該兩個位置之間前後運送該運轉時間部件而以該相同的運動級為基準被手-眼校正。需要解釋的係，前面兩種技術的品質能夠藉由下面方式來改良：運轉多個運轉時間工件，每一個運轉時間工件皆有一不同的姿勢；抽出並且累積每一個位置處的此些特徵符；以及接著利用該些累積的特徵符來結合該兩個座標空間。

Description

用以於環境中校正視覺系統的方法和系統
本發明和機械視覺系統有關，且更明確地說，本發明和用於在製造和導引式組裝環境中導引工件和其它物件之組裝的視覺系統有關。
相關申請案
本申請案主張於2015年8月6日所提申之共同待審的美國臨時專利申請案序號第62/201,723號的權利，該案標題為「在導引式組裝環境中用於將機械視覺座標空間結合一起的系統和方法(SYSTEM AND METHOD FOR TYING TOGETHER MACHINE VISION COORDINATE SPACES IN A GUIDED ASSEMBLY ENVIRONMENT)」，本文以引用的方式將其教示內容明確地併入。
在機械視覺系統(於本文中亦稱為「視覺系統」)中會使用一或更多部照相機來對一成像場景裡面的物件或表面實施視覺系統處理。此些處理會包含檢測(inspection)、符號解碼(decoding of symbology)、對準(alignment)、以及各式各樣其它自動化工作。更明確地說，一視覺系統能夠被用來檢測通過一成像場景的平坦物件。該場景通常會被一或更多部視覺系統照相機成像，該一或更多部視覺系統照相機會包含內部或外部視覺系統處理器，該些內部或外部視覺系統處理器會操作相關聯的視覺系統處理，以便產生結果。該些照相機中的 一或更多者會經過校正，以便讓它/它們可以足夠的精確性和可靠度來實施該(些)視覺工作。一校正板會被用來校正該(些)照相機，並且建立一共同(全域性)座標空間(亦稱為座標「系統」)，其中，所有照相機的像素位置皆會被映射至該座標空間之中的關聯點，從而可以將任何照相機之中的成像特徵符定位於該座標空間裡面。於使用一運動級來導引物件之組裝的應用中，該校正處理會包含建立該運動級(亦稱為「運動座標空間」)與該共同座標空間之間的關係。此校正能夠利用已知的「手-眼」校正技術來達成。
視覺系統中的一項值得注意的工作係藉由一自動化組裝機制來幫助導引以及驗證物件(亦稱為「工件」)的組裝，該自動化組裝機制會包含一用以於一組裝位置處精確地支撐一工件的移動平台(運動級)以及一用以於一「組裝運動」中將另一工件移動至一疊置對準位置的操縱器(舉例來說，實施「拾放」操作的機械手或手臂或是另一種類型的運動裝置/運動級)，該工件會於該疊置對準位置處被組裝至另一工件。舉例來說，一觸控螢幕會在一拾放操作中被該操縱器操縱移動於駐留在該運動級上的蜂巢式電話的上方和之中，其中，每一個觸碰螢幕皆係從拾取位置處被移動並且被停放在一等待中的蜂巢式電話主體上的放置位置(有時候亦稱為「放置站台」)處。正確與精確的對準該觸控螢幕與蜂巢式電話主體為非常需要。
某些示範性系統會於一開始接受訓練，使得每一個工件皆會在該系統的運轉時間操作期間正確的對準另一個工件。在訓練時間期間，該些工件係被定位在它們的個別位置/站台處，使得在組裝時，該些被組裝的工件會有所希望的相互定位關係。在訓練之後，於運轉時間期間，該些工件中的一或兩者會藉由使用在該位置處負責控制相關聯的運動級的視覺系統而被重新定位在它們的個別位置之中，以便解決任何擺放變異或維度變異，並且接著進行組裝。藉由調整該運動級，該些工件會因而被放置在和訓練時相同的相互(預期)定位關 係中。於其它示範性系統中，訓練會被省略一舉例來說，在運轉時間期間會運用到被組裝部件的幾何形狀的系統，例如，第一矩形物件會被置中於一第二矩形物件上的系統。
在成像具有工件的場景之後，屬於每一個工件的特徵符便會被抽出並且被映射至該共同座標空間，作為用以於最後計算出可以導致所希望的組裝結果的級運動參數的處理的一部分。映射至該共同座標空間係因為校正處理的關係。在許多組裝系統中，該校正處理包含利用運送該些部件的可重複操縱器於兩個位置之間運送一特殊的校正目標物以及在該兩個位置處成像一校正目標物。此技術有數項缺點。舉例來說，由於工件和校正目標物會有形狀差異、重量差異、或是其它特徵差異的關係，用於運送該部件的拾放抓握器可能會無法運送一校正目標物。也就是，一校正目標物並沒有適配於該抓握器的參數。於此些系統中，將參數映射至該共同座標空間必須透過使用者輸入以手動方式規定，其經常會導致次佳的校正結果。此外，由於該部件和該校正目標物的該些特徵的差異的關係(例如，厚度差異或是其它特徵的差異)，該拾放操縱器所遵循的運動路徑在校正期間以及運轉時間期間可能會不相同。這會導致校正誤差，因為其會需要由該操縱器所進行的運轉時間運動步驟相對於訓練時間運動步驟的變異。更廣泛來說，由於需要額外設置步驟等的關係，使用者在校正時間期間運用一分離的校正目標物非常不方便。
同樣為缺點的係，用於校正的先前技術依賴於特定的機械及/或反覆性試驗與錯誤原理(trial and error principle)，其在施行上會有限制及/或不方便並且耗時。舉例來說，於其中一項技術中，該機械系統會被建構成使得位在第一位置處的座標空間和位在第二位置處的座標空間之間的關係為已知並且會被建立。此項技術會限制靈活性並且沒有考量到可能的移動以及隨著時間所產生的位置變化。於另一項技術中，會先進行兩個位置之間的關係的初始預測並 且藉由使用該些被組裝部件的品質而重複地改進。此項技術非常耗時並且依賴於多次反覆作業，以便達成所希望的精確性。
本發明藉由提供一種用於校正的系統和方法，以便克服和該操縱器(以及相關聯的抓握器)在拾取位置與放置位置之間運送一校正目標物所造成的問題有關的先前技術的缺點，本發明的系統和方法利用一運轉時間工件上的特徵符在校正時間期間將該兩個位置處的座標空間結合在一起。此系統和方法適應於至少三種不同的情境/技術一在其中一種情境/技術中，相同的特徵符會在兩個位置處被成像與辨識；在另一種情境/技術中，運轉時間工件的成像特徵符於每一個位置處皆不相同(其中，可以利用CAD或是該工件的量測再現)；以及在又一種情境/技術中，含有一運動級的第一位置已經利用手-眼校正以該運動級為基準被校正，而第二位置則藉由在該兩個位置之間前後運送該運轉時間部件而以該相同的運動級為基準被手-眼校正。需要解釋的係，前面兩種技術的品質能夠藉由下面方式來改良：運轉多個運轉時間工件，每一個運轉時間工件皆有一不同的姿勢；抽出該些特徵符並且累積每一個位置處的此些特徵符；以及接著利用該些累積的特徵符來結合該兩個座標空間。更廣泛來說，該系統和方法會獨立地校正該兩個位置並且藉由運送一工件以及利用該工件的特徵符(而非利用一校正板的特徵符)將該兩個位置的座標空間結合一起，該操縱器會被建構並且被排列/被調適成用以於組裝期間運送。
於一解釋性的實施例中，本發明提供一種用以於一環境中校正視覺系統的系統與方法，其中，位在第一位置處的一第一工件會被一操縱器運送至一第二位置。在該第一工件上會實施一操作，其依賴於將該第一位置的座標空間和該第二位置的座標空間結合在一起。至少一部視覺系統照相機被排列成 用以在被定位於該第一位置處時成像該第一工件以及用以在被定位於該第二位置處時成像該第一工件。至少一部視覺系統照相機會以該第一位置為基準被校正，用以推知定義一第一座標空間的第一校正資料，並且至少一部視覺系統照相機(可能為相同照相機)會以該第二位置為基準被校正，用以推知定義一第二座標空間的第二校正資料。位於該第一位置處的至少該第一工件的特徵符會從該第一工件的第一影像中被辨識。該第一工件會以該第一影像中的該些已辨識特徵符為基礎以和該第一位置有關的第一座標空間為基準被放置。該第一工件會被該操縱器抓握與移動至少一次，移動至該第二位置處的一預設操縱器位置處，並且該第一工件的一第二影像會於該第二位置處被獲取。該第一工件會以該第二影像中的該些已辨識特徵符為基礎以和該第二位置有關的第二座標空間為基準被放置。該第一座標空間和該第二座標空間因而會被結合在一起。需要解釋的係，其中，該第一影像中的該些已辨識特徵符和該第二影像中的該些已辨識特徵符為相同，該系統與方法包含：(a)以該第一校正資料為基準來映射該第一影像中的該些已辨識特徵符的位置，(b)以該第二校正資料為基準來映射該第二影像中的該些已辨識特徵符的位置，以及(c)計算一轉換函數，用以將在該第二位置處的該些已映射特徵符映射至在該第一位置處的該些已映射特徵符。或者，其中，該第一影像中的該些已辨識特徵符中的一部分不同於該第二影像中的該些已辨識特徵符，該系統與方法包含：(a)以該第一校正資料為基準來映射該第一影像中的該些已辨識特徵符的位置，(b)計算一相對於該第一工件的一已儲存特徵符位置規格的轉換函數，(c)以該第二校正資料為基準來映射該第二影像中的該些已辨識特徵符的位置，(d)當該工件被放置在該第一位置處時，利用在步驟(b)中所算出的轉換函數在該第一座標空間中推知該第二影像中的該些已辨識特徵符的位置；以及(e)計算一轉換函數，用以將在該第二位置處的該些已映射特徵符映射至在該第一位置處的對應轉換特徵符。該第一工件的規格能 夠以該第一工件的一CAD模型為基礎或是以該第一工件的一量測模型(舉例來說，CMM產生的量測值)為基礎。需要解釋的係，該系統與方法會包含：(a)利用在該第一位置或是該第二位置處的一運動提供裝置將該第一工件反覆地移動至複數個不同的姿勢，(b)辨識在該第一位置和該第二位置中的每一個位置處的該些姿勢中的每一個姿勢處的特徵符，以及(c)累積該已辨識特徵符資訊以便提高精確性，其中，該第一工件為同一個工件或者為複數個不同工件中的其中一者。於不同的實施例中，該系統與方法包含從一影像座標系統映射至位在該第一位置處的校正座標系統，且其中，該映射為單一式。於實施例中，該第二位置具有一第二工件，該第一工件會以所希望的對準方式被放置用以扣接該第二工件，及/或該第二工件能夠為一用以進一步處理該第一工件的部件、容器、或是框架。除此之外，於其不同的實施例中，該操作能夠為下面之中的至少其中一者：以另一物件為基準的對準操作；在該第一工件上的印刷操作；以及在該第一工件上的塗敷操作。而且該操作能夠至少部分在一遠離該第一位置和該第二位置的位置處被實施。
於另一解釋性實施例中，本發明提供一種用以於一環境中校正視覺系統的系統與方法，其中，位在第一位置處的一第一工件會被一操縱器運送至一第二位置，其中，一在該第一工件上所實施的操作依賴於將該第一位置的座標空間和該第二位置的座標空間結合在一起，且其中，該些位置中的至少其中一者會受到手-眼校正。至少一部視覺系統照相機被排列成用以成像位在該第一位置處的該第一工件並且用以成像該第二位置。該視覺系統照相機會相對於該第一位置被手-眼校正，用以推知第一校正資料，並且該第一工件被定位在該第一位置處。需要解釋的係，該第一工件會被該操縱器從該第一位置處移動至該第二位置，並且一影像會被獲取，從該影像中會找出該第一工件上的特徵符。該第一工件接著會被該操縱器從該第二位置處移動至該第一位置，並且該第一 工件的姿勢會藉由移動該運動提供裝置而於該第一位置處被改變至一新的已知姿勢。該運動提供裝置能夠被定位在任一位置處，並且透過該運動提供裝置所進行的姿勢改變能夠在被該操縱器從該第二位置處移動至該第一位置之前或之後進行。
上面的步驟會反覆進行，直到特徵符位置以及和手-眼校正有關的其它資料被累積與儲存為止，並且接著會使用該累積資料以該第二位置為基準來手-眼校正至少一部視覺系統照相機。這可以藉由取自該手-眼校正和該運動提供裝置有關的共同座標空間來將該第一座標空間和該第二座標空間結合在一起。需要解釋的係，該第二位置在該運動提供裝置上具有一第二工件，該第一工件會以所希望的對準方式被放置用以扣接該第二工件。該第二工件能夠為一用以進一步處理該第一工件的部件、容器、或是框架，並且該操作能夠為下面之中的至少其中一者：以另一物件為基準的對準操作；在該第一工件上的印刷操作；以及在該第一工件上的塗敷操作。
100:組裝系統
110:放置位置
112:第二工件
120:拾放(操縱器)機制
122:拾取位置
124:第一工件
125:吸杯
126:對準位置
128:軌道
130:拾取
132:運送
134:座標空間
135:正交軸
137:正交軸
140:照相機
142:照相機
144:照相機
150:抓握器
160:視覺處理(器)
162:視覺工具
164:對準處理(器)
166:校正處理(器)
168:訓練處理(器)
170:運動級控制器
172:運動資訊
180:計算裝置
182:顯示器及/或觸控螢幕
184:鍵盤
186:滑鼠
250:放置
下面的本發明說明會參考隨附圖式，其中：圖1所示的係以一示範性拾放組裝環境為基準來排列的一種多部照相機視覺系統的示意圖，圖中顯示一拾放操縱器，其被放置在拾取位置處用以抽出一工件以便運送至一放置位置，其中，該些位置中的其中一者包含一配合一工件組裝系統來使用的示範性運動級以及一和用於校正、訓練、以及運轉時間操作的工具及處理相關聯的視覺處理器；圖2所示的係以一示範性拾放組裝環境為基準來排列的一種兩部照相機視覺系統的示意圖，其中，一工件會對準另一工件，圖中顯示被放置在該放置位置處的拾放操縱器，並且將該第一已拾取工件放置在該第二工件上； 圖3所示的係一種用於將位在一第一位置處的第一座標空間結合至位在一第二位置處的第二座標空間的方法的通用概觀流程圖，該方法係以在每一個位置處被該操縱器抓握的運轉時間工件的成像為基礎，其中，該照相機系統會以該些位置中的其中一個位置為基準被校正；圖4所示的係圖3中大體上所述之用於將一第一位置的座標空間結合至一第二位置的座標空間的方法的更詳細流程圖，該方法利用每一個位置處的(多個)運轉時間工件影像的特徵符，其中，每一個位置處的特徵符為相同；圖5所示的係圖3中大體上所述之用於將一第一位置的座標空間結合至一第二位置的座標空間的方法的更詳細流程圖，該方法利用每一個位置處的(多個)運轉時間工件影像的特徵符，其中，每一個位置處的特徵符中的至少某些特徵符因為每一個個別視場處的可見性差異(visibility difference)的關係而不相同；圖6所示的係一種用於將一第一位置的座標空間結合至一第二位置的座標空間的方法的流程圖，該方法藉由在該第一位置與該第二位置處實施分離的手-眼校正來進行；以及圖7所示的係和圖4以及5的方法有關的一種額外處理的流程圖，其中，多個特徵符會在多個未知的姿勢處被抽出並且該些累積的特徵符會被用來結合每一個位置處的座標空間。
圖1所示的係根據一實施例的組裝系統100(也稱為系統環境/排列)，其具有一示範性拾放(操縱器)機制120，其能夠運用用於校正一物件(第一工件)的系統和方法，該物件(第一工件)會在運轉時間操作被該操縱器操縱(在多個位置/站台之間被運送)，以便組裝至一位在第二位置處的第二工件。明確地說，該些位置包含：一拾取位置122(也稱為拾取平台)，其中第一工件124(例如，要 被運送的運轉時間工件)會於一開始被放置在該位置；以及一放置位置110(也稱為放置平台)，於該位置處放置著一第二工件112，該第一工件124會被組裝至該第二工件112。該操縱器會包含一抓握器，(舉例來說，)其會包括一吸杯125，用於選擇性地扣接該第一工件124。該操縱器120會選擇性地拾取(箭頭130)以及運送(箭頭132)該第一工件124，將該第一工件124運送至第二工件112上的一對準位置126。於此範例中，一軌道128會被提供用以沿著一可重複的路徑來導引該操縱器120。此軌道並沒有必要性，顯見地，本發明涵蓋可以在拾取位置和放置位置之間以可重複的方式移動該操縱器120的任何樣態。舉例來說，該操縱器會定義一座標空間134，其特徵為Xm軸、Ym軸、以及Zm軸，其中，該操縱器120會沿著至少Ym軸以及沿著Zm軸中的拾取/放置方向來移動。圖中雖然還顯示繞著Zm軸的旋轉Θzm，但是，可以由或是不由該操縱器來實施。由該操縱器所實施的運動為任意運動，並且該視覺系統通常係以和此些運動獨立的方式來操作，本發明透過圖例來顯示。
拾取位置122及/或放置位置110各自定義一平台，在進行拾取/放置操作之前會於其上定位著個別的工件124和112。該些工件124、112會藉由任何可接受的技術被放置在該些位置(分別為122、110)(或平台)上，舉例來說，來自一工件來源的輸送帶、機器人操縱器、使用者手動擺放、...等。於其它實施例中，第一工件124會被該操縱器固持在該拾取位置122處，而沒有被放置在放置位置110(或放置平台)上。於該示範性系統中，該些位置122、110(或平台)中的任一者會包括一以所希望的精確性在一或更多個自由度中移動的運動級。此運動級係被提供用以在該可重複的拾放運動之前或之後於工件之間建立對準結果。也就是，該些工件中的其中一者會被該運動級事先對準，並且接著該拾取/放置操作會在其移動通過已定義路徑時保持該已事先決定的對準。或者，在該拾取/放置操作移動該工件之後，該些工件的最終對準會就在該組裝/放置運動之 前進行。每一個平台(任一平台皆會包含一運動級)會定義自己的座標空間，該座標空間能夠被視為該位置的局部性、經校正的座標空間。也就是，拾取平台(或拾取位置122)會定義一第一座標空間Xs1、Ys1、Zs1(正交軸135)，而放置平台(或放置位置110)則定義一第二座標空間Xs2、Ys2、Zs2(正交軸137)。當任一平台包含一運動級時，此運動便能夠沿著圖示座標軸中的一或更多個座標軸來進行，且視情況，能夠在至少其中一個旋轉自由度中進行(也就是，沿著圖中所示的Θzs1或是Θzs2)。
於此示範性的組裝系統100(或系統環境/排列)中，至少其中一部照相機142、140會分別成像每一個位置(122、110)。或者，單部照相機或是多部照相機會在單一視場(Field Of View，FOV)中成像兩個位置。一般來說，而且如本文中所述，本發明假設，當該工件被定位在每一個位置處時，位於該位置處的一或更多部照相機可以看見該工件的相同或是不相同的特徵符。該些照相機140、142會被連接至一視覺處理(器)160。一或兩個位置122、110能夠視情況包含額外的照相機144(圖中以虛線顯示)。該視覺處理(器)160也會在操作上被連接至一位於該相關聯位置處的運動級控制器170，其會提供運動資訊(舉例來說，編碼器或步進器距離/脈衝資訊)172給處理器160，以便用來決定該運動級和相關聯的工件的實際位置。因為該運動級能夠視情況被放置在任一位置122或110處，所以，控制器170以及相關聯的運動資訊172係以雷同的方式被描繪在兩個位置處。在手-眼校正(下面會作進一步說明)期間，該運動級會於運動資訊被記錄並且和該(些)已獲取影像產生關聯時被移動。
照相機140、142、144中的每一者皆會在操作上被連接至該視覺系統處理器以及相關聯的視覺系統處理160，其能夠全部或是部分被整合成一或更多個照相機殼體裡面的客製視覺處理器電路；或者，能夠被提供於一相互連接的計算裝置180(其包含，但是並不受限於PC、膝上型電腦、平板、智慧型電 話、或是類似物)裡面，該計算裝置180具有一適當的圖形使用者介面(Graphical User Interface，GUI，舉例來說，顯示器及/或觸控螢幕182、鍵盤184、及/或滑鼠186)用以幫助進行設置(校正)、訓練、及/或運轉時間操作。應該注意的係，於運用一部以上照相機的組裝系統中，每一部照相機皆會被調適成用以將其所獲取的影像或是從該影像中所抽出的資訊發送至一中央處理器。接著，該中央處理器便會在組裝期間整合來自該些不同照相機的資訊。該視覺處理(器)160會實施各式各樣的視覺系統處理(或是元件/模組)，其包含各種視覺工具162，例如，尋邊器、斑點分析器(blob analyzer)、搜尋工具、測徑工具、…等。需要解釋的係，該視覺處理(器)160包含一對準處理(器)164，其會以下面進一步說明的方式實行來自兩個工件的影像資料的對準。一校正處理(器)166會幫助實施下面進一步說明的照相機校正以及手-眼校正。需要解釋的係，一訓練處理(器)168會實行本文中所涵蓋之用以重新定位該些工件的各種訓練程序，以便以該第一工件為基準精確地組裝該第二工件。應該注意的係，視覺處理器160能夠被建立成複數個相互連接的照相機處理器(或是其它裝置)，或是能夠被建立成單一照相機組裝件(或是遠端計算裝置)之中的中央處理器。
同樣應該注意的係，本文中的各種實施例之中所示的實際工件組裝排列含有任意數量的照相機，其會成像該平台/運動級的各種區域。用於成像每一個位置(及/或整個組裝環境)的照相機的數量在替代的排列中會有很大的變動。同樣地，該操縱器在整個系統裡面實施工作的位置的數量亦會有很大的變動。
此外，應該明白的係，圖中所示的組裝環境為各式各樣排列的範例，其中，一第一工件會被一(舉例來說，)可重複的操縱器從一第一位置處運送至要於該第一工件上實施某一項操作的另一位置。該操作能夠包含以所希望的對準方式來扣接一第二工件，或者能夠利用一適當的機制直接被實施在該第一 工件上。舉例來說，一第二工件能夠為該第一工件要被組裝的一部件、該第一工件要被放置於其中的一容器/盒體、及/或該第一工件要被放置於其中的一框架-舉例來說，一針織排列中的一部分。接著，除了此擺放之外，該操作亦能夠包含印刷或塗敷貼花於該第一工件；將其裸露於一雷射、切割機、工具頭、或是其它裝置；及/或用以修飾該工件的任何其它處理。下面會提供操作以及第二工件的進一步定義。一般來說，本發明主要假設可以將用於成像第一位置和第二位置的(多部)照相機的座標空間結合一起的系統和方法，以便達成以所希望的方式來進行某項操作的目的。
在說明該解釋性系統和方法的細節之前，請先參考下面的定義，其有助於讀者理解本文中所提出的概念：
定義
Figure 108108676-A0305-02-0015-3
Figure 108108676-A0305-02-0016-1
Figure 108108676-A0305-02-0017-2
簡單地參考圖2，圖中所示的操縱器120已經沿著軌道128從拾取位置122處移動至放置位置110，該第一工件124位於其抓握器150之中。圖中所繪的操縱器120精確地將該第一工件124放置(箭頭250)於第二工件112上的已對準的接收位置126之中。此對準係由照相機140、142以及相關聯的視覺系統處理(器)160藉由以該共同座標空間為基礎來移動該運動級所建立。此共同座標空間係在校正期間藉由將該兩個位置122、110中的每一個位置的經校正座標空間結合一起所建立，如現在於下面所述。
透過一般性理解特定的校正原理，對一剛性主體來說(例如，一校正目標物)，運動的特徵為具有下面的一對姿勢：在一運動之前的起始姿勢以及在該運動之後的結束姿勢一本文中的「姿勢」被定義成用於描述一主體在特定的基礎座標空間中，於任一特殊的時刻處的位置與方位的一組數值一該主體的虛擬特徵值。舉例來說，於兩個維度中，一姿勢的特徵為具有下面三個數值：X中的平移值、Y中的平移值、以及旋轉值R(或是Θ)。在一校正目標物的背景之中的姿勢會描述該校正目標物如何被呈現給該(些)照相機。一般來說，於所謂的「手-眼校正」的標準中，一校正目標物會被一運動提供裝置移動至以該(些)照 相機為基準的數個不同的姿勢，並且每一部照相機皆會獲取該校正目標物於每一個姿勢處的影像。此手-眼校正的目標係於單一座標空間(其能夠被稱為「經校正座標空間」)中決定該(些)照相機的姿勢、該校正目標物的姿勢、以及該運動提供裝置的姿勢。一般來說，「運動」係由一能夠提供物理運動的物理裝置(例如，機器人手臂，或是運動級，或是起重器)所提供。應該注意的係，該目標物能夠相對於一或更多部照相機來移動；或者，該(些)照相機能夠相對於一靜止目標物來移動，例如，當該些照相機被鑲嵌至該提供運動的物理裝置時。此運動提供裝置的控制器會運用數值(也就是，姿勢)來命令該裝置以便提供任何所希望的運動，並且該些數值係在該裝置的原生座標空間(在本文中稱為「運動座標空間」)中被解譯。現在將參考圖3來說明一種利用一運轉時間工件來結合兩個分離位置(舉例來說，拾取位置和放置位置)的座標空間的整體校正處理300，該運轉時間工件會被該操縱器移動於該些位置之間。值得一提的係，使用運轉時間工件可以避免和使用校正目標物相關聯的缺點，並且可以讓使用者合宜地運用和該操縱器預期用以在運轉時間操作之中進行處理的結構有相同的結構。處理300從步驟310中開始，在該步驟中會排列一或更多部照相機用以成像一第一位置與一第二位置/獲取一第一位置與一第二位置的(多個)影像。該(些)照相機會觀視一運轉時間工件在每一個位置處的(多個)特徵符一其中，該些特徵符在每一個位置處能夠全部相同或部分相同，或者在每一個位置處皆不相同。在步驟320中，觀視位在該第一位置處或位在該第二位置處的特徵符的該(些)照相機會以一個別的經校正座標空間為基準被校正。這會包括藉由該運動級來移動一校正目標物並且建立以和該運動級所提供的運動資訊相關聯的此運動為基礎的座標空間來進行手-眼校正。或者，這會包括一能夠利用一特殊校正目標物(例如，棋盤格柵校正板)的(多個)影像來達成的校正處理，從而將該位置處的所有照相機結合至該個別的座標空間。在步驟330中，該運轉時間工件的影像會被觀視位於該第一位置 處的工件的一或更多部照相機獲取，並且在該運轉時間工件上的特徵符的位置會於該第一位置處被辨識/抽出。該些經辨識/抽出的特徵符接著會在步驟340中被用來將該工件與一第一經校正座標空間(通常和該第一位置有關)產生關聯。該些特徵符能夠為該工件上的任何可辨識的視覺元件，且尤其是可以單獨或是組合以便唯一定義該工件的方位與位置的特徵符。因此，當運用邊緣和角邊作為被辨識的特徵符時，此些邊緣和角邊便會是整個工件上的一特定位置所特有(舉例來說，該工件的其中一側的凹口)。特徵符抽出能夠利用根據熟習本技術的人士已知的各種視覺系統工具(舉例來說，邊緣偵測器、斑點分析器、...等)162(圖1)來完成。
在步驟350中，該運轉時間工件會被該操縱器抓握(舉例來說，藉由在圖1中將一吸杯125套附至該第一工件124(例如，運轉時間工件))，並且該工件會被移動至該第二位置。此運動會進行至少一次(並且能夠利用不同的姿勢進行多次，如下面參考圖7所述)。接著，在步驟360中，位在第二位置處的該(些)照相機(用以觀視該第二位置中的工件特徵符)便會獲取該工件的一或更多個影像(在其影像座標空間之中)。和在第一位置處所看見的特徵符相同或是不相同的特徵符會在該第二位置處被用來尋找位在該第二位置的該工件上的位置。當該些特徵符為相同時，該兩個座標空間能夠直接被結合。當該些特徵符不相同時，該工件的規格(例如，CAD繪圖或是量測表現/再現，也就是，利用一量測機械CMM的座標來量測該工件並且儲存維度)則可以讓位在每一個位置處的特徵符被該視覺系統校正處理來進行對應。該些經對應的特徵符接著便可以讓每一個座標空間被結合在一起。應該注意的係，當該些位置中的其中一個位置透過步驟320被手-眼校正時，該被算出的共同座標空間便會和該運動級的運動座標空間相同。
圖4與5分別為根據圖3的一般性處理之用以將第一位置處的座標 空間和第二位置處的座標空間結合一起的兩種不同方法/處理400與500的更詳細說明。在圖4中，處理400包含步驟410，其中，一或更多部照相機會被排列成用以成像兩個位置，其中一個位置會包含一運動級。如上面所述，非必要的手-眼校正能夠利用正在觀視該位置的該(些)照相機配合一運動級來實施，以便建立該經校正座標空間。更一般地，在步驟420與430中，用以成像該些第一位置與第二位置的該(些)照相機會利用一適當的校正目標物來校正。在步驟440中，該(些)照相機會在該第一位置處獲取該工件的一或更多個影像，並且利用適當的視覺系統工具使用該些影像找出該工件上的特徵符，featuresImage1(步驟450)。此些特徵符會被映射至該第一位置處的經校正座標空間(featuresCalibrated1=Calibrated1FromImage1* featuresImage1)。該運轉時間工件接著會被該操縱器抓握並且移動至該第二位置。該(些)照相機會於該處獲取該運轉時間物件的(多個)影像(步驟460)。於此技術中，相同的特徵符featuresImage1同樣可以在該第二位置處被該(些)照相機看見featuresImage2。在步驟470中，位在該第二位置處的該(些)照相機因而可以找出該運轉時間工件上的相同特徵符，並且該處理400會以該第二位置處的校正資料為基礎來映射該些位置(featuresCalibrated2=Calibrated2FromImage2* featuresImage2)。接著，在步驟480中，該處理400會計算一轉換函數Calibrated1FromCalibrated2，用以將featuresCalibrated2映射至featuresCalibrated1(來自步驟450)。此轉換函數係被用來根據下面的關係將該兩個位置處的座標空間結合在一起：featuresCalibrated1=Calibrated1FromCalibrated2*featuresCalibrated2
倘若含有該運動級的位置已經視情況被手-眼校正的話，那麼，轉換函數Calibrated1FromCalibrated2便能夠和該些手-眼校正結果組合而於運轉時間期間被用來導引該部件的組裝。
在圖5中，處理500包含步驟510，其中，一或更多部照相機會被 排列成用以成像兩個位置，其中一個位置會包含一運動級。如上面所述，非必要的手-眼校正能夠利用正在觀視該位置的該(些)照相機配合一運動級來實施，以便建立該經校正座標空間。在步驟520與530中，該些第一位置與第二位置會利用一適當的校正目標物來校正。在步驟540中，該(些)照相機會在該第一位置處獲取該工件的一或更多個影像，並且利用適當的視覺系統工具使用該些影像找出該工件上的特徵符，featuresImage1。在步驟550中，此些特徵符會被映射至該第一位置處的經校正座標空間featuresCalibrated1。在步驟560中，該處理500會計算一轉換函數WorkpieceFromCalibrated1，其會根據下面的關係將位在該第一位置處的第一經校正座標空間之中的工件特徵符featuresCalibrated1(來自步驟550)映射至已儲存的工件座標空間：featuresWorkpiece=WorkpieceFromCalibrated1*featuresCalibrated1
該工件座標空間係以該工件的電腦輔助設計(Computer Aided Design，CAD)模型為基礎所建立，該模型包含該些特徵符參數的代表符。或者，該運轉時間工件座標空間的規格亦能夠藉由該工件的物理量測來建立一舉例來說，利用根據熟習本技術的人士所知道的座標量測機械(Coordinate Measuring Machine，CMM)。參數會被儲存以便讓該映射製程使用。
該運轉時間工件接著會被該操縱器抓握並且移動至該第二位置。該(些)照相機會於該處獲取該運轉時間物件的(多個)影像(步驟570)。於此技術中，在該第二位置處被觀視的特徵符中的一或更多個特徵符不同於在該第一位置處被觀視/被成像的特徵符。當相同的特徵符因為障礙物、該(些)照相機的視場(FOV)、...等關係而無法在兩個位置處同時看見時便會產生此結果。在步驟580中，位在該第二位置處的該(些)照相機會找出該運轉時間工件上的可見特徵符，featVisIn2Image2，並且該些位置會以該第二位置處的校正資料為基礎被映射(featVisIn2Calibrated2=Calibrated2FromImage2*featVisIn2Image2)。在該工件 座標空間中的對應點會被找出，featVisIn2Workpiece。接著，在步驟590中，當此些特徵符在該第一位置處時，該處理500便會使用步驟560的反向轉換函數WorkpieceFromCalibrated1來計算在該第一經校正座標空間中可於該第二位置處看見的特徵符的位置：featVisIn2Calibrated1=Calibrated1FromWorkpiece*featVisIn2Workpiece
在步驟592中，從該第一位置處算出的特徵符位置以及位在該第二位置處的對應偵測特徵符位置會被用來根據下面的關係將每一個該些位置處的座標空間結合在一起：featVisIn2Calibrated1=Calibrated1FromCalibrated2*featVisIn2Calibrated2
倘若含有該運動級的位置已經被手-眼校正的話，那麼，轉換函數Calibrated1FromCalibrated2便能夠和該些手-眼校正結果組合而於運轉時間期間被用來導引該部件的組裝。
應該注意的係，於本發明的各種實施例中明確地假設從該影像座標空間映射至該第一位置處的校正座標空間為單一式。此技術適應於該第二位置會被校正的排列，並且在該第一位置處的影像特徵符會被映射至位在該第二位置處的校正座標空間，如圖3至5中所述。
圖6詳細顯示根據另一種假設技術用於將兩個分離位置的座標空間結合一起的方法/處理600，其中，該(些)第一位置照相機以及該(些)第二位置照相機並沒有進行校正。於此排列中，本發明假設每一個位置能夠被分開手-眼校正，兩個位置會以該運動級為基準被被結合至相同的共同座標空間。在步驟610中，該(些)照相機被排列成用以成像每一個位置。含有該運動級的位置(也就是，第一位置)會在步驟620中被手-眼校正。接著，該運轉時間工件會在步驟630中被放置在含有該運動級的第一位置處。該運轉時間工件接著會在步驟640中被抓握並且移動至該第二位置，一或更多個影像會於該處被該(些)照相機獲取。該 工件上的特徵符會在步驟650中被找出。視情況，倘若可以利用該工件的CAD或CMM規格的話，此些特徵符便能夠以該工件座標空間的CAD或CMM代表符為基準被對應。從該些特徵符處所推知的姿勢會被儲存在清單X11之中。該工件會在步驟660中再次被抓握並且移動回到該第一位置/運動級位置。步驟640、650、以及660會在該運動級被移動時重複地進行，以便配合每一次反覆作業建立新的姿勢(步驟680)，直到有足夠的資料被捕捉並且被儲存在清單X11之中為止。處理600接著會前往步驟690(透過判斷步驟670)之中，用以使用來自步驟650(清單X11)的累積資料來手-眼校正位在該第二位置處的該(些)照相機。位在兩個位置處的經照相機校正的座標空間因而會藉由以該運動級為基準的共同座標空間而被結合在一起。
方法/處理400以及500(圖4中的步驟450、470以及圖5中的步驟550、580)能夠藉由反覆地從該運轉時間工件中實施特徵符抽出而被強化。在圖7中會概要說明此經過強化的處理700。在步驟710中，位在該第一位置處的運轉時間工件的一或更多個影像會被獲取，並且特徵符會被抽出/辨識。該工件接著會在步驟720中被該操縱器抓握並且移動，而且特徵符會被抽出/辨識(可能和上面所述為相同或是不相同的特徵符)。該操縱器接著會反覆地將該工件送回該第一位置，每一次皆粗略地改變姿勢(步驟730)；或者，該操縱器會以粗略不同的姿勢來運送該工件多個距離。也就是，校正的精確性和健全性能夠經由在相同的工件上進行多次反覆的特徵符抽出和累積或者經由在一連串不相同的工件(每一個工件皆會在多個位置之間運行一個運動循環)上進行多次反覆的特徵符抽出和累積而強化。在每一次反覆作業期間，位在該第一位置處的影像中的特徵符以及位在該第二位置處的影像中的特徵符會透過步驟710與720被抽出，直到取得足夠的特徵符資料為止。此臨界值能夠以一經設定的反覆作業次數或是另一指標為基礎。接著，處理700會前往步驟750(透過判斷步驟740)，於該步驟中會 使用來自多個姿勢中的累積特徵符資料將每一個位置處的座標空間結合在一起，如上面的一般性說明。
應該明白的係，上面所述之利用運轉時間工件在組裝過程中將位在兩個分離位置處的座標空間結合一起的技術可以避免發生和使用校正目標物相關聯的缺點。此些技術可以彈性的方式以每一個位置為基準來排列照相機。此些技術亦可以經由反覆進行各種步驟(例如，特徵符抽出)而達成強化/提昇精確性的目的。此些技術還可以避免發生上面所述之依賴於已知機械性排列或是反覆性試驗與錯誤方式的先前技術的缺點。
前面雖然已經詳細說明本發明的解釋性實施例；不過，仍然可以對其進行各種修正與新增，這並不會脫離本發明的精神與範疇。上面所述之各種實施例中的每一個實施例的特點可以於適當時組合其它已述實施例的特點，以便在相關聯的新實施例中提供多樣的特點組合。再者，前面雖然已說明本發明的設備與方法的數個不同的實施例；但是，在本文中所述的實施例僅係解釋本發明之原理的應用。舉例來說，如本文中的用法，「處理」及/或「處理器」等用詞應該被廣泛地視為包含各式各樣之基於電子硬體及/或軟體的功能以及器件(並且亦能夠被替代稱為功能性「模組」或是「元件」)。又，圖中所示的一處理或處理器亦能夠組合其它處理或處理器，或者能夠被分割成不同的子處理或子處理器。此些子處理及/或子處理器能夠根據本文中的實施例以不同的方式來組合。同樣地，本發明明確地假設本文中的任何功能、處理、及/或處理器皆能夠利用電子硬體、由程式指令所構成的非暫時性電腦可讀取媒體所組成的軟體、或是硬體與軟體的組合來施行。除此之外，如本文中的用法，各種方向性及方位性用詞(例如，「垂直」、「水平」、「上」、「下」、「底部」、「頂端」、「側」、「前」、「後」、「左」、「右」、以及類似用詞)僅係以一固定的座標空間或系統(例如，重力的作用方向)為基準的相對的慣例用法，而並非絕對方位。需要解釋的係，一 個位置雖然包含一個位置運動級；但是，本發明亦假設多個位置能夠包含多個運動級-舉例來說，一第一運動級會沿著其中一軸來移動該工件，而第二運動級會沿著另一正交軸來移動(或是該第一運動級並沒有提供的旋轉)該工件。據此，本說明僅可被視為範例，而並沒有限制本發明的範疇的意義。
100‧‧‧組裝系統
110‧‧‧放置位置
112‧‧‧第二工件
120‧‧‧拾放(操縱器)機制
122‧‧‧拾取位置
124‧‧‧第一工件
125‧‧‧吸杯
126‧‧‧對準位置
128‧‧‧軌道
130‧‧‧拾取
132‧‧‧運送
134‧‧‧座標空間
135‧‧‧正交軸
137‧‧‧正交軸
140‧‧‧照相機
142‧‧‧照相機
144‧‧‧照相機
150‧‧‧抓握器
160‧‧‧視覺處理(器)
162‧‧‧視覺工具
164‧‧‧對準處理(器)
166‧‧‧校正處理(器)
168‧‧‧訓練處理(器)
170‧‧‧運動級控制器
172‧‧‧運動資訊
180‧‧‧計算裝置
182‧‧‧顯示器及/或觸控螢幕
184‧‧‧鍵盤
186‧‧‧滑鼠

Claims (15)

  1. 一種用以於一環境中校正視覺系統的方法，其中，位在第一位置處的一第一工件被一操縱器運送至一第二位置，其中，一在該第一工件上所實施的操作依賴於將該第一位置的第一座標空間和該第二位置的第二座標空間結合在一起，該方法包括下面步驟：排列至少一部視覺系統照相機，用以在被定位於該第一位置處時成像該第一工件以及用以在被定位於該第二位置處時成像該第一工件；至少一部視覺系統照相機以該第一位置為基準被校正，用以推知定義該第一座標空間的第一校正資料，並且至少一部視覺系統照相機以該第二位置為基準被校正，用以推知定義該第二座標空間的第二校正資料；獲取位於該第一位置處時的該第一工件的第一影像；從該第一工件的該第一影像中辨識位於該第一位置處的該第一工件的特徵符；利用該第一影像中的經辨識的特徵符將該第一工件與該第一座標空間產生關聯；利用該操縱器抓握與移動該第一工件至少一次，移動至該第二位置處的一預設操縱器位置處；獲取位於該第二位置處時的該第一工件的第二影像；從該第一工件的該第二影像中辨識位於該第二位置處的該第一工件的特徵符；以及利用該第一影像中的經辨識的特徵符和該第二影像中的經辨識的特徵符將該第一座標空間和該第二座標空間結合在一起。
  2. 根據申請專利範圍第1項的方法，其中，該第一影像中的經辨識的特徵符和該第二影像中的經辨識的特徵符為相同，並且進一步包括：(a)以該 第一校正資料為基準來映射該第一影像中的經辨識的特徵符的位置，(b)以該第二校正資料為基準來映射該第二影像中的經辨識的特徵符的位置，以及(c)計算一轉換函數，用以將在該第二位置處的已映射特徵符映射至在該第一位置處的已映射特徵符。
  3. 根據申請專利範圍第1項的方法，其中，該第一影像中的經辨識的特徵符中的一部分不同於該第二影像中的經辨識的特徵符，並且進一步包括：(a)以該第一校正資料為基準來映射該第一影像中的經辨識的特徵符的位置，(b)計算一相對於該第一工件的一已儲存特徵符位置規格的轉換函數，(c)以該第二校正資料為基準來映射該第二影像中的經辨識的特徵符的位置，(d)當該工件被放置在該第一位置處時，利用在步驟(b)中所算出的轉換函數在該第一座標空間中推知該第二影像中的經辨識的特徵符的位置；以及(e)計算一轉換函數，用以將在該第二位置處的已映射特徵符映射至在該第一位置處的對應轉換特徵符。
  4. 根據申請專利範圍第3項的方法，其中，該規格係以該第一工件的一CAD模型為基礎。
  5. 根據申請專利範圍第3項的方法，其中，該規格係以該第一工件的一量測模型為基礎。
  6. 根據申請專利範圍第1項的方法，其進一步包括：(a)利用在該第一位置或是該第二位置處的一運動提供裝置將該第一工件反覆地移動至複數個不同的姿勢，(b)辨識在該第一位置和該第二位置中的每一個位置處的該些姿勢中的每一個姿勢處的特徵符，以及(c)累積經辨識的特徵符資訊以便提高精確性，其中，該第一工件為同一個工件或者為複數個不同工件中的其中一者。
  7. 根據申請專利範圍第1項的方法，其進一步包括從一影像座標系統映射至位在該第一位置處的校正座標系統，且其中，該映射為單一式。
  8. 根據申請專利範圍第1項的方法，其中，該第二位置具有一第二工件，該第一工件會以所希望的對準方式被放置用以扣接該第二工件。
  9. 根據申請專利範圍第8項的方法，其中，該第二工件為一用以進一步處理該第一工件的部件、容器或是框架。
  10. 根據申請專利範圍第1項的方法，其中，所實施的操作為下面之中的至少其中一者：以另一物件為基準的對準操作；在該第一工件上的印刷操作；以及在該第一工件上的塗敷操作。
  11. 根據申請專利範圍第10項的方法，其中，所實施的操作係至少部分在一遠離該第一位置和該第二位置的位置處被實施。
  12. 一種用以於一環境中校正視覺系統的系統，其中，位在第一位置處的一第一工件被一操縱器運送至一第二位置，其中，一在該第一工件上所實施的操作依賴於將該第一位置的第一座標空間和該第二位置的第二座標空間結合在一起，該系統包括：至少一部視覺系統照相機，其被排列成用以在被定位於該第一位置處時成像該第一工件以及用以在被定位於該第二位置處時成像該第一工件；一校正處理，其以該第一位置為基準來校正至少一部視覺系統照相機用以推知定義該第一座標空間的第一校正資料，並且以該第二位置為基準來校正至少一部視覺系統照相機用以推知定義該第二座標空間的第二校正資料；一特徵符抽出處理，其從該第一工件的第一影像中辨識位於該第一位置處的該第一工件的特徵符，且利用該第一影像中的經辨識的特徵符將該第一工件與該第一座標空間產生關聯，並且從該第一工件的第二影像中辨識位於該第二位置處的該第一工件的特徵符；以及一校正處理，其利用該第一影像中的經辨識的特徵符和該第二影像中的經辨識的特徵符將該第一座標空間和該第二座標空間結合在一起。
  13. 根據申請專利範圍第12項的系統，其中，該第二位置具有一第二工件，該第一工件以所希望的對準方式被放置用以扣接該第二工件。
  14. 根據申請專利範圍第12項的系統，其中，該第一影像中的經辨識的特徵符中的一部分不同於該第二影像中的經辨識的特徵符，且其中，該校正處理進一步用以：(a)以該第一校正資料為基準來映射該第一影像中的經辨識的特徵符的位置，(b)計算一相對於該第一工件的一已儲存特徵符位置規格的轉換函數，(c)以該第二校正資料為基準來映射該第二影像中的經辨識的特徵符的位置，(d)當該工件被放置在該第一位置處時，利用在步驟(b)中所算出的轉換函數在該第一座標空間中推知該第二影像中的經辨識的特徵符的位置；以及(e)計算一轉換函數，用以將在該第二位置處的已映射特徵符映射至在該第一位置處的對應轉換特徵符。
  15. 根據申請專利範圍第14項的系統，其中，該規格係以該第一工件的一CAD模型為基礎或是以該第一工件的一量測模型為基礎。
TW108108676A 2015-08-06 2016-08-02 用以於環境中校正視覺系統的方法和系統 TWI708216B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562201723P 2015-08-06 2015-08-06
US62/201,723 2015-08-06
US15/223,436 2016-07-29
US15/223,436 US10290118B2 (en) 2015-08-06 2016-07-29 System and method for tying together machine vision coordinate spaces in a guided assembly environment

Publications (2)

Publication Number Publication Date
TW201923706A TW201923706A (zh) 2019-06-16
TWI708216B true TWI708216B (zh) 2020-10-21

Family

ID=57853991

Family Applications (3)

Application Number Title Priority Date Filing Date
TW105124422A TWI708215B (zh) 2015-08-06 2016-08-02 用以於環境中校正視覺系統的方法和系統
TW109134770A TWI816056B (zh) 2015-08-06 2016-08-02 用以於環境中校正視覺系統的方法和系統
TW108108676A TWI708216B (zh) 2015-08-06 2016-08-02 用以於環境中校正視覺系統的方法和系統

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW105124422A TWI708215B (zh) 2015-08-06 2016-08-02 用以於環境中校正視覺系統的方法和系統
TW109134770A TWI816056B (zh) 2015-08-06 2016-08-02 用以於環境中校正視覺系統的方法和系統

Country Status (6)

Country Link
US (2) US10290118B2 (zh)
JP (3) JP6685199B2 (zh)
KR (2) KR20170017786A (zh)
CN (2) CN111452040B (zh)
DE (1) DE102016114337B4 (zh)
TW (3) TWI708215B (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10290118B2 (en) * 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
JP2018094648A (ja) * 2016-12-09 2018-06-21 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
CN107543497B (zh) * 2017-03-23 2019-10-01 四川精视科技有限公司 一种非重叠视域双目视觉测量站坐标关联方法
FI127555B (en) 2017-04-05 2018-08-31 Oy Mapvision Ltd Computer vision systems that include coordinate correction
JP6777604B2 (ja) * 2017-08-28 2020-10-28 ファナック株式会社 検査システムおよび検査方法
US11072074B2 (en) * 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems
US11830131B2 (en) * 2018-02-06 2023-11-28 Veo Robotics, Inc. Workpiece sensing for process management and orchestration
CN108436909A (zh) * 2018-03-13 2018-08-24 南京理工大学 一种基于ros的相机和机器人的手眼标定方法
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
DE102018003434A1 (de) 2018-04-27 2019-10-31 Sms Group Gmbh Schrägwalzwerk mit hydraulischer Walzenanstellung
EP3788319A1 (en) 2018-04-30 2021-03-10 Path Robotics, Inc. Reflection refuting laser scanner
CN110539299B (zh) * 2018-05-29 2021-08-17 北京京东尚科信息技术有限公司 机器手作业方法、控制器以及机器手系统
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
CN109079777B (zh) * 2018-08-01 2021-09-10 北京科技大学 一种机械臂手眼协调作业系统
US11263780B2 (en) * 2019-01-14 2022-03-01 Sony Group Corporation Apparatus, method, and program with verification of detected position information using additional physical characteristic points
CN109993800B (zh) * 2019-03-18 2023-01-03 五邑大学 一种工件尺寸的检测方法、装置及存储介质
DE102019107417A1 (de) * 2019-03-22 2020-09-24 Günther Battenberg Verfahren zur Durchführung von zumindest einem Tätigkeitsprozess mittels eines Roboters
CN110335310B (zh) * 2019-07-09 2021-07-02 中国大恒(集团)有限公司北京图像视觉技术分公司 一种非共同视野下的标定方法
CN111791226B (zh) * 2019-12-31 2021-12-03 深圳市豪恩声学股份有限公司 通过机器人实现组装的方法、装置及机器人
TWI731548B (zh) * 2020-01-10 2021-06-21 廣達國際機械有限公司 鋼構之截角加工規劃方法
TWI727628B (zh) * 2020-01-22 2021-05-11 台達電子工業股份有限公司 具有位姿補償功能的動態追蹤系統及其位姿補償方法
CN113155097B (zh) * 2020-01-22 2024-01-26 台达电子工业股份有限公司 具有位姿补偿功能的动态追踪系统及其位姿补偿方法
CN111152229B (zh) * 2020-02-24 2023-08-25 群滨智造科技(苏州)有限公司 3d机械视觉的机械手引导方法和装置
CN111331604A (zh) * 2020-03-23 2020-06-26 北京邮电大学 一种基于机器视觉的阀门旋拧柔顺作业方法
CN111625001B (zh) * 2020-05-28 2024-02-02 珠海格力智能装备有限公司 机器人的控制方法及装置、工业机器人
US11407110B2 (en) 2020-07-17 2022-08-09 Path Robotics, Inc. Real time feedback and dynamic adjustment for welding robots
JP2022047442A (ja) * 2020-09-11 2022-03-24 パナソニックＩｐマネジメント株式会社 情報処理方法及び情報処理装置
CN112577423B (zh) * 2020-10-13 2022-09-09 武汉凌云光电科技有限责任公司 包含在运动中进行机器视觉位置定位的方法及其应用
KR20220087623A (ko) * 2020-12-17 2022-06-27 삼성전자주식회사 기판 처리 장치
CN112879401A (zh) * 2020-12-30 2021-06-01 富泰华精密电子(成都)有限公司 工件加工方法
CN112853835B (zh) * 2021-01-04 2022-04-19 中铁四局集团有限公司 一种用于钢轨铺设的自动控制方法与系统
CA3211502A1 (en) 2021-02-24 2022-09-01 Path Robotics, Inc. Autonomous welding robots
US11912513B1 (en) * 2021-04-14 2024-02-27 Amazon Technologies, Inc. Robotic system camera calibration and localization using robot-mounted registered patterns
CN114378825B (zh) * 2022-01-21 2023-05-12 四川长虹智能制造技术有限公司 一种多相机视觉定位方法、系统及电子设备
CN115383749B (zh) * 2022-10-25 2023-03-24 国网瑞嘉(天津)智能机器人有限公司 带电作业设备的标定方法、装置、控制器及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110280472A1 (en) * 2010-05-14 2011-11-17 Wallack Aaron S System and method for robust calibration between a machine vision system and a robot
US20130010081A1 (en) * 2011-07-08 2013-01-10 Tenney John A Calibration and transformation of a camera system's coordinate system
US20140012416A1 (en) * 2011-03-24 2014-01-09 Canon Kabushiki Kaisha Robot control apparatus, robot control method, program, and recording medium
CN104625268A (zh) * 2015-01-16 2015-05-20 哈尔滨飞机工业集团有限责任公司 一种线切割薄板装夹装置
US20150142171A1 (en) * 2011-08-11 2015-05-21 Siemens Healthcare Diagnostics Inc. Methods and apparatus to calibrate an orientation between a robot gripper and a camera
CN104819690A (zh) * 2015-04-21 2015-08-05 上海瑞伯德智能系统科技有限公司 一种表面贴装元件的双相机机器视觉定位方法

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4380696A (en) * 1980-11-12 1983-04-19 Unimation, Inc. Method and apparatus for manipulator welding apparatus with vision correction for workpiece sensing
US4568816A (en) * 1983-04-19 1986-02-04 Unimation, Inc. Method and apparatus for manipulator welding apparatus with improved weld path definition
US4655596A (en) * 1983-10-28 1987-04-07 Levi Strauss & Co. Workpiece centering apparatus and method
DE3578241D1 (de) 1985-06-19 1990-07-19 Ibm Verfahren zum identifizieren dreidimensionaler objekte mittels zweidimensionaler bilder.
US4841460A (en) 1987-09-08 1989-06-20 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
US4845639A (en) 1987-12-11 1989-07-04 Robotic Vision Systems, Inc. Robotic sealant calibration
US4959898A (en) 1990-05-22 1990-10-02 Emhart Industries, Inc. Surface mount machine with lead coplanarity verifier
US5547537A (en) 1992-05-20 1996-08-20 Kulicke & Soffa, Investments, Inc. Ceramic carrier transport for die attach equipment
US6419680B1 (en) 1993-06-10 2002-07-16 Sherwood Services Ag CT and MRI visible index markers for stereotactic localization
JPH08201021A (ja) 1995-01-23 1996-08-09 Mazda Motor Corp キャリブレーション方法
US6078846A (en) 1996-02-06 2000-06-20 Perceptron, Inc. Calibration and compensation of robot-based gauging system
US6858826B2 (en) 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
US5960125A (en) 1996-11-21 1999-09-28 Cognex Corporation Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object
US5933523A (en) 1997-03-18 1999-08-03 Cognex Corporation Machine vision method and apparatus for determining the position of generally rectangular devices using boundary extracting features
NL1007068C2 (nl) * 1997-09-18 1999-03-22 Nl Laser Res Laserbewerkingsapparaat.
JP4387476B2 (ja) * 1998-07-13 2009-12-16 株式会社明電舎 ビンピッキング位置データ較正装置
JP2001284899A (ja) 2000-04-03 2001-10-12 Yamagata Casio Co Ltd 部品搭載座標補正方法
US6950548B1 (en) 2000-05-17 2005-09-27 Cognex Corporation Creating geometric model descriptions for use in machine vision inspection systems
US6493574B1 (en) 2000-09-28 2002-12-10 Koninklijke Philips Electronics, N.V. Calibration phantom and recognition algorithm for automatic coordinate transformation in diagnostic imaging
US6819789B1 (en) 2000-11-08 2004-11-16 Orbotech Ltd. Scaling and registration calibration especially in printed circuit board fabrication
US6466841B2 (en) * 2001-02-14 2002-10-15 Xerox Corporation Apparatus and method for determining a reference position for an industrial robot
CH696103A5 (de) * 2003-06-06 2006-12-15 Esec Trading Sa Halbleiter-Montageeinrichtung.
US7324682B2 (en) * 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
JP4515814B2 (ja) * 2004-04-28 2010-08-04 パナソニック株式会社 装着精度測定方法
US6901673B1 (en) 2004-05-20 2005-06-07 The Boeing Company Tie-in device for the correlation of coordinate systems
EP1612843A1 (de) * 2004-07-02 2006-01-04 Unaxis International Trading Ltd Verfahren und Einrichtung fuer die Montage von Halbleiterchips
US7583852B2 (en) * 2004-10-26 2009-09-01 Mitutoyo Corporation Method of filtering an image for high precision machine vision metrology
US20060241432A1 (en) 2005-02-15 2006-10-26 Vanderbilt University Method and apparatus for calibration, tracking and volume construction data for use in image-guided procedures
US8482732B2 (en) * 2007-10-01 2013-07-09 Maskless Lithography, Inc. Alignment system for various materials and material flows
CH698334B1 (de) 2007-10-09 2011-07-29 Esec Ag Verfahren für die Entnahme und Montage von auf einem Wafertisch bereitgestellten Halbleiterchips auf einem Substrat.
WO2009047214A2 (en) 2007-10-09 2009-04-16 Oerlikon Assembly Equipment Ag, Steinhausen Method for picking up semiconductor chips from a wafer table and mounting the removed semiconductor chips on a substrate
CN101149836B (zh) 2007-11-05 2010-05-19 中山大学 一种三维重构的双摄像机标定方法
US8264697B2 (en) 2007-11-27 2012-09-11 Intelligrated Headquarters, Llc Object detection device
CN102037308A (zh) 2008-03-21 2011-04-27 维尔瑞尔逊瑞达克逊科技有限公司 提高自动化精度的外部系统
US8106349B2 (en) * 2008-07-16 2012-01-31 Delta Design, Inc. Vision alignment with multiple cameras and common coordinate at contactor for IC device testing handlers
US7686631B1 (en) * 2008-12-12 2010-03-30 J.S.T. Corporation Electrical connector with a latch mechanism
US11699247B2 (en) 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
US8368762B1 (en) 2010-04-12 2013-02-05 Adobe Systems Incorporated Methods and apparatus for camera calibration based on multiview image geometry
CN103153553B (zh) * 2010-08-27 2016-04-06 Abb研究有限公司 视觉引导对准系统和方法
US9021344B2 (en) 2010-08-31 2015-04-28 New River Kinematics, Inc. Off-line graphical user interface system and method for three-dimensional measurement
WO2012135553A1 (en) * 2011-03-29 2012-10-04 Qualcomm Incorporated Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking
JP5924134B2 (ja) * 2012-05-30 2016-05-25 セイコーエプソン株式会社 侵入検出装置，ロボットシステム，侵入検出方法および侵入検出プログラム
CN102922521B (zh) 2012-08-07 2015-09-09 中国科学技术大学 一种基于立体视觉伺服的机械臂系统及其实时校准方法
US10664994B2 (en) 2013-02-25 2020-05-26 Cognex Corporation System and method for calibration of machine vision cameras along at least three discrete planes
US10477154B2 (en) * 2013-03-07 2019-11-12 Cognex Corporation System and method for aligning two work pieces with a vision system in the presence of occlusion
US10032273B2 (en) 2013-03-15 2018-07-24 Cognex Corporation Machine vision system calibration using inaccurate calibration targets
US9958854B2 (en) 2013-06-10 2018-05-01 The Boeing Company Systems and methods for robotic measurement of parts
US9305231B2 (en) 2013-08-01 2016-04-05 Cognex Corporation Associating a code with an object
US9211643B1 (en) 2014-06-25 2015-12-15 Microsoft Technology Licensing, Llc Automatic in-situ registration and calibration of robotic arm/sensor/workspace system
JP5911934B2 (ja) * 2014-09-18 2016-04-27 ファナック株式会社 輪郭線計測装置およびロボットシステム
CN104268876B (zh) 2014-09-26 2017-05-03 大连理工大学 基于分块的摄像机标定方法
US10223589B2 (en) * 2015-03-03 2019-03-05 Cognex Corporation Vision system for training an assembly system through virtual assembly of objects
US10290118B2 (en) * 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
JP6540472B2 (ja) * 2015-11-18 2019-07-10 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP6514156B2 (ja) * 2016-08-17 2019-05-15 ファナック株式会社 ロボット制御装置
US11072074B2 (en) * 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110280472A1 (en) * 2010-05-14 2011-11-17 Wallack Aaron S System and method for robust calibration between a machine vision system and a robot
US20140012416A1 (en) * 2011-03-24 2014-01-09 Canon Kabushiki Kaisha Robot control apparatus, robot control method, program, and recording medium
US20130010081A1 (en) * 2011-07-08 2013-01-10 Tenney John A Calibration and transformation of a camera system's coordinate system
US20150142171A1 (en) * 2011-08-11 2015-05-21 Siemens Healthcare Diagnostics Inc. Methods and apparatus to calibrate an orientation between a robot gripper and a camera
CN104625268A (zh) * 2015-01-16 2015-05-20 哈尔滨飞机工业集团有限责任公司 一种线切割薄板装夹装置
CN104819690A (zh) * 2015-04-21 2015-08-05 上海瑞伯德智能系统科技有限公司 一种表面贴装元件的双相机机器视觉定位方法

Also Published As

Publication number Publication date
TW201923706A (zh) 2019-06-16
JP2018169403A (ja) 2018-11-01
TW201706091A (zh) 2017-02-16
US10290118B2 (en) 2019-05-14
US11049280B2 (en) 2021-06-29
KR20180120647A (ko) 2018-11-06
JP6685199B2 (ja) 2020-04-22
TW202119356A (zh) 2021-05-16
TWI708215B (zh) 2020-10-21
JP2023052266A (ja) 2023-04-11
CN106426161A (zh) 2017-02-22
CN106426161B (zh) 2020-04-07
US20170132807A1 (en) 2017-05-11
JP7292829B2 (ja) 2023-06-19
JP2017037642A (ja) 2017-02-16
DE102016114337B4 (de) 2019-08-14
CN111452040B (zh) 2024-02-20
CN111452040A (zh) 2020-07-28
US20200065995A1 (en) 2020-02-27
TWI816056B (zh) 2023-09-21
DE102016114337A1 (de) 2017-02-09
KR20170017786A (ko) 2017-02-15

Similar Documents

Publication Publication Date Title
TWI708216B (zh) 用以於環境中校正視覺系統的方法和系統
US10223589B2 (en) Vision system for training an assembly system through virtual assembly of objects
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
JP6180087B2 (ja) 情報処理装置及び情報処理方法
WO2019114339A1 (zh) 机械臂运动的校正方法和装置
US10664994B2 (en) System and method for calibration of machine vision cameras along at least three discrete planes
JP2018169403A5 (zh)
JP6324025B2 (ja) 情報処理装置、情報処理方法
JP2019115974A (ja) ビジョンベース操作システムのキャリブレーション及びオペレーション
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
TWI387775B (zh) 定位系統與定位方法
US20210192784A1 (en) Vision system for a robotic machine
JP2019098409A (ja) ロボットシステムおよびキャリブレーション方法
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN110853102B (zh) 一种新的机器人视觉标定及引导方法、装置及计算机设备
JP6735208B2 (ja) キャリブレーション治具、板金搬入システム、及びキャリブレーション方法
KR102446944B1 (ko) 웨이퍼 위치오차 수집장치 및 수집방법
JP2023011319A (ja) 調整支援システムおよび調整支援方法