468055 A7 _____B7_ 五、發明說明（1 ) 【發明所屬之技術領域】 本發明係爲了進行遙控或人不能進去之危險地域，人 手不能直接進行之微小物體之操作或巨大物體之操作，有 關機械手臂之操作技術者，更詳言之，係有關將在顯微鏡 下之微小物體之操作等不能直接用人手進行之作業使用機 械手臂進行時，可由高精度有效率地裝配或排列對象物之 機械手臂控制方法及裝置。 【習知技術】 以往之機械手臂系統係如第11圖所示，一般爲由； 保持機械手臂2，作業機械手臂3，機械手臂控制裝置7 ，操作輸入裝置8，攝像裝置4，攝像條件控制裝置5， 顯示裝置6所構成，操作者一般係邊監視顯示裝置6，以 /目測對於操作輸入裝置8進行輸入，對於操作對象物1進 行作業。以這種系統進行高精度零件之裝配或排列，配置 時|通常係預先嵌合部等裝套於零件，即使較所需精度以 粗糙操作也可用所需精度定位。 然而，未實施這種巧思之零件，或嵌合部之裝套，係 於加工技術上困難之微小零件進行裝配或排列時，稍爲進 行之後，中斷作業，另外使用三維計測方法確認形狀，而 必須依據其結果反復進行修正後進行作業，有效率地進行 作業爲困難之事。 又，爲了支援操作者將對象物或機械手臂之幾何形狀 重疊顯示於顯示裝置之系統迄今已有人提案，但是’其係 本纸張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (請先閲讀背面之法意事項再填寫本頁) '裝-----! —訂--------線一 經濟部智慧財產局員工消費合作社印製 -4- A7 468055 __B7___ 五、發明說明（2 ) C請先閱讀背面之沒意事項再填寫本頁) 因操作者遠離實際作業現場爲了克服時間上之延遲，只不 過是，監視實際畫像與預先模擬之操作訊號是否有不整合 所需之查核之用罷了。 【發明所欲解決之問題】 本發明係將未實施爲了高精度定位之加工之零件，即 使以機械手臂裝配或排列時，以簡易之系統，不必爲了形 狀計測而中斷作業，以實現高精度可得到按照目的之結果 【解決問題之手段】 經濟部智慧財產局員工消費合作社印製 因此，本發明所採用之技術解決手段，係 於進行操作對象物之移動或加工之機械手臂控制方法 ，其特徵爲；依據記錄操作對象物狀態及操作作業後之理 想狀態之資料庫，計算操作作業後之理想狀態之操作對象 物爲由攝像裝置如何攝像，將由攝像裝置所攝像之實際畫 像與由上述計算之畫像重疊於周一畫面上加以顯示，控制 機械手臂，使顯示於上述顯示裝置之上述實際畫像與上述 計算晝像相符， 一種機械手臂之控制方法，其特徵爲；操作者爲變更 攝像條件及機械手臂操作輸入.，或任一時都將自動地重疊 顯示之計算畫像可適當地加以更新， 一種機械手臂之控制方法，其特徵爲：使重疊顯示之 實際畫像與計算畫像正確地相符，可對於畫像計算裝置輸 本纸張尺度適用_國國家標準（CNS)A4規格〈210 X 297公釐) ~ ' A7 468055 ____B7__ 五、發明說明（3 ) 入有關攝像條件及攝像條件特性之補正値，或其任一，又 1使其可記錄於資料庫t 一種機械手臂控制裝置，其係具備：操作輸入裝置， 與機械手臂，與機械手臂控制裝置，操作输入裝置，與攝 像條件控制裝置，與顯示裝置者，其特徵爲；依據記錄操 作對象物之狀態及操作作業後之理想狀態之資料庫，計算 操作作業後之理想狀態之操作對象物由攝像裝置如何攝像 之畫像計算裝置，由攝像裝置所攝像之實際畫像與由依據 上述計算之畫像重疊於同一畫面上顯示之顯示裝置所用之 畫像合成裝置* 一種機械手臂控制裝置，其特徵爲，具備；控制監視 操作作業狀態之攝像裝置之攝像條件控制裝置與上述畫像 計算裝置之間，及，進行操作對象物之移動或加工之機械 手臂控制裝置與上述畫像計算裝置之間連接成可授受資訊 |當操作者變更攝像條件及機械手臂操作輸入，或其任一 時自動地適當更新重疊顯示之計算畫像， 一種機械手臂控制裝置，其特徵爲：爲了重疊顯示之 實際畫像與計算畫像正確地相符，可對於畫像計算裝置輸 入攝像條件及有關攝像條件之特性之補正値，或其任一， 又，可記錄於資料庫， 本發明，其特徵爲如上述對於以往之機械手臂裝置， 添加：記錄操作對象物之形狀或理想裝配.排列後之結果 之資料庫，將依據其計算理想狀態爲映出於攝像裝置之畫· 像計算裝置，將其計算畫像與實際畫像重疊顯示所示之畫 (請先閱讀背面之注意事項再填寫本頁) ------- -訂---------線^- 經濟部智慧財產局員工消費合作社印製 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） -6- 468055 A7 ____B7____ 五、發明說明（4 ) (請先閱讀背面之注意事項再填寫本頁) 像合成裝置，操作者若操作成使顯示於畫面之理想裝配. 排列狀態之畫像與實際畫像相符時，即使未對於零件預先 求出精度之巧思，也不至於中斷作業，可用高精度有效率 地進行作業。 【發明之實施形態】 茲參照圖面詳細說明本發明之實施形態如下。 第1圖係爲了解決第1 1圖之以往系統之問題，對於 以往系統重新裝備資料庫9，畫像計算裝置1 1，畫像合 成裝置1 0。 操作對象物1係由保持機械手臂2所保持，又鄰接於 保持機械手臂2配置作業機械手臂3，在操作對象物附近 配置攝像裝置4而成爲可攝影操作對象物1之構成。又， 畫像計算裝置1 1係與資料庫9連接，再視其需要連接於 攝像條件控制裝置5，機械手臂控制裝置7 (第1圖虛線 )，採用來自各方之訊號可對於畫像合成裝置10輸出計 算結果。 經濟部智慧財產局員工消費合作社印製 作爲使用上述機械手臂控制裝置之具體作業，將第2 圖所示之直方體狀之零件A，B，C配置成如第3圖所示 擬定在A之上使B與C可變成所設計之位置關係之作業。 於第2圖，操作者將此作業邊監視顯示裝置上之畫像 藉操作操作輸入裝置（操作桿，主臂’教導箱，鍵盤等） 進行。於此機械手臂係具有2支臂構成’零件係由保持機 械手臂2所保持，在其上由作業機械手臂3進行作業。保 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） A7 B7 4 6 8 05 5 五、發明說明（5 ) 持機械手臂2係對於攝像裝置4容易監視具有定位對象物 之功能。又’於攝像條件控制裝置5可由操作者之輸入改 變攝像裝置4之可變焦比（攝像裝置爲顯微鏡時則倍率） 。例如，作業前之各零件之情形係在顯示裝置爲如第2圖 所示。 第3圖係表示裝配零件A，B，C之最終狀態之設計 圖（C AD資料）。操作者係邊監視如第2圖之畫面必須 進行裝配作業變成如第3圖之狀態。第3圖之幾何形狀爲 記錄於資料庫9。第4圖係因應保持機械手臂2，3.與攝 像裝置4之位置關係或攝像裝置4之可變焦比（ zoom ratio )(倍率）依據第3圖之資料於畫像計算裝置11所求取 之元件最終狀態以攝像裝置4觀察時之畫像輪廓假想地計 算之結果。只要第2圖之實際畫像與第4圖之輪廓相符進 行作業即可。第5圖係於畫像合成裝置重疊顯示作業中之 實際畫像與計算畫像。第4圖之顯示方法，係除了將輪廓 隱線處理之外，未隱線處理顯示，或顯示對準位置所需記 入補助線者等，依據作業之局面其適當者爲相異。因此， 因應從操作者對於畫像計算裝置之輸入，使其可顯示適當 型式之畫像》進行作業之過程中，例如，對於零件A之B 配置之最終對準位置時等，適當地操作保持機械手臂2， 或，提高攝像裝置4之可變焦比（倍率）如第6圖所示需 要詳細觀察角部分。其情形時，操作者爲對於畫像計算裝 置1 1輸入可變焦比資訊或機械手臂操作資訊，而也更新 計算畫像。藉成爲如此，就可進行由攝像裝置之分解能’ (請先閱讀背面之注意事項再填寫本頁) I---訂-------1·線" 經濟部智慧財產局員工消費合作社印製 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） -8 - 4 經濟部智慧財產局員工消費合作社印製 6 8 055 A7 __B7____ 五、發明說明（ό ) 最大可變焦比，顯示裝置之分解能，機械手臂之分解能所 決定之精度進行正確之對準位置。 並且，攝像條件控制裝置5與畫像計算裝置1 1之間 ，及機械手臂控制裝置7與畫像計算裝置11間連接成可 進行資訊之授受時（第1圖虛線），當操作者變更攝像條 件或機械手臂操縱輸入時，就可自動地適當變更計算畫像 。此時，操作者邊觀看顯示裝置只要操作操作輸入裝置， 攝像條件控制裝置因計算畫像也會追隨變化，所以，與第 1 1圖之以往系統進行作業時同樣進行就可逐行高精度之 作業。 又，通常，在攝像裝置因具有畫像變形或可變焦比之 誤差，與機械手臂之位置關係之誤差，所以，實際畫像（ 第2圖）係顯示受到這些之影響。因此，資料庫不只是操 作對象物之幾何形狀資料，公稱可變焦比與被校正之實際 可變焦比之對應關係，或於各可變焦比之畫像變形係數等 ，有關攝像裝置之資料也加以記錄，必須考慮畫像之各種 誤差要因求取計算畫像（第4圖）。 但是，通常，係攝像裝置之詳細誤差要因事先不知之 情形居多"邊作業使實際畫像與計算畫像相符.，無論如何 配置兩者仍不相符時，則表示攝像裝置之誤差資料不正確 °於是，對於畫像計算裝置1 1输入誤差資料，使其可改 寫有關資料庫之攝像裝置4之資料時，就可邊進行作業視 其需要可將誤差資料加以精密化。若以此系統越進行作業 時’就可提高系統之學習效果，操作者就不必掛慮攝像裝 +紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） {請先閲讀背面之注項再填寫本頁) y. xly, -裝—---訂---I ---•線厂、， -9- 經濟部智慧財產局員工消費合作社印製 6 8 05 5 A7 __B7____ 五、發明說明（7 ) 置之誤差，專注於計算畫像與實際畫像之相符作業即可。 茲將以上所說明之動作，使用第7圖以後之圖更具體 地說明如下。 第7圖所示之表，係表示記載於資料庫9之資訊內容 之圖。內容係可大別幾何形狀資料與畫像補正資料。 幾何形狀資料，係作爲操作之結果欲實現之理想狀態 ，亦即，各個操作對象物之形狀，與將其按照目的之組合 狀態之有關相對性位置關係之資料。其表現形式雖然在 CAD領域各種已所熟知，但是在第7圖作爲最簡單之方 法，表示最終組合之構造物輪廓之線分，或列舉球於三維 空間之座標之方法。層次號碼係指定計算畫像之顯示方法 之號碼，事先準備，經隱線處理之畫像|或未隱線處理之 畫像，或寫入成爲作業基準之補助線之畫像等，認爲在作 業之各階段有效之各種層次（於例爲N枚），從其中操作 者做適當選擇。元件號碼係構成其層次畫像之元件整理號 碼（第i個之層次爲由Ei個元件而成），要件種別 C i j係區別其元件爲線分或球之記號，處理種別H i j 係顯示時區別是否進行隱線處理之計算之記號。續於其後 參數P i j k係依元件種別而個數就不同。線分時，將變 成兩端之（X，y，z,)座標値之6個，球時爲變成中心 座標（X，y，z)與半徑r之4個。斯此之資料列關於 所有層次之元件列舉如下。 再者，畫像補正資料，係爲了補正攝像裝置與機械手 臂之設置誤差所需之各座標軸周圍之角度（α，点，r ) ,I裝--------訂---------線,、 (請先閲讀背面之注意事項再填寫本頁) 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） -10- 468055 Α7 Β7 經濟部智慧財產局員工消費合作社印製 五、發明說明（8 ) 及爲了補正起因於攝像裝置之不完全性之誤差所需之參數 。後者係可變焦比之補正係數S i ，畫像寬高比補正係數 Ai ，晝像之變形補正係數Di (例如，畫面之右端與左 端與可變焦比相異時之補正所需之數値，或畫面深度方向 看起來逐漸變小需要補正之數値），於此例，係對於各個 可變焦比（例係全部具Μ階段）其値可不同。 第8圖係有關本發明之畫像計算裝置之一實施例之方 塊圖。將其構成連同動作說明如下。 中央控制部8 0 1係將資料庫9內容經由資料輸出入 部802取入，幾何形狀資料爲儲存於幾何形狀資料儲存 部8 0 6，畫像補正資料係儲存於畫像補正資料儲存部 8 10° 操作輸入部8 0 3係輸入計算或顯示畫像上所需之資 訊之鍵盤或十數字鍵等，操作者依作業之局面因應操作目 的或作業性指定欲顯示之層次，或指示計算畫像之顯示· 非顯示所使用者。又，若判斷需要畫像補正資料之更新時 輸入新値，或對於攝像條件控制裝置5添加輸入而變更新 可變焦比時輸入其値，或對於機械手臂控制裝置7加輸入 移動保持機械手臂2時也輸入其移動量。一般係首先將欲 輸入之資料種類’藉按下顯示於選單之鍵加以選擇’接著 輸入所需之數値。攝像條件或機械手臂操作資料’係分別 從攝像條件控制裝置5或機械手臂控制裝置7傳輸最新資 訊時，操作者就不需將相同資訊對於畫像計算裝置重新輸 入。其時，操作輸入部8 0 3也包含接收其資訊之電氣訊 (請先閲讀背面之注意事項再填寫本頁) -裝 it — —--—訂 *--- ----*線〈 Γ. 本紙張尺度適用申國國家標準（CNS)A4規格（210 X 297公釐） -11 - 468055 Α7 Β7 五、發明說明（9 ) 號之輸入部。 從操作輸入部8 0 3所輸入之資料將傳輸到中央控制 部8 0 1，指定層次之顯示形式之資料係儲存於顯示形式 指定資料儲存部8 0 7 *可變焦比（倍率）等有關攝像條 件之資料將儲存於攝像條件資料儲存部8 0 8，保持機械 手臂2之移動量等有關機械手臂之資料爲儲存於機械手臂 操作資料儲存部8 0 9。又，輸入畫像補正資料時，就更 新畫像補正資料儲存部810之內容。 畫像計算部8 0 4係依據儲存於各儲存部之資料，計 算欲顯示之理想狀態之畫像。具體之計算內容，係使用變 換矩陣法之畫像之放大.縮小，平行移動，迴轉等三維座 標變換，及*透視變換或隱線處理等，三維形狀之二次元 畫像之投影。記述於幾何形狀資料儲存部8 0 6之資料中 ，選出以顯示形式指定資料儲存部8 0 7所指示之層次者 ，藉參照攝像條件資料儲存部8 0 8，機械手臂操作資料 儲存部8 0 9，畫像補正資料儲存部8 1 0之資料，而計 算考慮將其時之可變焦比或攝像裝置與保持機械手臂之位 置關係或攝像裝置所具之變形之畫像。具體計算數式，係 例如介紹於「吉川弘之編，電腦繪圖論，日科技連社（ 1977)」等。所計算之畫像係經由畫像輸出部805 交給外部。例如，屬於各畫素之亮度資料之矩陣之數位畫 像資料變換爲類比視訊訊號而輸出於外部。最終所得到之 畫像，係將操作對象物1組配成理想狀態之假想地以攝像 裝置4攝像時所得到之畫像之輪廓以高亮度之線顯示者。 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (諝先閲請背面之注項再填寫本頁) 裝--------訂----- 經濟部智慧財產局員工消費合作社印製 -12- ^ 6 B 0 5 5 ^ A7 B7 五、發明說明（10) 以上之處理係製作專用之電路以硬體地實現，或也可 以對於汎用電腦連接畫像輸出盤以軟體地實現。 第9圖係表示於本實施例而中央控制部8 0 1所進行 之動作之流程圖。 首先讀入資料庫之資料（步驟9 0 1)，設定預先所 決定之顯示形式指定資料，攝像條件資料，機械手臂操作 資料之起始値（步驟9 0 2 )，計算暫且之顯示畫像（步 驟9 0 3 )。檢測從操作輸入部8 0 3有任何輸入時（步 驟904)，讀取究竟變更需要何種之輸入，受理因應其 之資料之輸入（步驟905〜9 12)，重新計算顯示畫 像（步驟9 0 3 )。結束檢測後，將儲存於畫像補正資料 儲存部8 1 0之資料保存於資料庫9而結束。此時，畫像 補正資料儲存部810之內容或作業中視其需要已被更新 ，所以，在資料庫9儲存有更高精度化之畫像補正資料， 將被利用於下次以後之作.業。 按，攝像條件資料或機械手臂操作資料，分別從攝像 條件控制裝置5或機械手臂控制裝置7以電氣方式輸入時 ，檢測有無按鍵輸入（步驟9 0 4 )部分，同時也檢測輸 入於操作輸入部8 0 3之電氣訊號資料是否被更新。設若 檢測資料已被更新時，於步驟9 0 6或步驟9 0 7部分， 係操作者替代所輸入之資料讀取電氣訊號即可。 第1 0圖係說明有關本發明之畫像合成裝置1 〇動作 之所用之方塊圖。於畫像計算裝置1 1計算，輸出之畫像 資料，係經由計算畫像輸入部1 0 0 1取入，在計算畫像 本紙張尺度適用中國國家標準（CNS)A4規格（210 X 297公釐） (請先閲讀背面之沒意事項再填寫本頁) < -裝--------訂---------線0* 經濟部智慧財產局員工消費合作社印製 -13- A7 d6B〇55 ____B7____ 五、發明說明（11) 儲存部1 Ο Ο 2保管依各畫素之亮度資料之矩陣。再者， 於依據攝像裝置4所得到之訊號從攝像條件控制裝置5所 輸出之實際畫像資料’係經由攝像畫像輸入部1 0 0 3取 入，在攝像畫像儲存部1 0 0 4依各畫素之亮度資料之矩 陣加以保管。於畫像合成部1 0 0 5，係依據各計算畫像 儲存部1 0 0 2之各畫素之亮度，將產生合成計算畫像與 實際畫像之畫像。亦即，在計算畫像儲存部1 0 0 2之畫 素具有並非零之亮度値時將其値，亮度値爲零時就將對應 於攝像畫像儲存部之畫素之亮度値，寫入於對應於合成畫 像儲存部1 0 0 6之畫素。其結果，就可得到在實際畫像 重疊顯示計算畫像之合成畫像。此資料係在合成畫像輸出 部1 0 0 7變換爲可交給顯示裝置6之訊號（一般爲類比 之視訊訊號）而輸出》以上之處理係製作專用之電路以硬 體式地實現|也可以對於汎用電腦連接畫像輸出入盤以軟 體方式實現。後者時，第8圖與第1 0圖之機能也可由一 台電腦實現。 .按，迄今之實施例，係操作對象物1藉保持機械手臂 2保持，成爲可從攝像裝置4選擇操作對象物1之視線方 向。替代此，也可以將操作對象物1放置於地面，或放置 於攝像裝置4可改變方向之平台。 以上之系統，係除了通常之視訊攝影機之監視下進行 之遙控作業之外 > 在光學顯微鏡或電子顯微鏡之監視下進 行之微細作業，將巨大之對象物以重機械操作之作業，或 由遙控手術之骨格使用金屬件之接合等，可全盤適用於全 .--------裝--------訂---------線η\ (諳先閲讀背面之注意事項再填寫本頁) 經濟部智慧財產局員工消費合作杜印製 本紙張尺度適用中國囤家標準（CNS)A4規格（210 X 297公釐） -14- A7 4 6 8 055 B7 五、發明說明（12) 體機械手臂作業。 又，本發明係不至於脫離其精神或主要特徵，可用其 他種種彤態實施。因而’上述之實施例只不過是例示而已 ，不得限定地加以解釋。並且，屬於申請專利範圍之相等 範圍之變形或變更全部都屬於本發明之範圍內。 【發明效果】 如以上所詳細說明’若依據本發明，可發揮如下之效 果。 (1 )將可邊觀察顯示裝置之畫像操作機械手臂進行 對象物之組配或排列，以高精度有效率地實現。 (2 )操作者係對於畫像計算裝置不必在攝像裝置或 有關機械手臂之資訊於作業中輸入，邊專注於操作，可實 現高精度，高效率之作業 (3 )即使預先未掌握攝像裝置之特性或有關與機械 手臂之位置關係之詳細之誤差資訊，可邊逐行作業儲存正 確誤差資訊。 圖式之簡單說明 第1圖係表示本發明實施例之機械手臂裝置之構成圖 0 第2圖係表示顯示裝置所呈現之攝像裝置所得到之畫 像例之圖。 第3圖係表示作爲目標之操作對象物之裝配作業之完 (請先閱讀背面之注意事項再填寫本頁)
'裝- illi — 訂--ίί — ί 線 V 經濟部智慧財產局員工消費合作杜印製 本紙張尺度適用中國國家標準（CNS)A4規格（210 Χ 297公釐） -15- Λα 經濟部智慧財產局員工消費合作社印製 68 055 A7 ____B7_ 五、發明說明（u) 成狀態之圖。 第4圖係作爲目標之裝配作業之完成狀態以畫像計算 裝置求取之結果之圖。 第5圖係表示將實際畫像與計算畫像重疊顯示之例之. 圖。 第6圖係表示對準位置所需之放大觀察時之實際畫像 與計算畫像之例之圖。 第7圖係記載於資料庫9之資訊內容之圖》 第8圖係說明畫像計算裝置11動作之方塊圖。 第9圖係說明第8圖之實施例之動作之流程圖。 第1 0圖係說明畫像合成裝置1 0之動作之方塊圖。 第1 1圖係以往之典型操縱系統之構成圖。 【符號之說明】 1 操作對象物， 2 保持機械手臂， 3 作業機械手臂， 4 攝像裝置> 5 攝像條件控制裝置， 6 顯示裝置， 7 機械手臂控制裝置，‘ 8 操作輸入裝置， 9 資料庫， 1 0 畫像合成裝置， 本紙張尺度適用中國國家標準（CNi)A4規格（210 * 297公釐1 - 16 - '~ (請先閱讀背面之注意事項再填寫本頁) '裝 訂---------線 rv.-.. Α7 Β7 經濟部智慧財產局員工消費合作社印製 五、發明說明（Μ) 11 畫像計算裝置。 (請先閱讀背面之注意事項再填寫本頁) 、裝 訂----- 線
Lr. 本紙張尺度適用中國國家標準（CNS)A4M (210 X 297^t ) - 17 -