TW486614B - Method and device for teaching stocking robot, and recording media - Google Patents

Method and device for teaching stocking robot, and recording media Download PDF

Info

Publication number
TW486614B
TW486614B TW89116520A TW89116520A TW486614B TW 486614 B TW486614 B TW 486614B TW 89116520 A TW89116520 A TW 89116520A TW 89116520 A TW89116520 A TW 89116520A TW 486614 B TW486614 B TW 486614B
Authority
TW
Taiwan
Prior art keywords
storage
coordinates
teaching
arm
robot
Prior art date
Application number
TW89116520A
Other languages
English (en)
Inventor
Katsumi Yasuda
Original Assignee
Shinko Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shinko Electric Co Ltd filed Critical Shinko Electric Co Ltd
Application granted granted Critical
Publication of TW486614B publication Critical patent/TW486614B/zh

Links

Landscapes

  • Manipulator (AREA)
  • Container, Conveyance, Adherence, Positioning, Of Wafer (AREA)
  • Warehouses Or Storage Devices (AREA)

Description

^86614 / A7 ^______B7_____ 五、發明說明(1 ) [發明所屬技術領域] 本發明係關於以複數裝置於儲置架之各儲置部,使手臂 部按事先求得之定位座標移動,以搬運工作件之倉儲用機 器人之教示方法及教示裝置。 [習知之技術] - 例如,於半導體製造工程中所處理之矽晶圓,係以箱 馨盒單位搬運後,暫時放置於倉儲内。此倉儲係如第8圖所 不’其係具備有:具有多數用以收容箱盒71之儲置部72a 之儲置架72,與用以保持箱盒71並搬動之倉儲用機哭人 73,以倉儲用機器人73將箱盒71搬進或搬出各儲置部 72a 〇 儲置架72之尺寸,因倉儲之規模而異但一般為深i $ 至2.0m,寬3至10m,高3m左右之大小,因分割成幾部 分搬運到裝置現場裝配安裝,故將各儲置部72a以高度的 尺寸精度安裝甚為困難。因而,安裝好儲置架72之後,對 於倉儲用機器人73教示在各儲置部72a中搬運時之定位座 標成為必要。 於此’用①由作業員將倉儲用機器人7 3移動到所有儲 置部72a,藉由作業員確認箱盒71之搬運情形,以教示各 儲置部72a之定位座標,或②事先將儲置部72a之座標等 大致輸入數值,然後使倉儲用機器人實際操作,而由作業 員確認箱盒7 1之搬運情形與修正座標,以教示各儲置部 72a之定位座標。 然而,上述之教示方法中,移動至儲置部72a之後, 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) (由本局塡寫) (請先閱讀背面之注意事項再填寫本頁: 有 經濟部智慧財產局員工消費合作社印製 衣、紙張大 486614 A7 B7 % ——------ ] 五、發明說明(2 由作業員進行教示你 等^ 、作業(例如以數字鍵將位置輸人存_ 等)母教不-個錯置部72a之 分左右之時間,伽1 主知大致而要3分至5 定位座桿之教如’儲置部72a之總數有⑽,則完成 此教心#需要綱分至5〇0分左右之時間。 而言為一大:題’對於要求於極短時間内完成調整之業界 員做:示::題所:;導致,確保安全’係由2位作業 所以亦導致人工成本之提高。 在此’為解決此問題,本申請人提案,特開平8_71973 號公報之倉儲用機器人之 , 圖所示,係以設於各儲置係如第17 成一定°卩2a而與工作件之位置關係形 成疋關係之標記裝置65,與為檢測出標記裝置65與手 臂部6 1而設於手臂部6〗 /、 一辟罢加士 ^ 之位置私測裝置03,以求出在任 ° ,、手臂部移至定位座標時手臂部與桿記之位 置關係做為基準位置;其他各儲置部中,則根據儲置竿= 計資料等之儲置部座標以移動 ° 初卞I邵時,對於手臂部檢測 標記之位置關係做為修正位置。麸 正位置與基準位置成為一致時/將二:動手臂部使此修 部之定位座標而教示者。料臂部座標做為各儲置 [發明所欲解決之課題] 然而,因在位置檢測裝置63使用CCD攝像機及距離 感知器64,使得要認識標記裝置65必須將手臂部η移至 其正上面附近,而且,以將手臂部移到修正位置與基準位 置成為-致的時候之座標’做為各儲置部之定位座標, I以於教示時必需將手臂部移入各儲置部72a内,使得手 本紙張尺度適用中國國家標準(CNS)A4規烙(210了 意 事 項 再 填 寫 頁 訂 線 所 2(修正頁) 311705 A7
五、發明說明(3 )
部之移動多,作業時門知且 —一 U ,、、3拉長。而且,儲置部放置有工作件, 則手臂可能碰觸到工作件。 千隨之何生出機器人之轴心偏離 等異常發生後之再勃+ ^ ^ _ ’、’或疋期保養時之再教示時,必需 把工作件移開之問題。 特開平8-71973號公報中之位置檢測裝置,係 由CCD攝像機等之攝像裝置與影像處理裝置所構成,將攝 取標記之影像信號由影傻虛 /像處理衣置數位化,以認識影像中 之標記位i &且’影像處理必需有高速之計算,而將計 算裝置小型化到手臂部可搭載程度之大小頗為困難,且, 自動教不作業中之狀況,作業員有必要監視等原因,以致 需將影像處理裝置設置於離開攝像裝置之場所。因而,需 有將影像㈣由攝像裝置傳送到影像處理裝置之裝置。然 而在機器人内連接影像信號傳送用冑線以有線傳送有其 困難,所以以電波或光等無線之傳送成為有效之方法;; 但是,為提昇倉儲内部儲放率,為無空曠空間之設計, 且,因儲置架等金屬物多,所以以無線傳送影像,則有送 收信機間被遮蔽或受到多重散射之電波之干擾而有受信影 像產生亂像之可能。因而,有產生標記位置之檢測精度不 良或無法檢測之情形。 於此,本發明之目的在於提供可自動教示各儲置部之 座標位置,於教示時不必移開儲置部之工作件即可教示, 且具備有檢測裝置,能將設於各儲置部之標記位置,即使 以無線亦不致於產生檢測精度不良或無法檢測之一種倉儲 用機器人之教示方法,教示裝置以及記錄媒體。 本纸張尺度適用中國國家標準(CNS)A4規格(210 x 297公釐) 3(修正頁) 311705 請 先 閱 讀 背 面 % 訂 線 Α7 Α7
士 |紙張尺度適用中國國家標準(CNS)A4規格⑵G X 297公髮) L、發明說明(4 ) [用以解決課題之手段] 為解決上述課題之申請專利範圍第1項之倉儲用機器 人之教不方法’係具備·具有沿設置於儲置架之複數儲置部 而订走之第1姿勢,與朝上述各儲置部之定位座標移動以 搬運_作件之第2姿勢之手臂部之倉儲用機器人,用以逐 -教示各儲置部之上述定位座標之方法,其特徵在設有在 各儲置u可與上述定位座標維持一定關係之標記裝置 並且在處於上述第!姿勢之上述手臂部設置可檢測出與上 «記裝置之位置關係之位置檢測裝置,使處^上述第i 姿勢之手臂部邊行走邊移動至上述各儲置部之位置座標, 以上述位置檢測裝置檢測出上述標記裝置之標記座標,根 據上述標記座標計算出各儲置部之定位座標。 不需將手臂部移至搬運各儲置部内之工作件之位置座 標’以第!姿勢即可教示各儲置部之定位座標,可大幅縮 短教示所需之時間。而且,因為不需將手臂部實際地移至 搬運工作件之位置,所以即使儲置部存放有工作件,亦可 教示定位座標。 申請專利範圍第2項之倉儲用機器人之教示方法,係 於申請專利範圍第!項之中,在上述儲置部設置顯示各儲 置。卩之座標位置之ID標記,使處於第j姿勢之手臂部邊 行走邊以上述位置檢測裝置檢測出上述ID標記,以使上 述手臂部移至上述各儲置部之位置座標者。 無需預先將各儲置部之位置座標輸入。而且,可避免 各儲置部之位置座標之輸入錯誤,可確實教示各儲置部之 "3in〇r (請先閱讀背面之注意事項再填寫本頁) -丨裝 • n n n ----訂----- •線· -H ϋ I I I - 486614 經濟部智慧財產局員工消費合作社印製 A7 五、發明說明(5 ) 定位座標。 申請專利範圍第3項之倉儲用機器人之教示方法,係 於申請專利範圍第1項之中,根據預先輸入於上述各儲置 部之位置座標,使上述處於第i姿勢之手臂部移至上述各 儲置部之位置座標者。 由預先輸入之各儲置物部之位置座標,與在位置座標 之位置檢測裝置所檢測出之標記裝置之座標之位置關係, 計算出各儲置部之定位座標而教示者。 申請專利範圍第4項倉儲用機器人之教示裝置係具備: 具有沿設置於置物架之複數儲置部而行走之第丨姿勢與朝 上述各儲置部之定位座標移動以搬運工作件之第2姿勢之 手臂部之倉儲用機器人,用以逐一教示各儲置部之上述定 位座標之裝置;其特徵在具備:在各儲置部設置成與上述定 位座標形成一定關係之標記裝置;與設置於處在上述第i 姿勢之上述手臂部而可檢測出與上述標記裝置之位置關係 之位置檢測裝置,以及計算上述標記裝置之標記座標與上 述定位座標之位置關係以教示各儲置部之定位座標之教示 控制裝置者。 無需將手臂部移至各儲置部内之搬運工作件之位置座 標,以第1姿勢之形態檢測出各儲置部之標記裝置之標記 座標,即可教示各儲置部之定位座標。 申請專利範圍第5項之倉儲用機器人之教示裝置,係於 申睛專利範圍第4項之中,上述位置檢測裝置係可按兩影 像之視差,根據立體視之原理計算出3次元座標之立體攝 巧張尺度適財關家標準(CN$T規格(21〇 x 297公釐 (請先閱讀背面之注意事項再填寫本頁) •丨裝 — II 訂! 幾614 五、發明說明(6) 像機者。 因係採用視野廣闊之立體攝像機,所以手臂部在第^ 姿勢之狀態下,即可檢測各標記裝置。 申請專利制第6項之倉㈣機器人之教示裝置,係 於申叫專利範圍第4項之令,上述位置檢測裝置係使用1 台攝像機,移動規定距離而進行複數次拍攝,由此等影像 參之視差並根據立體視之原理,計算出3次元座標之 像機者。 因可以1 口攝像機進行位置檢測,所以可使裝置小型 化且單純化。 申請專利範圍第7項之倉儲用機器人之教示裝置,係 於申請專利H圍第4項之t,上述位置檢測裝置係由視野 分割光學系與1台攝影機所構成之立體攝像機者。
經 濟 智 慧 財 產 局 員 工 消 費 合 作 社 印 製 以1 口攝像機1次之攝像,即可獲得視差影像,所以 可使裝置小型化且單純化。而且,因不需伴隨攝像機架之 移動’所以處理時間不致於拉長。 申請專利範圍第8項之倉儲用機器人之教示裝置,係 於申請專利範圍第4項至第7項之任何1項之中,具備有, 設置於上述位置檢測裝置之近傍,將其影像信號以無線送 信之送信裝置;接收由上述送信裝置所送來信號之複數之 收信裝置;由上述複數之收信裝置之中選擇1個,並由所選 擇收信裝置輸入影像信號之影像輸入裝置;以及解析由上 述影像輸入裝置所輸入之影像之影像解析裝置者。 於是可檢測出各儲置部之位置檢測時之影像之亂像, 本纸張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) 6 311705 486614 A7 B7 五、發明說明(7 ) 而且,可選擇位於收信良好位置之收信裝置以輸入影像, 所以可減輕教示作業之重做或確認作業,提昇作業效率。’ 並且’提昇各儲置部之教示之定位精確度。 申請專利範圍第9項之記錄媒體,其係記錄有對倉儲 機器人逐一教示各儲置部之定位座標所需之程式,該倉館 機器人所设置之手臂部具備有·具有沿設置於置物架之複 數部而行走之第i姿勢與朝上述各儲置部之定位座標移動 以搬運;"作件之第2姿勢,該程式係利用設在各儲置部使 其與上述疋位座標可形成一定關係之標記裝置,與設在處 於上述帛1姿勢之上述手臂部而可檢測出與上述標記裝置 之位置關係之位置檢測裝置’使上述第i姿勢之手臂部邊 行走邊讀取上述標記裝置,以計算出該標記裝置之標記座 標與上述各儲置物部之定位座標之位置關係,使教示各錯 置部之定位座標之教示控制裝置操作式,且該程式為電腦 可讀取者。 因而,已存在之倉儲用機器人之各儲置部之定位座標 之教示,可自動化。 [實施例] 有關本發明之實施形態之一例,參照圖面說明如下; 實施例1: ’ 本實施例有關倉儲用機器人之教示方法,適用於如第 1圖所不,在儲置架2縱橫行列狀複數設置之各儲置部h , 藉由使手臂部11根據定位座標移動,將例如箱盒3之工作 件搬運之倉儲用機器人者。 U1705 訂 線 本紙張尺度適用中國國家標準(CNS)A4規格(21〇 x 297公爱 A7 發明說明(8) 亦即’倉儲用機器人係設置於例如在無塵室内為製造 半導體或液晶顯示基板或磁碟等生產線之各工程之倉儲 (請先閱讀背面之注意事項再填寫本頁) 1倉儲1具有儲置架2,而儲置架2則設置有多數儲置部 2a ’以收容用以保持晶圓之箱盒3。 此等各儲置部2a設置有載置板16,而載置板16則設 置有用以教示定位座標之標記裝置15。此標記裝置15設 置成,與設於載置板丨6用以固定工作件之固定部丨7形成 定之位置關係。而,此標記裝置i 5之近傍,則設置有記 錄各儲置部2a之位置座標之1]〇標記18。且,此儲置架2 之W方,與儲置架2平行地設有行走軌道4,而行走軌導4 則。又有可在箭號(左右)方向往復移動之倉儲用機器人5。 ,上述倉儲用機器人5係具有,在行走執道4上行走之 行走部6,與縱设於行走部6之柱部7,以及,可昇降地設 置於柱部7之箱盒保持部8。 經 •濟 部 智 彗 財 產 局 員 工 消 費 合 社 印 制 箱盒保持部8,如第2圖所示,具有可相對於柱部7旋 轉之第1搖臂部9,與可相對於第j搖臂部”走轉之第2 搖#。卩10 ’以及设置於第2搖臂部i 〇頂端部之手臂部U。 然後’手臂部11則具有可互往相反方向移動之一對手夾 12 12 ’藉由使手夾12 · 12之間開閉而可將箱盒3保持及 放開。又,本說明書中,搬運第2圖⑷之箱盒3時之手臂 部11之狀態稱為第2姿勢,將沿第2圖⑻之儲置架2行 走時之手臂部11之狀態稱為第i姿勢。 第2搖臂部10之頂端部,如第3圖所示,設置有形成 位置檢測裝置之立體攝像機30。立體攝像機3(^由Μ 111705 本紙張尺度翻巾關家鮮(CNS)A4祕(210^J97公爱)- 486614 ΚΙ 經濟部智慧財產局員工消費合作社印
^00014 ^00014 經 濟 部 智 慧 財 產 局 消 費 合 作 社 印 製 B7 五、發明說明(10) 送到教示控制裝置34之俨#驻娶,c 圖之以加、 之‘記裝置15之影像,如第5 =之主要部分之方塊圖所示,由收信機…、糾送來之声 =,係由多路轉換器3,選擇其中之一方,由"Ο轉 處^轉換成數值資料,存鍺於存儲器39之後,由咖8|| 具體而言’手臂部u移至儲置部23之規定之位置,|| _形成可攝得標記裝置15之影像之妝錐 _ . . | 零 々像之狀恶,則由多路轉換器| &擇收信機33a,將影像資料存儲於存儲器39。影像資| 料為各像素具有濃淡度之濃淡影像資料,所以以所定之門丨| 檻值給予二值化。收信機33a之收信狀態良好時,如第6 - =⑷所示,可獲得標記裝置15之兩個圓形成黑圓之二值 影像,而可由各黑圓之重心位置認識標記座標與傾斜角。 另—方面’ S收信機33a之收信.狀態不(,則影像信號混 入雜波,而可能形成例如第6圖(b)之二值影像。計算此影 像之重心位置,則與原來之標記裝置15之圓之中心產生偏 離,而無法使用於教示。因此,將二值影像之黑圓部之面 積、寬W、高H、或黑圓部分内白孔之數量、面積等亦一 併算出,如此等數值偏離預先設定之範圍時,則放棄該影 像資料,將多路轉換器3b切換到收信機33b,再度輸入影 像進行同樣之處理,以認識標記裝置15之座標與傾斜角。 此外’如本發明由數公尺至10公尺程度之距離送收影像信 號時,使用UHF帶之微弱電波,因送收信機可為小型且價 廉而較佳。再者,由於電波之多重散射而產生千擾手臂部 Π(送信機32)位置無規則性,只要將手臂部丨1或收信機 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) 311705 486614 A7 經濟部智慧財產局員工消費合作社印製 五、發明說明(U) 33a' 33b之位置稍為偏移,則收信狀態立即變化。因而, 無需將收信機33a與33b彼此之配值嚴密地設定,只要離 開1公尺以上放置,則兩收信機之收信狀態不良之可能性 小,而做為教示作業使用已足夠。當然’有時為提升^確 性,設置3台以上之收信機,由其中選擇良好者加以處理 亦可。又,在此,雖以使用二值影像之例說明收信狀態良 否之判定,但採用二值化前之濃谈影像判定亦可。亦即, 雖收信狀態良好時,標記裝置15之圓部之像素之濃度值大 致為相同,但若受雜波干擾,則因偏差變大,所以預先計 算出濃度值之標準值差,於多於規定值時判定為收信不良 亦可。 此外,本實施例之說明係以電波之無線方式,但採用 紅外線等光線之無線方式亦可。採用光線時,雖無干擾之 障碍,但送收信機若非位於可互相對視之位置,則收信之 可能性變小。所以,收信機33a、33b等複數之收信機,不 f手臂部11位於何位置,至少選擇設置i個送信機位於 可對視之位置即可。 本實施例係有關一種倉儲用機器人,其係如上所述之 構成。其次,就其教示方法,參照第J圖至第4圖,以及 第7圖說明如下; f先,將手臂部11移動到儲置架2中之位於角落部(開 始位置)之儲置部2a附近。其次,以攝像機仏拍攝儲置 部2a(第7圖⑴),由所拍攝之影像,卩OCR程序檢測有 無1D標記18之標簽(第7(2))。如果找不到ID標記18之 本紙張尺度適用中國國家標準 311705" (請先閱讀背面之注意事項再填寫本頁) #丨裝 • ΠΗΗΑ Bfi n t ---1訂----------線赢 叶〇〇0丄4 A7 五、發明說明(12) a| 則由第7圖(3)進到⑷,移動手臂部心攝像㈣ 見野偏移,再度以攝像機31a拍攝錯置部h(第7圖 ),由所拍攝之影像,以〇CR程序 …標簽(第7圖⑺)之動作,一直找覆:^ 庐焚 且获判出標記1 8之 則由第7圖(3)進到⑺,讀取記載於出標記 =:置4標等資訊’並將該資訊記憶於教示控制裝置 之存儲.(第7圖(5))。其次,將手臂部u移動 據倉儲1之各儲置部2a逐一之設 、 裝 之狀態)之手臂部心各:置:= ==位置座標所預先輸入之標記裝…攝像; 攝像座“。然後’以攝像機31a、31b拍攝 =圖⑺),將標記裝置15之影像,以教示控制裝置攝 仃立體影像處理,計算出標記裝置15之標記座 作為先前所讀取出標記18之位 座不, 憶("圖(,在此與標:裝之置= ==,係已預先以。其次將手臂部u移動到下一 _ a進仃與上述相同之處理(第7圖(a))。一 H # 動作直到儲置架2之終端位置為止(第二。直:上覆: 述,知描儲置架2全體’即可檢測出全體儲置部h
座標與標記座標。 I 如,’因在各儲置部2a設置標記裝置15與出標記 18,並刀別以檢測裝置之立體攝像機3G拍攝,僅將A影像 控制裝置34計算處理,可教示儲置架2之各錯置部 2a之疋位座標。 丨 本紙張尺度適用中國國家標準(CNS)A4規格(21G x 297公爱 12 111705— 486614 經濟部智慧財產局員工消費合作社印製 A7 五、發明說明(13〕 實施例2:
其次’如第10圖所示,係說明在載置板16不設置ID 才示g己1 8時之另一實施例。本案施例中,除了不設置id標 °己之外,其他包括手臂部11之倉儲用機器人之架構 與上述為止之實施例相同,所以付予相同之圖號並省略重 複之說明 本實施例中,首先,根據倉儲之各儲置部逐一之設 計資料等,將第1姿勢(第2圖(b)之狀態)中之手臂部U 之相對應於各儲置部2a之各標記裝置1 5之位置座標之攝 像座標輸入。此處之所謂攝像座標,係為以立體攝像機3〇 拍攝各儲置部2a之標記裝置15之位置座標。在此,本發 明中之倉儲用機器人之座標系,係如第8圖所示,設定成 行走部6之行走方向為χ,面向儲置架2大致往深度之方 向為Υ’箱盒保持部8之昇降方向為ζ之移動座標系χγζ。 而且,設定固定於手臂部U之手臂座標系ΧηΥηΖη,並藉 由移動座標系中手臂座標系之原點座標值,以及χ軸與 軸所形成之角度0η,來表示手臂部11之位置姿勢。 與上述攝像座標之輸入前後或並行,如第1圖所示, 準備1個箱盒3,並由作業員將其載置於任意之一個儲置 部2a’之載置板16上。此後,與先前相同,將未圖示之教 不操作開關(teaching pendant)連接於控制裝置,如第2圖 (a)所示,操作教示操作開關,使手臂部u位於可確實握 持箱盒3之位置之大致正上方之位置。然後,將此時之手 臂部11做為第2姿勢。以此位置之手臂部〗丨之位置座標 I ifi es n ss i n ife E N ί ΠΒ 8f i ERB SB ϋ t n ---- j.a u JJ »8 8 (請先閱讀背面之注意事項再填寫本頁)
___ B7 五、發明說明(14) 做為基準教示座標存儲於教示控制裝置34。 其次,將手臂部·11移動至該儲置部2a,之攝 亦即,將丰替# Ί、 ^ Μ ^。 3〇摄跑 第1姿勢。然後,以立體攝像機 攝取標記裝置15。以立體攝像機3〇所攝得之影像俨號, :以教示控制裝置34,如上述數值化並予處理。接着’: :示控制裝置34’如第9圖所示由立體攝像機3〇… 檢測出標?置15之兩個圓,由兩影像之視差根據:體 —之原理’计异出對於各圓中心之手臂部i i之相對的三次 =座標值。根據此值計算出之手臂座標系中圓之♦心:: = (Ά,ζΜ,)以及圓中心之角度%。如此計測出餘置 二a之標記座標(Xm w〜),做為基準標記座標 存儲於教示控制裝置34。 ^其次,使手臂部11維持於第1姿勢之狀態,按預先設 0之次序,移至相應於各健置部23之位置座標之攝像座 *,以拍攝各標記裝置15,並計測其標記座標(XM Ym Zm 0 Μ)做為各儲置部2a之標記座標而存儲於教示控制裝置 34° 然後,在教示控制裝置34中,由各儲置部2a之標記 =與基準標記座標之^異,及各㈣部23之攝像座標與 儲置部2a,之標記裝置15於攝像時之位置座標之差異,計 :出修正值’而修正基準教示座標,並在各儲置部。中計 鼻出可雄實握持箱盒3之位置而做為教示座標。 具體而言’設儲置物2a,’以及將成為教示對象之儲 置部2a之攝像座標中手臂部】】之位置為%,γρ , &,θ T11705 本紙張尺度適用帽國家標準(CNS)A4規格⑵Q χ 297公爱) 486614 A7 B7 五、發明說明(15) P,=o)及(χΡ,γρ,Ζρ,θρ=0),移動座標系中基準標記座標為 (xp’+ XM’,YP’+YM’,Zp’+zM,,0 Μ,),健置部 2a 之標記座標^ (Χρ+ΧΜ? Υρ+ΥΜ? Ζρ+ΖΜ? θ Μ) ο 設基準教示座標之手臂部Π之位置為(Xa,Ya,Za 0 ) 則在儲置部2a中教示座標(Xa,,Ya,人,0 a ;,係;由下3式 計算出; Xa=Xa’ + (Χρ +χΜ)-(XP,+XM,) Ya=Ya’ + (YP +YM)-(Yp, +YM〇Za=Za’ + (zp +zM)一(Zp’ +ZM,) 請 先 閱 讀 背 s 之 注 意 事 項 再 填 本 頁 裝 訂 Θ 經濟部智慧財產局員工消費合作社印製 此外,上述中,為使說明簡單化,將各儲置部2a之各攝像 座標之旋轉角Θ p,,將0 p,設定為〇,但〇以外之場合,亦 可經由適當之座標轉換,而可以計算出。 如上所述,按本發明,在將手臂部丨i維持於可在各儲 置部間移動之第1姿勢之狀態下,可移動至各儲置部2a 之攝像座標,因僅經由攝像·計算處理即可獲得各儲置部 2a之教示座標,所以可在短時間内完成教示。而且,因鉦 需將手臂部11插入儲置部2a上,所以,即使儲置部2a 放置有箱盒3,亦可進行教示。 此外,以上之實施例中,係說明採用設置成規定間隔 之立體攝像機30做為位置檢測裝置時,但採用如下例之位 本紙張尺度適用中國國家標準(CNS)A4規格(21〇 χ 297公爱) 15 311705 線 486614 A7 B7 五、發明說明(16) 置檢測裝置以替代上述之立體攝像機亦可。 實施例3 : (請先閱讀背面之注意事項再填寫本頁) 例如第11圖所示,用以檢測標記裝置15及id標記 18之位置檢測裝置,設置J台攝像機31於手臂部η,以 替代上述立體攝像機3〇。以此1台之攝像機3卜分別檢測 標記裝置15及ID標記18。 經濟部智慧財產局員工消費合作社印製 其檢測方法’如第12圖所示,首先,檢測出儲置部 2a之位置座標。在設有ID標記i 8時,檢測出此id標記 18,而由記载於該處之資訊認識儲置部之位置座標。在 未設有m標記18時,則輸入各儲置部2a之位置座標。其 次,標記裝置15之標記座標之檢測,係如第12圖(a)所示Γ 將手臂部U移動至預先輸入而可拍攝標記裝置15之攝像 座標,獲得此時之影像資料a。其次,如第12圖⑻所示, 將手臂部11僅移動規定距離La而拍攝,可獲得影像資料 將所得影像資料a,b分別送信給教示控制裝置34。以 教示控制裝置34,將此等影像資料a,b做為視差影像處沿 :算出標記裝置15之三次元座標。另外,於獲得視差影偉 …臂部U之移動,係不限定於如本實施例之又方向 (紙面左右方向),只要可獲得視差影像,貝"方向(紙面上 向方向⑴方向等其他方向之移動亦可計算出標 1 5之標記座標。 夏 2裝=5’以1台攝像機,即可進行檢測1D標記18及標 «裝置’所以,手臂部u之小型化成為可能。 實施例4:
本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) 3117〇r Α7 Β7 經濟部智慧財產局員工消費合作社印製 五、發明說明(17) 風 如第13圖所示,以1台攝像機3 1與視野分割光 /、冓成之立體攝像機3 0,做為位置檢測裝置,設置於 手臂部11使用亦可。 野刀J系50,係如第14圖所示,由4枚鏡子51L, 。,52L,52R所構成。其中,鏡子52L·與52R形成約90 角度而有1邊互相連接,此相接之1邊,與攝像機3 1 之中心軸C軸約為一致而配置著。然後,與此等鏡子52L 與5找各自之面,形成面對面地在左方配置有鏡子51L, 右方配置有51R。鏡子爪及51R,係各自配置成可照到 標'己裝置15之角度。於是,對於攝像機31之視野之左半 邊可拍攝到對於攝像機為左方向之影像,右半邊則拍攝右 方向之影像。 第15圖係顯示介由視野分割光學系5〇所攝得之標記 裝置15之影像。影像之左半邊係由第14圖之[方向拍攝 之衫像,右半邊係由R方向拍攝之影像者。將此影像做為 視差影像送到教示控制裝置34,即可在教示控制裝置W 計异出標記裝置15之標記座標。如此,僅以一次之拍攝所 得之影像即可獲得視差影像,所以可縮短攝像時間等,隨 之可縮短教示所需時間。 而且,以此攝像機30與視野分割光學系5〇組合之其 他例,如第16圖所示,在手臂部丨〗分別設置攝像機“A 及3〇Β ’分別檢測各所對應之兩個標記裝置15Α及l5B亦 可。如此,因藉由各攝像機3〇Α及30Β,可分別檢測標2 裝置15Α及15Β,所以此等標記裝置15Α及15Β即使為八 (請先閱讀背面之注意事項再填寫本頁) ·丨裝 訂----- •線 A7 五 、發明說明(18) 離之狀況亦可。此時,視野分刻 町刀割先學系50A及50B,即# 係將影像上下分割而配置,戋Λ 4馬左右分割之配置亦盔妨。 又,即使不與此視野分割光學系 、 .ν 汔予糸50組合之立體攝像機,而 奋分別將各個標記裝置15各以摄 合从攝像機檢測之方式,例如 施例1及實施例2,採用由兩a 、 拖 陶σ攝像機所形成之立體攝像 機,或例如實施例3,使1 a裾施Α必a 口攝像機移動以獲得視差影像 之方式亦可。 [發明之功效] 本發月,係如以上所述之構成,依據申請專利範圍第 :之倉儲用機器人之教示方法,因無需使手臂部移至搬 運各儲置部内之工作件之位置座標,以第i姿勢即可教示 各儲置部之定位座標,可大幅縮短教示所需時間。而且, 因為不需將手臂部實際地移至搬運工作件之位置,所以, 即使儲置部存在工作件,亦可教示其定位座標。因而,即 使儲置部内存在有工作件,亦可教示各儲置部之定位座 標,於教示時,手臂部與工作件亦不致有所接觸。 、而且,按申請專利範圍第2項之倉儲用機器人之教示 方法,無需預先將各儲置部之位置座標輸入。且,可避免 =儲置邛之位置座標之輸入錯誤,因可確實地教示各儲置 4之义位座標,故可大幅縮短教示時間。 另外,按申請專利範圍第3項之倉儲用機器人之教示 法可由預先輸入各儲置部之位置座標,與此位置座標 中由位置檢測裝置所檢測出之標記裝置之座標之位置關 糸ΊΓ。十鼻出各儲置部之定位座標而教示之。 W尺 (CN^^.格⑽ Χ 297 公爱) — "311705 A7 經濟部智慧財產局員工消費合作社印製
A7 五、發明說明(20) 狀態說明圖。 曰第2圖(a)係顯不手臂部握持箱盒之狀態(第2姿勢)說 月圖。(b)係顯示手臂部在儲置部間移動之狀態(第丨姿 說明圖。 第3圖係用以說明關於實施例i之手臂部、位置檢測 裝置以及載置板之位置關係斜視圖。 帛4圖係顯示收信機與教示控制裝置之位置關係說明 圖。 第5圖係教示控制裝置之方塊圖。 第6圖為顯示立體攝像機所拍攝影像之二值化影像。 (a)為收信狀態良好,(b)為收信狀態不良時之圖式。 第7圖為顯示教示各儲置部定位座標之方法流程圖。 第8圖為手臂部座標系說明圖。 第9圖為標記座標之位置姿勢說明圖。 第10圖係用以說明關於實施例2之手臂部、位置檢測 裝置、及載置板之位置關係斜視圖。 第11圖係用以說明關於實施例3之手臂部、位置檢測 裝置、及載置板之位置關係斜視圖。 第12圖(a)、(1))係用以說明關於實施例3之標記裝置 檢測方法之圖。 第13圖係用以說明關於實施例4之手臂部、位置檢測 裝置、及載置板之位置關係斜視圖。 第14圖為顯示關於實施例4用於位置檢測裝置之視野 分割光學系之架構圖。 請 先 閱 讀 背 面 之 注 意 事 項 再 填 寫 本 頁 k 訂 經 濟 部 智 慧 財 產 局 員 工 消 費 合 作 社 印 製 本紙張尺度適用中國國家標準(CNS)A4規格(21〇 x 297公釐) 20 311705 經濟部智慧財產局員工消費合作社印製 486614 A7 B7 五、發明說明(21 ) _ 第15圖為顯示關於 關於實施例4由位置檢測裝置所獲得之 0像圖。 第16圖為顯示實施例4之變化例圖。 第17圖係為說明設於習知之手臂部之位置檢測裝置 之斜視圖。 (請先閱讀背面之注意事項再填寫本頁)
第1 8圖係顯不習知例者,為顯示倉儲用機器人教示定 位座標之狀態說明圖。 [圖號之說明] 卜 71 倉儲 2 - 72 儲置架 2a ^ 72a儲置部 3 箱盒 4 行走執道 5 ^ 73 倉儲用機器人 6 行走部 7 柱部 8 箱盒保持部 9 第1搖臂部 10 第2搖臂部 11、61 手臂部 12 手夾 15、 15A、 15B、65 標記裝置 16 載置板 17 固定部 18 ID標記 30 - 30A、 30B、63 位置檢測裝置 31a 、31 b 攝像機 32 送信裝置 33a 、33b 收信裝置 34 教示控制裝置 35 顯示裝置 36 多路轉換器 37 A/D轉換器 38 CPU 39 存儲器 40 顯示電路 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) '一"21 311705 486614 A7 ___B7 五、發明說明(22) 41
經濟部智慧財產局員工消費合作社印製 50 > 50A、 50B 視野分割光學系 51L、 ‘ 51R、 52L、 52R 鏡子 64 距離感知器 本紙張尺度適用中國國家標準(CNS)A4規格(210 X 297公釐) 22 311705 I ϋ etmt ϋ ^1· ^^1 ί n l_i I n mmmi 1.-1 n n a·.·— -ala·* 訂--------—線 (請先閱讀背面之注意事項再填寫本頁)

Claims (1)

  1. 486614
    經濟部智慧財產局員工消費合作社印製 •種倉儲用機器人之教示方法,該倉儲用機器人具備有 該手臂部具有沿設置於儲置架之複數儲置部行 走之第1姿勢與往上述各儲置部之定位座標移動用以搬 運工作件之第2姿勢,並對該機器人逐一教示各儲置部 之上述定位座標之方法, 其特徵在:於各儲置部設置可與上述定位座標形成一 定關係之標記裝置,並且,於上述第1姿勢之上述手臂部, 設置可檢測出與上述標記裝置之位置關係之位置檢測裝 置, 使上述第1姿勢之手臂部邊行走邊移動至上述各儲置 部之位置座標,以上述位置檢測裝置檢測出上述標記裝置 之標記座標,根據上述標記座標,計算出各儲置部之定位 座標。 2·如申請專利範圍第1項之倉儲用機器人之教示方法,其 中,於上述儲置部設置顯示各儲置部位置座標之ID標 記,使處於上述第1姿勢之手臂部邊行走邊以上述位置 檢測裝置檢測上述ID標記,並使上述手臂部移動至上 述各儲置部之位置座標者。 3·如申請專利範圍第1項之倉儲用機器人之教示方法,其 中,根據預先輸入於上述各儲置部之位置座標,使上述 處於第1姿勢之手臂部移動至上述各儲置部之位置座標 4. 一種倉儲用機器人之教示裝置’該倉儲用機器人具備有 手臂部,該手臂部具有沿設置於儲置架複數之儲置部而 一裝-- (請先閱讀背面之注意事項再填寫本頁) . I —訂 la-i- ill 二°-»9 - _ * m 本紙張尺度適用中國國家標準(CNS ) A4規格(2丨0X297公釐) 23 311705 486614 經濟部智慧財產局員工消費合作社印製 24 A8 B8 C8 D8 六、申請專利範圍 行走之第^勢與朝上述各儲置部之定位座標移動以搬 運工作件之第2姿勢並對各機器人逐_教示錢置部之 上述定位座標之裝置, ^其特徵為具備有:設置於各儲置部,使與上述定位座標 形成一定關係之標記裝置; 丁 設置於處在上述帛i姿勢之上述手臂部,可檢測出與 上述標記裝置之位置關係之位置檢測裝置;以及 計异上述標記裝置之標記座標與上述定位座標之位置 關係,而教示各儲置部之定位座標之教示控制裝置者。 5·如申請專利範圍第4項之倉儲用機器人之教示裝置,其 中,上述位置檢測裝置係可根據立體視圖之原理由兩影 像之視差計算出3次元座標之立體攝像機者。 6. 如申請專利範圍第4項之倉儲用機器人之教示裝置,其 2,上述位置檢測裝置係使用一台攝像機,其可移動規 定距離而進行複數次拍攝,根據立體視圖之原理,由此 等影像之視差計算出3次元座標之移動攝像機者。 7. 如申請專利範圍第4項之倉儲用機器人之教示裝置,其 中,上述位置檢測裝置,係由視野分割光學系與一台攝 像機所構成之立體攝像機者。 ^ 申:專利圍第4至第7項任何一項之倉儲用機器人 之教示裝置,其中,複包括: 叹置於上述位置檢測裝置之近傍,將其影像信號以無 線送信之送信裝置; … -上述送信裝置所送出之信號之複數收信裝置 表紙張尺度適用中國國家縣(CNS) A4規格(21Gx297/WP 311705 t.訂ii (請先閎讀背面之注意事項再填寫本頁) 486614 ABCD 六、申請專利範圍 ^由上述複數收信裝置之中選擇1個,將由所選擇之收 L裝置所傳來之影像信號予以輸入之影像輸入農置;以及 將由上述影像輸入裝置所輸入之影像予以解析之影像 解析裝置者。 9· 一種纪錄媒體,其係記錄有對倉儲機器人逐一教示各儲 置部之定位座標所需之程式,該倉儲用機器人所設置之 手臂部具備有:沿設置於儲置架之複數儲置行走之第工 姿勢與朝上述各儲置部之定位座標移動以搬運工作件 之第2姿勢, 其特徵在該錄媒體係記錄有電腦可讀取之教示程式· 該程式利用設在各儲置部使其與上述定位座標可形成二定 關係之標記裝置,與設在處於上述第i姿勢之上述手 而可檢測出與上述標記裝置之位置關係之位置檢測裝置, ,上述第i姿勢之手臂部邊行走邊讀取上述標記褒置,古十 异出該標記裝置之標記座標與上述各錯置部之定位座標之 位置關係’而使教示各儲置物部之二 置動作。 |铭之教不控制裝 絰濟部智慧財/!.局員工消費合作社印製
    311705 25
TW89116520A 1999-09-21 2000-08-16 Method and device for teaching stocking robot, and recording media TW486614B (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP26717999 1999-09-21
JP2000175546A JP4461203B2 (ja) 1999-09-21 2000-06-07 ストッカ用ロボットの教示方法、ストッカ用ロボットの教示装置及び記録媒体

Publications (1)

Publication Number Publication Date
TW486614B true TW486614B (en) 2002-05-11

Family

ID=26547747

Family Applications (1)

Application Number Title Priority Date Filing Date
TW89116520A TW486614B (en) 1999-09-21 2000-08-16 Method and device for teaching stocking robot, and recording media

Country Status (2)

Country Link
JP (1) JP4461203B2 (zh)
TW (1) TW486614B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI447544B (zh) * 2007-09-04 2014-08-01 Musashi Engineering Inc A memory medium, a device, and a computer program that has a program that creates a mobile program
TWI563930B (zh) * 2011-11-18 2017-01-01 耐基創新公司 鞋子部件的自動化製造的裝置與系統
US10194716B2 (en) 2011-11-18 2019-02-05 Nike, Inc. Automated identification and assembly of shoe parts
CN109716500A (zh) * 2016-09-28 2019-05-03 川崎重工业株式会社 机器人、机器人的控制装置、及机器人的位置教示方法
US10393512B2 (en) 2011-11-18 2019-08-27 Nike, Inc. Automated 3-D modeling of shoe parts
US10552551B2 (en) 2011-11-18 2020-02-04 Nike, Inc. Generation of tool paths for shore assembly
US10691105B2 (en) 2016-06-20 2020-06-23 Kitamura Machinery Co., Ltd. Control panel having NC function for machine tool
US11317681B2 (en) 2011-11-18 2022-05-03 Nike, Inc. Automated identification of shoe parts

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004276151A (ja) * 2003-03-13 2004-10-07 Yaskawa Electric Corp 搬送用ロボットおよび搬送用ロボットの教示方法
JP4137711B2 (ja) * 2003-06-16 2008-08-20 東京エレクトロン株式会社 基板処理装置及び基板搬送手段の位置合わせ方法
US7117068B2 (en) * 2003-09-29 2006-10-03 Quantum Corporation System and method for library robotics positional accuracy using parallax viewing
JP4506255B2 (ja) * 2004-04-19 2010-07-21 株式会社安川電機 ウェハ位置教示方法およびそのロボット
EP1911552A1 (en) * 2005-07-15 2008-04-16 Kabushiki Kaisha Yaskawa Denki Wafer position teaching method and teaching tool
KR100739632B1 (ko) 2005-12-21 2007-07-13 삼성전자주식회사 반도체 모듈 테스트 설비
JP4818161B2 (ja) * 2007-02-27 2011-11-16 富士通株式会社 収納物の防護機構
US7737858B2 (en) * 2007-03-21 2010-06-15 Logitag Systems Ltd. System, method and kit for managing inventory
SG146530A1 (en) * 2007-04-10 2008-10-30 Erowa Ag Handling manipulator assembly
JP2009217912A (ja) * 2008-03-12 2009-09-24 Nec Personal Products Co Ltd アクセッサ機構の停止位置調整装置および停止位置調整方法
JP5190694B2 (ja) * 2008-09-10 2013-04-24 株式会社ダイフク 物品収納設備における学習装置
JP5170554B2 (ja) * 2008-09-29 2013-03-27 株式会社ダイフク 物品収納設備における学習装置
JP2010087358A (ja) * 2008-10-01 2010-04-15 Muratec Automation Co Ltd 搬送システム及びズレ検出用治具
KR101465321B1 (ko) * 2013-03-25 2014-12-01 성균관대학교산학협력단 로봇 매니퓰레이터를 이용한 저장장치
CN103253479B (zh) * 2013-04-27 2016-03-23 苏州市艾信物联网技术有限公司 直角坐标机器人及医用耗材存储库
JP2015100868A (ja) * 2013-11-22 2015-06-04 セイコーエプソン株式会社 ロボットシステム
WO2015190193A1 (ja) * 2014-06-10 2015-12-17 村田機械株式会社 操作端末、工作機械システム、及び産業機械の操作方法
WO2018066236A1 (ja) * 2016-10-07 2018-04-12 村田機械株式会社 自動倉庫
CN109789971B (zh) * 2016-10-07 2021-04-13 村田机械株式会社 搬运装置以及搬运方法
JP7156916B2 (ja) 2018-11-14 2022-10-19 東芝テック株式会社 商品取出装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3665353B2 (ja) * 1993-09-14 2005-06-29 ファナック株式会社 ロボットの教示位置データの3次元位置補正量取得方法及びロボットシステム
JP3651026B2 (ja) * 1994-08-30 2005-05-25 アシスト シンコー株式会社 ストッカ用ロボットの教示方法
JPH08208007A (ja) * 1995-02-03 1996-08-13 Mitsubishi Heavy Ind Ltd 自動運用管理倉庫の位置認識可能型パレット
JP4161426B2 (ja) * 1998-09-28 2008-10-08 ソニー株式会社 画像印刷装置及び画像印刷方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI447544B (zh) * 2007-09-04 2014-08-01 Musashi Engineering Inc A memory medium, a device, and a computer program that has a program that creates a mobile program
US11346654B2 (en) 2011-11-18 2022-05-31 Nike, Inc. Automated 3-D modeling of shoe parts
US11879719B2 (en) 2011-11-18 2024-01-23 Nike, Inc. Automated 3-D modeling of shoe parts
US10667581B2 (en) 2011-11-18 2020-06-02 Nike, Inc. Automated identification and assembly of shoe parts
US11763045B2 (en) 2011-11-18 2023-09-19 Nike, Inc. Generation of tool paths for shoe assembly
TWI662913B (zh) * 2011-11-18 2019-06-21 荷蘭商耐克創新有限合夥公司 用於以自動化方式製造鞋子部件的方法與系統
US10393512B2 (en) 2011-11-18 2019-08-27 Nike, Inc. Automated 3-D modeling of shoe parts
US10552551B2 (en) 2011-11-18 2020-02-04 Nike, Inc. Generation of tool paths for shore assembly
US10671048B2 (en) 2011-11-18 2020-06-02 Nike, Inc. Automated manufacturing of shoe parts
US10194716B2 (en) 2011-11-18 2019-02-05 Nike, Inc. Automated identification and assembly of shoe parts
TWI612913B (zh) * 2011-11-18 2018-02-01 耐克創新有限合夥公司 用於以自動化方式製造鞋子部件的方法與系統
US11266207B2 (en) 2011-11-18 2022-03-08 Nike, Inc. Automated identification and assembly of shoe parts
US11641911B2 (en) 2011-11-18 2023-05-09 Nike, Inc. Automated identification and assembly of shoe parts
US11317681B2 (en) 2011-11-18 2022-05-03 Nike, Inc. Automated identification of shoe parts
US11341291B2 (en) 2011-11-18 2022-05-24 Nike, Inc. Generation of tool paths for shoe assembly
TWI563930B (zh) * 2011-11-18 2017-01-01 耐基創新公司 鞋子部件的自動化製造的裝置與系統
US11422526B2 (en) 2011-11-18 2022-08-23 Nike, Inc. Automated manufacturing of shoe parts
TWI702482B (zh) * 2016-06-20 2020-08-21 日商北村機械股份有限公司 附有工作機械用nc功能之操作面板
US10691105B2 (en) 2016-06-20 2020-06-23 Kitamura Machinery Co., Ltd. Control panel having NC function for machine tool
CN109716500A (zh) * 2016-09-28 2019-05-03 川崎重工业株式会社 机器人、机器人的控制装置、及机器人的位置教示方法

Also Published As

Publication number Publication date
JP2001158507A (ja) 2001-06-12
JP4461203B2 (ja) 2010-05-12

Similar Documents

Publication Publication Date Title
TW486614B (en) Method and device for teaching stocking robot, and recording media
US9390314B2 (en) Methods and apparatus for determining dimensions of an item using 3-dimensional triangulation
CN106573381B (zh) 卡车卸载机可视化
US7804996B2 (en) Method for associating stereo image and three-dimensional data preparation system
EP1656014B1 (en) Improvements in or relating to milking machines
WO2017163714A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
CN101999260A (zh) 光学检测设备和检测部件表面的方法
CN109063529A (zh) 一种条码检测装置
AU2011207109A1 (en) Optical overhead wire measurement
JP6646853B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP2017171444A (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
WO2017163711A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
CN207601801U (zh) 一种龙门架式条码扫描装置
WO2017163713A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
KR100697992B1 (ko) 스토커용 로보트의 교시방법, 스토커용 로보트의 교시장치및 기록매체
CN107766834B (zh) 一种人脸识别方法与系统
Wah Parking space vacancy monitoring
JP2020114778A (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP2002286420A (ja) 寸法測定機能を有する端末装置
US11954924B2 (en) System and method for determining information about objects using multiple sensors
CN111950325B (zh) 一种目标识别方法、装置及电子设备
JP3325191B2 (ja) 貝の判別方法
JP2005351869A (ja) 測位方法および測位システム
JP2005323330A (ja) 室内観察システム
Elamsy et al. Parallel planes identification using uncalibrated zooming cameras

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent
MM4A Annulment or lapse of patent due to non-payment of fees