TWI811001B - 菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統 - Google Patents
菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統 Download PDFInfo
- Publication number
- TWI811001B TWI811001B TW111124614A TW111124614A TWI811001B TW I811001 B TWI811001 B TW I811001B TW 111124614 A TW111124614 A TW 111124614A TW 111124614 A TW111124614 A TW 111124614A TW I811001 B TWI811001 B TW I811001B
- Authority
- TW
- Taiwan
- Prior art keywords
- plug
- space
- mushroom
- bag
- image
- Prior art date
Links
- 235000001674 Agaricus brunnescens Nutrition 0.000 title claims abstract description 172
- 230000007547 defect Effects 0.000 title claims abstract description 135
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 230000001954 sterilising effect Effects 0.000 claims abstract description 37
- 238000004659 sterilization and disinfection Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000002950 deficient Effects 0.000 claims abstract description 19
- 239000001963 growth medium Substances 0.000 claims abstract description 6
- 238000013135 deep learning Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000013473 artificial intelligence Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000032258 transport Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 32
- 238000010586 diagram Methods 0.000 description 13
- 238000007689 inspection Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 244000252132 Pleurotus eryngii Species 0.000 description 6
- 235000001681 Pleurotus eryngii Nutrition 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012856 packing Methods 0.000 description 6
- 238000004806 packaging method and process Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 240000006499 Flammulina velutipes Species 0.000 description 3
- 235000016640 Flammulina velutipes Nutrition 0.000 description 3
- 210000004907 gland Anatomy 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 241000894007 species Species 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 240000000599 Lentinula edodes Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Sorting Of Articles (AREA)
- Discharge Of Articles From Conveyors (AREA)
Abstract
本發明揭露一種菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統，其包括菇類太空包輸送裝置、塞蓋缺陷辨識單元及塞蓋缺陷之菇類太空包分流單元。菇類太空包輸送裝置之第一輸送裝置連續輸送籃子，每一籃子容置有菇類太空包，每一菇類太空包已填裝有培養基質，且在袋口覆設有塞蓋。第一輸送裝置將籃子依序輸送至滅菌區域以對菇類太空包進行滅菌作業。塞蓋缺陷辨識單元之第一辨識裝置依序對籃子內的菇類太空包進行影像擷取而成像為第一整籃太空包影像，並影像辨識出每一籃子的菇類太空包是否為塞蓋缺陷。當第一辨識裝置辨識出其中至少一個菇類太空包為塞蓋缺陷時，塞蓋缺陷辨識單元則驅動第一移離裝置將籃子移離第一輸送裝置，使第一輸送裝置不間斷地將其他籃子持續輸送至滅菌區域，俾能於自動化製包與滅菌製程之間設置一組菇類製包塞蓋缺陷影像檢測輸送產線，以避免因更換缺陷太空包所致的影像檢測產線堵塞情事產生。
Description
本發明係有關一種菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統，尤指一種藉由於自動化製包與滅菌製程之間設置一組菇類製包塞蓋缺陷影像檢測輸送產線以避免因更換太空包而造成影像檢測產線堵塞情事的菇類太空包塞蓋缺陷檢出技術。
在台灣的食用菇產業從1909年起有了香菇段木人為栽種紀錄，截至目前已經有百年以上的發展歷史，而在國內種植之各式各樣的菇類當中，杏鮑菇在台灣起源於1996年，然而在短短十年內，杏鮑菇就已經取代金針菇成為產值第二高的菇種，於是不難發現杏鮑菇是唯一在近年產量仍保持成長且價格波動小之菇種。目前杏鮑菇與金針菇同樣是環境控制栽培的菇種，在自動化程度卻遠遠不及金針菇，原因包含一般業者是多數是以袋栽太空包進行生產，而非瓶栽式，其次是杏鮑菇相較其他菇種，自動化開發起步較晚，特別在採收流程這塊，而袋栽太空包的輪廓、尺寸相較於瓶栽的輪廓尺寸一致性低，以及台灣菌種商在國內數量佔比較少，主要以製包業者及栽培業者占大多數，凸顯出菌種少的問題，而這點也間接影響到杏鮑菇最終生成的外觀上，對於採收自動化有一定程度的影響。
再者，袋式太空包栽培生產製程主要包括有自動化製包製程與滅菌等製程，而自動化製包製程則包括有套袋、計量裝填、壓實/打洞、
束口/套環/翻袋口、壓蓋及滅菌等製程工序。直到目前為止，袋式太空包栽培製包的生產與滅菌等製程仍然是以人工施作為主，於人工施作太空包栽培製包的生產製程時，會因個體差異與技術熟練程度而影響到太空包的栽培品質與產量；不僅如此，若是過於依賴人工施作還會造成耗工耗時、栽培生產效率低落以及形成極大的人力成本浪費情事。
此外，於自動化製包製程跨至滅菌製程時，係依序將複數填裝有培養基質的菇類太空包容裝於一個藍子內，然後依序將每一菇類太空包的袋口各自覆設一塞蓋，並透過有自動化輸送裝置連續地輸送裝有複數菇類太空包的籃子至滅菌區域以對菇類太空包進行滅菌作業，無論是中國製還是國內自主研發全自動製包機臺，製包與自動化輸送裝置的速度都十分驚人，而習知太空包的塞蓋檢測仍是以人力檢測為主，由於以目視來檢測塞蓋缺陷會比較吃力而浪費時間，而且檢測正確率較低，因而會因塞蓋缺陷於更換太空包時造成檢測產線堵塞的缺失產生，因此，如何開發出一套可於自動化製包與滅菌製程之間設置菇類製包塞蓋缺陷影像檢測與自動化輸送技術，實已成為相關產學界所亟欲挑戰與克服的技術課題。
因鑑於目前尚無一種可於自動化製包與滅菌製程之間設置菇類製包塞蓋缺陷影像檢測與自動化輸送等相關技術、專利或是論文的公開或是發表，因此，該習知技術確實未臻完善，仍然有再改善的必要性；緣是，本發明人乃積極投入研發，終而有本發明的研發成果產出。
本發明第一目的，在於提供一種菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統，主要是於自動化製包與滅菌製程之間設置一組菇類製包塞蓋缺陷影像檢測輸送產線，以避免因塞蓋缺陷而更換太空包所造成的影像檢測產線堵塞的情事。達成本發明第一目的所採用之技術手段，係包括菇類太空包輸送裝置、塞蓋缺陷辨識單元及塞蓋缺陷之菇類太空包分流單元。菇類太空包輸送裝置之第一輸送裝置連續輸送籃子，每一籃子容置有菇類太空包，每一菇類太空包已填裝有培養基質，且在袋口覆設有塞蓋。第一輸送裝置將籃子依序輸送至滅菌區域以對菇類太空包進行滅菌作業。塞蓋缺陷辨識單元之第一辨識裝置依序對籃子內的菇類太空包進行影像擷取而成像為第一整籃太空包影像，並影像辨識出每一籃子的菇類太空包是否為塞蓋缺陷。當第一辨識裝置辨識出其中至少一個菇類太空包為塞蓋缺陷時，塞蓋缺陷辨識單元則驅動第一移離裝置將籃子移離第一輸送裝置，使第一輸送裝置不間斷地將其他籃子持續輸送至滅菌區域。
本發明第二目的，在於提供一具備影像深度學習功能而可精確地辨識出塞蓋缺陷以提升滅菌製程效能的菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統。達成本發明第二目的所採用之技術手段，係包括菇類太空包輸送裝置、塞蓋缺陷辨識單元及塞蓋缺陷之菇類太空包分流單元。菇類太空包輸送裝置之第一輸送裝置連續輸送籃子，每一籃子容置有菇類太空包，每一菇類太空包已填裝有培養基質，且在袋口覆設有塞蓋。第一輸送裝置將籃子依序輸送至滅菌區域以對菇類太空包進行滅菌作業。塞蓋缺陷辨識單元之第一辨識裝置依序對
籃子內的菇類太空包進行影像擷取而成像為第一整籃太空包影像，並影像辨識出每一籃子的菇類太空包是否為塞蓋缺陷。當第一辨識裝置辨識出其中至少一個菇類太空包為塞蓋缺陷時，塞蓋缺陷辨識單元則驅動第一移離裝置將籃子移離第一輸送裝置，使第一輸送裝置不間斷地將其他籃子持續輸送至滅菌區域。其中，該塞蓋缺陷辨識單元包含一用以擷取其中一個該籃子之該第一整籃太空包影像的第一相機、一影像辨識模組及一內建有複數特徵樣本的特徵資料庫，每一該特徵樣本定義有一種塞蓋狀態資訊，該影像辨識模組用以對該第一整籃太空包影像依據各該菇類太空包所處位置而進行裁切，以裁切出複數單一太空包影像，並對該複數單一太空包影像依序做特徵擷取為複數塞蓋特徵，再執行塞蓋缺陷狀態的影像辨識處理，以將該複數塞蓋特徵依序輸入至該特徵資料庫，以預測塞蓋特徵與該特徵樣本的符合機率，當該符合機率大於一預設機率時，則輸出相應的該塞蓋狀態資訊。該影像辨識模組係為一人工智慧深度學習模組，該人工智慧深度學習模組依據一訓練學習步驟而於該特徵資料庫建立一塞蓋缺陷學習演算模型，於該塞蓋缺陷學習演算模型輸入巨量的該複數特徵樣本、複數單一太空包影像、複數塞蓋特徵及影像辨識參數，並由該塞蓋缺陷學習演算模型測試各該單一太空包影像的影像辨識正確率，再判斷各該單一太空包影像的影像辨識正確率是否足夠，當判斷結果為是，則將辨識結果輸出及儲存；當判斷結果為否，則使該塞蓋缺陷學習演算模型自我修正學習；該人工智慧深度學習模組執行該影像辨識處理時，則執行一預測階段步驟，係於該塞蓋缺陷學習演算模型依序輸入即時輸入的該單一太空包影像，並由該塞蓋缺陷學習演算模型預測
辨識出所即時輸入之該第一整籃太空包影像所代表的該塞蓋狀態資訊。
本發明第三目的，在於提供一種具備塞蓋缺陷辨識指示功能以方便人員正確快速地抽換缺陷太空包的菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統。達成本發明第三目的所採用之技術手段，係包括菇類太空包輸送裝置、塞蓋缺陷辨識單元及塞蓋缺陷之菇類太空包分流單元。菇類太空包輸送裝置之第一輸送裝置連續輸送籃子，每一籃子容置有菇類太空包，每一菇類太空包已填裝有培養基質，且在袋口覆設有塞蓋。第一輸送裝置將籃子依序輸送至滅菌區域以對菇類太空包進行滅菌作業。塞蓋缺陷辨識單元之第一辨識裝置依序對籃子內的菇類太空包進行影像擷取而成像為第一整籃太空包影像，並影像辨識出每一籃子的菇類太空包是否為塞蓋缺陷。當第一辨識裝置辨識出其中至少一個菇類太空包為塞蓋缺陷時，塞蓋缺陷辨識單元則驅動第一移離裝置將籃子移離第一輸送裝置，使第一輸送裝置不間斷地將其他籃子持續輸送至滅菌區域。其中，該塞蓋缺陷辨識單元包括一缺陷太空包標示模組，該影像辨識模組於裁切該第一整籃菇類太空包影像之前係依據各該菇類太空包所處位置依序進行位置編碼，該缺陷太空包標示模組依據各該位置編碼而標示出其一該複數個籃子中有該塞蓋缺陷狀態的該複數個菇類太空包，以供一工作者正確快速地抽換。
本發明第四目的，在於提供一種具備二組菇類製包塞蓋缺陷影像檢測輸送產線以提升塞蓋缺陷檢測效能的菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統，主要是於自動化製包與滅菌製程之間設置二組菇類製包塞蓋缺陷影像檢測輸送產線等機能設置，以避免因
塞蓋缺陷而更換太空包所造成的影像檢測產線堵塞的情事。達成本發明第四目的所採用之技術手段，係包括菇類太空包輸送裝置、塞蓋缺陷辨識單元及塞蓋缺陷之菇類太空包分流單元。菇類太空包輸送裝置之第一輸送裝置連續輸送籃子，每一籃子容置有菇類太空包，每一菇類太空包已填裝有培養基質，且在袋口覆設有塞蓋。第一輸送裝置將籃子依序輸送至滅菌區域以對菇類太空包進行滅菌作業。塞蓋缺陷辨識單元之第一辨識裝置依序對籃子內的菇類太空包進行影像擷取而成像為第一整籃太空包影像，並影像辨識出每一籃子的菇類太空包是否為塞蓋缺陷。當第一辨識裝置辨識出其中至少一個菇類太空包為塞蓋缺陷時，塞蓋缺陷辨識單元則驅動第一移離裝置將籃子移離第一輸送裝置，使第一輸送裝置不間斷地將其他籃子持續輸送至滅菌區域。其中，該菇類太空包輸送裝置包括一第二輸送裝置，該第二輸送裝置用以輸送被該第一移離裝置移離該第一輸送裝置的該複數個籃子，並在一工作者抽換有該塞蓋缺陷的該複數個菇類太空包之後繼續輸送該複數個籃子；該塞蓋缺陷辨識單元包括一第二辨識裝置，該第二辨識裝置用以依序對各該籃子的該複數個菇類太空包進行影像擷取而成像為第二整籃太空包影像，並對該第二整籃太空包影像進行影像處理及影像辨識，以辨識出各該籃子的該複數個菇類太空包的該塞蓋或該袋口是否為塞蓋缺陷；該塞蓋缺陷之菇類太空包分流單元包括一第二移離裝置，當該第二辨識裝置判斷出其中一個該個籃子的至少一個該菇類太空包為該塞蓋缺陷時，該塞蓋缺陷之菇類太空包分流單元則透過該第二移離裝置將其中一個該個籃子移離該第二輸送裝置，使該第二輸送
裝置不間斷地將其他該複數個籃子持續輸送至該滅菌區域。
1:菇類太空包
10:菇類太空包輸送裝置
11:第一輸送裝置
12:第二輸送裝置
13:控制模組
20:塞蓋缺陷辨識單元
21:第一辨識裝置
210:第一相機
211,231:影像辨識模組
211a,231a:人工智慧深度學習模組
211b,231b:塞蓋缺陷學習演算模型
212,232:特徵資料庫
214,234:驅動模組
22:缺陷太空包標示模組
220:指示投射小燈
23:第二辨識裝置
230:第二相機
30:塞蓋缺陷之菇類太空包分流單元
31:第一移離裝置
32:第二移離裝置
40:籃子
圖1係本發明具體架構的功能方塊示實施意圖。
圖2係本發明人工智慧深度學習模組於訓練階段的流程實施示意圖。
圖3係本發明人工智慧深度學習模組於預測階段的流程實施示意圖。
圖4係本發明塞蓋缺陷影像檢測輸送產線的佈置實施示意圖。
圖5係本發明系統控制流程的實施示意圖。
圖6係本發明塞蓋缺陷影像檢測輸送產線的具體實施示意圖。
圖7係本發明訊號交握的順序控制示意圖。
圖8係本發明機械手臂任務流程控制實施示意圖。
圖9本發明使用者介面的實施顯示示意圖。
圖10係本發明整籃太空包影像裁切與對應位置編碼的實施示意圖。
圖11係本發明太空包的辨識結果顯示示意圖。
為讓 貴審查委員能進一步瞭解本發明整體的技術特徵與達成本發明目的之技術手段，玆以具體實施例並配合圖式加以詳細說明：
配合參看圖1、4及圖6所示，為達成本發明第一目的之第一實施例，係包括一菇類太空包輸送裝置10、一塞蓋缺陷辨識單元20及一塞蓋缺陷之菇類太空包分流單元30。該菇類太空包輸送裝置10包括一第一輸送裝置11(如輸送帶機構)，該第一輸送裝置11用以連續地輸送複數個籃子40，每一複數個籃子40容置有複數個菇類太空包
1，每一複數個菇類太空包1已填裝有培養基質，且在袋口覆設有一塞蓋而可供進行滅菌作業，該第一輸送裝置11將容置有複數個菇類太空包1之複數個籃子40依序輸送至一滅菌區域以對複數個菇類太空包1進行滅菌作業。該塞蓋缺陷辨識單元20包括一第一辨識裝置21，該第一辨識裝置21用以依序對每一籃子40內的複數個菇類太空包1進行影像擷取而成像為第一整籃太空包影像，並對第一整籃太空包影像進行影像處理及影像辨識處理，以辨識出每一籃子40的複數個菇類太空包1是否為塞蓋缺陷。該塞蓋缺陷之菇類太空包分流單元30包括一第一移離裝置31(如機械手臂)，當第一辨識裝置21辨識出其中一個籃子40的至少一個菇類太空包1為塞蓋缺陷時，該塞蓋缺陷辨識單元20則透過驅動模組214,234驅使第一移離裝置31，以將其中一個籃子40移離第一輸送裝置11，於是即可使第一輸送裝置11不間斷地將其他複數個籃子40持續輸送至滅菌區域。
請配合參看圖1、9及圖10所示的實施例，本實施例為上述第一實施例更為具體呈現影像辨識技術的第一應用實施例，本第一應用實施例除了包括上述第一實施例的整體技術內容之外，該第一辨識裝置21包含一用以擷取其中一個籃子40之第一整籃太空包影像的第一相機210、一影像辨識模組211及一內建有複數特徵樣本的特徵資料庫212，每一特徵樣本定義有一種塞蓋狀態資訊，該影像辨識模組211用以對第一整籃太空包影像依據各菇類太空包1所處位置而進行裁切，以裁切出複數單一太空包影像，並對複數單一太空包影像依序做特徵擷取為複數塞蓋特徵，再執行塞蓋缺陷狀態的影像辨識處理，以將複數塞蓋特徵依序輸入至特徵資料庫212，以預測塞蓋特徵與特徵樣本的符合機率，當符合機率大於一預設機率時，則輸出相應的塞蓋狀態資訊。
承上所述，本實施例主要是用來定義上述塞蓋狀態資訊的第二應用實施例，而塞蓋狀態資訊係包含袋口覆設塞蓋確實、袋口覆設塞蓋不確實以及袋口無覆設塞蓋等狀態資訊，當影像辨識模組211辨識出該袋口覆設塞蓋不確實或是袋口無覆設塞蓋等狀態資訊時，則判定菇類太空包1為塞蓋缺陷。
請配合參看圖1~3所示，為達成本發明第二目的之第二實施例，本實施例除了包括上述第一實施例與第一應用實施例的整體技術內容之外，該影像辨識模組211係為一人工智慧深度學習模組211a，如圖2所示，該人工智慧深度學習模組211a依據一訓練學習步驟而於特徵資料庫212建立一塞蓋缺陷學習演算模型211b，係於塞蓋缺陷學習演算模型211b輸入巨量的複數特徵樣本、塞蓋特徵參數及影像辨識參數，並由塞蓋缺陷學習演算模型211b測試各單一太空包影像的影像辨識正確率，再判斷各單一太空包影像的影像辨識正確率是否足夠，當判斷結果為是，則將辨識結果輸出及儲存；當判斷結果為否，則使塞蓋缺陷學習演算模型211b自我修正學習，如圖2所示。又如圖3所示，該人工智慧深度學習模組211a執行影像辨識處理時，則執行一預測階段步驟，係於塞蓋缺陷學習演算模型211b連續輸入即時整籃已經裁切的單一太空包影像，並由塞蓋缺陷學習演算模型211b預測辨識出即時輸入之每一單一太空包影像所代表的塞蓋狀態資訊，最後預測辨識出整籃每一個菇類太空包1的塞蓋狀態資訊。
請配合參看圖1、4、6及圖10、11所示，為達成本發明第三目的之第三實施例，本實施例除了包括上述第一實施例與第一應用實施例的整體技術內容之外，該塞蓋缺陷辨識單元20包括一缺陷太空包標示模組22，該影像辨識模組211於裁切第一整籃菇類太空包1影像之前係依據各菇類太空包1所處位置依序進行位置編碼，該缺陷太
空包標示模組22依據各位置編碼而標示出其一該複數個籃子40中有塞蓋缺陷狀態的複數個菇類太空包1，以供工作者正確快速地抽換。更具體的，該缺陷太空包標示模組22包括複數個指示投射小燈220，該複數個指示投射小燈220的數量與每一複數個籃子40中的複數個菇類太空包1的數量相等，該缺陷太空包標示模組22控制使複數個指示投射小燈220相對應地投射燈光以標示出其一複數個籃子40中有塞蓋缺陷狀態的該複數個菇類太空包1，以供工作者正確快速地抽換。
請配合參看圖1、4、6及圖10、11所示，為達成本發明第四目的之第四實施例，本實施例除了包括上述第一實施例的整體技術內容之外，該菇類太空包輸送裝置10包括一第二輸送裝置12(如輸送帶機構)，該第二輸送裝置12用以輸送被第一移離裝置31移離第一輸送裝置11的複數個籃子40，並在一工作者抽換有塞蓋缺陷的複數個菇類太空包1之後繼續輸送複數個籃子40；該塞蓋缺陷辨識單元20包括一第二辨識裝置23，該第二辨識裝置23用以依序對各籃子40的複數個菇類太空包1進行影像擷取而成像為第二整籃太空包影像，並對第二整籃太空包影像進行影像處理及影像辨識處理，以辨識出各籃子40的複數個菇類太空包1是否為塞蓋缺陷；該塞蓋缺陷之菇類太空包分流單元30包括一第二移離裝置32，當第二辨識裝置23判斷出其中一個籃子40的至少一個菇類太空包1為塞蓋缺陷時，該塞蓋缺陷之菇類太空包分流單元30則透過第二移離裝置32(如機械手臂)將其中一個籃子40移離第二輸送裝置12，使第二輸送裝置12不間斷地將其他複數個籃子40持續輸送至滅菌區域。
請配合參看圖1、4所示的實施例，本實施例為上述第四實施例更為具體呈現影像辨識技術的第三應用實施例，本應用實施例除了包括上述第四實施例的整體技術內容之外，該塞蓋缺陷辨識單元
20包含用以擷取其中一個籃子40之第二整籃太空包影像的第二相機230、一影像辨識模組231及一內建有複數特徵樣本的特徵資料庫232，每一特徵樣本定義有一種塞蓋狀態資訊，該影像辨識模組231用以對第二整籃太空包影像依據各菇類太空包1所處位置而進行裁切，以裁切出複數單一太空包影像，並對複數單一太空包影像依序做特徵擷取為複數塞蓋特徵，再執行塞蓋缺陷狀態的影像辨識處理，以將複數塞蓋特徵依序輸入至特徵資料庫232，以預測塞蓋特徵與特徵樣本的符合機率，當符合機率大於一預設機率時，則輸出相應的塞蓋狀態資訊。
請配合參看圖2~3所示的實施例，本實施例為第四應用實施例，本應用實施例除了包括上述第四實施例與第三應用實施例的整體技術內容之外，該影像辨識模組231係為一人工智慧深度學習模組231a，該人工智慧深度學習模組231a依據一訓練學習步驟而於該特徵資料庫232建立一塞蓋缺陷學習演算模型231b，於塞蓋缺陷學習演算模型231b輸入巨量的複數特徵樣本、塞蓋特徵參數及影像辨識參數，並由塞蓋缺陷學習演算模型231b測試各單一太空包影像的影像辨識正確率，再判斷各第單一太空包影像的影像辨識正確率是否足夠，當判斷結果為是，則將辨識結果輸出及儲存；當判斷結果為否，則使塞蓋缺陷學習演算模型231b自我修正學習；該人工智慧深度學習模組231a執行影像辨識處理時，則執行一預測階段步驟，係於塞蓋缺陷學習演算模型231b連續輸入即時整籃已經裁切的單一太空包影像，並由塞蓋缺陷學習演算模型231b預測辨識出即時輸入之單一太空包影像所代表的塞蓋狀態資訊，最後預測辨識出整籃每一個菇類太空包1的塞蓋狀態資訊。
此外，無論是中國製還是國內自主研發全自動製包機臺，製包速度都十分驚人，為了避免更換太空包造成檢測產線堵塞，因此規劃兩個檢測站，用分流的方式使製包產線提高整體的檢測速度，如圖4所示。在
自動化製包與滅菌製程之間設置菇類製包檢測設備，由初次檢測的相機進行第一次取像及辨識，菇籃中若無缺蓋太空包，則經由綠色實線前往滅菌製程。反之有缺蓋太空包時，將改走紅色虛線前往更換太空包作業區。由機械手臂把缺蓋太空包移置廢料區，再從補充區拿取正常的太空包，補足剛才缺蓋太空包的缺口，重新整理完成的菇籃將繼續回到滅菌製程。因為初次檢測只辨識菇籃內的太空包狀態，且實驗場地限制，本發明最終架設的模擬產線只有設置二次檢測，以及機械手臂更換太空包的部分，並無上述的分流輸送帶機構。
本發明需同時整合多個不同種類的系統，因此，將流程圖劃分成四個區域，以便更清楚知道目前是哪個機臺或程式正在運作，如圖5所示。使用者介面用於監控產線狀態與設備的初始設定，主程式為整個系統流程的核心角色，替相機取像、分類及機械手臂的命令制定先後順序。為了使整套設備能更方便的與輸送帶模組合併，則模擬產線的輸送帶是由控制模組13(如可程式化邏輯控制器(Programmable logic controller,PLC)控制，而不是直接由機械手臂的控制器直接控制。
使用有GPU加速的電腦作為CNN模型訓練環境，但是把高規格的設備放置在高粉塵菇場是不合適的做法，最後選擇UDOO BOLT V8作為製包檢測系統的主控電腦(即內建影像辨識模組的電腦)。由於Pytorch未正式支援AMD顯示卡的GPU加速運算，因此，主控電腦的CNN分類模型是使用CPU環境進行運算。然而實際架設的模擬產線如圖6所示，整體長2,407mm，寬1,149mm，高2,145mm，為了保留足夠的空間提供機械手臂更換太空包，則將相機工作距離架設於太空包壓蓋約970mm處。
將暫存器對應的動作命令，將產線流程控制歸納出訊號之間的先後順序，如圖7所示，該順序圖不能表示所有任務的運作時間，僅能表示執行一次完整流程時，所有訊號之間的先後順序。可從該順序圖中看到
Cycle time的計時範圍，是包含辨識12包太空包以及更換缺蓋太空包的時間。另外必須陳明的是，圖7方框內的編號140、128、139、142及144係為主控電腦所發出的訊號；至於方框內的編號141、146、143、147及145係為機械手臂的控制器所發出的訊號。
機械手臂搬運太空包的程式是透過教導器撰寫而成，根據主控電腦傳遞CNN模型的辨識結果，決定是否執行對應的移動路徑。機械手臂讀取暫存器140、142和144的訊號，判斷該執行何種移動任務。
根據是否含有壓蓋為條件，認定太空包屬於缺蓋的情形，如圖10所示。因太空包在菇籃中的位置皆為固定，本發明將相機架設於菇籃正上方，依照太空包位置裁切成12個影像，如圖10所示。由於影像已經忽略菇籃周圍的背景，則數據集皆是在實驗室使用附錄二的拍攝設備收集而成。
此外，多數菇場屬於半戶外場域，戶外天氣的好壞也會間接影響菇場內的明亮程度，也因此開放式的菇場比一般室內工廠更難維持穩定的光源。然而太空包外層包覆著不規則的塑膠袋，且塑膠袋與壓蓋都屬於高反光的材質，不論哪種角度的打光，都有很大的機率造成光源直接反射進相機內，因此之後在取像的過程中，皆不使用任何打光技術。本發明之後是使用CNN模型進行太空包圖像分類，且壓蓋的特徵不會因為圖像放大或縮小而消失，因此像素解析度的大小並不是直接影響相機挑選的主要條件。手動調整光圈的工業相機，在環境光不穩定的情況下，有機率拍攝到偏暗的影像。而網路攝影機透過調整增益值的大小，達到自動調節影像的明亮度，能有效克服明暗不定的光源問題。之後會使用工業相機與網路攝影機進行圖像擷取，並在最後探討兩種相機在太空包壓蓋辨識的優勢與劣勢。
雖然工業相機是手動調焦，但太空包的高度並非一致，仍然
會有些許失焦的情況。其次，菇場的環境光與實驗場域不同，擔心訓練的模型在實際場域使用時，有機會無法達到良好的分類效果，但是在收集數據集的同時，又無法模擬出不同種類的環境光。為了解決上述兩點問題，訓練模型所使用到的圖像都會先進行前處理。由Gaussian Blur的模糊效果，模擬失焦的圖像。另外Color Jitter則是改變圖像亮度，模擬實際環境中各種不同亮度的環境光。圖像模糊強度以及明亮程度皆不相同，所有的影像前處理皆為程式隨機調整，可能圖像清楚但整體偏暗，也有可能圖像同時增加亮度又模糊。目的是希望增加整體訓練集的變化性，避免影響實際應用時因為圖像模糊與亮度問題造成模型準確率降低。
使用Pytorch作為太空包壓蓋模型的神經網路設計工具，由於太空包壓蓋的特徵較為明顯，因此避免設計過於複雜的網路架構。在辨識一籃太空包時，實際上是進行12次的圖像分類，若每次分類時間增加0.1秒，累積12次的分類時間，就是多浪費1.2秒。所以模型除了良好的分類能力，也必須使用極短的時間進行圖像分類，經過多次測試的結果，使用兩層卷積層和三層全連接層的訓練結果較為理想。起初輸入模型的圖像尺寸為(224,224,3)，對於模型來說需要計算46,553,330個參數，為了降低模型整體的運算量，將圖像尺寸改為(128,128,3)後，相同的模型架構只是降低輸入圖像尺寸，就共減少69%的參數量。而訓練模型的優化器與損失函數選擇經常應用於分類問題的Adam和Cross Entropy，此外Batch size與Epochs則分別設定為128及300。
將相機設定、UR5 Modbus連線及自動模式等功能整合成使用者介面，如此一來使用者可以透過介面與各項設備進行連線，並即時監控產線狀況。使用者介面主要分成五大區塊，包含相機、機械手臂、自動模式、即時監控以及生產紀錄，如圖9所示。
此處校正是指圖像的裁切大小，也是之後進行影像分類時的
感興趣區域(Region ofinterest,ROI)設定。依據使用者需求，選擇FLIR工業相機或是Logitech網路攝影機，點選Open Camera即可開啟該相機，開啟後可以在相機影像看到即時影像。
為了達到影像的裁切結果，程式會以影像中央劃分4×3總共12個方框。可藉由開啟Show Position的選項，檢查目前裁切方框的位置，依據相機解析度與架設高度的不同，使用Box size對方框大小進行微調，最終所有方框內都必須有一包太空包，如圖10所示。
需要確定相機與機械手臂完成連線，且相機裁切位置校正後，才能執行自動模式。自動模式介面會顯示目前程式執行的階段，以及從菇籃檢測和更換太空包所花費的時間。根據裁切後的影像位置進行編號，如圖10所示，太空包壓蓋模型依序辨識12包太空包，並同時顯示目前產線上的辨識結果。合格太空包的標籤會呈現淺色，反之出現缺蓋時標籤將呈現為深色，如圖11所示。
在每次辨識菇籃後，系統會紀錄當下的資訊。目前記錄的數據有菇籃編號、當天時間日期、缺蓋太空包位置以及Cycle time時間。檢測結束後可將記錄的資料儲存成CSV檔，方便日後檢查當日的生產狀況。
因此，藉由上述具體實施例的詳細說明，本發明確實具備下列所述的特點：
1.本發明確實是於自動化製包與滅菌製程之間設置一組菇類製包塞蓋缺陷影像檢測輸送產線，以避免因塞蓋缺陷而更換太空包所造成的影像檢測產線堵塞的情事。
2.本發明確實具備影像深度學習功能，故可精確地辨識出塞蓋缺陷，進而提升滅菌製程效能。
3.本發明確實具備塞蓋缺陷辨識指示功能，以方便供人員正確快速地抽換缺陷的太空包。
4.本發明確實具備二組菇類製包塞蓋缺陷影像檢測輸送產線，藉以提升太空包塞蓋缺陷的檢測效能。
以上所述，僅為本發明之可行實施例，並非用以限定本發明之專利範圍，凡舉依據下列請求項所述之內容、特徵以及其精神而為之其他變化的等效實施，皆應包含於本發明之專利範圍內。本發明所具體界定於請求項之結構特徵，未見於同類物品，且具實用性與進步性，已符合發明專利要件，爰依法具文提出申請，謹請 鈞局依法核予專利，以維護本申請人合法之權益。
10:菇類太空包輸送裝置
11:第一輸送裝置
12:第二輸送裝置
13:控制模組
20:塞蓋缺陷辨識單元
21:第一辨識裝置
210:第一相機
211,231:影像辨識模組
212,232:特徵資料庫
214,234:驅動模組
22:缺陷太空包標示模組
220:指示投射小燈
23:第二辨識裝置
230:第二相機
30:塞蓋缺陷之菇類太空包分流單元
31:第一移離裝置
32:第二移離裝置
Claims (4)
- 一種菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統，其包括：一菇類太空包輸送裝置，其包括一第一輸送裝置，該第一輸送裝置用以連續地輸送複數個籃子，每一該複數個籃子容置有複數個菇類太空包，每一該複數個菇類太空包已填裝有培養基質，且在袋口覆設有一塞蓋而可供進行滅菌作業，該第一輸送裝置將容置有該複數個菇類太空包之該複數個籃子依序輸送至一滅菌區域以對該複數個菇類太空包進行滅菌作業；一塞蓋缺陷辨識單元，其包括一第一辨識裝置，該第一辨識裝置用以依序對每一該籃子內的該複數個菇類太空包進行影像擷取而成像為第一整籃太空包影像，並對該第一整籃太空包影像進行影像處理及影像辨識處理，以辨識出每一該籃子的該複數個菇類太空包的該塞蓋或該袋口是否為塞蓋缺陷；及一塞蓋缺陷之菇類太空包分流單元，其包括一第一移離裝置，當該第一辨識裝置辨識出其中一個該個籃子的至少一個該菇類太空包為該塞蓋缺陷時，該塞蓋缺陷辨識單元則驅動該第一移離裝置，用以將其中一個該個籃子移離該第一輸送裝置，使該第一輸送裝置不間斷地將其他該複數個籃子持續輸送至該滅菌區域；其中，該塞蓋缺陷辨識單元包含一用以擷取其中一個該籃子之該第一整籃太空包影像的第一相機、一影像辨識模組及一內建有複數特徵樣本的特徵資料庫，每一該特徵樣本定義有一種塞蓋狀態資訊，該影像辨識模組用以對該第一整籃太空包影像依據各該菇類太空包所處位置而進行裁切，以裁切出複數單一太空包影像，並對該複數單一太空包影像依序做特徵擷取為複數塞蓋特徵，再執行塞蓋缺陷狀態的影像辨識處理，以將該複數塞蓋特徵依序輸入至該 特徵資料庫，以預測塞蓋特徵與該特徵樣本的符合機率，當該符合機率大於一預設機率時，則輸出相應的該塞蓋狀態資訊；該塞蓋狀態資訊係包含袋口覆設塞蓋確實、袋口覆設塞蓋不確實以及袋口無覆設塞蓋等狀態資訊，當該影像辨識模組辨識出該袋口覆設塞蓋不確實或是該袋口無覆設塞蓋等狀態資訊時，則判定該菇類太空包為該塞蓋缺陷；該菇類太空包輸送裝置包括一第二輸送裝置，該第二輸送裝置用以輸送被該第一移離裝置移離該第一輸送裝置的該複數個籃子，並在一工作者抽換有該塞蓋缺陷的該複數個菇類太空包之後繼續輸送該複數個籃子；該塞蓋缺陷辨識單元包括一第二辨識裝置，該第二辨識裝置用以依序對各該籃子的該複數個菇類太空包進行影像擷取而成像為第二整籃太空包影像，並對該第二整籃太空包影像進行影像處理及影像辨識，以辨識出各該籃子的該複數個菇類太空包的該塞蓋或該袋口是否為塞蓋缺陷；該塞蓋缺陷之菇類太空包分流單元包括一第二移離裝置，當該第二辨識裝置判斷出其中一個該個籃子的至少一個該菇類太空包為該塞蓋缺陷時，該塞蓋缺陷之菇類太空包分流單元則透過該第二移離裝置將其中一個該個籃子移離該第二輸送裝置，使該第二輸送裝置不間斷地將其他該複數個籃子持續輸送至該滅菌區域；該影像辨識模組係為一人工智慧深度學習模組，該人工智慧深度學習模組依據一訓練學習步驟而於該特徵資料庫建立一塞蓋缺陷學習演算模型，於該塞蓋缺陷學習演算模型輸入巨量的該複數特徵樣本、複數塞蓋特徵參數及影像辨識參數，並由該塞蓋缺陷學習演算模型測試各該單一太空包影像的影像辨識正確率，再判斷各該單一太空包影像的影像辨識正確率是否足夠，當判斷結果為是，則將辨識結果輸出及儲存；當判斷結果為否，則使該塞蓋缺陷學習演算模型自我修正學習；該人工智慧深度學習模組執行該影像辨識處理 時，則執行一預測階段步驟，係於該塞蓋缺陷學習演算模型依序輸入即時連續輸入即時整籃已經裁切的該單一太空包影像，並由該塞蓋缺陷學習演算模型預測辨識出所即時輸入之該複數單一太空包影像所代表的該塞蓋狀態資訊，再預測辨識出整籃之每一該菇類太空包的該塞蓋狀態資訊；該塞蓋缺陷辨識單元包含用以擷取其中一個該籃子之該第二整籃太空包影像的第二相機、一影像辨識模組及一內建有複數特徵樣本的特徵資料庫，每一該特徵樣本定義有一種塞蓋狀態資訊，該影像辨識模組用以對該第二整籃太空包影像依據各該菇類太空包所處位置而進行裁切，以裁切出複數單一太空包影像，並對該複數單一太空包影像依序做特徵擷取為複數塞蓋特徵，再執行塞蓋缺陷狀態的影像辨識處理，以將該複數塞蓋特徵依序輸入至該特徵資料庫，以預測塞蓋特徵與該特徵樣本的符合機率，當該符合機率大於一預設機率時，則輸出相應的該塞蓋狀態資訊；該塞蓋狀態資訊係包含袋口覆設塞蓋確實、袋口覆設塞蓋不確實以及袋口無覆設塞蓋等狀態資訊，當該影像辨識模組辨識出該袋口覆設塞蓋不確實或是該袋口無覆設塞蓋等狀態資訊時，則判定該菇類太空包為該塞蓋缺陷。
- 如請求項1所述之菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統，其中，該塞蓋缺陷辨識單元包括一缺陷太空包標示模組，該影像辨識模組於裁切該第一整籃太空包影像之前係依據各該菇類太空包所處位置依序進行位置編碼，該缺陷太空包標示模組依據各該位置編碼而標示出其一該複數個籃子中有該塞蓋缺陷狀態的該複數個菇類太空包，以供一工作者正確快速地抽換。
- 如請求項2所述之菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統，其中，該缺陷太空包標示模組包括複數個指示投射小燈，該複 數個指示投射小燈的數量與每一該複數個籃子中的該複數個菇類太空包的數量相等，該缺陷太空包標示模組控制使該複數個指示投射小燈相對應地投射燈光以標示出其一該複數個籃子中有該塞蓋缺陷狀態的該複數個菇類太空包，以供一工作者正確快速地抽換。
- 如請求項1所述之菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統，其中，該塞蓋缺陷學習演算模型測試各該第二整籃太空包影像的影像辨識正確率，再判斷各該第二整籃太空包影像的影像辨識正確率是否足夠，當判斷結果為是，則將辨識結果輸出及儲存；當判斷結果為否，則使該塞蓋缺陷學習演算模型自我修正學習；該人工智慧深度學習模組執行該影像辨識處理時，則執行該預測階段步驟，係於該塞蓋缺陷學習演算模型連續輸入即時整籃已經裁切的單一太空包影像，並由該塞蓋缺陷學習演算模型預測辨識出所即時輸入之該複數單一太空包影像所代表的該塞蓋狀態資訊，再預測辨識出整籃每一該菇類太空包的該塞蓋狀態資訊。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111124614A TWI811001B (zh) | 2022-06-30 | 2022-06-30 | 菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111124614A TWI811001B (zh) | 2022-06-30 | 2022-06-30 | 菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI811001B true TWI811001B (zh) | 2023-08-01 |
| TW202402628A TW202402628A (zh) | 2024-01-16 |
Family
ID=88585614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111124614A TWI811001B (zh) | 2022-06-30 | 2022-06-30 | 菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI811001B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004050106A (ja) * | 2002-07-23 | 2004-02-19 | Miyazaki Shiitake Kk | 椎茸自動選別仕分け設備 |
| US20140056482A1 (en) * | 2010-07-27 | 2014-02-27 | Infruits Ag | Method, sensor unit and machine for detecting "sugar top" defects in potatoes |
| TWM562969U (zh) * | 2018-01-29 | 2018-07-01 | 聯策科技股份有限公司 | 瑕疵品標示裝置 |
| TW202103810A (zh) * | 2019-07-24 | 2021-02-01 | 開必拓數據股份有限公司 | 基於自我學習技術之移動物品分類系統及方法 |
-
2022
- 2022-06-30 TW TW111124614A patent/TWI811001B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004050106A (ja) * | 2002-07-23 | 2004-02-19 | Miyazaki Shiitake Kk | 椎茸自動選別仕分け設備 |
| US20140056482A1 (en) * | 2010-07-27 | 2014-02-27 | Infruits Ag | Method, sensor unit and machine for detecting "sugar top" defects in potatoes |
| TWM562969U (zh) * | 2018-01-29 | 2018-07-01 | 聯策科技股份有限公司 | 瑕疵品標示裝置 |
| TW202103810A (zh) * | 2019-07-24 | 2021-02-01 | 開必拓數據股份有限公司 | 基於自我學習技術之移動物品分類系統及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202402628A (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2866117C (en) | Machine-vision system and method for remote quality inspection of a product | |
| CN110567974B (zh) | 一种基于云端人工智能表面缺陷检测系统 | |
| CA3152907A1 (en) | System and method for ai visual inspection | |
| CN101912847B (zh) | 基于dsp机器视觉的水果分级系统及方法 | |
| CN104458749A (zh) | 基于机器视觉的铝型材表面缺陷实时检测系统 | |
| CN104034638B (zh) | 基于机器视觉的金刚线颗粒在线质检方法 | |
| CN112132796A (zh) | 以反馈数据自主学习提升检测精度的视觉检测方法和系统 | |
| CN101645136A (zh) | 图像识别检测系统 | |
| CN111492401B (zh) | 包装容器中的缺陷检测的方法 | |
| CN112730445A (zh) | 一种烟丝杂物视像检测系统 | |
| CN110852373A (zh) | 基于视觉的无缺陷样本深度学习网络训练方法 | |
| CN113569922A (zh) | 一种苹果智能无损分拣的方法 | |
| CN104034637A (zh) | 基于机器视觉的金刚线颗粒在线质检装置 | |
| TWI811001B (zh) | 菇類太空包塞蓋缺陷檢出之菇籃不間斷輸送系統 | |
| CN203965287U (zh) | 基于机器视觉的金刚线颗粒在线质检装置 | |
| CN112733676A (zh) | 一种基于深度学习的电梯内垃圾检测识别方法 | |
| CN202185413U (zh) | 一种刺参的分级设备 | |
| CN205074251U (zh) | 基于图像识别的嵌入式珍珠分拣器 | |
| CN114037960B (zh) | 一种基于机器视觉的翻板阀状态识别方法和系统 | |
| CN113393432B (zh) | 一种智能泡沫浮选检测系统 | |
| CN111353432B (zh) | 一种基于卷积神经网络的金银花药材快速净选方法及系统 | |
| CN103148783A (zh) | 一种气门摇臂安装位置的自动检测方法 | |
| CN113887644A (zh) | 物料点状态分类模型的构建方法及物料点自动呼料方法 | |
| CN209297154U (zh) | 一种基于图像识别的叠堆过程监控系统 | |
| CN113642572B (zh) | 一种基于多级注意力的图像目标检测方法、系统与装置 |