TWM592792U

TWM592792U - 智慧型非破壞式水果品質檢測系統

Info

Publication number: TWM592792U
Application number: TW108215147U
Authority: TW
Inventors: 陳智勇; 李騫贊; 張崑詠; 高仲葳; 楊定曄
Original assignee: 樹德科技大學
Priority date: 2019-11-15
Filing date: 2019-11-15
Publication date: 2020-04-01

Abstract

一種智慧型非破壞式水果品質檢測系統，至少包含重量量測裝置、影像擷取裝置、脆度檢測裝置、處理裝置及顯示裝置。重量量測裝置量測水果之重量。影像擷取裝置擷取水果之至少一影像。脆度檢測裝置非破壞式量測水果之按壓回饋數據。處理裝置依據影像即時辨別水果是否具有瑕疵藉以判斷出外觀品質以及依據按壓回饋數據判斷出脆度。顯示裝置顯示水果之重量、外觀品質及脆度之資訊。藉此，本創作不須破壞水果外觀，即可得知水果的脆度以及其外觀品質。

Description

智慧型非破壞式水果品質檢測系統

本創作係一種水果品質檢測系統，且特別是有關於一種智慧型非破壞式水果品質檢測系統。

現今水果的檢測都還以人工目視檢測較為廣泛，目前市面上檢測機台功能也僅具有大小重量分類，很難達成自動化檢測的功能，通常需要農民的經驗投入大量的人力進行檢測，且檢測結果因人而異並不準確。一般果農購買高成本的水果檢測機較為困難，所以一般只篩選水果外觀及記錄水果重量，且若有大量水果採收，需要耗費更多時間來篩選，只有當水果送至農會或水果大盤商之後，才有可能將水果進行等級分類，但此流程會耗費太多時間，有可能因此降低水果保存時間。目前臺灣的工廠雖然能以機械模具進行對水果重量分類的自動化流程，但在檢測水果的外觀瑕疵方面仍然需要以人力肉眼確認及破壞性的技術檢測才能得知，不僅需要專業農民訓練、消耗大量人力，且每個人的觀點不同讓瑕疵判斷也有待商榷。

有鑑於此，本創作的目的係提供一種智慧型非破壞式水果品質檢測系統，用以解決傳統技術的問題。

為了達成本創作之目的，本創作提供一種智慧型非破壞式水果品質檢測系統，至少包含：一重量量測裝置，量測一水果之一重量；一影像擷取裝置，擷取水果之至少一影像；一脆度檢測裝置，非破壞式量測水果之按壓回饋數據；一處理裝置，依據該至少一影像即時辨別水果是否具有至少一瑕疵藉以判斷出一外觀品質以及依據按壓回饋數據判斷出一脆度；以及一顯示裝置，顯示水果之重量、外觀品質及脆度之一資訊。

其中，此系統還更包含一驅動裝置，驅動裝置驅動水果轉動方位，藉以使得影像擷取裝置取得水果之至少一影像，以及使得重量量測裝置及/或脆度檢測裝置對水果進行量測，其中至少一影像之數量為複數個。

其中，此系統還更包含一驅動裝置，驅動裝置驅動水果轉動方位，藉以使得影像擷取裝置取得水果之至少一影像，以及驅動水果移動位置，藉以使得重量量測裝置及脆度檢測裝置對水果進行量測，其中至少一影像之數量為複數個。

其中，處理裝置還依據至少一影像即時分類出水果之外觀品質之一等級，且資訊包含水果之等級。

其中，脆度檢測裝置係非破壞式按壓水果以獲得按壓回饋數據，且處理裝置係以一脆度數據資料庫比對水果之按壓回饋數據，藉以判斷出水果的脆度。

其中，脆度檢測裝置係以一按壓機構按壓水果，藉由一應變規的按壓力道，偵測按壓回饋數據，再以共變異數分析，與一脆度數據資料庫比對，找出最接近的一硬度曲線，以判斷出水果的脆度。

其中，按壓機構係包含一螺桿、一按壓桿、一伺服馬達及一應變規，其中按壓桿連接應變規，且按壓桿之第一端係用以按壓水果，按壓桿之第二端則具有一螺孔，用以螺接螺桿，藉此當伺服馬達令螺桿朝一預定方向轉動時，按壓桿即可降低高度按壓水果或升高高度遠離水果。

其中，處理裝置利用一類神經網路架構建立一瑕疵檢測模型，藉以經由水果之影像判斷水果是否具有至少一瑕疵，以獲得外觀品質。

其中，類神經網路架構係卷積神經網路 (Convolution Neural Network)。

其中，處理裝置係先以OpenCV影像辨識系統進行水果之特徵追蹤，再透過卷積神經網路中的yolov3類神經網路模型進行瑕疵辨識，藉以依據至少一影像判斷出水果之外觀品質。

依據上述，本創作可具有以下優點：

(1) 可檢測水果之重量與脆度，並且可分辨水果外觀好壞以及汰除品質不佳之水果，藉以讓消費者確實掌控水果的品質。

(2) 本創作可在不破壞水果之外觀的情況下獲得水果之脆度數據。

(3) 本創作可即時進行辨別水果的表面是否具有瑕疵，藉以判斷出水果的外觀品質。

為利瞭解本創作的技術特徵、內容與優點及其所能達成的功效，茲將本創作的配合圖式，並以實施例的表達形式詳細說明如下，而其中所使用的圖式，其主旨僅為示意及輔助說明書之用，未必為本創作實施後的真實比例與精准配置，故不應就所附的圖式的比例與配置關係解讀、局限本創作於實際實施上的權利範圍。此外，為使便於理解，下述實施例中的相同元件是以相同的符號標示來說明。此外，附圖所示的組件的尺寸比例僅為便於解釋各元件及其結構，並非用以限定。

另外，在全篇說明書與申請專利範圍所使用的用詞，除有特別註明外，通常具有每個用詞使用在此領域中、在此揭露的內容中與特殊內容中的平常意義。某些用以描述本創作的用詞將於下或在此說明書的別處討論，以提供本領域技術人員在有關本創作的描述上額外的引導。

關於本文中如使用“第一”、“第二”等，並非特別指稱次序或順位的意思，亦非用以限定本創作，其僅僅是為了區別以相同技術用語描述的組件或操作而已。

其次，在本文中如使用用詞“包含”、“包括”、“具有”、“含有”等，其均為開放性的用語，即意指包含但不限於。

請一併參閱圖1及圖2，本創作係一種水果品質檢測及影像特徵辨識系統，且特別是一種智慧型非破壞式水果品質檢測系統。此系統至少包含重量量測裝置10、影像擷取裝置20、脆度檢測裝置30、處理裝置40及顯示裝置50。其中，處理裝置40例如分別電性連接重量量測裝置10、影像擷取裝置20及脆度檢測裝置30，藉以接收檢測數據，且顯示裝置50例如為電性連接處理裝置40，藉以顯示出處理裝置40針對水果之外觀品質以及脆度之判斷結果(資訊)。

重量量測裝置10係用以量測水果80之重量。此水果80可例如為芭樂，但不限於此，本創作也可適用於其他種類之水果，例如蘋果、鳳梨、西瓜及哈密瓜等。重量量測裝置10係例如為具有承載盤之電子式秤重器。此電子式秤重器係例如為應變規秤重裝置，利用放大電路將應變規及惠斯登電橋量測之電壓差進行A/D轉換及放大，用以精準量測水果80的重量，此方式可以架設於輸送台座上不占空間。當水果80放置於重量量測裝置10的承載盤時，重量量測裝置10可量測水果80的重量並輸出具有水果80之重量值之重量訊號。

本創作係採用HX711晶片將應變規及惠斯登電橋量測之電壓差進行A/D轉換及放大，用以精準量測水果80的重量。HX711是一款專為高精度稱重感測器而設計的24位A/D轉換器晶片，與其它同類型晶片相比，此晶片集合了穩壓電源、時脈振盪器等，具有響應速度快、抗干擾性強等優點。因為電橋輸出電壓值較小，因此本創作使用晶片的通道A輸入電橋的輸出電壓，並利用該晶片內建之振盪器產生27個時脈將電壓的增益設定為64，即可得到放大電壓。再利用晶片進行A/D轉換，將訊號輸出至處理裝置40(微控制器)進行後續的運算分析。

本創作之影像擷取裝置20係透過攝像頭來拍攝水果80的特徵照，並透過 OpenCV (Open Source Computer Vision)影像辨識系統進行水果特徵追蹤後，再透過卷積神經網路(Convolution Neural Network)進行瑕疵辨識，上述之瑕疵例如為蟲蛀、發霉、裂開、發黑、過熟或損傷，但不限於此。因此，當檢測出有問題後，本創作可選擇性立即進行回收處理，達成品質控管之目的。本創作之一技術特徵在於影像擷取裝置20可擷取水果80之影像，其中影像可為靜態影像或動態影像。影像擷取裝置20可例如為能夠拍攝靜態影像(例如照片)的照相機/攝影機，亦可例如為可拍攝動態影像(例如影片)的攝影機。影像擷取裝置20係用以擷取放置於重量量測裝置10的承載盤上的水果80的至少一影像。舉例而言，當水果80放置於重量量測裝置10的承載盤之後，且在秤重的同時、秤重之後或者秤重之前，影像擷取裝置20可拍攝水果80之至少一表面之至少一影像。亦即，影像擷取裝置20可拍攝水果80之單個影像或者複數個影像。其中，所拍攝的水果80的表面係面對於影像擷取裝置20之鏡頭，換言之，若水果80更換面對於影像擷取裝置20鏡頭的表面，則影像擷取裝置20可擷取水果80其他表面的影像。其中，水果80更換面對於影像擷取裝置20之鏡頭之表面的方式可例如為轉動水果80的方位或者影像擷取裝置20之鏡頭轉動方位。

舉例而言，在其他實施例中，此系統還可包含驅動裝置60，驅動裝置60例如為轉盤，且例如為重量量測裝置10的承載盤，此驅動裝置60係驅動水果80轉動方位(轉向)，藉以使得影像擷取裝置20能夠擷取水果80之單個影像或者複數個影像。其中，影像擷取裝置20及脆度檢測裝置30可例如位於重量量測裝置10的承載盤的周圍不同位置，且在水果80轉動的過程中，即可擷取水果80不同表面的影像及/或檢測水果80的脆度。

另外，在別的實施例中，重量量測裝置10、影像擷取裝置20及脆度檢測裝置30可例如為相距一段距離，且此驅動裝置60可例如包含轉盤及移動平台，移動平台例如為輸送帶或滑台，轉盤例如為重量量測裝置10的承載盤，而移動平台則是運輸承載盤移動位置，因此承載盤又可作為移動平台或是設置於移動平台上，藉以使得水果80移動其位置至分別對應於重量量測裝置10、影像擷取裝置20及脆度檢測裝置30。驅動裝置60可例如沿著台座(未標號)移動，藉以移動水果的位置，因此台座及驅動裝置60較佳為具有對應之滑槽與滑塊。舉例而言，當重量量測裝置10量測完水果80的重量之後，驅動裝置60的移動平台可使水果80位移至影像擷取裝置20的前方，然後轉盤例如進行多次120度轉動，藉以擷取三張影像。隨後，移動平台再使水果80位移至脆度檢測裝置30的前方，藉以檢測水果80的脆度。待脆度檢測完之後，移動平台再使水果80位移至原本位置(歸位)。其中，本創作之移動平台採用滑台設計，透過脈波訊號可控制伺服馬達控制器讓滑台(移動平台)精準的移動至每個檢測站(重量量測裝置10、影像擷取裝置20及脆度檢測裝置30)之位置。此外，在每個檢測站分別有一顆磁鐵，檢測承載盤(移動平台)上的霍爾感測器可以精準感測每個檢測站之位置並順利停下並進行檢測，且所有檢測完成時回到原位。由於，本創作所屬技術領域中經由本創作之教示並參酌現有技術，應可明瞭驅動裝置如何轉動及/或移動水果，故本創作不再贅述此技術手段。

本創作之又一技術特徵在於脆度檢測裝置30可非破壞式量測水果之脆度數據。亦即，本創作可在不破壞水果之外觀的情況下，亦即不須刮皮、剖開或鑽孔取樣，即可獲得水果之脆度數據。本創作係採用非破壞式按壓水果的方式，藉以獲得按壓回饋數據，再經由處理裝置40以一脆度數據資料庫比對水果之按壓回饋數據，即可判斷出水果的脆度。詳言之，本創作可採用按壓機構70按壓水果，藉由應變規78按壓的力道，偵測按壓回饋數據(脆度數據)，再以共變異數分析，然後與預先收集的脆度數據資料庫進行比對以找出最接近的一硬度曲線，藉以判斷出水果80的脆度。舉例而言，按壓機構70係包含螺桿72、按壓桿74、伺服馬達76及應變規78，其中伺服馬達76係例如設於支架(未標號)上，且伺服馬達76係驅動按壓桿74於螺桿72上升降高度，藉由應變規78按壓水果80之力道而偵測按壓回饋數據。其中，支架上可例如具有導槽，且螺桿可例如具有滑塊，可沿著導槽升降高度。此外，按壓桿74連接應變規78，且按壓桿74之第一端係用以按壓水果80(例如只需例如下壓0.2公分)，按壓桿74之第二端則具有螺孔，此螺孔係用以螺接螺桿72，因此當伺服馬達76令螺桿72朝預定方向轉動時，按壓桿74即可改變高度，藉以降低高度按壓水果80或升高高度遠離水果80。共變異數表示的是兩個變量的總體誤差，這表示一個變數誤差的變異數不同。將共變異數除上兩個變數間的標準差，如此一來單位即被消除，使值回到同一個基準線上並且會落在正負1之間。透過共變異數減去各自的平均數後相乘最後算總和，與預先建好的資料比對，以判斷出水果脆度。

本創作之又一特徵在於處理裝置40可接收水果80之重量訊號、影像及按壓回饋數據，且可即時進行辨別水果80的表面是否具有至少一瑕疵，藉以判斷出水果80的外觀品質，以及依據上述之脆度數據(按壓回饋數據)判斷出水果80的脆度。其中，處理裝置40更例如以共變異數分析按壓回饋數據，且與預先建立的脆度數據資料庫進行比對，藉由找出最接近的硬度曲線，以判斷出水果80的脆度(脆度曲線)。

以芭樂為例，外觀瑕疵檢測是目前農民最耗費人力的品管環節。為了有效檢測水果外觀瑕疵，本創作使用Yolov3類神經網路模型為架構，以Yolo來訓練水果瑕疵特徵照片，且透過相片標註(labeling)工具標註影像擷取裝置(照片)先前拍攝多張芭樂的瑕疵照片來建立瑕疵資料模型(Yolo瑕疵圖片資料庫)，在訓練完後建立芭樂瑕疵檢測模型以及模型權重檔，只要使用時輸入欲檢測照片後立刻可以得出芭樂照片是否為瑕疵芭樂，並可輸出該檢測結果照片(見圖3)。

詳言之，本創作之處理裝置40例如利用類神經網路架構建立瑕疵檢測模型，或選擇性建立模型權重檔，藉以經由水果之影像判斷此水果是否具有至少一瑕疵，以獲得外觀品質。舉例而言，處理裝置40接收到水果影像之後，可選擇性先以OpenCV (Open Source Computer Vision) 影像辨識系統進行水果之外觀的特徵追蹤，再透過卷積神經網路中的yolov3類神經網路模型進行瑕疵辨識，藉以判斷出水果之外觀品質。以一實施態樣為例，若水果之外觀有瑕疵，則可判定水果之外觀品質屬於不良品，若外觀無瑕疵，則可判定水果之外觀品質屬於良品。此外，在其他實施例中，處理裝置40還可選擇性進一步依據水果之影像即時分類出水果之外觀品質之等級，藉以實現自動分級篩選水果的功能。上述OpenCV影像辨識系統是一個跨平台的影像函式庫，應用其中的影像處理功能，對影像擷取裝置20所擷取的水果的影像進行顏色修正、雜訊濾除、剪裁、旋轉、鏡頭調整及/或水果外型大小估算等處理。

本創作之顯示裝置50例如為具有視覺化控制介面之顯示螢幕，且例如電性連接處理裝置40，藉以顯示出處理裝置40針對水果之外觀品質以及脆度之判斷結果(資訊)(見圖4)，此外還可選擇性顯示水果之重量，或者選擇性即時顯示影像擷取裝置所擷取的水果影像(瑕疵點特徵影像)。因此，使用者不須破壞水果，即可從顯示裝置50上即時得知此水果的重量數值、品質、等級、照片及/或脆度等資訊。

此外，如圖5所示，本創作之類神經網路架構係卷積神經網路中的yolov3類神經網路模型。Yolo (You only look once, Yolo)是關於物件偵測 (object detection)的類神經網路演算法，以Darknet實作，具有輕量、依賴少、演算法高效率的特性，常應用於多種工業影像偵測領域。Yolov3使用Darknet-53為類神經網路底層架構，其包含53層網路架構，且使用FPN（Feature Pyramid Networks）多層級架構網路來提升對小物體的預測能力，有效快速辨識影像。本創作利用此功能達成水果上的外觀瑕疵，例如：蟲蛀、腐爛、壓撞傷、等外表的瑕疵。

依據上述，本創作可具有以下優點：

上述所揭露的各個實施例僅為例示性，而非為限制性。任何未背離本創作之精神與範疇，而對本創作所揭露之實施例進行的等效修改或變更，皆應包含於後附之申請專利範圍中。

10:重量量測裝置 20:影像擷取裝置 30:脆度檢測裝置 40:處理裝置 50:顯示裝置 60:驅動裝置 70:按壓機構 72:螺桿 74:按壓桿 76:伺服馬達 78:應變規 80:水果

圖1為本創作之智慧型非破壞式水果品質檢測系統之示意圖。

圖2為本創作之智慧型非破壞式水果品質檢測系統之電路方塊圖。

圖3為本創作之智慧型非破壞式水果品質檢測系統之瑕疵辨識結果照片。

圖4係顯示本創作之視覺化控制介面之畫面。

圖5為本創作之卷積神經網路流程圖。

10:重量量測裝置

20:影像擷取裝置

30:脆度檢測裝置

40:處理裝置

50:顯示裝置

Claims

一種智慧型非破壞式水果品質檢測系統，包含：一重量量測裝置，量測一水果之一重量；一影像擷取裝置，擷取該水果之至少一影像；一脆度檢測裝置，非破壞式量測該水果之按壓回饋數據；一處理裝置，依據該至少一影像即時辨別該水果是否具有至少一瑕疵藉以判斷出一外觀品質以及依據該按壓回饋數據判斷出一脆度；以及一顯示裝置，顯示該水果之該重量、該外觀品質及該脆度之一資訊。
如申請專利範圍第1項所述之智慧型非破壞式水果品質檢測系統，更包含一驅動裝置，該驅動裝置驅動該水果轉動方位，藉以使得該影像擷取裝置取得該水果之該至少一影像，以及使得該重量量測裝置及/或該脆度檢測裝置對該水果進行量測，其中該至少一影像之數量為複數個。
如申請專利範圍第2項所述之智慧型非破壞式水果品質檢測系統，更包含一驅動裝置，該驅動裝置驅動該水果轉動方位，藉以使得該影像擷取裝置取得該水果之該至少一影像，以及驅動該水果移動位置，藉以使得該重量量測裝置及該脆度檢測裝置對該水果進行量測，其中該至少一影像之數量為複數個。
如申請專利範圍第1項所述之智慧型非破壞式水果品質檢測系統，其中該處理裝置還依據該至少一影像即時分類出該水果之該外觀品質之一等級，且該資訊包含該水果之該等級。
如申請專利範圍第1項所述之智慧型非破壞式水果品質檢測系統，其中該脆度檢測裝置係非破壞式按壓該水果以獲得該按壓回饋數據，且該處理裝置係以一脆度數據資料庫比對該水果之該按壓回饋數據，藉以判斷出該水果的該脆度。
如申請專利範圍第1項中所述之智慧型非破壞式水果品質檢測系統，其中該脆度檢測裝置係以一按壓機構按壓該水果，藉由一應變規的按壓力道，偵測該按壓回饋數據，再以共變異數分析，與一脆度數據資料庫比對，找出最接近的一硬度曲線，以判斷出該水果的該脆度。
如申請專利範圍第6項所述之智慧型非破壞式水果品質檢測系統，其中該按壓機構係包含一螺桿、一按壓桿、一伺服馬達及該應變規，其中該按壓桿連接該應變規，且該按壓桿之第一端係用以按壓該水果，該按壓桿之第二端則具有一螺孔，用以螺接該螺桿，藉此當該伺服馬達令該螺桿朝一預定方向轉動時，該按壓桿即可降低高度按壓該水果或升高高度遠離該水果。
如申請專利範圍第1項至第7項中任一項所述之智慧型非破壞式水果品質檢測系統，其中該處理裝置利用一類神經網路架構建立一瑕疵檢測模型，藉以經由該水果之該影像判斷該水果是否具有該至少一瑕疵，以獲得該外觀品質。
如申請專利範圍第8項所述之智慧型非破壞式水果品質檢測系統，其中該類神經網路架構係卷積神經網路(Convolution Neural Network)。
如申請專利範圍第9項所述之智慧型非破壞式水果品質檢測系統，其中該處理裝置係先以OpenCV影像辨識系統進行該水果之特徵追蹤，再透過該卷積神經網路中的yolov3類神經網路模型進行瑕疵辨識，藉以依據該至少一影像判斷出該水果之該外觀品質。