TWI838271B - 烘焙炊蒸食品半成品的完成度管控方法及系統 - Google Patents

烘焙炊蒸食品半成品的完成度管控方法及系統 Download PDF

Info

Publication number
TWI838271B
TWI838271B TW112121669A TW112121669A TWI838271B TW I838271 B TWI838271 B TW I838271B TW 112121669 A TW112121669 A TW 112121669A TW 112121669 A TW112121669 A TW 112121669A TW I838271 B TWI838271 B TW I838271B
Authority
TW
Taiwan
Prior art keywords
baked
semi
food
category
finished
Prior art date
Application number
TW112121669A
Other languages
English (en)
Inventor
羅世瑋
吳志泓
周秀美
Original Assignee
財團法人國家實驗研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人國家實驗研究院 filed Critical 財團法人國家實驗研究院
Priority to TW112121669A priority Critical patent/TWI838271B/zh
Application granted granted Critical
Publication of TWI838271B publication Critical patent/TWI838271B/zh

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

一種烘焙炊蒸食品半成品的完成度管控方法及系統,該方法包含:輸入烘焙炊蒸食品半成品之影像;對該影像進行實例分割,以輸出辨識推論結果,該辨識推論結果包括烘焙炊蒸食品類別、背景參考物類別、關聯於該烘焙炊蒸食品類別之第一類別可信度值、關聯於該背景參考物類別之第二類別可信度值、烘焙炊蒸食品遮罩,及背景參考物遮罩;若該第一類別可信度值與該第二類別可信度值大於各自對應物件之類別可信度閾值,則計算該烘焙炊蒸食品遮罩之第一面積與該背景參考物遮罩之第二面積的比例;若該比例大於遮罩面積比例閾值,表示該烘焙炊蒸食品半成品發酵完成。

Description

烘焙炊蒸食品半成品的完成度管控方法及系統
本發明是有關於一種食品半成品的完成度管控方法及系統,特別是指一種烘焙炊蒸食品半成品的完成度管控方法及系統。
烘焙炊蒸食品係以穀物為原料,經過不同的食品加工方式或不同製程。例如通常以麵粉為主原料,作成麵團等半成品,經混合、發酵後成型焙烤或炊蒸而成者。而麵團在發酵過程中,會受到環境溫度、濕度、發酵時間等影響,導致發酵不全或過多,進而影響整體品質與生產效率。為了能夠控管麵團半成品之發酵品質,使得終端烘焙炊蒸食品產品達成一致品質,因此需要時刻對麵團的發酵程度進行監控,以確保發酵合乎成品規範。
現行對於麵團的發酵程度之量測方式大多採用人工方式以肉眼目視或以卡尺手動量測為之。然而,人工目視有賴經驗與個人專業度,容易因人而產生判斷差異。而使用卡尺量測則由於需頻繁翻動與接觸食品,容易帶入雜質,使得食品污染的機率增加,若 是隨著抽檢數量增加,手動或目視量測所需時間也會大幅提高。至於自動化檢測,則需仰賴外加多種感測器與後處理分析等設備。
因此,本發明的目的,即在提供一種烘焙炊蒸食品半成品的完成度管控方法。
於是,本發明烘焙炊蒸食品半成品的完成度管控方法,適用於判定一烘焙炊蒸食品之一烘焙炊蒸食品半成品之完成度,且包含以下步驟:(a)擷取包括一背景參考物及置於該背景參考物上的該烘焙炊蒸食品半成品之一影像,並將該影像輸入至一伺服器;(b)該伺服器利用一實例分割(instance segmentation)模型,對該影像進行影像實例分割,以輸出一辨識推論結果,其中,該辨識推論結果包括一烘焙炊蒸食品類別、一背景參考物類別、一關聯於該烘焙炊蒸食品類別之第一類別可信度值(classification confidence score)、一關聯於該背景參考物類別之第二類別可信度值、一烘焙炊蒸食品遮罩,及一背景參考物遮罩;(c)在該第一類別可信度值與該第二類別可信度值皆大於一類別可信度閾值(confidence threshold)之情況下,該伺服器計算該烘焙炊蒸食品遮罩之一第一面積與該背景參考物遮罩之一第二面積的一比例;及(d)該伺服器判定該比例是否大於一遮罩面積比例閾值,若是,該 伺服器判定該烘焙炊蒸食品半成品已完成發酵,若否,該伺服器判定該烘焙炊蒸食品半成品尚未完成發酵。
此外,本發明的另一目的,即在提供一種烘焙炊蒸食品半成品的完成度管控系統。
於是,本發明烘焙炊蒸食品半成品的完成度管控系統,適用於判定一烘焙炊蒸食品之一烘焙炊蒸食品半成品之完成度,且包含:一伺服器,包括一實例分割模型;及一聯網裝置,設置於烘焙炊蒸現場端,且具備拍照功能與聯網功能,其中,該聯網裝置能夠擷取包括一背景參考物與置於該背景參考物上的該烘焙炊蒸食品半成品之一影像,並將該影像輸入至該伺服器;其中,該伺服器利用該實例分割模型,對該影像進行影像實例分割,以輸出一辨識推論結果,其中,該辨識推論結果包括一烘焙炊蒸食品類別、一背景參考物類別、一關聯於該烘焙炊蒸食品類別之第一類別可信度值、一關聯於該背景參考物類別之第二類別可信度值、一烘焙炊蒸食品遮罩,及一背景參考物遮罩;其中,在該第一類別可信度值及該第二類別可信度值皆大於一類別可信度閾值之情況下,該伺服器計算該烘焙炊蒸食品遮罩之一第一面積與該背景參考物遮罩之一第二面積的一比例,繼而該伺服器判定該比例是否大於一遮罩面積比例閾值,若是,該伺服器判定該烘焙炊蒸食品半成品已完成發酵,若否,該伺服器判定該烘焙炊蒸食品半成品尚未完成發酵,並 且該伺服器將該烘焙炊蒸食品半成品是否已發酵完成之訊息呈現於該聯網裝置上。
本發明的功效在於:能夠將烘焙師的經驗轉化為人工智慧(AI)模型,以利該烘焙炊蒸食品之麵團發酵品管自動化,特別是能夠遠距對烘焙炊蒸現場之發酵食品進行尺度估算,減少人工檢查的誤差及接觸式量測的污染,也有助於減少人工檢驗的工序及時間。
1:背景參考物
2:烘焙炊蒸食品半成品
3:伺服器
30:烘焙炊蒸食品半成品完成度管控程式
300:實例分割模型
303:辨識推論結果
306:烘焙炊蒸食品類別
307:背景參考物類別
308:烘焙炊蒸食品遮罩
309:背景參考物遮罩
37:影像資料集
38:影像資料標註模組
39:深度學習模組
4:聯網裝置
40:顯示單元
41:拍照單元
42:通訊單元
43:處理單元
5:影像
S41~S43:子步驟
S60~S66:步驟
本發明的其它的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中:圖1是一方塊圖,說明本發明烘焙炊蒸食品半成品的完成度管控系統之一實施例;圖2是一流程圖,說明本發明烘焙炊蒸食品半成品的完成度管控方法之一實施例中的一模型訓練過程,可產生一實例分割模型;圖3是一流程圖,說明該方法實施例中的一發酵辨識過程;圖4是一示意圖,說明在該發酵辨識過程中,擷取包括一背景參考物及置於該背景參考物上的烘焙炊蒸食品之一影像;及圖5是一示意圖,說明在該發酵辨識過程中,利用該實例分割模型,對該烘焙炊蒸影像進行影像實例分割,以輸出一辨識推論結 果。
參閱圖1,本發明烘焙炊蒸食品半成品(例如麵團等)的完成度管控系統之一實施例,包含一至少具備拍照功能與聯網功能之聯網裝置4,及一伺服器3。在本實施例中,該聯網裝置4可以是例如為智慧型手機等,且包括一顯示單元40、一拍照單元41、一通訊單元42,及一與該顯示單元40、該拍照單元41,和該通訊單元42電連接之處理單元43。
在本實施例中,該伺服器3包括一影像資料集37、一影像資料標註(Label)模組38、一深度學習模組39,及一烘焙炊蒸食品半成品完成度管控程式30。其中,在本實施例中,本發明烘焙炊蒸食品的完成度管控方法包含一模型訓練過程,及一發酵辨識過程等兩部分。
參閱圖1、2,在本實施例中,該模型訓練過程之步驟包括如圖2所示的子步驟。首先,如圖2之子步驟S41所示,先輸入各種烘焙炊蒸食品(例如可頌、吐司等)半成品之大量相關發酵影像資料集37至該伺服器3中。接著,如子步驟S42所示,利用該影像資料標註模組38,對該影像資料集37進行標註。然後,如子步驟S43所示,利用該深度學習模組39,對已標註的該影像資料集37進行 模型訓練,以產生一實例分割模型300,其中,該實例分割模型300能夠用來從一即時烘焙炊蒸影像中判別出麵團,與用以承載該麵團之背景參考物(例如烘焙紙、吐司模等...)。在本實施例中,是採用Mask R-CNN為模型架構來產生該實例分割模型300,不過,本發明不限於Mask R-CNN模型架構,而是在其他實施例中,任何具實例分割功能之模型架構均可使用。
參閱圖1、3至5,以下說明書內容將以該烘焙炊蒸食品半成品2是可頌麵包之麵團為例,來詳述本實施例中的該發酵辨識過程。如圖3之步驟S60所示,於烘焙炊蒸現場利用該聯網裝置4之該拍照單元41,擷取包括一背景參考物1及置於該背景參考物1上的該烘焙炊蒸食品半成品2之一影像5,例如在圖4之範例中,若該烘焙炊蒸食品半成品2為可頌麵包之麵團,則該背景參考物1便是用來承載該麵團之烘焙紙。繼而,利用該聯網裝置4之該通訊單元42,將該影像5透過網際網路輸入至該伺服器3。又例如在其他實施例中,若該烘焙炊蒸食品半成品2是吐司之麵團,則該背景參考物1便是吐司模。
接著,如步驟S61所示,該伺服器3之該烘焙炊蒸食品半成品完成度管控程式30利用該實例分割模型300,對該影像5進行影像實例分割,繼而如步驟S62所示,輸出一辨識推論結果303,如圖5所示。其中,該辨識推論結果303包括一烘焙炊蒸食品類別 306、一背景參考物類別307、一關聯於該烘焙炊蒸食品類別306之第一類別可信度值、一關聯於該背景參考物類別307之第二類別可信度值、一烘焙炊蒸食品遮罩(Mask)308,及一背景參考物遮罩309。例如,在本實施例中,由於該烘焙炊蒸食品半成品2是可頌麵包之麵團,而該背景參考物1是烘焙紙,故經辨識推論之後的該辨識推論結果303之影像中會形成對應於該可頌的該烘焙炊蒸食品遮罩308,以及對應於該烘焙紙的該背景參考物遮罩309,並且在該烘焙炊蒸食品遮罩308上可呈現對應的該烘焙炊蒸食品類別306,即呈現〝可頌〞之類別文字,同理,在該背景參考物遮罩309上可呈現對應的該背景參考物類別307,即呈現〝烘焙紙〞之類別文字。
接著,如步驟S63所示,該烘焙炊蒸食品半成品完成度管控程式30對所有的區域遮罩(即該烘焙炊蒸食品遮罩308,與該背景參考物遮罩309)進行前處理,依所添加的規則條件過濾掉不合格之辨識結果。亦即,該烘焙炊蒸食品半成品完成度管控程式30會根據一類別可信度閾值,來決定辨識出的該烘焙炊蒸食品遮罩308及該背景參考物遮罩309是否合格,若兩者都合格,才接著進行步驟S64,反之,只要該烘焙炊蒸食品遮罩308及該背景參考物遮罩309任一者不合格,就將該影像5過濾掉。例如,在本實施例中,該類別可信度閾值可根據烘焙師之經驗來預先設定,例如可以 是約90%等。
如步驟S64所示,在該第一類別可信度值與該第二類別可信度值皆大於該類別可信度閾值之情況下,該烘焙炊蒸食品半成品完成度管控程式30計算該烘焙炊蒸食品遮罩308之一第一面積與該背景參考物遮罩309之一第二面積的一比例。例如,假設該烘焙炊蒸食品半成品完成度管控程式30運算出圖5中可頌麵包之該烘焙炊蒸食品遮罩308之該第一面積,和烘焙紙之該背景參考物遮罩309之該第二面積之間的該比例為0.27。
如步驟S65,上述步驟S64運算出的該比例必須與一預先設定的遮罩面積比例閾值進行比較。其中,在本實施例中,不同烘焙炊蒸食品種類之該遮罩面積比例閾值可根據烘焙師之經驗來預先設定,或生產過程得到。例如,在本實施例中,該烘焙炊蒸食品半成品2為可頌麵包之麵團,並且該背景參考物1是烘焙紙,則該遮罩面積比例閾值為約0.25等。而在其他實施例中,若該烘焙炊蒸食品半成品2為吐司麵包之麵團,且該背景參考物1是吐司模,則該遮罩面積比例閾值為0.75。
然後,如步驟S66所示,該伺服器3之該烘焙炊蒸食品半成品完成度管控程式30判定該比例是否大於該遮罩面積比例閾值,若是,該伺服器3判定該烘焙炊蒸食品半成品2已完成發酵,反之則判定該烘焙炊蒸食品半成品2尚未完成發酵,並將判定結果(發 酵OK或NG)傳回烘焙炊蒸現場端之該聯網裝置4。例如,在本實施例中該遮罩面積比例閾值為0.25的情況下,由於步驟S64中計算出的該比例0.27大於0.25,故該伺服器3判定該烘焙炊蒸食品半成品2(即可頌麵包之麵團)已發酵完成,並將已發酵完成之訊息呈現於烘焙炊蒸現場端之該聯網裝置4之該顯示單元40上。
綜上所述,本發明烘焙炊蒸食品半成品的完成度管控方法及系統之優點與功效在於,可將烘焙師的經驗轉化為人工智慧(AI)模型,以利該烘焙炊蒸食品半成品2之麵團發酵品管自動化,特別是能夠遠距對烘焙炊蒸現場之發酵食品進行尺度估算,減少人工檢查的誤差及接觸式量測的污染,也有助於減少人工檢驗的工序及時間。所以確實能達成本發明的目的。
惟以上所述者,僅為本發明的實施例而已,當不能以此限定本發明實施的範圍,凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾,皆仍屬本發明專利涵蓋的範圍內。
S60~S66:步驟

Claims (16)

  1. 一種烘焙炊蒸食品半成品的完成度管控方法,適用於判定一烘焙炊蒸食品之一烘焙炊蒸食品半成品之完成度,且包含以下步驟:(a)一聯網裝置擷取包括一背景參考物及置於該背景參考物上的該烘焙炊蒸食品半成品之一影像,並將該影像輸入至一伺服器;(b)該伺服器利用一實例分割模型,對該影像進行影像實例分割,以輸出一辨識推論結果,其中,該辨識推論結果包括一烘焙炊蒸食品類別、一背景參考物類別、一關聯於該烘焙炊蒸食品類別之第一類別可信度值、一關聯於該背景參考物類別之第二類別可信度值、一烘焙炊蒸食品遮罩,及一背景參考物遮罩;(c)在該第一類別可信度值與該第二類別可信度值皆大於一類別可信度閾值之情況下,該伺服器計算該烘焙炊蒸食品遮罩之一第一面積與該背景參考物遮罩之一第二面積的一比例;及(d)該伺服器判定該比例是否大於一遮罩面積比例閾值,若是,該伺服器判定該烘焙炊蒸食品半成品已完成發酵,若否,該伺服器判定該烘焙炊蒸食品半成品尚未完成發酵。
  2. 如請求項1所述的烘焙炊蒸食品半成品的完成度管控方法,其中,在該(c)步驟中,該類別可信度閾值為90%。
  3. 如請求項1所述的烘焙炊蒸食品半成品的完成度管控方 法,其中,在該(d)步驟中,若該烘焙炊蒸食品為可頌,則該遮罩面積比例閾值為0.25。
  4. 如請求項1所述的烘焙炊蒸食品半成品的完成度管控方法,其中,在該(d)步驟中,若該烘焙炊蒸食品為吐司,則該遮罩面積比例閾值為0.75。
  5. 如請求項1所述的烘焙炊蒸食品半成品的完成度管控方法,其中,在該(a)步驟中,若該烘焙炊蒸食品為可頌,則該背景參考物為烘焙紙。
  6. 如請求項1所述的烘焙炊蒸食品半成品的完成度管控方法,其中,在該(a)步驟中,若該烘焙炊蒸食品為吐司,則該背景參考物為吐司模。
  7. 如請求項1所述的烘焙炊蒸食品半成品的完成度管控方法,還包含一在該(a)步驟之前的(e)步驟,其中,該(e)步驟包括以下子步驟:(e-1)利用一影像資料標註模組對各種烘焙炊蒸食品半成品之一影像資料集進行標註;及(e-2)利用一深度學習模組,對已標註的該影像資料集進行模型訓練,以產生該實例分割模型。
  8. 如請求項7所述的烘焙炊蒸食品半成品的完成度管控方法,其中,在該(e-2)子步驟中,該深度學習模組所產生的該實例分割模型是採用Mask R-CNN為模型架構。
  9. 一種烘焙炊蒸食品半成品的完成度管控系統,適用於判定一烘焙炊蒸食品之一烘焙炊蒸食品半成品之完成度,且包含: 一伺服器,包括一實例分割模型;及一聯網裝置,設置於烘焙炊蒸現場端,且具備拍照功能與聯網功能,其中,該聯網裝置能夠擷取包括一背景參考物與置於該背景參考物上的該烘焙炊蒸食品半成品之一影像,並將該影像輸入至該伺服器;其中,該伺服器利用該實例分割模型,對該影像進行影像實例分割,以輸出一辨識推論結果,其中,該辨識推論結果包括一烘焙炊蒸食品類別、一背景參考物類別、一關聯於該烘焙炊蒸食品類別之第一類別可信度值、一關聯於該背景參考物類別之第二類別可信度值、一烘焙炊蒸食品遮罩,及一背景參考物遮罩;其中,在該第一類別可信度值與該第二類別可信度值皆大於一類別可信度閾值之情況下,該伺服器計算該烘焙炊蒸食品遮罩之一第一面積與該背景參考物遮罩之一第二面積的一比例,繼而該伺服器判定該比例是否大於一遮罩面積比例閾值,若是,該伺服器判定該烘焙炊蒸食品半成品已完成發酵,若否,該伺服器判定該烘焙炊蒸食品半成品尚未完成發酵,並且該伺服器將該烘焙炊蒸食品半成品是否已發酵完成之訊息呈現於該聯網裝置上。
  10. 如請求項9所述的烘焙炊蒸食品半成品的完成度管控系統,其中,該類別可信度閾值為90%。
  11. 如請求項9所述的烘焙炊蒸食品半成品的完成度管控系統,其中,若該烘焙炊蒸食品為可頌,則該遮罩面積比例閾值為0.25。
  12. 如請求項9所述的烘焙炊蒸食品半成品的完成度管控系統,其中,若該烘焙炊蒸食品為吐司,則該遮罩面積比例閾值為0.75。
  13. 如請求項9所述的烘焙炊蒸食品半成品的完成度管控系統,其中,若該烘焙炊蒸食品為可頌,則該背景參考物為烘焙紙。
  14. 如請求項9所述的烘焙炊蒸食品半成品的完成度管控系統,其中,若該烘焙炊蒸食品為吐司,則該背景參考物為吐司模。
  15. 如請求項9所述的烘焙炊蒸食品半成品的完成度管控系統,其中,該伺服器還包括一影像資料集、一影像資料標註模組,及一深度學習模組,該影像資料標註模組用以對該影像資料集進行標註,該深度學習模組用以對已標註的該影像資料集進行模型訓練,以產生該實例分割模型。
  16. 如請求項15所述的烘焙炊蒸食品半成品的完成度管控系統,其中,該深度學習模組所產生的該實例分割模型是採用Mask R-CNN為模型架構。
TW112121669A 2023-06-09 2023-06-09 烘焙炊蒸食品半成品的完成度管控方法及系統 TWI838271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW112121669A TWI838271B (zh) 2023-06-09 2023-06-09 烘焙炊蒸食品半成品的完成度管控方法及系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW112121669A TWI838271B (zh) 2023-06-09 2023-06-09 烘焙炊蒸食品半成品的完成度管控方法及系統

Publications (1)

Publication Number Publication Date
TWI838271B true TWI838271B (zh) 2024-04-01

Family

ID=91618468

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112121669A TWI838271B (zh) 2023-06-09 2023-06-09 烘焙炊蒸食品半成品的完成度管控方法及系統

Country Status (1)

Country Link
TW (1) TWI838271B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI376636B (en) * 2004-05-13 2012-11-11 Fonterra Co Operative Group Customised nutritional food and beverage dispensing system
CN109447467A (zh) * 2018-10-29 2019-03-08 成都奕阳现代科技有限公司 基于haccp对发酵食品进行数智化质控的系统及方法
TWI724655B (zh) * 2019-01-31 2021-04-11 日商斯庫林集團股份有限公司 資訊處理裝置、資訊處理方法、資訊處理程式、藉由深度學習而學習之學習方法及安裝有學習完成模型之資訊處理裝置
TW202236038A (zh) * 2021-03-01 2022-09-16 日商三菱電機股份有限公司 生產線控制裝置、生產線控制方法、以及生產線控制系統

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI376636B (en) * 2004-05-13 2012-11-11 Fonterra Co Operative Group Customised nutritional food and beverage dispensing system
CN109447467A (zh) * 2018-10-29 2019-03-08 成都奕阳现代科技有限公司 基于haccp对发酵食品进行数智化质控的系统及方法
TWI724655B (zh) * 2019-01-31 2021-04-11 日商斯庫林集團股份有限公司 資訊處理裝置、資訊處理方法、資訊處理程式、藉由深度學習而學習之學習方法及安裝有學習完成模型之資訊處理裝置
TW202236038A (zh) * 2021-03-01 2022-09-16 日商三菱電機股份有限公司 生產線控制裝置、生產線控制方法、以及生產線控制系統

Similar Documents

Publication Publication Date Title
CN111274860A (zh) 一种基于机器视觉的在线自动烟叶等级分选的识别方法
WO2016179981A1 (zh) 一种新生儿黄疸的自动检测方法及系统
CN109829895A (zh) 一种基于gan的aoi缺陷检测方法
WO2021068781A1 (zh) 一种疲劳状态识别方法、装置和设备
TWI684159B (zh) 用於互動式線上教學的即時監控方法
TW202004574A (zh) 人工智慧複檢系統及其方法
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN112691939A (zh) 果蔬品质智能感知分拣机器人系统
CN117562311A (zh) 一种高性能电子烟雾化器的检测系统
CN117355038B (zh) 用于线路板软板的x型孔加工方法及其系统
CN110738630A (zh) 递归性深度学习系统的训练方法与检测系统
CN117873009A (zh) 一种基于玻璃生产流程监控系统
TWI838271B (zh) 烘焙炊蒸食品半成品的完成度管控方法及系統
CN116739304A (zh) 一种基于产品历史数据的生产误差监控系统及方法
CN108664886A (zh) 一种适应变电站进出监控需求的人脸快速识别方法
CN118052793A (zh) 毛绒玩具生产过程实时监控系统及方法
JPWO2022224657A5 (zh)
CN117314829A (zh) 一种基于计算机视觉的工业零件质检方法和系统
CN113012104A (zh) 器件翅片数量检测方法、控制器及装置、存储介质
Patel et al. Rice quality analysis based on physical attributes using image processing technique
CN114578015B (zh) 一种软磁铁氧体智能化质量检测方法
JPH06259678A (ja) プラント監視装置
CN114596296A (zh) 一种高灵敏度的热轧钢卷端面缺陷识别系统及方法
Liang et al. Automated detection of coffee bean defects using multi-deep learning models
CN112734688A (zh) 基于机器视觉的马铃薯褐变检测方法