TW202026957A

TW202026957A - 咖啡豆烘焙度即時估測方法

Info

Publication number: TW202026957A
Application number: TW108101000A
Authority: TW
Inventors: 沈岱範; 吳啟弘; 林俊慧; 林煥然
Original assignee: 國立雲林科技大學
Priority date: 2019-01-10
Filing date: 2019-01-10
Publication date: 2020-07-16
Also published as: TWI708194B

Abstract

本發明係關於一種咖啡豆烘焙度即時估測方法，得包含下述步驟：一取得咖啡生豆資訊步驟，得包含產地、品種、季節，含水量等咖啡生豆相關資訊，並作成一樣品烘培度影像資料庫，供即時估測模型訓練及測試之用；一進行烘培步驟，係以攝影機，配合照明，取得烘培中咖啡豆視訊或影像，同時以各種感測器取得並記錄咖啡烘培資訊，其得包含室溫、爐內溫度、烘培時間、烘培時的聲音、氣體成份分析等，做為即時估測模型訓練及測試之用；一演算法步驟，係將該視訊或影像與樣品烘培度影像進行比對，且以一演算法配合故測模型即時估測咖啡烘培度，得據以作記錄、顯示或控制咖啡烘培機的烘培作業，直至烘培結束。

Description

咖啡豆烘焙度即時估測方法

本發明涉及一種烘焙咖啡豆之技術範疇，尤指咖啡豆烘焙度的即時自動辨識方法

傳統的咖啡豆烘焙方式係將咖啡豆放入烘焙裝置以進行加熱烘焙。在烘焙過程中，烘焙師配合參考Artisan時間-溫度曲線以控制烘焙溫度，並不時地透過取樣勺觀看豆子的顏色，用鼻聞散發的香氣，用耳朵聽豆子第一爆裂或二次爆裂聲，直到取樣時看到想要的烘焙程度為止，最後下豆並以風扇及攪拌快速冷卻。上述第三步就是停止烘焙，下豆並且降溫，烘焙師會以強力的風扇吹咖啡豆，以及配合攪拌，已達到迅速降溫，並達到預設的咖啡烘焙程度。

在咖啡豆的烘焙過程中，咖啡生豆的水分慢慢釋放，重量減輕，顏色加深，體積膨脹，含有香氣的油脂慢慢釋放出來。生豆中原本含有的大量綠原酸，會隨著烘焙的過程逐漸消失，並釋放出好聞的水果酸，其香氣隨著烘焙程度有所差異，所以要滿足各方不同烘焙風味的需求，烘焙度的掌握是咖啡豆烘焙過程中最重要的功夫。

目前烘焙度的掌握，主要是在烘焙過程中，依靠烘焙師頻繁的取樣，再其依烘焙師的個人經驗及對照SCAA烘焙程度色卡，進行烘焙程度的判斷及下豆的時機。然而，咖啡界最精密最權威的烘焙指標是以Agtron公司的近紅外線測焦糖分析儀離線所測得的烘焙指標值100-0分別代表烘焙程度從最淺到最深，如圖26所示。烘焙過程及時參考用的八種粗分SCAA烘焙程度、烘焙豆爆裂聲，與其對照精密的Agtron烘焙指標。

上述傳統的咖啡豆烘焙，具有如下缺失： 1.在傳統咖啡豆烘焙過程，烘焙師會不定時的取樣觀看現在咖啡豆的顏色，並依經驗或與色卡做比對，以便即時判斷咖啡豆的烘焙程度。但是只能頻繁從烘焙的豆子中取樣才能得到資訊，且烘焙師的精神狀況及烘焙室的照明光源光譜等都會造成人工的色卡比對誤差。 2.Agtron近紅外線測焦糖分析儀無法進行即時估測，雖然Agtron近紅外線測焦糖分析儀的烘焙度是咖啡烘焙界的權威指標，但是近紅外線會受到烘焙高溫的影響，因此只能離線人工操作來進行其烘焙度的辨識，以致無法即時辨識咖啡豆的烘焙度。

緣此，本發明人於是發明出一種咖啡豆烘焙度即時估測方法，故本發明之主要目的在於：提供可即時辨識的一種咖啡豆烘焙度即時估測方法；本發明之次要目的在於：增進烘焙度辨識精確度的一種咖啡豆烘焙度即時估測方法。

為達上述目的，本發明運用了下述技術手段：

所述該咖啡豆烘焙度即時估測方法，係基於卷積類神經網路「時間順序二元分類模型」之深度學習技術，其包含下述步驟：一咖啡豆烘焙度設定步驟，係在適用咖啡豆烘焙分類的一時間順序二元分類模型選用一烘焙度分類；一攝錄影步驟，係對烘培過程中的咖啡豆進行攝錄影；一影像擷取步驟，係以ROI擷取方式進行即時擷取該錄影成影像；及一估測步驟，係輸入擷取影像於該時間順序二元分類模型，以進行烘焙度估測演算程序；藉由上述步驟，系統得即時估測並告知烘培師(人或機器)目前的烘焙度分類，若達到所設定烘焙度分類，則烘培師(人或機器)可停止烘焙並下豆冷卻。

上述該時間順序二元分類模型進行烘焙度估測演算步驟：步驟(1)：設定該時間順序二元分類模型的起始參數設定：二元模型計數器k=1、連續次數的門檻值T=4，連續次數計數器t=0，預定烘焙度分類I；步驟(2)：切換至

二元模型以辨識第k及k+1類；步驟(3)：輸入下一個畫面至

做分類；步驟(4)：分類的結果是否為第k+1類?如果是則t=t+1，如果否，則t=0，並回到上述步驟(3)；步驟(5)：是否t=T?，如果是，則進入下個步驟(6)，如果否，則進入上述步驟(3)；步驟(6)：是否k+1=I?如果是，則宣告"已達預定烘焙度第I分類"並結束演算法，如果否，則i=k+1，宣告現在進入第i類烘焙度，回到上述步驟(2)。

上述該時間順序二元分類模型的輸入為第k類影像訓練集BA，而輸出則為

二元模型，又該

二元模型的訓練步驟如下述：步驟(1)：取RGB訓練影像集BA中屬於第k類以及第k+1類訓練影像集；步驟(2)：將取出影像分訓練及驗證；步驟(3)：開始訓練。

上述該第k類影像訓練集BA的製作方式係更包含有：步驟(1)：製作訓練影像B TIB(Training Images(Baking))；步驟(2)：增加訓練集影像數量，形成訓練影像TIBA(Training Images(Baking)(augmentation))，即將前述步驟(1)取得之第K類烘焙度訓練影像集BA為基礎，採用資料增強(data augmentation)技術以增加訓練影像集數量，藉資料增強(data augmentation)技術可提升到3600(50x72)張。

所述該咖啡豆烘焙度即時估測方法，係「基於卷積神經網路法」，其包含下述步驟：一咖啡豆烘焙度設定步驟，係在適用咖啡豆烘焙分類的一卷積神經網路模型選用一烘焙度分類；一攝錄影步驟，係對烘培過程中的咖啡豆進行攝錄影；一影像擷取步驟，係以ROI擷取方式進行即時擷取該錄影成影像；及一估測步驟，係將所擷取影像與該卷積神經網路模型所選用的烘焙度分類兩者進行估測；藉由上述步驟，若咖啡豆的烘焙過程中達到所設定烘焙度分類，則進行停止烘焙並下豆冷卻。

上述所使用該卷積神經網路模型係更包含下述：步驟(1)置入已烘培製作完成的樣本咖啡豆；步驟(2)進行第K類樣本咖啡豆不加熱烘培；步驟(3)錄製第K類樣本咖啡豆烘培視訊；步驟(4)製作RGB影像集；步驟(5)卷積神經網路訓練及參數調整。

上述所使用樣本咖啡豆係設為對應Agtron值的10類樣品咖啡豆。

上述所使用卷積神經網路訓練及參數調整係更包含下述：步驟(1)參考CNN模型；步驟(2)修改CNN模型的FEP參數；步驟(3)輸入該RGB影像集開始訓練；步驟(4)測試並決定最佳參數。

上述該FEP參數係告包含有卷積層卷積核的大小、激勵函數、池化層的濾波器大小及其步驟、咖啡烘焙度顏色的色彩空間。

本發明藉由上述技術手段，可以達成如下功效： 1.本發明可提供比傳統廣泛使用的時間-溫度曲線更直接反映烘焙度的時間-烘焙度曲線。雖然標準咖啡Agtron烘焙度是以紅外線量測焦糖指數而得，但也與彩色及形狀資訊高度相關。因此，本發明將烘培度分成十類(等級)，採用一般彩色攝影機取像，並以深度學習的卷積神經網路作咖啡烘培度訓練而得一咖啡豆烘焙時間與烘培度之曲線圖，俾供欲烘培咖啡豆之即時辨識。 2.因為實際烘焙咖啡豆時，烘焙度Agtron值應當是隨時間遞減(Monotonically Decreasing)，若當前烘焙度的類別為第k類，則下一個類別一定是第k+1類，故本發明提出「時間順序二元分類模型(Temporal Sequential Binary Classifier，TSBC)」，若類別總數為K類，則此模型是由K-1個二元分類模型組成的。第

個二元分類模型只分類第

類以及第

類，

。因每次只分兩類，其精準度預期將可大幅提升，且不會產生烘焙度順序錯誤現象。

首先，請參閱圖1所示，本發明係關於一種咖啡豆烘焙度即時估測方法，以攝影機(可見光或不可見光)配合適當之照明(打光)(可見光或不可見光) 即時取得烘培中的咖啡豆影像，並得以適當之感測器取得咖啡烘培中相關資訊，綜上面一種或多種資訊為輸入，由適當之演算法，即時估測咖啡豆之烘培程度。步驟一: 取得咖啡生豆相關資訊，如產地品種季節，水洗或日曬的處理方式，含水量等咖啡生豆相關資訊，並作成一樣品烘培度影像資料庫；步驟二: 進行烘培時，以適當之(可見光及或不可見光)攝影機，配合適當之照明，取得烘培中咖啡豆視訊或影像。同時，以其他適當之感測器取得並記錄咖啡烘培相關資訊，如室溫、爐內溫度，烘培時間，烘培時的聲音，氣體成分分析等；及步驟三:係將該視訊或影像與樣品烘培度影像進行比對，且以一演算法即時估測咖啡烘培度，據以作記錄、顯示或控制咖啡烘培機的烘培作業，直至烘培結束。

請參閱圖2所示，本發明係關於一種咖啡豆烘焙度即時估測方法，如圖2所示，係為基於時間順序二元分類法的咖啡豆烘焙度即時估測方法Ａ，其包含下述步驟：一咖啡豆烘焙度設定步驟，係在適用咖啡豆烘焙分類的一時間順序二元分類模型(Temporal Sequential Binary Classifier，簡稱TSBC)選用一烘焙度分類；一攝錄影步驟，係對烘培過程中的咖啡豆進行攝錄影；一影像擷取步驟，係以ROI擷取方式進行即時擷取該錄影成影像；及一估測步驟，係輸入擷取影像於該時間順序二元分類模型，以進行烘焙度估測演算程序；藉由上述步驟，若咖啡豆的烘焙過程中達到所設定烘焙度分類，則進行停止烘焙並下豆冷卻。

上述咖啡豆烘焙度即時估測方法，如圖3所示者，其中該時間順序二元分類模型(TSBC)進行烘焙度估測演算步驟如下：

步驟(1)：設定該時間順序二元分類模型的起始參數設定：二元模型計數器k=1、連續次數的門檻值T=4，連續次數計數器t=0，預定烘焙度分類I。

步驟(2)：切換至

二元模型以辨識第

及

類。

步驟(3)：輸入下一個畫面至

做分類。

步驟(4)：分類的結果是否為第k+1類?如果是則

，如果否，則

，並回到上述步驟(3)。

步驟(5)：是否t=T?，如果是，則進入下個步驟(6)，如果否，則進入上述步驟(3)。

步驟(6)：是否k+1=I?如果是，則宣告"已達預定烘焙度第I分類"並結束演算法，如果否，則i=k+1，宣告現在進入第i類烘焙度，回到上述步驟(2)。

進一步，上述該時間順序二元分類模型(TSBC)的訓練流程，如圖4所示。因為TSBC是多個二元分類器所組成的

={

,k =1,2…,

-1}，如果類別總數為K，則由K-1個二元分類模型依序運作而成。

二元模型訓練流程的輸入為第k類影像訓練集BA，而輸出則為

二元模型，其訓練步驟如下述：

步驟(1)：取RGB訓練影像集BA中屬於第k類以及第k+1類訓練影像集。在此每次只取連續兩類訓練影像集，k初始值為1，所以剛開始將會取第1類以及第2類。

步驟(2)：將取出影像分訓練及驗證。每一類的影像為3600張，隨機分為：90%訓練以及10%驗證，因為將用烘焙視訊測試，所以在此沒有測試影像。

步驟(3)：開始訓練。在這步驟會使用訓練影像集做訓練，並在每個epoch之後使用驗證影像集驗證準確率，並保留準確率最高的權重，就能得到

，重複上述步驟直到當k =

-1，就能得到TSBC模型

。

進一步，上述該RGB影像訓練集BA的製作方式，如圖5所示，係直接輸入製作樣本咖啡豆的第k類樣本咖啡豆烘焙視訊，取其最後50個訊框製作RGB影像訓練集B TIB(Training Images(Baking))，且每類訓練影像數量設為50訊框，如此較能貼切反映加熱烘焙時的實際咖啡豆色澤與煙霧狀況，最後增加影像數量，而得到RGB影像訓練集A TIBA(Training Images(Baking)(Ａugmentation))。

步驟(1)：製作訓練影像B TIB(Training Images(Baking))。其中第k類訓練影像集TIB_k的製作方式為輸入第K類樣本咖啡豆烘焙視訊，僅取視訊最後T=2秒的訊框。因為在我們實驗架構中，取像畫面包含其他非咖啡豆的物體，故擷取只含咖啡豆的50x50方形區塊。因播放時的訊框率設定為25f/s，故TIB_k數量為25x2=50張。TIB={TIB_k，k=1,2,..K}影像數目總數為50x10=500

步驟(2)：增加訓練集影像數量，形成訓練影像TIBA(Training Images(Baking)(augmentation))。訓練集量太少，將造成模型訓練不足；若要有足夠的訓練量，雖可增加T以增加Tx25訓練影像集數量，但咖啡烘焙度隨時間越變越快，增加T將讓訓練集包含太多較第K類最終烘焙度為淺的訓練影像。這是時間順序取樣的兩難挑戰，值得後續繼續探討。

本發明以前述步驟(1)取得之第K類烘焙度訓練影像集BA為基礎，採用資料增強(data augmentation)技術以增加訓練影像集數量：首先，將每張100x100的訓練影像旋轉，再加上旋轉90度3次(90度、180度、270度)擴展成四張100x100影像，如圖6(a)所示。每張影像再裁切成9張子影像，如圖6(c)所示，下一步為水平翻轉，將輸入影像水平(左右)翻轉，如圖6(b)所示，再重複上述旋轉及裁切步驟，所以最後可拓展成72(4x9x2)張50x50的子影像。故，該步驟(1)取得的50張100x100影像，藉資料增強(data augmentation)技術可提升到3600(50x72)張，稱為訓練影像集B。

本發明關於另一種咖啡豆烘焙度即時估測方法，即基於卷積神經網路法的咖啡豆烘焙度即時估測方法Ｂ，如圖7所示，係包含下述步驟：一咖啡豆烘焙度設定步驟，係在適用咖啡豆烘焙分類的一卷積神經網路(Convolution Neural Network，簡稱CNN)模型選用一烘焙度分類；一攝錄影步驟，係對烘培過程中的咖啡豆進行攝錄影；一影像擷取步驟，係以ROI擷取方式進行即時擷取該錄影成影像，因訊框畫面非全部是咖啡豆，故需取出僅含咖啡豆的50x50方形區塊；及一估測步驟，係將所擷取影像與該卷積神經網路模型所選用的烘焙度分類兩者進行估測，當CNN分類輸出類別(2-10類)達到使用者設定的烘焙度類別，系統會發出「已達到目標xx類烘焙度Agtron xx度」，提醒使用者立即進入停止烘焙並下豆冷卻；藉由上述步驟，若咖啡豆的烘焙過程中達到所設定烘焙度分類，則進行停止烘焙並下豆冷卻。

在上述咖啡豆烘焙度即時估測方法，如圖8所示，其中所使用該卷積神經網路模型，以更包含下述步驟製作：步驟(1)入已烘培製作完成的樣本咖啡豆，且共有K類樣本咖啡；步驟(2)進行第K類樣本咖啡豆不加熱烘培；步驟(3)錄製第K類樣本咖啡豆烘培視訊；步驟(4)製作RGB影像集；步驟(5)卷積神經網路訓練及參數調整。

特別一提，所使用樣本咖啡豆係設為對應Agtron值的10類樣品咖啡豆(其中含一生豆樣品)，而該Agtron值的10類樣品咖啡豆的色澤如圖9所示；另，基於Agtron的10類樣品咖啡豆的製造方法，如圖20所示，係包含下述步驟：步驟(1)準備與設定；步驟(2)入豆及攝錄影；步驟(3)停止錄影，同時(或立即)下豆排熱冷卻；步驟(4)測定Agtron烘焙度。經由上述樣品咖啡豆的製造方法，如此，便可獲得基於Agtron值的第K類樣本咖啡豆及第K類樣本咖啡豆烘焙視訊，其中K=2、3、4…10。

在上述咖啡豆烘焙度即時估測方法，如圖21所示，其中所使用卷積神經網路訓練及參數調整係更包含下述步驟：步驟(1)參考CNN模型，如圖22所示；步驟(2)修改CNN模型的FEP(Features Extraction Parameters，簡稱FEP)參數；步驟(3)輸入該RGB影像集開始訓練；步驟(4)測試並決定最佳參數。本發明藉由調整FEP參數之目的在於提升咖啡豆烘焙度辨識能力，以得到適用於咖啡豆烘焙度辨識的CNN模型，如圖23所示者。

在上述咖啡豆烘焙度即時估測方法，其中該FEP參數係告包含有色彩空間、卷積層卷積核的大小、激勵函數、池化層的濾波器大小，而最佳FEP參數值如下表1所示。【表1】

	適用於咖啡豆烘焙度辨識的卷積神經網路模型	參考CNN模型
輸入	50x50像素大小 RGB影像	50x50像素大小 RGB影像
色彩空間	YCrCb	RGB
自適應前處理卷積層	1x1x10(x)	無
卷積層	7x7x64(hard sigmoid)	3x3x64(Relu)
池化層	3x3，步幅3	2x2，步幅2
卷積層	7x7x64(hard sigmoid)	3x3x64(Relu)
池化層	3x3，步幅3	2x2，步幅2
攤平
全連接層	512(hard sigmoid)	512(Relu)
全連接層	512(hard sigmoid)	512(Relu)
全連接層	512(hard sigmoid)	512(Relu)
全連接層	10(softmax)	10(softmax)
準確率	0.952	0.901

本發明使用折線圖評估上述「基於卷積神經網路法的咖啡豆烘焙度即時估測方法」，以測試咖啡豆烘焙視訊的結果，縱軸為Agtron數值，橫軸為烘焙時間(秒)，卷積神經網路每秒會辨識分類一次，最後將結果連起來，就可以得到樣本咖啡豆烘焙視訊測試折線圖，本發明將用此折線圖檢視，辨識分類的結果是否有符合烘焙咖啡豆的特性，確保在實際烘焙時不會有分類錯誤的情況。

本發明再以估測差值評估上述「基於卷積神經網路法的咖啡豆烘焙度即時估測方法」，係以其測試咖啡豆烘焙視訊的結果，將用來檢視卷積神經網路在烘焙視訊最後一秒估測類別的Agtron值與實際受測分類Agtron值差值，如下表。【表2】

實際類(值)	最後估測類(值)	Agtron差值
2 (140)	2 (140)	0
3 (110)	3 (110)	0
4 (79)	6 (57)	+22
5 (68)	7 (47)	+21
6 (57)	6 (57)	0
7 (47)	7 (47)	0
8 (38)	7 (47)	-9
9 (28)	7 (47)	-19
10 (16)	7 (47)	-31

由上表可以知道，該「基於卷積神經網路法的咖啡豆烘焙度即時估測方法」作第2類、第3類、第6類以及第7類，都是完全正確，而作第8類、第9類以及第10類，都只能分類到第7類，無法分類到更深，此原因可能是因為煙霧，如圖所示或是訓練影像與實際咖啡豆烘焙影像差異太大的關係所造成，如圖24所示。

另關於評估「基於時間順序二元分類法的咖啡豆烘焙度即時估測方法」，本發明使用兩種評估方式(1)使用折線圖評估是否符合烘焙咖啡豆的特性(2)計算Agtron差異絕對值用來評估與Agtron近紅外線焦糖分析儀測定數值差多少，如下所述：

使用折線圖評估：請參閱圖25所示，在使用折線圖評估是否符合烘焙咖啡豆的特性中，如下所示可以發現使用TSBC之後，沒有違反烘焙咖啡豆的特性情況發生，因為TSBC加入了時間順序的資訊，但是與適用於咖啡豆烘焙度辨識的卷積神經網路模型中不同的是，因為在TSBC的定義中，必須要第

個模型分類達連續

次的第

類，此時才算真正進入第

類，所以在折線圖圖第5類圖中的虛線框框，雖然最後是在第5類與第6中跳動，但是第6類的次數未達連續次數門檻值，所以還是在第5類。適用於咖啡豆烘焙度辨識的卷積神經網路相比，成功的解決了違反烘焙咖啡豆的特性，並且正確的辨識分類在視訊中出現煙霧的第8類、第9類以及第10類。

使用TSBC測試咖啡豆烘焙視訊的結果，因為本發明定義在TSBC中必須要第

個模型分類達連續

次的第k+1類，此時才算真正進入第k+1類，所以最後估測分類Agtron值為TSBC的最後辨識分類類別再轉換到對應的Agtron值，與第四章的辨識分類視訊最後一張影像有所不同。在使用TSBC估測差值評估方面，因為全都辨識分類正確，所以Agtron差值都為0。

綜合以上所述，可以獲得如下結論：本發明係採用一般彩色攝影機的可見光顏色配合卷積神經網路即時估測咖啡烘焙中最權威之指標Agtron烘焙度，因為Agtron烘焙度與彩色資訊高度相關，所以調整一般的卷積神經網路架構及參數發展出「適用於咖啡豆烘焙度辨識的卷積神經網路」，但是會因其他因素(例如：煙霧)而辨識能力不足，所以根據烘焙咖啡豆的特性，發展出時間順序二元分類模型(TSBC)，而最終得到了滿意的結果，並且也符合我們所預期能夠提供即時傳送烘焙度給烘焙者，以減輕專業烘焙師工作量，以及讓一般業餘烘焙者也可烘焙出專業級的咖啡豆。

A:基於時間順序二元分類法的咖啡豆烘焙度即時估測方法 B:基於卷積神經網路法的咖啡豆烘焙度即時估測方法

圖1：係為本發明咖啡豆烘焙度即時估測方法之步驟流程圖。圖2：係為本發明基於時間順序二元分類法的咖啡豆烘焙度即時估測方法之步驟流程圖。圖3：係為本發明時間順序二元分類演算法之流程圖。圖4：係為本發明時間順序二元分類模型之訓練流程圖。圖5：係為本發明製作RGB影像訓練集BA之步驟流程圖。圖6：係為本發明訓練影像集BA TIBA之資料資強(data Augmentation)手段示意圖，其中(a)旋轉(b)水平翻轉(c)裁切。圖7：係為本發明基於卷積神經網路法的咖啡豆烘焙度即時估測方法之步驟流程圖。圖8：係為本發明製作RGB影像訓練集之步驟流程圖。圖9：係為本發明關於Agtron值的10類樣品咖啡豆的色澤圖。圖10：係為本發明製作對應Agtron值的10類樣品咖啡豆之步驟流程圖。圖11：係為本發明製作適用於咖啡豆烘焙度辨識的卷積神經網路模型之步驟流程圖。圖12：係為本發明的參考卷積神經網路模型(參考CNN模型)。圖13：係為本發明適用於咖啡豆烘焙度辨識的CNN模型。圖14：係為本發明影像中的煙霧(a)少量煙霧(b)大量煙霧得比較圖。圖15：使用TSBC測試的10類樣本咖啡豆烘焙視訊測試折線圖。圖16：係關於Artisan的咖啡豆烘焙時間與烘培溫度之曲線圖。

Claims

本發明係關於一種咖啡豆烘焙度即時估測方法，得包含下述步驟：一取得咖啡生豆資訊步驟，得包含產地、品種、季節，含水量等咖啡生豆相關資訊，並作成一樣品烘培度影像資料庫，供即時估測模型訓練及測試之用；一進行烘培步驟，係以攝影機，配合照明，取得烘培中咖啡豆視訊或影像，同時以各種感測器取得並記錄咖啡烘培資訊，其得包含室溫、爐內溫度、烘培時間、烘培時的聲音、氣體成份分析等，做為即時估測模型訓練及測試之用；一演算法步驟，係將該視訊或影像與樣品烘培度影像進行比對，且以一演算法配合故測模型即時估測咖啡烘培度，得據以作記錄、顯示或控制咖啡烘培機的烘培作業，直至烘培結束。
如請求項1所述咖啡豆烘焙度即時估測方法，其中該演算法步驟係基於時間順序二元分類法，其包含下述步驟：一咖啡豆烘焙度設定步驟，係在適用咖啡豆烘焙分類的一時間順序二元分類模型選用一烘焙度分類；一攝錄影步驟，係對烘培過程中的咖啡豆進行攝錄影；一影像擷取步驟，係以ROI擷取方式進行即時擷取該錄影成影像；及一估測步驟，係輸入擷取影像於該時間順序二元分類模型，以進行烘焙度估測演算程序；藉由上述步驟，若咖啡豆的烘焙過程中達到所設定烘焙度分類，則進行停止烘焙並下豆冷卻。
如請求項2所述咖啡豆烘焙度即時估測方法，其中該時間順序二元分類模型進行烘焙度估測演算步驟：步驟(1)：設定該時間順序二元分類模型的起始參數設定：二元模型計數器k=1、連續次數的門檻值T=4，連續次數計數器t=0，預定烘焙度分類I；步驟(2)：切換至
二元模型以辨識第
及
類；步驟(3)：輸入下一個畫面至
做分類；步驟(4)：分類的結果是否為第k+1類?如果是則
，如果否，則
，並回到上述步驟(3)；步驟(5)：是否t=T?，如果是，則進入下個步驟(6)，如果否，則進入上述步驟(3)；及步驟(6)：是否k+1=I?如果是，則宣告"已達預定烘焙度第I分類"並結束演算法，如果否，則i=k+1，宣告現在進入第i類烘焙度，回到上述步驟(2)。
如請求項3所述咖啡豆烘焙度即時估測方法，其中該時間順序二元分類模型的輸入為第k類影像訓練集BA，而輸出則為
二元模型，又該
二元模型的訓練步驟如下述：步驟(1)：取RGB訓練影像集BA中屬於第k類以及第k+1類訓練影像集；步驟(2)：將取出影像分訓練及驗證；步驟(3)：開始訓練。
如請求項4所述咖啡豆烘焙度即時估測方法，其中該第k類影像訓練集BA的製作方式係更包含有：步驟(1)：製作訓練影像B TIB(Training Images(Baking))；步驟(2)：增加訓練集影像數量，形成訓練影像TIBA(Training Images(Baking)(augmentation))，即將前述步驟(1)取得之第K類烘焙度訓練影像集BA為基礎，採用資料增強(data augmentation)技術以增加訓練影像集數量。
如請求項1所述咖啡豆烘焙度即時估測方法，其中該演算法步驟係基於卷積神經網路法，其包含下述步驟：一咖啡豆烘焙度設定步驟，係在適用咖啡豆烘焙分類的一卷積神經網路模型選用一烘焙度分類；一攝錄影步驟，係對烘培過程中的咖啡豆進行攝錄影；一影像擷取步驟，係以ROI擷取方式進行即時擷取該錄影成影像；及一估測步驟，係將所擷取影像與該卷積神經網路模型所選用的烘焙度分類兩者進行估測；藉由上述步驟，若咖啡豆的烘焙過程中達到所設定烘焙度分類，則進行停止烘焙並下豆冷卻。
如請求項6所述咖啡豆烘焙度即時估測方法，其中所使用該卷積神經網路模型係更包含下述：步驟(1)入已烘培製作完成的樣本咖啡豆；步驟(2)進行第K類樣本咖啡豆不加熱烘培；步驟(3)錄製第K類樣本咖啡豆烘培視訊；步驟(4)製作RGB影像集；步驟(5)卷積神經網路訓練及參數調整。
如請求項7所述咖啡豆烘焙度即時估測方法，其中所使用樣本咖啡豆係設為對應Agtron值的10類樣品咖啡豆。
如請求項7所述咖啡豆烘焙度即時估測方法，其中所使用卷積神經網路訓練及參數調整係更包含下述：步驟(1)參考CNN模型；步驟(2)修改CNN模型的FEP參數；步驟(3)輸入該RGB影像集開始訓練；步驟(4)測試並決定最佳參數；又其中該FEP參數係告包含有卷積層卷積核的大小、激勵函數、池化層的濾波器大小及其步驟、咖啡烘焙度的色彩空間。
如請求項1所述咖啡豆烘焙度即時估測方法，其中除攝影機外，得以其他各種感測器取得咖啡烘培中資訊作為輸入，以取得並記錄咖啡烘培資訊，其包含室溫、爐內溫度、烘培時間、烘培時的聲音、氣體成份分析之資料，以提供烘培師(人或機器)充分即時掌握烘培狀況，得到所要的最佳烘培品質。