TWI281024B - Method for on-line machine vision measurement, monitoring and control of organoleptic properties of products for on-line manufacturing processes - Google Patents

Method for on-line machine vision measurement, monitoring and control of organoleptic properties of products for on-line manufacturing processes Download PDF

Info

Publication number
TWI281024B
TWI281024B TW094113223A TW94113223A TWI281024B TW I281024 B TWI281024 B TW I281024B TW 094113223 A TW094113223 A TW 094113223A TW 94113223 A TW94113223 A TW 94113223A TW I281024 B TWI281024 B TW I281024B
Authority
TW
Taiwan
Prior art keywords
sensory
image
product
measurement
item
Prior art date
Application number
TW094113223A
Other languages
English (en)
Other versions
TW200540409A (en
Inventor
Wilfred Marcellien Bourg Jr
Steven Andrew Bresnahan
Paul Allan Martin
Original Assignee
Frito Lay North America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Frito Lay North America Inc filed Critical Frito Lay North America Inc
Publication of TW200540409A publication Critical patent/TW200540409A/zh
Application granted granted Critical
Publication of TWI281024B publication Critical patent/TWI281024B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Description

1281024 九、發明說明: 【發明所屬之技術領域】 ^發明有—部份係指—種用以查明製程中之產品屬性品質或 特質的方法,尤指一種用以確認食品製豸業之食品品質與特質的 方法本务明的方法是利用線上機器視覺技術而讓食品塗料成 像’再根據該食品的成像塗料濃度而經由統計分析來預測塗布範 圍。此方法可經由任—能獲得單-或多個相關連訊號的成像或感 應媒介而被應用到任一產品屬性的線上量測。 【先前技術】 、在產品沿著組裝線或輸送機移動的同時,能有廉價與可靠的 感應器來檢測各種產品屬性,是加工製造環境中達成順利監視與 控制的-個極重要因素。舉例來說,石化t因為有易於取得的廉 價感應設備,例如壓力傳動器、熱電偶、和流量計可被輕易應用 到在生產階段主要是由氣體和液體構成的石化業產品流,所以在 使用多變量模型冑立以及預測控制的加工製造方面,已有具創音 的進展。 八 ^ 、過去,固體品製造業在製造階段實施可靠感應技術方面卻遭 遇較大的困難。基本上,固體品製造業係以人類觀察員在產品沿 著組裝線移動時以人工方式檢查、計數與確定瑕疵品。使用人類 觀察員相當昂貴,也易於產生人為錯誤,而且有些不可靠。隨著 數位影像技術或「機器視覺」系統問世,固體品製造業如今已有 一種可靠和較廉價的感應系統,以便在生產階段監視與預測選 的特質。 在零食食品業,過程控制與品質管制的問題至為重要。雖然 物理觀察技術已證明略具成效,但業界對施用到食品的塗料,: 存有控制其用量的問題。所缝料(eQatings)可包括但不限於調 5 1281024 味料、產品原料(ingredients)、或在t程#中施㈣食品的其 它成分。該等產品塗料亦在其它的生產、運輸和配送階段施用到 食品。 舉例來ό兒,可對零食食品施用局部塗料,以增進或影響其風 味、顏色、質地和養分。局部塗布主要是以幾種機械方法被施用 到食品上,包括喷撒、乾塗布、在烘焙品上先噴油再喷撒塗料。 塗料施用技藝已知塗料流到施塗器的稍度以及塗料對食品的黏 合度會深深影響施用到食品之塗料的稠度。 % 品管方面最常見的習用方法就是定期對產品抽樣和在實驗室 刀析產塗料/辰度。遺憾的是’抽樣與獲得濃度結果之間通常在時 間上都延遲很久。同樣地,樣本分析程序也很慢,會將樣本本身 毁壞。此外’塗料濃度往往不是直接獲得,而是以塗料濃度與鹽 份濃度保持恆定的假設,利用量測樣本之鹽份濃度的方式來確 定,但事實並非全都如此。 因此,本技藝需要一種在生產階能實時或接近實時地讓產品 塗料與-意欲產品特質樣板做比較,與可靠預測出實際產品之特 質的方法。另外也需要—種可靠及廉價的方法,據以在產品從某 .個組裝階段移到另一階段時,轉保線上製造之產品的品管,以便 在線上製造環境中提供幾乎同時的監視及反饋控制。 零食食品之質地、風味和外觀(sight)的品質,因為一般是用 人類感覺或機械裝置予以量測,所以在本技藝稱為感官特性。這 兩種量測方法因為分析樣本所需的時間的太長,以致無法即時反 饋來控制過程,所以通常並不適用於高速生產的線上反饋控制。 另外,人力成本也使得以人類觀察作為反饋控制機制在大部份的 生產環境下不符成本效益。就食品的生產而言,理想之舉是採用 一種以影像為基礎的軟式感應系統來預測感官特性。習用技蔹中 6 1281024 亚無任何已知能預測感官品質的機械方法。 級,=二業,有風幾未種具^ 氣冶耸‘ 貝土 ’脆度,酥度,和最大斷裂力。諸如 Γ ,供烤點數,風味,f地,脆度㈣度之類的特性-#
覺反應來量測;最大斷裂力則靠機械設備量測。烘: 疋几二皮帶在竿片表面上留下的那些小的黑色格栅斑 駐風味特性(與塗布程度無關)的量測方法可以是讓人來嗜產品 與待量測的產品比較。風味、質地、脆度㈣度全都是 :::屬性:並與產品的口感有關。舉例來說,人是先吃一個參 αβ ’接著吃待評㈣產品。最Α斷裂力是種對產品堅實产 ^nrness)的機械量測。最大斷裂力的數值與斷裂強度有關,^ 二=和/或㈣產品所需的力量有關。舉例來說,最大斷裂力 疋零食芋片的一個重要因素。 —遺憾的是,人類感覺反應的量測有若干缺點。第一,人為的 量測具主觀性。大量的測試人員可降低因主觀性而造成的錯誤通 L但郃會增加為取得正確量測諸如風味之類感官特性的成本。 第二,難以根據人為量測來實施線上反饋控制。人為量測血反饋 之間會有不符現實的延時情形,尤其是在高速生產環境中、。 因此’需要-種能客觀量測與預測產品,尤其是食品之感官 特性的方法。另外,需要—種能利用感官特性之數值而在高速生 產中提供線上反饋控制的方法與裝置。 【發明内容】 口本發明m是提供—種對生產諸如零食食品之類特徵化 產品之過程加以監視的方法。該方法包括下列各步驟··擷取該特 徵化產品一連串不只一個的多變量影像,各該影像係由一含有若 干圖素元件的影像陣列構成,該等圖素元件則具有在至少三個用 7 1281024 Γ該義之較㈣絲__定密隸。方便的 化萬千的紅二:見ΐ相’而影像陣列的圖素元件則具有變 作條件的變數,採二:據過程的性質和影響該過程之運 一個特徵向量。以特料技術即可從這影像陣列產生 感官特性資訊關,-食品之某-向量以υ“ 讀行迴歸法,使該特徵 化特徵即被 ::貝化特徵,例如-感官特性發生關連。該特徵 反=::_連績監視該過程’並可定義-輸出,《供 且者係對這影像陣列應用一種多變量統計投射法,以便將 二列的維數減低到-勤少數計分向量予以定義的低維計分 和從該低維計分空間影像產生特徵向量。所用之多變 3十投射法的性質視過程而定。 , 在一較佳實施例中,係將—種多變量統計投射法應用到一控 制過程的影像阵列,據以把維數減低到—個具有重要負載向量的 低維計分空間。另外,也可將該等計分空間影像的數據予以適者 掩蔽,使計分圖的促成成分(⑽tributiQn)從過程產品之影像; 的背景數據排除,據以減低該等數據的維數。 本發明的另-較佳實施例包括_種方法,該方法係從一食品 析取特定的產品屬性資訊,再直接或經由線上環境中的其它關連 因素而間接預測該食品的數量或特f。該實施例包括從數位影像 去除背景與製造裝置的特徵,據以對食品影像進行預處理;再利 用先進的統計迴歸模型使該等影像與意欲的產品特質發生關 連,據以預測成像食品的塗料濃度;和局部使用同一模型以建立 一個塗料濃度的直方圖,一個與塗料範圍直接有關的圖形影像, 和估計該塗料濃度的空間變異。 1281024 、本發明也擴及使用所建立的模型與實時影像數據來預測所量 測;之食品屬性的數量、㈣與變異,以及產生—個量測訊號;使 用《亥里測《來調整製程和控制該製程,以便始終產出意欲的產 品品質。此外,本發明亦將該量測訊號與其它的過程量測合用於 預測未以感應器直接量測的其它產品屬性的特f。食品屬性可包 括其感官特性。 —有關本發明的前述與其它特徵及優點,將在後文中予以詳述。 食品塗層分析的實施例 本發明之方法的一個實施例是在食品於線上移動時,利用已 =數位成像技術來操取與處理食品上之塗料的數位影像,據以 從影像析取出意欲的特徵,再經由錢量影像分析⑽)或其它 統計迴歸㈣而使預處理的產品影像與意欲的產品㈣產生關 連,和局部建立—個用以描述塗布濃度與塗布覆蓋範圍之相關性 的直方L建立賴成像產品之财程度(ehraeteristic level)的模型。在—較佳實施例中,係將本發明之方法應用到食 品製造業的控制製程,尤其是綠定施用到食品加工業之零食食品 的:味料塗布。特質化產品即為—種具有可經由本發明揭示過程 而垔測之特有屬性或特徵的產品。 本技藝在食品業的各式各樣應用,例如水果及蔬菜的揀選, =析ΓΛ驗,和一般的包裝應用上,已知採用若干傳統 ==析方法。然:而,與食品項目上之塗布有M的數位成像應 理右2 。就本發㈣綠成像成分㈣,缝位影像處 2關的文獻大部份所涉及时法,都是_某種方式更改 衫像而使影像變得在視覺上更吸以,或析取有關種種 之形狀、邊界或位置的資訊。就此而論,傳統影像處 俾 9 1281024 為自動式機械視覺系統,以供執行比人類觀察員或作業員快上與 精確好幾倍的作業。 〃 大部份的食品通常是以調過味的塗料塗布在基礎產品上而製 成。塗料在食品及零食的風味及外觀二方面均扮演要角,可對其 接受度發揮重大影響。塗料亦可影響食品的感官特性。在實驗室 中採取罕有樣本及分析塗料濃度的一般過程,除了長期趨勢外, 幾乎獲得不了多少資訊,而且毫無有關食品塗料分布的資訊。顯 而易見’線上成像系統存有巨大的商機。
第一圖所示者即為在食品製造環境中採用成像技術的典型^ 備。先將在這範例中屬於「調味料」的塗料10及未調味食品工 置入一顫動筒14内混合,再經由一移動皮帶18把塗布的 16輸送到後續的作業,例如包裝或烘焙。移動皮帶18上方安j 有一在這範例中係採用可見光譜照明系統2G的電磁 一職攝影系統22,產品16的影像則被傳送到—電月,、以并 利用本文揭示的方法予时析。電磁輻射源20村設成從制 的電磁頻譜帶射_射,包括但不㈣紅外線光譜和紫外線光 譜’以及設成射出單一或多個意欲頻譜内之電磁輻射的波長。取 樣間隔的選擇視各製程的目的而定。處理一個產品㈣像所需 的時間不到一秒鐘。 本發明的方法亦可應用於確定其它的食品品質,例如位在 產品的質地’和/或產品上的氣泡數。同樣地 χ 、,還可應用於如後將予說明的其它種種產業。此外 本=亦將討論另—個在火焰研究上應用本發明量 析原理的實施例。是以,本文所载的說明内容、申請專利 圖式均將解釋成認知且不排除該等其它的應用與/施^犯圍, 脇(紅綠藍)空間是電子攝影機最常用的色彩空間。這空f 1281024 裡各圖素的色彩是以R,G和B通路的數值(通常為〇到255的整 數)表明其特質。彩色影像可用三向矩陣表示。二個維數代表XI 王間座4示’苐二個維數則是色彩通路(co 1 〇r channe 1)。不考慮 圖素的空間座標,這影像矩陣可被攤開(unf〇lded)和用一個二向 矩陣表示。 unfold
χ3 Cls ~ci" A A A Ci,r % CiJ> = A A 魏 • CN,r CNig CN,b 一 Sn _ L_疋個衫像尺寸為#r㈣xiw的三向影像矩陣。!是個攤開的二向 影像矩陣。水是影像中的圖素數目,舲Ci r (二1,···,礙圖素7•之κ,ΜσΒ的密度值。ci(/=1,…幻是! 的第i列向i,代表圖素7的彥員色值。在後文中,二向矩 表一影像。 ' 圖素大小之调味食品的顏色可能會受幾個因素的影響。—圖 •素的顏色將由非調味部份的顏色,塗料粒子的顏色,塗料漠度和 產品照明條件來決定。如果將塗料濃度以外的這些因素合成一個 稱為成像條件的因素0,圖素c/的顏色就可用局部成像條件〜 和局部塗料濃度,·的一個函數表示。 (1)
Cy = 0i) 第二圖所示者係—圖解模型,用以說明如何經由迴歸 確定艮品上的塗布。舉例來, 旦^ ^ 經實驗室分析而獲得之平均塗:=1 “; “像1k及其對應、 于I十均塗枓濃度夂(^^,…,K)的數據集, 可根據從-個以上影像所析取的特徵而使塗料濃度迴歸,據以獲 11 1281024 得預測塗料濃度的模型。特徵析取(featureextractlon)會將影 像轉換成一個含有與塗料濃度最相關之資訊的特徵向量,因此它 是達成意欲預測結果的一個重要步驟。感官特徵向量是個含有關 用,包括主成分迴歸(PCR),多變量線性迴歸(MLR),和 路(A丽)。在所舉的實施例中 於食品感官特性之資訊的特徵向量。經特徵析取後,使特徵變 及塗料濃度迴歸即開發出一模型。有各種不同的迴歸方法可 、^ _神趣、, ’因為各特徵變數之間具有古 關性,所以採用部份最小平方(PLS)迴歸。 巧 < 才目
多向主成分分析(MPCA) 多變量影 以開贅,
彩色影像是個由三種變數,G和b通路)組成的 像。本發明的方法係採用多變量影像分析(ΜΙΑ)技術予 該技術則以多向主成分分析(PC A)為基礎。多向pc a相 開的影像矩陣I上進行PCA。 1 = Σ*αΡ: α=1 則是 其中j是主成分的數目,US疋訂分向量,而對應的以, 載向量。 a § 由於I矩陣的列維數極大(就480*64〇的影像空間而< 於307, 200),行維數則小許多(就RGB彩色影像而言,相Z,相當 因此用核心演算法來計算負載與計分向量。在這演曾备於3), 形成核心矩陣(FI)(就一組影像而言 中,係先 卜),再對這維數極低的矩陣(就彩色影像/而言·)算法為 異值分解(SVD),以求出負載向量匕(和丨,…幻。進行奇 4 A不^丹m對應认 量。因為頭二個成分通f可供說明大部份的變異數,戶^ 求出負載向量後,利用ta=Ipa的等式來算出對應 在作業 12 1281024 產品樣本51〇〇’51〇3及5106無調味料;產品樣本51〇1,51〇4 及5107具有中度調味料;而產品樣本51〇2,51〇5及51〇8則具 有較高數量的調味料。 ' 產品A (5100 ’ 51 及5102)係離線取樣,共採集83件樣本, 其中40件用於訓練,另43件用於測試。產品B(51〇3,51〇4及 5105)係線上取樣,共採集180件樣本,其中9〇件用於訓練,另 90件用於測試。產品C (5106,5107及5108)係線上取樣,共採 集110件樣本,其中55件用於訓練,另55件用於測試。 特徵析取方法 表1載列出作為本發明之方法的一部份,用於析取各影像特 徵的六種方法。這些方法可再進一步分成二類:整體特徵法及分 布特徵法。後文將以產品C作為例舉說明這六種特徵析取方法二 範例。
方法# 整體特徵法 1 2 分布特徵法 3 4 5 —--------------- 6 表 斤取影像特徵的方法 特徵變數 ~~~" 成分的負載向量 h t2計分空間的二維直方圖 以t^t2空間之線性投射為基礎的直方圖 以tr~t2空間之線性投射為基礎的累積直方圖 生質區隔為基礎的累積直方圖 I體特徵法 在這類的方法中,係以所有圖素的資訊來取得某種整體色彩 特徵。所提出的方法有二種:方* 1 (平均色值)及方法2 (取自y PCA的第—負載向量)。在這二種方法中,特徵向量的維數是3, =即二種色彩通路各是_個元件。因為色彩是塗料濃度的一個函 欠’所以會使整體色彩特徵與平均塗料濃度發生關連。根據 關連的關係,就可進一步建立模型。 14 1281024 注意方程式(2)有個線性模型結構。對各影像而言,可用^ ^ 256x256x256 ^^^ ^ ^ ^ ^ ^ ^ ^ t ^ ^ ^ 像觀察的數值UN與實驗室分析的平均塗料漢度之間的= 迴歸,就可求出/[⑽的估算值。然而,這模型因為求取各影像 的该種三維直方圖很耗時,而且就算求出三維直方圖, 變數(2561=16,777,216)彼此的關連性卻極高,所㈣
^卻㈣,錢既不健全也不實用。結果導致以條件極為= 也不良的模型來預測平均塗布程度。 為求降低特徵變數的數目,可將色彩空間分成z類, 於同-類的圖素含有類似數量的塗料。以此形式,各類 一 個新的直方圖圖格(histogram bin),於是可 : 影像的平均塗料濃度: 式求出 Ν c-pl «||c|| =^ΡιΓ
16 1 其中神从屬於y.類的时及平均㈣濃度U不極端明 顯地違反同-類圖素代表類似數量之塗料的假設, 終保持線性。 -始 分別在整體方法1和2中所用之平均色值與嶋的第一 向量’彼此間具有強烈的關係。在方法2中,係對各影像進行 具中心平均值的PCA’和第-主成分解釋了大部份的變異。在此 情況下,平均色值4方向約等於第—負載向量_方向。 1281024 因此’第-負載向量約等於常態化平均 或MPCA可?令田仏 :疋第一負載向量 = MPCA 了改用這常恶平均色值來作為特徵變數,且 法2的類似性能。 ,X揮如方 照明變化對整體特徵方法會造成料。㈣變化 :勻的光源’產品不平整的取向,或產品 : 素位置來說,假定照明條件與色彩具有下列線性關係且·對各圖 其中C/,L" R,分別是在圖素y之理想參考照明條件下 3照明條件及色彩。假設錢與料景物彼 的 均色值即等於 〜诼的十
c = Z *R 照明的任一變化都會直接影響到平均色值的數值。 因為第一負載向量約為常態化色值,於是
因=如使用第—負載向量或常態化平均色值時,這照明效應即 :Γ。#估方法1及2的結果時,測試組的影像與訓練組的影 像具有類似的整體照明條件,以致方法丨和2二者會產生良好的 預:結果。但如使用小影像視窗作為測試影像時二明條❹因 ,窗而異。由於方法2對照明變化較不敏感,所以方法2的^則 备差通常比方法Η、。然而,這推論是以照明的線性效應為基 17 1281024 礎’實際上卻不必然存在。因此,方法2仍受照明條件變化的影 響,且在視窗數增加時,預測誤差也跟著增加。 分布法 以各分布特徵為基礎的模型因為將各類的資訊均列入考慮, 而非只採用影像的總體描述(global description),所以優於整 體特徵椒型。分布特徵模型屬於圖素層級(pi xe 1 _ 1 eve 1)的模 型’其表示在分布特徵模型中,迴歸係數是各圖格(bin)之塗料 》辰度的估算值。
y = yBmxx\ +yBinix2 + ^ 對於色值c的一個圖素來說,如果確定這圖素屬於/th圖格,就 可將這圖素的塗料濃度估算為^。因此,分布特徵模型由於可 估算各圖素的塗料濃度,所以能被視為圖素層級的模型。
現提出三種不同的方法來依據後述的分布模型分割色彩空 間。在各方法中,係先執行MPCA以減小維數,接著再在七一七 計分空間中進行所有的作業。詳如後述,方法3係採用ti_t# 刀二間的個簡單的32x32二維直方圖。方法4和5則是分別以 t t2汁分空間中進一步線性投射(Unear 獲得的一 維直方圖及累積直方圖為基I方法6是從ti_t2 ”中的—個 細緻的256x256二維直方圖開始,接著再根據共變異數性質结合 具有類似塗料的直方圖圖格,最後使用—個新的_維累積直方^ 作為特徵向量。 方法3 ·· ti-12計分空間中的二維直方圖 MPCA ’和找出一個含有大部份資訊的 減少直㈣B格數的-個有效方式就是對訓練影像進行 :1 —t2平面。減掉未調味產 18 1281024 θ依方法4)以及未調味影像8〇,低調 像83的累積直方圖(依方法5)。接著將各:’和高調味影 方圖與累積直方圖點用來作為 〜象斤取得的32個直 料含量從事迴歸。 特Ή便根據這些騎的平均塗 方法6:以相關特性區隔為基礎的累積直方圖 較健’係採麟性投射將二維直方_換成一種 直“’因為成像條件對圖素顏色往往且有 非線性的影像,所以可能無法達到極可靠的結果。 - 直方在:法::二同方法4和5’是“蝴 將Li 元素與塗料濃度之間的共變異數特性, 將預』,有類似數量之塗料濃度的直方圖圖格結合成一類。 就影像I而言’它的相關直方圖係以下列方程式表示: Ρι=[^ι(^ι) ^(52) ^ Py{Bm)\ #是直方圖圖格的總數。對tl_t2空間的256χ256直方圖來說,义 相當於2562=65,536。⑽,)是除以影像圖素總數之圖⑽i的圖 素計數,即圖素歸屬第/th圖格之機率的估計值。 將所有甽練影像的相關直方圖堆疊在一起,就可建立一個矩 陣Γ : • Λ. Ph{Bx) Ph(B2) ^ pi2m Ph(B2) ^ lpiKW ρ{ι(Β2) ^
Ph(BM)
Ph{Bu) = [P(^) P(52) ? P(5m)]
Ph(BM) p(BO是各圖格κ之矩陣r的第yth行向量。 21 1281024 256x256 她的;類似色衫的圖素及類似塗料含量。為使直方圖圖格 =似的塗W合’必f如後域述般取得其間的共^ 從方程式⑴可知,顏色是塗布程度與成像條件的一個函數, 且這二因數彼此獨立。考慮到影像丨的二個具有類似塗料含 並以及和及表示的直方圖圖格,其算法為: ,p'、Bk)=plW人 #其中%和料局部平均成像條件。對於短期間㈣集的所有訓 練影像而言’影像間會變更的唯_因數往往是塗料濃度分布,整 體成像條件(例如照明分布)則保持相同。因此, 其中57和&是二個純量(scalar)。所以 P(5》= P〇;)',p⑹=P⑺·\ 因此,對於及和凡這二個與同數量之局部塗料濃度^對應的直 方圖圖格而言,p(及)和p(从)具有相同的方向,但量(贴即丨忉如) 卻不同。 P(及)和其它任何K-元素向量Z1,L之間的共變異數係以下列方 程式算出: COVj = COV^^XZj J= COvfP^XzJ·^ , COV2 = C0v[p(5y )? z 2 J = C0v[P(^)9 Z2\sj 计异出COV〗對COV2之空間内觀察點的相角,即可取消純量。 arg(cov”cov2) = (9〇) 22 1281024 中心平均值,再按單位變 法1和2)來校正非線性 ’、數疋其比例。整體特徵係用變換(方 對於平均色彩特徵,所用的對數變換 x/ =l〇g(X),/ =足 由於負載數值的範圍在。和i之間, 用的邏輯變換為: 第負载向置特徵所 丄一X, 第14圖及表2所載者即為pLS模型的性能。 第14圖所示者係以訓練數據集的數 :數據點,採用方法6所取得之範例產二^ 度對實驗室分析數據集。採用其它方法或對其它產品亦可取 :類似的圖。從圖中可看出訓練數據集的配合(m)與測試數據 集的預測均極佳。 如後表2-a,b,c戶斤載者即為產品A,wc之訓練及測試影 像組採用所有六種特徵析取方法的測試結果。在這些表中,特徵 變數的原純目,PLS迴歸所用的成分數目,平方預測誤差的積 分(SSE)和相關係數平方(R—square)統計(迴歸平方和對平方總 和之比)均已知。從結果顯然可見,各該方法的成效均良好,且 在所有情況下财幾乎相同的性能。此外,簡單的魏特徵變數 方法(方法1和2)在性能上似乎與較複雜的分布特徵模型(方法 3 ’ 4,5和6) —樣好。 表2模型預測結果 ; SSt=377.44(訓練組);SSt=385. 13(測試組) 模型1 訓練組 _測試組 模型2 訓練組 測試組 特數# 潛在變數# 2 3 2 ___ 變異數分析 _§Se__R2:1-SSe/SS二 !· !3 0. 997 U〇__0.996 2·25 0.994 jjj9 0.996 26 1281024 者,其中2200,2201和2202分別與2100,2101,和2102對應。 使用ιοχίο視窗21〇〇時,兩個最大值不像使用2〇χ2〇視窗21〇1 和32x32視窗2102所發現的最大值那麼清晰。2〇χ2〇與32χ32 樣本2101 ’ 2102之間的差異小。由於2〇χ2〇視窗21〇1能擷取適 當數量的塗料分布特徵,所以可選為應用小型視窗策略的最低實 際視窗尺寸。第23圖係使用小型視窗策略之色碼影像的一個逐 圖素(pixel-by-pixel)圖解圖。參閱第19圖的影像,以小型視
窗策略所產生的第23圖中的影像可更清晰地鑒別出未塗料產品 2300的位置及形狀。 現請參閱第24圖,其中顯示出一個將本發明之方法用於監控 食品製造品質的流程圖。為方便識別,先將這方法分成二個階 段:⑴#徵析取階段和⑵建立模型階段。在所舉的實施例 中’特徵析取階段開始岐先彻毅在線上製造設備之適當位 置處的數位成像設備來取得多變量影像(步驟24〇〇)。其次,在 背景/前景分割期間(步驟2402)取得計分圖空間及發展出適合的 光罩定義(步驟2則。計算出適當的光罩(步驟綱)後^方 法6進行特徵析取,據以產生意欲產品特徵(例如調味濃度)的直 方圖(步驟2404)和計算出特徵向量(步驟24〇5)。 建立模型階段開始時是對計算出的特徵變數,即特徵向量所 描述的那些’和在實驗室中分析訓練組測試樣本所定義的品質或 =變數騎PLS迴歸(㈣2權)。接著制析取的特徵,、在 廷範例中即為食品的塗料濃度(步驟24〇7),並可構成—個特性 分布’以顯示出線上樣本的制調味分布(步驟綱),或提 一個塗料濃度之空間變異數的估算值。然後將 濃 應給一反饋控制裝置(步驟24()(n7b/^ λ 卄/辰度仏 9/11ηλ 乂诹2409)和/或—個監視陣列(步驟 2_,該監視陣列用以控制線上環境的運作,並可在需要一個 29 1281024 製程或管制功能時,受指示而採取適當的行動。在另一實施例 中’可將分布步驟(步驟2406)省略,以便將可接受的數據更有 效率地提供給監控作業。 利用述前述實施例討論之方法而觀察到的樣本結果,載於下 列有關線上環境之零食食品塗料濃度與覆蓋範圍的認論及參考 圖式。第25a及25b圖所示者係從成像系統收集的初始數據。淡 灰線條2500顯示出原始的塗料預測。在這範例中,係以每5分 #里的頻率從輸送機取樣,之後再於實驗室分析。樣本的分析結果 ® 即為第25a圖中黑圈2501所示者。對於各個實驗室的量測,亦 描繪出X-誤差條2502和Y-誤差條2503。Y-誤差條2503係指實 驗至I測的約略誤差;在第25a圖中的誤差值為土05。χ_誤差條 係指對輸送線上移動產品拍攝數位影像與人工抓取產品樣本以 供實驗室分析之間的可能樣本時間差。在這範例中,估計的誤差 為土 1分鐘。 從圖中可看出,由影像預測的塗料濃度跟實驗室分析極為相 符。然而,影像預測在濃度方面卻顯現出一種明顯鋸齒狀行為, 鲁此舉縱使疋在适種快速取樣計劃期間,單從實驗室數據是顯不出 的。過程中的塗料漏斗填充作業解釋了這種未預期的結果。下方 第25b圖的圖形2504說明這是顫動筒補充系統之漏斗馬達在一 指定時間間隔的訊號2505。當進給顫動筒内塗料粉末的位準達 到-定位準時,馬達即被起動而對顫動筒進行補充。顯然可見, 第25a及25b圖顯示出食品塗料從漏斗送到塗料顫動筒的排放速 率是漏斗内之塗布程度的一個重要函數。 產品A的開環結果 第26&及撕圖所示者係使塗布程度偏差(bias)改變(受控變 數)而對食品塗布程度引起的開環回應。預測觸及實驗室分析 30 1281024 2601的㈣程度顯示於上方第咖圖中,而在下方的 中,則顯示出塗布程度的偏差訊號26〇2。從圖中再次 圖 影像分析的預測及實驗室量測相符。制的數據顯示出對^ 私度的偏差變化有清晰的快速回應。 、’、 產品A和B之線上監視樣本的結果 表干第預者係產品八的一個四小時線上監視期。線條2· 表不預測的塗布㈣,線條2701代表未調味產品重量,
表不塗料進給機速率,而線條⑽則表示塗料傾卸閘的訊號。 :::!内’到了約19:35的時間,非調味產品送往顫動筒:進 、、、。速率突然增加,由於比例控制的關係,塗料進給 著增加:然而’塗料進給機的速率受到其最大能力二= 進給塗,的速率無法快到足以跟未調味產品保持意欲的比例。因 此’產品上的塗布程度就被觀察到從意欲的數值減低。在從大約 =40開始的這段時期,另—項看出的事宜就是塗布程度開始持 汽減低。發生此舉的原因在於未將塗料漏斗設定成自動補充模 ^以致塗料漸漸用完。結果就變成沒有塗料可供進給到顫動 同傾卸閘必須開啟,使未調味產品離開輸送機。於此應指 出的是,若只看加工過程的數據(未調味產品重量及塗料進給機 迷率),則檢測不出這故障。 第28圖所示者係產品β之線上監視的一個範例。在第28圖 2,線條2800代表預測塗布程度,線條28〇1表示未調味產品重 里線條2802代表漿狀塗料的進給速率,而讓圖下方部位的線 條2803則表不預測塗料分布的變異數。塗料分布的變異數是以 應用岫述小型視窗策略取得的塗料濃度直方圖予以計算出。 這、、力1 ]、時的期間’未调味產品的進給速率並未發生大變 化。然而,在18:19和18:23這段時間,卻觀察到漿狀塗料的進 31 1281024 監和綠的這二種色彩通路的可見光譜内達成。然而,對其它一些 應用來說,或許並不宜使用可見光譜。在前述所舉的實施例中, 食品係以可見光知明,以供取得該加工過程之產品的影像。另在 其它加工過程中,或許不需對物件照明。 如前所述,照明變化可能會影響到整體特徵的變數數值。在 理想條件下,接文檢驗的產品會與發光源保持固定距離,以便提 供一致的反光表面,讓產品整個表面面積的光密度一致。當受測 產品與發光源之間的距離改變時,從產品反射的光密度也跟著改 •變。當反射光的密度改變時,特徵變數的數值也改變。若把產品 移到與光及攝影機相隔距離不同的地方,和測量預測特徵數值因 而產生的改變,再執行迴歸法而使特徵數值與產品及感應器間的 距離發生關連,就可開發出一種模型,以便在攝影機及光源固定 的情況下,於產品基床深度(bed depth)發生各種改變時,用來 預測產品特徵數值的改變。反之,在所有其它加工過程數數保持 不釔的情況下,特徵數值的改變亦可用來預測產品的基床深度或 產品與固定式感應器相隔距離的改變。 同樣地,產品的比重或容積密度也對依賴這些變數之產品特 徵的量測具有影響。如果跟產品重量相同的數量不會使表面面積 改變,那麼產品上的塗料重量就會影響到數量的量測。因此,在 量測表面面積的這項產品特徵時,可將產品的密度列入考慮與建 立模型,以便憑重量或容積來預測特徵濃度。此外,也可使用量 測的表面特徵覆蓋數值,表面特徵應用率,和基本產品的重量來 預測產品的比重或容積密度。 感官特性之預測的實施例 在預測塗料濃度(前述者)的同時,本發明在一實施例中也提 供一種用以客觀預測食品感官特性(例如質地、風味及外觀)的方 33 1281024 拉斯高斯(LoG)空間過濾器來析取質地特徵。拉普拉 ㈣找出快速變化區域或影像邊緣的衍生過濾器。由於衍 益對雜訊(嶋e)極為敏感,所以在應用拉普拉斯過遽器之前: 通常要先使影像平滑(例如,使用高斯過濾器)。這種二步驟 過程稱為拉普拉斯高斯(L〇G)運算。採取高斯標準偏差〇而以_ 中心的二維LoG函數具有下列形式: L〇G(x,y) = L. 1」.e~2^~
πσΑ [ 2σ2 J • 所k用的冋斯軚準偏差為〇·5。過濾器的視窗尺寸則是從四 到二十(偶數)所選用者。這些參數係以試錯法選用。對於各個過 濾〜像,會计算出一個簡單平均值。因此,對各個rgb影像她叶 會產生广八個特徵變數,包括第一計分影像的九個平均過i數 值,和第二計分影像的九個平均過濾數值。 樣本的感官數值可被預測。建立四個PLS模型來預測這些感 官數值,每-感官或Y特性用—模型。計算各單元的平均特徵向 量。將這平均特徵向量,連同表示影像中之產Μ否已塗布的虛 设變數共同用來作為預測器。虛設變數可改用其它實施例中的預 鲁測塗料濃度取代。 ' 在各與十二個單元中的一個對應的這十三個觀察當中,有十 個觀察被用於訓練模型。第到57d圖所示者分別是各個γ變 數,即氣泡等級,烘烤點等級,風味特性,與最大斷裂力的預測 對觀察圖。 表4所載列者即為這四種γ變數的預測均方根誤差(四SEp) 及估计標準量測偏差的誤差。RMSEP是在假設各單元之整體質地 特I4致且各單元之所有樣本均視為複製點(rep 1 i cate poi nt) 的情況予以估算。此處所考慮的分析誤差包括抽樣誤差與儀器量 36 1281024 =/在估算這些分析誤差時,採用了幾組的數據點。各組含 短«内所抽取,且能假設其特性在該期間内—致的樣本。 、、且内的各點可被視為複製點。若有κ組的數據點,對k 的且=,數據點的數目為叫U,,10。沖是k組中第,個點 ―、 而―則是k組的平均特性。接著以下列方程式估算實驗 至分析誤差,亦即一個標準偏差: err
Σ Z(yki-yk)2 …因為氣泡等級的平均數值增加時,各單元的標準偏差數值跟 者增加(參閱表3),所以使用氣泡等級的相對誤差。所用潛在變 數(LV)的數目亦顯示於表4中。
推I 4 表I 級力 級等級裂 等點等斷 泡烤味大 氣烘風最 數 級 等 泡 氣 於 對 析件I 分取 與選 差 誤_teRMM —tRI sro· G45.I 試 模測 t 理 係
RM 差 誤 測 量 對 相 和 差 誤 的 差 較偏 b準 t標 的測 差 ΪΙ446487Ϊ.9 ο 038 ^表4顯示出,若是只量測一件食品,那麼對所有四個γ變數 來說,量測誤差都大於模型預測誤差。如在短期間内選取較多的 樣本並採用這些樣本之量測的平均值,就可輕易減低量測誤差。 然而,由於食品的感官特性係以人工方式量測(必須讓人看過、 吃過或送到機器上,才能對產品分等級),所以用於量測該等特 性的樣本數與所需的時間及人力成正比。因此,如要設立一套能 在適當取樣時間監視感官特性的系統就需相當的人力。另一方 面,如採用成像系統,只要成像模型一被訓練好,便能在幾乎無 37 1281024 況下非常迅速的取得_,也能隨意增加取樣 知用其匕物ί里過程或產品量測可^ ^ ^ ^ ^ ^ ^ 過程的各種特性或量測並非感官特性升二了 , , 1^("] 量(十件食品組成之樣本的總重)::彳的于片重 土土 " ^ ;漓勳疴的轉速,冷卻空氛的 料水分只是可進行之物理過程量測的幾個範例。這=
增加額外成本的情 率。 =㈣寺性更精確的量測或預測。所以,可將一二 理過程置測與機器視覺的量測結合。 1了感官特性外’視覺量測系統亦可用於預測其它的食品特 性。舉例來說,機器視覺⑽可用於量測產品的物理特性,例如 產品含水量’產品含油量,每十片的芋片重量,糰料水分,和直 它產品特性。 /' 除了讓物理過程的量測與機器視覺影像數據結合外,另可姓 合聲學量測以增進感官特性的量測。使產品接受聲能訊號,㈣ 取和量測所產生的訊號,即可從產品獲得聲學數據。該訊號的聲 學數據可經取用及迴歸而使一個以上的感官特性相關連。把聲學 量測,物理過程量測和機器視覺量測予以結合,即提供一種可正 確量測及預測感官特性的新穎系統。首次提出的這些量測結合可 供填補加工食品業在線上生產環境量測產品屬性的強烈需求。 火焰分析的實施例 茲配合一個以火焰品(flame product)為其特質的過程,將本 發明的另一實施例說明於後。因為火焰會發光,所以不需外來的 照明源。另將瞭解的是’火焰散發出的輕射擁有廣大的波長範 圍,並不以可見光譜為限。 38 1281024 在許多工業加熱爐及鍋爐系統中,均已安裝電視系統。然而, 它們主要是用於火焰的燃燒顯示。大部份時間由火焰影像所提供 的唯一資訊就火焰是否在燃燒。因為燃燒過程十分紊亂,火焰顯 得一直在動,甚或最有經驗的作業人員也常難以確定燃燒的性 能。 在此情況下,以影像分析為基礎的監視系統就變得十分有 用。在本發明的這實施例中,係觀察一座工業用蒸氣鍋爐。該鍋 鑪所用的燃料可以是來自其它製程的廢液蒸氣,也可以是天燃瓦 斯。因此,燃料的組成經常易變。安裝一台類比式的彩色攝影機, 將火焰行為錄製到幾個錄影帶上。再用視訊卡(video card)將類 比訊號轉換成數位影像。或者,也可採用火焰擷取器來從事線上 的類比-數位轉換。 分析彩色影像的方式是採用多變異數影像分析(MIA)技術。從 各影像的計分圖空間析取九個特徵。此外,也可對影像特徵和過 程量測實施各種多變異數統計法,例如主成分析(PCA)和部份最 小平方(PLS),據以協助瞭解特徵變數與過程變數之間的關係。 系統的設立 第32圖所示者係一火焰監視系統實施例的圖解圖。蒸氣鍋爐 3200採用來自其它製程的廢液蒸氣3201和天然瓦斯3202作為 燃料。因此,燃料的組成物經常劇烈變化。鍋爐3200内已安裝 一台類比式彩色攝影機3203,並將其連接到一監視器3204,以 供顯示現場的影像。在這實施例中,係記錄類比訊號再用視訊卡 3205將其轉換成數位影像,然後依本發明揭示的方法利用電腦 3206分析。獲得的影像是120x160圖素尺寸的RGB彩色影像。 考慮到處理時間,將成像的取樣時間設定為每秒1訊框(frame)。 在此提出二件個案研究來作為應用本發明的範例。案例I是 39 1281024 影像矩陣I上進行PCA。 = Σ^ρ/+ε ^=1 1、中^疋主成分數目,h’s是計分向量,對應的p々,s則是負載向 里。對-個RGB彩色影像而言,主成分的最大數目為三。 因為I矩陣的列維數很大(對120*160影像空間而言相當於 9’ 200),而行維數則小許多(對一個RGB彩色影像而言相當於 3),所以要用核心演算法來計算負載與計分向量。在這演算法
成(對—組影像來說,核心矩陣的算 ^ 7 ν )’接者對這維數極低的矩陣(就RGB彩色影像而言為 3X3)進行特異值分解(SVD),以供求出負載向量恥(沪丨,...心。 ,出負載向畺後,接著經由來計算對應的計分向量 t,疋個長度為水的長向量。經適當縮放(%&1丨叫)及四捨五 凑正後,便可攤成原始的影像尺寸和作為影像顯示。 skJ = Round
χ255 J
,i=U (s 上- l是成分々的計分影像。的數值是從〇到255的整數。應指出 的是,在研究許多影像時,應對所有影像採用共同的標度範圍 在這範例中,疋用一百個影像來計算負載矩陣與計分標度範 圍。頭二個成分解釋了 99%的總變異數。在第祁圖中,對樣本 影像3500顯示出三個計分影像35(n,35〇2,35〇3。另外也顯示 出一個源自頭二成分3501,3502的重建影像35〇4。從圖中觀察 出T3計分影像3503含有極少的資訊,主要是雜訊。源自頭二^ 分35(H,3502的重建影像3504幾乎跟原始影像35〇〇相同。因 42 1281024 第三種過濾方式是對個別訊框已析取的特徵變數加以過、慮 ^交於前述的其它二種過濾技術,這方式具有若干優點。第二, 它更易,理時間序列數據,以致在各時間點,數據是個向量而非 矩陣。第二,過濾的各數據點具有完善的原始特徵變數。在這實 施例中,Matlab訊號處理工具箱的「fmfilt」函數會過濾: 始特徵變數。這函數係朝順和反二個方向處理輸人數據,據^進 仃零相位數位處理。順向過雜,便將過㈣序反過來,和回頭 再過濾一次。獲得的順序具有精確的零相位失真。除了順-反過 濾外,它也試圖調整初始條件,據將將起動及結束瞬態減至最 低。這範例中所用的濾、鏡重量即為視窗長度為6()的平均滤鏡。 事實上,由這三種濾鏡獲得的過濾特徵在大部份情況下均顯示類 似的走向。然而,因為第三種濾鏡最簡單,也產生最平滑的結果,、 所以它是下列計算範例所用的濾鏡。 第&40a到40i和41a到41i圖所示者係下列一對個案範例的 特徵I:數,其包括火焰面積(第4〇a和41a圖),火焰亮度(第 和41b圖),火焰一致性(第4〇c和41c圖),鍋爐壁平均密度(第 4〇d和41d圖),影像的平均^值(第4〇e和41e圖),影像的平 均T2值(第40f和41f圖),火焰的平均71值(第4〇g和41g圖), 火的平均T2值(第40h和41h圖),和火焰區的總顏色數(第4〇i 和41 i圖)。 在案例I中,繪製之數據點4〇〇〇的較暗地區代表原始數據 值,而線條4001則代表過濾數值。液態燃料(A)的流率先是減 低,然後再回升到原始數值。第4〇a到4〇i圖顯示出在液態燃料 的流率發生變化時’所有的特徵變數均循著相同的走向或相反的 走向。同樣地,在案例Π中,繪製之數據點41〇〇的較暗地區代 表原始數據值,而線條41〇1則代表過濾數值。在案例π中,液 47 1281024
60-未塗布產品影像 2602-偏差訊號 3705-火焰區 70-平行圖格 2700-預測的塗布程度 3800-平均影像 80-未調味影像 2701-未調味產品重量 3801-個別影像 81-低調味影像 2702-塗料進給機速率 3801-計分圖空間3801 83-高調味影像 2703-塗料傾卸閘的訊號 3900--TT計分圖 102-暖色 2800-預測塗布程度 4000-原始數據值數據點 103-冷色 2801-未調味產品重量 4001-過濾數值數據點 104-較暗的色調 2802-漿狀塗料的進給速率 4100-原始數據值數據點 1200-未調味產品 2803-預測塗料分布的變異數 4101-過濾數值數據點 1201-低調味產品 2900-產品影像 50 00-蒸氣流率的預測值 1202-高調味產品 2901-產品影像 5001-代表蒸氣流率的實際量測值 1302-未調味影 2902-產品影像 5300-樣本影像 1303-低調味影像 2903-產品影像 5301-樣本影像 1304-高調味影像 2904-產品影像 5302-樣本影像 1500-成像產品 2905-產品影像 5303-樣本影像 1501-輸送皮帶的暗圖 素 2906-產品影像 5500-樣本影像 1502-技術人員的手指 2907-產品影像 5501-樣本影像 1700-冷色 3000-數據點 5502-樣本影像 1701-暖色 3100-預測塗布程度 5503-樣本影像 1702-產品光罩 3101-塗布程度設定點 5504-樣本影像 5505-樣本影像 56

Claims (1)

1281024 十、申請專利範圍: 料2二種在特質化產品的生產期間用以監視該產品某個感官 其中已操取該特質化產品—連串不只—個的多變量 像係由—含有料圖素元件的影像陣列構成,該等 I:圍二則具有在至少三個用以定義該影像陣列之維數的波長 乾圍内的測定密度值;其中該方法係由下列各步驟組成: 確認該特質化產品的某個感官特性; 產生一個感官特徵向量; 連;和利用-種迴歸法而使該感官特徵向量與感官特性相關 產生該感g特徵向量的輸出。 m請專利範圍第i項所述之方法,其中特質化產品的多 1里衫像在可見光譜内擷取。 元件範:::項所述之方法’其中影像陣列的圖素 頁叙為紅、綠和藍之顏色的各種變動密度。 變量範圍第1項所述之方法,其中“化產品❹ 交里〜像係在近紅外線光譜内擷取。 5·如㈣專利第1項所述之方法,其巾感 由所稱至少三個波長範圍各自的平均值組成。〜…里’、 盆它mr利範圍第1項所述之方法,其中是將-個以上的 八匕物理過程1測與感官特徵向量中所含㈣ 等物理過程量測與該感官特性發生關連。 ui 從下請專利範圍第1項所述之方法,其中物理過程量測是 下歹丨構成之群組中選用的一種:芋片含 十片芋片之竿片重量,糰料水分。 于片3油篁,母 8.如申請專利㈣第丨項所述之方法,其中係將特質化產品 57 1281024 第一負载向量L。 17:如申請專利範圍第15項所述之方法 圖分成若干區塊,再人士+久p 疋、1七2計分 1由 塊㈣密度值,據以求取特心曰 A如申請專利範圍第15項所述之方法, ,d向罝。 的產生方式係由下列各步驟組成: -感Μ寺徵向量 對一控制過程的影像陣列應用 維數減低到-個具有重要負載向量的低維4= 、沿著該重要負載向量所定義的方向投射tl_t2钟八 據以產生一投射向量;和 2 口刀空間, 從該投射向量產生一直方圖, 19. 如申請專利範圍第15項所述之方:,其:?徵向量。 的產生方式係由下列各步驟組成: 4 g特徵向量 對一控制過程的影像陣列應用多變量 維數減低到-個具有重要負載向量的低維數計分^法,據以將 沿著該重要負載向量所定義的方向 二:, 據以產生一投射向量;和 冲分空間, 從該投射向量產生一累積直$ 量。 糠以疋義出感官特徵向 20. 如申請專利範圍第15項所述之方法,其 的產生方式係由下列各步驟組成: ”感官特徵向量 從二個個別特徵Zl和I的ti_t2計分空間$ 直方圖元件之間的共變異數矩陣cqi和· 數據來計算 從共變異數矩陣⑽和⑽2來計算_個角 將ti-t2計分空間影像數據置於角矩陣之上·早, 計算-累積直方圖,據以定義出特徵向量。’和 21·如申請專利範圍第ι5項所述之方法, "中感官特徵向量 59 1281024 的產生方式係由下列各步驟組成: 從一控制過程的二個個別特徵2!和22的ti-t2計分空間影 像數據來計算直方圖元件之間的共變異數矩陣C0V3和C0V4 ; 將共變異數矩陣⑶V3和COV4相加並顯示出和,作為第一 tl t2 5十分空間的色碼影像和顯示(sum display); k擇一光罩,以描述在第一 ti-t2計分空間中所稱和顯示 内與一產品區對應的區域;
、將多變量影像投射到第一 t-t2計分空間和去除位在所稱 區域之外的圖素,據以產生純產品影片; 對該等純產品影像應用多變量統計投射法,據以將該等純 產品影像的維數減低到一個第二tl—t2計分空間; 一從二個個別特徵ZduZ,的第二tl-t2計分空間來計算直方 圖元件之間的共變異數矩陣C0V5和cov6; 從共變異數矩陣COV5和C0V6來計算一個角矩陣; 將第二t-t2計分空間影像數據置於角矩陣之上;和 計算一累積直方圖,據以定義出感官特徵向量。 22.如申請專利範圍第!項所述之方法,其中迴歸法係從下列 構成之群財所選用者:主成分迴歸法⑽);部份最小平方法 (PLS);多變量線性迴歸法(MLR);類神經網路法(A丽)。 23名如申料利_第丨項所述之方法,其巾輸出係被顯示作 馮一色碼影像,以供視覺監視過程的操作條件。 裡隹夕熒操作條件下監視食品過程的方法,其中食品 輻射源,另已擷取一連争不只一個在電磁光譜: 心’各㈣像係由—含有若干圖素S件的影像陣列 Μ θ素7L件貝^具有電磁光譜内至少一個用 列至少三個維數之波長的錢值;料也已對姆像_2 1281024 個一 計分空間產生-低感官特徵向量; 性發生關^ Ϊ —法而使該感官特徵向量與食品的一感官特 過程的官特徵向量的輸出,以便連續監視及反饋控制該 25·如申請專利範圍第24 的其它物理過程量測糾官特找二了t其中是將—個以上 該等物理過程量測與該感官特性發生關連。 據以使 特性26的第25項所述之方法,其中是在產生感官 0輸出之刖先對物理過程量測執行迴歸法。 27·如申請專利範圍第24 是從下列構成之群組中選用的:種这之字方二其/物理過程量測 每十片之竿片重量,栖料水分。于片3水置,〇含油量, 28·如申凊專利範圍第μ項所述 品的一項以上聲訊量測與感官特徵t量方中:1其的中欠係將特質化產 使聲訊量測與感官特性發生關連。中所s的-貝訊結合,據以 29.如申請專利範圍第28項所述之方 1 特性的輸出之前先對聲訊量賴行迴歸法。〃 $ 感官 特徵向量中戶其它物理過程量測與感官 測與該感官特性發IS 該等聲訊量測和物理過程量 31·如申請專利範圍第24項所述 性係從下列構成之群組中所選用者:氣方包法等級其:食品的感官特 虱/包荨級,烘烤點,風味, 61 1281024 貝地,脆度,酥度 - — 和最大斷裂力。 32.-種在多變操作條件下監視食品過㈣方法,其 電磁輕射源,另已操取—連串不只-個在可見光譜内的 像,各該影像係由-含有若干W素元件㈣像陣列構 ㈣素7G件則具有用以定義該影像陣列的三個維數,一般 緣和藍之顏色的錢值;此外也已對該影像陣列應用多向 成为分析,據以將該影像陣列的維數減低到一個第一 :空y又已用光罩將第…計分空間的一個區域掩蔽二 Q景從該影像陣列排除;再者還已將該等多變量影像投射到 ^2計分空間,並把位在該輯之外的圖素去除, 純產品影像;另已對該等純產Ο 座生 含亥箄紬姦口旦 、σ 口 Μ夕向主成为分析法,據以將 屯產…象的維數減低到一個第…計分空間 方法係由下列各步驟組成·· /、 從第二ti-t2計分空間產生一個感官特徵向量; 性發生=ΤΓ歸法而使該感官特徵向量與食品的-感官特 的I33它專,圍第32項所述之方法,其中是將-個以上 :箄:::置測與感官特徵向量中所含的資訊結合,據以使 〜荨物理過耘置測與該感官特性發生關連。 34.如申請專利範圍第32項所述 是從下列構成之群組中選用的一種 夕物二,測 每十片之^重量,糰料水分。于片3水里’于片含油量’ 品圍Γ2項所述之方法,其中係將特質化產 、 以置測與感官特徵向量中所含的資訊結合,據以 62 1281024 品感官特徵發生情形、濃度或等級的預測是在整個影像的若干分 段(subsection)範圍内予以計算。 43. 如申請專利範圍第40項所述之方法,其中發生情形的預 測係用於預測是否存有感官產品特徵。 44. 如申請專利範圍第4〇項所述之方法,其中感官產品特徵 係以下列構成之群財的至少—料以成像:可見光譜成像,紅 外光譜成像,紫外光譜成像,可聞聲波檢測(㈣i b i e贿e detection),不可聞聲波檢測,質量頻譜法和色譜法。 • 45.如申請專利範圍第40項所述之方法,其中用於影像處理 的影像取得裝置’電腦處理器及電腦程式係用以使方法變成產品 製程的線上實務。 ^ 仇如申請專利範圍第40項所述之方法,另包括以閉環控制 (closed l〇op control)來自動調整線上製程。 47·如申請專利範圍 之可視化軟體來提供品 個以上:過程監視, (aborting) 〇 第40項所述之方法,另包括以產品製程 官影像,據以提供下列構成之群組中的一 過程控制,過程警示,或瑕疵品中止
48.如申請專利範圍第 置於或未置於基床上。 40項所述之方法,其中特徵產品係被 =申請專利範圍第48項所述之方法,其中預測的特定基 於增大會受可變基床深度以及與成像裝置相隔距離 〜a之其匕產品特徵的量測。 =申請專利範圍第4。項所述之方法,其中特定 杈型係用於預測產品的基床深度。 的二t申請專ί範圍第40項所述之方法,其中是將-個以上 理過&里測與感官特徵向量中所含的資訊結合,據以使 64
項所述之^法,其巾係將特質化產 項以上的其它物理過程量測與感官 據以使該等聲訊量測和物理過程量 1281024 °亥等物理過程量測與該感官特性發生關連。 52·如申請專利範圍第51項所述之方 特性的輪出之俞冼# ^中疋在產生感官 鞠出之則先對物理過程量測執行迴 53. 如申請專利範圍第4〇項所 / 是從下列構成之群組中選用的:種物理過程量測 每十片之字片重量,糰料水分。.3水量,芋片含油量’ 54. 如申請專利範圍第4G項所述之方法,i中 品的1以上聲訊量測與感官特徵向量中所含的資訊結^產 使聲訊量測與感官特性發生關連。 、Q σ以 二其中是在產生感官 56·如申請專利範圍第4〇 品的一項以上聲訊量測和一 特徵向量中所含的資訊結合, 測與該感官特性發生關連。 57.如申請專利範圍第4G項所述之方法,其中食品的感官特 性係從下列構成之群財所選用者:氣泡等級,烘烤點,風味, 貝地’脆度’穌度’和最大斷裂力。 65
TW094113223A 2004-04-27 2005-04-26 Method for on-line machine vision measurement, monitoring and control of organoleptic properties of products for on-line manufacturing processes TWI281024B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/832,676 US7660440B2 (en) 2002-11-07 2004-04-27 Method for on-line machine vision measurement, monitoring and control of organoleptic properties of products for on-line manufacturing processes

Publications (2)

Publication Number Publication Date
TW200540409A TW200540409A (en) 2005-12-16
TWI281024B true TWI281024B (en) 2007-05-11

Family

ID=35242146

Family Applications (1)

Application Number Title Priority Date Filing Date
TW094113223A TWI281024B (en) 2004-04-27 2005-04-26 Method for on-line machine vision measurement, monitoring and control of organoleptic properties of products for on-line manufacturing processes

Country Status (3)

Country Link
US (1) US7660440B2 (zh)
TW (1) TWI281024B (zh)
WO (1) WO2005104726A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI415012B (zh) * 2009-08-20 2013-11-11 Ind Tech Res Inst 一種基於影像之燃燒品質量測方法
TWI499879B (zh) * 2012-12-21 2015-09-11 Ind Tech Res Inst 工序分析監控系統及其方法
US10261025B2 (en) 2016-11-04 2019-04-16 Industrial Technology Research Institute Workpiece surface detection method and system using the same

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7393550B2 (en) 2003-02-21 2008-07-01 Frito-Lay North America, Inv. Method for reducing acrylamide formation in thermally processed foods
US7811618B2 (en) 2002-09-19 2010-10-12 Frito-Lay North America, Inc. Method for reducing asparagine in food products
US8110240B2 (en) 2003-02-21 2012-02-07 Frito-Lay North America, Inc. Method for reducing acrylamide formation in thermally processed foods
CA2567055C (en) * 2004-05-20 2013-11-19 Mcmaster University Method for controlling the appearance of products and process performance by image analysis
WO2005114422A2 (en) * 2004-05-21 2005-12-01 Pressco Technology Inc. Graphical re-inspection user setup interface
US7265662B2 (en) 2005-03-17 2007-09-04 Praxair Technology, Inc. Apparatus and method for inspecting containers
US8486684B2 (en) 2007-08-13 2013-07-16 Frito-Lay North America, Inc. Method for increasing asparaginase activity in a solution
JP5082676B2 (ja) * 2007-08-23 2012-11-28 株式会社サタケ 光学式穀物選別機
US8315457B2 (en) * 2007-12-21 2012-11-20 Cognex Corporation System and method for performing multi-image training for pattern recognition and registration
JP2009168743A (ja) * 2008-01-18 2009-07-30 Sumitomo Electric Ind Ltd 検査方法および検査装置
US8284248B2 (en) * 2009-08-25 2012-10-09 Frito-Lay North America, Inc. Method for real time detection of defects in a food product
US8158175B2 (en) * 2008-08-28 2012-04-17 Frito-Lay North America, Inc. Method for real time measurement of acrylamide in a food product
US9095145B2 (en) 2008-09-05 2015-08-04 Frito-Lay North America, Inc. Method and system for the direct injection of asparaginase into a food process
US9215886B2 (en) 2008-12-05 2015-12-22 Frito-Lay North America, Inc. Method for making a low-acrylamide content snack with desired organoleptical properties
WO2012029460A1 (ja) * 2010-08-31 2012-03-08 株式会社日立メディコ 画像再構成方法及び装置
US20120157159A1 (en) * 2010-12-17 2012-06-21 Electronics And Telecommunications Research Institute Communication apparatus using image sensor and error correction method
US8755589B2 (en) 2011-09-06 2014-06-17 The Gates Corporation Measurement of belt wear through edge detection of a raster image
US8761922B2 (en) * 2011-10-10 2014-06-24 Jonathan P Dekar Method and apparatus for monitoring food consumption by an individual
US8600213B2 (en) * 2011-10-26 2013-12-03 Xerox Corporation Filtering source video data via independent component selection
TWI502549B (zh) * 2012-02-20 2015-10-01 Univ Nat Kaohsiung Applied Sci 元件影像檢測方法及其系統
US9014434B2 (en) * 2012-11-26 2015-04-21 Frito-Lay North America, Inc. Method for scoring and controlling quality of food products in a dynamic production line
MX366270B (es) 2012-12-04 2019-07-04 Genannt Wersborg Ingo Stork Sistema de monitoreo de tratamiento termico.
US9098914B2 (en) 2013-03-11 2015-08-04 Gates Corporation Enhanced analysis for image-based serpentine belt wear evaluation
US11030475B2 (en) * 2015-07-08 2021-06-08 Zest Labs, Inc. Photo analytics calibration
US10126247B2 (en) * 2015-07-30 2018-11-13 Zeon Chemicals L.P. Rubber crumb inspection system
US11243190B2 (en) 2015-09-24 2022-02-08 Frito-Lay North America, Inc. Quantitative liquid texture measurement method
US9541537B1 (en) 2015-09-24 2017-01-10 Frito-Lay North America, Inc. Quantitative texture measurement apparatus and method
US10598648B2 (en) 2015-09-24 2020-03-24 Frito-Lay North America, Inc. Quantitative texture measurement apparatus and method
US10107785B2 (en) 2015-09-24 2018-10-23 Frito-Lay North America, Inc. Quantitative liquid texture measurement apparatus and method
US10070661B2 (en) * 2015-09-24 2018-09-11 Frito-Lay North America, Inc. Feedback control of food texture system and method
US10228685B2 (en) * 2015-10-22 2019-03-12 Globalfoundries Inc. Use of multivariate models to control manufacturing operations
CN108777988B (zh) * 2016-03-04 2022-04-12 福瑞托-雷北美有限公司 定量原位质地测量装置和方法
CN106053475B (zh) * 2016-05-24 2018-10-23 浙江工业大学 基于主动式全景视觉的隧道病害全断面动态快速检测装置
WO2018170258A1 (en) * 2017-03-15 2018-09-20 Frito-Lay North America, Inc. Quantitative liquid texture measurement apparatus and methods
US11397974B2 (en) * 2017-04-06 2022-07-26 Nebulaa Innovations Private Limited Method and system for assessing quality of commodities
US10902577B2 (en) * 2017-06-19 2021-01-26 Apeel Technology, Inc. System and method for hyperspectral image processing to identify object
US10902581B2 (en) * 2017-06-19 2021-01-26 Apeel Technology, Inc. System and method for hyperspectral image processing to identify foreign object
TWI674558B (zh) * 2018-06-12 2019-10-11 財團法人工業技術研究院 數值陣列資料影像處理裝置、數值陣列資料影像處理方法及色碼表產生方法
SG11202012606TA (en) * 2018-07-19 2021-02-25 Inventio Ag Method and device for monitoring a state of a passenger transport system using a digital double
CN109190767A (zh) * 2018-07-27 2019-01-11 东华大学 一种基于机器学习的阻燃面料性能老化预测方法
US11927944B2 (en) * 2019-06-07 2024-03-12 Honeywell International, Inc. Method and system for connected advanced flare analytics
CN110298130B (zh) * 2019-07-05 2022-03-29 贵州大学 基于空燃当量比优化燃烧器燃料和空气供给结构空间分布的方法
CN112001478B (zh) * 2020-05-11 2023-04-11 蓝卓数字科技有限公司 一种基于机器学习双模型的橡胶下料量预测方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4741042A (en) * 1986-12-16 1988-04-26 Cornell Research Foundation, Inc. Image processing system for detecting bruises on fruit
US5206918A (en) * 1991-04-03 1993-04-27 Kraft General Foods, Inc. Color analysis based upon transformation to spherical coordinates
US5311131A (en) * 1992-05-15 1994-05-10 Board Of Regents Of The University Of Washington Magnetic resonance imaging using pattern recognition
US5318173A (en) * 1992-05-29 1994-06-07 Simco/Ramic Corporation Hole sorting system and method
US5305894A (en) * 1992-05-29 1994-04-26 Simco/Ramic Corporation Center shot sorting system and method
US5335293A (en) * 1992-06-16 1994-08-02 Key Technology, Inc. Product inspection method and apparatus
US5732147A (en) * 1995-06-07 1998-03-24 Agri-Tech, Inc. Defective object inspection and separation system using image analysis and curvature transformation
US5659624A (en) * 1995-09-01 1997-08-19 Fazzari; Rodney J. High speed mass flow food sorting appartus for optically inspecting and sorting bulk food products
US5818953A (en) * 1996-04-17 1998-10-06 Lamb-Weston, Inc. Optical characterization method
US6081740A (en) * 1997-04-23 2000-06-27 Accumed International, Inc. Method and apparatus for imaging and sampling diseased tissue
CA2350712C (en) * 1998-11-13 2004-05-25 Flexi-Coil Ltd. Method for color detection in video images
US6415233B1 (en) * 1999-03-04 2002-07-02 Sandia Corporation Classical least squares multivariate spectral analysis
US6341257B1 (en) * 1999-03-04 2002-01-22 Sandia Corporation Hybrid least squares multivariate spectral analysis methods
US6410872B2 (en) * 1999-03-26 2002-06-25 Key Technology, Inc. Agricultural article inspection apparatus and method employing spectral manipulation to enhance detection contrast ratio
US6317700B1 (en) * 1999-12-22 2001-11-13 Curtis A. Bagne Computational method and system to perform empirical induction
US20020159642A1 (en) * 2001-03-14 2002-10-31 Whitney Paul D. Feature selection and feature set construction
US6629010B2 (en) * 2001-05-18 2003-09-30 Advanced Vision Particle Measurement, Inc. Control feedback system and method for bulk material industrial processes using automated object or particle analysis
US6993193B2 (en) * 2002-03-26 2006-01-31 Agilent Technologies, Inc. Method and system of object classification employing dimension reduction
US7280696B2 (en) * 2002-05-20 2007-10-09 Simmonds Precision Products, Inc. Video detection/verification system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI415012B (zh) * 2009-08-20 2013-11-11 Ind Tech Res Inst 一種基於影像之燃燒品質量測方法
TWI499879B (zh) * 2012-12-21 2015-09-11 Ind Tech Res Inst 工序分析監控系統及其方法
US9613328B2 (en) 2012-12-21 2017-04-04 Industrial Technology Research Institute Workflow monitoring and analysis system and method thereof
US10261025B2 (en) 2016-11-04 2019-04-16 Industrial Technology Research Institute Workpiece surface detection method and system using the same

Also Published As

Publication number Publication date
US20040197012A1 (en) 2004-10-07
WO2005104726A3 (en) 2006-11-16
WO2005104726A2 (en) 2005-11-10
US7660440B2 (en) 2010-02-09
TW200540409A (en) 2005-12-16

Similar Documents

Publication Publication Date Title
TWI281024B (en) Method for on-line machine vision measurement, monitoring and control of organoleptic properties of products for on-line manufacturing processes
Afshari-Jouybari et al. Evaluation of Photoshop software potential for food colorimetry
CN111968080B (zh) 一种基于高光谱和深度学习的肥城桃内外品质检测方法
US7068817B2 (en) Method for on-line machine vision measurement, monitoring and control of product features during on-line manufacturing processes
Yadav et al. Monitoring milling quality of rice by image analysis
Arzate-Vázquez et al. Image processing applied to classification of avocado variety Hass (Persea americana Mill.) during the ripening process
Yu et al. Multivariate image analysis and regression for prediction of coating content and distribution in the production of snack foods
CN105761214B (zh) 基于轮廓波变换与引导滤波的遥感图像融合方法
CN102740114B (zh) 一种视频主观质量的无参评估方法
Alam et al. Local masking in natural images: A database and analysis
Guzmán et al. Infrared machine vision system for the automatic detection of olive fruit quality
Pedreschi et al. Computer vision classification of potato chips by color
CN107192456A (zh) 一种基于led照明的颜色测量多光谱成像系统
Sabzi et al. Mass modeling of Bam orange with ANFIS and SPSS methods for using in machine vision
CN108956604A (zh) 一种基于高光谱图像技术识别中华绒螯蟹品质的方法
US20190282097A1 (en) Personal Wellness Monitoring System
TWI544210B (zh) 可攜式電子裝置、結合該裝置之光譜儀及利用該裝置檢測物品品質之方法
CN110473194A (zh) 基于多图像块阈值分割算法的水果表面缺陷检测方法
CN108169165A (zh) 基于太赫兹光谱和图像信息融合的麦芽糖混合物定量分析方法
Mu et al. Non‐destructive detection of blueberry skin pigments and intrinsic fruit qualities based on deep learning
CN110366731A (zh) 用于指导膳食的图像捕获的系统、方法和计算机程序
CN111368756A (zh) 一种基于可见光的明火烟雾快速识别方法和系统
CN115545383A (zh) 一种草莓脆外观品质的双目立体视觉检测方法
Bora et al. Application of bio-image analysis for classification of different ripening stages of banana
CN111539447B (zh) 一种基于高光谱与太赫兹数据深度融合的分类方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees