TW202119354A - 藥丸分類辨識方法 - Google Patents

Abstract

本發明係提供一種藥丸分類辨識方法，其係採用影像裝置接收影像至特徵擷取單元，而經由多個殘差網路模組堆疊運算生成特徵圖，再將其特徵圖經由回歸運算處理單元預測特徵邊框，以及生成特徵邊框之位移量，並透過分類運算處理單元運算後產生分類參考值，最後經由影像辨識單元生成辨識結果，而可使得影像裝置偵測與蒐集不同藥丸擺放位置，可快速於輸入影像中，精準偵測不同擺放位置一至多顆藥丸，並進行分類辨識。

Description

藥丸分類辨識方法

本發明係有關於一種藥丸分類辨識方法。

影像辨識領域是近年來深度學習最蓬勃發展的一塊領域，舉凡智慧家居、自駕車、生產瑕疵品檢測、安全防護監控、醫療影像等應用都和深度學習影像辨識技術息息相關。而如果想從深度學習中的影像辨識模型得到一個理想的結果即高準確率，其影像資料的預處理/前處理是非常重要的關鍵之一，有效的影像前處理/預處理，意味著透過專業的影像處理技巧，降低影像中的雜訊，讓模型進行特徵提取時能更精準，降低運算資源的負擔，模型的精準度才會高。

隨著科技的發展，影像識別是人工智慧的一個重要領域。為了編制類比人類影像識別活動的電腦程式，人們提出了不同的影像識別模型，例如範本匹配模型，這種模型認為，識別某個影像，必須在過去的經驗中有這個影像的記憶模式，又叫範本，當前的刺激如果能與大腦中的範本相匹配，這個影像也就被識別了。

影像的傳統識別流程分為四個步驟：影像採集→影像預處理→特徵提取→影像識別。影像識別的發展經歷了三個階段：文字識別、數位影像處理與識別、物體識別，而數位影像與類比影像相比具有存儲，傳輸方便可壓縮、傳輸過程中不易失真、處理方便等巨大優勢，這些都為影像識別技術的發展提供了強大的動力，物體的識別主要指的是對三維世界的客體及環境的感知和認識，屬於高級的電腦視覺範疇，它是以數位影像處理與識別為基礎的結合人工智慧、系統學等學科的研究方向，其研究成果被廣泛應用在各種工業及探測機器人上。

影像識別問題的數學本質屬於模式空間到類別空間的映射問題。目前，在影像識別的發展中，主要有三種識別方法：統計模式識別、結構模式識別、模糊模式識別。其中影像分割是影像處理中的一項關鍵技術，至今借助於各種理論提出了數以千計的分割演算法，而現有的影像分割的方法有許多種，有閾值分割方法，邊緣檢測方法，區域提取方法，結合特定理論工具的分割方法等，從影像的類型來分有：灰度影像分割、彩色影像分割和紋理影像分割等，於先前技術提出了檢測邊緣運算元，使得邊緣檢測產生了不少經典演算法。

然而，目前應用於藥丸辨識系統之影像辨識使得使用者可以透過網站下拉式選單選擇如形狀、顏色、圖案、文字、刻痕等藥丸資訊，透過線上的藥丸資料庫匹配最佳藥丸資訊，惟此種方式相當耗時，另對於某些辨識系統，其使用者以僅能一次辨識一顆藥丸的方式逐一進行辨識，此種方式同樣相當耗時，且若依據需求提高其辨識準確度時，由於需要精準的比對其資料庫，則導致這樣的系統辨識，其可辨識的藥丸種類則大幅減少。

其藥丸辨識系統主要用於居家長照與醫療院所之用藥安全應用上。在服藥前，讓使用者快速了解服藥內容，可以提升按時服藥的可能性並降低錯誤用藥的可能，即在藥物與藥物間外觀相似度極高且易可能產生相斥或降低效用的可能，而更顯得藥丸辨識系統在醫療單位及居家長照的用藥上具備高度的重要性。

有鑒於習知藥丸辨識方法其使用上之缺點及其設計、偵測以及辨識技術上未臻理想之事實，如何開發出一種可偵測多種不同藥丸降低其分類辨識的時間，且於提升辨識精準度的同時，其辨識種類亦可相對增加之藥丸偵測辨識方法，服務社會大眾及促進此業之發展，為相關領域之技術人員有待克服之課題。

本發明之主要目的，係提供一種有關於一種藥丸分類辨識方法，使得影像裝置偵測與蒐集不同藥丸擺放位置，可快速於輸入影像中，精準偵測不同擺放位置一至多顆藥丸，並進行分類辨識。

為了達到上述之目的，本發明之一實施例係揭示一種藥丸分類辨識方法，其步驟包含:接收一影像至一特徵擷取單元，該特徵擷取單元擷取該影像之複數個特徵經由複數個殘差網路模組堆疊運算，以生成一特徵圖；接收該特徵圖至一回歸運算處理單元，該回歸運算處理單元依據該特徵圖預測至少一特徵邊框，並依據一第一激勵函數進行運算，以生成該特徵邊框之位移量；接收該特徵邊框之位移量至一分類運算處理單元，該分類運算處理單元依據一第二激勵函數進行運算，以生成一分類參考值；接收該分類參考值至一影像辨識單元，該影像辨識單元依據一第三激勵函數進行運算，以生成一辨識結果。

本發明提供一實施例，一種藥丸分類辨識方法，其中該特徵擷取單元包含一深度卷積神經網路，該深度卷積神經網路係經由接收該影像之二維結構進行該些個特徵擷取，並透過該些個殘差網路模組堆疊運算。

本發明提供一實施例，一種藥丸分類辨識方法，其中該些個殘差網路模組包含複數個卷積層，該些個卷積層係包含複數個特徵圖，並透過該些個特徵圖堆疊運算。

本發明提供一實施例，一種藥丸分類辨識方法，其中該特徵圖為一增強式特徵金字塔之特徵圖，該特徵圖係擷取該影像中不同尺寸的藥丸區域。

本發明提供一實施例，一種藥丸分類辨識方法，其中該第一激勵函數為一線性整流函數，該線性整流函數係作為該回歸運算處理單元的激勵函數，並依據該特徵邊框進行非線性方程式之運算，以生成該特徵邊框之位移量。

本發明提供一實施例，一種藥丸分類辨識方法之系統，其中該第二激勵函數為一Sigmoid函數，該Sigmoid函數係作為該分類運算處理單元的激勵函數，並依據該特徵邊框之位移量透過非線性方程式進行二進位分類，判斷該特徵邊框是否為藥丸，以生成該分類參考值。

本發明提供一實施例，一種藥丸分類辨識方法，其中該影像辨識單元包含:一藥丸資料庫，該分類參考值透過該第三激勵函數運算，並藉由該藥丸資料庫進行辨識，以生成該辨識結果。

本發明提供一實施例，一種藥丸分類辨識方法，其中該第三激勵函數為一歸一化指數函數，該歸一化指數函數依據該分類參考值進行有限項離散概率分布的梯度對數歸一化之運算，以生成一辨識結果。

為使　貴審查委員對本發明之特徵及所達成之功效有更進一步之瞭解與認識，謹佐以實施例及配合說明，說明如後：

在下文中，將藉由圖式來說明本發明之各種實施例來詳細描述本發明。然而本發明之概念可能以許多不同型式來體現，且不應解釋為限於本文中所闡述之例式性實施例。

本發明為一種藥丸分類辨識方法，該方法透過影像擷取裝置偵測藥丸影像，並於運算處理單元內執行回歸運算處理單元、分類運算處理單元以及影像辨識單元，其中運算處理單元例如係智慧型手機、平板終端、或個人電腦內的中央處理單元 (Central Processing Unit，下稱CPU)。而回歸運算處理單元、分類運算處理單元以及影像辨識單元包含程式例如係操作系統 (Operating System，下稱OS)之程式、或執行資訊處理之應用程式的程式，其中資料例如，以影像辨識演算法，而藉由執行資訊處理而獲得之資料，而本實施例基於特徵金字塔網路之物件偵測技術，在輸入影像中，搜尋一至多顆藥丸的座標位置，並將利用座標位置預測其特徵邊框的位移量運算後進行藥丸種類的辨識，其中其辨識方法採用卷積神經網路訓練一辨識單元，將多藥丸偵測技術偵測到的每顆藥丸進行辨識並產生相對應藥丸種類。

首先請參閱第1圖，其為本發明之一實施例之方法流程圖，如圖所示；本發明一種藥丸分類辨識方法，其步驟包含:

步驟S1：接收一影像至一特徵擷取單元，該特徵擷取單元擷取該影像之複數個特徵經由複數個殘差網路模組堆疊運算，以生成一特徵圖；

步驟S3：接收該特徵圖至一回歸運算處理單元，該回歸運算處理單元依據該特徵圖預測至少一特徵邊框，並依據一第一激勵函數進行運算，以生成該特徵邊框之位移量；

步驟S5：接收該特徵邊框之位移量至一分類運算處理單元，該分類運算處理單元依據一第二激勵函數進行運算，以生成一分類參考值；以及

步驟S7：接收該分類參考值至一影像辨識單元，該影像辨識單元依據一第三激勵函數進行運算，以生成一辨識結果。

請一併參閱第2圖，其為本發明之一實施例之方法執行示意圖，如圖所示；如步驟S1所示，本實施例藉由影像擷取裝置1接收影像11，例如相機，並透過人工神經計算裝置2執行其特徵擷取單元21擷取影像11之複數個特徵，其中特徵擷取單元21包含深度卷積神經網路211，卷積神經網路是一種前饋神經網路，它的人工神經元可以回應一部分覆蓋範圍內的周圍單元，對於大型圖像處理有出色表現，且由於卷積神經網路經由一個或多個卷積層和頂端的全連通層組成，同時也包括關聯權重和池化層，而這樣的結構使得卷積神經網路能夠利用輸入資料的二維結構進行運算，因此特徵擷取單元21之深度卷積神經網路211經由接收影像11之二維結構進行特徵擷取，並經由複數個殘差網路模組212堆疊運算。

於這些殘差網路模組212中包含複數個卷積層，其卷積層是一組平行的特徵圖W，它通過在輸入圖像上滑動不同的卷積核並執行一定的運算而組成。此外，在每一個滑動的位置上，卷積核與輸入圖像之間會執行一個元素對應乘積並求和的運算以將感受野內的資訊投影到特徵圖W中的一個元素，這些卷積層中更包含多個特徵圖W，因此多個殘差網路模組212堆疊運算即堆疊多個特徵圖W運算而成。

本實施例其中於卷積層中，以w×h的影像I中，若具有一m×m之濾波器G於影像內之子區塊I_i 進行運算，可將其輸出表示為下列式子(1)，其中σ(∙)為第一激勵函即線性整流函數，w為濾波器G之權重，b為卷積層，

表示不同層的濾波器參數。

=σ(

+

) ……………………(1)

然而，本實施例中的特徵圖W為增強式特徵金字塔之特徵圖W來擷取該影像11中不同尺寸的藥丸區域，用來預測不同大小的藥丸，每個特徵圖W上的位置，預測多個不同尺度的藥丸候選區域，透過這些候選區域來覆蓋所有可能包含藥丸的區域，每層特徵金字塔的特徵圖W會被輸入回歸與分類運算處理單元32，預測出藥丸的邊框位置及此區域是否為藥丸，使用特徵擷取單元21的特徵圖W產生特徵金字塔，由於較深層的神經網路具有較強的語意特徵，增強式特徵金字塔透過傳遞網路深層的語意給淺層，讓整個網路都能具有強的語意，進而增強對多尺度藥丸偵測的準確率。

如步驟S3所示，接收特徵圖W至回歸運算處理單元31，其於運算處理單元3內執行回歸運算處理單元31用來預測預先定義的邊框與實際藥丸邊框的位移量，並由多個卷積層組成，每個卷積層都與特徵金字塔具有相同的通道數，因此回歸運算處理單元31可以依據特徵圖W來預測特徵邊框，透過線性整流函數作為第一激勵函數，而依據特徵邊框進行非線性方程式之運算，由最後一個卷積層輸出多個通道，最後預測出每個預先定義的特徵邊框之位移量X，本實施例中，以輸入w×h的影像I為例，其於回歸運算處理單元31將輸入之影像I分為w×h邊框，於每組資料的4個數值進行邊框修正，而預測出特徵邊框之位移量X。

如步驟S5所示，接收特徵邊框之位移量X至分類運算處理單元32，其於運算處理單元內執行分類運算處理單元32用來預測這些預先定義的邊框區域是否為藥丸，這個單元的設計與回歸運算處理單元31相似，一樣採用個卷積層，並由最後一個卷積層輸出多個通道，不同的是分類運算處理單元32採用Sigmoid函數作為第二激勵函數，對每個預先定義的邊框進行二元預測的運算，以生成分類參考值Y，其中本實施例採用之Sigmoid函數表示為下列式子(2)，由於sigmoid函數輸出在0到1之間即如同機率，因此用於判斷分類參考值Y若超過設定之數值，進而辨識邊框內是否包含藥物。

…………………… (2)

最後如步驟S7所示，其於運算處理單元內將偵測到的藥丸邊框的分類參考值Y個別輸入影像辨識單元33，影像辨識單元33則透過深度學習圖像分類網路架構，以及影像辨識單元33中包含藥丸資料庫331，本實施例中的藥丸資料庫331係蒐集國內地方醫學中心藥丸資料庫，其包含612類約7,000筆藥丸拍攝座標與合計約240萬張藥丸拍攝圖片，並依據歸一化指數函數作為第三激勵函數，對於分類參考值Y進行有限項離散概率分布的梯度對數歸一化之運算，進而生成藥丸的辨識結果Z至藥丸分類裝置4中進行藥丸分類，本實施中將藥丸資料庫331內之612類分別所代表的數值傳送至歸一化指數函數進行運算，其中歸一化指數函數表示為下列式子(3)，其函數的輸入是從K個不同的線性函數得到的結果，進而運算影像I向量之 x 屬於第 j 個分類的機率。

…………………… (3)

綜上所述，本發明為一種藥丸分類辨識方法，其提供基於特徵金字塔網路之物件偵測技術，在輸入影像中，搜尋一至多顆藥丸的座標位置，並將利用座標位置預測其特徵邊框的位移量運算後進行藥丸種類的辨識，其偵測度達95%具高準確度且平均偵測時間為0.07秒，具快速偵測圖片中藥丸位置的效能，以及使用卷積神經網路來訓練影像辨識單元33，將偵測到的每顆藥丸進行辨識並產生相對應藥丸種類，其影像辨識單元33的準確度在目前所蒐集的612種類藥丸中達90%，具高辨識率，且平均處理每顆藥丸的時間為0.02秒具快速辨識各種藥丸的效能。

故本發明實為一具有新穎性、進步性及可供產業上利用者，應符合我國專利法專利申請要件無疑，爰依法提出發明專利申請，祈  鈞局早日賜准專利，至感為禱。

惟以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍，舉凡依本發明申請專利範圍所述之形狀、構造、特徵及精神所為之均等變化與修飾，均應包括於本發明之申請專利範圍內。

S1~S7:步驟 1:影像擷取裝置 11:影像 2:人工神經計算裝置 21:特徵擷取單元 211:深度卷積神經網路 212:殘差網路模組 3:運算處理單元 31:回歸運算處理單元 32:分類運算處理單元 33:影像辨識單元 331:藥丸資料庫 4:藥丸分類裝置 W:特徵圖 X:特徵邊框之位移量 Y:分類參考值 Z:辨識結果

第1圖：其是本發明之一實施例之方法流程圖 第2圖：其是本發明之一實施例之方法執行示意圖

Claims (8)

1. 一種藥丸分類辨識方法，其步驟包含: 接收一影像至一特徵擷取單元，該特徵擷取單元擷取該影像之複數個特徵經由複數個殘差網路模組堆疊運算，以生成一特徵圖； 接收該特徵圖至一回歸運算處理單元，該回歸運算處理單元依據該特徵圖預測至少一特徵邊框，並依據一第一激勵函數進行運算，以生成該特徵邊框之位移量； 接收該特徵邊框之位移量至一分類運算處理單元，該分類運算處理單元依據一第二激勵函數進行運算，以生成一分類參考值； 接收該分類參考值至一影像辨識單元，該影像辨識單元依據一第三激勵函數進行運算，以生成一辨識結果。
2. 如申請專利範圍第1項所述之藥丸分類辨識方法，其中該特徵擷取單元包含一深度卷積神經網路，該深度卷積神經網路係經由接收該影像之二維結構進行該些個特徵擷取，並透過該些個殘差網路模組堆疊運算。
3. 如申請專利範圍第1項所述之藥丸分類辨識方法，其中該些個殘差網路模組包含複數個卷積層，該些個卷積層係包含複數個特徵圖，並透過該些個特徵圖堆疊運算。
4. 如申請專利範圍第1項所述之藥丸分類辨識方法，其中該特徵圖為一增強式特徵金字塔之特徵圖，該特徵圖係擷取該影像中不同尺寸的藥丸區域。
5. 如申請專利範圍第1項所述之藥丸分類辨識方法，其中該第一激勵函數為一線性整流函數，該線性整流函數係作為該回歸運算處理單元的激勵函數，並依據該特徵邊框進行非線性方程式之運算，以生成該特徵邊框之位移量。
6. 如申請專利範圍第1項所述之藥丸分類辨識方法，其中該第二激勵函數為一Sigmoid函數，該Sigmoid函數係作為該分類運算處理單元的激勵函數，並依據該特徵邊框之位移量透過非線性方程式進行二進位分類，判斷該特徵邊框是否為藥丸，以生成該分類參考值。
7. 如申請專利範圍第1項所述之藥丸分類辨識方法，其中該影像辨識單元包含:一藥丸資料庫，該分類參考值透過該第三激勵函數運算，並藉由該藥丸資料庫進行辨識，以生成該辨識結果。
8. 如申請專利範圍第1項所述之藥丸分類辨識方法，其中該第三激勵函數為一歸一化指數函數，該歸一化指數函數依據該分類參考值進行有限項離散概率分布的梯度對數歸一化之運算，以生成一辨識結果。

Images