TWI645366B - Image semantic conversion system and method applied to home care - Google Patents

Abstract

本發明係揭露一種應用於居家照護之影像語意轉換系統及方法，其包括影像擷取模組、影像特徵資料庫、資訊處理模組及資訊輸出模組。以影像擷取模組擷取受照護者的特徵影像。影像特徵資料庫有包含複數臉部特徵資料或是動作特徵資料，並於每一臉部或是每一動作特徵資料設定一種語意資料。資訊處理模組將特徵影像做影像辨識處理，並於影像特徵資料庫辨識出與特徵影像特徵符合的臉部特徵資料或動作特徵資料，並讀取特徵符合的臉部特徵資料或是動作特徵資料所設定的語意資料後輸出相應的語意訊號，俾能由資訊輸出模組將受照護者所欲表達的語意資訊輸出，藉此可藉由與受照護者之間的語意溝通來提升居家照護品質。

Description

應用於居家照護之影像語意轉換系統及方法

本發明係有關一種應用於居家照護之影像語意轉換系統及方法，尤指一種可藉由與受照護者之間語意溝通來提升居家照護品質的影像語意轉換技術。

隨著科技的蓬勃發展，電子產品逐漸朝著人性化與方便性的方向發展。然而，每一個社會都會有一些弱勢的族群，此一群弱勢族群卻無法享受到科技化所帶來的便利與方便性，此群弱勢族群例如：肌萎縮性脊髓側索硬化症(即俗稱漸凍人)；或是四肢癱瘓無法言語但是心智卻是正常的受照護者。其中，漸凍人的病發前期只是末稍肢體無力、肌肉抽搐，容易疲勞等一般症狀而已，但是卻會慢慢地惡化而出現肌肉萎縮與吞嚥困難的症狀，嚴重的話，甚至還會引發呼吸衰竭。以目前的醫療水準而言，這種疾病目前尚無有效的治療方式，不過由於這種疾病的患者主要是以運動神經萎縮為主，其感覺神經並未受到侵犯，所以雖然四肢無法動彈，也無法自行呼吸，但是漸凍人的心智卻是正常，而且意識依舊清楚，感覺也是敏銳如一般正常人，因此，如何依據上述形態之受照護者的語意溝通來提升居家照護品質的照護技術實已成為相關之產學業界所急欲解決的技術課題與挑戰。

按照傳統的照護方法，若是與上述形態之受照護者進行溝通的話，僅能透過字母板而且必須依靠旁人的協助來點選字母，然後再觀看受照護者的眼睛是否眨眼，以作為字母確認動作的依據，此種溝通方法非常耗費時間，而且必須依靠他人的協助方能實現語意上的溝通，因而造成照護語意溝通上的不便與極度困擾的情事產生。

為改善上述缺失，相關技術領域業者已然開發出一種如本國發明第I419020號『眼訊號控制之溝通系統』所示的專利，其包括有一用以將使用者之眼睛訊號取出的組電極貼片、一用以擷取該眼睛訊號並消除雜訊的眼訊號前端擷取電路、一用以將該眼睛訊號之類比訊號轉換為數位訊號的波形整型電路、一選擇顯示面板及一用以接收數位訊號的後端眼訊號控制電路，其顯示面板的顯示面由四個大區塊，設在每一大區塊中的一排列區塊及一代表區塊，設在每一排列區塊依序排列的複數個不同的文字、字母、圖形或符號及次選燈，及設在代表區塊的一主選燈、一返回上層選燈及至少一個該排列區塊的該文字、該字母、該圖形或該符號所組成。該專利雖然可以協助漸凍病患達到與外界溝通之目的，惟，利用眼球轉動軌跡來辨識選擇字母的方式，通常會因為一連串煩瑣的動作會使得受照護者的眼睛疲累與不適感的情事發生，以致字母辨識率也會因為眼睛疲乏造成辨識率低的情事產生，可見，該專利確實未臻完善，仍有再改善的空間。

有鑑於此，尚未有一種利用影像與語意轉換技術來改善語意溝通效能的專利或論文被提出，而且基於相關產業的迫切需求之下，本發明人乃經不斷的努力研發之下，終於研發出一套有別於上述習知技術與專利的本發明。

本發明第一目的，在於提供一種應用於居家照護之影像語意轉換系統及方法，主要是藉由受照護者的臉部表情或是動作的影像辨識來增加語意溝通的正確率，藉以提升受照護者的照護品質。達成本發明第一目的採用之技術手段，係包括影像擷取模組、影像特徵資料庫、資訊處理模組及資訊輸出模組。以影像擷取模組擷取受照護者的特徵影像。影像特徵資料庫有包含複數臉部特徵資料或是動作特徵資料，並於每一臉部或是每一動作特徵資料設定一種語意資料。資訊處理模組將特徵影像做影像辨識處理，並於影像特徵資料庫辨識出與特徵影像特徵符合的臉部特徵資料或動作特徵資料，並讀取特徵符合的臉部特徵資料或是動作特徵資料所設定的語意資料後輸出相應的語意訊號。

本發明第二目的，在於提供一種具備深度學習而可更為精準快速辨識出受照護者之語意的應用於居家照護之影像語意轉換系統及方法。達成本發明第二目的採用之技術手段，係包括影像擷取模組、影像特徵資料庫、資訊處理模組及資訊輸出模組。以影像擷取模組擷取受照護者的特徵影像。影像特徵資料庫有包含複數臉部特徵資料或是動作特徵資料，並於每一臉部或是每一動作特徵資料設定一種語意資料。資訊處理模組將特徵影像做影像辨識處理，並於影像特徵資料庫辨識出與特徵影像特徵符合的臉部特徵資料或動作特徵資料，並讀取特徵符合的臉部特徵資料或是動作特徵資料所設定的語意資料後輸出相應的語意訊號。其中，更包含一具備深度學習訓練功能以執行影像辨識處理的深度學習演算法，執行該深度學習演算法則包含下列之步驟：一訓練階段步驟，係建立一深度學習模型，並於該深度學習模型輸入該臉部特徵資料、該動作特徵資料、該語意資料及巨量的該特徵影像，並由該深度學習模型測試影像辨識的正確率，再判斷影像辨識正確率是否足夠，當判斷結果為是，則將辨識結果輸出及儲存；當判斷結果為否，則使該深度學習模型自我修正學習；及一運行預測階段步驟，係深度學習模型於該深度學習模型輸入該臉部特徵資料、該動作特徵資料、該語意資料及即時擷取的該特徵影像，並由該深度學習模型進行預測性影像辨識，以得到至少一個辨識結果的該語意訊號。

10‧‧‧影像擷取模組

20‧‧‧影像特徵資料庫

30‧‧‧資訊處理模組

31‧‧‧深度學習模型

40‧‧‧資訊輸出模組

40a‧‧‧可攜式電子裝置

41‧‧‧第二無線通訊模組

50‧‧‧第一無線通訊模組

60‧‧‧固定架

圖1係本發明具體架構的功能方塊示意圖。

圖2係本發明深度學習模型的訓練階段的實施示意圖。

圖3係本發明深度學習模型的運行預測階段的實施示意圖。

圖4係本發明具體照護的實施示意圖。

圖5係本發明動作特徵資料的影像樣本示意圖。

圖6係本發明動作特徵資料的另一種影像樣本示意圖。

為讓 貴審查委員能進一步瞭解本發明整體的技術特徵與達成本發明目的之達成功效，玆以具體實施例並配合圖式加以詳細說明如后：請配合參看圖1、4所示，為達成本發明第一目的之實施例，係包括影像擷取模組10、影像特徵資料庫20、資訊處理模組30及資訊輸出模組40等技術特徵。影像擷取模組10用以擷取受照護者的特徵影像(如臉部特徵影像或是頭部動作特徵影像)。並於影像特徵資料庫20建立有包含複數種臉部特徵資料；或是複數種動作特徵資料，並於每一臉部特徵資料；或是每一動作特徵資料設定有一種語意資料。資訊處理模組30係將特徵影像做影像辨識處理，並於影像特徵資料庫20辨識出與特徵影像特徵符合的臉部特徵資料或是動作特徵資料，再讀取特徵符合的臉部特徵 資料或是動作特徵資料所設定的語意資料後輸出相應的語意訊號；接著，由資訊輸出模組40將語意訊號輸出為受照護者所欲表達的語意資訊(例如想要翻身、想要起身、想要喝水、想要進食、身體不舒服、想要換尿布以及急救協助等)，於此，照護者即可依據所接收到的語意資訊來照護受照護者。

基於本實施例的一種具體實施例中，本發明係以影像辨識處理方式分析出經過影像前處理後之特徵影像的特徵值，再於影像特徵資料庫20比對出與特徵值大致符合的(如辨形相似度約百分之七十以上)的特徵資料，並由符合之特徵資料得到對應的語意資料；若是影像辨識成功率不高，則可提升辨形相似度，直到達到所需的影像辨識成功率為止。

基於本實施例的一種更為具體實施例中，資訊輸出模組40輸出導引資訊之前，則會先執行一學習訓練步驟，執行學習訓練步驟時則包含下列步驟：

(a)語意定義步驟，係將多種臉部表情；或是多種動作依序定義為專屬的語意；具體的，臉部表情可以是於沮喪時的抿嘴表情、喜悅時嘴角上揚的表情、瞇眼表情；或是瞪眼表情，但是不以此為限；至於動作則可以是眼球上移、眼球下移、眼球左移、眼球右移、吐舌頭、張嘴、點頭或是搖頭等諸多的動作，但是不以此為限；其中，圖5所示為本發明眼球上移、眼球下移、眼球左移、眼球右移等動作特徵資料的影像樣本；另，圖6所示則為本發明點頭及搖頭等動作特徵資料的影像樣本。

(b)學習訓練導引步驟，以資訊處理模組30驅動資訊輸出模組40輸出一學習訓練導引資訊；此學習訓練導引資訊可以是一種語音播放的方式重覆教導受照護者做出所需的臉部表情或是動作，例如將眼球上移定義為第一種語意(如想要翻身)；將眼球下移定義為第二種語意(如想要起身)；眼球左移定義為第三種語意(如想要喝水)；眼球右移定義為第四種語 意(如想要進食)，重覆上述步驟，直到滿足所有的語意表達為止。

(c)影像樣本建立步驟，於學習訓練導引資訊的引導之下，依序將受照護者之複數種臉部表情或是動作以影像擷取裝置擷取為可供比對的樣本影像，資訊輸出模組40再將各樣本影像影像分別影像處理為可供辨識之上述臉部特徵資料；或是動作特徵資料。

具體來說，資訊處理模組30(如微處理器或是電腦)係以一固定時間周期(如5~30分鐘為一個影像擷取周期，且固定時間周期可隨著實際需求而任意被調整)驅動資訊輸出模組40(如顯示裝置或是影音播放裝置)輸出導引資訊；此導引資訊可以是一種包含導引功能的顯示畫面、光訊號、至少二種顏色光訊號的組合(如綠色光代表影像擷取中，紅色光代表停止影像擷取)、音頻訊號；或是語音訊號(如發出：『請準備欲表達之臉部表情或是動作』等語音)，當受照護者看到顯示畫面、光訊號、具備二種顏色光訊號；或是聽到音頻訊號與語音訊號時，則表示資訊處理模組30即將啟動影像擷取裝置10，以擷取受照護者的臉部表情或是動作的特徵影像。

請配合參看圖1、4所示，為達成本發明第二目的之實施例，係包括影像擷取模組10、影像特徵資料庫20、資訊處理模組30及資訊輸出模組40等技術特徵。影像擷取模組10用以擷取受照護者的特徵影像。並於影像特徵資料庫20建立有包含複數種不同的臉部特徵資料；或是複數種不同的動作特徵資料，並於每一臉部特徵資料；或是每一動作特徵資料設定有一種語意資料。資訊處理模組30係將特徵影像做影像辨識處理，並於影像特徵資料庫20辨識出與特徵影像特徵符合的臉部特徵資料或是動作特徵資料，再讀取特徵符合的臉部特徵資料或是動作特徵資料所設定的語意資料後輸出相應的語意訊號。資訊輸出模組40接收語意訊號後輸出為受照護者所欲表達的語意資訊(例如想要翻身、想要起身、想要喝水、想要進食、身體不舒服、想要換尿布以及緊急救援協助等)，於此，照護 者即可依據所接收到的語意資訊來照護受照護者。其中，影像辨識處理係為一種具備深度學習訓練功能的深度學習演算法，執行深度學習演算法時則包含下列步驟：

(a)訓練階段步驟，請參看圖2所示，係建立一深度學習模型31，並於此深度學習模型31依序輸入臉部特徵資料、動作特徵資料、語意資料及巨量的特徵影像，並由深度學習模型31測試影像辨識的正確率，再判斷影像辨識正確率是否足夠，當判斷結果為是，則將辨識結果輸出及儲存；當判斷結果為否，則使深度學習模型31自我修正學習。

(b)運行預測階段步驟，請參看圖3所示，係以深度學習模型31於深度學習模型31輸入臉部特徵資料、動作特徵資料、語意資料及即時擷取的特徵影像，並由深度學習模型31進行預測性影像辨識，以得到至少一個辨識結果的語意訊號。

再者，於一種可行的實施例中，影像擷取模組1()、影像特徵資料庫20、資訊處理模組30及資訊輸出模組40係預先整合設置在一可攜式電子裝置(例如智慧型手機；或是平板電腦)之中，但是不以此為限；此外，如圖4所示為本發明之另一種可行的實施例，影像擷取模組10、影像特徵資料庫20及資訊處理模組30透過一固定架60架設在受照護者躺臥之病床的上方位置，此時，資訊處理模組30係將特徵影像做影像辨識處理，並於影像特徵資料庫20辨識出與特徵影像特徵符合的臉部特徵資料或是動作特徵資料，並讀取與臉部特徵資料或是動作特徵資料對應的語意資料後產生相應的語意訊號，再透過一第一無線通訊模組50(如藍芽通訊模組)將辨識出之語意訊號無線傳輸至內建在一作為上述資訊輸出模組40且可供照護者攜帶的可攜式電子裝置40a中，此可攜式電子裝置40a係透過內建之第二無線通訊模組41(如藍芽通訊模組)來接收上述語意訊號；接著，將語意訊號輸出轉換為相應語意資訊，於此，照護者即可透此可攜式電子裝 置40a來觀看受照護者所欲表達溝通的語意，再依據該語意來提供受照護者正確的照護服務。

較佳的，上述深度學習演算法可以是一種卷積神經網路，係從影像擷取裝置10獲得特徵影像後，經過影像前處理(即預處理)、特徵擷取、特徵選擇，再到推理以及做出預測性辨識。另一方面，卷積神經網路的深度學習實質，是通過構建具有多個隱層的機器學習模型及海量訓練數據，來達到學習更有用的特徵，從而最終提升分類或預測的準確性。卷積神經網路利用海量訓練數據來學習特徵辨識，於此方能刻畫出數據的豐富內在訊息。由於卷積神經網路為一種權值共享的網路結構，所以除了可以降低網路模型的複雜度之外，並可減少權值的數量。此優點在網路的輸入是多維圖像時表現的更為明顯，使圖像可以直接作為網路的輸入，避免了傳統影像辨識演算法中複雜的特徵擷取與數據重建過程。物件分類方式幾乎都是基於統計特徵的，這就意味著在進行分辨前必須提取某些特徵。然而，顯式的特徵擷取並不容易，在一些應用問題中也並非總是可靠的。卷積神經網路可避免顯式的特徵取樣，隱式地從訓練數據中進行學習。這使得卷積神經網路明顯有別於其他基於神經網路的分類器，通過結構重組和減少權值將特徵擷取功能融合進多層感知器。它可以直接處理灰度圖片，能夠直接用於處理基於圖像的分類。卷積神經網路較一般神經網路在圖像處理方面有如下優點：輸入圖像與網路的拓撲結構能很好的吻合；特徵擷取與模式分類同時進行，並同時在訓練中產生；權重共享可以減少網路的訓練參數，使神經網路結構變得更為簡單，適應性更強。

以上所述，僅為本發明之可行實施例，並非用以限定本發明之專利範圍，凡舉依據下列請求項所述之內容、特徵以及其精神而為之其他變化的等效實施，皆應包含於本發明之專利範圍內。本發明所具體界定於請求項之結構特徵，未見於同類物品，且具實用性與進步性，已符合發 明專利要件，爰依法具文提出申請，謹請 鈞局依法核予專利，以維護本申請人合法之權益。

Claims (8)

1. 一種應用於居家照護之影像語意轉換系統，其係應用於漸凍人以及四肢癱瘓無法言語但是心智正常之受照護者的居家照護，其包括：至少一影像擷取模組，其用以擷取該受照護者的特徵影像；一影像特徵資料庫，其建立有包含複數種臉部特徵資料；或是複數種動作特徵資料，並於每一該臉部特徵資料；或是每一該動作特徵資料設定有一種語意資料；一資訊處理模組，其係將該特徵影像做影像辨識處理，並於該影像特徵資料庫辨識出與該特徵影像之特徵符合的該臉部特徵資料或是該動作特徵資料，並讀取特徵符合的該臉部特徵資料以及該動作特徵資料所設定的該語意資料後輸出一相應的語意訊號；該資訊處理模組包含一深度學習演算法，執行該深度學習演算法則包含下列步驟：一訓練階段步驟，係建立一深度學習模型，並於該深度學習模型輸入該臉部特徵資料、該動作特徵資料、該語意資料及巨量的該特徵影像，並由該深度學習模型測試影像辨識的正確率，再判斷影像辨識正確率是否足夠，當判斷結果為是，則將辨識結果輸出及儲存；當判斷結果為否，則使該深度學習模型自我修正學習；及一運行預測階段步驟，係深度學習模型於該深度學習模型輸入該臉部特徵資料、該動作特徵資料、該語意資料及即時擷取的該特徵影像，並由該深度學習模型進行預測性影像辨識，以得到至少一個辨識結果的該語意訊號；及一資訊輸出模組，其接收該語意訊號後輸出為該受照護者所欲表達的語意資訊，該語意資訊係選自想要翻身、想要起身、想要喝水、想要進食、身體不舒服、想要換尿布以及急救協助的其中至少一種；其中，在該資訊輸出模組輸出該導引資訊之前，該資訊處理模組則先執行一學習訓練步驟，其包含下列步驟：(a)語意定義步驟，係將每一臉部表情或是動作定義為一種語意，該臉部表情係選自沮喪時的抿嘴表情、喜悅時嘴角上揚的表情、瞇眼表情；以及瞪眼表情的其中一種；該動作係選自是眼球上移、眼球下移、眼球左移、眼球右移、吐舌頭、張嘴、點頭以及搖頭的其中一種；(b)學習訓練導引步驟，以該資訊處理模組驅動該資訊輸出模組輸出一學習訓練導引資訊；及(c)影像樣本建立步驟，於該學習訓練導引資訊的引導之下，依序將該受照護者之複數種臉部表情或是動作以該影像擷取裝置擷取為比對樣本影像，該資訊輸出模組再將各該比對樣本影像影像分別處理為可供辨識之該臉部特徵資料或是該動作特徵資料。
2. 如請求項1所述之應用於居家照護之影像語意轉換系統，其中，該影像擷取模組擷取該受照護者的該特徵影像之前，則先驅動該資訊輸出模組輸出一導引資訊，以提醒該受照護者即將擷取該特徵影像，並導引該受照護者準備好即將表達之語意的臉部表情或是動作。
3. 如請求項2所述之應用於居家照護之影像語意轉換系統，其中，該資訊處理模組係以一固定時間周期驅動該資訊輸出模組輸出該導引資訊。
4. 如請求項2或3所述之應用於居家照護之影像語意轉換系統，其中，該導引資訊係選自顯示畫面、光訊號、至少二種光訊號組合、音頻訊號及語音訊號的其中至少一種。
5. 一種應用於居家照護之影像語意轉換方法，其係應用於漸凍人以及四肢癱瘓無法言語但是心智正常之受照護者的居家照護，其包括：提供至少一影像擷取模組、一影像特徵資料庫、一資訊處理模組及一資訊輸出模組；以該影像擷取模組擷取該受照護者的特徵影像；於該影像特徵資料庫建立有包含複數種不同的臉部特徵資料；或是複數種不同的動作特徵資料，並於每一該臉部特徵資料以及每一該動作特徵資料設定有一種語意資料；以該資訊處理模組將該特徵影像做影像辨識處理，並於該影像特徵資料庫辨識出與該特徵影像特徵符合的該臉部特徵資料或是該動作特徵資料，並讀取特徵符合的該臉部特徵資料或是該動作特徵資料所設定的該語意資料後輸出一相應的語意訊號；該資訊處理模組包含一深度學習演算法，執行該深度學習演算法則包含下列步驟：一訓練階段步驟，係建立一深度學習模型，並於該深度學習模型輸入該臉部特徵資料、該動作特徵資料、該語意資料及巨量的該特徵影像，並由該深度學習模型測試影像辨識的正確率，再判斷影像辨識正確率是否足夠，當判斷結果為是，則將辨識結果輸出及儲存；當判斷結果為否，則使該深度學習模型自我修正學習；及一運行預測階段步驟，係深度學習模型於該深度學習模型輸入該臉部特徵資料、該動作特徵資料、該語意資料及即時擷取的該特徵影像，並由該深度學習模型進行預測性影像辨識，以得到至少一個辨識結果的該語意訊號；及以該資訊輸出模組接收該語意訊號，並輸出為該受照護者所欲表達的語意資訊，該語意資訊係選自想要翻身、想要起身、想要喝水、想要進食、身體不舒服、想要換尿布以及急救協助的其中至少一種；其中，在該資訊輸出模組輸出該導引資訊之前，該資訊處理模組則先執行一學習訓練步驟，其包含一語意定義步驟，係將每一臉部表情或是動作定義為一種語意，該臉部表情係選自沮喪時的抿嘴表情、喜悅時嘴角上揚的表情、瞇眼表情；以及瞪眼表情的其中一種；該動作係選自是眼球上移、眼球下移、眼球左移、眼球右移、吐舌頭、張嘴、點頭以及搖頭的其中一種。
6. 如請求項5所述之應用於居家照護之影像語意轉換方法，其中，該影像擷取模組擷取該受照護者的該特徵影像之前，則先驅動該資訊輸出模組輸出一導引資訊，以提醒該受照護者即將擷取該特徵影像，並導引該受照護者準備好即將表達語意的臉部表情或是動作。
7. 如請求項6所述之應用於居家照護之影像語意轉換方法，其中，該資訊處理模組係以一固定時間周期驅動該資訊輸出模組輸出該導引資訊。
8. 如請求項6或7所述之應用於居家照護之影像語意轉換方法，其中，包含下列步驟：(a)學習訓練導引步驟，以該資訊處理模組驅動該資訊輸出模組輸出一學習訓練導引資訊；及(b)影像樣本建立步驟，於該學習訓練導引資訊的引導之下，依序將該受照護者之複數種臉部表情或是動作以該影像擷取裝置擷取為比對樣本影像，該資訊輸出模組再將各該比對樣本影像影像分別處理為可供辨識之該臉部特徵資料或是該動作特徵資料。