TWI768625B - 嬰兒照護影像分析的方法及系統 - Google Patents

嬰兒照護影像分析的方法及系統 Download PDF

Info

Publication number
TWI768625B
TWI768625B TW109146451A TW109146451A TWI768625B TW I768625 B TWI768625 B TW I768625B TW 109146451 A TW109146451 A TW 109146451A TW 109146451 A TW109146451 A TW 109146451A TW I768625 B TWI768625 B TW I768625B
Authority
TW
Taiwan
Prior art keywords
model
mentioned
detection performance
stage
baby care
Prior art date
Application number
TW109146451A
Other languages
English (en)
Other versions
TW202226047A (zh
Inventor
洪上智
劉建宏
蔣岳珉
呂子杰
黎和欣
李仁貴
江正傑
Original Assignee
財團法人工業技術研究院
家恩股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院, 家恩股份有限公司 filed Critical 財團法人工業技術研究院
Priority to TW109146451A priority Critical patent/TWI768625B/zh
Application granted granted Critical
Publication of TWI768625B publication Critical patent/TWI768625B/zh
Publication of TW202226047A publication Critical patent/TW202226047A/zh

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本揭露提出一種嬰兒照護影像分析的方法,包括:藉由一管理器訓練一兩段式模型,其中上述兩段式模型包括一前段模型及一後段模型,並由上述管理器傳送上述前段模型與上述後段模型;藉由一智慧前端接收上述前段模型,將至少一影像輸入上述前段模型,對上述至少一影像進行去識別化,以產生至少一去識別化影像,並由該智慧前端傳送上述至少一去識別化影像;以及藉由一後台伺服器接收上述後段模型及上述至少一去識別化影像,將上述至少一去識別化影像輸入上述後段模型,以判斷上述至少一去識別化影像是否存在異常事件。

Description

嬰兒照護影像分析的方法及系統
本揭露係有關於一種影像分析的方法及系統,且特別係有關於一種嬰兒照護影像分析的方法及系統。
嬰兒出生後3個月內之猝死機率最高,造成猝死的原因多元。例如,嬰兒溢奶(發生率達15%)可能造成嗆奶窒息的狀況,威脅嬰兒的生命安全。但是照護人員不可能隨時視察嬰兒狀況,因此透過即時監控影像,結合AI影像分析偵測異常事件之發生,可有效降低嬰兒猝死之風險。
在嬰兒照護時可能發生的異常事件種類多元。若是藉由前端裝置執行AI異常事件偵測,需要較佳的運算效能,往往因而限制異常事件偵測準確度。
另一種解決方案是採用由後端平台提供之AI影像分析功能,以減少前端裝置所需之運算。但為了透過後端平台執行異常事件偵測,需要將即時影像傳輸至後端平台,造成嬰兒影像暴露,產生個人資料隱私外洩的風險。
而傳統上影像進行個資隱藏的方式,如馬賽克、模糊化等技術,皆是以對原始影像進行破壞性操作的方式,來達成影像個資隱藏的目的。然而此種破壞性操作的結果將導致後端平台無法執行基於影像的AI分析。
因此,需要一種嬰兒照護影像分析的方法及系統,以改善上述問題。
以下揭露的內容僅為示例性的,且不意指以任何方式加以限制。除所述說明方面、實施方式和特徵之外,透過參照附圖和下述具體實施方式,其他方面、實施方式和特徵也將顯而易見。即,以下揭露的內容被提供以介紹概念、重點、益處及本文所描述新穎且非顯而易見的技術優勢。所選擇,非所有的,實施例將進一步詳細描述如下。因此,以下揭露的內容並不意旨在所要求保護主題的必要特徵,也不意旨在決定所要求保護主題的範圍中使用。
因此,本揭露之主要目的即在於提供一種嬰兒照護影像分析的方法及系統,以改善上述缺點。
本揭露提出一種嬰兒照護影像分析的方法,包括:藉由一管理器訓練一兩段式模型,其中上述兩段式模型包括一前段模型及一後段模型,並由上述管理器傳送上述前段模型與上述後段模型;藉由一智慧前端接收上述前段模型,將至少一影像輸入上述前段模型,對上述至少一影像進行去識別化,以產生至少一去識別化影像,並由該智慧前端傳送上述至少一去識別化影像;以及藉由一後台伺服器接收上述後段模型及上述至少一去識別化影像,將上述至少一去識別化影像輸入上述後段模型,以判斷上述至少一去識別化影像是否存在異常事件。
在一實施例中,上述兩段式模型係由N1層隱藏層、一池化層以及N2層隱藏層依序串接組成。
在一實施例中,上述前段模型係包括上述N1層隱藏層以及上述池化層。
在一實施例中,上述前段模型係包括上述N1層隱藏層以及上述池化層。
在一實施例中,藉由上述管理器訓練上述兩段式模型包括以下步驟:步驟(a):產生一組模型參數;步驟(b):根據上述組模型參數產生上述兩段式模型;步驟(c):依據上述兩段式模型偵測多個訓練影像中之異常事件,以及辨識上述多個訓練影像中之人臉;步驟(d):根據上述偵測結果及上述辨識結果,判斷上述兩段式模型之一異常事件偵測效能是否大於一第一閾值,且一人臉偵測效能是否小於一第二閾值;步驟(e):當上述異常事件偵測效能不大於上述第一閾值,或上述人臉偵測效能不小於上述第二閾值時,根據上述組模型參數產生另一組模型參數;以及以上述另一組模型參數取代上述組模型參數,重複執行上述步驟(b)~(e),直到上述異常事件偵測效能大於上述第一閾值,且上述人臉偵測效能小於上述第二閾值為止。
在一實施例中,上述管理器係藉由一啟發式演算法根據上述組模型參數產生上述另一組模型參數,其中上述啟發式演算法係為一基因演算法、一粒子群演算法或一模擬退火演算法。
在一實施例中,上述管理器係使用一平均精度均值法(mean of Average Precision,mAP)估算上述異常事件偵測效能以及上述人臉偵測效能。
在一實施例中,上述組模型參數及上述另一組模型參數至少包括:隱藏層數N1及N2的比例、各隱藏層深度、各隱藏層卷積核心尺寸、各隱藏層激勵函數以及池化層核心尺寸。
在一實施例中,上述隱藏層數N1及N2的比例係為1:7、1:3或3:5。
在一實施例中,上述兩段式模型係一深度神經網路(Deep Neural Network,DNN)模型。
本揭露提出一種嬰兒照護影像分析的系統,包括:一管理器,訓練一兩段式模型,其中上述兩段式模型包括一前段模型及一後段模型,並傳送上述前段模型與上述後段模型;一智慧前端,接收上述前段模型,將至少一影像輸入上述前段模型,對上述至少一影像進行去識別化,以產生至少一去識別化影像,並傳送上述去識別化影像;以及一後台伺服器,接收上述後段模型及上述去識別化影像,將上述至少一去識別化影像輸入上述後段模型,以判斷上述至少一去識別化影像是否存在異常事件。
在下文中將參考附圖對本揭露的各方面進行更充分的描述。然而,本揭露可以具體化成許多不同形式且不應解釋為侷限於貫穿本揭露所呈現的任何特定結構或功能。相反地,提供這些方面將使得本揭露周全且完整,並且本揭露將給本領域技術人員充分地傳達本揭露的範圍。基於本文所教導的內容,本領域的技術人員應意識到,無論是單獨還是結合本揭露的任何其它方面實現本文所揭露的任何方面,本揭露的範圍旨在涵蓋本文中所揭露的任何方面。例如,可以使用本文所提出任意數量的裝置或者執行方法來實現。另外,除了本文所提出本揭露的多個方面之外,本揭露的範圍更旨在涵蓋使用其它結構、功能或結構和功能來實現的裝置或方法。應可理解,其可透過申請專利範圍的一或多個元件具體化本文所揭露的任何方面。
詞語「示例性」在本文中用於表示「用作示例、實例或說明」。本揭露的任何方面或本文描述為「示例性」的設計不一定被解釋為優選於或優於本揭露或設計的其他方面。此外,相同的數字在所有若干圖示中指示相同的元件,且除非在描述中另有指定,冠詞「一」和「上述」包含複數的參考。
可以理解,當元件被稱為被「連接」或「耦接」至另一元件時,該元件可被直接地連接到或耦接至另一元件或者可存在中間元件。相反地,當該元件被稱為被「直接連接」或「直接耦接」至到另一元件時,則不存在中間元件。用於描述元件之間的關係的其他詞語應以類似方式被解釋(例如,「在…之間」與「直接在…之間」、「相鄰」與「直接相鄰」等方式)。
第1圖為根據本發明一實施例所述之嬰兒照護影像分析系統100之示意圖。嬰兒照護影像分析系統100係包括至少一智慧前端110、一管理器120及一後台伺服器130,
智慧前端110、管理器120、以及後台伺服器130分別為獨立的裝置,其可位於不同地點、被物理性分隔開,彼此間可以透過網路互相連接。管理器120主要係用以整合智慧前端110與後台伺服器130,以提供AI影像分析服務。管理器120包含一神經網路訓練系統,用以訓練產生一兩段式模型,其中上述兩段式模型包括一前段模型及一後段模型。接著,管理器120可將前段模型傳送至智慧前端110,並將後段模型傳送至後台伺服器130。
智慧前端110設置於一嬰兒照護盆160上,可包括攝影裝置112、資料處理器116、以及支架118。攝影裝置112透過支架118設置於嬰兒照護盆160上。資料處理器116接收攝影裝置112拍攝嬰兒114之至少一影像,並利用智慧前端110所接收之前段模型,將該至少一影像輸入上述前段模型,以將該至少一影像進行去識別化,產生至少一去識別化影像150。而後,由智慧前端110將上述至少一去識別化影像150傳送至後台伺服器130。
後台伺服器130可接收由智慧前端110所傳送之至少一去識別化影像150以及管理器120所傳送之後段模型。後台伺服器130將至少一去識別化影像輸入至上述後段模型,以判斷上述至少一去識別化影像150是否存在異常事件。
智慧前端110、一管理器120及一後台伺服器130的類型範圍從小型手持裝置(例如,行動電話∕可攜式電腦)到大型主機系統(例如大型電腦)。可攜式電腦的示例包括個人數位助理(PDA)、筆記型電腦等裝置。網路可包括但不侷限於一或多個區域網(Local Area Network,LAN)和/或廣域網路(Wide Area Network,WAN)。
應可理解,第1圖所示的智慧前端110、一管理器120及一後台伺服器130係一嬰兒照護影像分析的系統100架構的示例。第1圖所示的每個元件可經由任何類型的計算裝置來實現,像是參考第6圖描述的計算裝置600,如第6圖所示。
第2圖係顯示根據本揭露一實施例所述之嬰兒照護影像分析的方法200之流程圖。此方法可執行於如第1圖所示之嬰兒照護影像分析系統100中。
在步驟S205中,管理器120訓練產生一兩段式模型,其中上述兩段式模型包括一前段模型及一後段模型,並將上述前段模型傳送至智慧前端110、以及將上述後段模型傳送至後台伺服器130。在一實施例中,上述兩段式模型係一深度神經網路(Deep Neural Network,DNN)模型,且係由N1層隱藏層、一池化層、以及N2層隱藏層依序串接組成。
接著,在步驟S210中,一智慧前端110接收攝影裝置112拍攝嬰兒114之至少一影像及上述前段模型,並將上述至少一影像輸入上述前段模型,將對上述至少一影像進行去識別化,以產生至少一去識別化影像150,並將上述至少一去識別化影像傳送至後台伺服器130,其中上述前段模型係包括上述N1層隱藏層以及上述池化層。
在步驟S215中,一後台伺服器130接收去識別化影像150及上述後段模型,並將上述至少一去識別化影像150輸入上述後段模型,以判斷至少一去識別化影像150是否存在異常事件,其中上述後段模型係包括上述N2層隱藏層。
在一實施例中,當後台伺服器130判斷至少一去識別化影像150存在異常事件時,後台伺服器130可發送警示訊息至智慧前端110以通知操作智慧前端110之使用者,其中智慧前端110可使用相關使用者介面(例如:發光二極體(LED)、液晶顯示器(LCD)、麥克風、蜂鳴器(Buzzer)、藍牙串流)提醒使用者。
第3圖係顯示根據本揭露一實施例之兩段式模型300的結構圖。
如圖所示,兩段式模型300係由N1層隱藏層310、池化層320、及N2層隱藏層330依序串接所組成。一層隱藏層可由一個卷積(Convolution)層及一個激活(Rectified Linear,Re-Lu)層所組成。池化層可為一最大池化層。隱藏層的卷積核心尺寸係為k×k,池化層的核心尺寸係為p×p。
前段模型係包括N1層隱藏層310以及池化層320,後段模型係包括N2層隱藏層330。一原始影像先被輸入至N1層隱藏層310及池化層320。經過池化層320輸出一去識別化影像150,即,經過池化層320輸出之影像將不再具有可識別性。而N2層隱藏層330則是對去識別化影像判斷是否存在異常事件。在一實施例中,發生在嬰兒身上的異常事件可包括:睜眼、溢奶、發紺、黃疸等異常事件。
以下將詳細說明在第2圖之步驟S205中,管理器120如何訓練上述兩段式模型。須注意的是,如本文所使用的,術語「訓練」用於識別用於訓練兩段式模型的對象。因此,訓練影像是指用於訓練兩段式模型的影像。
第4圖係顯示根據本揭露一實施例之管理器120訓練上述兩段式模型的示意圖400,其中管理器120至少可包括一模型參數選擇器、一模型訓練器、一異常事件偵測器及一人臉偵測器。
在區塊405中,管理器120可先進行初始化,接著由模型參數選擇器410產生一組模型參數,其中上述組模型參數係隨機產生,且上述組模型參數係至少包括:隱藏層數N1及N2的比例、各隱藏層深度、各隱藏層卷積核心尺寸、各隱藏層激勵函數以及池化層核心尺寸。
接著,將上述組模型參數輸入至模型訓練器415,以產生兩段式模型420,兩段式模型420包含前段模型與後段模型,其中前段模型係由N1層隱藏層以及上述池化層組成,後段模型係由N2層隱藏層所組成。接著,將多個訓練影像輸入至兩段式模型420中,由前段模型產生多個去識別化訓練影像,並輸出上述多個去識別化訓練影像至人臉偵測器435,由人臉偵測器435辨識上述多個去識別化訓練影像分別對應至的人臉。而後段模型會接收上述多個去識別化訓練影像,並輸出多個異常去識別化訓練影像至異常事件偵測器425,由異常事件偵測器425辨識上述多個異常去識別化訓練影像為何種異常事件,再輸入異常事件偵測器效能估算器430進行評估。
每一訓練影像所對應至之異常事件與人臉,管理器120具有例如是一對照表,以供異常事件偵測器效能估算器430估算異常事件偵測效能,即異常事件辨識的正確率,及供人臉偵測效能估算器440估算人臉偵測效能,即針對去識別化影像的人臉辨識正確率。最後,在區塊445中,管理器120判斷異常事件偵測器效能估算器430與人臉偵測效能估算器440所估算的效能是否滿足目標條件(異常事件偵測效能大於一第一閾值,且上述人臉偵測效能是否小於一第二閾值)。
當上述異常事件偵測效能及上述人臉偵測效能是否滿足目標條件時,在區塊450中,管理器結束訓練。當上述異常事件偵測效能及上述人臉偵測效能是否滿足目標條件時,在區塊450中,管理器結束訓練。
當上述異常事件偵測效能及上述人臉偵測效能不滿足目標條件時,管理器將輸出上述結果至區塊410中,以使模型參數選擇器可根據上述組模型參數產生新的一組模型參數。
第5圖係顯示根據本揭露一實施例之管理器120訓練上述兩段式模型的流程圖500,此流程係更進一步說明第4圖中之流程細節。
在步驟S505中,管理器120產生一組模型參數,其中上述組模型參數係隨機初始化產生,且上述組模型參數係至少包括:隱藏層數N1及N2的比例、各隱藏層深度、各隱藏層卷積核心尺寸、各隱藏層激勵函數以及池化層核心尺寸。
在步驟S510中,管理器120根據上述組模型參數產生兩段式模型。接著,在步驟S515中,管理器120依據上述兩段式模型偵測多個訓練影像中之異常事件,以及辨識上述多個訓練影像中之人臉。
再來,在步驟S520中,管理器120根據上述偵測結果及上述辨識結果,判斷上述兩段式模型之一異常事件偵測效能是否大於一第一閾值,且一人臉偵測效能是否小於一第二閾值。更詳細地說明,異常事件偵測效能應越大越好,表示後段模型偵測異常事件的效能越佳。而人臉偵測效能應越小越好,表示後段模型無法由前段模型所產生之去辨識化影像辨識出人臉影像。在一實施例中,上述管理器係使用一平均精度均值法(mean of Average Precision,mAP)估算上述異常事件偵測效能以及上述人臉偵測效能。在另一實施例中,上述第一閾值及上述第二閾值係由人工事先指定。
當上述異常事件偵測效能不大於上述第一閾值,或上述人臉偵測效能不小於上述第二閾值時(步驟S520中的「否」),在步驟S525中,管理器120根據上述組模型參數產生另一組模型參數其中上述另一組模型參數至少包括:隱藏層數N1及N2的比例、各隱藏層深度、各隱藏層卷積核心尺寸、各隱藏層激勵函數以及池化層核心尺寸。在一實施例中,上述管理器120係藉由一啟發式演算法根據上述組模型參數產生上述另一組模型參數,其中上述啟發式演算法係為一基因演算法、一粒子群演算法或一模擬退火演算法等演算法。
在管理器120根據上述組模型參數產生另一組模型參數後,將以上述另一組模型參數取代上述組模型參數,重複執行上述步驟S510~S525,直到上述異常事件偵測效能大於上述第一閾值,且上述人臉偵測效能小於上述第二閾值為止。經過步驟S510~S525後所訓練完的兩段式模型將被分割為前段模型及後段模型。前段模型及後段模型再分別進一步被傳送至智慧前端110及後台伺服器130來執行。
在一實施例中,為適用於組合最佳化求解法,模型參數須被設計為有限組合,例如:隱藏層數N1及N2的比例係為(1:7、1:3、3:5)、各隱藏層之卷積核心(K)尺寸為(3×3、4×4、5×5、6×6)、隱藏層深度(C)為(4、16、32、64、128)、池化層核心尺寸為(2×2、3×3、4×4),其中模型參數model可以如下公式表示:
Figure 02_image001
如上所述,本揭露之嬰兒照護影像分析方法及系統將影像分析分割為多段,且可同時支援本地及雲端式架構,透過前段模型產生非破壞性且具隱私性之影像,再利用後段模型判斷具隱私性之影像是否存在異常事件。換言之,本揭露之嬰兒照護影像分析方法及系統利用深度神經網路(Deep Neural Network,DNN)進行處理過程會改變原始影像之特性,將原始影像經前段模型處理,做為個資隱藏之手段。此外,本揭露之嬰兒照護影像分析方法及系統中更提出了一種DNN模型分割方法,可量化前段模型對隱藏個資之程度並產生分割點建議,可有效減少前端運算裝置的運算量,更可避免後端平台在運算時,個人資料隱私外洩的風險。
對於本發明已描述的實施例,下文描述了可以實現本發明實施例的示例性操作環境。具體參考第6圖,第6圖係顯示用以實現本發明實施例的示例性操作環境,一般可被視為計算裝置600。計算裝置600僅為一合適計算環境的一個示例,並不意圖暗示對本發明使用或功能範圍的任何限制。計算裝置600也不應被解釋為具有與所示元件任一或組合相關任何的依賴性或要求。
本發明可在電腦程式碼或機器可使用指令來執行本發明,指令可為程式模組的電腦可執行指令,其程式模組由電腦或其它機器,例如個人數位助理或其它可攜式裝置執行。一般而言,程式模組包括例程、程式、物件、元件、數據結構等,程式模組指的是執行特定任務或實現特定抽象數據類型的程式碼。本發明可在各種系統組態中實現,包括可攜式裝置、消費者電子產品、通用電腦、更專業的計算裝置等。本發明還可在分散式運算環境中實現,處理由通訊網路所連結的裝置。
參考第6圖。計算裝置600包括直接或間接耦接以下裝置的匯流排610、記憶體612、一或多個處理器614、一或多個顯示元件616、輸入/輸出(I/O)埠口618、輸入/輸出(I/O)元件620以及說明性電源供應器622。匯流排610表示可為一或多個匯流排之元件(例如,位址匯流排、數據匯流排或其組合)。雖然第6圖的各個方塊為簡要起見以線示出,實際上,各個元件的分界並不是具體的,例如,可將顯示裝置的呈現元件視為I/O元件;處理器可具有記憶體。
計算裝置600一般包括各種電腦可讀取媒體。電腦可讀取媒體可以是可被計算裝600存取的任何可用媒體,該媒體同時包括易揮發性和非易揮發性媒體、可移動和不可移動媒體。舉例但不侷限於,電腦可讀取媒體可包括電腦儲存媒體和通訊媒體。電腦可讀取媒體同時包括在用於儲存像是電腦可讀取指令、資料結構、程式模組或其它數據之類資訊的任何方法或技術中實現的易揮發性性和非易揮發性媒體、可移動和不可移動媒體。電腦儲存媒體包括但不侷限於(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、電子抹除式可複寫唯讀記憶體(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、快閃記憶體或其它記憶體技術、CD-ROM、數位多功能光碟(Digital Versatile Disc,DVD)或其它光碟儲存裝置、磁片、磁碟、磁片儲存裝置或其它磁儲存裝置,或可用於儲存所需的資訊並且可被計算裝置600存取的其它任何媒體。電腦儲存媒體本身不包括信號。
通訊媒體一般包含電腦可讀取指令、資料結構、程式模組或其它採用諸如載波或其他傳輸機制之類的模組化數據訊號形式的數據,並包括任何資訊傳遞媒體。術語「模組化數據訊號」係指具有一或多個特徵集合或以在訊號中編碼資訊之一方式更改的訊號。舉例但不侷限於,通訊媒體包括像是有線網路或直接有線連接的有線媒體及無線媒體,像是聲頻、射頻、紅外線以及其它無線媒體。上述媒體的組合包括在電腦可讀取媒體的範圍內。
記憶體612包括以易揮發性和非易揮發性記憶體形式的電腦儲存媒體。記憶體可為可移動、不移動或可以為這兩種的組合。示例性硬體裝置包括固態記憶體、硬碟驅動器、光碟驅動器等。計算裝置600包括一或多個處理器,其讀取來自像是記憶體612或I/O元件620各實體的數據。顯示元件616向使用者或其它裝置顯示數據指示。示例性顯示元件包括顯示裝置、揚聲器、列印元件、振動元件等。
I/O埠口618允許計算裝置600邏輯連接到包括I/O元件620的其它裝置,一些此種裝置為內建裝置。示例性元件包括麥克風、搖桿、遊戲台、碟形衛星訊號接收器、掃描器、印表機、無線裝置等。I/O元件620可提供一自然使用者介面,用於處理使用者生成的姿勢、聲音或其它生理輸入。在一些例子中,這些輸入可被傳送到一合適的網路元件以便進一步處理。計算裝置600可裝備有深度照相機,像是立體照相機系統、紅外線照相機系統、RGB照相機系統和這些系統的組合,以偵測與識別物件。此外,計算裝置600可以裝備有感測器(例如:雷達、光達)週期性地感測周遭一感測範圍內的鄰近環境,產生表示自身與周遭環境關聯的感測器資訊。再者,計算裝置600可以裝備有偵測運動的加速度計或陀螺儀。加速度計或陀螺儀的輸出可被提供給計算裝置600顯示。
此外,計算裝置600中之處理器614也可執行記憶體612中之程式及指令以呈現上述實施例所述之動作和步驟,或其它在說明書中內容之描述。
在此所揭露程序之任何具體順序或分層之步驟純為一舉例之方式。基於設計上之偏好,必須了解到程序上之任何具體順序或分層之步驟可在此文件所揭露的範圍內被重新安排。伴隨之方法權利要求以一示例順序呈現出各種步驟之元件,也因此不應被此所展示之特定順序或階層所限制。
申請專利範圍中用以修飾元件之「第一」、「第二」、「第三」等序數詞之使用本身未暗示任何優先權、優先次序、各元件之間之先後次序、或方法所執行之步驟之次序,而僅用作標識來區分具有相同名稱(具有不同序數詞)之不同元件。
雖然本揭露已以實施範例揭露如上,然其並非用以限定本案,任何熟悉此項技藝者,在不脫離本揭露之精神和範圍內,當可做些許更動與潤飾,因此本案之保護範圍當視後附之申請專利範圍所界定者為準。
100:嬰兒照護影像分析系統 110:智慧前端 112:攝影裝置 114:嬰兒 116:資料處理器 118:支架 120:管理器 130:後台伺服器 150:去識別化影像 160:嬰兒照護盆 200:方法 S205,S210,S215:步驟 300:兩段式模型 310:隱藏層 320:池化層 330:隱藏層 400:示意圖 405,445,450:區塊 410:模型參數選擇器 415:模型訓練器 420:兩段式模型 425:異常事件偵測器 430:異常事件偵測效能估算器 435:人臉偵測器 440:人臉偵測效能估算器 500:方法 S505,S510,S515,S520,S525:步驟 600:計算裝置 610:匯流排 612:記憶體 614:處理器 616:顯示元件 618:I/O埠口 620:I/O元件 622:電源供應器
第1圖係顯示根據本發明一實施例所述之嬰兒照護影像分析的系統之環境示意圖。 第2圖係顯示根據本揭露一實施例所述之嬰兒照護影像分析的方法之流程圖。 第3圖係顯示根據本揭露一實施例之兩段式模型的結構圖。 第4圖係顯示根據本揭露一實施例之管理器訓練上述兩段式模型的示意圖。 第5圖係顯示根據本揭露一實施例之,管理器訓練上述兩段式模型的流程圖。 第6圖係顯示用以實現本發明實施例的示例性操作環境。
200:方法
S205,S210,S215:步驟

Claims (20)

  1. 一種嬰兒照護影像分析的方法,包括:藉由一管理器訓練一兩段式模型,其中上述兩段式模型包括一前段模型及一後段模型,並由上述管理器傳送上述前段模型與上述後段模型;藉由一智慧前端接收上述前段模型,將至少一影像輸入上述前段模型,對上述至少一影像進行去識別化,以產生至少一去識別化影像,並由該智慧前端傳送上述至少一去識別化影像;以及藉由一後台伺服器接收上述後段模型及上述至少一去識別化影像,將上述至少一去識別化影像輸入上述後段模型,以判斷上述至少一去識別化影像是否存在發生於嬰兒身上的異常事件。
  2. 如請求項1所述之嬰兒照護影像分析的方法,其中上述兩段式模型係由N1層隱藏層、一池化層以及N2層隱藏層依序串接組成。
  3. 如請求項2所述之嬰兒照護影像分析的方法,其中上述前段模型係包括上述N1層隱藏層以及上述池化層。
  4. 如請求項2所述之嬰兒照護影像分析的方法,其中上述後段模型係包括上述N2層隱藏層。
  5. 如請求項1所述之嬰兒照護影像分析的方法,其中藉由上述管理器訓練上述兩段式模型包括以下步驟:步驟(a):產生一組模型參數;步驟(b):根據上述組模型參數產生上述兩段式模型;步驟(c):依據上述兩段式模型偵測多個訓練影像中之異常事 件,以及辨識上述多個訓練影像中之人臉;步驟(d):根據步驟(c)中偵測上述多個訓練影像中之異常事件的偵測結果及步驟(c)中辨識上述多個訓練影像中之人臉的辨識結果,判斷上述兩段式模型之一異常事件偵測效能是否大於一第一閾值,且一人臉偵測效能是否小於一第二閾值,其中上述異常事件偵測效能為上述偵測結果的正確率,上述人臉偵測效能為上述辨識結果的正確率;步驟(e):當上述異常事件偵測效能不大於上述第一閾值,或上述人臉偵測效能不小於上述第二閾值時,根據上述組模型參數產生另一組模型參數;以及以上述另一組模型參數取代上述組模型參數,重複執行上述步驟(b)~(e),直到上述異常事件偵測效能大於上述第一閾值,且上述人臉偵測效能小於上述第二閾值為止。
  6. 如請求項5所述之嬰兒照護影像分析的方法,其中上述管理器係藉由一啟發式演算法根據上述組模型參數產生上述另一組模型參數,其中上述啟發式演算法係為一基因演算法、一粒子群演算法或一模擬退火演算法。
  7. 如請求項5所述之嬰兒照護影像分析的方法,其中上述管理器係使用一平均精度均值法(mean of Average Precision,mAP)估算上述異常事件偵測效能以及上述人臉偵測效能。
  8. 如請求項5所述之嬰兒照護影像分析的方法,其中上述組模型參數及上述另一組模型參數至少包括:隱藏層數N1及 N2的比例、各隱藏層深度、各隱藏層卷積核心尺寸、各隱藏層激勵函數以及池化層核心尺寸。
  9. 如請求項8所述之嬰兒照護影像分析的方法,其中上述隱藏層數N1及N2的比例係為1:7、1:3或3:5。
  10. 如請求項1所述之嬰兒照護影像分析的方法,其中上述兩段式模型係一深度神經網路(Deep Neural Network,DNN)模型。
  11. 一種嬰兒照護影像分析的系統,包括:一管理器,訓練一兩段式模型,其中上述兩段式模型包括一前段模型及一後段模型,並傳送上述前段模型與上述後段模型;一智慧前端,接收上述前段模型,將至少一影像輸入上述前段模型,對上述至少一影像進行去識別化,以產生至少一去識別化影像,並傳送上述去識別化影像;以及一後台伺服器,接收上述後段模型及上述去識別化影像,將上述至少一去識別化影像輸入上述後段模型,以判斷上述至少一去識別化影像是否存在發生於嬰兒身上的異常事件。
  12. 如請求項11所述之嬰兒照護影像分析的系統,其中上述兩段式模型係由N1層隱藏層、一池化層以及N2層隱藏層依序串接組成。
  13. 如請求項12所述之嬰兒照護影像分析的系統,其中上述前段模型係包括上述N1層隱藏層以及上述池化層。
  14. 如請求項12所述之嬰兒照護影像分析的系統,其中上述後段模型係包括上述N2層隱藏層。
  15. 如請求項11所述之嬰兒照護影像分析的系統,其中上述管理器訓練上述兩段式模型包括以下步驟:步驟(a):產生一組模型參數;步驟(b):根據上述組模型參數產生上述兩段式模型;步驟(c):訓練上述兩段式模型偵測多個訓練影像中之異常事件,以及辨識上述多個訓練影像中之人臉;步驟(d):根據步驟(c)中偵測上述多個訓練影像中之異常事件的偵測結果及步驟(c)中辨識上述多個訓練影像中之人臉的辨識結果,判斷上述兩段式模型之一異常事件偵測效能是否大於一第一閾值,且一人臉偵測效能是否小於一第二閾值,其中上述異常事件偵測效能為上述偵測結果的正確率,上述人臉偵測效能為上述辨識結果的正確率;步驟(e):當上述異常事件偵測效能不大於上述第一閾值,或上述人臉偵測效能不小於上述第二閾值時,根據上述組模型參數產生另一組模型參數;以及以上述另一組模型參數取代上述組模型參數,重複執行上述步驟(b)~(e),直到上述異常事件偵測效能大於上述第一閾值,且上述人臉偵測效能小於上述第二閾值為止。
  16. 如請求項15所述之嬰兒照護影像分析的系統,其中上述管理器係藉由一啟發式演算法根據上述組模型參數產生上述另一組模型參數,其中上述啟發式演算法係為一基因演算法、一粒子群演算法或一模擬退火演算法。
  17. 如請求項15所述之嬰兒照護影像分析的系統,其中上述管理器係使用一平均精度均值法(mean of Average Precision,mAP)估算上述異常事件偵測效能以及上述人臉偵測效能。
  18. 如請求項15所述之嬰兒照護影像分析的系統,其中上述組模型參數與上述另一組模型參數係至少包括:隱藏層數N1及N2的比例、各隱藏層深度、各隱藏層卷積核心尺寸、各隱藏層激勵函數以及池化層核心尺寸。
  19. 如請求項18所述之嬰兒照護影像分析的系統,其中上述隱藏層數N1及N2的比例係為1:7、1:3或3:5。
  20. 如請求項11所述之嬰兒照護影像分析的系統,其中上述兩段式模型係一深度神經網路(Deep Neural Network,DNN)模型。
TW109146451A 2020-12-28 2020-12-28 嬰兒照護影像分析的方法及系統 TWI768625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109146451A TWI768625B (zh) 2020-12-28 2020-12-28 嬰兒照護影像分析的方法及系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109146451A TWI768625B (zh) 2020-12-28 2020-12-28 嬰兒照護影像分析的方法及系統

Publications (2)

Publication Number Publication Date
TWI768625B true TWI768625B (zh) 2022-06-21
TW202226047A TW202226047A (zh) 2022-07-01

Family

ID=83103949

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109146451A TWI768625B (zh) 2020-12-28 2020-12-28 嬰兒照護影像分析的方法及系統

Country Status (1)

Country Link
TW (1) TWI768625B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190116290A1 (en) * 2017-10-16 2019-04-18 Nokia Technologies Oy Apparatus and methods for determining and providing anonymized content within images
US20200097767A1 (en) * 2017-06-04 2020-03-26 De-Identification Ltd. System and method for image de-identification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200097767A1 (en) * 2017-06-04 2020-03-26 De-Identification Ltd. System and method for image de-identification
US20190116290A1 (en) * 2017-10-16 2019-04-18 Nokia Technologies Oy Apparatus and methods for determining and providing anonymized content within images

Also Published As

Publication number Publication date
TW202226047A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
US8831362B1 (en) Estimating age using multiple classifiers
US11710034B2 (en) Misuse index for explainable artificial intelligence in computing environments
US11625910B2 (en) Methods and apparatus to operate a mobile camera for low-power usage
US11093560B2 (en) Stacked cross-modal matching
US11481571B2 (en) Automated localized machine learning training
EP3531370B1 (en) Method for correcting image by device and device therefor
US8799269B2 (en) Optimizing map/reduce searches by using synthetic events
KR101634701B1 (ko) 소셜 네트워킹 정보를 이용한 얼굴 인식
US11250324B2 (en) Intelligent recognition and alert methods and systems
CN108475326B (zh) 用于提供与图像关联的服务的方法、存储介质和电子设备
Nirjon et al. Auditeur: A mobile-cloud service platform for acoustic event detection on smartphones
WO2022213465A1 (zh) 基于神经网络的图像识别方法、装置、电子设备及介质
CN114365156A (zh) 用于神经网络的迁移学习
US11687621B2 (en) Multi-modal fusion techniques considering inter-modality correlations and computer model uncertainty
US20160110356A1 (en) Hash table construction for utilization in recognition of target object in image
WO2022193973A1 (zh) 图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
US20190192073A1 (en) System for monitoring eating habit using a wearable device
CN107003736A (zh) 用于获取指示用户状态的状态数据的方法和装置
WO2022095640A1 (zh) 对图像中的树状组织进行重建的方法、设备及存储介质
TWI768625B (zh) 嬰兒照護影像分析的方法及系統
JP2023500037A (ja) 少数ショット時間的行動局所化を容易化するシステム、方法、プログラム
TWI687206B (zh) 異常肺音標記的方法及裝置
CN115729347A (zh) 用于人机接口应用中内容识别的多模态传感器融合
Jadon et al. An assistive model for the visually impaired integrating the domains of iot, blockchain and deep learning
Vincent et al. Hospital-specific template matching for benchmarking performance in a diverse multihospital system