TWI809266B - 電梯事件偵測模型之產生與更新方法 - Google Patents

Abstract

本發明為一種電梯事件偵測模型之產生與更新方法，係以卷積類神經網路(CNN)影像分類器對電梯內全影像做事件分類辨識，當有不符事件辨識結果之影像時，係截取該影像放入訓練樣本中做強化訓練，使其分類辨識模型能在強化訓練後，更精準的分類辨識出特定電梯內之影像事件，另外，在應用CNN影像分類器時，輸出類別可先預留多個空事件類別，待日後需要時，將空的事件類別設為特有新的事件類別以及加入新的特有事件影像訓練樣本，繼續做新事件的分類訓練學習，使CNN影像分類器具有彈性加入額外特有事件之偵測功能。

Description

電梯事件偵測模型之產生與更新方法

本發明係關於一種人工智慧(AI)影像偵測與辨識技術，特別是指一種電梯事件偵測模型之產生與更新方法。

一般電梯車箱內大部份都會裝設有攝像機，以做電梯內影像的監控及錄影，藉此提升電梯使用的安全性，爾後因影像自動偵測辨識技術能力的大幅提升，便有人提出以影像自動偵測辨識技術對電梯車箱內部做無人、無物或滿載之自動偵測辨識，使電梯能做有效節能的自動運轉控制。舉例來說，辨識到電梯內無人無物時，便可取消所有誤按樓層按鍵以節省電梯因不當運轉所浪費電能，又當辨識到電梯內已因進入的人貨導致擁擠無空間時，便可不停靠未按出梯之樓層，以避免電梯滿載時的多餘電梯停靠，除節省停等時間亦可節省電能，讓電梯滿載時做更有效的使用。

惟應用於電梯內事件所採之影像偵測辨識技術，需對各物件做複雜的物件偵測辨識，並需依據已知電梯內部尺寸對物件做複雜的空間尺寸校正，才能正確估算電梯是否滿載，且由於大部份電梯內有鏡子，易反射的光滑牆面及各式廣告圖片，非常容易影響影像物件的偵測辨識，更因電梯內場景可 能因廣告圖樣變更及更新裝潢而導致誤辨，故一般物件影像偵測辨識技術並不適用多樣化電梯場景的偵測辨識及空間尺寸估算。

因此，若能找出一種影像偵測與辨識技術，特別是能應用於電梯影像中所面臨的各種複雜條件，以提升電梯影像的辨識能力，此將成為本技術領域人員急欲追求解決方案之目標。

本發明之目的即在於提供一種可應用於多樣化電梯場景事件的偵測辨識技術，透過模型訓練以產生可分類電梯事件影像的偵測模型，且利用持續監看截取特定電梯內對各事件判定有異之影像做為影像事件強化訓練樣本，持續做深度分類辨識學習，使其能與時俱進，更精準的偵測辨識特定電梯內之影像事件。

為達到上述目的與其他目的，本發明係提出一種電梯事件偵測模型之產生與更新方法，係包括以下步驟：預先設定各種電梯事件類別；提供一影像分類器；將該各種電梯事件類別置入該影像分類器，以構建具有複數個空事件類別之電梯事件偵測模型；由各式電梯內取得該各種電梯事件類別之影像樣本，透過一影像分類訓練程式模組利用該各種電梯事件類別之影像樣本對未經訓練之該電梯事件偵測模型執行參數訓練，以取得初始電梯事件偵測模型；以及持續對該初始電梯事件偵測模型做強化學習及/或新事件學習。

於上述方法中，該預先設定各種電梯事件類別之步驟中，係包括預留多個空事件類別以及與該多個空事件類別所相對應之索引影像檔案目錄。

於上述方法中，於取得新事件之影像樣本時，係置入於該預留多個空事件類別之其中一者的索引影像檔案目錄中並設定為該新事件之電梯事件類別。

於上述方法中，該影像分類器為卷積類神經網路(Convolutional Neural Networks，CNN)影像分類器，以及該影像分類訓練程式模組為卷積類神經網路影像分類訓練程式模組。

於上述方法中，該卷積類神經網路(CNN)影像分類器為AlexNet模型、LeNet模型、VGG模型、GoogLeNet模型、ResNet模型、Inception模型、MobileNet模型或上述模型之變種或自行建構之CNN影像分類器的其中一者。

於上述方法中，該初始電梯事件偵測模型於執行電梯事件影像偵測時，係由一影像分類偵測程式模組透過該初始電梯事件偵測模型以對電梯內影像執行事件類別的辨識偵測，俾輸出經分類的事件類別影像。

於上述方法中，於該經分類的事件類別影像為不符合事件偵測結果之電梯影像時，將該不符合事件偵測結果之電梯影像歸入正確的電梯事件類別之影像樣本，以供該影像分類訓練程式模組再次利用該初始電梯事件偵測模型配合更新後的各種電梯事件類別之影像樣本進行更新訓練。

於上述方法中，該影像分類偵測程式模組為卷積類神經網路影像分類偵測程式模組。

於上述方法中，該各種電梯事件類別係包括滿載、未滿載有人、無人無物、無人有物、人員傾倒告警、火焰煙霧告警、人員騷亂告警以及危險物告警。

綜上可知，本發明提出一種電梯事件偵測模型之產生與更新方法，係建立電梯事件偵測模型來進行電梯內影像進行分類，以卷積類神經網路(CNN)為例，可直接對特定電梯內影像做事件分類辨識，並持續監看截取特定電梯內對各事件判定有異之影像做為影像事件強化訓練樣本，使CNN電梯事件偵測模型於分類辨識上能與時俱進，更精準的偵測辨識特定電梯內之影像事件。另外，本發明所使用之CNN影像分類器的輸出類別可先預留多個空事件類別，待日後需要時，加入新的特有事件影像訓練樣本及相關新的特有事件類別設定，繼續做新的事件分類訓練學習，使CNN影像分類器亦能額外分類辨識出新加入之事件影像，如此便可彈性加入額外特有事件之偵測功能，也就是說，由於各電梯特有場景及日後變動的場景，本發明能持續加入分類強化訓練樣本，精進偵測辨識的準確率及彈性加入額外特有事件之偵測功能。

101:未經影像樣本訓練的電梯事件CNN模型

102:CNN影像分類訓練程式模組

103:CNN影像分類偵測程式模組

104:經影像樣本訓練的電梯事件CNN模型

105:電梯內影像

106:經分類的事件類別影像

201:各事件類別的影像訓練樣本

401-407:流程

S11~S15:步驟

請參閱有關本發明之詳細說明及其附圖，將可進一步瞭解本發明之技術內容及其目的功效，相關附圖說明如下。

第1圖為本發明之電梯事件偵測模型之產生與更新方法的步驟圖。

第2圖為本發明實施CNN影像分類訓練的方法。

第3圖為本發明實施CNN影像分類偵測的方法。

第4圖為本發明實施電梯事件CNN模型的產生及更新方法的流程圖。

以下藉由特定的具體實施形態說明本發明之技術內容，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之優點與功效。然本發明亦可藉由其他不同的具體實施形態加以施行或應用。

第1圖為本發明之電梯事件偵測模型之產生與更新方法的步驟圖。

於步驟S11，預先設定各種電梯事件類別。為了使電梯事件偵測模型能清楚判斷出電梯內所取得影像之分類，故本步驟係預先設定各種電梯事件類別，其中，該各種電梯事件類別可為滿載、未滿載有人、無人無物、無人有物、人員傾倒告警、火焰煙霧告警、人員騷亂告警或危險物告警等。

於步驟S12，提供一影像分類器。本步驟為提供影像分類器，此分類器可用於後續建構電梯事件偵測模型。於一實施例中，該影像分類器為卷積類神經網路(CNN)影像分類器，舉例來說，依據應用考量，該卷積類神經網路(CNN)影像分類器為AlexNet模型、LeNet模型、VGG模型、GoogLeNet模型、ResNet模型、Inception模型、MobileNet模型或上述模型之變種或自行建構之CNN影像分類器的其中一者或至少一者。

於步驟S13，將該各種電梯事件類別置入該影像分類器，以構建具有複數個空事件類別之電梯事件偵測模型。本步驟係將各種電梯事件類別置入影像分類器，藉以產生具有複數個空事件類別之電梯事件偵測模型，而電梯事件偵測模型具有複數個空事件類別，將可供各種電梯事件類別置入其中。

於一實施例中，當步驟S11執行時，復包括預留多個空事件類別以及該各種電梯事件類別與該多個空事件類別所相對應之索引影像檔案目錄。 前述預留多個空事件類別的目的是為了未來有新的事件類別時可使用，故本發明有利於事後擴編，另外，還會再建立多個空事件類別時，產生與該多個空事件類別所相對應之索引影像檔案目錄。

如此，於取得新事件之影像樣本時，係置入於該預留多個空事件類別之其中一者的索引影像檔案目錄中並設定為該新事件之電梯事件類別。也就是說，新事件之影像樣本可置入預留的空事件類別以及其對應的索引影像檔案目錄。

於步驟S14，由各式電梯內取得該各種電梯事件類別之影像樣本，透過一影像分類訓練程式模組利用該各種電梯事件類別之影像樣本對未經訓練之該電梯事件偵測模型執行參數訓練，以取得初始電梯事件偵測模型。本步驟為對未經訓練之電梯事件偵測模型進行參數訓練，而用於訓練的素材則是各種電梯事件類別之影像樣本，藉此產生經過訓練的初始電梯事件偵測模型。

於一實施例中，若影像分類器為卷積類神經網路(CNN)影像分類器時，則該影像分類訓練程式模組則為卷積類神經網路影像分類訓練程式模組。

於步驟S15，持續對該初始電梯事件偵測模型做強化學習及/或新事件學習。本步驟係說明可對初始電梯事件偵測模型做強化學習及/或新事件學習，所謂的強化學習是當有模型有誤判情況，則透過校正來提升初始電梯事件偵測模型的精確度，校正方式可例如將誤判的內容歸入正確的分類中，進而讓初始電梯事件偵測模型可再次訓練，而新事件學習係指出現非一開始預設的電梯事件類別，同樣地，可透過影像樣本執行參數訓練，待訓練後即可用於判斷新加入的電梯事件類別。

上述係說明電梯事件偵測模型的產生方式，後續即可讓電梯事件偵測模型進行分類偵測，其中，當初始電梯事件偵測模型執行電梯事件影像偵測時，係由一影像分類偵測程式模組透過該初始電梯事件偵測模型以對電梯內影像執行事件類別的辨識偵測，俾輸出經分類的事件類別影像，也就是說，取得電梯內的影像，接著將影像輸入至初始電梯事件偵測模型來進行分類偵測，正常情況下，可將該影像判斷為某一個電梯事件類別。

於一實施例中，若影像分類器為卷積類神經網路(CNN)影像分類器時，則該影像分類偵測程式模組可為卷積類神經網路影像分類偵測程式模組。

惟若分類偵測判斷錯誤時，則可針對錯誤情況進行電梯事件偵測模型的更新，以使電梯事件偵測模型判斷更精確且能辨識出各種影像。詳言之，於該經分類的事件類別影像為不符合事件偵測結果之電梯影像時，將該不符合事件偵測結果之電梯影像歸入正確的電梯事件類別之影像樣本，以供該影像分類訓練程式模組再次利用該初始電梯事件偵測模型配合更新後的各種電梯事件類別之影像樣本進行更新訓練。由上可知，當發現分類錯誤時，可透過該影像歸入正確的電梯事件類別中，也就是成為正確的電梯事件類別之影像樣本，接著可如同前述模型訓練一樣，使該初始電梯事件偵測模型利用更新後的各種電梯事件類別之影像樣本進行更新訓練，如此日後該初始電梯事件偵測模型對於此類影像即可正確判斷。

綜上可知，本發明係一種用於智慧電梯系統的人工智慧(AI)影像偵測辨識方法，可利用一卷積類神經網路(CNN)影像分類器，對電梯內全影像事件做持續的深度分類辨識學習，使其能更有效及精準的偵測辨識電梯內之影像事件，具體來說，我們以卷積類神經網路(CNN)分類器，直接對特定電梯內全影像做事件分類辨識，並持續監看截取特定電梯內對各事件判定有異之影像做為影像事件強化訓練樣本，使其能與時俱進，更精準的偵測辨識特定電梯內之影像事件。另外，本發明在應用CNN影像分類器時，輸出類別可先預留多個空事件類別，待日後需要時，將空的事件類設作為特有新的事件類別，並加入新的特有事件影像訓練樣本，繼續做新事件的分類訓練學習，使其後CNN影像分類器亦能額外分類辨識出特有新加入之事件影像，如此便可彈性加入額外特有事件之偵測功能。

本發明係為一種以CNN影像分類器來偵測電梯內影像事件的方法，其中的分類訓練與分類偵測的實施方式請參考第2圖及第3圖，其中，第2圖為本發明實施CNN影像分類訓練的方法，第3圖為本發明實施CNN影像分類偵測的方法。

如第2圖所示，先構建一未經影像樣本訓練的電梯事件CNN模型101，然後使用一CNN影像分類訓練程式模組102，選用經正確分類放置之各事件類別的影像訓練樣本201，對該未經影像樣本訓練的電梯事件CNN模型101(即電梯事件偵測模型)做參數訓練，藉以取得經影像樣本訓練的電梯事件CNN模型104。由此可知，分類訓練主要是將未經訓練的電梯事件CNN模型101透過各事件類別的影像訓練樣本201進行訓練，藉此得到經影像樣本訓練的電梯事件CNN模型104。

如第3圖所示，使用CNN影像分類偵測程式模組103選用經影像樣本訓練的電梯事件CNN模型104，接著對電梯內影像105做事件類別的辨識偵測，並輸出經分類的事件類別影像106。由此可知，分類偵測主要是將電梯內影像105，利用經影像樣本訓練的電梯事件CNN模型104進行影像偵測，藉以得到經分類的事件類別影像106。

第4圖為本發明實施電梯事件CNN模型的產生及更新方法的流程圖，係說明本發明以CNN影像分類器來偵測電梯內影像事件，請一併參考第2和3圖，其中，電梯事件CNN模型的產生及更新方法的實施流程如圖所示。

於流程401中，規劃電梯事件類別。本流程係先規劃出欲偵測電梯內影像事件的各類別，例如可規劃類別為：1.滿載；2.未滿載有人；3.無人無物；4.無人有物(遺留物)；5.人員傾倒告警；6.火焰煙霧告警；7.人員騷亂告警及8.危險物告警等等的影像事件類別。

於流程402中，選用CNN影像分類器。本流程係依據應用考量，選用一個CNN影像分類器，例如AlexNet模型、LeNet模型、VGG模型、GoogLeNet模型、ResNet模型、Inception模型、MobileNet模型，或是前述模型的變種，又或是自行建構之CNN影像分類器等等，藉此供後續用來構建未經影像樣本訓練的電梯事件CNN模型101。

於流程403中，構建具多個空事件類別的電梯事件CNN模型。本流程係以流程402所選CNN影像分類器，置入流程401所規劃之事件類別，並且另加上預留多個空事件類別，以及加上所有相對應類別之索引影像檔案目錄，藉以構建未經影像樣本訓練的電梯事件CNN模型101。

於流程404中，取得初始電梯事件CNN模型。本流程係在一般各式電梯內攝取流程401所規劃各事件類別的影像樣本，接著，歸入各事件類別索引影像檔案目錄中，供CNN影像分類訓練程式模組102選用流程403所構建之未經影像樣本訓練的電梯事件CNN模型101以進行參數訓練，並據之取得初始電梯事件CNN模型，亦即經影像樣本訓練的電梯事件CNN模型104。

於流程405中，以指定電梯影像做強化訓練。本流程係以CNN 影像分類偵測程式模組103選取流程404所生成之初始的經影像樣本訓練的電梯事件CNN模型104，以直接對指定電梯內全影像做事件偵測，若經比對，例如人員事後檢視，經分類的事件類別影像106有不符事件偵測結果之電梯影像時，即可選取該影像歸入正確的各事件類別的影像訓練樣本201中，並以CNN影像分類訓練程式模組102選用初始的經影像樣本訓練的電梯事件CNN模型104並且配合更新後的各事件類別的影像訓練樣本201以再次進行參數更新訓練，如此以精進提高該經影像樣本訓練的電梯事件CNN模型104的辨識準確度。

於流程406中，擴增新事件偵測類別。於本流程中，若需擴充經影像樣本訓練的電梯事件CNN模型104對新事件的偵測能力時，可另取得新事件影像樣本，置入於流程403中構建該經影像樣本訓練的電梯事件CNN模型104所先預留的空事件類別索引影像檔案目錄中，設定該新類別，以CNN影像分類訓練程式模組102繼續對該經影像樣本訓練的電梯事件CNN模型104的參數做更新訓練，以便令更新訓練後的電梯事件CNN模型具該新事件的偵測能力。

於流程407中，繼續對電梯事件CNN模型做強化學習及新事件學習。於本流程中，若以CNN影像分類偵測程式模組103使用目前經影像樣本訓練的電梯事件CNN模型104對指定電梯內全影像做事件偵測後，經後續人員比對，仍發現經分類的事件類別影像106有不符事件偵測結果之電梯影像時，即可繼續選取該影像歸入正確的各事件類別的影像訓練樣本201中，並再次以CNN影像分類訓練程式模組102選用該經影像樣本訓練的電梯事件CNN模型104配合更新後的各事件類別的影像訓練樣本201，以繼續進行參數更新訓練，藉此持續精進提高該經影像樣本訓練的電梯事件CNN模型104的辨識準確度。同樣地，日後若仍需另擴充該經影像樣本訓練的電梯事件CNN模型104對額外新事件的 偵測能力時，可再另取得新事件影像樣本，置入仍未被佔用的空事件類別索引影像檔案目錄中，設定該新類別，繼續對目前的電梯事件CNN模型的參數做更新訓練，便可令更新訓練後的經影像樣本訓練的電梯事件CNN模型104具該新事件的偵測能力。

綜上所述，本發明所述之電梯事件偵測模型之產生與更新方法，與其他習用技術相互比較時，更具備下列幾項優點。

1.本發明利用全影像分類辨識方式來偵測電梯內影像事件，除可避免使用傳統物件影像偵測辨識技術時，需對各物件做複雜的物件偵測辨識訓練外，在偵測電梯是否滿載時亦不需依已知電梯內部尺寸對物件做複雜的空間尺寸校正，才能正確估算電梯是否滿載。

2.本發明利用持續強化訓練來對特定電梯背景內之事件影像做精進的事件分類辨識，可避免使用傳統物件影像偵測辨識技術時，在大部份電梯內有鏡子，因反射光滑牆面及各式廣告圖片所導致之誤辨，或是因電梯內場景常因廣告圖樣變更及更新裝潢所導致之誤辨，亦可因強化學習而改善。

3.本發明在應用CNN影像分類器時，輸出類別特別預留多個空事件類別，在日後需要擴充新的特有影像事件偵測時，便可將空的事件類別設為特有新的事件類別，在加入新的特有事件影像訓練樣本，繼續做新事件的分類辨識訓練學習，使其後CNN影像分類器亦能額外分類辨識出特有新加入之事件影像，提供額外特有事件之偵測功能。

上列詳細說明乃針對本發明之一可行實施例進行具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

S11~S15:步驟

Claims (8)

1. 一種電梯事件偵測模型之產生與更新方法，係包括以下步驟：預先設定各種電梯事件類別；提供一影像分類器；將該各種電梯事件類別置入該影像分類器，以構建具有複數個空事件類別之電梯事件偵測模型；由各式電梯內取得該各種電梯事件類別之影像樣本，透過一影像分類訓練程式模組利用該各種電梯事件類別之影像樣本對未經訓練之該電梯事件偵測模型執行參數訓練，以取得初始電梯事件偵測模型；以及持續對該初始電梯事件偵測模型做強化學習及新事件學習，其中，該初始電梯事件偵測模型於執行電梯事件影像偵測時，在經分類的事件類別影像為不符合事件偵測結果之電梯影像下，將該不符合事件偵測結果之電梯影像歸入正確的電梯事件類別之影像樣本，以供該影像分類訓練程式模組再次利用該初始電梯事件偵測模型配合更新後的各種電梯事件類別之影像樣本進行更新訓練。
2. 如申請專利範圍第1項所述之電梯事件偵測模型之產生與更新方法，其中，該預先設定各種電梯事件類別之步驟中，係包括預留多個空事件類別以及該多個空事件類別所相對應之索引影像檔案目錄。
3. 如申請專利範圍第2項所述之電梯事件偵測模型之產生與更新方法，其中，於取得新事件之影像樣本時，係置入於該預留多個空事件類別之其中一者的索引影像檔案目錄中並設定為該新事件之電梯事件類別。
4. 如申請專利範圍第1項所述之電梯事件偵測模型之產生與更新方法，其中，該影像分類器為卷積類神經網路(CNN)影像分類器，以及該影像分類訓練程式模組為卷積類神經網路影像分類訓練程式模組。
5. 如申請專利範圍第4項所述之電梯事件偵測模型之產生與更新方法，其中，該卷積類神經網路(CNN)影像分類器為AlexNet模型、LeNet模型、VGG模型、GoogLeNet模型、ResNet模型、Inception模型、MobileNet模型或上述模型之變種或自行建構之CNN影像分類器的其中一者。
6. 如申請專利範圍第1項所述之電梯事件偵測模型之產生與更新方法，其中，該初始電梯事件偵測模型於執行電梯事件影像偵測時，係由一影像分類偵測程式模組透過該初始電梯事件偵測模型以對電梯內影像執行事件類別的辨識偵測，俾輸出該經分類的事件類別影像。
7. 如申請專利範圍第6項所述之電梯事件偵測模型之產生與更新方法，其中，該影像分類偵測程式模組為卷積類神經網路影像分類偵測程式模組。
8. 如申請專利範圍第1項所述之電梯事件偵測模型之產生與更新方法，其中，該各種電梯事件類別係包括滿載、未滿載有人、無人無物、無人有物、人員傾倒告警、火焰煙霧告警、人員騷亂告警以及危險物告警。

Images