TWI564820B - 影像辨識與監控系統及其實施方法 - Google Patents

Description

影像辨識與監控系統及其實施方法

一種藉由雲端與本地端伺服器之搭配，並透過深度學習(Deep Learning)技術，以使攝像裝置可準確地進行影像辨識的影像辨識與監控系統及其實施方法。

透過監控攝影機的運用，來對特定區域進行安全管控的情況已是日常所見，人們仰賴監控攝影機來達到許多監控的目的，舉凡馬路口、巷弄間、騎樓下、大樓內等，皆可看到監控攝影機的蹤影。隨著許多技術(如微處理器、影像辨識與分析，以及網際網路等技術)的演進，讓智慧監控已成為未來發展趨勢之一，智慧監控使得監控攝影機不再僅能進行影像資訊的擷取與儲存，更能對影像資訊內的物件與特徵進行辨識，如車牌辨識便是常見的實施案例，然而，因監控攝影機內所儲存之用以辨識影像的機制已為固定，故當出現原來之辨識機制無法辨識的影像，則監控攝影機將失去辨識能力，造成有效辨識度不足的問題，雖 可藉由人為操作對監控攝影機的辨識機制進行更新，然而，當監控攝影機達一定數量時(如整個工廠廠區可能佈設有百隻，甚至上千隻監控攝影機)，逐一更新是個相當耗時的程序，是以，如中華民國新型專利公告案第M491214號「辨識模組」一案，有發明人揭露一種包括有一伺服器主機與一本地主機所構成的辨識模組，當本地主機的一本地擷取裝置擷取一影像後，本地主機的一本地辨識裝置會對影像提取特徵，一本地資料裝置再依據所提取之特徵進行分類辨別，以辨識出影像為何種物件，而當本地資料裝置無法辨識時，則將影像轉為影像資訊並給伺服器主機的一伺服器模型裝置進行分類辨別，辨別結果將由伺服器主機回傳至本地主機，以令本地資料裝置進行模型資訊的新增，如此，將可不須介入大量人為過程，即藉由機械學習(Machine Learning)之效果，便能增加本地主機之本地擷取裝置的影像辨識能力。

惟，由上述所揭之習知技術可知，習知之辨識模組係將伺服辨識裝置進行影像資訊之特徵辨識，與伺服模型裝置進行影像資訊之分類辨別的兩個動作，同時經由單一的伺服器主機來執行，是以，當監控攝影機(即本地主機的本地擷取裝置)數量達一定數量，且多數的監控攝影機同時出現無法辨識影像的情況時，將會對伺服器主機形成負擔，進而降低運行效率，並且，由於目前網路速度的限制，資料在本機攝影機與遠端伺服器之間的傳輸會有延遲，此 方法並無法實現本地攝影機的即時(Real-time)辨識。

有鑑於上述的問題，本發明人係依據多年來從事相關行業及產品設計的經驗，針對現有的系統架構進行研究及分析，期能設計出較佳的影像辨識與監控系統；緣此，本發明之主要目的在於提供一種於藉由雲端與本地端伺服器的搭配，有效地進行辨識模型建構與類別辨識機制佈建，以使攝像裝置能準確地完成影像辨識的影像辨識與監控系統及其實施方法。

為達成上述的目的，本發明之影像辨識與監控系統，係包括有至少一攝像裝置、一雲端伺服器與一本地端伺服器，而影像辨識與監控系統的實施方法，為攝像裝置擷取一影像資訊後，將依據一類別辨識機制對其進行辨識，又，影像資訊將被傳輸至雲端伺服器，並對影像資訊進行解析以獲得複數個圖像資訊，並對複數個圖像資訊進行選擇，又，再對經選擇之圖像資訊內的至少一物件進行標記，再者，本地端伺服器將根據標記後的圖像資訊，進行一辨識模型的建構，並生成一更新類別辨識機制，更新類別辨識機制被傳輸至雲端伺服器，並佈建至攝像裝置，以供攝像裝置依據更新類別辨識機制，對影像資訊進行即時地辨識。

為使 貴審查委員得以清楚了解本發明之目的、技術特徵及其實施後之功效，茲以下列說明搭配圖示進行說明，敬請參閱。

10‧‧‧影像辨識與監控系統

101‧‧‧攝像裝置

102‧‧‧雲端伺服器

1011‧‧‧微處理模組

1021‧‧‧圖像分析與選擇模組

1012‧‧‧儲存模組

1022‧‧‧物件標記模組

1013‧‧‧影像擷取模組

1023‧‧‧辨識機制佈建模組

1014‧‧‧影像辨識模組

1024‧‧‧資料庫

1015‧‧‧攝像端傳輸模組

103‧‧‧本地端伺服器

1031‧‧‧本地端傳輸模組

1032‧‧‧辨識模型建構模組

A1‧‧‧圖像資訊

A2‧‧‧圖像資訊

A3‧‧‧圖像資訊

A4‧‧‧圖像資訊

B1‧‧‧圖像資訊

C1‧‧‧圖像資訊

D1‧‧‧圖像資訊

S10‧‧‧影像辨識與監控系統的實施方法

S101‧‧‧影像擷取步驟

S102‧‧‧圖像分析與選擇步驟

S103‧‧‧物件標記步驟

S104‧‧‧辨識模型建構步驟

S105‧‧‧辨識機制佈建步驟

第1圖，為本發明之系統架構示意圖。

第2圖，為本發明之攝像裝置的架構示意圖。

第3A圖，為本發明之圖像分析與選擇的實施示意圖(一)。

第3B圖，為本發明之圖像分析與選擇的實施示意圖(二)。

第4圖，為本發明之物件標記的實施示意圖。

第5圖，為本發明之實施步驟圖。

請參閱「第1圖」，圖中所示為本發明之系統架構示意圖，如圖，本發明所述之影像辨識與監控系統10包括有至少一個攝像裝置101、一雲端伺服器102及一本地端伺服器103，雲端伺服器102係分別與攝像裝置101及本地端伺服器103形成資訊連結，再請搭配參閱「第2圖」，圖中所示為本發明之攝像裝置的架構示意圖，如圖，攝像裝置101具有一微處理器模組1011、並有一儲存模組1012、一影像擷取模組1013、一影像辨識模組1014及一攝像端傳輸模組1015與微處理器模組1011呈資訊連結，儲存模組1012係預先儲存有一類別辨識機制(Classifier)(圖中未示)，當影像擷取模 組1013擷取一影像資訊(圖中未示)後，影像辨識模組1014係可依據儲存模組1012內的類別辨識機制對影像資訊進行辨識，於較佳實施例下，攝像裝置101的攝像端傳輸模組1015係會將影像擷取模組1013所擷取的影像資訊傳輸至雲端伺服器102，具體言之，乃影像辨識模組1014依據類別辨識機制，持續不斷地對影像資訊進行辨識的同時，無論是否成功辨識，攝像端傳輸模組1015皆會將影像擷取模組1013所擷取的影像資訊傳輸至雲端伺服器102，再如「第1圖」所示，雲端伺服器102具有一圖像分析與選擇模組1021、一物件標記模組1022、一辨識機制佈建模組1012及一資料庫1024，又，圖像分析與選擇模組1021、物件標記模組1022及辨識機制佈建模組1012係分別與資料庫1024形成資訊連結，圖像分析與選擇模組1021可供對影像資訊進行複數個圖像資訊的解析與選擇，物件標記模組1022可供對經圖像分析與選擇模組1021所選擇之圖像資訊內的至少一物件進行標記(Labeling)，而經標記後的圖像資訊(即圖像+標記)將被儲存於資料庫1024，再者，本地端伺服器103具有一本地端傳輸模組1031，以及與本地端傳輸模組1031呈資訊連結的一辨識模型建構模組1032，本地端傳輸模組1031可供將複數個標記後的圖像資訊傳輸至本地端伺服器103，以供辨識模型建構模組1032進行一辨識模型的建構，其中，所述之辨識模型的建構，較佳實施例下，如可為深度卷積神經網絡(Deep convolutional neural network)，然，其他可供以進行深度學習(Deep learning)的模型，如深度信念 網絡(Deep belief networks)或遞迴類神經網路(Recurrent neural network)，亦可為本發明的實施態樣，並不以此為限，且深度卷積神經網絡之辨識模型的建構方式乃為一習知技術，本案將不再贅述，另，辨識模型建構模組1032完成辨識模型建構後，將生成一更新類別辨識機制(Updated classifier或稱New classifier)(圖中未示)，並經由本地端傳輸模組1031傳輸至雲端伺服器102，雲端伺服器102的辨識機制佈建模組1012可供將更新類別辨識機制佈建(Deploy)於至少一個攝像裝置101，是以，攝像裝置101將會依據更新類別辨識機制進行即時地影像辨識與監控。

承上，並請搭配參閱「第3A圖」及「第3B圖」，圖中所示為本發明之圖像分析與選擇的實施示意圖(一)~(二)，如圖，當圖像分析與選擇模組1021對影像資訊進行複數個圖像資訊的解析後，為避免辨識模型建構模組1032於辨識模型的建構中，產生過度擬合(Overfitting)現象，即建構辨識模型所需的圖像資訊太過單一，進而使辨識模型僅能針對特定圖訊資訊進行分析與學習，造成更新類別辨識機制仍無法作為攝像裝置101的依據，準確地作影像辨識，本發明之圖像分析與選擇模組1021係會依據一變異性準則(圖中未示)，對經解析影像資訊而得的複數個圖像資訊進行選擇(Image selection)，如第3A圖所示，圖像資訊A1、圖像資訊A2、圖像資訊A3及圖像資訊A4內的特徵並無多大差異，換言之，其變異性相當低(Low variance)，故圖 像分析與選擇模組1021將僅會選擇一個圖像資訊，如圖像資訊A2，而圖像資訊B1、圖像資訊C1及圖像資訊D1，不管是相互比較，或與圖像資訊A2比較而言，圖像資訊內的特徵差異皆相當大，換言之，其變異性相當高(High variance)，故除圖像資訊A2外，圖像資訊B1、圖像資訊C1及圖像資訊D1亦會被圖像分析與選擇模組1021所選擇，更具體言之，本案所述之圖像分析與選擇模組1021將會依據變異性準則，選擇高變異性的複數個圖像資訊，以作為辨識模型建構模組1032進行辨識模型之建構的使用。

承上，並再請搭配參閱「第4圖」，圖中所示為本發明之物件標記的實施示意圖，如圖，當圖像分析與選擇模組1021完成複數個圖像資訊的選擇後，物件標記模組1022將對圖像資訊的至少一物件進行標記，如物件標記模組1022於圖像資訊A2內標記有「樹」與「人」，於圖像資訊B1內標記有「車」，其中，物件標記模組1022可透過人工進行標記，但不以此為限。

請參閱「第5圖」，圖中所示為本發明之實施步驟圖，並請搭配參閱「第1圖」及「第2圖」，如圖，本發明所述之影像辨識與監控系統的實施方法S10，包括有以下步驟：一影像擷取步驟S101：一攝像裝置101的一影像擷取模組1013進行一影像資訊的擷取，影像資訊將經攝像裝置101 的一攝像端傳輸模組1015傳輸至一雲端伺服器102，其中，攝像裝置的一影像辨識模組1014，此時亦會依據預先儲存於一儲存模組1012的一類別辨識機制對影像資訊進行辨識；一圖像分析與選擇步驟S102：影像資訊傳輸至雲端伺服器102後，雲端伺服器102的一圖像分析與選擇模組1021對影像資訊進行複數個圖像資訊的解析，又，再依據一變異性準則，選擇高變異性的複數個圖像資訊；一物件標記步驟S103：經選擇的圖像資訊，雲端伺服器102的一物件標記模組1022將對該圖像資訊的至少一物件進行標記，如人工標記之方式，又，完成標記後的圖像資訊將被儲存於雲端伺服器102的一資料庫1024；一辨識模型建構步驟S104：一本地端伺服器103的一本地端傳輸模組1031資訊連結至雲端伺服器102，並於資料庫1024取得標記後的圖像資訊，本地端伺服器103的一辨識模型建構模組1032，根據標記後的圖像資訊進行一辨識模型的建構，並生成一更新類別辨識機制，其中，所述之辨識模型的建構，較佳實施例下，如可為深度卷積神經網絡，但不以此為限，又，更新類別辨識機制將被本地端傳輸模組1031傳輸至雲端伺服器102；一辨識機制佈建步驟S105：雲端伺服器102接收更新類別辨識機制後，雲端伺服器102的一辨識機制佈建模組1023將更新類別辨識機制佈建至攝像裝置101，以供攝像裝置101依據更新類別辨識機制，進行即時地影像資訊的辨識， 以達成安全監控。

由上所述可知，本發明之影像辨識與監控系統，係包括有至少一攝像裝置、一雲端伺服器與一本地端伺服器，攝像裝置係具有預先儲存有一類別辨識機制的一儲存模組、一影像擷取模組、一影像辨識模組及一攝像端傳輸模組，又，雲端伺服器具有一圖像分析與選擇模組、一物件標記模組及一辨識機制佈建模組，再者，本地端伺服器具有一本地端傳輸模組及一辨識模型建構模組，而本發明所述之影像辨識與監控系統的實施方法，係攝像裝置的影像擷取模組擷取一影像資訊後，影像辨識模組將可依據類別辨識機制對其進行辨識，又，影像資訊將被攝像端傳輸模組傳輸至雲端伺服器，圖像分析與選擇模組將對影像資訊進行解析以獲得複數個圖像資訊，並依據一變異性準則，對複數個圖像資訊進行選擇，物件標記模組將對經選擇之圖像資訊內的至少一物件進行標記，再者，雲端伺服器將標記後的圖像資訊傳輸至本地端伺服器後，辨識模型建構模組將根據標記後的圖像資訊，進行一辨識模型的建構，並生成一更新類別辨識機制，更新類別辨識機制將再透過本地端傳輸模組傳輸至雲端伺服器，並藉由辨識機制佈建模組將更新類別辨識機制佈建至至少一個攝像裝置，如此，攝像裝置將可依據更新類別辨識機制，對影像資訊進行即時地辨識，以達成安全監控；是以，本發明據以實施後，確實可達到提供一種於藉由雲端與本地端伺服器的 搭配，有效地進行辨識模型建構與類別辨識機制佈建，以使攝像裝置準確地完成影像辨識的影像辨識與監控系統及其實施方法。

唯，以上所述者，僅為本發明之較佳之實施例而已，並非用以限定本發明實施之範圍；任何熟習此技藝者，在不脫離本發明之精神與範圍下所作之均等變化與修飾，皆應涵蓋於本發明之專利範圍內。

綜上所述，本發明之功效，係具有發明之「產業可利用性」、「新穎性」與「進步性」等專利要件；申請人爰依專利法之規定，向 鈞局提起發明專利之申請。

10‧‧‧影像辨識與監控系統

101‧‧‧攝像裝置

102‧‧‧雲端伺服器

1021‧‧‧圖像分析與選擇模組

1022‧‧‧物件標記模組

1023‧‧‧辨識機制佈建模組

1024‧‧‧資料庫

103‧‧‧本地端伺服器

1031‧‧‧本地端傳輸模組

1032‧‧‧辨識模型建構模組

Claims (10)

1. 一種影像辨識與監控系統，可供辨識一影像資訊，包括有：一雲端伺服器，具有一圖像分析與選擇模組與一物件標記模組，該圖像分析與選擇模組對該影像資訊進行複數個圖像資訊的解析與選擇，該物件標記模組對該圖像資訊的至少一物件進行標記；一本地端伺服器，與該雲端伺服器呈資訊連結，該本地端伺服器具有一辨識模型建構模組，該辨識模型建構模組依據複數個標記後的該圖像資訊作一辨識模型的建構，並生成一更新類別辨識機制；以及至少一個攝像裝置，與該雲端伺服器呈資訊連結，該攝像裝置具有一微處理模組，並有一影像擷取模組、一影像辨識模組及一攝像端傳輸模組分別與該微處理模組呈資訊連結，該影像擷取模組進行該影像資訊的擷取，該影像辨識模組依據該更新類別辨識機制對該影像資訊作辨識，該攝像端傳輸模組將該影像資訊傳輸至該雲端伺服器。
2. 如申請專利範圍第1項所述之影像辨識與監控系統，其中，該雲端伺服器具有一資料庫，該資料庫儲存複數個該影像資訊、該圖像資訊，以及標記後的該圖像資訊。
3. 如申請專利範圍第1項所述之影像辨識與監控系統，其中，該本地端伺服器具有一本地端傳輸模組，該本地端傳輸模組與該辨識模型建構模組呈資訊連結，複數個標記後的該圖像資訊經該本地端傳輸模組傳輸至該本地端伺服器，該類別辨識機制經該本地端傳輸模組傳輸至該雲端伺服器。
4. 如申請專利範圍第3項所述之影像辨識與監控系統，其中，該雲端伺服器具有一辨識機制佈建模組，該辨識機制佈建模組將該更新類別辨識機制 佈建於至少一個該攝像裝置。
5. 如申請專利範圍第4項所述之影像辨識與監控系統，其中，該攝像裝置具有一儲存模組，與該微處理模組呈資訊連結，該儲存模組預先儲存有一類別辨識機制，供該攝像裝置的該影像辨識模組依據該類別辨識機制對該影像資訊進行辨識。
6. 如申請專利範圍第5項所述之影像辨識與監控系統，其中，當辨識機制佈建模組佈建該更新類別辨識機制至至少一個該攝像裝置，該儲存模組的該類別辨識機制被該更新類別辨識機制取代。
7. 一種影像辨識與監控系統的實施方法，包括有以下步驟：一圖像分析與選擇步驟：一雲端伺服器的一圖像分析與選擇模組對一影像資訊進行複數個圖像資訊的解析，並依據一變異性準則，選擇具有高度變異性的複數個該圖像資訊；一物件標記步驟：完成複數個該圖像資訊的選擇後，該雲端伺服器的一物件標記模組對該圖像資訊的至少一物件進行標記，並將標記後的該圖像資訊儲存於該雲端伺服器的一資料庫；一辨識模型建構步驟：一本地端伺服器的一本地端傳輸模組資訊連結至該雲端伺服器，於該資料庫取得標記後的該圖像資訊，該本地端伺服器的一辨識模型建構模組，依據標記後的該圖像資訊建構一辨識模型，並生成一更新類別辨識機制，該更新類別辨識機制經該本地端傳輸模組傳輸至該雲端伺服器；一辨識機制佈建步驟：該雲端伺服器接收該更新類別辨識機制後，該雲端伺服器的一辨識機制佈建模組將該更新類別辨識機制佈建至至少 一個攝像裝置，以供該攝像裝置依據該更新類別辨識機制進行該影像資訊的辨識。
8. 如申請專利範圍第7項所述之影像辨識與監控系統的實施方法，其中，該圖像分析與選擇步驟之前，再包括有以下步驟：一影像擷取步驟：該攝像裝置的一影像擷取模組進行該影像資訊的擷取，該影像資訊經該攝像裝置的一攝像端傳輸模組傳輸至該雲端伺服器。
9. 如申請專利範圍第8項所述之影像辨識與監控系統的實施方法，其中，該攝像裝置的該影像擷取模組擷取該影像資訊後，該攝像裝置的一影像辨識模組，依據預先儲存於一儲存模組的一類別辨識機制，進行該影像資訊的辨識。
10. 如申請專利範圍第9項所述之影像辨識與監控系統的實施方法，其中，該辨識機制佈建模組完成該更新類別辨識機制的佈建後，該儲存模組的該類別辨識機制將被該更新類別辨識機制所取代，該攝像裝置的該影像辨識模組將依據該更新類別辨識機制，進行該影像資訊的辨識。