TWI741429B

TWI741429B - 用於提高精準度的影像分析方法及其相關影像監控設備

Info

Publication number: TWI741429B
Application number: TW108144238A
Authority: TW
Inventors: 吳仁智
Original assignee: 晶睿通訊股份有限公司
Priority date: 2019-12-04
Filing date: 2019-12-04
Publication date: 2021-10-01
Also published as: TW202123674A; US11538190B2; US20210174546A1

Abstract

一種用於提高精準度的影像分析方法，應用於影像監控設備之處理器。該影像分析方法包含有接收來自外部電子單元的統計資料，利用特定演算法將該統計資料轉換出反饋資料，以及依照該反饋資料生成控制參數。該控制參數用來優化該影像監控設備輸出之影像資料。

Description

用於提高精準度的影像分析方法及其相關影像監控設備

本發明係提供一種影像分析方法與影像監控設備，尤指一種用於提高精準度的影像分析方法及其相關影像監控設備。

傳統影像分析技術的影像訊號處理器接收影像感測器的輸出資料後，會產生統計資料傳送給中央處理器或圖形處理器的自動校正模組，分析及取得多筆控制參數。控制參數會回傳給影像感測器和影像訊號處理器，由影像訊號處理器輸出多筆影像資料，分別作為播放在顯示單元的影像串流以及提供系統進行影像內容分析。傳統影像分析技術的自動校正模組僅根據影像訊號處理器的統計資料來產生控制參數，因此控制參數難以正確反映出影像監控設備的所在環境。例如：影像監控設備處於明亮環境時，影像訊號處理器可能誤判控制參數而輸出整體亮度偏低的影像資料，當場景改變時，傳統的影像分析技術無法即時且精準的根據場景變化自適應地改善影像的品質，也就無法提供最佳化的影像。

本發明係提供一種用於提高精準度的影像分析方法及其相關影像監控設備，以解決上述之問題。

本發明係揭露一種用於提高精準度的影像分析方法，應用於影像監控設備之第一處理器。該影像分析方法包含有接收來自外部電子單元的統計資料，利用特定演算法將該統計資料轉換出反饋資料，以及依照該反饋資料生成控制參數。該控制參數用來優化該影像監控設備輸出之影像資料。

本發明另揭露一種用於提高精準度的影像分析方法，應用於影像監控設備之第一處理器。該影像分析方法包含有接收來自外部電子單元的統計資料，利用特定演算法依據該統計資料與預設條件生成第一控制參數和第二控制參數，以及取得以該第一控制參數生成之第一影像資料並播放於顯示單元，且另取得以該第二控制參數生成之第二影像資料並進行影像內容分析。

本發明另揭露一種用於提高影像分析精準度的影像監控設備，其包含有第一處理器，電連接於提供統計資料之外部電子單元。該第一處理器用來接收來自外部電子單元的統計資料，利用特定演算法將該統計資料轉換出反饋資料，以及依照該反饋資料生成控制參數。該控制參數用來優化該影像監控設備輸出之影像資料。

本發明另揭露一種用於提高影像分析精準度的影像監控設備，其包含有第一處理器，電連接於提供統計資料之外部電子單元。該第一處理器用來接收來自外部電子單元的統計資料，利用特定演算法依據該統計資料與預設條件生成第一控制參數和第二控制參數，以及取得以該第一控制參數生成之第一影像資料並播放於顯示單元，且另取得以該第二控制參數生成之第二影像資料並進行影像內容分析。

本發明之影像監控設備及其影像分析方法係利用特定演算法自動產生或以手動輸入方式提供反饋資料，特定演算法可包含但不限於自動校正功能和影像內容分析功能，讓影像感測器與影像訊號處理器在解析影像內容時能參考場景或光源等外在環境因素，針對不同需求提供不同的影像品質，既能有效提升影像分析的精準度、也能一併改善使用者觀看影像的可視性。前述四種實施例可以個別應用，也能交互搭配混用，其變化端視實際需求而定。

10:影像監控設備

12:第一處理器

14:第二處理器

16:影像感測器

S100、S102、S104、S106、S108、S110:步驟

S200、S202、S204、S206、S208、S210、S212:步驟

S300、S302、S304、S306、S308:步驟

S400、S402、S404、S406:步驟

第1圖為本發明實施例之影像監控設備之功能方塊圖。

第2圖為本發明第一實施例之影像分析功能之方塊圖。

第3圖為本發明第一實施例之影像分析方法之流程圖。

第4圖為本發明第二實施例之影像分析功能之方塊圖。

第5圖為本發明第二實施例之影像分析方法之流程圖。

第6圖為本發明第三實施例之影像分析功能之方塊圖。

第7圖為本發明第三實施例之影像分析方法之流程圖。

第8圖為本發明第四實施例之影像分析功能之方塊圖。

第9圖為本發明第四實施例之影像分析方法之流程圖。

請參閱第1圖，第1圖為本發明實施例之影像監控設備10之功能方塊圖。影像監控設備10可選擇性包含第一處理器12、第二處理器14以及影像感測器16。第二處理器14與影像感測器16相對於第一處理器12屬於其外部電子單元，可通過有線或無線方式連結在一起。第一處理器12可為中央處理器或圖形處理器，其係用來接收來自第二處理器14和/或影像感測器16的統計資料，據以執行具有高精準度的影像分析功能。第二處理器14則可為影像訊號處理器；該些處理器之實際應用並不限於前揭實施態樣，例如也可以是特殊應用積體電路(application-specific integrated circuit,ASIC)、現場可程式化邏輯閘陣列(field programmable gate array,FPGA)等。

請參閱第1圖至第3圖，第2圖為本發明第一實施例之影像分析功能之方塊圖，第3圖為本發明第一實施例之影像分析方法之流程圖。第3圖所述之影像分析方法可適用於第1圖所示之影像監控設備10。首先，影像分析方法執行步驟S100與S102，影像感測器16取得影像資料，並輸出給第二處理器14進行影像訊號處理。再來執行步驟S104，第一處理器12接收第二處理器14完成影像訊號處理後得到的統計資料。接著，執行步驟S106與S108，第一處理器12利用自動校正功能分析統計資料以產生控制參數，並且進一步對統計資料進行正規化處理以取得反饋資料，提供影像內容分析進行最佳化的調整。

控制參數可涵蓋、但不限於、自動曝光(auto exposure,AE)、增益(gain)、雜訊抑制(noise reduction,NR)或寬動態範圍(wide dynamic range,WDR)等參數。控制參數一般可傳送到第二處理器14和/或影像感測器16，用來調整其影像偵測及訊號處理的細節。第二處理器14可根據控制參數與影像感測器16之感測結果提供影像資料作為影像串流及進行影像內容分析。通常來說，影像串流係透過影像監控設備10的顯示單元(例如顯示螢幕，未繪製在圖中)進行播放，供使用者回放、預覽或即時觀看；影像內容分析則是由影像監控設備10對影像資料進行自動化分析。因此，自動校正功能分析統計資料後，會找出對影像內容分析有幫助的資訊，經正規化處理取得所需的反饋資料，應用於影像內容分析功能。

最後，執行步驟S110，第一處理器12的影像內容分析功能即利用反饋資料取得設定調整值作為影像分析的相關參數，並且利用影像分析的相關參數動態地調整影像內容分析功能之參數設定，以優化影像監控設備10輸出的影像資料，提升影像內容分析的準確度及效果。影像內容分析是由系統進行自動化影像分析，並非提供影像給使用者觀看，故影像資料之亮度、對比度、銳利度等參數可能與供使用者觀看的影像串流略有不同；本發明的影像分析方法即能根據此特點生成反饋資料以提高影像分析的精準度。即是，根據本發明之影像分析功能會自動調整影像的參數設定以產生最適合使用者觀看的影像串流供使用者觀看；亦可自動調整影像的參數成適合進行影像分析的參數，以產生最適合進行影像分析的影像資料，藉此得到最佳準確度的影像分析結果。舉例來說，第一實施例的自動校正功能分析統計資料取得的反饋資料可以是影像的平均亮度。影像內容分析功能收到反饋資料後，可根據反饋資料判斷影像監控設備10所在環境是屬於日間或夜間、室內或戶外，並相應地動態調整亮度偵測靈敏度(意即前揭之參數設定)，有效改善影像內容分析結果之精準度。

請參閱第1圖、第4圖與第5圖，第4圖為本發明第二實施例之影像分析功能之方塊圖，第5圖為本發明第二實施例之影像分析方法之流程圖。第5圖所述之影像分析方法可適用於第1圖所示之影像監控設備10。首先，影像分析方法執行步驟S200與S202，影像感測器16取得影像資料，並輸出給第二處理器14進行影像訊號處理。再來執行步驟S204，第一處理器12接收第二處理器14完成影像訊號處理後得到的統計資料。接著，執行步驟S206與S208，第一處理器12利用自動校正功能分析統計資料以產生控制參數，控制參數傳送給影像感測器16與第二處理器14，第二處理器14可根據控制參數與影像感測器16之感測結果提供影像資料作為影像串流及進行影像內容分析。

接下來，執行步驟S210與S212，第二處理器14提供統計資料進行影像內容分析，而影像內容分析功能分析完的資料可作為反饋資料，例如統計資料的元資料，提供給自動校正功能；自動校正功能則能利用元資料生成控制參數，進一步調整影像感測器16與第二處理器14，由第二處理器14提供更新後的影像資料作為影像串流及影像內容分析結果，意即調整影像資料之影像內容以達到優化目的。舉例來說，影像內容分析功能可進行人臉或人體偵測分析，並根據偵測結果調整影像資料內的感興趣區域的特定參數，例如權重或亮度，意即前揭的影像內容；如此一來，自動校正功能便能特別調整感興趣區域的控制參數，後續在進行人臉或人體偵測等影像內容分析時就能精準抓取到影像資料內的人臉或人體資訊。

請參閱第1圖、第6圖與第7圖，第6圖為本發明第三實施例之影像分析功能之方塊圖，第7圖為本發明第三實施例之影像分析方法之流程圖。第7圖所述之影像分析方法可適用於第1圖所示之影像監控設備10。首先，影像分析方法執行步驟S300與S302，影像感測器16取得影像資料，並輸出給第二處理器14進行影像訊號處理。再來執行步驟S304，第一處理器12接收第二處理器14完成影像訊號處理後得到的統計資料。接著，執行步驟S306與S308，第一處理器12利用自動校正功能分析統計資料以產生多組控制參數，第二處理器14和/或影像感測器16分別套用多組控制參數以生成對應的影像串流及進行影像內容分析。

舉例來說，自動校正功能可生成應用於影像串流的第一組控制參數、及應用於影像內容分析的第二組控制參數。影像串流係提供給使用者觀看，其亮度、對比度、銳利度等參數設定通常會使畫面較為柔和、顏色較為鮮明，以提供較佳觀看品質的影像為前提去決定控制參數，進行影像的調整後再經由後端的顯示單元播放；而影像內容分析係為系統自動分析，其亮度、對比度、銳利度等參數可依原始設定呈現、或調整成較適合進行影像內容分析的影像設定，以達到最佳化的影像分析效果。因此，第二處理器14與影像感測器16會套用第一組控制參數，提供影像資料作為影像串流，並會另套用第二組控制參數以提供影像資料用於影像內容分析。

第三實施例中，若影像監控設備10只有一個第二處理器14，第二處理器14可利用分時配量技術，在不同時間點分別套用多組控制參數，以對應地產生複數個影像資料。舉例來說，第二處理器14可隨著時間單位的變化，交錯套用多組控制參數以分別產生對應的複數個影像資料；或是可在某一時段套用第一組控制參數產生對應的影像資料供使用者觀看，再於另一時段套用第二組控制參數產生對應的影像資料供影像內容分析使用。若影像監控設備10具有多個第二處理器14，多個第二處理器14則可各自套用不同的控制參數，分別產生出對應其控制參數的影像資料。

另外，影像監控設備10通常只會有一個影像感測器16，故影像感測器16可將其取得之影像畫面進行分組，不同組別的影像畫面分別套用多組控制參數，即能產生複數組具有不同控制參數的影像資料。舉例來說，影像感測器16可以將影像畫面交錯地分別套用到第一組與第二組控制參數，意即奇數張影像畫面套用第一組控制參數、且偶數張影像畫面套用第二組控制參數；或者，影像感測器16可將連續的影像畫面以N張作為一個單位，N為大於等於2的正整數，不同組別的影像畫面分別套用第一組與第二組控制參數，亦符合本發明之設計目的。如此即可同時滿足使用者最佳視覺化影像觀看的效果以及最精準的影像內容分析成果。影像監控設備10也可有多個影像感測器16，分別套用不同的控制參數，以產出對應其控制參數的影像資料。

第三實施例的可能變化態樣中，步驟S306的自動校正功能可選擇性依據統計資料和預設條件來產生多組控制參數。預設條件可以是影像監控設備10自動產生的篩選條件，例如影像內容分析功能和/或自動校正功能轉換統計資料所得到的反饋資料；也可以是手動輸入的篩選條件，例如使用者觀察顯示單元的播放內容，直接劃設感興趣區域、或是調整感興趣區的尺寸或位置作為篩選條件。透過上述兩種方式篩選適合之統計資料以產生切合使用者需求的控制參數，藉此提升觀看影像的品質和/或影像分析內容的準確性。

請參閱第1圖、第8圖與第9圖，第8圖為本發明第四實施例之影像分析功能之方塊圖，第9圖為本發明第四實施例之影像分析方法之流程圖。第9圖所述之影像分析方法可適用於第1圖所示之影像監控設備10。首先，影像分析方法執行步驟S400與S402，影像感測器16輸出影像資料給第二處理器14進行影像訊號處理，第二處理器14進行影像訊號處理生成統計資料。接著，執行步驟S404與S406，影像分析方法可分析統計資料和/或影像感測器16的輸出資料生成控制參數，控制參數傳送給影像感測器16與第二處理器14，優化影像監控設備10輸出的影像資料，以生成影像串流及進行影像內容分析。

步驟S404中，影像分析方法係利用自動校正功能或神經網路學習功能分析統計資料與輸出資料。本發明各實施例所應用的自動校正功能可包含但不限於自動曝光功能、自動對焦功能以及自動白平衡功能...等，神經網路學習功能則具有單一級別或多級別的學習網路。單一級別的神經網路學習功能係直接依照影像監控設備10所輸出影像資料的用途進行分析，例如前揭實施態樣提到的影像資料可分為人眼觀看的影像串流與第一處理器12進行的影像內容分析。多級別的神經網路學習功能則會先針對影像資料進行特定分類，例如日間與夜間、戶外與室內的場景分類，不同場景會對應不同的參數設定，舉例說明：多級別的神經網路學習功能會先判斷當前場景執行分類後的場景類別，再進一步依據上一個級別的學習網路所判斷而得之場景類別其對應的用途，套用對應的參數設定，分別進行後續的影像分析，俾以取得更精準的影像分析結果。

第四實施例的可能變化態樣中，影像內容分析功能可選擇性地提供反饋資料給自動校正功能或神經網路學習功能；此時影像分析方法便會利用自動校正功能或神經網路學習功能，分析統計資料、影像感測器16的輸出資料、與反饋資料的至少其中之一或其組合來生成控制參數。舉例來說，當利用影像內容分析功能進行人臉或人體偵測分析時，若初始影像資料內的感興趣區域內未偵測到人臉或人體，則影像內容分析功能將不會產生反饋資料，影像分析方法只分析統計資料與影像感測器16的輸出資料生成控制參數；若後續影像資料內的感興趣區域內偵測到人臉或人體時，影像內容分析功能便會提供反饋資料(例如人的位置、尺寸等)給影像分析方法進行分析來生成更適合的控制參數，從而改善影像分析精準度。

綜上所述，本發明的影像監控設備及其影像分析方法係利用特定演算法自動產生或以手動輸入方式提供反饋資料，特定演算法可包含但不限於自動校正功能和影像內容分析功能，讓影像感測器與影像訊號處理器在解析影像內容時能參考場景或光源等外在環境因素，針對不同需求提供不同的影像品質，既能有效提升影像分析的精準度、也能一併改善使用者觀看影像的可視性。前述四種實施例可以個別應用，也能交互搭配混用，其變化端視實際需求而定，於此不再分別列舉說明。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

S100、S102、S104、S106、S108、S110:步驟

Claims

一種用於提高精準度的影像分析方法，應用於一影像監控設備之一第一處理器，該影像分析方法包含有：接收來自一外部電子單元的統計資料；利用一特定演算法將該統計資料轉換出一反饋資料；以及依照該反饋資料生成一控制參數，用來優化該影像監控設備輸出之一影像資料；其中該特定演算法係提供一自動校正功能，該自動校正功能對該統計資料進行正規化處理以取得該反饋資料，該第一處理器之一影像內容分析功能係利用該反饋資料取得一設定調整值作為該控制參數，該控制參數用來動態地調整該影像內容分析功能之一參數設定。
如請求項1所述之影像分析方法，其中該特定演算法係提供一影像內容分析功能，該影像內容分析功能依該統計資料生成之元資料作為該反饋資料，該第一處理器之一自動校正功能係利用該元資料生成該控制參數，用來調整該影像資料之一影像內容。
如請求項1所述之影像分析方法，其中該影像分析方法進一步生成多組控制參數，分別用來優化該影像監控設備輸出之複數個影像資料，該複數個影像資料係在該影像監控設備之一顯示單元播放、及提供給該影像監控設備進行影像內容分析。
如請求項3所述之影像分析方法，其中該外部電子單元為該影像監控設備之一第二處理器，該第二處理器利用分時配量技術在不同時間點分別套用該多組控制參數以對應地產生該複數個影像資料。
如請求項3所述之影像分析方法，其中該外部電子單元為該影像監控設備之多個第二處理器，分別套用該多組控制參數以產生該複數個影像資料。
如請求項3所述之影像分析方法，其中該外部電子單元為該影像監控設備之一影像感測器，該影像感測器將其取得之影像畫面進行分組並分別套用該多組控制參數以產生該複數個影像資料。
如請求項1所述之影像分析方法，其中該影像監控設備另具有一影像感測器，該影像分析方法係分析該統計資料、該反饋資料、及該影像感測器之輸出資料的至少其中之一以生成該控制參數。
如請求項7所述之影像分析方法，其中該影像分析方法係利用一自動校正功能或一神經網路學習功能分析該統計資料、反饋資料、及該影像感測器之該輸出資料。
如請求項8所述之影像分析方法，其中該神經網路學習功能具有單一級別或多級別的學習網路，該單一級別的學習網路依照該影像資料之用途進行影像分析，該多級別的學習網路先針對該影像資料進行場景分類、再依照分類結果之用途進行影像分析。
一種用於提高精準度的影像分析方法，應用於一影像監控設備之一第一處理器，該影像分析方法包含有：接收來自一外部電子單元的統計資料；利用一特定演算法將該統計資料轉換出一反饋資料；以及依照該反饋資料生成一控制參數，用來優化該影像監控設備輸出之一影像資料；其中該特定演算法係提供一影像內容分析功能，該影像內容分析功能依該統計資料生成之元資料作為該反饋資料，該第一處理器之一自動校正功能係利用該元資料生成該控制參數，用來調整該影像資料之一影像內容。
如請求項10所述之影像分析方法，其中該影像分析方法進一步生成多組控制參數，分別用來優化該影像監控設備輸出之複數個影像資料，該複數個影像資料係在該影像監控設備之一顯示單元播放、及提供給該影像監控設備進行影像內容分析。
如請求項11所述之影像分析方法，其中該外部電子單元為該影像監控設備之一第二處理器，該第二處理器利用分時配量技術在不同時間點分別套用該多組控制參數以對應地產生該複數個影像資料。
如請求項11所述之影像分析方法，其中該外部電子單元為該影像監控設備之多個第二處理器，分別套用該多組控制參數以產生該複數個影像資料。
如請求項11所述之影像分析方法，其中該外部電子單元為該影像監控設備之一影像感測器，該影像感測器將其取得之影像畫面進行分組並分別套用該多組控制參數以產生該複數個影像資料。
如請求項10所述之影像分析方法，其中該影像監控設備另具有一影像感測器，該影像分析方法係分析該統計資料、該反饋資料、及該影像感測器之輸出資料的至少其中之一以生成該控制參數。
如請求項15所述之影像分析方法，其中該影像分析方法係利用一自動校正功能或一神經網路學習功能分析該統計資料、反饋資料、及該影像感測器之該輸出資料。
如請求項16所述之影像分析方法，其中該神經網路學習功能具有單一級別或多級別的學習網路，該單一級別的學習網路依照該影像資料之用途進行影像分析，該多級別的學習網路先針對該影像資料進行場景分類、再依照分類結果之用途進行影像分析。
一種用於提高影像分析精準度的影像監控設備，其包含有：一第一處理器，電連接於提供統計資料之一外部電子單元，該第一處理器用來執行如請求項1至請求項17的任一項所述之影像分析方法。