TWI685247B - 影像處理方法及其相關的攝影裝置與攝影系統 - Google Patents

Abstract

一種影像處理方法，其係可應用於攝影裝置與攝影系統。該影像處理方法包含有將一視訊影片的每一張影像畫面劃分為多個單元區域，分別運算對應該多個單元區域的多個資料量，統計各個單元區域於該視訊影片之複數張影像畫面裡的總資料量，以及根據該總資料量以區別任一個單元區域和其它單元區域。

Description

影像處理方法及其相關的攝影裝置與攝影系統

本發明係提供一種影像處理方法及其相關的攝影裝置與攝影系統，尤指一種針對影像畫面之不同區域分別給予不同資料壓縮強度以達傳輸頻寬最佳利用化的影像處理方法及其相關的攝影裝置與攝影系統。

傳統的監控設備透過視覺運算技術分析影像畫面裡的區域比特數值，藉此區分出影像畫面的前景與背景；例如路邊人行道的畫面區域的比特數值偏低，會被定義為背景，行人移動的畫面區域的比特數值較高，則被定義成前景，一般來說，前景為重點關注區域故以低資料壓縮強度壓縮(資料量大、影像較清晰)、背景為非關注區域而以高資料壓縮強度壓縮(資料量小、影像較模糊)，如此既能保有重點關注區域的辨識精度，亦可減少傳輸影像畫面時所需的頻寬。然而，若是行道樹的樹葉受風吹拂而持續搖晃，該畫面區域的比特數值會顯著升高，而被傳統視覺運算技術解讀為前景，採用低資料壓縮強度進行壓縮(資料量大, 影像較清晰)，然實質上行道樹並非監控設備的重點觀察對象，故傳統監控設備用來區分重點關注區域和非關注區域而進一步降低傳輸影像畫面時之所需頻寬的效果不佳，且無法適用到多樣變化的場景中。由於傳統的作法必須耗費不必要的資料運算量去處理非關注區域(如同上述行道樹的樹葉受風吹拂的區域)的影像資料，相對地會造成無法降低傳輸頻寬及後端儲存的資料量並且浪費運算時間等缺點，因而無法滿足使用者的需求。若是以人工圈選方式選取影像畫面的前景與背景來解決上述的問題，使用者僅能透過目視觀看原始影像畫面的方式進行，並無法取得前景(重點關注區域)和背景(非關注區域)的影像相關資訊去輔助其進行判斷，也就無法直觀且快速的精準判斷出重點關注區域與非關注區域，故如何設計一種能有效自動辨識影像畫面裡前景(重點關注區域)及背景(非關注區域)、分別施予不同影像資料壓縮強度以節省資料傳輸頻寬的影像處理方法，即為相關監控產業的重點發展目標。

本發明係提供一種針對影像畫面之不同區域分別給予不同資料壓縮強度以達傳輸頻寬最佳利用化的影像處理方法及其相關的攝影裝置與攝影系統，以解決上述之問題。

本發明之申請專利範圍係揭露一種影像處理方法，其包含有將一視訊影片的每一張影像畫面劃分為多個單元區域，分別運算對應該多個單元區域的多個資料量，統計各個單元區域於該視訊影片之複數張影像畫面裡的總資料量，以及根據該總資料量以區別任一個單元區域和其它單元區域。

本發明之申請專利範圍另揭露一種攝影裝置，其包含有一影像擷取單元以及一運算處理單元。該影像擷取單元用來擷取涵蓋多張影像畫面的一視訊影片。該運算處理單元電連接於該影像擷取單元。該運算處理單元用來分析該視訊影片，並根據該多張影像畫面執行影像處理方法，據此將一視訊影片的每一張影像畫面劃分為多個單元區域，分別運算對應該多個單元區域的多個資料量，統計各個單元區域於該視訊影片之複數張影像畫面裡的總資料量，以及根據該總資料量以區別任一個單元區域和其它單元區域。

本發明之申請專利範圍另揭露一種攝影系統，其包含有一攝影裝置以及一中控主機。該攝影裝置用來擷取涵蓋多張影像畫面的一視訊影片。該中控主機遠端連結於該攝影裝置。該中控主機用來接收涵蓋該多張影像畫面的該視訊影片，並根據該多張影像畫面執行影像處理方法，據此將一視訊影片的每一張影像畫面劃分為多個單元區域，分別運算對應該多個單元區域的多個資料量，統計各個單元區域於該視訊影片之複數張影像畫面裡的總資料量，以及根據該總資料量以區別任一個單元區域和其它單元區域。

本發明之影像處理方法將每一張影像畫面劃分成多個單元區域，把視訊影片中複數張影像畫面在同一位置點的單元區域的資料量相加在一起。若各單元區域的總資料量超過門檻值，代表該單元區域的總資料量龐大，會占用較多的儲存空間及傳輸頻寬，屬於應該被施加高度資料壓縮率的影像範圍；相對應地，總資料量低於門檻值的單元區域代表其總資料量較小，相較之下所占用的儲存空間及傳輸頻寬亦較少，可以給予低度資料壓縮率進行影像資料的壓縮。因此，本發明係利用每一個單元區域的比特數值(或者任何可代表資料量的數值參數)判斷出影像畫面裡的欲施加不同資料壓縮率的區域範圍，由影像處理方法自動辨識畫面內容以進一步決定各單元區域的資料壓縮率，據此大幅節省攝影裝置或攝影系統的儲存空間與傳輸頻寬；或者，本發明另可在顯示螢幕上展示已經標記出對應於總資料量大小的部份單元區域之影像畫面，並以不同線條或顏色深淺表示不同的比特數值(或者任何可代表資料量的數值參數)，提供使用者目視觀察、讓使用者從該部份單元區域(被標記的總資料量超過門檻值之單元區域)自行選取一定範圍的非關注區域進行高資料壓縮強度的影像資料壓縮，達到既能維持重要區域之影像畫面的品質、又能將有效達成儲存空間及傳輸頻寬最佳利用化之目的。

請參閱第1圖至第3圖，第1圖為本發明實施例之攝影系統10的功能方塊圖，第2圖為本發明實施例之攝影裝置12的功能方塊圖，第3圖為本發明實施例之涵蓋多張影像畫面I之視訊影片V的示意圖。攝影系統10可包含攝影裝置12以及中控主機14，攝影裝置12用來擷取視訊影片V，中控主機14係利用遠端連結方式接收攝影裝置12取得的視訊影片V，以執行影像分析、拼接或播放等功能。由於視訊影片V的資料量龐大，攝影系統10或攝影裝置12可針對視訊影片V進行處理，在符合使用者需求的影片品質前提下盡可能壓縮影像資料，達到節省傳輸頻寬之目的。

如第1圖與第3圖所示，攝影裝置12取得視訊影片V後，中控主機14可透過有線傳輸或無線傳輸方式直接取得視訊影片V，執行本發明的影像處理技術判斷視訊影片V裡不同單元區域的比特數值(或者任何可代表資料量的數值參數)；然後將判斷結果回饋給攝影裝置12，讓攝影裝置12得以根據回饋參數對後續擷取的視訊影片V進行相應壓縮後再行輸出，不僅節省傳輸頻寬、節省後端的儲存空間，亦能有效降低攝影裝置12的運算負擔、加快處理速度。另外，如第2圖與第3圖所示，攝影裝置12可包含彼此電連接的影像擷取單元16以及運算處理單元18，影像擷取單元16用來擷取視訊影片V，運算處理單元18則在輸出視訊影片V前先執行本發明的影像處理技術，將視訊影片V的每一張影像畫面根據比特數值(或者任何可代表資料量的數值參數)定義出分具不同資料壓縮強度的多個單元區域，將使用者非關注且總資料量較大的單元區域進行高資料壓縮強度的影像資料壓縮處理，有效地減少影像資料量，可兼顧即時壓縮影像且節省傳輸頻寬的目的。

請參閱第4圖與第5圖，第4圖為本發明實施例之影像處理方法的流程圖，第5圖為本發明實施例之影像畫面I的示意圖。第4圖所述之影像處理方法適用於第1圖所示的攝影系統10與第2圖所示的攝影裝置12。攝影系統10與攝影裝置12主要係用來監控環境內的異常狀況，以影像辨識技術分析影像畫面I裡的像素點，自動判斷場景圖案較為密集或頻繁變動的區域是否屬於高度關注區域，例如人員走動、門窗開關等行為。然而在影像畫面I中，偶爾有背景物亦會符合場景圖案密集或頻繁變動的條件，如第5圖所示的排氣窗櫺A1與調節風扇A2，故本發明的影像處理方法係用來有效區別待監測物件和欲排除的背景，將待監測物件所涵蓋的畫面區域(意即前述的高度關注區域)以低資料壓縮率轉換(亦即有較佳的解析度，影像較為清晰，資料量較大)，將欲排除背景所涵蓋的畫面區域以高資料壓縮率轉換(亦即有較差的解析度，影像較為模糊，資料量較小)，在壓縮影像畫面I時亦能兼顧清晰的監控品質，可以將高度關注區域維持在高影像品質，而將其他使用者視為較不重要的區域之影像品質降低。

關於影像處理方法，首先執行步驟400，將視訊影片V的每一張影像畫面I都劃分成多個單元區域R11、R21、R12、Rm1、R1n、…、Rmn，且每一個單元區域的像素矩陣可為任意值。接著，執行步驟402與404，分別取得單元區域R11~Rmn的多個對應資料量，統計各個單元區域在多張影像畫面I裡面的總資料量，因此每張影像畫面I在特定位置的單元區域的資料量會被疊加計算，用以判別該特定位置的場景圖案是否較為複雜、有高頻動作或密集行為表現；例如，場景圖案細緻繁瑣或快速變動，資料量的值較大，場景圖案單調或維持靜止，資料量的值較小。其中，該些對應資料量可選擇透過將單元區域R11~Rmn所涵蓋的影像資料進行壓縮或不進行壓縮來取得，意即各單元區域的對應資料量可以是原始資料量、或是經過壓縮後的資料量。

各單元區域的總資料量一般係為該單元區域在視訊影片V之所有影像畫面I裡的多個資料量加總，例如以30影格率(frames per second, FPS)錄製的五分鐘視訊影片V會有九千張影像畫面I，故總資料量即為九千筆資料量的總和，此時資料量加總可以是多個資料量的總值、均值或其它運算值。然而，影像處理方法另可運用影像辨識技術先將不符合需求的影像畫面預先排除，使得總資料量為九千筆以下資料量的總和，意即各單元區域的總資料量可為部份影像畫面I裡的對應資料量加總，或解讀為該資料量加總係為將多個資料量排除掉符合特殊標準之資料量後的總值、均值或其它運算值。

接著，影像處理方法執行步驟406，比較任一個單元區域的總資料量與門檻值，如該總資料量低於門檻值，表示此範圍內的場景圖案不符合密集或頻繁變動的條件，故執行步驟408以低資料壓縮率轉換此單元區域裡的影像資料；如該總資料量高於門檻值，表示這個單元區域裡的場景圖案的密集度或變動頻率超出預設範圍，經影像辨識技術自動辨認此單元區域的部份或全部範圍不屬重點關注區域時，則執行步驟410，提高視訊影片V在這個範圍內單元區域之影像資料的資料壓縮率。經由本案的影像處理技術，視訊影片V內關於排氣窗櫺A1與調節風扇A2的場景圖案可由軟體主動辨識而高度壓縮其資料量，如桌椅與路人所在位置的其它場景圖案則保持低資料壓縮率以避免畫面失真，兼顧頻寬優化之目的。

前述實施例係於找出符合高資料壓縮率的單元區域時，自動將符合條件的該單元區域和不符合條件的其它單元區域以不同資料壓縮率進行影像處理，然實際運作方式當不限於此，例如本發明的影像處理方法另可提供使用者手動圈選欲提高資料壓縮率的單元區域。請參閱第6圖，第6圖為本發明另一實施例之影像畫面I’之示意圖。在此實施例中，影像處理方法統計完各個單元區域在多張影像畫面I裡面的總資料量之後(意即前述的步驟404)，可將任一個單元區域和其它單元區域依其總資料量之差異以不同方式呈現於顯示螢幕20，使用者通過顯示螢幕20觀看影像畫面I’，可輕易分辨出影像畫面I’裡有哪些單元區域屬於可高度資料壓縮的單元區域、以及有哪些單元區域屬於以低資料壓縮強度維持影像細節的欲保留場景圖案。

此外，本發明之影像處理方法亦可透過各個單元區域統計出來的總資料量去判斷各單元區域屬於可以施加高度資料壓縮率的區域範圍、或是屬於給予低度資料壓縮率的區域範圍，例如將各個單元區域統計出來的總資料量進行由大至小的排序，再將排序前三個總資料量大的單元區域判斷為可以施加高度資料壓縮率的區域範圍，而將其他單元區域判斷為屬於給予低度資料壓縮率的區域範圍，但實際應用當不以此為限。只要是利用各個單元區域的總資料量進行比較，來區分不同資料壓縮率的區域範圍的方式，皆能為本發明之影像處理方法所適用。除此之外，亦不侷限僅能區分為高度資料壓縮率及低度資料壓縮率的區域範圍；本發明之影像處理方法另能根據使用者的需求將影像畫面區分為更多不同資料壓縮率的區域範圍(例如：高度資料壓縮率、中度資料壓縮率及低度資料壓縮率…等等)。

前揭的不同呈現方式可為不同顏色變化、或是同一顏色的深淺變化，第6圖係利用線條密度區分不同單元區域的總資料量差異，然實際應用不限於此。從第6圖可看出，涵蓋排氣窗櫺A1與調節風扇A2的數個單元區域的總資料量較高，使用者可經由操作介面22在顯示螢幕20上劃設欲減少資料量的範圍，例如將排氣窗櫺A1和調節風扇A2同時圈選起來、或僅從排氣窗櫺A1與調節風扇A2擇一圈選。確定圈選的欲減少資料量範圍之後，影像處理方法便相應調整位於此範圍內單元區域的資料壓縮率，此處的欲減少資料量範圍是指將影像畫面I’裡的非重要場景，通過進行高度資料壓縮，在使用者可接受的範圍內，盡可能縮減視訊影片V的整體檔案大小以節省傳輸頻寬及儲存空間。

值得一提的是，視訊影片V係在特定時間區間內所拍攝，故本發明的影像處理方法進一步可利用自動或手動方式在時間區間裡設定一個預選時段，在根據總資料量設定不同單元區域的資料壓縮率後，只從視訊影片V中挑選處於預選時段內的部份影像畫面I或I’的該些單元區域進行影像資料壓縮。其中預選時段可以是時間區間裡的特定時段範圍或特定循環時段。舉例來說，攝影裝置12錄製全天候的監控錄像時，視訊影片V的時間區間可定義為二十四小時，並定義第3~5個小時的特定時段範圍屬於預選時段，僅針對此特定時段範圍內的影像畫面I或I’執行本發明的影像處理方法；或者，亦可設定每日的上午七點至九點的特定循環時段屬於預選時段，只針對每日的交通尖峰期間執行本發明的影像處理方法。本發明亦有可能搭配不同的預選時段，而具有不同的高度關注區域，相對應的就可以供使用者根據不同的使用情境而於不同的時段下會有不同影像處理結果。例如：每日早上的8點至9點高度關注區域設為門口的區域，每天早上9點至下午5點高度關注區域改為桌子的區域。

本發明的影像處理方法將每一張影像畫面劃分成多個單元區域，把複數張影像畫面在同一位置點的單元區域的資料量相加在一起。各單元區域的總資料量超過門檻值，代表該單元區域的總資料量龐大，會占用較多的儲存空間及傳輸頻寬，屬於應該被施加高度資料壓縮率的影像範圍；相對應地，總資料量低於門檻值的單元區域代表其總資料量較小，相較之下所占用的儲存空間及傳輸頻寬亦較少，可以給予低度資料壓縮率進行影像資料的壓縮。因此，本發明係利用每一個單元區域的比特數值(或者任何可代表資料量的數值參數)判斷出影像畫面裡的欲施加不同資料壓縮率的區域範圍，由影像處理方法自動辨識畫面內容以進一步決定各單元區域的資料壓縮率，據此大幅節省攝影裝置或攝影系統的儲存空間與傳輸頻寬；或者，本發明另可在顯示螢幕上展示已經標記出對應於總資料量大小的部份單元區域的影像畫面，並以不同線條或顏色深淺表示不同的比特數值(或者任何可代表資料量的數值參數)，提供使用者目視觀察、讓使用者從該部份單元區域(被標記的總資料量超過門檻值之單元區域)自行選取一定範圍的非關注區域進行高資料壓縮強度的影像資料壓縮，達到能確保將重要區域的影像維持在高影像品質、又能有效減少儲存空間及傳輸頻寬最佳利用化之目的。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

10‧‧‧攝影系統 12‧‧‧攝影裝置 14‧‧‧中控主機 16‧‧‧影像擷取單元 18‧‧‧運算處理單元 20‧‧‧顯示螢幕 22‧‧‧操作介面 V‧‧‧視訊影片 I、I’‧‧‧影像畫面 A1‧‧‧排氣窗櫺 A2‧‧‧調節風扇 R11、R21、R12、Rm1、R1n、…、Rmn‧‧‧單元區域 400、402、404、406、408、410‧‧‧步驟

第1圖為本發明實施例之攝影系統的功能方塊圖。 第2圖為本發明實施例之攝影裝置的功能方塊圖。 第3圖為本發明實施例之涵蓋多張影像畫面之視訊影片的示意圖。 第4圖為本發明實施例之影像處理方法的流程圖。 第5圖為本發明實施例之影像畫面的示意圖。 第6圖為本發明另一實施例之影像畫面之示意圖。

400、402、404、406、408、410‧‧‧步驟

Claims (12)

1. 一種影像處理方法，其包含有：將一視訊影片所包含的每一張影像畫面劃分為多個單元區域；分別運算於該些影像畫面中對應該多個單元區域的多個資料量；將各個單元區域於該視訊影片之複數張影像畫面裡的對應資料量加總以取得總資料量；以及根據該總資料量以區別任一個單元區域和其它單元區域。
2. 如請求項1所述之影像處理方法，其中分別計算該多個單元區域的該多個資料量之步驟包含：將該多個單元區域之影像資料進行壓縮以取得該多個資料量。
3. 如請求項1所述之影像處理方法，其中根據該總資料量以區別該任一個單元區域和其它單元區域包含有：比較該任一個單元區域之該總資料量與一門檻值；以及依照比較結果，決定該任一個單元區域的一資料壓縮率。
4. 如請求項1所述之影像處理方法，其中根據該總資料量以區別該任一個單元區域和其它單元區域包含有：將該任一個單元區域和其它單元區域依其總資料量之差異以不同方式呈現於一顯示螢幕上。
5. 如請求項4所述之影像處理方法，另包含有： 依照藉由一操作介面在該顯示螢幕上所劃設之一感興趣區域，相應調整位於該感興趣區域內之至少一單元區域的該資料壓縮率。
6. 如請求項3所述之影像處理方法，其中當該單元區域的該總資料量高於該門檻值時，提高該視訊影片中該單元區域之影像資料的該資料壓縮率。
7. 如請求項1所述之影像處理方法，其中該總資料量係為該單元區域在該視訊影片之所有影像畫面裡的該多個資料量加總，或為該單元區域在該視訊影片之部份影像畫面裡的部份該些資料量加總。
8. 如請求項7所述之影像處理方法，其中該資料量加總係為該多個資料量的總值或均值、或是將該多個資料量排除至少一符合特殊標準之資料量後的總值或均值。
9. 如請求項1所述之影像處理方法，其中該視訊影片係於一時間區間內所拍攝，該影像處理方法另包含有：在該視訊影片之該時間區間裡設定一預選時段：以及將該視訊影片中處於該預選時段內之部份影像畫面的該單元區域以該資料壓縮率進行影像資料壓縮。
10. 如請求項9所述之影像處理方法，其中該預選時段係為該時間區間裡的一特定時段範圍、或係為該時間區間裡的一特定循環時段。
11. 一種攝影裝置，其包含有： 一影像擷取單元，用來擷取涵蓋多張影像畫面的一視訊影片；以及一運算處理單元，電連接於該影像擷取單元，該運算處理單元用來分析該視訊影片，並根據該多張影像畫面執行如請求項1至10其中任一所述的影像處理方法。
12. 一種攝影系統，其包含有：至少一攝影裝置，用來擷取涵蓋多張影像畫面的一視訊影片；以及一中控主機，遠端連結於該至少一攝影裝置，該中控主機用來接收涵蓋該多張影像畫面的該視訊影片，並根據該多張影像畫面執行如請求項1至10其中任一所述的影像處理方法。

Images