TWI608738B - 應用於影像監視系統的伺服器及相關的監視影像顯示方法 - Google Patents

Description

應用於影像監視系統的伺服器及相關的監視影像顯示方法

本發明係有關於影像監視系統，尤指一種可以即時調整監視器影像大小的影像監視系統。

一般來說，監視系統會接收所支援之監視器傳送來的影像畫面，並將所接收到的所有影像畫面顯示在顯示器的不同區域，舉例來說，若是監視系統支援16個監視器，則監視系統的顯示器畫面會被分割為16個區域(4*4)，而每一個區域用來顯視一個監視器所傳送來的即時影像畫面。然而，若是監視系統需要支援更多個監視器，則顯示器畫面會需要被分割為更多個區域，例如64個區域(8*8)，如此一來每個監視器在顯示器上所顯示的影像畫面便會大幅縮小，進而造成使用者容易忽略掉畫面內的重要資訊。

因此，本發明的目的之一在於提供一種影像監視系統，其可以根據重要性資訊來即時調整部分監視器在顯示器上所顯示之影像畫面的大小，以解決先前技術中的問題。

本發明的一個實施例揭露了一種應用於影像監視系統的伺服器，其包含有裝置介面以及處理器，其中裝置介面用來接收分別來自多個監視器的多個監視器影像，且處理器用來將多個監視器影像進行佈局，並在一預設狀態下，將佈局後的多個監視器影像透過裝置介面來傳送到顯示器中來同時進行顯示；此外處理器另根據多個監視器影像的重要性資訊來調整多個監視器影像的佈局，以調整多個監視器影像中至少一特定監視器影像在顯示器上顯示時的畫面大小。

本發明的另一個實施例揭露了一種監視影像顯示方法，其包含有：從輸入的複數個監視器影像串流獲取複數組圖框序列；分析各組圖框序列中的前後圖框之變化程度，產生複數個第一重要性參數；根據該複數個第一重要性參數產生複數個重要性資訊；以及根據該複數個重要性資訊，調整該多個監視器影像串流在該顯示器上顯示時的畫面大小。

請參考第1圖，其為根據本發明一實施例之影像監視系統100的示意圖。如第1圖所示，影像監視系統100包含了伺服器110、多個監視器102_1~102_M以及顯示器104，其中伺服器110至少包含了處理器120、解碼器130及裝置介面140，而處理器120則包含了重要性計算模組122、佈局設定模組124、播放模組126及即時取景佈局模組128。在本實施例中，多個監視器102_1~102_M可以被設置在環境中的各個不同的位置，例如住家中的不同房間內，或是大樓中任何需要被監視的地點，而伺服器110會透過連接線或是網路來接收來自多個監視器102_1~102_M的多個影像，並在一預設狀態下，將來自多個監視器102_1~102_M的多個影像進行佈局(layout)，亦即將來自多個監視器102_1~102_M的多個影像縮小排列在同一個影像畫面/圖框上，傳送到顯示器104中來同時進行顯示。

在一實施例中，上述重要性計算模組122、佈局設定模組124、播放模組126及即時取景佈局模組128之間可藉由一或多個通信路徑來彼此通信或交換數據。此外，在一實施例中，上述重要性計算模組122、佈局設定模組124、播放模組126與即時取景佈局模組128可藉由軟體實現，其中軟體可儲存於暫時或非暫時性電腦可讀儲存媒體上，並由一或多個處理單元執行。在另一些實施例中，上述重要性計算模組122、佈局設定模組124、播放模組126與即時取景佈局模組128可由硬體實現，例如處理器中的電路模組，或者軟體與硬體的組合而實現。在又一實施例中，上述重要性計算模組122、佈局設定模組124、播放模組126及即時取景佈局模組128可實施為獨立的應用程式整合至另一應用程式(例如：網頁瀏覽器程式)。在部分實施例中，上述重要性計算模組122、佈局設定模組124、播放模組126及即時取景佈局模組128可實施於作業系統內，例如網路儲存附加(Network Attached Storage, NAS)伺服器作業系統。

在伺服器110的操作中，首先，解碼器130會透過裝置介面140接收來自多個監視器102_1~102_M的多筆監視器影像資料串流，並對該多筆監視器影像資料串流進行解碼後得到多個隨時間連續變換的多組圖框序列(frame sequence)，之後再將多組圖框序列傳送至重要性計算模組122及播放模組126中。接著，重要性計算模組122會根據一或多個偵測結果來計算出每個監視器102_1~102_M的重要性資訊，舉例來說，上述一或多個偵測結果可以透過以下偵測操作中至少其一所產生：處理器120對多個監視器影像進行動作偵測、或是對監視器102_1~102_M的周遭音源、監視器102_1~102_M的破壞行為、使用者眼球方向…等事件資訊的偵測。

在一實施例中，處理器120可對多個監視器影像進行動作偵測。例如，處理器120可以判斷來自每一支監視器102_1~102_M的影像內容的變化程度來決定一第一重要性參數，其中影像內容的變化程度越大則代表所監視的區域可能有人員侵入，因此其重要性參數也越高。在部分實施例中，影像變化程度可以透過以下方式計算出來：比較前後圖框的差異度，例如，先將前後圖框中的每一個像素值進行相減之後來得到每一個像素的變化量，之後再將每個像素的變化量加總來得到前後圖框的差異度，而此數值越大代表變化程度越大。在另一個實施例中，影像變化程度可以透過將影像做微分，找出斜率的變化量(例如灰階變化)，而變化量越大就代表影像內容的變化程度越大。

在部分實施方式中，處理器120還可進行多個事件資訊的偵測，例如對監視器102_1~102_M的周遭音源、監視器102_1~102_M的破壞行為、使用者眼球方向的偵測，但本發明不以此為限。在偵測監視器102_1~102_M的周遭音源的實施例中，每一支監視器102_1~102_M可包含聲音監測設備，而聲音監測設備會持續偵測監視器周遭的聲音，並將所偵測到的聲音或是所偵測到的聲音音量結果傳送至伺服器110中，而處理器120中的重要性計算模組122可以根據聲音監測設備所監測到的聲音音量的變化程度來決定一第二重要性參數，其中聲音音量的變化程度越大則代表所監視的區域可能有人員侵入或是其他破壞行為產生，因此其重要性參數也越高。在另一實施例中，每一支監視器102_1~102_M可包含收音設備，監視器102_1~102_M可直接傳送複數個聲音串流至伺服器110中，而處理器120可分析聲音串流的音量大小，並且重要性計算模組122可根據音量大小或聲音音量的變化程度來決定第二重要性參數。

在偵測監視器102_1~102_M破壞行為的實施例中，每一支監視器102_1~102_M可例如包含破壞偵測元件，而處理器120中的重要性計算模組122可以根據破壞偵測元件所監測到的破壞行為來決定一第三重要性參數，其中若是有偵測到破壞行為，則第三重要性參數的數值也會越高，其中上述的破壞行為可以是監視器失焦、監視器被遮蔽、或是監視器位移…等等。另外，在使用者眼球方向的偵測的實施例中，伺服器110和顯示器104周遭也可設置有一眼球偵測裝置，其可以偵測使用者的眼球方向以判斷使用者正在觀看顯示器104之螢幕的那一個區域，並提升使用者所觀看之區域所對應到的監視器的一第四重要性參數。在一實施例中，眼球偵測裝置設置於監控中心中的顯示器1004上，而通常監控人員與顯示螢幕距離越近，精準度越高。

在一實施例中，重要性計算模組122會將上述每一支監視器102_1~102_M的第一重要性參數、第二重要性參數、第三重要性參數及第四重要性參數傳送至佈局設定模組124，而佈局設定模組124會根據上述每一支監視器102_1~102_M的第一重要性參數、第二重要性參數、第三重要性參數及第四重要性參數來決定出每一個監視器影像的重要性資訊，例如將第一重要性參數、第二重要性參數、第三重要性參數及第四重要性參數作加權相加後來產生一數值來做為重要性資訊，而在本實施例中數值越高則代表監視器影像的重要性越高。

在另一實施例中，上述每一個偵測結果均有對應到的臨界值，且這個臨界值是可以由使用者所設定調整的，用來判斷是否要放大監視器的影像畫面。詳細來說，而佈局設定模組124會將第一重要性參數、第二重要性參數、第三重要性參數及第四重要性參數分別與其對應的臨界值做比較，而若是有一特定監視器的任何一個重要性參數大於其臨界值時，則佈局設定模組124會決定要放大該特定監視器所傳送之影像在顯示器104上的顯示時的畫面大小，而該特定監視器所傳送之影像會透過播放模組126與即時取景佈局模組128及裝置界面140在顯示器104上放大顯示。

請參考第2~5圖，其為伺服器110即時根據每一個監視器102_1~102_M所傳送之多個影像的重要性來調整調整該多個影像的佈局的示意圖。首先，請先參考第2圖，在預設的情形下，假設伺服器110支援64支監視器，則此時顯示器104的螢幕會被劃分為64個區塊(8*8)，且每一個區塊用來顯示來自一支監視器的影像資料。此時，若是處理器120判斷有一特定監視器的一特定影像的重要性超過臨界值時，處理器120會根據特定影像所在的位置來決定影像要往哪一個方向來放大，而在一實施例中，特定影像是往顯示器螢幕的中心來放大，例如朝向顯示器螢幕的中心點或是中心區域來放大。詳細來說，參考第2圖所示，若是重要性超過臨界值的特定影像位於第一象限，則此特定影像會往左下角放大4倍，即覆蓋4個區塊的空間；若是重要性超過臨界值的特定影像位於第二象限，則此特定影像會往右下角放大4倍；若是重要性超過臨界值的特定影像位於第三象限，則此特定影像會往右上角放大4倍；且若是重要性超過臨界值的特定影像位於第四象限，則此特定影像會往左上角放大4倍。需注意的是，上述影像放大倍數僅是用來舉例說明，而並非作為本發明的限制。

在決定特定影像要放大的方向及區域之後，由於放大後的特定影像會占用到其他監視器影像的顯示區域，因此有部分的監視器影像需要自螢幕上移除。在一實施例中，處理器120會根據放大區域的不同方向來決定出三個重要性最低的監視器影像，來作為需要自螢幕上移除的影像。詳細來說，如第3圖所示，放大區域先被劃分為四個區域，而除了需要放大之特定影像所對應到的區域(左上區域)之外，處理器120會在右上區域、右下區域、左下區域分別找出一個重要性最低的監視器影像。在一實施例中，重要性最低的監視器影像可以由上述每一支監視器102_1~102_M的第一重要性參數、第二重要性參數、第三重要性參數及第四重要性參數來決定，例如將第一重要性參數、第二重要性參數、第三重要性參數及第四重要性參數作加權相加後，選擇具有最小數值的監視器影像來作為重要性最低的監視器影像。

接著，參考第4圖，處理器120決定出放大區域內的影像和重要性最低的影像之間的調整路徑，以作為後續監視器影像移動時的方向，其中在一個實施例中，調整路徑可以是出放大區域內的影像和重要性最低的影像之間的最短路徑，而最短路徑指的是放大區域內的影像可以在移動最少步數(最少監視器影像的顯示區域)的情形下到達重要性最低的影像，例如第4圖所示的透過兩個直線移動方式來得到最短路徑。

最後，參考第5圖，特定影像放大為原來的4倍，而第4圖所示之最短路徑上的影像也分別沿著最短路徑的指向移動，其中最短路徑上的每一個影像均只移動一格(一個區域)，且三個重要性最低的監視器影像也自螢幕上移除了。

透過上述第2~5圖所示的流程，重要性超過臨界值的特定影像會放大顯示以讓使用者可以清楚看到特定影像的內容，且特定影像在放大的過程中，重要性最低的影像會被移除，且每一個需要移動的監視器影像也只需要移動一個(一個區域)，因此可以盡可能的維持每一個監視器影像的相對位置。

若是後續有其他的監視器影像也被判斷為具有較高的重要性而需要同時被放大顯示，則可以依照上述第2~5圖的流程來進行，第6圖繪示了三個監視器影像因為重要性較高而被放大顯示的例子。此外，在影像的佈局上，可以定義只允許一定數量的監視器影像可以被放大，例如只允許4個放大的特定影像，而影像放大的順序以重要性數值越高的為優先。

在一實施例中，若是需要放大的監視器影像和已經放大的監視器影像重疊到，則需要先移動已放大的監視器影像之後，之後再做影像放大操作，如第7圖所示。

此外，上述影像佈局的更新可以由以下兩種情形來觸發，第一種是固定時間更新，例如每10秒鐘便更新一次，而第二種則是即時判斷每一個監視器影像的重要性資訊來觸發。舉例來說，請參考第8圖，在大約第3秒的時候，伺服器110根據監視器影像的重要性資訊以將其中一個監視器影像放大(詳細步驟如第2~5圖所示)；接著，在第10秒的時候，伺服器110進行固定時間的佈局更新，而此時處理器120會再次判斷監視器影像的重要性資訊來重新調整監視器影像的畫面大小，在本實施例中，由於此時每一個監視器影像的重要性均低於臨界值，故處理器120將影像佈局回復到預設的狀態，且先前被取代/移除的監視器影像也重新在顯示器104的螢幕上顯示；接著，在大約第18秒的時候，伺服器110根據監視器影像的重要性資訊以將其中兩個監視器影像放大，…，以此類推。

請參考第9圖，其為根據本發明一實施例之一種監視影像顯示方法的流程圖，參考以上的揭露內容，其流程如下所述：

步驟900：流程開始。

步驟902：接收分別來自多個監視器的多個影像。

步驟904：對該多個影像進行佈局，並將該佈局後的該多個影像傳送到一顯示器中進行顯示。

步驟906：根據該多個影像的重要性資訊來調整該多個影像的佈局，以調整該多個影像在該顯示器上顯示時的畫面大小。

上述步驟904中，來自多個監視器的多個影像在一預設狀態下，可同時被傳送到顯示器中進行顯示。另外，在部分實施例中，上述步驟906可還包含以下流程：步驟S1，從輸入的複數個監視器影像串流獲取複數組圖框序列。步驟S2，分析各組圖框序列中的前後圖框之變化程度，產生複數個第一重要性參數。步驟S3，根據複數個第一重要性參數產生複數個重要性資訊。步驟S4，根據複數個重要性資訊，調整多個監視器影像串流在顯示器上顯示時的畫面大小。應了解到，上述步驟S1~S4只是舉例，本發明並不限於此。在其他實施例中，上述步驟904還可接收該複數個監視器影像串流所分別對應的複數個事件資訊，以產生對應的重要性參數，並同時根據上述第一重要性參數與其他事件資訊所對應產生的重要性參數產生複數個重要性資訊。在一實施例中，上述事件資訊可例如是，對監視器的周遭音源偵測、監視器的破壞行為偵測、使用者眼球方向偵測等事件。

請參考第10圖，其為根據本發明一實施例之影像監視系統1000的示意圖。如第10圖所示，影像監視系統1000包含了伺服器1010、多個監視器1002_1~1002_M以及顯示器1004，其中伺服器1010至少包含了處理器1020、解碼器1030及裝置介面1040，而處理器1020則包含了重要性計算模組1022、階層式佈局模組1024、播放模組1026。在本實施例中，多個監視器1002_1~1002_M可以被設置在環境中的各個不同的位置，例如住家中的不同房間內，或是大樓中任何需要被監視的地點，而伺服器1010會透過連接線或是網路來接收來自多個監視器1002_1~1002_M的多個影像，並將來自多個監視器1002_1~1002_M的多個影像進行佈局後，傳送到顯示器1004中來同時進行顯示。

第10圖所示的裝置介面1040、解碼器1030、重要性計算模組1022以及播放模組1026的操作類似於第1圖所示的裝置介面140、解碼器130、重要性計算模組122以及播放模組126，因此相關細節在此不予贅述，而以下揭露內容主要描述影像監視系統1000之階層式佈局模組1024的操作內容。

請參考第11圖，第11圖為依據本發明之階層式佈局模組1024以及使用者所輸入之顯示佈局層級的示意圖。如第11圖所示，階層式佈局模組1024包含了基礎佈局模組1102、排序模組1104、監視器影像指派模組1106以及輸出電路1108，且階層式佈局模組1024可以根據使用者所輸出的層級來決定要輸出幾個監視器影像至顯示器1004來進行顯示。在本實施例中，使用者可以定義三個不同的層級，在第一層級中，顯示器1004可以顯示64個監視器影像，在第二層級中顯示器1004可以顯示16個監視器影像，而在第三層級中顯示器1004僅可以顯示4個監視器影像。

在階層式佈局模組1024的細部操作中，首先，基礎佈局模組1102產生一基本/預設佈局資訊至排序模組1104中，而在本實施例中，基礎佈局模組1102所產生的基本/預設佈局資訊可以是顯示所有可支援之監視器影像的佈局資訊，亦即當伺服器1010支援64個監視器時，基本/預設佈局資訊即為顯示64個監視器的影像。接著，排序模組1104會根據重要性計算模組1022所提供之每一個監視器影像的重要性資訊來對至少一部份的監視器影像進行排序，例如根據每一個監視器影像的重要性資訊將每一個監視器影像標註一個代表重要性高低的編號，例如越低的編號代表越高的重要性。接著，監視器影像指派模組1106會根據使用者所輸入的層級來決定要將重要性最高的哪幾個監視器影像來做為輸出，舉例來說，請參考第12圖，假設使用者所輸入的是顯示16個監視器影像的第二層級，則監視器影像指派模組1106會指派重要性排名前16名的監視器影像作為輸出；請參考第13圖，假設使用者所輸入的是顯示4個監視器影像的第三層級，則監視器影像指派模組1106會指派重要性排名前4名的監視器影像作為輸出。最後，輸出電路1108將監視器影像指派模組1106所指派的監視器影像傳送至顯示器1040來同時進行顯示，而監視器影像指派模組1106未指派的監視器影像則不會顯示在畫面上。

在第10~13圖所示的實施例中，伺服器1010可以根據使用者所自訂的層級來決定要輸出幾個監視器影像的內容，且所輸出的監視器影像是伺服器1010自動根據重要性來自動決定的，因此，本實施例所採用的方法可以避免監視器影像過小的問題。

簡要歸納本發明，在本發明的影像監視系統及監視影像顯示方法中，其可以根據重要性資訊來即時調整部分監視器在顯示器上所顯示之影像畫面的大小，因此可以讓重要性較高的影像畫面更清晰，以方便使用者觀看；此外，在一實施例中，因應部分影像畫面的放大，重要性最低的影像會被移除，且每一個需要移動的監視器影像也只需要移動一個(一個區域)，因此可以盡可能的維持每一個監視器影像的相對位置。另外，在另一實施例中可以根據使用者所自訂的層級來決定要輸出幾個監視器影像的內容，且所輸出的監視器影像是伺服器自動根據重要性來自動決定的，以讓使用者能更自由的控制監視器影像的大小及顯示器的顯示內容。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100、1010‧‧‧影像監視系統
102_1~102_M、1002_1~1002_M‧‧‧監視器
104、1004‧‧‧顯示器
110、1010‧‧‧伺服器
120、1020‧‧‧處理器
122、1022‧‧‧重要性計算模組
124‧‧‧佈局設定模組
126、1026‧‧‧播放模組
128‧‧‧即時取景佈局模組
130、1030‧‧‧解碼器
140、1040‧‧‧裝置介面
900~906‧‧‧步驟
1024‧‧‧階層式佈局模組
1102‧‧‧基礎佈局模組
1104‧‧‧排序模組
1106‧‧‧監視器影像指派模組
1108‧‧‧輸出電路

第1圖為根據本發明一實施例之影像監視系統的示意圖。 第2~5圖為伺服器即時根據每一個監視器所傳送之多個監視器影像的重要性來調整調整該多個監視器影像的佈局的示意圖。 第6圖繪示了三個監視器影像因為重要性較高而被放大顯示的例子。 第7圖為當需要放大的監視器影像和已經放大的監視器影像重疊到時，影像放大操作的示意圖。 第8圖為觸發影像佈局更新的示意圖。 第9圖為根據本發明一實施例之一種監視影像顯示方法的流程圖。 第10圖為根據本發明另一實施例之影像監視系統的示意圖。 第11圖為根據本發明之階層式佈局模組以及使用者所輸入之顯示佈局層級的示意圖。 第12圖為根據本發明一實施例之根據使用者所設定的層級來調整多個監視器影像的佈局的示意圖。 第13圖為根據本發明另一實施例之根據使用者所設定的層級來調整多個監視器影像的佈局的示意圖。

100‧‧‧影像監視系統

102_1~102_M‧‧‧監視器

104‧‧‧顯示器

110‧‧‧伺服器

120‧‧‧處理器

122‧‧‧重要性計算模組

124‧‧‧佈局設定模組

126‧‧‧播放模組

128‧‧‧即時取景佈局模組

130‧‧‧解碼器

140‧‧‧裝置介面

Claims (7)

1. 一種應用於一影像監視系統的伺服器，包含有：一裝置介面，用來接收分別來自多個監視器的多個監視器影像；以及一處理器，耦接於該裝置介面，用來將該多個監視器影像進行佈局，並在一預設狀態下，將該佈局後的該多個監視器影像透過該裝置介面來傳送到一顯示器中來進行顯示；其中該處理器另根據該多個監視器影像的重要性資訊來調整該多個監視器影像的佈局，以調整該多個監視器影像在該顯示器上顯示時的畫面大小；其中當該多個監視器影像中一特定監視器影像被判斷具有較高的重要性時，該處理器控制該顯示器以放大該特定監視器影像，並停止該顯示器顯示該多個監視器影像中一部分其他監視器影像；以及該處理器另外決定出該特定監視器影像與該部分其他監視器影像之間的至少一調整路徑，並移動位於該至少一調整路徑上的監視器影像。
2. 如申請專利範圍第1項所述之伺服器，其中該重要性資訊是基於至少一偵測結果來決定，其中該至少一偵測結果係由透過以下偵測操作中至少其一所產生：該處理器對該多個監視器影像進行動作偵測、監視器的周遭音源偵測、監視器的破壞行為偵測、或是使用者眼球方向偵測。
3. 如申請專利範圍第1項所述之伺服器，其中該重要性資訊是基於多個偵測結果來決定，且該處理器另根據該多個偵測結果來決定出分別對應於該多個偵測結果的多個重要性參數，並再對該多個重要性參數作加權相加以得到一數值；其中具有最低數值的監視器影像係作為重要性最低的監視 器影像，且被停止在該顯示器上顯示的該部分其他監視器影像至少包含該重要性最低的監視器影像。
4. 如申請專利範圍第1項所述之伺服器，其中當該特定監視器影像被判斷具有較高的重要性時，該處理器將該特定監視器影像朝著該顯示器螢幕的中心來放大。
5. 一種監視影像顯示方法，包含有：從輸入的複數個監視器影像串流獲取複數組圖框(frame)序列；分析各組圖框序列中的前後圖框之變化程度，以分別產生複數個第一重要性參數；接收該複數個監視器影像串流所分別對應的複數個音量資訊，以分別產生複數個第二重要性參數；同時根據該複數個第一重要性參數與該複數個第二重要性參數，以分別產生該複數個重要性資訊；以及根據該複數個重要性資訊，調整該多個監視器影像串流在該顯示器上顯示時的畫面大小。
6. 一種監視影像顯示方法，包含有：從輸入的複數個監視器影像串流獲取複數組圖框(frame)序列；分析各組圖框序列中的前後圖框之變化程度，以分別產生複數個第一重要性參數；根據該複數個第一重要性參數以分別產生複數個重要性資訊；根據該複數個重要性資訊，調整該多個監視器影像串流在該顯示器上顯示 時的畫面大小；以及建立一第一佈局層級以及一第二佈局層級，其中該第一佈局層級在該顯示器所佈局的影像數目小於該複數個監視器影像串流的數目，該第二佈局層級在該顯示器所佈局的影像數目小於該第一佈局層級在該顯示器所佈局的影像數目。
7. 如申請專利範圍第6項所述之監視影像顯示方法，其中該第二佈局層級在該顯示器所佈局的影像的重要性大於該第一佈局層級在該顯示器所佈局的影像的重要性。