TWI527463B - Multi - camera smoothing scene switching method - Google Patents

Description

多攝影機平順場景切換之方法

本發明係關於一種多攝影機平順場景切換之方法，特別為一種利用人員追蹤之資訊，透過影像形變視訊轉換技術，達成影像監控系統在不同攝影機間，鏡頭畫面平順切換的顯示效果。

近年來，多重攝影機視訊系統廣泛受到研究與推廣，大多應用於影像監控系統與運動球賽轉播上；傳統的系統，前端之多攝影機的拍攝畫面以視訊串流(video streaming)或以類比訊號傳送至控制中心，並以多分割畫面方式顯示於監控螢幕上，再經由監控人員選擇欲播放的攝影機畫面放大觀看；然而，此方法當監控人員需做攝影機切換時，瞬間切換監視畫面的視覺效果會使得監控人員無法確切掌控追蹤人員之移動方向或須以人眼費力的來切換追蹤，追蹤人員不易。本方法透過人員追蹤資訊，提供一種即時的平順場景切換方法，藉著將多台不同方向攝影機所拍攝的監控影像，利用影像形變的視訊轉換技術，達成不同攝影機間鏡頭平順切換的顯示效果。

另外也有人提出自動偵測與平滑換景的方式，如論文“Real-Time View Transition between Cameras Having Different Perspectives”，L.W. Chang, K.W. Chen,W.T. Peng,Y.P. Hung,19th IPPR Conference on Computer Vision,Graphics,and Image Processing,August 2006.中，作者提出平順場景切換之方法，其流程為將兩台真實攝影機拍攝到的背景影像當作材質，貼於事先建立好的三維模型以建立不同角度之背景虛擬影像，透過找出真實攝影機影像中人物的二維影像位置，製造一個透明度遮罩，利用此遮罩得到前景人物影像，接下來，估測人物相對於背景三維模型的位置，將前景人物影像和所對應位置之背景虛擬影像合成，隨著前景人物的移動呈現平順場景切換之顯示效果。此方法主要為合成前景人物影像和背景虛擬影像之技術，因其使用事先建立之背景虛擬影像，當場景環境隨著外在因素而改變時，該方法所呈現的場景影像和實際的場景影像會有所不同，導致監控人員無法掌握最新的場景環境資訊，且其方法加入陰影處理技術以擷取前景人物影像，不同光線的變化必須調整閥值參數才會得到較好的結果，無法因應所有的環境；而本方法未分成前景人物影像和背景場景影像做處理，採用即時的影像做兩台攝影機間場景的切換，不僅可呈現最新實際場景的影像，且計算複雜度較低，可適用於任何即時系統。

由此可見，上述習用方式仍有諸多缺失，實非一良善之設計，而亟待加以改良。

本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本件多攝影機平順場景切換之方法。

【發明目的】

本發明之目的即在於提供一種多攝影機平順場景切換之方法，系以一簡易適用之影像形變視訊轉換技術，透過人員追蹤資訊，達成攝影機和攝影機間平順切換之效果，提供給監控人員更清楚且更方便的人機介面。

達成上述發明目的之多攝影機平順場景切換之方法，係利用人員追蹤資訊，藉著將多台且兩兩不同方向攝影機所拍攝的監控影像，透過影像形變的視訊轉換技術，達成兩兩攝影機間鏡頭平順切換的顯示效果。在某一場所或樓層架設多台攝影機，這些攝影機所拍攝的畫面兩兩涵蓋部份的區域範圍，而攝影機所拍攝的原始影像串流傳回到中心端影像擷取設備，傳送的方式可以透過有線或無線的傳輸設備，若攝影機使用的是廣角攝影機，利用影像校正模組(參考文獻1)，將原本因攝影機廣角鏡頭而變形的影像，校正回真實的線條長度與比例。平順場景切換區域分為直線型與穿牆型平順場景切換區域兩種，並事先規劃這兩種切換區域之攝影機間人員進出之動線關連與平順場景切換之區域線，當人員進入此區域線後，程式自動執行人員追蹤，其方法為透過目前影像與高斯背景模型建立模組(參考文獻2)相減或相除而得到精確的人真前景位置，高斯背景模型建立模組係針對攝影機畫面中每個像素點的像素值在一段時間內的變化做統計分析，以判斷每個像素點為前景或背景，由於會隨著時間的改變而不斷更新統計結果，因此能適應環境的變化，再以多重人員追蹤模組紀錄畫面中每一人員的行經路線。當人員進入平順場景切換區域時，透過平順場景切換模組運算，若為直線型平順場景切換區域，使用透視變換(Homography)技術(參考文獻3)，藉由兩台攝影機畫面中相同的特徵點(至少四個)求得形變矩陣，透視變換(Homography)是一種數學上的觀念，它定義一種兩張影像間之關係性，在任一張影像上的一點，可對應至另一張影像上的一點，經由計算完透視變換(Homography)形變矩陣後，即可將任一張影像像素位置轉換成另一張影像的像素位置，而將兩台攝影機的影像連接，以人員追蹤資訊將人員顯示於畫面中心輸出連接影像；若為穿牆型平順場景切換區域，透過兩台攝影機相同特徵點的資訊如位置、長度，做為兩台攝影機畫面正規化的參數計算，包含了位移和垂直、水平大小縮放的參數，以垂直、水平大小縮放參數加上內插演算法計算，將兩台攝影機畫面影像轉換到相同的場景比例，內插演算法是利用相鄰四點的像素值，依照與相鄰座標距離的遠近，根據距離比例求得取樣值，最後以位移參數將兩台攝影機畫面影像連接，且透過人員追蹤資訊將人員顯示於畫面中心輸出連接影像。經由此影像形變的視訊轉換技術，系統即時運算且螢幕顯示攝影機間平順場景切換之畫面。

請參閱圖一及圖二所示，圖一為直線型多攝影機平順場景切換環境架設示意圖，圖二為穿牆型多攝影機平順場景切換環境架設示意圖。假設在某一場所或樓層裝設兩台攝影機，分別是一號攝影機和二號攝影機，規劃兩台攝影機間平順場景切換之區域(如圖一、二中之2號區域)，當人員進入此場所後，即自動進行人員追蹤，當人員進入1號區域時，螢幕自動顯示二號攝影機所拍攝到的畫面21；當人員進入2號區域時，螢幕顯示兩台攝影機間平順場景切換畫面；當人員進入3號區域時，螢幕則顯示一號攝影機所拍攝到的畫面23。本方法並可在某一場所中串接延伸多台攝影機，規劃多台攝影機兩兩間之平順場景切換。

圖三為本發明之實施流程圖，首先，一號與二號攝影機所拍攝到的原始影像串流31傳送到影像處理設備，若攝影機使用的是廣角攝影機，透過影像校正模組32(Camera Calibration)，將原本因攝影機廣角鏡頭而變形的影像畫面如照片一，校正回真實世界影像的線條長度與比例如照片二，真實影像的線條長度是以像素(Pixel)計算，可以和真實世界的長度(以公分計算)做等比例的轉換。將影像利用影像處理技術中的背景相減法，透過影像與所建立的高斯背景模型模組33相減或相除可得到精確的移動人員前景影像。經過背景相減法處理之每個前景目標人員以一長方形標定，長方形的中心位置即是目標人員在攝影機畫面上的前景位置，透過此位置資訊，利用人員追蹤模組34即可記錄每一人員在攝影機畫面中的行經路線。

透過事先將場所分成的三個區域做為攝影機切換的觸發，分別是一號攝影機拍攝區域、二號攝影機拍攝區域和兩台攝影機間平順切換區域，由人員追蹤模組34產生人員位置資訊後，當人員進入一號攝影機拍攝區域時，螢幕即時顯示一號攝影機所拍攝到的畫面；當人員進入二號攝影機拍攝區域時，螢幕即時顯示二號攝影機所拍攝到的畫面；當人員進入兩台攝影機間平順切換區域時，經由平順場景切換模組35運算，螢幕即時顯示兩台攝影機間平順切換畫面。平順場景切換模組35中，分為直線型與穿牆型平順場景切換模組兩種，直線型平順場景切換模組主要是透過透視變換(Homography)技術，藉由兩台攝影機畫面中相同的特徵點(至少四個特徵點)計算兩台攝影機間形變矩陣，利用此矩陣將兩台攝影機的影像連接(image stitching)，且加入影像混合方法(image blending)(參考文獻4)，使得影像做連接時不會受到燈光的干擾，畫面顯示更為自然。而穿牆型平順場景切換模組主要是利用找出兩台攝影機畫面中相同的特徵點，如照片三中門框的上下兩個端點，透過特徵點的資訊如位置、長度，做為兩台攝影機畫面正規化的參數計算，包含了位移和垂直大小縮放的參數，由於門框的兩端點資訊僅能做垂直大小縮放參數計算，會使得畫面有拉長的視覺效果，在此運用其垂直大小縮放的比例做水平大小縮放，確保縮放的一致性，以垂直、水平大小縮放參數利用內插演算法計算，將兩台攝影機畫面影像轉換到相同的場景比例，以位移參數將兩台攝影機畫面影像連接。兩台攝影機間平順切換畫面會利用人員追蹤模組34產生之人員追蹤資訊，將人員顯示於畫面中心，即時透過平順場景切換模組建立左右場景畫面。

照片四為本發明多攝影機平順場景切換方法之直線型多攝影機平順場景切換方法執行結果。

照片五為本發明多攝影機平順場景切換方法之穿牆型多攝影機平順場景切換方法執行結果。

【特點及功效】

本發明所提供之多攝影機平順場景切換之方法，與其他習用技術相互比較時，更具備下列優點：

1.本發明透過影像形變的視訊轉換技術，達成攝影機和攝影機間平順切換之效果，提供給監控人員更清楚且更方便的人機介面。

2.本發明可降低人事成本，監控人員可輕易的了解被監控人員在整個環境中的位置關係，不需以人工做額外的攝影機畫面切換。

3.本發明提供一簡易且運算複雜度低之影像形變轉換技術，可適用於任何即時系統。

上列詳細說明乃針對本發明之一可行實施例進行具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本案不僅於技術思想上確屬創新，並具備習用之傳統方法所不及之上述多項功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請　貴局核准本件發明專利申請案，以勵發明，至感德便。

31．．．原始影像串流

32．．．影像校正模組

33．．．高斯背景模型建立模組

34．．．人員追蹤模組

35．．．平順場景切換模組

請參閱有關本發明之詳細說明、附圖及其照片，將可進一步瞭解本發明之技術內容及其目的功效；有關附圖及照片為：

圖一為直線型多攝影機平順場景切換環境架設示意圖；

圖二為穿牆型多攝影機平順場景切換環境架設示意圖；

圖三為多攝影機平順場景切換之實施流程圖。

【參考文獻】

Z. S. Wang,Z. G. Wang and X. H. Xu,“Extraction of the Corner of Checkerboard image,”World Congress on Intelligent Control and Automation,china,pp. 6789-6792,2008.

D.S. Lee.“Effective Gaussian Mixture Learning for Video Background Subtraction,”IEEE Transactions on Pattern Analysis and Machine Intelligence,pp. 827-832,2005.

R. Hartley,A. Zisserman.“Multiple view geometry,”Cambridge University Press,1 edition,2000.

M. Brown and D. G. Lowe,“Recognising Panoramas,”Proceedings of International Conference on Computer Vision,Nice,France,Vol. 2,pp. 1218-1225,2003.

【附件】

畫面21為二號攝影機所拍攝到的畫面；

畫面23為一號攝影機所拍攝到的畫面；

照片一為廣角鏡頭校正前的影像；

照片二為廣角鏡頭校正後的影像；

照片三穿牆型平順場景切換模組實施方法；

照片四直線型多攝影機平順場景切換方法執行結果；

照片五穿牆型多攝影機平順場景切換方法執行結果。

31．．．原始影像串流

32．．．影像校正模組

33．．．高斯背景模型建立模組

34．．．人員追蹤模組

35．．．平順場景切換模組

Claims (4)

1. 一種多攝影機平順場景切換之方法，其主要步驟包含：a.多攝影機所拍攝之影像視訊傳送到影像處理設備；b.使用影像校正模組將變形的影像畫面，校正回真實影像的線條長度與比例；c.以高斯背景模型模組建立所有攝影機拍攝區域之背景影像，利用影像處理技術中的背景相減法得到精確的移動人員前景影像；d.利用多重人員追蹤模組記錄影像中每一目標人員的行經路線；e.當目標人員進入事先規劃的平順場景切換區域時，透過平順場景切換模組運算，螢幕即時顯示攝影機間平順場景切換之畫面，其中該平順場景切換模組，係以透視變換(Homography)技術計算兩台攝影機間形變矩陣，將兩台攝影機的影像連接起來(image stitching)，或以影像形變的視訊轉換技術，利用內插演算法將兩台攝影機畫面連接起來，而該影像連接加入影像混合方法(image blending)可使得影像連接時不會受到燈光的干擾，畫面顯示更為自然，而該平順場景切換模組，而其中該影像形變的視訊轉換技術，係透過找出兩台攝影機畫面中相同的特徵點，利用特徵點的資訊如位置、長度，計算兩台攝影機畫面正規化的參數，包含了位移和水平、垂直大小縮放的參數，以垂直、水平大小縮放參數利用內插演算法計算，將兩台攝影機畫面影像轉換到相同的場景比例，以位移參數將兩台攝影機畫面影像連接。
2. 如申請專利範圍第1項所述之多攝影機平順場景切換之方 法，其中變形的影像畫面因廣角攝影機或其他可能之設備所產生均屬之。
3. 如申請專利範圍第1項所述之多攝影機平順場景切換之方法，其中真實影像的線條長度是以像素(Pixel)計算，可以和真實世界的長度(以公分計算)做等比例的轉換。
4. 如申請專利範圍第1項所述之多攝影機平順場景切換之方法，其中背景相減法係將輸入或校正後的影像與所建立的高斯背景模型模組相減或相除得到移動人員的前景影像。