TWI759657B

TWI759657B - 影像拼接方法及其相關監控攝影設備

Info

Publication number: TWI759657B
Application number: TW108144423A
Authority: TW
Inventors: 劉誠傑; 王彙智; 陳昶利; 黃兆談
Original assignee: 晶睿通訊股份有限公司
Priority date: 2019-12-05
Filing date: 2019-12-05
Publication date: 2022-04-01
Also published as: TW202123172A

Abstract

一種影像拼接方法，應用於具有一第一影像取得器與一第二影像取得器以取得一第一影像及一第二影像的一監控攝影設備。該影像拼接方法包含有偵測該第一影像內的複數個第一特徵單元及該第二影像內的複數個第二特徵單元，將該複數個第一特徵單元至少劃分為一第一群與一第二群、並將該複數個第二特徵單元至少劃分為一第三群，根據一辨識條件分析該複數個第一特徵單元和該複數個第二特徵單元以判斷該第一群與該第二群的其中一個群適配於該第三群，以及利用適配的該兩個群拼接該第一影像和該第二影像。

Description

影像拼接方法及其相關監控攝影設備

本發明係提供一種影像拼接方法及其相關監控攝影設備，尤指一種利用不具辨識圖案之標記特徵提高可偵測距離與系統適應性的影像拼接方法及其相關監控攝影設備。

監控攝影機若要取得大範圍的監控畫面，通常會將多個攝影單元以不同角度排列一起以面向監控區域。該些攝影單元的視野範圍彼此不同，只有監控畫面的邊緣視野會部份重疊。傳統的畫面拼接技術係在監控畫面的重疊區域設置標記特徵，利用重疊畫面內的標記特徵將多張小範圍監控畫面拼接成大範圍的監控畫面。標記特徵具有特殊的辨識圖案時，監控攝影機可根據辨識圖案判斷多張監控畫面的拼接方向及順序，其缺點是攝影單元的安裝高度有侷限。若攝影單元的安裝高度提高，可能難以辨認多張監控畫面內的標記特徵是否有相同的辨識圖案。因此，如何設計一種利用不具辨識圖案之標記特徵來進行畫面拼接且能提高可偵測距離畫面拼接技術，即為相關監控產業的發展課題之一。

本發明係提供一種利用不具辨識圖案之標記特徵提高可偵測距離與系統適應性的影像拼接方法及其相關監控攝影設備，以解決上述之問題。

本發明之申請專利範圍係揭露一種影像拼接方法，應用於具有一第一影像取得器與一第二影像取得器的一監控攝影設備。該第一影像取得器與該第二影像取得器分別用來取得一第一影像及一第二影像。該影像拼接方法包含有偵測該第一影像內的複數個第一特徵單元及該第二影像內的複數個第二特徵單元，將該複數個第一特徵單元至少劃分為一第一群與一第二群、並將該複數個第二特徵單元至少劃分為一第三群，根據一辨識條件分析該複數個第一特徵單元和該複數個第二特徵單元以判斷該第一群與該第二群的其中一個群適配於該第三群，以及利用適配的該兩個群拼接該第一影像和該第二影像。

本發明之申請專利範圍另揭露一種具有影像拼接功能的監控攝影設備，其包含有一第一影像取得器、一第二影像取得器以及一運算處理器。該第一影像取得器用來取得一第一影像。該第二影像取得器用來取得一第二影像。該運算處理器電連接該第一影像取得器與該第二影像取得器，用來偵測該第一影像內的複數個第一特徵單元及該第二影像內的複數個第二特徵單元，將該複數個第一特徵單元至少劃分為一第一群與一第二群、並將該複數個第二特徵單元至少劃分為一第三群，根據一辨識條件分析該複數個第一特徵單元和該複數個第二特徵單元以判斷該第一群與該第二群的其中一個群適配於該第三群，以及利用適配的該兩個群拼接該第一影像和該第二影像。

本發明之影像拼接方法所使用的第一特徵單元與第二特徵單元不具備特殊辨識圖案，故應用影像拼接方法的監控攝影設備能大幅提高可偵測距離及其偵測涵蓋區域。單張影像可能會和單張或複數張影像進行拼接，影像內偵測所得的特徵單元可能僅適用於拼接單張影像、或可能分別用來拼接多張影像。因此，本發明的影像拼接方法首先利用分群技術將每一張影像內的特徵單元都劃分成一個或多個群，然後在影像與影像之間進行群間適配，找出兩張影像進行合併時會用到的群。完成群間適配後，影像拼接方法再於這些群內進行特徵單元之配對，找出可配對的特徵單元及其相關轉換參數，便能據此執行影像拼接。

10:監控攝影設備

12:運算處理器

14:第一影像取得器

16:第二影像取得器

I1:第一影像

I2、I2’:第二影像

I3:合併影像

F1:第一特徵單元

F1a、F1b、F1c、F1d:第一特徵單元

F2:第二特徵單元

D1、D2、D3:距離

G1:第一群

G2:第二群

G3:第三群

G4:第四群

S300、S302、S304、S306、S308、S310、S312:步驟

第1圖為本發明實施例之監控攝影設備之功能方塊圖。

第2圖為本發明實施例之監控攝影設備取得之多張影像之示意圖。

第3圖為本發明實施例之影像拼接方法之流程圖。

第4圖至第8圖為本發明實施例之影像拼接記錄之示意圖。

第9圖為本發明另一實施例之影像拼接記錄之示意圖。

請參閱第1圖與第2圖，第1圖為本發明實施例之監控攝影設備10之功能方塊圖，第2圖為本發明實施例之監控攝影設備10取得之多張影像之示意圖。監控攝影設備10可包含多個影像取得器以及運算處理器12，本發明以第一影像取得器14與第二影像取得器16為例，然實際應用不限於此；監控攝影設備10可能包含三個或三個以上的影像取得器。第一影像取得器14與第二影像取得器16的視野範圍有部份重疊，分別用來取得第一影像I1和第二影像I2。運算處理器12可通過有線或無線方式電連接第一影像取得器14與第二影像取得器16，用來執行本發明之影像拼接方法，以拼接第一影像I1及第二影像I2。運算處理器12可以是監控攝影設備10的內建單元或外接單元，端視實際需求而定。

請參閱第1圖至第8圖，第3圖為本發明實施例之影像拼接方法之流程圖，第4圖至第8圖為本發明實施例之影像拼接記錄之示意圖。第3圖所述之影像拼接方法可適用於第1圖所示之監控攝影設備10。關於影像拼接方法，首先執行步驟S300，可先將第一影像I1與第二影像I2進行二值化處理，然後在二值化第一影像I1內偵測複數個第一特徵單元F1、以及在二值化第二影像I2內偵測複數個第二特徵單元F2，如第4圖所示。一般來說，第一特徵單元F1與第二特徵單元F2係屬人造特徵點，可以是特定形狀的立體物件、或是特定外觀的平面印刷圖案，其變化端視設計需求而定。若第一影像I1與第二影像I2為左右排列，第一特徵單元F1和第二特徵單元F2主要放置在影像的左右兩側；若第一影像I1與第二影像I2為上下排列，第一特徵單元F1和第二特徵單元F2則放置在影像的上下兩端，於此係以左右排列放置的實施態樣進行說明。

第一特徵單元F1與第二特徵單元F2可以是任意形狀的幾何圖案，例如圓形、或是如三角形或矩形之類的多邊形；影像拼接方法通常會偵測完整的幾何圖案進行辨識。或者，第一特徵單元F1與第二特徵單元F2也可以是使用者定義的特定圖案，例如動物圖案、或是汽車或建築物之類的物品圖案；影像拼接方法可能偵測完整的特定圖案進行辨識、也可能只偵測特定圖案的部份區域，如動物圖案的面部區域、或物品圖案的的頂端或底部區域進行辨識，其變化端視實際需求而定。

接著，執行步驟S302，將複數個第一特徵單元F1與複數個第二特徵單元F2分別劃分成多個群。以第一影像I1為例，影像拼接方法可先從複數個第一特徵單元F1任選一個，如第5圖所示的第一特徵單元F1a，並分別計算第一特徵單元F1a與第一特徵單元F1b、F1c、與F1d的距離D1、D2及D3。接著，影像拼接方法設定或自記憶單元(未繪製於圖中)提取門檻值，將距離D1、D2及D3分別相比於門檻值。門檻值是用來將多個特徵單元分類為不同群聚的參數。門檻值可由使用者手動設定或系統自動設定。設定門檻值的依據可以是影像尺寸、或特徵單元之間的距離。舉例來說，可從距離D1、D2與D3選取數值最小的距離D1作為基準，將最短距離D1加權調整後的值定義為門檻值；此定義方式能根據影像內兩特徵單元間的最短距離動態地決定門檻值，符合自動化設計趨勢。前揭的加權權重通常會大於1.0，然實際應用不限於此。根據上述實施例，使用者不需事先設定門檻值，只需設定加權權重後，監控攝影設備10會自動根據所偵測到之特徵單元間的距離而產生符合實際現況的門檻值。如此的設計可以讓使用者在設置特徵單元的位置時能夠有較大的彈性，提高使用上的便利性，亦可讓整個影像拼接方法的運作更加完善。

最短距離D1除了可作為門檻值的基準，亦可作為其它距離D2與D3的計量單位。舉例來說，若定義第一特徵單元F1a與第一特徵單元F1b之間的距離D1為一個單位長度，第一特徵單元F1a與第一特徵單元F1c之間的距離D2則可能表示為四個單位長度，第一特徵單元F1a與第一特徵單元F1d之間的距離D3則可能表示為五個單位長度。距離D2與D3相對於距離D1之間單位長度的比例係依實際情況而定。

步驟S302中，首先定義第一特徵單元F1a屬於第一群G1，接著將距離D1、D2及D3分別相比於門檻值。距離D1小於或等於門檻值，故第一特徵單元F1b歸類為與第一特徵單元F1a相同的第一群G1：距離D2與D3大於門檻值，故第一特徵單元F1c與F1d歸類為與第一特徵單元F1a不同的第二群G2(異於第一群G1的另一群)，如第6圖所示。本實施例係在第一影像I1的左右兩側分別與第二影像I2及另一影像(未繪製於圖中)進行拼接，故該些第一特徵單元F1至少分為兩個群。若第一影像I1在其三個側邊分別與三張影像進行拼接，則可將該些第一特徵單元F1分為三個或三個以上的群。第二特徵單元F2亦會如第一特徵單元F1的分群方法至少劃分為第三群G3與第四群G4，於此不再重複說明。

在第6圖所示實施態樣中，若將第一特徵單元F1a定義為第二群G2，第一特徵單元F1b因其距離D1小於或等於門檻值，會被歸類為與第一特徵單元F1a相同的第二群G2。第一特徵單元F1c與F1d因其距離D2與D3大於門檻值，則是歸類為與第一特徵單元F1a不同的第一群G1。特徵單元所屬群的編號僅是依判斷順序或使用者喜好決定，並未有特別的含意或限制，於此先行敘明。

以第一影像I1為例，分群是為了判斷那些第一特徵單元F1(如第二群G2)用來配合第二影像I2進行拼接、及判斷哪些第一特徵單元F1(如第一群G1)用來配合另一影像(未繪製於圖中)進行拼接，因此第一影像I1裡的第一群G1與第二群G2會分別位於第一影像I1的不同區域，可能是左右兩側、也可能是上下兩端，端視待拼接影像的來源與目的而定。第二影像I2裡的第三群G3與第四群G4也位於不同區域，分別用來配合第一影像I1及另一影像(未繪製於圖中)進行拼接。

接著，執行步驟S304，根據辨識條件分析複數個第一特徵單元F1和複數個第二特徵單元F2，判斷第一群G1與第二群G2的其中一個群是否適配於第三群G3或第四群G4。辨識條件可以是第一特徵單元F1與第二特徵單元F2的顏色、尺寸、形狀、數量與排列的其中之一或其組合。以顏色為例，若第一群G1 的第一特徵單元F1a與F1b為紅色，第二群G2的第一特徵單元F1c與F1d為藍色，第三群G3的第二特徵單元F2為藍色，第四群G4的第二特徵單元F2為黃色，影像拼接方法只要分析這些特徵單元的顏色特徵，就能快速判斷四個群中只有第二群G2適配於第三群G3。

以尺寸與形狀之組合為例，若第一群G1的第一特徵單元F1a與F1b為小型圓點，第二群G2的第一特徵單元F1c與F1d為中型方塊，第三群G3的第二特徵單元F2為中型方塊，第四群G4的第二特徵單元F2為大型三角形，影像拼接方法只要分析這些特徵單元的幾何圖案，也能快速判斷第二群G2適配於第三群G3。以排列為例，若第一群G1的第一特徵單元F1a與F1b為縱向排列，第二群G2的第一特徵單元F1c與F1d為橫向排列，第三群G3的第二特徵單元F2為橫向排列，第四群G4的第二特徵單元F2為斜向排列，影像拼接方法只要分析這些特徵單元的排列規則，便能快速判斷第二群G2適配於第三群G3。以數量為例，若第二群G2內第一特徵單元F1的數量相同於第三群G3內第二特徵單元F2的數量，但不同於第四群G4內第二特徵單元的F2的數量，影像拼接方法則判斷第二群G2適配於第三群G3。

特別一提的是，即便多個特徵單元符合同向排列之規則，該些特徵單元之間的間距也可以作為群與群是否適配的依據。假若多個第一特徵單元F1與多個第二特徵單元F2皆為橫向排列，但多個第一特徵單元F1之間距不同於多個第二特徵單元F2之間距、或兩間距差超出預定閥值，也會判定這兩個群不能彼此適配。

如果第一群G1與第二群G2都不能適配於第三群G3或第四群G4，執行步驟S306，影像拼接方法判斷第一影像I1與第二影像I2無法拼接。如果第一群G1與第二群G2的其中一個群可適配於第三群G3或第四群G4，例如第二群G2適配第三群G3，即表示第一影像I1裡第二群G2所在之區域和第二影像I2裡第三群G3所在之區域屬於兩影像I1及I2的視角重疊範圍，故可執行步驟S308，利用前述的辨識條件，在適配的這兩個群G2與G3找出可相互配對的至少兩個第一特徵單元F1和至少兩個第二特徵單元F2。以第7圖為例，係判斷第一特徵單元F1c配對於第三群G3內上方的第二特徵單元F2，及判斷第一特徵單元F1d配對於第三群G3內下方的第二特徵單元F2。

完成群與群之間的適配後，影像拼接方法會進一步根據特徵單元的顏色、尺寸、形狀、數量與排列的其中之一或其組合，從適配的第二群G2及第三群G3中找出能相互配對的第一特徵單元F1與第二特徵單元F2。不能相互配對的第一特徵單元F1與第二特徵單元F2不再應用於後續的影像拼接方法。最後，執行步驟S310及步驟S312，分析相互配對的至少兩個第一特徵單元F1與至少兩個第二特徵單元F2之間差異來取得轉換參數，以利用轉換參數拼接第一影像I1和第二影像I2，得到合併影像I3，如第8圖所示。其中，影像拼接方法可利用均方誤差(mean-square error,MSE)或其它現有數學模型計算出轉換參數，再利用現有技術以轉換參數拼接第一影像和第二影像來得到合併影像。中國專利CN 102663720係為一種基於最小均方誤差準則的圖像拼接方法，其揭露利用先現有技術提取特徵點進行粗配准，然後在粗配准拼接範圍計算重合區域的均方誤差值以找出最佳重合區域，便能利用最佳重合區域拼接圖像X和Y。另外，台灣專利TW I526987係為一種基於涵蓋視覺內容最大化之即時影像拼接方法，其揭露先在兩張輸入影像進行影像特徵點的匹配及追蹤，藉以獲得特徵點，然後利用所獲得特徵點計算單應性轉移矩陣(意即前揭之轉換參數)，最後依據單應性轉移矩陣將輸入影像定位在已拼接影像進而完成影像拼接。進一步來說，影像拼接方法的其它現有數學模型會在完成特徵匹配後使用隨機抽樣一致(RANSAC)演算法計算兩張影像的平面投影轉換來得到轉換參數，接著轉換參數即能用來拼接影像，例如網頁資料(https：//tigercosmos.xyz/post/2020/05/cv/image-stitching/)；如何藉助電腦實施轉換參數計算與影像合併可參考此網頁資料。

前述實施例中，監控攝影設備10具有三個或三個以上的影像取得器時，影像拼接方法會將複數個第一特徵單元F1和複數個第二特徵單元F2各自至少劃分成兩個群，讓第一影像I1與第二影像I2都能與其左右兩側的影像進行拼接；然而，本發明的影像拼接方法亦可應用在影像只有單側與其它影像進行拼接的情況。請參閱第9圖，第9圖為本發明另一實施例之影像拼接記錄之示意圖。此實施例中，若第二影像取得器16照向監控攝影設備10之視野邊緣取得第二影像I2’，影像拼接方法的步驟S302僅在第二影像I2’靠近第一影像I1的一側劃分一個群，意即從複數個第二特徵單元F2的左側群聚中劃出第三群G3；第二影像I2’的右側不與其它影像拼接，故複數個第二特徵單元F2的右側群聚不進行分群。

接續步驟即如前揭實施例所述，影像拼接方法判斷第一影像I1係以第一群G1或第二群G2適配於第二影像I2’的第三群G3。判斷結果若出現第一群G1不適配第三群G3，表示第一影像I1的左側係搭配另一張影像，而非拼接於第二影像I2’；若判斷第二群G2適配第三群G3，即表示第一影像I1的右側可拼接於第二影像I2’的左側。

在一種特殊的實施態樣中，監控環境內可能有多個特徵單元，但影像取得器因視角關係無法照到全部的特徵單元。以第9圖為例，第一影像取得器 14在第一影像I1的右側只拍攝到兩個第一特徵單元F1，但第二影像取得器16在第二影像I2的左側能拍攝到三個第二特徵單元F2，意即單個第二特徵單元F2相隔另兩個第二特徵單元F2的距離較遠，第一影像取得器14之視野無法涵蓋到全部第二特徵單元F2。影像拼接方法仍可在步驟S302先行將第二影像I2裡的第二特徵單元F2分成兩個群，然後在第二群G2內第一特徵單元F1數量不同於第三群G3內第二特徵單元F2數量的情況下，以顏色、尺寸與形狀等作為辨識條件，執行步驟S304的群間適配與步驟S308的群內配對。換句話說，特徵單元的顏色、尺寸、形狀、數量與排列可以在不同執行階段(意即群間適配和群內配對)有多種變化，端視設計需求與實際應用決定。

綜上所述，本發明的影像拼接方法所使用的第一特徵單元與第二特徵單元不具備特殊辨識圖案，故應用影像拼接方法的監控攝影設備能大幅提高可偵測距離及其偵測涵蓋區域。單張影像可能會和單張或複數張影像進行拼接，影像內偵測所得的特徵單元可能僅適用於拼接單張影像、或可能分別用來拼接多張影像。因此，本發明的影像拼接方法首先利用分群技術將每一張影像內的特徵單元都劃分成一個或多個群，然後在影像與影像之間進行群間適配，找出兩張影像進行合併時會用到的群。完成群間適配後，影像拼接方法再於這些群內進行特徵單元之配對，找出可配對的特徵單元及其相關轉換參數，便能據此執行影像拼接。相比於先前技術，本發明的影像拼接方法與監控攝影設備利用分群技術先進行群間適配、再依據群間適配結果進行群內特徵配對，可有效擴增特徵值之多樣性，提高拼接速度與準確度。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

S300、S302、S304、S306、S308、S310、S312:步驟

Claims

一種影像拼接方法，應用於具有一第一影像取得器與一第二影像取得器的一監控攝影設備，該第一影像取得器與該第二影像取得器分別用來取得一第一影像及一第二影像，該影像拼接方法包含有：偵測該第一影像內的複數個第一特徵單元及該第二影像內的複數個第二特徵單元；將該複數個第一特徵單元至少劃分為一第一群與一第二群、並將該複數個第二特徵單元至少劃分為一第三群；根據一辨識條件分析該複數個第一特徵單元和該複數個第二特徵單元以判斷該第一群與該第二群的其中一個群適配於該第三群；以及利用適配的該兩個群拼接該第一影像和該第二影像。
如請求項1所述之影像拼接方法，其中將該複數個第一特徵單元至少劃分為該第一群與該第二群之步驟係包含：計算該複數個第一特徵單元中任一第一特徵單元與其它第一特徵單元的多筆距離；將該多筆距離分別相比於一門檻值；以及根據該些比較結果判斷各第一特徵單元屬於該第一群或該第二群。
如請求項2所述之影像拼接方法，另包含：以該多筆距離中數值最小的一距離經加權調整後定義為該門檻值。
如請求項2所述之影像拼接方法，其中該第一特徵單元屬於該第一群時，其距離小於或等於該門檻值的一個或多個第一特徵單元歸類為該第一群，其距離大於該門檻值的一個或多個第一特徵單元則歸類為該第二群。
如請求項1所述之影像拼接方法，其中該辨識條件為該複數個第一特徵單元和該複數個第二特徵單元的顏色、尺寸、形狀、數量與排列的其中之一或其組合。
如請求項1所述之影像拼接方法，其中利用適配的該兩個群拼接該第一影像和該第二影像之步驟係包含：在適配的該兩個群中，根據該辨識條件找出可相互配對的至少兩個第一特徵單元與至少兩個第二特徵單元；分析該至少兩個第一特徵單元與該至少兩個第二特徵單元之差異以取得一轉換參數；以及利用該轉換參數拼接該第一影像和該第二影像。
如請求項6所述之影像拼接方法，其係先判斷該第一群或該第二群是否適配該第三群，再從適配的該兩個群以該辨識條件進行特徵單元之相互配對。
如請求項1所述之影像拼接方法，其中該第一群與該第二群分別位於該第一影像內的不同區域。
如請求項1所述之影像拼接方法，其中該第二群適配於該第三群時，該第一影像裡該第二群所在之區域和該第二影像裡該第三群所在之區域係為兩影像的畫面重疊範圍。
如請求項9所述之影像拼接方法，其中該影像拼接方法利用該第一群與該第二群的其中一個群適配於該第三群的組合拼接該第一影像與該第二影像，並且利用該第一群與該第二群的另一個群將該第一影像與另一張影像拼接。
一種具有影像拼接功能的監控攝影設備，其包含有：一第一影像取得器，取得一第一影像；一第二影像取得器，取得一第二影像；以及一運算處理器，電連接該第一影像取得器與該第二影像取得器，執行如請求項1至請求項10之其中之一或其組合所述之影像拼接方法。