TW201926244A - 即時視訊畫面拼接方法 - Google Patents
即時視訊畫面拼接方法 Download PDFInfo
- Publication number
- TW201926244A TW201926244A TW106141636A TW106141636A TW201926244A TW 201926244 A TW201926244 A TW 201926244A TW 106141636 A TW106141636 A TW 106141636A TW 106141636 A TW106141636 A TW 106141636A TW 201926244 A TW201926244 A TW 201926244A
- Authority
- TW
- Taiwan
- Prior art keywords
- points
- feature points
- feature point
- feature
- image
- Prior art date
Links
Landscapes
- Image Processing (AREA)
Abstract
本發明係揭露一種即時視訊畫面拼接方法，係包含五個部分: (1)影像前處理: 採用雙線性插值法(Bilinear Interpolation)來進行影像縮減取樣以降低後續處理時間；(2)尋找特徵點: 使用SIFT法搜尋特徵點，透過RANSAC法剃除異常的特徵點，接著以DBSCAN法求得畫面中每一特徵點群聚且計算其核心點給予後續處理使用； (3)計算最佳透視變換矩陣: 計算出畫面影像的自適應性場景分群線且依核心點分佈位置分成兩群，並計算此兩群核心點數量之比值，依此比值判斷以篩選出能夠得到較佳透視變換矩陣的特徵點集合，將之存入候選特徵點集合暫存器中，接著從候選特徵點集合中選取具有特徵點數量最多之集合，並計算其此特徵點集合的單應性矩陣以做為最佳透視變換矩陣；(4)場景校正暨補償: 使用取得之最佳透視變換矩陣針對匹配過後的全張影像進行校正暨補償；(5)視訊拼接: 依特徵點分佈將影像劃分成重疊區域與非重疊區域，使用多頻帶融合法對重疊區域進行拼接，而使用線性融合法對非重疊區域進行拼接，最後再將拼接後的兩區域進行疊加以產生最後拼接結果。
Description
本發明是有關於一種畫面拼接方法，特別是有關於一種能產出高品質拼接畫面的即時視訊畫面拼接方法。
現今監控攝影機以廣泛的應用在各式場所，同一區域中有多台攝影機也相當常見，但監控的效益卻未隨著攝影機增加而逐漸增強反而隨之下降，原因是在監控畫面中子畫面增加導致監控人員容易發生空間錯亂現象，且並無法專注於監視所有子畫面而造成視覺疲憊現象，所以監控畫面拼接系統在現今環境下是有必要實行的。
再者近年來恐怖組織猖獗使得許多國家紛紛受到嚴重的損害，使得在人群較多的大型公開場合如大型廣場及公園中的監控攝影機數量也逐漸上升，使得安全監控領域格外受到大家關注，因此有關安全監控的電腦視覺技術紛紛問世如異物闖入偵測、人臉偵測暨辨識、遺留物偵測暨辨識等，而各項偵測暨辨識系統也會因為監控畫面並未經過整理而產生許多狀況，本發明之高品質拼接畫面能夠給予上述電腦視覺系統當作前級影像輸入，使得各項偵測暨辨識系統因視野增廣而強化其功能與應用範圍。
傳統拼接方法主要分成兩種方式，第一類則為使用單張影像進行拼接縫合現今已廣泛的應用在行動裝置中，雖然拼接接縫處已達到幾乎完全貼合，但其運算時間通常需要數秒才能夠完成，因此並無法實行在現行的監控攝影機視訊拼接中。第二類則為魚眼攝影機為主的全景拼接攝影機，此類型的拼接方法是透過固定攝影機位置來減少影像重疊區域拼接觸的誤差，但並無法精確且細緻的呈現其拼接結果，且魚眼攝影機拍攝雖然能夠涵蓋大部分的視角，但影像扭曲程度非常嚴重，扭曲的影像並無法給予後續電腦視覺之偵測暨辨識運用。
有鑑於上述習知之問題，本發明的目的在於提供一種能產出高品質拼接畫面的即時視訊畫面拼接方法，用以解決習知技術中所面臨之問題。
基於上述目的，本發明係提供一種即時視訊畫面拼接方法，係包含下列步驟：對複數個輸入影像以雙線性內插法(Bilinear Interpolation)進行縮減取樣，將複數個輸入影像正規化以產生複數個正規化輸入影像；對複數個正規化輸入影像以SIFT特徵點偵測演算法搜尋複數個特徵點；對複數個特徵點以RANSAC演算法篩選複數個特徵點，剃除各正規化輸入影像中非重疊區域之無法匹配的些特徵點；對複數個正規化輸入影像以DBSCAN演算法求得複數個特徵點群聚及其核心點；從複數個核心點之各y座標中提取最大y座標及最小y座標並對兩者作平均計算，據以得到場景分群線之y座標位置；依據場景分群線將複數個核心點分作上特徵點集合及下特徵點集合，且計算上特徵點集合之特徵點數量及下特徵點集合之特徵點數量再作比值計算，符合預設比值範圍之上特徵點集合及下特徵點集合作為候選矩陣；計算各候選矩陣中之特徵點匹配數量，從中選出具有最多之特徵點匹配數量之候選矩陣以作為最佳透視變換矩陣(Perspective Transform)；利用最佳透視變換矩陣對複數個輸入影像中之目標影像進行影像校正處理，透視變換包含放大、平移與畫面旋轉處理，且藉由投射線性變換關係執行三維變形；依複數個特徵點之分布將複數個輸入影像劃分成重疊區域與非重疊區域，使用多頻帶融合法(Multi-Band Blending)對重疊區域進行拼接，而使用線性融合法(Linear Blending)對非重疊區域進行拼接，最後再將拼接後的重疊區域及非重疊區域進行疊加以產生拼接影像。
較佳地，進行剔除無法匹配之些特徵點時，可經由分析出該複數個特徵點之分布，再據以估計出離群點及內群點合理分布之模型，在剔除不合理之離群點。
較佳地，對應提高估算合理分布之模型的正確率，可提高迭代次數，如下列公式所示：，其中，P
為計算合理群的機率，K
為迭代次數，O
為內群點數量，M
為合理分布之模型所選定的特徵點數量。
較佳地，將複數個核心點分作上特徵點集合及下特徵點集合之分群公式如下所示： 其中，TSM
為自適應場景線數值，Dp
為以DBSCAN演算法求得之特徵點群聚，p
為Dp
中之特徵點，Fu
為上特徵點集合，Fd
為下特徵點集合。
較佳地，候選矩陣可符合下列條件式： IF, THENDp
is stored intoHC
其中，HC
為候選矩陣，Rmin
為預設比值範圍之下限，Rmax
為預設比值範圍之上限，Num
(Fu
)為上特徵點集合之特徵點數量，Num
(Fd
)為下特徵點集合之特徵點數量。
較佳地，從複數個核心點之各x座標中提取最大x座標及最小x座標，並據以將該輸入影像劃分成重疊區及非重疊區，其符合下列條件式：其中，Img
(x
,y
)為輸入影像，XMin
(p
)為最小x座標，XMax
(p
)為最大x座標，Dp
為以DBSCAN演算法求得之特徵點群聚，p
為Dp
中之特徵點。
承上所述，本發明之即時視訊畫面拼接方法可對環境具自適應(Adaptive)能力以進行拼接且動態地計算重疊區域，拼接結果為直觀影像輸出，如此不僅有助於監控人員之觀察力，且對於後續智慧偵測系統應用可給予輔助效果。
為利瞭解本發明之特徵、內容與優點及其所能達成之功效，茲將本發明配合圖式，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍。
本發明之優點、特徵以及達到之技術方法將參照例示性實施例及所附圖式進行更詳細地描述而更容易理解，且本發明或可以不同形式來實現，故不應被理解僅限於此處所陳述的實施例，相反地，對所屬技術領域具有通常知識者而言，所提供的實施例將使本揭露更加透徹與全面且完整地傳達本發明的範疇，且本發明將僅為所附加的申請專利範圍所定義。
請參閱第1圖，其係為本發明之即時視訊畫面拼接方法之流程圖。如圖所示，本發明之即時視訊畫面拼接方法係包含下列步驟：在步驟S1中：影像前處理；在步驟S2中：尋找特徵點；在步驟S3中；計算最佳透視變換矩陣；在步驟S4中：場景校正暨補償；在步驟S5中：視訊拼接處理。
更進一步地，在步驟S1中，更包含了步驟S11：縮減取樣；更詳細地說，由於現今主流監控攝影機解析度逐漸往更高解析度發展，而對影像或視訊處理時，高解析度的影像其資訊量雖豐富，但所耗費的處理時間也相對的很高，然而實際上某些處理運算中並不需要這麼多的像素。故本發明在視訊影像輸入後，首先將影像畫面透過雙線性內插法(Bilinear Interpolation)進行縮減取樣，這是由於雙線性內插法具有保留適當的邊緣資訊與較少的計算量，如此不僅能將輸入的攝影機畫面進行一致性的正規化處理，且可以大幅降低後續特徵點偵測處理的時間。
而，在步驟S2中更包含了步驟S21：使用SIFT進行特徵點偵測、步驟S22：使用RANSAC去除匹配錯誤特徵點及步驟S23：使用DBSCAN求取特徵點群聚中的核心點。
續言之，更詳細地說，特徵點偵測是圖片拼接方法中一個非常重要的步驟，主要是為了有效解決拼接部分的視差問題，因此通常會針對特徵點處理加以改良，使得畫面中能夠有更多且更精確的特徵點匹配，而透過複雜的運算是能達到此目的，但相對地必須花費更多計算時間，因此較無法將其應用於即時視訊拼接處理。為避免使用傳統影像特徵點處理所需高時計算複雜度的演算法，並降低運算量以適用於即時視訊拼接，本發明之即時視訊畫面拼接方法提出了透過分析特徵點分布以尋找最佳透視變換矩陣，為了克服同一拍攝空間環境下之畫面所產生水平、垂直及旋轉角度上的差異，及找出畫面上能夠拼接的範圍，所以必須透過偵測影像中的特徵點匹配給予後續影像校正使用，然若畫面上重疊區域較窄時，單應性矩陣(Homography Matrix)的計算會更為困難且穩定性會更差，原因是畫面重疊區域越少而所能偵測到的特徵點匹配數量越少，對於沒有計算出特徵點匹配的區域矩陣則容易被忽略掉，以致造成校正矩陣變形只傾向於密集特徵點匹配位置而最後產生偏差的校正結果，因此必須透過更精確的特徵點偵測演算法來找尋正確的特徵點以得到較正確的校正結果。
其中，如步驟S21，使用SIFT特徵點偵測演算法，它建構出多層金字塔模型來強健尺度不變性的偵測，在描述子中透過統計出區域內特徵點主方向以給予旋轉不變性而達更穩定的效果，公式(1)示出區域旋轉角度θ
(為向量資訊的方向)，L
(x, y
)表示輸入影像I
(x
,y
)的Laplace of Gaussian，G
(x
,y
,σ
)為Gaussian函數。
(1)
若特徵點匹配後的結果並不是相當穩定，經常出現匹配錯誤的現象，原因是一般監控攝影機為了能夠拍攝到視野較廣的場景，這使得同一空間環境下的攝取畫面之重疊區域較小，導致重疊區域的特徵點描述子容易與非重疊區域中的特徵點產生錯誤的匹配，以致後續得到錯亂的影像校正。
如步驟S22，為了解決上述問題，故使用RANSAC演算法進行適當特徵點群的篩選，將非重疊區域中不可能匹配的特徵點進行進一步的剃除，透過分析出影像特徵點分布的資料數據以估計出離群點及內群資料點合理分布的模型，再剃除不合理的離群點，有時為了提高估算合理模型的正確率，必須要提高迭代次數，如公式(2)，其中P
為計算合理群的機率，K
為迭代次數，O
為內群點數量，M
則為模型所選定的點數量。
，(2)
在獲得適當的特徵點後，由於特徵點的屬性通常為邊緣點或角點，所以特徵點時常有群聚現象產生，它對於後續找尋最佳透視變換矩陣時常使得處理上出現錯誤的判定，因此，如步驟S23，本發明使用DBSCAN演算法執行特徵點群聚分析來篩選特徵點，得出群聚特徵點中的核心點，並將之儲存至特徵點集合中以利於後續處理。
而，在步驟S3中更包含了步驟S31：計算自適應場景分群線並將特徵點分群、步驟S32：計算兩群特徵點集合比值，若符合閥值條件則存入候選特徵點集合暫存器及步驟S33：挑選具有特徵點數量最多之集合以計算單應性矩陣作為最佳透視變換矩陣。
續言之，更詳細地說，為了能夠達到即時處理視訊拼接的效果，本發明針對固定式監控攝影機畫面計算出其最佳透視變換矩陣，後面影像序列皆透過此最佳透視變換矩陣進行影像校正，而不需再進行較高計算複雜度的特徵點偵測處理，故能達到即時處理的效果。
如步驟S31，在前述得出群聚特徵點的核心點後，接著進行自適應場景分群線的計算，由於監控攝影機架設的環境在正常使用的情況下，同一空間環境的攝影機水平位置並不一致，而此狀況會影響到特徵點分布的結果，且對於後續篩選候選特徵點集合時會產生相當程度的影響，所以在此要先計算出具自適應環境的場景分群線，正確地將特徵點分成上群集合及下群集合，假設Dp
為DBSCAN分群後之特徵點集合，p
為Dp
中之一點，接著提取特徵點集合中y
座標之最大值YMax
(p
)及最小值YMin
(p
)進行平均計算，得到場景分群線的y座標位置YSM
，如公式(3)。
(3)
如步驟S32，經由上述步驟後獲得自適應場景分群線以區分Fu
、Fd
兩特徵點集合，給予後續計算特徵點分佈使用，分群公式如(4)所示，TSM
為自適應場景線數值，對Dp
集合中的特徵點進行分類，如圖6所示，紅色圈表示Fu
集合、黃色圈表示Fd
集合。
(4)
由於場景中特徵點分佈會影響單應性矩陣，經深入分析暨實驗發現若特徵點分佈集中於某些區域中，則單應性矩陣則會傾向該特徵點集中區塊，以致整個校正畫面呈現不合理且拼接區域容易造成破碎現象，為了找尋到特徵點分佈最均勻之候選特徵點集合，將Fu
、Fd
兩群數量統計再計算兩群比值，判斷若比值是否介於Rmin
~Rmax
之間，Num
(Fu
)為Fu
之特徵點數量，Num
(Fd
)為Fd
之特徵點數量，若符合條件公式(5)，則將此候選特徵點集合(候選矩陣)存入候選矩陣集合HC
。
IF, THENDp
is stored intoHC
(5)
如步驟S33，若符合條件公式(5)而選入候選矩陣(指候選特徵點集合HC
)集合中的數量達到設定目標後，則開始進行最佳透視變換矩陣的挑選，選取條件主要是考量特徵點的匹配數量與平均分佈，因此挑選處理主要是從候選矩陣集合中計算各矩陣之特徵點匹配數量並選取最多數量的矩陣，將其形成單應性矩陣做為最佳透視變換矩陣，如公式(6)所示，其中Num
(HC
(i
)) 代表計算矩陣HC
(i
) 之特徵點匹配數量的函數，MHC
代表候選矩陣集合HC
內之矩陣總數量，HC
(ω
) 代表最多特徵點匹配數量的矩陣，HCbest
代表所選取之最佳透視變換矩陣。上述選取原因是若候選矩陣中的特徵點分佈較為平均分佈，則所計算出來的單應性矩陣較不容易歪斜，而特徵點匹配數量越多則能夠使得單應性矩陣更為穩定，執行校正時則較不容易忽略其他區域以致能產生較好的效果。
HCbest
=HC
(ω
)，ω
= arg maxNum
(HC
(i
))，i
= 1，……..，MHC
(6)
在步驟S4中，更包含了步驟S41：使用最佳透視變換矩陣針對匹配過後的影像進行校正暨補償；一般而言，透視變換(Perspective Projection)與仿射變換(Affine Transformation)均用於圖像校正，雖然相鄰影像畫面間的變化不大，但仿射變換需指定三點穩定的特徵點為矯正點，然拍攝畫面常因內含多移動物體而影響穩定特徵點的選取，而矯正結果會被所選擇點的優劣所影響。因此本發明採用透視變換並結合最小中位數平方(Least-Median of Squares， LMedS)來選取較為安穩的特徵點以做為矯正點，此方法雖然有較高的容離值(又稱崩潰點，Breakdown Point) (約50%，而50%是所有穩健迴歸估計量中可達到的最高容離值，表示離群特徵點的極端值對於LMedS的影響很小)，表示較不易受到離群特徵點影響參數，可以有效地歸類資料中的多重離群點並且篩選排除，以避免影響到轉換矩陣，但由於監控攝影機所拍攝影像畫面之重疊區域較小，這表示所能偵測到的特徵點數量有限，且容易因為背景建築物的邊緣點過於強烈而導致特徵點過度集中於某些區域，使得最小中位數平方所獲得的矩陣參數接為離群位置點，先前透過DBSCAN篩選剃除掉同一區域中大多數的邊緣特徵點而只保留區域內的核心點，再透過搜尋Fu
、Fd
兩特徵點集合中比值接近平均的特徵點集合，如此可提供更有效且穩定的單應性矩陣。
當獲得最佳透視變換矩陣後，本發明對目標影像進行影像校正處理，透視變換主要包含放大、平移與畫面旋轉處理，藉由投射線性變換關係執行三維變形，基於射影幾何性質，射影變換並不保持大小和角度但會保持重合關係和交比，如公式(7):
(7)
式中x
和y
為兩畫面中重疊像素點Pi
的透視點，Kx
與Ky
為內部參數矩陣，投射線在笛卡兒座標下則為非線性變換，故無法透過矩陣乘法執行透視射影所必需的除法運算，Hxy
如公式(8):
(8)
式中R
為x
與y
的旋轉矩陣，n
與d
分別表示平面的法向量與到平面之距離，t
為x
至y
的平移向量，變換處理如公式(9):
(9)
上式最少需要4個以上的匹配點才可得出8個未知數。若要求做到圖像校正、圖像對齊或圖像之間的相機運動計算（旋轉和平移），則需使反投影公式(10)的誤差為最小，由於單應性矩陣的尺度可變，所以公式 (10) 需被正規化以使得h33
= 1。
(10)
本發明使用最小中位數平方法(LMedS)來獲得那8個未知數，LMedS演算法如下所述。
由公式(10)得知，在此需求出從圖像轉換之單應性矩陣中的8項未知數，此8項未知數亦為特徵點群中的四點，在此使用最小中位數平方來求得此解，作法為先將所有的資料進行排序，在取中間區塊的數值，對此區塊分別計算各組點到線之距離平方值，在挑選最小的資料組，而此資料組則為所需要的未知數，此法之流程如公式(11)、(12)、(13)所示:
(11)
式中li
為a
與b
之線段，ai
與bi
分別為任意之兩點。
(12)
此式為計算點到線之距離，式中r
為殘餘量(Residual)。
(13)
上式中Mj
為上述兩公式 (11) & (12) 計算完之結果，n
為資料點總組數，l
為取來畫線之總組數，pj
為取點之距離，經由此公式求得之數值即為單應性矩陣中所需的未知參數。
而，在步驟S5中更包含了步驟S51：使用多頻帶融合法(Multi-Band Blending)對重疊區域進行拼接及步驟S52：使用線性融合法(Linear Blending)對非重疊區域進行拼接。
續言之，在上述所得之最佳透視變換矩陣，將用來對後面影像序列(視訊)進行影像校正，而不需對每一張畫面影像再進行較高計算複雜度的特徵點偵測處理，故能大幅降低整體處理時間； 此外，對於拼接(Stitching) 處理上，則依特徵點分佈找尋Dp
特徵點集合中x座標的最小值XMin
(p
)與最大值XMax
(p
)，將
影像Img
(x, y
)劃分成重疊區overlap
(x, y
)與非重疊區non-overlap
(x, y
)，如公式(14)，式中Dp
為DBSCAN分群後之特徵點集合； 重疊區使用多頻帶融合(Multi-Band Blending)法處理較容易產生扭曲的部分，而非重疊區則使用計算複雜度較低的線性融合(Linear Blending)法處理較不易發生破碎的區域，如此可提高執行速度且能得出較平滑的拼接結果。本發明藉上述方式來達到即時視訊拼接的效果。
(14)
如步驟S51，由於重疊區域中常發生視差現象而容易產生扭曲，所以使用Multi-Band Blending演算法對影像進行細緻的拼接處理，在此將輸入影像對(左、右張影像)中的基本影像與校正完成的目標影像，先分割出各自重疊區域overlapi
(x
,y
)，再透過公式(15)建構出overlapσ i
(x
,y
)，式中i
為輸入影像的數量，gσ
(x, y)為高斯模糊函數，* 表示卷積運算(Convolution)。
(15)
接著將不同尺度空間所獲得overlapi kσ
(x
,y
)與overlapi (k
+1)σ
(x
,y
) 相減得到Bi (k
+1)σ
(x
,y
)，如公式(16)所示，式中k
為頻帶數量，Bi (k
+1)σ
(x
,y
)為尺度空間[k, (k+1)σ]中的空間域資訊。
(16)
公式(17)中Wi (k
+1)σ
則為尺度[k
, (k
+1)σ
]中的遮罩權重值，在此使用遮罩權重值Wi kσ
(x
,y
)與高斯模糊函數gσ
(x
,y
)進行卷積運算。
(17)
公式(18)表示該尺度空間k
中的空間域資訊Bi kσ
(x
,y
)與遮罩權重值Wi kσ
(x, y)使用對應的融合權重進行拼接運算，式中overlapmulti kσ
(x
,y
)為該尺度空間k
中的拼接結果。
(18)
重疊區影像則透過高頻帶(較小的k
) 融合將影像中的細節部分加以拼接，而低頻帶(較大的k
) 融合則將大範圍區域如廣域的色彩及色調區域加以復原，最後再將多個頻帶進行疊加。
如步驟S52，非重疊區則使用計算複雜度較低的線性融合(Linear Blending) 演算法處理較不易發生破碎的區域，如此可提高執行速度且能得出較平滑的拼接結果。非重疊區域之拼接處理主要是將拼接完成的重疊區域分別與基本畫面及目標畫面的非重疊區進行Linear Blending拼接，進而能夠獲得完整影像拼接結果，公式(19)是透過提取拼接影像寬度Widthimg
與當前像素點位置Widthtarget
而計算出權重值α
； 公式(20)是透過α
將重疊區像素overlap
(x
,y
)與重疊區之左畫面像素(non-overlapL
(x
,y
))進行線性拼接並暫存至Tempimg
(x
,y
)給予後續處理。接著將Tempimg
(x
,y
)與重疊區之右畫面像素(non-overlapR
(x
,y
))進行最後拼接處理以獲得結果影像result
(x
,y
)，如公式(21)所示。圖8示出非重疊區之拼接處理，圖(a)為重疊區(圖7(e))與基本畫面之非重疊區(就是non-overlapL
(x
,y
))之線性拼接結果；圖(b)為圖(a)與目標畫面的非重疊區(就是non-overlapR
(x
,y
))之線性拼接結果(就是最後拼接結果)。
(19)
(20)
(21)
承上所述，本發明之即時視訊畫面拼接方法可對環境具自適應(Adaptive)能力以進行拼接且動態地計算重疊區域，拼接結果為直觀影像輸出，如此不僅有助於監控人員之觀察力，且對於後續智慧偵測系統應用可給予輔助效果。
以上所述之實施例僅係為說明本發明之技術思想及特點，其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施，當不能以之限定本發明之專利範圍，即大凡依本發明所揭示之精神所作之均等變化或修飾，仍應涵蓋在本發明之專利範圍內。
S1至S52‧‧‧步驟
第1圖係為本發明之即時視訊畫面拼接方法之流程圖。
Claims (6)
- 一種即時視訊畫面拼接方法，係包含下列步驟： 對複數個輸入影像以雙線性內插法進行一縮減取樣，將該複數個輸入影像正規化以產生複數個正規化輸入影像； 對該複數個正規化輸入影像以SIFT特徵點偵測演算法搜尋複數個特徵點； 對該複數個特徵點以RANSAC演算法篩選該複數個特徵點，剃除各該正規化輸入影像中非重疊區域之無法匹配的該些特徵點； 對該複數個正規化輸入影像以DBSCAN演算法求得複數個特徵點群聚及其核心點； 從該複數個核心點之各y座標中提取一最大y座標及一最小y座標並對兩者作平均計算，據以得到一場景分群線之y座標位置； 依據該場景分群線將該複數個核心點分作上特徵點集合及下特徵點集合，且計算該上特徵點集合之特徵點數量及該下特徵點集合之特徵點數量再作比值計算，符合一預設比值範圍之該上特徵點集合及該下特徵點集合作為候選矩陣； 計算各該候選矩陣中之特徵點匹配數量，從中選出具有最多之該特徵點匹配數量之該候選矩陣以作為最佳透視變換矩陣； 利用該最佳透視變換矩陣，以透視變換及最小中位數平方對該複數個輸入影像中之一目標影像進行影像校正處理，該透視變換包含放大、平移與畫面旋轉處理，且藉由投射線性變換關係執行三維變形； 依該複數個特徵點之分布將該複數個輸入影像劃分成重疊區域與非重疊區域，使用多頻帶融合法對該重疊區域進行拼接，而使用線性融合法對該非重疊區域進行拼接，最後再將拼接後的該重疊區域及該非重疊區域進行疊加以產生一拼接影像。
- 如申請專利範圍第1項所述之即時視訊畫面拼接方法，其中進行剔除無法匹配之該些特徵點時，經由分析出該複數個特徵點之分布，再據以估計出離群點及內群點合理分布之模型，在剔除不合理之離群點。
- 如申請專利範圍第2項所述之即時視訊畫面拼接方法，其中對應提高估算合理分布之模型的正確率，係提高迭代次數，如下列公式所示：，其中，P 為計算合理群的機率，K 為迭代次數，O 為內群點數量，M 為合理分布之模型所選定的特徵點數量。
- 如申請專利範圍第1項所述之即時視訊畫面拼接方法，其中將該複數個核心點分作該上特徵點集合及該下特徵點集合之分群公式如下所示：其中，TSM 為自適應場景線數值，Dp 為以DBSCAN演算法求得之該特徵點群聚，p 為Dp 中之該特徵點，Fu 為該上特徵點集合，Fd 為該下特徵點集合。
- 如申請專利範圍第1項所述之即時視訊畫面拼接方法，其中該候選矩陣係符合下列條件式： IF, THENDp is stored intoHC 其中，H C為候選矩陣，Rmin 為該預設比值範圍之下限，Rmax 為該預設比值範圍之上限，Num (Fu )為該上特徵點集合之特徵點數量，Num (Fd )為該下特徵點集合之特徵點數量。
- 如申請專利範圍第1項所述之即時視訊畫面拼接方法，其中從該複數個核心點之各x座標中提取一最大x座標及一最小x座標，並據以將該輸入影像劃分成該重疊區及該非重疊區，其符合下列條件式：其中，Img (x ,y )為該輸入影像，XMin (p )為該最小x座標，XMax (p )為該最大x座標，Dp 為以DBSCAN演算法求得之該特徵點群聚，p 為Dp 中之該特徵點。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106141636A TWI639136B (zh) | 2017-11-29 | 2017-11-29 | 即時視訊畫面拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106141636A TWI639136B (zh) | 2017-11-29 | 2017-11-29 | 即時視訊畫面拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI639136B TWI639136B (zh) | 2018-10-21 |
| TW201926244A true TW201926244A (zh) | 2019-07-01 |
Family
ID=64802927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW106141636A TWI639136B (zh) | 2017-11-29 | 2017-11-29 | 即時視訊畫面拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI639136B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI755768B (zh) * | 2019-11-29 | 2022-02-21 | 大陸商北京市商湯科技開發有限公司 | 圖像處理方法、圖像處理設備及儲存介質 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109584158B (zh) * | 2018-10-25 | 2023-04-07 | 成都城电电力工程设计有限公司 | 一种全景照相用自动拼合方法 |
| TWI676964B (zh) | 2018-12-11 | 2019-11-11 | 晶睿通訊股份有限公司 | 影像拼接方法及其監控攝影裝置 |
| CN111385490B (zh) * | 2018-12-28 | 2021-07-13 | 清华大学 | 视频拼接方法及装置 |
| CN111640187B (zh) * | 2020-04-20 | 2023-05-02 | 中国科学院计算技术研究所 | 一种基于插值过渡的视频拼接方法及系统 |
| CN112215925A (zh) * | 2020-11-05 | 2021-01-12 | 中国矿业大学 | 自适应采煤机随动跟踪多摄像头视频拼接方法 |
| CN117541764B (zh) * | 2024-01-09 | 2024-04-05 | 北京大学 | 一种图像拼接方法、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105827975B (zh) | 2016-04-26 | 2019-04-02 | 电子科技大学 | 一种用于全景视频拼接的颜色在线校正方法 |
-
2017
- 2017-11-29 TW TW106141636A patent/TWI639136B/zh not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI755768B (zh) * | 2019-11-29 | 2022-02-21 | 大陸商北京市商湯科技開發有限公司 | 圖像處理方法、圖像處理設備及儲存介質 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI639136B (zh) | 2018-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI639136B (zh) | 即時視訊畫面拼接方法 | |
| CN105245841B (zh) | 一种基于cuda的全景视频监控系统 | |
| Li et al. | Supervised people counting using an overhead fisheye camera | |
| CN111080529A (zh) | 一种加强鲁棒性的无人机航拍图像拼接方法 | |
| CN104392416B (zh) | 一种运动场景的视频拼接方法 | |
| CN105809626A (zh) | 一种自适应光线补偿的视频图像拼接方法 | |
| CN111815517B (zh) | 一种基于球机抓拍图片的自适应全景拼接方法 | |
| Mistry et al. | Image stitching using Harris feature detection | |
| Bonny et al. | Feature-based image stitching algorithms | |
| CN110288511B (zh) | 基于双相机图像的最小化误差拼接方法、装置、电子设备 | |
| TW201824859A (zh) | 運用變焦影像資訊以改善原視差影像匹配錯誤之方法 | |
| Furnari et al. | Distortion adaptive Sobel filters for the gradient estimation of wide angle images | |
| CN111127353A (zh) | 一种基于块配准和匹配的高动态图像去鬼影方法 | |
| CN114926508B (zh) | 视野分界线确定方法、装置、设备及存储介质 | |
| CN111260555A (zh) | 一种基于surf的改进图像拼接方法 | |
| KR20160000533A (ko) | 증강 현실에서 물체의 정보 제공을 위한 지역 특징점을 이용한 오브젝트 다중 검출, 추적 방법 및 그 시스템 | |
| Hu et al. | Digital video stabilization based on multilayer gray projection | |
| Jagadeeswari et al. | A comparative study based on video stitching methods | |
| Safdarnejad et al. | Temporally robust global motion compensation by keypoint-based congealing | |
| CN108989751B (zh) | 一种基于光流的视频拼接方法 | |
| Yang et al. | RTStitch: Real-time Stitching of High-resolution PCB Images | |
| CN110910418A (zh) | 基于旋转不变性图像特征描述子的目标跟踪算法 | |
| CN113723465B (zh) | 一种改进的特征提取方法以及基于该方法的图像拼接方法 | |
| Yao | Image mosaic based on SIFT and deformation propagation | |
| Wang et al. | Efficient panorama mosaicing based on enhanced-FAST and graph cuts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |