TWI435162B - Low complexity of the panoramic image and video bonding method - Google Patents

Low complexity of the panoramic image and video bonding method Download PDF

Info

Publication number
TWI435162B
TWI435162B TW101138976A TW101138976A TWI435162B TW I435162 B TWI435162 B TW I435162B TW 101138976 A TW101138976 A TW 101138976A TW 101138976 A TW101138976 A TW 101138976A TW I435162 B TWI435162 B TW I435162B
Authority
TW
Taiwan
Prior art keywords
image
features
coordinates
images
common
Prior art date
Application number
TW101138976A
Other languages
English (en)
Other versions
TW201416792A (zh
Original Assignee
Nat Univ Chung Cheng
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Univ Chung Cheng filed Critical Nat Univ Chung Cheng
Priority to TW101138976A priority Critical patent/TWI435162B/zh
Priority to US13/742,149 priority patent/US20140111605A1/en
Application granted granted Critical
Publication of TWI435162B publication Critical patent/TWI435162B/zh
Publication of TW201416792A publication Critical patent/TW201416792A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Description

低複雜度之全景影像暨影片接合的方法
本發明係與全景影像接合技術有關，特別是指一種低複雜度之全景影像暨影片接合的方法。
傳統影像接合方法通常包括步驟一影像對齊(Image Alignment)、一影像投影與扭曲及一影像補色。該影像對齊是從一張來源影像中找出多個特徵點，該些特徵點就是要供另一張準備接合的來源影像的相同對應位置。目前，英屬哥倫比亞大學的David Lowe提出「尺度不變特徵轉換演算法(Scale-Invariant Feature Transform,SIFT」，該演算法係關於該影像對齊的研究。該演算法針對來源影像，藉由高斯模糊(Gaussian Blur)在不同的空間尺度中找出極值，並將該極值標記為初步的特徵點；隨後，運用拉普拉斯運算子(Laplacian Operator)篩選掉較不明顯的特徵點；然後，利用特徵點周圍的梯度方向分佈，為每一特徵點指定方向參數；最後，依據每一特徵點產生一128維的特徵向量來表示。需要注意的是，該特徵點是基於物體的局部外觀，與影像的大小、旋轉程度無關，對於光線、雜訊及些微視角改變具有較佳容忍度。雖然，尺度不變特徵轉換演算法在尋找特徵點上具有高度的準確度，但該演算法的運算複雜度也很高。
在影像投影與扭曲階段的研究，Steve Mann所提出的文獻中提到八個參數的單應矩陣轉換(eight-parameter projective model)，並藉由該些參數轉換獲得較佳的矩陣轉換與投影結果，但該矩陣轉換仍需耗費大量的運算時間。
關於影像補色方面的研究，Wu-Chih Hu等人於2007年提出一套補色流程，該補色流程係先將左、右兩影像重疊部分的色彩進行平滑化，接著，計算重疊部分每一點的強度值，然後，用非線性權重函式(nonlinear weighted function)計算最後輸出的像素值。該補色流程同樣具有運算複雜的缺點，尤其涉及三角函數運算。
本發明之主要目的在於提供一種低複雜度之全景影像暨影片接合的方法，其可藉由轉換座標系統的演算法，來執行影像接合，以獲得單一全景影像輸出。其中，即使來源影像之間有旋轉角度或遠近的差異，仍可透過本發明的方法來產生高品質的全景影像。
本發明之次一目的在於提供一種低複雜度之全景影像暨影片接合的方法，其可透過將來源影像降階等技術來降低運算量，以快速獲得高品質的全景影像。
緣是，為了達成前述目的，依據本發明所提供之一種低複雜度之全景影像暨影片接合的方法，包括：提供一第一影像及一第二影像，該第一影像具有多個第一特徵及多個第一座標，該些第一特徵係一對一地對應該些第一座標，該第二影像具有多個第二特徵及多個第二座標，該些第二特徵係一對一地對應該些第二座標；執行一影像對齊程序，係找出多個共同特徵，每一共 同特徵係該些第一特徵的至少一者與該些第二特徵的至少一者相同；及依據該些共同特徵對齊該第一及第二影像；執行一影像投影與扭曲程序，係固定該些第一座標，並轉換該些屬於共同特徵的第二座標，以使該些共同特徵的第一座標及該第二座標相互對應；及藉由相對應的該些第一及第二座標接合該第一影像及該第二影像；執行一影像補色程序，係補償該第一影像及該第二影像接合處的色差；及輸出接合後的該第一影像及該第二影像。
為了詳細說明本發明之技術特點所在，茲舉以下之一較佳實施例並配合圖式說明如后，其中：
如第一圖所示，第一圖係繪示本發明之低複雜度之全景影像暨影片接合的方法的一第一較佳實施例的方塊流程圖。該低複雜度之全景影像暨影片接合的方法包括：
S1：提供一第一影像及一第二影像；該第一影像具有多個第一特徵及多個第一座標，該些第一特徵係一對一地對應該些第一座標，該第二影像具有多個第二特徵及多個第二座標，該些第二特徵係一對一地對應該些第二座標。
S2：執行一影像對齊(Image Alignment)程序；該影像對齊程序係用以S20：找出多個共同特徵，每一共同特徵係該些第一特徵的至少一者與該些第二特徵的至少一者相同；及S21：依據該些共同特徵對齊該第一及第二影像。
S3：執行一影像投影與扭曲(Image Projection & Warping)程序；該影像投影與扭曲程序係用以S30：固定該些第一座標，並轉換該些屬於共同特徵的第二座標，以使該些共同特徵的第一座標及該第二座標相互對應；及S31：藉由相對應的該些第一及第二座標接合該第一影像及該第二影像
S4：執行一影像補色(Image Repairing & Blending)程序，係補償該第一影像及該第二影像接合處的色差；及
S5：輸出接合後的該第一影像及該第二影像。
該第一影像及該第二影像係以相機或攝影機等設備拍照取得。於此時施例中，該第一影像是指左邊影像(如第二圖所示)，該第二影像是指右邊影像(如第三圖所示)。該些第一及第二特徵係藉由下述的運算方式獲得，首先，利用高斯模糊(Gaussian Blur)方式於該第一及第二影像上找出極值，並將找到的極值標示為初步特徵點，然後，透過拉普拉斯運算子(Laplcian Operator)篩選出較不明顯的初步特徵點，接著利用較明顯的初步特徵點周圍的梯度方向分佈，為每一較明顯的初步特徵點指定一方向參數，最後針對每一較明顯的初步特徵點建立對應的一個128維的特徵向量來分別表示每一第一及第二特徵。
若該第一及第二影像的解析為XGA等級(即解析度為1024＊ 768)，表示影像的橫軸座標有1024個點，縱軸座標有768個點，通常影像的原點座標(0,0)被建立在影像的左上角，如此，就能藉由該些點的標示建立每一第一及第二特徵的座標位置。
在S21時，透過上述的運算就能利用該些共同特徵使該第一影像及該第二影像對齊，表示已確定該第一影像與該第二影像上共同特徵的位置，來完成影像對齊。
接著，在S30中，本發明將第一影像的第一座標固定，僅轉換該些第二特徵中屬於該些共同特徵的座標，如此，轉換後的該些第二座標會與該第一影像上的座標相同。由於，僅轉換該第二影像中的座標，因此，可省掉轉換該第一影像的運算時間，此外，也可以固定該第二影像的第二座標，轉換該第一影像的第一座標。
因為，轉換後的該些第二座標會與該些第一座標相同，所以，就能利用該些共同特徵的座標使該第一影像及該第二影像重疊接合。於S4中，就補償該第一影像及第二影像的接合處色差，以消除接合處的色差(失真現象)。最後，步驟S5就能輸出接合後的該第一及第二影像，即一全景影像，如第四圖所示。需要注意的是，若該全景影像仍存在色差，則重新執行步驟S3及S4。如此，經由上述的步驟S1~S5，本發明之低複雜度之全景影像暨影片接合的方法能利用降階等運算方式重疊接合兩張影像或影片，並使接合後的全景影像或影片輸出與原影像相同品質。
如第五圖所示，其中第一圖中的步驟S20：找出多個共同特徵，包括：S201：提供一基準解析度；S202：判斷該第一及第二影像的解析度是否大於該基準解析度？S203：若該第一及第二影像的解析度超過該基 準解析度，則將該第一及第二影像的解析度降階至該基準解析度。S204：若該第一及第二影像的解析度等於或小於該基準解析度，則保留該第一及第二影像的原解析度。
S205：分別找出等於或小於該基準解析度的第一影像的第一物件及第二影像的第二物件；及S206：將該些第一物件建立為該些第一特徵，及該些第二物件建立成該些第二特徵。
如表一所示，若該第一及第二影像屬於前述的解析XGA等級(即解析度為1024＊ 768)，則依據該表該第一及第二影像需降四階，以減低該第一及第二影像的解析度。實際上，對於不同解析度的影像運算，明顯發現高解析度的影像運算的複雜度遠高於低解析度的影像，但對於本發明，低解析度或高解析度影像運算獲得的特徵並無差異，因此，本發明提出在運算特徵前，先偵測該第一及第二影像的解析度，以減少多餘的計算。
如第六圖所示，較佳地，S205：分別找出等於或小於 該基準解析度的第一影像的第一物件及第二影像的第二物件，包括：S207：依據該些第一座標，分析該些第一特徵分布於該第一影像上的位置；及S208：依據該些第一特徵分布，決定分析該第二影像的區域，以找出該些第二特徵，若該些第一徵點分布在該第一影像的右半張，則分析該第二影像的左半張，若該些第一特徵分布在該第一影像的左半張，則分析該第二影像的右半張。
通常該些共同特徵出現在該第一影像的右側及該第二影像的左側、或該第一影像的左側及該第二影像的右側。因此，藉由上述共同特徵點出現的特性，先藉由分析該第一影像上該些第一特徵的分布位置，來獲得該些第一特徵是分佈在該第一影像的左或右半張影像中，當該些第一特徵分佈於該第一影像的左半張，則決定分析該第二影像的右半張；相同地，當該些第一特徵分佈於該第一影像的右半張，則決定分析該第二影像的左半張，如此來提高運算效率。
如第七圖所示，第一圖中的步驟S30：固定該些第一座標，並轉換該些屬於共同特徵的第二座標，以使該些共同特徵的第一座標及該第二座標相互對應，包括：S301：將該第一及第二兩影像的共同特徵依強度值排序，以找出其中十個強度值最大的共同特徵；S302：建立多個矩陣，每一矩陣係由該十個共同特徵 中選擇其中四個；S303：檢驗每四個共同特徵及其組成的矩陣的誤差值；S304：從該些矩陣中找出一最佳的矩陣，該最佳的矩陣係該些誤差值中最小的一者；及，S305：運算該最佳矩陣，以使該些屬於共同特徵的該些第二座標對應到該些第一座標。
本發明僅選擇其中十個強度最強共同特徵來作運算，這樣可排除其他強度較弱的共同特徵，以減低運算量。該些矩陣係由十組強度較強的共同特徵的排列組合，若每次以四個共同特徵組成一矩陣，則可獲得210個矩陣。檢驗每四個共同特徵及其組成的矩陣的誤差值，以找出該最佳的矩陣。本發明係以一檢驗公式來檢驗共同特徵及矩陣，該檢驗公式為：Cost(H)=distAvg(Hp,q)。其中，H代表所檢驗的矩陣，p與q為相對應的共同特徵點，因此p經由矩陣轉置後的座標與對應點q的座標之距離可看作該矩陣對於該組特徵點(即四個共同特徵)的誤差值，誤差值越小代表該矩陣對於該組特徵點越適用，所有特徵組的誤差值累積起來除以特徵組數得到的誤差平均Cost(H)最小表示該矩陣能將轉置後的座標最符合對應座標，而該H矩陣就是所挑選出之最佳矩陣。
需要注意的是，步驟S305：運算該最佳矩陣，係利用挑選出之最佳矩陣，反推回該矩陣之反矩陣。藉由反矩陣，從與第一影像相同的座標系統反推出對應到的第二影像座標。由於正矩陣在轉換座標過程中，會使得轉換的影像之 間的關係未必是一對一，可能是多個座標點對應到同一座標點，造成部分座標沒有對應到而失去了該像素的資訊，形成影像破洞。本發明利用反矩陣從對應的座標反推回原始座標解決破洞問題，另外因為反推回原始的座標有時大部分不會是整數值而是浮點數，若是不考慮小數部分的影響，直接捨去會造成原本為破洞的像素會填入鄰近像素的值，雖然可以修補破洞，但使得有些區域會有一個區塊裡擁有同樣的值，造成影像模糊及鋸齒化，因此本發明另外引入二分點以及四分點的概念，先將原始影像的寬跟高各擴大四倍後，將除了原始像素之外的值利用周圍像素的資訊透過6-tap filter內插法產生二分點以及使用線性內插法產生四分點。二分點由平行一列或是垂直一行上與該二分點像素最鄰近的六個原始pixel以權重方式調整，四分點則依照所處位置取其相鄰平均值。如此一來，使得原始的像素與像素之間有了更多的像素資訊，因此浮點數位置也有了可參考的資訊。
藉由執行步驟從S301~S305，可以轉換該第一及第二兩影像的其中一者，以使被轉換的影像的座標系統能對應至另一未被轉換的座標系統，如此，就能使屬於該些共同特徵的第一座標及第二座標相對應，以供後續步驟S31執行重疊接合。
如第八圖所示，該第一影像及第二影像接合處出現一不規則的接合線(即接縫)，該接合線左側即為此較佳實施例所述之第一影像，該接合線右側即為此較佳實施例所述 之第二影像。實際上，若固定該接合線時，在該第一影像或第二影像的其中一者被移動且穿過該接合線時，該全景影像就會發生失真，因此，本發明提出一種最佳接縫尋找方法(Optimal Seam Finding Scheme)來作改善，對於該第一影像及第二影像中的重疊區塊失真係以動態規劃(Dynamic Programming)的方式，找出最小差異度的接合線，作為影像輸出的接縫。
如第九圖所示，上述方法的步驟S31，藉由相對應的該些第一及第二座標接合該第一影像及該第二影像，包括：S311：統計多個像素的亮度差異值，以產生一亮度平均值，其中，該些像素係位在該第一及第二影像重疊部分內；S312：依據該亮度平均值建立一誤差容許範圍；S313：將落在該誤差容許範圍外的該些亮度差異值建立成一亮度差異表，該亮度差異表具有該第一及第二影像在每一像素之差異值、目前幀及前一幀的該第一影像在每一像素之差異值、及目前幀與前一幀的該第二影像在每一像素之差異值；S314：藉由該亮度差異表運算該第一及第二影像接合處的一最小接縫位置；及S315：判斷目前幀與前一幀的該第一影像及該第二影像接合後的接縫位置是否偏離該最小接縫位置，若是，S316：則調整目前幀的該第一影像或該第二影像的位置至該最小接縫位置，以防止影片播放時出現不自然的跳動。 若不是，S317：則輸出接合後的該第一影像及該第二影像。
實務中，該第一及第二影像的像素會因為色影像輸入曝光不一致，而產生差異，因此，步驟S312中係將該亮度平均值上下取一範圍來代表重疊部分每一像素的亮度誤差合理範圍。於步驟S314中，利用該亮度差異表計算影像中的最小差異值，計算的方程式為：D(x,y)=A(x,y)+min{D(x,y-1),D(x,1),D(x,y+1)}，其中A代表影像中的座標(x,y)位置的像素差異值，D為影像最上方至座標(x,y)位置的最小差異值總合。因此，在計算最小差異值的同時，本發明可同步紀錄該幀(Frame)相對應的路徑，該路徑就是該幀的最小接縫位置。
藉由執行步驟S311~S317，本發明重新定義該接合線在每一幀的最佳位置，用以消除移動物件等其他因素造成的接合影片失真。
藉由執行步驟S3所產生的全景影像可能會存在部分缺陷，更詳而言之，在鏡頭取像輸入時，會因為鏡頭所在位置，造成拍攝時曝光、焦點等參數不同步，進而造成取得的影像有暗角以及色差存在。因此，如第十圖所示，本發明提出步驟S4(該影像補色程序)，其中，步驟S4包括：S40：運算第一及第二影像的重疊部分的色差差異以獲得重疊部分的一整體基準值及一下半部基準值，該整體基準值及該下半部基準值係分別代表該第一影像及該第二影像的差異；S41：調整該第一及第二影像重疊部分的上半部的亮 度，依據該整體基準值及該下半部基準值的差異對該第二影像的重疊部分的亮度進行補償，以使上半部影像由上而下逐漸接近該下半部基準值；S42：提供一加權函數，用以補償重疊的該第一及第二影像的色差，以使該第一及第二影像的色差一致。
實務中，影像補色階段通常需要考量亮度及色彩，其中人眼亮度的敏感度係高於色彩，因此本發明係先對亮度進行調整後，才補償影像的色彩。
舉例來說，當藉由步驟S40運算獲得該整體基準值為10及該下半部基準值為5時，可知整體重疊影像較下半部的亮度高，所以，可藉由步驟S41，調整上半部的亮度，延續上述例子，係應將上半部亮度降低，以使該整體重疊影像的亮度較相近，即接近下半部基準值。該上半部具有多排並排的像素，所以，在調整亮度時，可從該上半部的上排像素亮度逐漸往下排像素調整調整，以使下排像素亮度趨近或等於該下半部基準值，如此，就可完成第一及第二影像重疊部分的亮度。
經過初步調整影像的亮度後，為避免接合後的第一及第二影像中物件顏色差異太大，本發明還以一加權平均公式(即提供步驟S42)來進行補色，該加權平均公式為：Yresult =(Yleft ＊ ω+Yright ＊ (1-ω))，藉由該加權平均公式的演算，能有效地平均兩邊(該第一影像及第二影像)的色差。
請參照第十一圖，第十一圖係繪示本發明的一第二較佳實施例的方塊流程圖。相較於該第一較佳實施例，該第 二實施例係能用以接合多個視角影像的方法，該低複雜度之全景影像暨影片接合的方法包括：S1a：提供一第一影像(如第十二圖)、一第二影像(如第十三圖)及一第三影像(如第十四圖)，該第一影像係中間視角，且具有多個第一特徵及多個第一座標，該些第一特徵係一對一地對應該些第一座標，該第二影像係左側視角，且具有多個第二特徵及多個第二座標，該些第二特徵係一對一地對應該些第二座標，該第三影像係右側視角，且具有多個第三特徵及多個第三座標，該些第三特徵係一對一地對應該些第三座標；S2a：執行一影像對齊程序，係S20a：找出多個共同特徵，每一共同特徵係該些第二特徵的至少一者與該第一影像的左側的第一特徵的至少一者相同，及該些第三特徵的至少一者與該第一影像的右側的第二特徵的至少一者相同；及S21a：依據該些共同特徵同步對齊該第一、第二、及第三影像；S3a：執行一影像投影與扭曲程序，係S30a：固定該些第一座標，並轉換該些屬於共同特徵的第二及第三座標，以使該些共同特徵的第一座標、該第二座標、及該第三座標分別相互對應；及S31a：藉由相對應的該些第一、第二、及第三座標接合該第一、第二及第三影像；S4a：執行一影像補色程序，係補償該第一、第二及第三影像接合處的色差；及S5a：輸出接合後的該第一、第二及第三影像(如第十 五圖所示)。
藉由上述步驟S1a~S5a，在接合三張或以上影像時，先選擇中間視角的亮度及座標系統作為一主視角，並將主視角分割出兩部分(即左邊及右邊)，在與相鄰的視角影像進行接合，在全部視角影像都接合後，以平移方式進行接合，來獲得完整多視角的全景影像(如第十五圖所示)。
需要特別注意的是，第二較佳實施例中所述的接合順序是先取得中間視角，並將主視角分割出兩個部分後，將左、右兩視角的影像同步接合後，最終才將兩側影像接合成該多視角的全景影像。以五個視角為例說明，第十六圖係繪示五視角的影像接合順序的方塊流程圖，如第十六圖所示，該第一影像為主視圖(中間視角)，其左邊有第二及四影像，其右邊有三及五影像，接合順序該主視圖左、右兩邊同時進行接合，最終才將左、右兩邊的影像組合成該多視角的全景影像。此外，本發明之低複雜度之全景影像暨影片接合的方法，也可以用於更多視角的影像接合，並不以此所述的兩、三及五視角為限。
S1~S5、S20~S21、S30~S31、S201~S208、S301~S317、S40~S42、S1a~S5a、S20a~S21a、S30a~S31a‧‧‧步驟
第一圖係繪示本發明之第一較佳實施例之低複雜度之全景影像暨影片接合的方法的步驟流程圖。
第二至四圖係分別繪示第一圖中的第一影像、第二影像及接合後的該第一及第二影像的示意圖。
第五圖係繪示第一圖中步驟S20的詳細步驟流程圖。
第六圖係繪示第五圖中步驟S205的詳細步驟流程圖。
第七圖係繪示第一圖中步驟S30的詳細步驟流程圖。
第八圖係繪示第一影像及第二影像接合處的示意圖。
第九圖係繪示第一圖中步驟S31的詳細步驟流程圖。
第十圖係繪示第一圖中步驟S4的詳細步驟流程圖。
第十一圖係繪示本發明之第二較佳實施例之低複雜度之全景影像暨影片接合的方法的步驟流程圖。
第十二至十五圖係分別繪示多視角的影像及接合後的示意圖。
第十六圖係繪示五視角的影像接合順序的方塊流程圖。
S1~S5、S20~S21、S30~S31‧‧‧步驟

Claims (8)

  1. 一種低複雜度之全景影像暨影片接合的方法，包括：提供一第一影像及一第二影像，該第一影像具有多個第一特徵及多個第一座標，該些第一特徵係一對一地對應該些第一座標，該第二影像具有多個第二特徵及多個第二座標，該些第二特徵係一對一地對應該些第二座標；執行一影像對齊程序，係找出多個共同特徵，每一共同特徵係該些第一特徵的至少一者與該些第二特徵的至少一者相同；及依據該些共同特徵對齊該第一及第二影像；執行一影像投影與扭曲程序，係固定該些第一座標，並轉換該些屬於共同特徵的第二座標，以使該些共同特徵的第一座標及該第二座標相互對應；及藉由相對應的該些第一及第二座標接合該第一影像及該第二影像；執行一影像補色程序，係補償該第一影像及該第二影像接合處的色差；及輸出接合後的該第一影像及該第二影像。
  2. 如申請專利範圍第1項所述之低複雜度之全景影像暨影片接合的方法，其中於該影像對齊程序中的找出多個共同特徵，包括：提供一基準解析度；判斷該第一及第二影像的解析度是否大於該基準解析度，若該第一及第二影像的解析度超過該基準解析度，則將該第一及第二影像的解析度降階至該基準解析度，若該 第一及第二影像的解析度等於或小於該基準解析度，則保留該第一及第二影像的原解析度；分別找出等於或小於該基準解析度的第一影像的第一物件及第二影像的第二物件；及將該些第一物件建立為該些第一特徵，及該些第二物件建立成該些第二特徵。
  3. 如申請專利範圍第2項所述之低複雜度之全景影像暨影片接合的方法，其中分別找出等於或小於該基準解析度的第一影像的第一物件及第二影像的第二物件，包括：依據該些第一座標，分析該些第一物件分布於該第一影像上的位置；及依據該些第一物件的分布，決定分析該第二影像的區域，以找出該些第二物件，若該些第一物件分布在該第一影像的右半張，則分析該第二影像的左半張，若該些第一物件分布在該第一影像的左半張，則分析該第二影像的右半張。
  4. 如申請專利範圍第1項所述之低複雜度之全景影像暨影片接合的方法，其中，固定該些第一座標，並轉換該些屬於共同特徵的第二座標，以使該些共同特徵的第一座標及該第二座標相互對應，包括：將該第一及第二影像的共同特徵依強度值排序，以找出其中十個強度值最大的共同特徵；建立多個矩陣，每一矩陣係由該十個共同特徵中選擇其中四個； 檢驗每四個共同特徵及其組成的矩陣的誤差值；從該些矩陣中找出一最佳的矩陣，該最佳的矩陣係該些誤差值中最小的一者；及運算該最佳的矩陣，以使該些屬於共同特徵的該些第二座標對應到該些第一座標。
  5. 如申請專利範圍第1項所述之低複雜度之全景影像暨影片接合的方法，其中，藉由相對應的該些第一及第二座標接合該第一影像及該第二影像，包括：統計多個像素的亮度差異值，以產生一亮度平均值，其中，該些像素係位在該第一及第二影像重疊部分內；依據該亮度平均值建立一誤差容許範圍；將落在該誤差容許範圍外的該些亮度差異值建立成一亮度差異表，該亮度差異表具有該第一及第二影像在每一像素之差異值、目前幀及前一幀的該第一影像在每一像素之差異值、及目前幀與前一幀的該第二影像在每一像素之差異值；藉由該亮度差異表運算該第一及第二影像接合處的一最小接縫位置；及判斷目前幀與前一幀該第一影像及該第二影像接合後的接縫位置是否偏離該最小接縫位置，若是，則調整目前幀該第一影像或該第二影像的位置至該最小接縫位置，若不是，則輸出接合後的該第一影像及該第二影像。
  6. 如申請專利範圍第1項所述之低複雜度之全景影像暨影片接合的方法，其中，該影像補色程序，包括： 運算該第一及第二影像重疊部分的色差差異以獲得重疊部分的一整體基準值及一下半部基準值，該整體基準值及該下半部基準值係分別代表該第一影像及該第二影像的差異；調整該第一及第二影像重疊部分的上半部的亮度，依據該整體基準值及該下半部基準值的差異對該第二影像的重疊部分的亮度進行補償，以使上半部影像由上而下逐漸接近該下半部基準值；及提供一加權函數，用以補償重疊的該第一及第二影像的色差，以使該第一及第二影像的色差一致。
  7. 如申請專利範圍第1項所述之低複雜度之全景影像暨影片接合的方法，更包括：提供一第三影像，具有多個第三特徵及多個第三座標，該些第三特徵係一對一地對應該些第三座標，其中，該第一影像為中間視角，該第二及第三影像分別位在該第一影像的左側視角及右側視角；執行該影像對齊程序，從該些第三特徵中找出與該些第一特徵相同的該些共同特徵；及依據該些共同特徵同步將該第三影像與該第一影像對齊；執行該影像投影與扭曲程序，係固定該些第一座標，並轉換該些屬於共同特徵的第三座標，以使該些共同特徵的第三座標及該第一座標相互對應；藉由相對應的該些第一及第三座標接合該第一影像及該第三影像；及執行該影像補色程序，係補償該第一影像及該第三影 像接合處的色差。
  8. 一種低複雜度之全景影像暨影片接合的方法，包括：提供一第一影像、一第二影像及一第三影像，該第一影像係中間視角，且具有多個第一特徵及多個第一座標，該些第一特徵係一對一地對應該些第一座標，該第二影像係左側視角，且具有多個第二特徵及多個第二座標，該些第二特徵係一對一地對應該些第二座標，該第三影像係右側視角，且具有多個第三特徵及多個第三座標，該些第三特徵係一對一地對應該些第三座標；執行一影像對齊程序，係找出多個共同特徵，每一共同特徵係該些第二特徵的至少一者與該第一影像的左側的第一特徵的至少一者相同，及該些第三特徵的至少一者與該第一影像的右側的第二特徵的至少一者相同；及依據該些共同特徵同步對齊該第一、第二、及第三影像；執行一影像投影與扭曲程序，係固定該些第一座標，並轉換該些屬於共同特徵的第二及第三座標，以使該些共同特徵的第一座標、該第二座標、及該第三座標分別相互對應；及藉由相對應的該些第一、第二、及第三座標接合該第一、第二及第三影像；執行一影像補色程序，係補償該第一、第二及第三影像接合處的色差；及輸出接合後的該第一、第二及第三影像。
TW101138976A 2012-10-22 2012-10-22 Low complexity of the panoramic image and video bonding method TWI435162B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101138976A TWI435162B (zh) 2012-10-22 2012-10-22 Low complexity of the panoramic image and video bonding method
US13/742,149 US20140111605A1 (en) 2012-10-22 2013-01-15 Low-complexity panoramic image and video stitching method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101138976A TWI435162B (zh) 2012-10-22 2012-10-22 Low complexity of the panoramic image and video bonding method

Publications (2)

Publication Number Publication Date
TWI435162B true TWI435162B (zh) 2014-04-21
TW201416792A TW201416792A (zh) 2014-05-01

Family

ID=50484977

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101138976A TWI435162B (zh) 2012-10-22 2012-10-22 Low complexity of the panoramic image and video bonding method

Country Status (2)

Country Link
US (1) US20140111605A1 (zh)
TW (1) TWI435162B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI533675B (zh) * 2013-12-16 2016-05-11 國立交通大學 影像接合之最佳動態接縫找尋調整系統與方法
CN104284148A (zh) * 2014-08-07 2015-01-14 国家电网公司 一种基于变电站视频系统的全站地图系统及其拼接方法
US9363449B1 (en) * 2014-11-13 2016-06-07 Futurewei Technologies, Inc. Parallax tolerant video stitching with spatial-temporal localized warping and seam finding
KR102281184B1 (ko) * 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
US20170178288A1 (en) * 2015-12-21 2017-06-22 Stanislaw Adaszewski Two-dimensional piecewise approximation to compress image warping fields
KR102520225B1 (ko) * 2016-06-30 2023-04-11 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 촬영 방법
CN106504196B (zh) * 2016-11-29 2018-06-29 微鲸科技有限公司 一种基于空间球面的全景视频拼接方法及设备
CN106777114B (zh) * 2016-12-15 2023-05-19 北京奇艺世纪科技有限公司 一种视频分类方法及系统
US10104288B2 (en) * 2017-02-08 2018-10-16 Aspeed Technology Inc. Method and apparatus for generating panoramic image with stitching process
TWI630580B (zh) * 2017-05-26 2018-07-21 和碩聯合科技股份有限公司 影像拼接方法與使用此方法的影像擷取裝置
US10534837B2 (en) * 2017-11-13 2020-01-14 Samsung Electronics Co., Ltd Apparatus and method of low complexity optimization solver for path smoothing with constraint variation
US11055348B2 (en) * 2017-12-29 2021-07-06 Facebook, Inc. Systems and methods for automatically generating stitched media content
CN109241233B (zh) * 2018-09-14 2021-10-22 东方网力科技股份有限公司 一种坐标匹配方法及装置
CN110246081B (zh) * 2018-11-07 2023-03-17 浙江大华技术股份有限公司 一种图像拼接方法、装置及可读存储介质
US10810700B2 (en) 2019-03-05 2020-10-20 Aspeed Technology Inc. Method of adjusting texture coordinates based on control regions in a panoramic image
CN110070511B (zh) * 2019-04-30 2022-01-28 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
WO2022193090A1 (zh) * 2021-03-15 2022-09-22 深圳市大疆创新科技有限公司 视频处理方法、电子设备及计算机可读存储介质
CN114025088B (zh) * 2021-10-31 2023-08-22 中汽院(重庆)汽车检测有限公司 一种营运汽车上设置智能摄像头实现环视图像安全监测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6657667B1 (en) * 1997-11-25 2003-12-02 Flashpoint Technology, Inc. Method and apparatus for capturing a multidimensional array of overlapping images for composite image generation
US6813391B1 (en) * 2000-07-07 2004-11-02 Microsoft Corp. System and method for exposure compensation
KR100796849B1 (ko) * 2006-09-04 2008-01-22 삼성전자주식회사 휴대 단말기용 파노라마 모자이크 사진 촬영 방법

Also Published As

Publication number Publication date
TW201416792A (zh) 2014-05-01
US20140111605A1 (en) 2014-04-24

Similar Documents

Publication Publication Date Title
TWI435162B (zh) Low complexity of the panoramic image and video bonding method
CN108760767B (zh) 基于机器视觉的大尺寸液晶屏缺陷检测方法
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
US7019713B2 (en) Methods and measurement engine for aligning multi-projector display systems
JP5535431B2 (ja) 表示の形状及び色の自動較正及び修正のためのシステム及び方法
Marzotto et al. High resolution video mosaicing with global alignment
CN106030653B (zh) 用于生成高动态范围图像的图像处理系统和图像处理方法
EP3171588B1 (en) Image processing method and image processing apparatus executing that image processing method
CN104299215B (zh) 一种特征点标定和匹配的图像拼接方法
CN111025701B (zh) 一种曲面液晶屏幕检测方法
US20110164226A1 (en) System and method for projection correction
JP5911296B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
EP1861748A1 (en) Method of and apparatus for automatically adjusting alignement of a projector with respect to a projection screen
KR20180117717A (ko) 수동 및 반자동 기법을 사용하여 디스플레이 시스템을 교정하는 시스템 및 방법
CN105023260A (zh) 一种全景图像融合方法及融合装置
JP2013243515A (ja) 画像調整装置、画像調整システム及び画像調整方法
US8467629B2 (en) Methods and systems for automatic coloring of digital images
WO2016204068A1 (ja) 画像処理装置および画像処理方法、ならびにプロジェクションシステム
JP4649171B2 (ja) 倍率色収差補正装置、倍率色収差補正方法及び倍率色収差補正プログラム
JP2019220887A (ja) 画像処理装置、画像処理方法およびプログラム
KR20090097796A (ko) 색수차 정정 방법
JP2010177832A (ja) 画像処理装置及び画像処理方法
KR102153567B1 (ko) 휘도편차 보상장치 및 보상방법
Zhang et al. Effective video frame acquisition for image stitching
JP6071909B2 (ja) 立体写真デバイスを較正するための方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees