TWI485632B - 影像校準方法及影像校準系統 - Google Patents

影像校準方法及影像校準系統 Download PDF

Info

Publication number
TWI485632B
TWI485632B TW102104854A TW102104854A TWI485632B TW I485632 B TWI485632 B TW I485632B TW 102104854 A TW102104854 A TW 102104854A TW 102104854 A TW102104854 A TW 102104854A TW I485632 B TWI485632 B TW I485632B
Authority
TW
Taiwan
Prior art keywords
image
sub
offset
feature
region
Prior art date
Application number
TW102104854A
Other languages
English (en)
Other versions
TW201335856A (zh
Inventor
Ching Fu Lin
Chia Wei Chiu
Kuo Hsien Liang
Hsin Ti Chueh
Original Assignee
Htc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Htc Corp filed Critical Htc Corp
Publication of TW201335856A publication Critical patent/TW201335856A/zh
Application granted granted Critical
Publication of TWI485632B publication Critical patent/TWI485632B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

影像校準方法及影像校準系統
本發明關於一種影像校準方法及影像校準系統,尤指一種可增進影像校準效率且降低運算複雜度之影像校準方法及影像校準系統。
影像校準是一種用來使兩張影像的內容相匹配的演算法,以於拍攝多張影像時消除手震造成的雜訊。影像校準可應用於許多的影像處理領域,例如高動態範圍前處理(high dynamic range preprocessing)、視訊穩定(video stabilization)、多訊框雜訊移除(multi-frame noise removal)、多訊框物件移除(multi-frame object removal)、全景影像接圖(panorama stitching)等。對於某些即時應用而言,例如隨選即看的視訊影片,在校準兩張相鄰的影像時,運算效能顯得格外重要。關於校準兩張影像的演算法,目前已有基於不同目的與應用而發展出的多種理論與方法。然而,由於複雜的運算,這些先前技術皆須耗費大量的時間來校準兩張影像。
本發明提供一種影像校準方法及影像校準系統,以解決上述問題。
根據本發明一實施例,本發明之影像校準方法,包含下列步驟:接收第一影像與第二影像;以一比例縮小第一影像與第二影像,以分別產生第一縮小影像與第二縮小影像;計算介於第一縮小影像與第二縮小影像間之第一偏移量;自第一縮小影像與第二縮小影像中選取第一 特徵區域與第二特徵區域;計算介於第一影像中之第一子區域與第二影像中之第二子區域間之第二偏移量,第一子區域與第二子區域分別對應於第一特徵區域與第二特徵區域;根據該比例、第一偏移量與第二偏移量計算最終偏移量;以及以最終偏移量校準第一影像與第二影像。
根據本發明另一實施例,本發明之影像校準系統包含影像輸入模組,用以接收第一影像與第二影像;影像縮放模組,耦接於該影像輸入模組且用以以一比例縮小第一影像與第二影像,以分別產生第一縮小影像與第二縮小影像;偏移量計算模組,用以計算介於第一縮小影像與第二縮小影像間之第一偏移量,自第一縮小影像與第二縮小影像中分別選取第一特徵區域與第二特徵區域,計算介於第一影像中之第一子區域該第二影像中之第二子區域間之第二偏移量,第一子區域與第二子區域分別對應於第一特徵區域與第二特徵區域,且根據該比例、第一偏移量與第二偏移量計算最終偏移量;以及影像校準模組,用以以最終偏移量校準第一影像與第二影像。
根據本發明又一實施例,本發明之影像校準方法包含下列步驟:以一比例縮小第一影像與第二影像,以分別產生第一縮小影像與第二縮小影像;計算介於第一縮小影像與第二縮小影像間之第一偏移量;自第一影像與第二影像中分別取出第一子區域與第二子區域,其中第一子區域與第二子區域與其它區域相較包含顯著的特徵;計算介於第一子區域與第二子區域間之第二偏移量;根據該比例、第一偏移量與第二偏移量計算最終偏移量;以及以最終偏移量校準第一影像與第二影像。
綜上所述,本發明將第一影像與第二影像縮小且利用第一縮小影像與第二縮小影像來計算第一偏移量(亦即,粗略估算)與第二偏移量(亦即,精細估算),再將第一偏移量與第二偏移量合併計算出最終偏移量。由於第一偏移量是藉由第一縮小影像與第二縮小影像計算得到,且第二偏移量是藉由部份的第一影像與第二影像而非全部的第一影 像與第二影像計算得到(亦即,第一子區域與第二子區域),因此可有效增進影像校準效率且有效降低運算複雜度。需說明的是,在極短的時間中校準兩張影像時,為了簡化整個流程,部份因素(例如縮放比例與旋轉角度)將在本發明中被忽略。
關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。
1‧‧‧影像校準系統
10‧‧‧影像輸入模組
12‧‧‧影像縮放模組
14‧‧‧特徵擷取模組
16‧‧‧偏移量計算模組
18‧‧‧影像校準模組
I1‧‧‧第一影像
I2‧‧‧第二影像
S1‧‧‧第一縮小影像
S2‧‧‧第二縮小影像
SR1‧‧‧第一特徵區域
SR2‧‧‧第二特徵區域
IR1‧‧‧第一子區域
IR2‧‧‧第二子區域
SM1‧‧‧第一特徵圖像
SM2‧‧‧第二特徵圖像
SA1‧‧‧參考區域
SA2‧‧‧候選區域
IM1‧‧‧第一子特徵圖像
IM2‧‧‧第二子特徵圖像
IA1‧‧‧第一子範圍
IA2‧‧‧第二子範圍
A、B、C、D‧‧‧尺寸
S200-S218‧‧‧步驟
第1圖為根據本發明一實施例之影像校準系統的功能方塊圖。
第2圖為根據本發明一實施例之影像校準方法的流程圖。
第3圖為第一影像與第二影像被縮小以分別產生第一縮小影像與第二縮小影像的示意圖。
第4圖為如何計算介於第一縮小影像與第二縮小影像間之第一偏移量的示意圖。
第5圖為如何自第一縮小影像與第二縮小影像選取第一特徵區域與第二特徵區域的示意圖。
第6圖為對應第一特徵區域與第二特徵區域之第一子區域與第二子區域分別自第一影像與第二影像取出的示意圖。
第7圖為如何計算介於第一子區域與第二子區域間之第二偏移量的示意圖。
第8圖為第一影像與第二影像校準前與校準後的示意圖。
本發明揭露一種有效的方法,其藉由粗略估算(rough estimation)與精細估算(fine estimation)的結合來量測兩張影像的內容之間的偏移量。本發明之目的主要是用來量測在縮放比例與旋轉角度無明顯差異的兩張影像之間的偏移量。因此,本發明提出一種快速的二次 影像校準方法。由於兩張影像中只有部份的內容需要精細的分析,因此效能將可以大大的提升。藉由自部份影像中擷取特徵(例如,邊緣特徵)且將結果用於原來的影像,運算複雜度即可被有效降低。
請參閱第1圖以及第2圖,第1圖為根據本發明一實施例之影像校準系統1的功能方塊圖,第2圖為根據本發明一實施例之影像校準方法的流程圖。第2圖所示之影像校準方法可利用第1圖所示之影像校準系統1來實現。本發明之影像校準系統1與影像校準方法可應用於許多的影像處理領域,例如高動態範圍前處理(high dynamic range preprocessing)、視訊穩定(video stabilization)、多訊框雜訊移除(multi-frame noise removal)、多訊框物件移除(multi-frame object removal)、全景影像接圖(panorama stitching)、防手震(anti-hand shaking)等。
如第1圖所示,影像校準系統1包含影像輸入模組10、影像縮放模組12、特徵擷取模組14、偏移量計算模組16以及影像校準模組18。影像輸入模組10用以自各式各樣的來源接收影像。於本發明之一實施例中,影像輸入模組10可為輸入介面,且自相機感測模組(未顯示)、記憶單元(未顯示)及/或其它影像來源接收影像輸入。於本發明之另一實施例中,影像輸入模組10可為影像擷取模組(例如,相機感測模組),其可直接擷取影像。影像縮放模組12用以改變輸入影像之尺寸或解析度,例如縮小尺寸、放大尺寸、減少取樣及/或增加取樣等。於此實施例中,影像縮放模組12用以根據預定比例來縮小影像。特徵擷取模組14用以接收原始影像與縮小後的影像,並且執行適當程序以獲得影像的特徵圖像,此特徵圖像表示特定特徵,例如邊緣、對比、亮度等。於本發明之一實施例中,特徵擷取模組14可執行邊緣偵測(edge detection)以獲得影像中的物件的邊緣資訊。於本發明之另一實施例中,特徵擷取模組14可執行斑點偵測(blob detection)以達到相似的目的。接著,縮小 後的影像及/或部份影像會被傳送至偏移量計算模組16,以獲得兩對應影像間之偏移量,例如3D影像中的右眼影像與左眼影像、視訊檔案中的前後影像訊框等。偏移量計算模組16可藉由特徵映射(feature mapping)比對兩影像,以獲得兩影像之間的距離偏移量、轉動偏移量及/或角度偏移量。於本發明之一實施例中,影像輸入模組10、影像縮放模組12、特徵擷取模組14、偏移量計算模組16與影像校準模組18可藉由軟體、硬體或其組合來實現。於本發明之另一實施例中,影像輸入模組10、影像縮放模組12、特徵擷取模組14、偏移量計算模組16與影像校準模組18可藉由影像訊號處理器(image signal processor)來實現。
為了增進影像校準之效能,本發明揭露一種利用兩個不同解析度之二次影像校準(two-pass image alignment)。第一次影像校準係於較低的解析度下進行粗略估算,以降低運算負載。然而,此僅能提供粗略偏移量且缺乏精確度。第二次影像校準係於原始解析度下根據部份區域中的顯著特徵進行精細估算。本領域習知技藝者皆知,在原始解析度下比對兩張完整的影像非常耗費時間且會佔用大量的硬體資源。因此,藉由於具有較低解析度之縮小影像中進行粗略的比對且於具有原始解析度之部份影像中進行精細的比對,不僅可降低運算負載且可維持校準的精確度。
第2圖為根據本發明一實施例之影像校準方法。如第2圖所示,首先,執行步驟S200,接收第一影像與第二影像。第一影像與第二影像可自影像感測模組、儲存單元或其它傳輸介面模組接收。接著,執行步驟S202,以一比例R縮小第一影像與第二影像,以分別產生第一縮小影像與第二縮小影像。比例R可根據系統需求及/或原始解析度來設定。接著,執行步驟S204,自第一縮小影像與第二縮小影像中分別擷取第一特徵圖像與第二特徵圖像。特徵圖像可藉由例如邊緣偵測(edge detection)、角落偵測(corner detection)、閥值轉換(thresholding)及/ 或其它習知演算法來擷取。於本發明之另一實施例中,特徵擷取模組14可針對縮小影像的部份區域來執行,以降低運算量。接著,執行步驟S206,計算介於第一特徵圖像與第二特徵圖像間之第一偏移量。可藉由比對第一特徵圖像與第二特徵圖像中對應像素的距離來獲得第一偏移量。於本發明之一實施例中,可藉由計算特徵圖像中的全部或部份像素的組合來獲得第一偏移量。舉例而言,可藉由將代表特徵圖像中對應像素的距離的公式最小化來計算第一偏移量。此外,於本發明之另一實施例中,亦可於不同的範圍下計算第一偏移量。藉由縮小第一影像與第二影像,第一偏移量之運算負載可被大幅地降低。同理,自縮小的影像中擷取特徵圖像也可降低運算量且增進處理效率。接著,第一偏移量可在之後的程序中以比例R回復,以反應影像於原始解析度下的距離。
接著,執行步驟S208,自第一縮小影像與第二縮小影像中選取第一特徵區域與第二特徵區域。可藉由擷取比其它區域具有更顯著的特徵的區域來決定第一特徵區域與第二特徵區域。特徵區域可包含具有顯著特徵的相對小的邊緣,例如具有顯著對比之物件的部份邊緣。此外,於本發明之另一實施例中,可選取影像中的顯著物件作為特徵區域。接著,執行步驟S210,於原始解析度下自第一影像與第二影像中取出第一子區域與第二子區域,其中第一子區域與第二子區域分別對應上述縮小影像中的第一特徵區域與第二特徵區域。需說明的是,於縮小影像中取出特徵區域可降低運算量且增進處理效率。當特徵區域決定時,對應的子區域即可被定義出且自原始影像中取出。接著,執行步驟S212,自第一子區域與第二子區域中分別擷取第一子特徵圖像與第二子特徵圖像。如上所述,第一偏移量是由縮小影像計算出,因此僅能反應第一影像與第二影像間的粗略距離。因此,藉由於原始解析度下擷取一個小區域中的子特徵圖像可為精確比對提供更多細節且降低運算複雜度。接著,執行步驟S214,於原始解析度下計算介於第一子特徵圖像與第二子特徵圖 像間之第二偏移量。如同第一偏移量之計算方式,可藉由計算特徵圖像中的全部或部份像素的組合來獲得第一偏移量,亦可於不同的範圍下計算第二偏移量。接著,執行步驟S216,根據第一偏移量、第二偏移量與比例R計算介於第一影像與第二影像間之最終偏移量。如上所述,第一偏移量係由縮小影像計算出。因此,第一影像與第二影像於原始解析度下的粗略偏移量可以比例R來放大回復,亦即D*R。將粗略偏移量D*R與第二偏移量相加即可得到最終偏移量。最後,執行步驟S218,以最終偏移量校準第一影像與第二影像。
從第2圖所示之影像校準方法可以發現,第一偏移量(亦即,粗略估算)係根據具有較低解析度之第一縮小影像與第二縮小影像計算得到,且第二偏移量(亦即,精細估算)係根據具有原始解析度之第一影像與第二影像計算得到。第一偏移量可以比例R回復至原始尺寸,再與第二偏移量結合,進而在不對整張影像或原始解析度進行比對或分析的情況下得到最終偏移量。
以下將以一實施例搭配第1圖所示之影像校準系統1與第2圖所示之影像校準方法來說明本發明之技術特點。
請參閱第3圖至第8圖,第3圖為第一影像I1與第二影像I2被縮小以分別產生第一縮小影像S1與第二縮小影像S2的示意圖,第4圖為如何計算介於第一縮小影像S1與第二縮小影像S2間之第一偏移量的示意圖,第5圖為如何自第一縮小影像S1與第二縮小影像S2選取第一特徵區域SR1與第二特徵區域SR2的示意圖,第6圖為對應第一特徵區域SR1與第二特徵區域SR2之第一子區域IR1與第二子區域IR2分別自第一影像I1與第二影像I2取出的示意圖,第7圖為如何計算介於第一子區域IR1與第二子區域IR2間之第二偏移量的示意圖,第8圖為第一影像I1與第二影像I2校準前與校準後的示意圖。
請參閱第1圖,影像輸入模組10接收第一影像I1與第二影像 I2,且影像縮放模組12以比例R縮小第一影像I1與第二影像I2,以分別產生第一縮小影像S1與第二縮小影像S2,如第3圖所示。舉例而言,假設第一影像I1與第二影像I2之尺寸皆為A*B,且第一縮小影像S1與第二縮小影像S2之尺寸皆為C*D,比例R即為C/A與D/B。
接著,本發明利用二次偏移量估算來進行影像校準。於第一次偏移量估算中,特徵擷取模組14自第一縮小影像S1擷取第一特徵圖像SM1,且自第二縮小影像S2擷取第二特徵圖像SM2,如第4圖所示。於此實施例中,第一特徵圖像SM1表示藉由習知邊緣特徵映射演算法得到的第一縮小影像S1的邊緣特徵,且第二特徵圖像SM2表示藉由習知邊緣特徵映射演算法得到的第二縮小影像S2的邊緣特徵,但不以此為限。
接著,偏移量計算模組16比對第一特徵圖像SM1與第二特徵圖像SM2,以計算第一偏移量。第一偏移量可由第一特徵圖像SM1與第二特徵圖像SM2中的N個參考區域SA1與N個候選區域SA2間的N個第一候選偏移量計算得到,其中N為一正整數。於此實施例中,參考區域SA1在一開始可被設定在第一特徵圖像SM1的中心且涵蓋第一特徵圖像SM1中的特定比例範圍(例如,10%、30%、50%、100%等),且候選區域SA2在一開始可被設定在第二特徵圖像SM2的中心且涵蓋第二特徵圖像SM2中的特定比例範圍(例如,10%、30%、50%、100%等)。接著,於第二特徵圖像SM2中水平且垂直地移動候選區域SA2,以找出參考區域SA1與候選區域SA2間具有最多特徵與最少誤差之特定位置。接著,根據參考區域SA1與候選區域SA2的座標即可計算出介於參考區域SA1與候選區域SA2間之第一候選偏移量。接著,於第一特徵圖像SM1中水平且垂直地移動參考區域SA1,且重複執行上述演算法N次,以獲得介於N個參考區域SA1與N個候選區域SA2間之N個第一候選偏移量。
接著,偏移量計算模組16自N個第一候選偏移量中選取最小的第一候選偏移量作為第一偏移量。
於第二次偏移量估算中,偏移量計算模組16以第一偏移量校準第一縮小影像S1與第二縮小影像S2,此第一偏移量即是藉由上述之第一次偏移量估算而得到。接著,偏移量計算模組16將第一縮小影像S1切割為Q*R個第一區塊,且將第二縮小影像S2切割為Q*R個第二區塊,其中Q與R皆為正整數。如第5圖之實施例所示,偏移量計算模組16將第一縮小影像S1與第二縮小影像S2分別切割為4*4個區塊。然而,本發明並不限於上述之實施例。接著,偏移量計算模組16水平且垂直地計算Q*R個第一區塊與Q*R個第二區塊間的Q*R個絕對差值和梯度(gradient of sum of absolute differences,gradient of SADs)。需說明的是,絕對差值和梯度表示絕對差值和於水平/垂直移動表現上的顯著性(significance)。因此,假設絕對差值和矩陣(SAD matrix)為A,則顯著性矩陣(significance matrix)E可以下列公式1來計算。
公式1:E =▽A
第一縮小影像S1中在顯著性矩陣E中具有最大顯著性之區塊即可表示為第一特徵區域SR1。換言之,偏移量計算模組16係自Q*R個第一區塊中選取具有最大的絕對差值和梯度之第一區塊作為第一特徵區域SR1。接著,偏移量計算模組16以第一偏移量平移第一特徵區域SR1,以獲得第二特徵區域SR2。同理,絕對差值和之演算法亦可先自第二縮小影像S2中找出第二特徵區域SR2,再以第一偏移量自第一縮小影像S1中找出第一特徵區域SR1。
接著,如第6圖所示,偏移量計算模組16根據比例R自第一影像I1取出第一子區域IR1且自第二影像I2取出第二子區域IR2,其中第一子區域IR1對應第一特徵區域SR1,且第二子區域IR2對應第二特徵區域SR2。偏移量計算模組16可藉由以比例R將第一特徵區域SR1 與第二特徵區域SR2回復放大,以找出第一子區域IR1與第二子區域IR2的位置。
接著,請參閱第7圖。在獲得第一子區域IR1與第二子區域IR2後,特徵擷取模組14可藉由習知特徵擷取演算法,例如邊緣偵測,自第一影像I1與第二影像I2分別獲得第一子特徵圖像IM1與第二子特徵圖像IM2,其中第一子特徵圖像IM1與第二子特徵圖像IM2分別對應第一子區域IR1與第二子區域IR2。於此實施例中,第一子特徵圖像IM1與第二子特徵圖像IM2分別表示第一子區域IR1與第二子區域IR2之邊緣特徵,但不以此為限。第一子特徵圖像IM1與第二子特徵圖像IM2可由特徵擷取模組14分別自第一影像I1與第二影像I2之特徵圖像擷取。於本發明之另一實施例中,特徵擷取模組14可藉由直接處理第一特徵區域SR1與第二特徵區域SR2來擷取第一子特徵圖像IM1與第二子特徵圖像IM2。
接著,偏移量計算模組16比對第一子特徵圖像IM1中的M個第一子範圍IA1與第二子特徵圖像IM2中的M個第二子範圍IA2,以計算介於M個第一子範圍IA1與M個第二子範圍IA2間的M個第二候選偏移量,其中M為一正整數。於此實施例中,第一子範圍IA1在一開始可被設定在第一子特徵圖像IM1的中心,且涵蓋第一子特徵圖像IM1中的特定比例範圍(例如,10%、30%、50%、100%等),且第二子範圍IA2在一開始可被設定在第二子特徵圖像IM2的中心,且涵蓋第二子特徵圖像IM2中的特定比例範圍(例如,10%、30%、50%、100%等)。接著,於第二子特徵圖像IM2中水平且垂直地移動第二子範圍IA2,以找出第一子範圍IA1與第二子範圍IA2間具有最多特徵與最少誤差之一特定位置。接著,根據第一子範圍IA1與第二子範圍IA2的座標即可計算出介於第一子範圍IA1與第二子範圍IA2間之一第二候選偏移量。接著,於第一子特徵圖像IM1中水平且垂直地移動第一子範圍IA1,且重複執 行上述演算法M次,以獲得介於M個第一子範圍IA1與M個第二子範圍IA2間之M個第二候選偏移量。最後,偏移量計算模組16自M個第二候選偏移量中選取一最小的第二候選偏移量作為第二次偏移量估算中的第二偏移量。當於第一次偏移量估算中獲得第一偏移量,且於第二次偏移量估算中獲得第二偏移量時,偏移量計算模組16即可以下列公式2計算一最終偏移量。
公式2:Df=D1*R+D2。
於公式2中,Df表示最終偏移量,D1表示第一偏移量,R表示比例,且D2表示第二偏移量。
最後,影像校準模組18即可以最終偏移量Df校準第一影像I1與第二影像I2。於此實施例中,偏移量計算模組16可以最終偏移量Df平移第一影像I1與第二影像I2的其中之一,以校準第一影像I1與第二影像I2。
此外,上述關於第2圖所示之影像校準方法之處理模組可以軟體設計來實現。此軟體可於任何具有第1圖所示之影像校準系統1之電子裝置中執行。當然,處理模組中的各個部分或功能皆可透過軟體、硬體或軟硬體的組合來實現。此外,第2圖所示之影像校準方法之處理模組可以儲存於電腦可讀取儲存媒體中的資料而具體化,其中電腦可讀取儲存媒體所儲存之指令係可被電子裝置之至少一個硬體處理器執行以產生控制命令,進而控制影像校準系統1執行對應的功能。
綜上所述,本發明將第一影像與第二影像縮小為較小的尺寸且利用不同解析度之影像來計算第一偏移量(亦即,粗略估算)與第二偏移量(亦即,精細估算),再將第一偏移量與第二偏移量合併計算出最終偏移量。由於第一偏移量是藉由第一縮小影像與第二縮小影像計算得到,且第二偏移量是藉由部份的第一影像與第二影像而非全部的第一影像與第二影像計算得到(亦即,第一子區域與第二子區域),因此可有效 增進影像校準效率且有效降低運算複雜度。需說明的是,在極短的時間中校準兩張影像時,為了簡化整個流程,部份因素(例如縮放比例與旋轉角度)將在本發明中被忽略。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
1‧‧‧影像校準系統
10‧‧‧影像輸入模組
12‧‧‧影像縮放模組
14‧‧‧特徵擷取模組
16‧‧‧偏移量計算模組
18‧‧‧影像校準模組

Claims (19)

  1. 一種影像校準方法,包含下列步驟:接收一第一影像與一第二影像;以一比例縮小該第一影像與該第二影像,以分別產生一第一縮小影像與一第二縮小影像;計算介於該第一縮小影像與該第二縮小影像間之一第一偏移量;自該第一縮小影像與該第二縮小影像中選取一第一特徵區域與一第二特徵區域;計算介於該第一影像中之一第一子區域與該第二影像中之一第二子區域間之一第二偏移量,該第一子區域與該第二子區域分別對應於該第一特徵區域與該第二特徵區域;根據該比例、該第一偏移量與該第二偏移量計算一最終偏移量;以及以該最終偏移量校準該第一影像與該第二影像。
  2. 如請求項1所述之影像校準方法,其中計算該介於該第一縮小影像與該第二縮小影像間之一第一偏移量之步驟包含下列步驟:自該第一縮小影像與該第二縮小影像中分別擷取一第一特徵圖像與一第二特徵圖像;比對分別位於該第一特徵圖像與該第二特徵圖像中的N個參考區域與N個候選區域,以計算N個第一候選偏移量,其中N為一正整數;以及自該N個第一候選偏移量中選取最小的一第一候選偏移量作為該第一偏移量。
  3. 如請求項1所述之影像校準方法,其中該第一特徵圖像與該第二特徵圖像分別表示該第一縮小影像與該第二縮小影像之邊緣特徵。
  4. 如請求項1所述之影像校準方法,其中該自該第一縮小影像與該第二縮 小影像中選取一第一特徵區域與一第二特徵區域之步驟包含下列步驟:以該第一偏移量校準該第一縮小影像與該第二縮小影像;將該第一縮小影像切割為Q*R個第一區塊且將該第二縮小影像切割為Q*R個第二區塊,其中Q與R皆為正整數;水平且垂直地計算該Q*R個第一區塊與該Q*R個第二區塊間的Q*R個絕對差值和梯度;自該Q*R個第一區塊中選取一具有最大的絕對差值和梯度之第一區塊作為該第一特徵區域;以及以該第一偏移量平移該第一特徵區域,以獲得該第二特徵區域。
  5. 如請求項1所述之影像校準方法,其中該計算介於一第一子區域與一第二子區域間之一第二偏移量之步驟包含下列步驟:自該第一影像與該第二影像中取出該第一子區域與該第二子區域;自該第一子區域與該第二子區域中分別擷取一第一子特徵圖像與一第二子特徵圖像;比對該第一子特徵圖像中的M個第一子範圍與該第二子特徵圖像中的M個第二子範圍,以計算介於該M個第一子範圍與該M個第二子範圍間的M個第二候選偏移量,其中M為一正整數;以及自該M個第二候選偏移量中選取一最小的第二候選偏移量作為該第二偏移量。
  6. 如請求項5所述之影像校準方法,其中該第一子特徵圖像與該第二子特徵圖像分別表示該第一子區域與該第二子區域之邊緣特徵。
  7. 如請求項1所述之影像校準方法,其中該最終偏移量由下列公式計算得到:Df=D1*R+D2;其中,Df表示該最終偏移量,D1表示該第一偏移量,R表示該比例,且D2表示該第二偏移量。
  8. 一種影像校準系統,包含:一影像輸入模組,用以接收一第一影像與一第二影像;一影像縮放模組,耦接於該影像輸入模組,且用以以一比例縮小該第一影像與該第二影像,以分別產生一第一縮小影像與一第二縮小影像;一偏移量計算模組,用以計算介於該第一縮小影像與該第二縮小影像間之一第一偏移量,自該第一縮小影像與該第二縮小影像中分別選取一第一特徵區域與一第二特徵區域,計算介於該第一影像中之一第一子區域與該第二影像中之一第二子區域間之一第二偏移量,該第一子區域與該第二子區域分別對應於該第一特徵區域與該第二特徵區域,且根據該比例、該第一偏移量與該第二偏移量計算一最終偏移量;以及一影像校準模組,用以以該最終偏移量校準該第一影像與該第二影像。
  9. 如請求項8所述之影像校準系統,另包含一特徵擷取模組,用以自該第一縮小影像與該第二縮小影像中分別擷取一第一特徵圖像與一第二特徵圖像;其中該偏移量計算模組用以比對分別位於該第一特徵圖像與該第二特徵圖像中的N個參考區域與N個候選區域,以計算N個第一候選偏移量,且自該N個第一候選偏移量中選取一最小的第一候選偏移量作為該第一偏移量,其中N為一正整數。
  10. 如請求項9所述之影像校準系統,其中該第一特徵圖像與該第二特徵圖像分別表示該第一縮小影像與該第二縮小影像之邊緣特徵。
  11. 如請求項8所述之影像校準系統,其中該偏移量計算模組用以以該第一偏移量校準該第一縮小影像與該第二縮小影像,將該第一縮小影像切割為Q*R個第一區塊,將該第二縮小影像切割為Q*R個第二區塊,水平且垂直地計算該Q*R個第一區塊與該Q*R個第二區塊間的Q*R個絕對差值和梯度,自該Q*R個第一區塊中選取一具有最大的絕對差值和之第 一區塊作為該第一特徵區域,且以該第一偏移量平移該第一特徵區域,以獲得該第二特徵區域,其中Q與R皆為正整數。
  12. 如請求項8所述之影像校準系統,其中該偏移量計算模組用以自該第一影像與該第二影像中取出該第一子區域與該第二子區域,自該第一子區域與該第二子區域中分別擷取一第一子特徵圖像與一第二子特徵圖像,比對該第一子特徵圖像中的M個第一子範圍與該第二子特徵圖像中的M個第二子範圍,以計算介於該M個第一子範圍與該M個第二子範圍間的M個第二候選偏移量,且自該M個第二候選偏移量中選取一最小的第二候選偏移量作為該第二偏移量,其中M為一正整數。
  13. 如請求項12所述之影像校準系統,其中該第一子特徵圖像與該第二子特徵圖像分別表示該第一子區域與該第二子區域之邊緣特徵。
  14. 如請求項8所述之影像校準系統,其中該最終偏移量由下列公式計算得到:Df=D1*R+D2;其中,Df表示該最終偏移量,D1表示該第一偏移量,R表示該比例,且D2表示該第二偏移量。
  15. 一種影像校準方法,包含下列步驟:以一比例縮小一第一影像與一第二影像,以分別產生一第一縮小影像與一第二縮小影像;計算介於該第一縮小影像與該第二縮小影像間之一第一偏移量;自該第一影像與該第二影像中分別取出一第一子區域與一第二子區域,其中該第一子區域與該第二子區域與其它區域相較包含顯著的特徵;計算介於該第一子區域與該第二子區域間之一第二偏移量;根據該比例、該第一偏移量與該第二偏移量計算一最終偏移量;以及以該最終偏移量校準該第一影像與該第二影像。
  16. 如請求項15所述之影像校準方法,其中該計算該第一偏移量之步驟包含下列步驟:自該第一縮小影像與該第二縮小影像中分別擷取一第一特徵圖像與一第二特徵圖像;以及比對該第一特徵圖像與該第二特徵圖像中至少部份對應像素的距離,以獲得該第一偏移量。
  17. 如請求項15所述之影像校準方法,其中該取出該第一子區域與該第二子區域之步驟包含下列步驟:將該第一縮小影像與該第二縮小影像切割為複數個區塊;比對該第一縮小影像與該第二縮小影像中對應區塊間的差異;自該等區塊中選取一具有最小差異之區塊;以及自該第一影像中取出對應該被選取的區塊之該第一子區域且自該第二影像中取出對應該被選取的區塊之該第二子區域。
  18. 如請求項15所述之影像校準方法,其中該計算該第二偏移量之步驟包含下列步驟:自該第一子區域與該第二子區域中分別擷取一第一子特徵圖像與一第二子特徵圖像;比對該第一子特徵圖像與該第二子特徵圖像中至少部份對應像素的距離,以獲得該第二偏移量。
  19. 如請求項15所述之影像校準方法,其中該最終偏移量由下列公式計算得到:Df=D1*R+D2;其中,Df表示該最終偏移量,D1表示該第一偏移量,R表示該比例,且D2表示該第二偏移量。
TW102104854A 2012-02-24 2013-02-07 影像校準方法及影像校準系統 TWI485632B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261602612P 2012-02-24 2012-02-24

Publications (2)

Publication Number Publication Date
TW201335856A TW201335856A (zh) 2013-09-01
TWI485632B true TWI485632B (zh) 2015-05-21

Family

ID=49002958

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102104854A TWI485632B (zh) 2012-02-24 2013-02-07 影像校準方法及影像校準系統

Country Status (3)

Country Link
US (1) US9147118B2 (zh)
CN (1) CN103295212B (zh)
TW (1) TWI485632B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013107301A1 (de) * 2013-07-10 2015-01-15 microDimensions GmbH Verfahren zur Bildregistrierung
CN107977989B (zh) * 2014-01-24 2021-11-16 青岛海信移动通信技术股份有限公司 一种确定图像偏移量的方法及设备
US9986155B2 (en) 2014-09-05 2018-05-29 Htc Corporation Image capturing method, panorama image generating method and electronic apparatus
TWI569641B (zh) * 2014-09-05 2017-02-01 宏達國際電子股份有限公司 影像擷取方法及電子裝置
CN105491267A (zh) * 2014-09-16 2016-04-13 聚晶半导体股份有限公司 影像撷取装置及数位变焦方法
CN104268531A (zh) * 2014-09-30 2015-01-07 江苏中佑石油机械科技有限责任公司 人脸特征数据获取系统
CN105657237B (zh) * 2014-11-13 2019-02-19 聚晶半导体股份有限公司 图像获取装置及其数字变焦方法
US9684831B2 (en) * 2015-02-18 2017-06-20 Qualcomm Incorporated Adaptive edge-like feature selection during object detection
US20170155889A1 (en) * 2015-11-30 2017-06-01 Altek Semiconductor Corp. Image capturing device, depth information generation method and auto-calibration method thereof
EP3173979A1 (en) * 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern
US10212359B2 (en) 2015-12-30 2019-02-19 Cerner Innovation, Inc. Camera normalization
JP6936577B2 (ja) * 2017-01-20 2021-09-15 株式会社Screenホールディングス 位置ずれ量取得装置、検査装置、位置ずれ量取得方法および検査方法
CN108694161B (zh) * 2017-04-05 2021-06-15 北大方正集团有限公司 排版文件处理方法及装置
KR102427648B1 (ko) 2017-11-03 2022-08-01 삼성전자주식회사 결함 검사 방법 및 결함 검사 장치
KR20200066952A (ko) 2018-12-03 2020-06-11 삼성전자주식회사 확장 컨벌루션 연산을 수행하는 장치 및 방법
CN109767401B (zh) * 2019-01-15 2021-02-12 深圳看到科技有限公司 画面优化方法、装置、终端及对应的存储介质
US11132772B2 (en) * 2019-06-11 2021-09-28 Samsung Electronics Co., Ltd. Asymmetric normalized correlation layer for deep neural network feature matching

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690840B1 (en) * 2000-02-08 2004-02-10 Tektronix, Inc. Image alignment with global translation and linear stretch
US20110069906A1 (en) * 2009-09-23 2011-03-24 Samsung Electronics Co., Ltd. Method and apparatus for blending images
US7991196B2 (en) * 2005-05-09 2011-08-02 Lockheed Martin Corporation Continuous extended range image processing

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581638A (en) * 1993-07-26 1996-12-03 E-Systems, Inc. Method for autonomous image registration
US7751099B2 (en) * 2003-12-04 2010-07-06 Fuji Xerox Co., Ltd. Image reading apparatus, image processing system and registration method in two-side image reading
US8553961B2 (en) * 2008-08-04 2013-10-08 Koninklijke Philips N.V. Automatic pre-alignment for registration of medical images
US8437577B2 (en) * 2009-03-05 2013-05-07 Tektronix, Inc. Methods and systems for image registration
CN102395996B (zh) * 2009-04-13 2016-08-03 皇家飞利浦电子股份有限公司 图像处理系统以及从图像数据确定似合理的参考信息的方法
US9135514B2 (en) * 2010-05-21 2015-09-15 Qualcomm Incorporated Real time tracking/detection of multiple targets

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690840B1 (en) * 2000-02-08 2004-02-10 Tektronix, Inc. Image alignment with global translation and linear stretch
US7991196B2 (en) * 2005-05-09 2011-08-02 Lockheed Martin Corporation Continuous extended range image processing
US20110069906A1 (en) * 2009-09-23 2011-03-24 Samsung Electronics Co., Ltd. Method and apparatus for blending images

Also Published As

Publication number Publication date
CN103295212A (zh) 2013-09-11
US20130223763A1 (en) 2013-08-29
CN103295212B (zh) 2016-03-02
US9147118B2 (en) 2015-09-29
TW201335856A (zh) 2013-09-01

Similar Documents

Publication Publication Date Title
TWI485632B (zh) 影像校準方法及影像校準系統
AU2017232186B2 (en) Fast and robust image alignment for burst mode
US8290212B2 (en) Super-resolving moving vehicles in an unregistered set of video frames
US9674505B2 (en) Disparity search range determination for images from an image sensor array
CN108833785B (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
EP3095090B1 (en) System and method for processing input images before generating a high dynamic range image
US20150262346A1 (en) Image processing apparatus, image processing method, and image processing program
KR101524548B1 (ko) 영상 정합 장치 및 방법
US20110293146A1 (en) Methods for Estimating Peak Location on a Sampled Surface with Improved Accuracy and Applications to Image Correlation and Registration
CN107729893B (zh) 一种合模机的视觉定位方法、系统和存储介质
CN107516322B (zh) 一种基于对数极空间的图像物体大小和旋转估计计算方法
Khaloo et al. Pixel‐wise structural motion tracking from rectified repurposed videos
KR100951309B1 (ko) 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법
EP2657901B1 (en) Stereo image processing apparatus and stereo image processing method
KR20110124892A (ko) 움직임 보상 3차원 필터링 방법 및 장치
CN111914756A (zh) 一种视频数据处理方法和装置
WO2018205164A1 (en) Method and system for three-dimensional model reconstruction
TWI394097B (zh) 移動物體的偵測方法以及偵測系統
US9077926B2 (en) Image processing method and image processing apparatus
WO2016116206A1 (en) Object detecting method and object detecting apparatus
US11908173B1 (en) Method and system for three-dimensional profiling of an object
US10705217B2 (en) Controlling multiple imaging sensors
KR101705333B1 (ko) 스테레오 카메라를 이용한 sift 특징점 로컬 영역의 깊이 변화 측정 방법
JP6218237B2 (ja) 撮影画像を平行化する画像変換プログラム、装置及び方法
KR101220003B1 (ko) 시차 맵 생성 방법