TWI552600B - 用於接圖的影像校正方法及具有影像校正功能的相關攝影機與影像處理系統 - Google Patents

Description

用於接圖的影像校正方法及具有影像校正功能的相關攝影機 與影像處理系統

本發明係提供一種影像校正方法及其相關攝影機與影像處理系統，尤指一種用於接圖並具有影像校正功能的影像校正方法及其相關攝影機與影像處理系統。

為了擴增影像擷取範圍，攝影機可配設相鄰設置的多個影像感測器，每一個影像感測器分別朝向不同方位以擷取場景相鄰的複數張影像，然後再將該些影像拼合在一起。然而，不同的影像感測器可能會因為不同的設定參數，例如自動曝光調整，使得該些影像出現明顯的亮暗變化甚至彩度差異，使得該些影像接合後產生明顯的接合縫隙。

本發明係提供一種用於接圖並具有影像校正功能的影像校正方法及其相關攝影機與影像處理系統，以解決上述之問題。

本發明之申請專利範圍係揭露一種用於接圖的影像校正方法，其包含：計算複數張影像的對比量值，以比較該些對比量值並設定具有最大對比量值的影像為一參考影像。其中該複數張影像的其餘影像係為目標影像。該影像校正方法還包含：分別計算該參考影像與該目標影像的機率分佈資訊， 以及根據該參考影像與該目標影像的該些機率分佈資訊取得一轉換函數以供調整該目標影像的像素值。

本發明之申請專利範圍另揭露一種具影像校正功能的攝影機，其包含有複數個影像感測器以及一處理器。該複數個影像感測器分別擷取複數張影像。該處理器耦接於該複數個影像感測器以對該複數張影像進行接圖。該處理器用來執行前段所述的影像校正方法。

本發明之申請專利範圍另揭露一種影像處理系統，能夠對至少一攝影機傳來的複數張影像進行接圖。該影像處理系統用來執行前段所述的影像校正方法。

由於不同影像感測器所取得的該些影像會有亮度/彩度上的差異，故本發明的影像校正方法可從中選取高對比量值的影像作為參考影像，其餘的目標影像則透過機率分佈資訊取得轉換函數，並依轉換函數產生調整後的目標影像。調整後的目標影像與參考影像的亮度/彩度已趨向一致，拼接後不會有色彩偏差或明顯的接縫，能提高拼接後的圖像品質。尤其，將本發明應用在拼接相鄰排列的多個影像感測器取得的複數張影像時，效果更為顯著。

10‧‧‧影像處理系統

12‧‧‧攝影機

14‧‧‧影像感測器

16‧‧‧處理器

P‧‧‧參考影像在像素累積分佈的某一點

P’‧‧‧目標影像在像素累積分佈的某一點

I_t、I_t1、I_t2‧‧‧目標影像

I_r‧‧‧參考影像

A1‧‧‧第一區域

A2‧‧‧第二區域

A3‧‧‧第三區域

w1、w2、w3‧‧‧轉換權重

300、302、304、306、308‧‧‧步驟

第1圖為本發明實施例之影像處理系統之示意圖。

第2圖為本發明實施例之攝影機之功能方塊圖。

第3圖為本發明實施例之對影像進行校正以用於拼接的流程圖。

第4圖為本發明實施例之所擷取影像的亮度直方分佈圖。

第5圖為相應於第4圖所示亮度直方分佈圖的機率分佈圖。

第6圖為本發明實施例之參考影像與目標影像的機率分佈資訊之比較圖。

第7圖與第8圖分別為本發明不同實施例之針對目標影像進行權重調整的示意圖。

第9圖與第10圖為相應於第1圖所示影像處理系統在不同實施態樣下之功能方塊圖。

請參閱第1圖、第2圖、第9圖與第10圖，第1圖為本發明實施例之影像處理系統10之一實施例之示意圖，第2圖為本發明實施例之攝影機12之功能方塊圖，第9圖與第10圖為相應於第1圖所示影像處理系統10在不同實施態樣下之功能方塊圖。影像處理系統10可包含具有多個感測器的單攝影機12、由多個僅有單感測器的攝影機12組合而成、或由具有多個感測器的單攝影機12或僅有單感測器的攝影機12組合而成。攝影機12可包含耦接在一起的一個或多個影像感測器14以及處理器16，如第9圖所示；或攝影機12僅包含影像感測器14(或其內建處理器不作用於本案之影像校正功能)，並由攝影機12以外的處理器16進行影像校正，如第10圖所示。在本發明之一些實施例中，多個攝影機12相鄰擺設且分別朝向不同方位，用來擷取場景相鄰的複數張影像。在本發明之另一些實施例中，若攝影機12具有多個影像感測器14，該些影像感測器14則相鄰設置以分別朝向不同方位，用來擷取場景相鄰的複數張影像。處理器16能夠對每一張影像進行色彩校正，減少不同影像間的亮度和彩度差異，並將複數張影像進行接合以得到高品質的接合後影像。其中，處理器16可為目前或未來的各種處理器、中央處理器(Central Processing Unit，CPU)、控制元件(Control Unit)、微控制器、微處理器、特定應用積體電路(application-specific integrated circuit)、現場可編程邏輯閘陣列(field-programmable gate array)、複雜可編程邏輯裝置(complex programmable logic device)、系統單晶片(system-on-chip)、系統級封裝(system-in-package)或所屬技術領域中具有通常知識者所能輕易思及具有計 算能力之硬體元件。此外，在本發明之另一些實施例中，如第10圖所示，處理器16設置於攝影機12以外之其他電子裝置，如電腦、伺服器、或其他可執行影像處理之電子裝置，並不限於本揭露書。

請參閱第3圖至第5圖，第3圖為本發明實施例之對影像進行校正以用於拼接的流程圖，第4圖為本發明實施例之所擷取影像的亮度直方分佈圖，第5圖為對應於第4圖所示亮度直方分佈圖的機率分佈圖。第3圖所示的影像校正方法適用在第1圖所示的影像處理系統10和第2圖所示的攝影機12。第3圖所示的影像校正方法可實作為一電腦程式，並儲存於一電腦可讀取記錄媒體中，而使電腦讀取此記錄媒體後執行影像校正方法。電腦可讀取記錄媒體可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取記錄媒體。

首先，執行步驟300，由處理器16接收複數張影像並計算該些影像的對比量值。複數張影像可以是攝影機12的多個影像感測器14擷取所得，或是多個攝影機12的個別影像感測器14分別擷取而來，惟其特點在於自相鄰場景拍攝，該些影像有部分重疊以供影像拼接。對比量值較佳可根據影像的亮度或彩度資訊計算得知，然不限於此。舉例來說，對比量值可為影像上所有像素的亮度值或彩度值的對比量值。接著，執行步驟302，比較該些對比量值並設定具有最大量值的影像為參考影像，其對比量值小於最大量值的其餘影像則為目標影像。其中，該些對比量值可根據均方根值(RMS)、熵值(Entropy)、灰階共現矩陣值(Gray-Level Co-occurrence Matrix，GLCM)或其他數據統計方式算出。

再來執行步驟304，分別計算參考影像與目標影像的機率分佈資 訊。機率分佈資訊可包含影像的亮度和/或彩度的機率分佈圖、直方分佈圖或其它可呈現亮度和/或彩度分佈的資訊，然不限於此。第4圖所示的直方分佈圖係表示目標影像上的每一個像素的亮度或彩度的像素值的分佈情況。舉例來說，第4圖之橫軸為像素值0-255，第4圖之縱軸為目標影像上個別像素值0-255對應之像素數量。第5圖所示的機率分佈圖則代表第4圖所示之目標影像的亮度或彩度的像素值的累積分佈。舉例來說，第5圖之橫軸為像素值0-255，第5圖之縱軸為目標影像上小於等於個別像素值0-255之像素累積分佈。接著，執行步驟306與步驟308，根據參考影像與目標影像的機率分佈資訊取得轉換函數以調整目標影像的像素值，再根據複數張影像的相鄰區域間的匹配關係利用區塊合成技術接合參考影像與調整後的目標影像。本發明的影像校正方法可直接調整像素值或相應調整目標影像的其它參數去校正目標影像的亮度和/或彩度，使其亮度和/或彩度近似於參考影像而方便拼接。

參照第6圖，可清楚看出參考影像與目標影像的像素累積分佈函數趨勢。影像的像素值範圍係介於0~255之間。前述的影像校正方法即是以內插法調整目標影像的像素累積分佈函數，使其更近似於參考影像的像素累積分佈函數。轉換函數首先在參考影像的像素累積分佈中找出目標影像的所有像素累積分佈所落入的區間，並利用該些區間以線性內插的方式算出相應的像素值。舉例來說，若目標影像原始像素值114所對應之像素累積分佈點P之數值為0.5，轉換函數可透過內插方式計算出參考影像上像素累積分佈同樣在0.5的P’點對應的像素值為142；依據此法逐一算出目標影像上所有像素值(如像素值0-255)轉換後之數值，以產生像素值對照表，據此將參考影像與目標影像的像素累積分佈調整到接近一致，達到緩和參考影像和目標影像之間亮度和/或彩度差異的目的。

特別一提的是，影像校正方法可先在複數張影像的相鄰區域上套 用轉換函數進行校正，讓相鄰區域的亮度和彩度趨向一致，以利用區塊比對技術找出套用轉換函數後的相鄰區域間的匹配關係，可具有較佳的匹配準確度。舉例來說，相鄰區域間的匹配關係可為相鄰區域間拼接的相對位置或其他作為拼接用之匹配相關資訊。前述的相鄰區域可包含兩張相鄰影像的全部重疊區塊或部分重疊區塊。利用全部重疊區塊找匹配關係能減少比對誤差，但要耗費較多運算資源；故可選擇性透過部分重疊區塊找匹配關係，以兼顧運算效率及比對精確性。找出相鄰影像的匹配關係後，影像校正方法另在目標影像的全區域套用轉換函數以產生調整後的目標影像，供步驟308用於接合。本發明或可使用其它方法找出適合的匹配關係，並不限於前述實施例所示方式。

請參閱第7圖與第8圖，第7圖與第8圖分別為本發明不同實施例之針對目標影像進行權重調整的示意圖。影像校正方法首先比較影像相鄰區域的亮度/彩度差異，並依據差異量調整轉換函數的權重，讓影像接合處的色彩分佈能更為自然。如第7圖所示，目標影像I_t可區分成鄰近參考影像I_r的第一區域A1以及遠離參考影像I_r的第二區域A2，為了讓第一區域A1的色彩能自然銜接參考影像I_r，第一區域A1套用轉換函數的轉換權重w1較佳設計成不同於第二區域A2套用轉換函數的轉換權重w2，讓目標影像I_t的亮度/彩度能夠依不同區域分配而產生緩增或緩減變化。舉例來說，權重調整的計算公式可為w×p(t)+(1-w)×p(i)=p，其中w表示轉換權重、p(t)表示套用轉換函數的像素值、p(i)表示沒有套用轉換函數的初始像素值、p表示經權重調整的像素值。參考影像I_r與目標影像I_t的亮度/彩度差異較小而不需要對第一區域A1進行太多調整時，轉換權重w1設得較低可使參考影像I_r與第一區域A1間的色彩自然銜接。若參考影像I_r與目標影像I_t的亮度/彩度差異較大，轉換權重w1設得較高以減緩參考影像I_r與第一區域A1的亮度/彩度差異。在本發明之一些實施例中，可僅比較參考影像I_r與目標影像I_t 的相鄰區域上的亮度/彩度差異，作為上述選擇轉換權重w1之依據。

如第8圖所示，目標影像I_t1拼接在參考影像I_r和另一目標影像I_t2之間時，目標影像I_t1還能進一步區分成第一區域A1、第二區域A2及第三區域A3。第一區域A1與第三區域A3分別鄰近參考影像I_r和另一目標影像I_t2，且第二區域A2介於第一區域A1及第三區域A3之間。第一區域A1與第三區域A3套用轉換函數的轉換權重w1、w3不同於第二區域A2套用轉換函數的轉換權重w2。在此實施例中，轉換權重w1可視參考影像I_r與未轉換前第一區域A1的亮度/彩度差異而定，轉換權重w3可視未轉換前的第三區域A3與另一目標影像I_t2的亮度/彩度差異而定。目標影像I_t1另可區分成三個以上的區域，每一個區域分別根據對應的轉換權重進行像素值調整，除了確保目標影像I_t1本身不致造成過劇的色彩偏差，亦有效維持目標影像I_t1與參考影像I_r和/或目標影像I_t2在銜接處的色彩連續性。

綜合來說，由於不同影像感測器所取得的該些影像會有亮度/彩度上的差異，故本發明的影像校正方法可從中選取高對比量值的影像作為參考影像，其餘的目標影像則透過機率分佈資訊取得轉換函數，並依轉換函數產生調整後的目標影像。調整後的目標影像與參考影像的亮度/彩度已趨向一致，拼接後不會有色彩偏差或明顯的接縫，能提高拼接後的圖像品質。尤其，將本發明應用在拼接相鄰排列的多個影像感測器取得的複數張影像時，效果更為顯著。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

300、302、304、306、308‧‧‧步驟

Claims (9)

1. 一種用於接圖的影像校正方法，其包含有：根據複數張影像的亮度資訊或彩度資訊，計算該複數張影像的對比量值；比較該些對比量值並設定具有最大對比量值的影像為一參考影像，其中該複數張影像的其餘影像係為目標影像；分別計算該參考影像與該目標影像的機率分佈資訊；以及根據該參考影像與該目標影像的該些機率分佈資訊取得一轉換函數，以供調整該目標影像的像素值。
2. 如請求項1所述之影像校正方法，其中該轉換函數以線性內插方式將該目標影像的像素累積分佈調整為近似於該參考影像的像素累積分佈。
3. 如請求項1所述之影像校正方法，另包含有：根據該複數張影像的相鄰區域間的匹配關係，利用區塊合成技術接合該參考影像和調整後的該目標影像。
4. 如請求項3所述之影像校正方法，另包含有：在該複數張影像的相鄰區域套用該轉換函數；以及利用區塊比對技術找出套用該轉換函數後的該複數張影像的相鄰區域間的匹配關係。
5. 如請求項3所述之影像校正方法，另包含有：在該目標影像的全區域套用該轉換函數以產生調整後的該目標影像。
6. 如請求項3所述之影像校正方法，其中該目標影像係區分為鄰近該參考影 像的一第一區域以及遠離該參考影像的一第二區域，且該第一區域套用該轉換函數之轉換權重異於該第二區域套用該轉換函數之轉換權重。
7. 如請求項3所述之影像校正方法，其中該目標影像係區分為一第一區域一第二區域與一第三區域，該第一區域和該第三區域分別鄰近該參考影像以及另一目標影像，該第二區域介於該第一區域和該第三區域之間，且該第一區域與該第三區域套用該轉換函數之轉換權重異於該第二區域套用該轉換函數之轉換權重。
8. 一種具影像校正功能的攝影機，其包含有：複數個影像感測器，分別擷取複數張影像；以及一處理器，耦接於該複數個影像感測器以對該複數張影像進行接圖，該處理器用來執行如請求項1至7其中任一所述的影像校正方法。
9. 一種影像處理系統，能夠對具有複數個影像感測器的至少一攝影機傳來的複數張影像進行接圖，該影像處理系統用來執行如請求項1至7其中任一所述的影像校正方法。