TWI760733B - 影像校正方法及其影像校正裝置 - Google Patents

Abstract

一種影像校正方法，應用在影像校正裝置。該影像校正方法包含有將第一影像與第二影像進行比對以取得該第一影像之第一重疊區和該第二影像之第二重疊區，統計該第一重疊區之基色分佈以取得至少一第一基色值，統計該第二重疊區之基色分佈以取得至少一第二基色值，若該至少一第一基色值大於該至少一第二基色值以該至少一第一基色值相對該至少一第二基色值之比率作為亮度補償值，以及利用該亮度補償值調整該第二影像的像素。該第一重疊區係重疊於該第二重疊區。

Description

影像校正方法及其影像校正裝置

本發明係提供一種影像校正方法及其影像校正裝置，尤指一種可有效改善拼接影像連續性的影像校正方法及其影像校正裝置。

隨著科技的進步，監控攝影機可同時配備多台影像擷取器，分別以不同視角拍攝大範圍監控場景，取得多張小範圍的監控影像，以此拼接成廣角監控影像。該些小範圍監控影像的監控畫面會有部分重疊，影像拼接技術係偵測監控畫面的重疊區，從中尋找在相鄰小範圍監控影像都出現的相同特徵點，進行監控影像之拼接。然而，每一台影像擷取器各自會有獨特的硬體配置及軟體設定選項，即便使用者將多台影像擷取器設計成具有相同的軟硬體條件，不同影像擷取器拍攝取得的小範圍監控影像在亮度、對比度和/或色彩資訊仍有顯著差別。這些小範圍監控影像拼接生成的廣角影像會有清楚可辨的接縫線，破壞了廣角影像的美觀性。故如何設計一種能消除縫線以提高拼接影像連續性的影像校正方法，便為相關監控設備產業的重點發展目標。

本發明係提供一種可有效改善拼接影像連續性的影像校正方法及其影像校正裝置，以解決上述之問題。

本發明之申請專利範圍係揭露一種影像校正方法，其包含有將第一影像與第二影像進行比對以取得該第一影像之第一重疊區和該第二影像之第二重疊區，統計該第一重疊區之基色分佈以取得至少一第一基色值，統計該第二重疊區之基色分佈以取得至少一第二基色值，若該至少一第一基色值大於該至少一第二基色值以該至少一第一基色值相對該至少一第二基色值之比率作為亮度補償值，以及利用該亮度補償值調整該第二影像的像素。該第一重疊區係重疊於該第二重疊區。

本發明之申請專利範圍另揭露一種影像校正方法，其包含有將第一影像與第二影像進行比對以取得該第一影像之第一重疊區和該第二影像之第二重疊區，計算該第一影像於該第一重疊區內包含之複數個第一基色值中色彩相異的兩第一基色值的第一色差比率，計算該第二影像於該第二重疊區內包含之複數個第二基色值中色彩相異的兩第二基色值的第二色差比率，以該第一色差比率和該第二色差比率取得色差補償值，以及利用該色差補償值分別調整第一影像包含之複數個第一基色值的至少其中之一第一選定基色值及該第二影像包含之複數個第二基色值的至少其中之一第二選定基色值。該第一重疊區係重疊於該第二重疊區，且該第一選定基色值和該第二選定基色值係具相同色彩。

本發明之申請專利範圍另揭露一種影像校正裝置，其包含有影像取得器以及運算處理器。該影像取得器用來取得第一影像與第二影像。該運算處理器電連接該影像取得器。該運算處理器係執行如上述所揭露之影像校正方法。

本發明之影像校正方法及其影像校正裝置係取得兩張影像各自的重 疊區，並分析重疊區之基色分佈，根據不同重疊區的相同基色值之比率、或同一重疊區內不同基色值的比率，對應調整兩張影像的像素基色值，使其影像參數一致。本發明所揭露之較佳實施例係先調整影像亮度，爾後再調整影像色差，然實際應用不限於此；本發明亦可先調整影像色差再調整影像亮度，也可以只調整影像亮度，還能僅調整影像色差，或是搭配其它有助於消除拼接痕跡的影像參數進行補償。綜上所述，本發明在完成拼接影像後，可先行校正拼接影像的中心及周圍的亮度與色差，然後再基於校正後之拼接影像進行拼接痕跡的亮度及色差改善，俾以消除拼接痕跡。

10:影像校正裝置

12:影像取得器

14:運算處理器

I1:第一影像

I2:第二影像

Is:拼接影像

R1:第一重疊區

R2:第二重疊區

P1_1、P1_2、P1_3、P1_4、P1_5、P1_6、P1_7、P1_8、P1_9、P1_10、P1_11、P1_12、P1_13、P1_14、P1_15、P1_16、P1_17、P1_18、P1_19、P1_20:第一像素單元

P2_1、P2_2、P2_3、P2_4、P2_5、P2_6、P2_7、P2_8、P2_9、P2_10、P2_11、P2_12、P2_13、P2_14、P2_15、P2_16、P2_17、P2_18、P2_19、P2_20:第二像素單元

S100、S102、S104、S106、S108、S110:步驟

S200、S202、S204、S206:步驟

S300、S302、S304:步驟

第1圖為本發明實施例之影像校正裝置之功能方塊圖。

第2圖為本發明實施例之影像校正方法之流程圖。

第3圖與第4圖為本發明實施例之第一影像與第二影像之示意圖。

第5圖為本發明實施例之拼接影像之示意圖。

第6圖為本發明實施例之計算亮度補償值之流程圖。

第7圖為本發明實施例之第一重疊區與第二重疊區之基色分佈進行亮度調整之示意圖。

第8圖為本發明實施例之計算色差補償值之流程圖。

第9圖為本發明實施例之第一重疊區與第二重疊區之基色分佈進行色差調整之示意圖。

請參閱第1圖與第2圖，第1圖為本發明實施例之影像校正裝置10之功 能方塊圖，第2圖為本發明實施例之影像校正方法之流程圖。影像校正裝置10可為監控設備，用來偵測大範圍的監控領域。影像校正裝置10可自行拍攝不同視角範圍的監控影像、或是接收外部攝影機拍攝之監控影像，並將該些監控影像進行拼接以取得廣角的拼接影像。影像校正裝置10可包含影像取得器12以及運算處理器14。影像取得器12係自行拍攝、或是通過有線或無線方式取得監控範圍部分重疊的多張影像。運算處理器14電連接影像取得器12，並執行影像校正方法來消除拼接痕跡，提高廣角影像的亮度和/或色彩表現。

請參閱第2圖至第5圖，第3圖與第4圖為本發明實施例之第一影像I1與第二影像I2之示意圖，第5圖為本發明實施例之拼接影像Is之示意圖。影像校正裝置10係針對監控範圍相鄰且部分重疊的兩張影像進行拼接與校正，例如第一影像I1與第二影像I2可結合形成拼接影像Is。第一影像I1及第二影像I2分別由不同攝影機拍攝取得，亮度和/或色差不一致，可利用本發明的影像校正方法消除兩影像I1和I2的拼接痕跡。首先，執行步驟S100，將第一影像I1和第二影像I2進行比對以取得第一重疊區R1及第二重疊區R2；其中第一影像I1之第一重疊區R1係重疊第二影像I2之第二重疊區R2。接著，執行步驟S102，收集第一重疊區R1與第二重疊區R2的統計資料以計算影像參數之補償值。前述影像參數可以是影像的亮度或色差、或是任何有助於消除拼接痕跡的參數。

再接著，執行步驟S104，分析第一重疊區R1與第二重疊區R2的重疊率以設定信心指數。若信心指數低於第一預設門檻，表示第一影像I1和第二影像I2的重疊性及拼接效果不佳，執行步驟S106，放棄影像校正。若信心指數高於或等於第一預設門檻，則執行步驟S108與步驟S110，利用信心指數調整影像參數補償值，再利用影像參數補償值調整第一影像I1和/或第二影像I2內像素，據此 消除廣角影像的拼接痕跡，有效改善拼接連續性。設定信心指數係為選擇性步驟，也可在步驟S102後接續執行步驟S110，計算出影像參數補償值後，直接用來調整第一影像I1和/或第二影像I2的像素。特別一提的是，信心指數還能進一步相比於第二預設門檻，根據兩重疊區R1與R2的重疊率來決定影像參數補償值受信心指數影響的調整比例。

舉例來說，如果兩重疊區R1與R2的重疊率低於百分之二十，影像校正方法可能判定不執行第一影像I1和第二影像I2之拼接及校正；此時的重疊率(百分之二十)即對應到第一預設門檻。如果重疊率高於百分之二十但低於百分之五十，表示兩重疊區R1與R2的重疊率符合校正標準但品質仍欠佳，影像校正方法的信心指數可設定為低權重，影像參數補償值通過低權重加權後作為第一影像I1和/或第二影像I2的最終補償值；此時的重疊率(百分之五十)即對應到第二預設門檻。如果重疊率高於百分之五十，表示兩重疊區R1與R2的重疊率符合最佳校正標準，故影像校正方法的信心指數可設為高權重，影像參數補償值利用高權重加權後則為第一影像I1和/或第二影像I2的最終補償值。

關於步驟S100，影像校正方法可先計算第一重疊區R1內任一第一像素單元(例如第3圖所示之像素單元P1_3)與相鄰之其它第一像素單元(例如第3圖所示之像素單元P1_2、P1_4、P1_12、P1_13、P1_14)的一個或多個第一運算值，以及第二重疊區R2內與前揭第一像素單元位置相對應的第二像素單元(例如第4圖所示之像素單元P2_3)與相鄰之其它第二像素單元(例如第4圖所示之像素單元P2_2、P2_4、P2_12、P2_13、P2_14)的一個或多個第二運算值。第一運算值可為中心第一像素單元(意即像素單元P1_3)和周圍第一像素單元(意即像素單元P1_2、P1_4、P1_12、P1_13、P1_14)的比值，第二運算值亦然；第一運算值與 第二運算值不限於前揭兩像素單元的比值，也可以是加權後之比值或差值，端視設計需求而定。

若一個或多個第一運算值(例如像素單元P1_3與P1_4的比值)和對應第二運算值(例如像素單元P2_3與P2_4的比值)的差異小於預定門檻，則判定此第一像素單元P1_3在第一重疊區R1內的位置相對重疊於第二像素單元P2_3在第二重疊區R2內的位置。依上述程序逐一分析，即可判斷第一重疊區R1與第二重疊區R2內位置相對重疊之第一及第二像素單元的數量。特別一提的是，第一與第二像素單元可以是第一影像I1和第二影像I2內的單個像素點，也可以是多個像素點組合形成的像素區塊；影像校正裝置10係根據運算速度與精確度需求設定像素單元之範圍。

關於步驟S104，影像校正方法可計算第一重疊區R1中符合「第一像素單元在第一重疊區R1之位置重疊於第二像素單元在第二重疊區R2內位置」此條件的第一像素單元之數量。以第3圖與第4圖為例，第一重疊區R1可有20個第一像素單元P1_1~P1_20，第二重疊區R2可有20個第二像素單元P2_1~P2_20。若只有三組的第一及第二像素單元符合前述條件，兩重疊區R1與R2的重疊率低於百分之二十(第一預設門檻)，影像校正方法不執行第一影像I1和第二影像I2之拼接及校正；若有八組的第一及第二像素單元符合前述條件，兩重疊區R1與R2的重疊率高於百分之二十但低於百分之五十(第二預設門檻)，信心指數可設成權值0.4(低權重)；若有十六組的第一及第二像素單元符合前述條件，兩重疊區R1與R2的重疊率高於百分之五十，信心指數可設定為權值0.8(高權重)。

信心指數之權值設定不限於符合條件之像素單元組數和像素單元總 數的比值。在其它可能實施態樣中，本發明的影像校正方法可在重疊率高於第一預設門檻、但低於第二預設門檻時，信心指數一律設成為特定權值的低權重(例如權值為0.5)；而在重疊率高於第二預設門檻，則將信心指數一律設定為特定權值的高權重(例如權值1.0)。權值設定端視實際需求而定，於此不再對其它可能變化分別敘明。

步驟S102可分成影像亮度補償值之計算、及影像色差補償值之計算。請參閱第6圖至第9圖，第6圖為本發明實施例之計算亮度補償值之流程圖，第7圖為本發明實施例之第一重疊區R1與第二重疊區R2之基色分佈進行亮度調整之示意圖。在第一影像I1與第二影像I2找出第一重疊區R1及第二重疊區R2後，可先執行步驟S200與步驟S202，統計第一重疊區R1的基色分佈以取得至少一第一基色值，並且統計第二重疊區R2的基色分佈以取得至少一第二基色值。接著，執行步驟S204與步驟S206，比較第一基色值和第二基色值的大小，若第一基色值和大於第二基色值，則設定第一基色值相對第二基色值的比率為亮度補償值；意即第一基色值為被除數，且第二基色值為除數。亮度補償值即能用於步驟S110，調整第二影像I2內的像素。

一般來說，本發明係統計第一重疊區R1與第二重疊區R2內所有像素在紅、綠、藍三種基色的像素總值或均值，並定義綠基色值為前揭之第一基色值(例如綠基色值180)和第二基色值(例如綠基色值150)，可通過較低的運算量取得精確的亮度補償值；此時亮度補償值可為1.2(比率1.2=180/150)，第二重疊區R2或第二影像I2的第二紅基色值可通過亮度補償值從數值72約調整為86(=76*180/150)，第二藍基色值可通過亮度補償值從數值120約調整為144(=120*180/150)。若影像校正裝置10有足夠條件的軟硬體配置，第一基色值 和第二基色值還可以是紅、綠、藍三種基色值依特定比例運算取得之亮度值；舉例來說，第一基色值與第二基色值可為明亮度(Luminance,Luma)Y，且明亮度Y可通過公式一以紅、綠、藍三種基色值轉換取得。

Y=0.299×R+0.587×G+0.114×B 公式一

第8圖為本發明實施例之計算色差補償值之流程圖，第9圖為本發明實施例之第一重疊區R1與第二重疊區R2之基色分佈進行色差調整之示意圖。第一影像I1與第二影像I2找出第一重疊區R1及第二重疊區R2之後，可先執行步驟S300與步驟S302，計算第一重疊區R1內其中一第一基色值與另一第一基色值的第一色差比率，且計算第二重疊區R2內其中一第二基色值與另一第二基色值的第二色差比率。第一重疊區R1會具有紅、綠、藍三種第一基色值，第二重疊區R2亦然。接著，執行步驟S304，利用第一色差比率和第二色差比率取得色差補償值。色差補償值可為兩色差比率之均值、或其它可能的轉換值，然實際應用不限於此。色差補償值即能用於步驟S110，調整第一影像I1和第二影像I2內的像素。

前述的其中一第一基色值和其中一第二基色值具有相同色彩，另一第一基色值和另一第二基色值具有相同色彩。本發明較佳會計算兩重疊區R1與R2的綠基色值相對於選定的紅或藍基色值的色差比率，然實際應用不限於此。以第9圖為例，步驟S300可計算出第一綠基色值(數值180)與第一紅基色值(數值144)的第一色差比率(數值約為0.8=144/180)，步驟S302可計算出第二綠基色值(數值180)與第二紅基色值(數值86)的第二色差比率(數值約為0.47=86/180)，步驟S304則會計算出色差補償值約為0.64(意即(0.8+0.47)/2)，之後再利用色差補償值 分別對應調整兩張影像包含之像素的基色值，例如通過色差補償值一併調整第一影像I1各像素的第一紅基色值和第二影像I2各像素的第二紅基色值。第一影像I1各像素的第一藍基色值和第二影像I2各像素的第二藍基色值也能藉由相同方式計算出相對應的色差補償值來進行調整。其中，上述之調整可以例如是將第一影像I1各像素的第一紅基色值和第二影像I2各像素的第二紅基色值分別乘上計算出的色差補償值，並將相乘之後的多個乘積取代對應的第一影像I1各像素的第一紅基色值和第二影像I2各像素的第二紅基色值。第一影像I1與第二影像I2各像素包含的藍基色值或其他顏色的基色值也能以同樣的方式進行調整。其中，本發明所述之基色值並不侷限於上述所述之顏色。

統計第一重疊區R1與第二重疊區R2的基色分佈時，本發明可以分析第一重疊區R1和第二重疊區R2內的全部像素進行基色統計，也可以先找出第一重疊區R1與第二重疊區R2內符合位置重疊條件的第一像素單元及第二像素單元，僅針對符合前揭條件的第一像素單元與第二像素單元進行基色統計；然其變化仍不限於前揭實施態樣，端視設計需求而定。

本發明的影像校正方法及其影像校正裝置係取得兩張影像各自的重疊區，並分析重疊區之基色分佈，根據不同重疊區的相同基色值之比率、或同一重疊區內不同基色值的比率，對應調整兩張影像的像素基色值，使其影像參數一致。本發明所揭露之較佳實施例係先調整影像亮度，爾後再調整影像色差，然實際應用不限於此；本發明亦可先調整影像色差再調整影像亮度，也可以只調整影像亮度，還能僅調整影像色差，或是搭配其它有助於消除拼接痕跡的影像參數進行補償。綜上所述，本發明在完成拼接影像後，可先行校正拼接影像的中心及周圍的亮度與色差，然後再基於校正後之拼接影像進行拼接痕跡的亮 度及色差改善，俾以消除拼接痕跡。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

S100、S102、S104、S106、S108、S110:步驟

Claims (13)

1. 一種影像校正方法，其包含有：將一第一影像與一第二影像進行比對以取得該第一影像之一第一重疊區和該第二影像之一第二重疊區，其中該第一重疊區係重疊於該第二重疊區；統計該第一重疊區之基色分佈以從紅、綠與藍三種基色值中取得至少一第一基色值；統計該第二重疊區之基色分佈以取得相同於該至少一第一基色值之顏色的至少一第二基色值；若該至少一第一基色值大於該至少一第二基色值，以該至少一第一基色值相對該至少一第二基色值之一比率作為一亮度補償值；以及利用該亮度補償值調整該第二影像的像素中不同於該至少一第一基色值之該顏色的其它兩種基色值的其中之一。
2. 如請求項1所述之影像校正方法，其中將該第一影像與該第二影像進行比對以取得該第一重疊區和該第二重疊區係包含：計算該第一重疊區內相鄰之一第一像素單元與相鄰之其他第一像素單元的至少一個第一運算值；計算該第二重疊區內與該第一像素單元位置相對應之一第二像素單元與相鄰之其他第二像素單元的至少一個第二運算值；以及若該至少一個第一運算值與對應的該至少一個第二運算值的差異小於一預定門檻，則判定該第一像素單元在該第一重疊區的位置相對重疊於該第二像素單元在該第二重疊區的位置。
3. 如請求項2所述之影像校正方法，另包含有：計算該第一重疊區中符合該第一像素單元在該第一重疊區的位置重疊於該第二像素單元在該第二重疊區的位置之該第一像素單元的數量；以及根據該數量相對該第一重疊區之一像素單元總數的比率設定一權重，用來調整該亮度補償值。
4. 如請求項1所述之影像校正方法，其中該至少一第一基色值與該至少一第二基色值係為該基色分佈的一綠基色值。
5. 如請求項1所述之影像校正方法，其中該至少一第一基色值與該至少一第二基色值係為該基色分佈的三基色值依特定比例運算取得對應之亮度值。
6. 如請求項1所述之影像校正方法，另包含有：計算該第一重疊區之該至少一第一基色值與另一第一基色值的一第一色差比率；計算該第二重疊區之該至少一第二基色值與另一第二基色值的一第二色差比率；以該第一色差比率和該第二色差比率取得一色差補償值；以及利用該色差補償值調整該第一影像之該另一第一基色值與該第二影像之該另一第二基色值。
7. 如請求項6所述之影像校正方法，其中該至少一第一基色值與該另 一第一基色值分別為該基色分佈的一綠基色值以及一紅基色值、或是該綠基色值以及一藍基色值，並且該至少一第一基色值與該另一第一基色值的色彩分別相同於該至少一第二基色值與該另一第二基色值的色彩。
8. 一種影像校正方法，其包含有：將一第一影像與一第二影像進行比對以取得該第一影像之一第一重疊區和該第二影像之一第二重疊區，其中該第一重疊區係重疊於該第二重疊區；計算該第一影像於該第一重疊區內包含之紅、綠與藍三種第一基色值中色彩相異的兩第一基色值的一第一色差比率；計算該第二影像於該第二重疊區內包含之紅、綠與藍三種第二基色值中色彩相異的兩第二基色值的一第二色差比率；以該第一色差比率和該第二色差比率取得一色差補償值；以及利用該色差補償值分別調整該第一影像包含之該兩第一基色值的其中一第一基色值及該第二影像之包含之該兩第二基色值的其中一第二基色值；其中該其中一第一基色值和該其中一第二基色值係具相同色彩。
9. 如請求項8所述之影像校正方法，其中將該第一影像與該第二影像進行比對以取得該第一重疊區和該第二重疊區係包含：計算該第一重疊區內之一第一像素單元與相鄰之其他第一像素單元的至少一個第一運算值；計算該第二重疊區內與該第一像素單元位置相對應之一第二像素單元與相鄰之其他第二像素單元的至少一個第二運算值；以及若該至少一個第一運算值與對應的該至少一個第二運算值的差異小於一預 定門檻，則判定該第一像素單元在該第一重疊區的位置重疊於該些第二像素單元在該第二重疊區的位置。
10. 如請求項9所述之影像校正方法，另包含有：計算第一重疊區中符合該第一像素單元在該第一重疊區的位置重疊於該第二像素單元在該第二重疊區的位置之該第一像素單元的數量；以及根據該數量相對該第一重疊區之一像素單元總數的比率設定一權重，用來調整該色差補償值。
11. 如請求項8所述之影像校正方法，其中該兩第一基色值分別為一綠基色值以及一紅基色值、或是該綠基色值以及一藍基色值，並且該兩第一基色值的色彩分別相同於該兩第二基色值的色彩。
12. 如請求項8所述之影像校正方法，其中該其中一第一基色值和該其中一第二基色值係為一紅基色值、或是一藍基色值。
13. 一種影像校正裝置，其包含有：一影像取得器，用來取得一第一影像與一第二影像；以及一運算處理器，電連接該影像取得器，該運算處理器係執行如請求項1至請求項12中任一項所述之影像校正方法。

Images