TWI480833B - 具高解析度之共軛焦顯微鏡影像拼接方法 - Google Patents

具高解析度之共軛焦顯微鏡影像拼接方法 Download PDF

Info

Publication number
TWI480833B
TWI480833B TW098118751A TW98118751A TWI480833B TW I480833 B TWI480833 B TW I480833B TW 098118751 A TW098118751 A TW 098118751A TW 98118751 A TW98118751 A TW 98118751A TW I480833 B TWI480833 B TW I480833B
Authority
TW
Taiwan
Prior art keywords
images
image
correlation
pixel
perform
Prior art date
Application number
TW098118751A
Other languages
English (en)
Other versions
TW201023093A (en
Inventor
Yung Chang Chen
Yao Hsuan Tsai
Original Assignee
Nat Univ Tsing Hua
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Univ Tsing Hua filed Critical Nat Univ Tsing Hua
Publication of TW201023093A publication Critical patent/TW201023093A/zh
Application granted granted Critical
Publication of TWI480833B publication Critical patent/TWI480833B/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Description

具高解析度之共軛焦顯微鏡影像拼接方法
本發明係關於一種具高解析度之共軛焦顯微鏡影像拼接方法，尤指一種利用角錐形相關演算法(pyramidal correlation)、強度調整(intensity adjustment)、動態規劃(dynamic programming)、尺度不變特徵變換演算法(scale-invariant feature transform,SIFT)及多重波段混合技術(multi-band blending)之方法，以消除由嚴重的影像強度不一致、影像失真及結構失準所造成視覺上的明顯失真，達成無接縫之影像接合效果。
探究人類腦部之神經網絡結構及功能是非常重要卻也非常困難的一項研究，原因在於其含有大量的神經纖維並且擁有極其複雜之功能。為了簡化此問題，生命科學之相關研究中選擇果蠅作為研究對象，係由於果蠅腦內之細胞及神經纖維之數量非常少，並且較容易取得大量之樣本。
進行研究的第一個步驟係將許多資料影像進行結合。為了得到較高解析度的照片，便將螢光染色後的果蠅腦部進行共軛焦顯微鏡影像的取得，而其切片影像由x-y平面上之兩個、四個或六個重疊部分以及z座標上之一個堆疊部分所組成。一個影像堆疊可能由數百個切片所組成，所有這些切片以其於z座標之位置進行編號，而由於微小的不精確之下，可能造成不同堆疊中相同編號之照片無法準確的呈現相同的z座標。螢光影像的另一個問題係在進行影像拍攝時，螢光會隨著時間而逐漸衰退，這使得照片的強度補償變的困難。在本發明中使用了一些方法解決這些問題，並且得到了令人滿意的結果。
本發明之主要目的係提供一種具高解析度之共軛焦顯微鏡影像拼接方法，以消除由嚴重的影像強度不一致、影像失真及結構失準所造成視覺上的明顯失真，達成無接縫之影像接合效果，使輸入之影像達成整體配準。本方法係基於結構變形及增殖技術，使輸入影像所得到之結果能維持整體外觀之親和性。此種新方法被證實可有效的解決上述問題，並且更可應用於馬賽克反虛反射(mosaic deghosting)、影像混合(image blending)以及強度校正(intensity correction)等方面。
拼接演算法的目標是製造出一種視覺上貌似真實的馬賽克影像，其需含有兩個理想上的特性：第一，馬賽克影像必須儘可能在幾何學上及光度上與輸入之影像相似；第二，拼接影像間之接縫必須是看不見的。在先前的技術中，雖然以肉眼對影像拼接結果進行檢測時，上述要求可達到令人滿意的結果，但是拼接結果之清晰度在品質標準上來說仍然是效果有限的。
具高解析度之共軛焦顯微鏡影像拼接方法係包含以下步驟：(1)開始；(2)決定欲拼接之影像數量是否多於兩個，若否，則進行步驟(3)，若是，則進行步驟(7)；(3)進行角錐形相關演算法(pyramidal correlation)；(4)將兩影像之重疊區域進行增益補償(gain compensation)；(5)對於重疊區域以外之部分進行強度調整(intensity adjustment)；(6)進行動態規劃(dynamic programming)，並進行步驟(15)；(7)決定角錐形相關演算法(pyramidal correlation)是否必要，若是，則進行步驟(8)，若否，則進行步驟(12)；(8)進行角錐形相關演算法(pyramidal correlation)；(9)進行鄰接調整(adjacency adjustment)；(10)決定利用間距圖譜進行線性調整是否必要，若是，則進行步驟(11)，若否，則進行步驟(13)；(11)利用間距圖譜進行線性調整，並進行步驟(15)；(12)進行尺度不變特徵變換演算法(scale-invariant eature transform,SIFT)；(13)對所有影像進行增益補償(gain compensation)；(14)進行多重波段混合技術(multi-band blending)；(15)將影像結合而形成一共軛焦顯微鏡影像；以及(16)結束。
本發明進一步之特徵及優點將於下述之實施方式中搭配圖示以進行詳細之描述。前述之簡略說明及後述之詳細說明僅對本發明作代表性之闡述，不可依此侷限本發明之權利範圍。
為達前述之目的與功效，發明人將一系列之影像拼接及調整方法進行組合使用及改良，在不斷的嘗試與修正之下，始得到本發明之一種具高解析度之共軛焦顯微鏡影像拼接方法。茲以本發明一較佳實施例之具高解析度之共軛焦顯微鏡影像拼接方法對本發明之技術特徵及製造方法做詳細之介紹。
請參照如第一A圖、第一B圖及第一C圖所示，係本發明之具高解析度之共軛焦顯微鏡影像拼接方法之流程圖，其包含以下步驟：
(1)開始；
(2)決定欲進行拼接之影像數量是否多於兩個，若否，則進行步驟(31)，若是，則進行步驟(7)；
(31)對影像進行降冪取樣以得到一第一最小尺度，其係為一第一角錐之最高等級；
(32)與其他影像逐個像素地進行複數個第一相關之運算；
(33)將複數個第一不合理結果排除，以得到一第一最高相關；
(34)在其中一影像中之一第一左上角獲得一第一相對位置；
(35)將影像進行升冪取樣而進入下一個第一等級；
(36)在該第一相對位置周圍之一第一合理範圍中進行檢查，以對該第一角落之座標進行微調；
(37)決定第一相對位置是否於第一最細微等級中被找到，若是，則進行步驟(41)，若否，則進行步驟(31)；
(41)將兩影像重疊區域中較暗之重疊區域進行強度之提升；
(42)將該較暗之重疊區域與重疊區域間的強度差異添加至較弱強度之重疊區域；
(5)在重疊區域以外之部分進行強度調整(intensity adjustment)；
(6)進行動態規劃(dynamic programming)，並進行步驟(15)；
(7)決定角錐形相關演算法(pyramidal correlation)是否必須，若是，則進行步驟(81)，若否，則進行步驟(12)；
(81)對影像進行降冪取樣以得到一第二最小尺度，其係為一第二角錐之最高等級；
(82)與其他影像逐個像素地進行複數個第二相關值之運算；
(83)將複數個第二不合理結果排除，以得到一第二最高相關值；
(84)在其中一影像中之一第二左上角獲得一第二相對位置；
(85)將影像進行升冪取樣而進入下一個第二等級；(86)在第二相對位置周圍之一第二合理範圍中進行檢查，以對第二角落之座標進行微調；(87)決定第二相對位置是否於第二最細微等級中被找到，若是，則進行步驟(9)，若否，則進行步驟(81)；(9)進行鄰接調整(adjacency adjustment)；(10)決定利用間距圖譜進行線性調整是否必要，若是，則進行步驟(11)，若否，則進行步驟(13)；(11)利用間距圖譜進行線性調整，並進行步驟(15)；(12)進行尺度不變特徵變換演算法(scale-invariant feature transform,SIFT)；(13)對所有影像進行增益補償(gain compensation)；(141)建立一個大的遮罩[0]，使其與所有影像結合後之尺寸相同；(142)將至少一重疊區域定義為Iov ，將至少一非重疊區域定義為Inov ；(143)將Inov 中之圖素依照遮罩[0]中相同之編號而標記為一影像[k](image[k])之索引k(index k)；(144)將Iov 中之圖素與步驟(143)所設定之圖素編號進行一距離之運算；(145)將遮罩[0]中相同之編號設定成一最接近之編號；(146)將複數個遮罩[0]建立成遮罩[k]，使遮罩[k]與步驟(141)之尺寸相同；(147)若遮罩[0]中之圖素編號為i，則將遮罩[i]中之圖素編號設定為1，否則，將圖素編號設定為0；
(148)利用高斯過濾法(Gaussian filtering)以不同的變異數對於複數個遮罩及影像進行平滑化之動作，以創造不同的波段；
(149)將不同波段進行分隔；
(14a)對每一個波段乘以一相對應的遮罩；
(14b)將所有波段相加在一起；
(15)將影像進行結合而形成該共軛焦顯微鏡影像；及(16)結束。
其中，步驟(6)係關於一種動態規劃(dynamic programming)及一種演算設計方法，此方法對於各種圖案樣式間最佳排列方法之搜尋來說，是一種非常健全的技術，係由於其在進行搜尋時可對於次序及連續性進行限制。然而，此方法僅適用於一維排列(原因在於多維排列並無自然之次序)，並且在先前技術曾做過之嘗試顯示，此方法並不易直接使用於影像匹配(image matching)上。在“dynamic programming”一詞中之“programming”與電腦程式完全沒有關聯，而是由“mathematical programming”(數學規劃)一詞而來的，係為“最佳化”之同義詞。因此，“program”(規劃)係為對於一行動而言最理想之計畫。動態規劃(dynamic programming)係為一解決問題之方法，其特性為將次問題(sub-problems)與理想之次結構(substructure)進行重疊所花費之時間比一般的方法還少。動態規劃(dynamic programming)法通常採用下列兩種方式進行：
1.由上而下法(top-down approach)：係將主問題破壞成次問題，並解決這些次問題，而解決次問題之方法會被記憶起來，如果這些次問題需要再次被解決時便可使用這些解決方法。此為遞迴法與記憶法之結合。
2.由下而上法(bottom-up approach)：所有可能需要用到之次問題係皆事先進行解決，然後用以建立主問題之解決方法。此方法可用於處理重疊空間與函數呼叫數量之問題，但有時無法直覺性的指出用以解決主問題所需要的所有次問題。
動態規劃(dynamic programming)最初是用於結構合成(texture synthesis)之目的，以減少區塊之間的黑暗部分。動態規劃(dynamic programming)係以最小成本路徑(minimum cost path)的方法對重疊部分之誤差面(error surface)進行運算。若想要在兩個重疊區塊中結構最匹配的圖素部分(重疊誤差最小的部份)進行分割，可藉由動態規劃(dynamic programming)而輕易達成。在此亦可使用最短路徑演算法(Dijkstra’s algorithm)而達成目的。
誤差面的最小成本路徑(minimum cost path)可藉由下列方式進行運算。請參閱如第二圖所示，係本發明使用動態規劃(dynamic programming)所進行之最小錯誤邊界分割(minimum error boundary cut)之示意圖。B1與B2以其垂直之邊緣互相重疊，而其重疊區域分別為與，而其誤差面(error surface)定義為。為了找到誤差面(error urface)的最小垂直分割，在此不使用e (i =2LN ),而是對所有的路徑進行累積最小誤差(cumulative minimum error)E的運算：
E i,j =e i,j +min(E i - 1, j -1 ,E i - 1, j ,E i - 1, j +1 ).　(1-1)
最後，E值最後一列的最小值將指出誤差面的最小垂直路徑的終點，並且可回朔找到最佳分割的路徑。類似之步驟亦可使用於水平重疊。當垂直重疊與水平重疊同時存在時，最小路徑會於中央交會，並且以整體最小值進行分割。
在實驗中，若照片數量為兩個，便可選擇使用動態規劃(dynamic programming)法。首先將兩個影像處理成兩個龐大的區塊，接著嘗試找到此兩個影像之重疊部分的最短路徑。利用此方法結合兩張照片可得到非常好的結果，並且對於強度僅有少量的修飾。但是當欲接合之相片數量增加時，由於重疊之部份可能會有各種形狀，因此動態規劃(dynamic programming)便不適用於此處。
相關值(correlation)提供了一種最常見也是最有用的統計法。利用相關值之運算可產生一數字，該數字描述了兩個隨機變量之間匹配關係之程度。雖然此為簡單之方法，但其對於本發明可得到很好的結果。
對於兩個隨機變量X與Y，其資料對(data pairs)係為(xi,yi),i=1,2,...,n。其平均數與變異數分別為與SX及與SY。相關係數r之算法為：
在較佳實施例中，我們同時考慮六個變量(即六個照片)，我們將得到一資料矩陣，其為相關矩陣(correlation matrix)。由於此時須對於較多的照片進行運算而得到一相關矩陣以進行進一步的分析，為了縮短運算時間，此處使用角錐型相關演算法(pyramidal correlation)。
首先，對影像進行降冪取樣以得到最小之尺度，如第三圖所示，係經由降冪取樣之影像依序排列之示意圖。藉由與其他影像逐個像素地進行複數個第一相關值之運算(如第四圖所示，係逐個像素地進行相關運算之示意圖，虛線為B的搜尋區域)以及藉由排除不合理的結果，在此對於變異數SX及SY增設了一門檻值，這是由於所有的影像皆含有零強度(zero intensity)之背景值並且假設重疊區域皆為零像素並且互相相關。如第五A圖及第五B圖所示，係本發明之兩種相關狀況之示意圖，第五A圖係表示兩個影像有關聯但配對失敗，而第五B圖係表示成功配對之情形。由此可以得到最高之相關值，並且知道其相關位置位於左上角。接著將影像進行升冪取樣而進入下一個等級，並在這個新的位置周圍之合理範圍中進行檢查，以對於在第六圖所得到的該角落之座標進行微調，其中，第六圖係為次等級(虛線)搜尋範圍之示意圖。重複這些步驟直到重疊之位置出現於最細微之等級。
相關矩陣之對角線(例如從左上角到右下角之數字)永遠為1。這是由於對角線部分係為每一個變量與自己本身比較後所得到的相關，並且任何變量永遠與自己本身呈現完全相關。在本發明之較佳實施例中需要不同照片之間的相關值，因此可以省略對角線之操作。
除此之外，此程序僅對於相關矩陣上方之三角型部份進行運算。在每一個相關矩陣中皆有兩個三角形部份，其中之一係位於對角線之左下方(下方三角部分)，另一則位於對角線之右上方(上方三角部分)。這兩個相關矩陣之三角形永遠彼此為鏡像關係(變量x對於變量y的相關永遠等於變量y對於變量x的相關)。
接著對整個相關矩陣(表一)進行搜尋，首先找到最高之相關值，然後我們可以決定第一個影像配對為＜Img[2]，Img[3]＞。由於照片的連續性，接著將於相關矩陣中搜尋相關程度第二高的配對，而該相關程度第二高之配對須與已找到的配對具有相關性。繼續進行此步驟直到所有的照片編號(0～5號)都出現在影像配對列表(表二.(a))中。每一個影像配對不但表示兩影像是相鄰的，亦顯示了照片間之相對位置。利用此步驟，可決定所有影像於組合影像中之位置(表二.(b))。
在較佳實施例中運算了六個堆疊中相同編號的六個切片，並且假定它們皆位於相同的z座標。但是其中一個共軛焦顯微鏡影像堆疊可能與其他堆疊在z座標上有誤差。基於這種情況，必須嘗試找到真正位於同一平面的影像。
為了解決這個問題，在此定義一重量C，其係為影像配對列表中所有相關值之平均值。C值被視為一參數，其可告訴我們在同一平面上有多少種組合。藉由將相鄰的照片代入而得到新的組合，可以決定哪一種組合比較接近理想的情況。
若要對六個影像以及所有的代入式做運算，我們可能需要處理36種組合以得到最後的答案(以結合表一的六張照片為例)。在此可利用一方法來減少運算量。由於先前已進行過影像配對的搜尋，因此所有的照片配對皆含有連續性。我們可以利用連續性的優點來計算何種組合是我們想要的結果。
首先，我們將一影像配對的第n-1、n、n+1個切片進行運算，而此程序需要九個運算步驟。接著選出一最佳配對，計算該影像配對的相關並代入未確定的切片。經過三個運算後，挑選出最佳配對並重複此動作直到六張照片都確定完成。
參照表三及第七圖所示，係分別為影像配對列表以及搜尋方法示意圖。圖中最上面的數字係為影像[k](Img[k])的索引k(index k)。由上而下的三列節點代表不同堆疊中的第n-1、n、n+1個切片。虛線箭頭表示在該階段中之最高相關。實線箭頭表示所有需要的運算。
由於在六個堆疊中所有照片之結合有其相似性，因此可以將此特性加以利用。首先在每一個堆疊中選擇三個切片(較明確的三個)，接著經由前述步驟可以得到切片之間的關聯性。經由此程序所得到之結果中，若是六張照片皆為相同序號，表示沒有不精確的情形存在，而可利用不同堆疊中相同編號的六張照片的相對位置進而與六個堆疊中所有照片做結合。此外，我們將以各切片之差異性以及切片間之相對位置為考量，而把六個堆疊中所有照片做結合。
參照如第八A圖及第八B圖所示，係分別為影像堆疊之理想狀況及影像堆疊之實驗狀況示意圖。假設已知六個切片堆疊中的第五個堆疊需要將切片向下移動一個位置，再與其他堆疊的切片結合以得到最好的影像混合結果，則此時之做法須記住其中一個組合結果的相對位置，並且在隨後的影像混合程序中移動第五堆疊的每一個切片。藉由堆疊間相似的關聯性來重新運算每一影像配對之相關，這將會節省許多時間。
回到步驟(12)，其為進行尺度不變特徵變換演算法(scale-invariant feature transform,SIFT)(David G. Lowe,2004)，其係將影像資料轉換成相對於局部特徵之尺度不變座標，對於解決影像匹配的問題來說，此為一種新穎且強力的演算法。用以進行此演算法之主要階段如下：
1.尺度空間的極值偵測(Scale-space extrema detection)：係為演算的第一個階段，其對於所有尺度及影像位置進行搜尋。利用高斯差(difference-of-Gaussian,DoG)函數可有效的找出可能有興趣的特徵點，而這些特徵點的尺度及方向性不變。
2.特徵點定位：在每一候選位置上，使用一複雜的模型來決定位置與尺度。特徵點的選擇係基於其穩定度的測量。
3.方向性分配：基於局部影像梯度之方向性，每一個特徵點位置被分配一或多個方向性。所有後續步驟所執行的影像資料，皆已相對於每一特徵所分配的方向性、尺度及位置做轉換，因此提供不變性(invariance)給這些轉換(transformations)。
4.特徵點描述：局部影像梯度係於每一特徵點周圍區域所選定的尺度中測量。這些局部影像梯度被轉換為一表徵，其可進行顯著程度的局部形狀變型及亮度改變。
David G. Lowe在2007年另一篇期刊報導中，提出了「使用不變特徵進行全景圖像自動拼接」(Automatic Panoramic Image Stitching)，此為非常出色的演算法，其建立於尺度不變特徵變換演算法(scale invariant feature transform,SIFT)的基礎上，並可用來解決全景拼接所產生的問題。它描述了一種以不變特徵(invariant features)為基礎的方法以進行全自動的全景影像拼接。這些不變特徵(invariant features)使得全景影像能確實的達成配對，儘管輸入之影像有旋轉、縮放及亮度改變的情形。藉由將影像拼接視為一種多影像配對的問題，其可自動找到影像間的配對關係，並於不規則的資料集裡面進行全景的辨識。此演算法係為一種新穎的系統，可用來進行全自動全景影像拼貼。使用不變之局部特徵(invariant local features)以及一概率模型(probabilistic model)來確認影像配對，可讓我們在不規則影像集(unordered image sets)裡面對多個全景影像進行辨識，並且係為全自動拼貼而不需使用者以手動操作。
雖然自動化演算法能解決許多影像配對的問題，但在進行程式運作之前的參數設定係為一值得考慮的問題。在本發明之實驗中，藉由良好的參數設定，利用Lowe的演算法可成功的得到一些影像結合的結果，並有非常好的效果。
根據第一圖的步驟(31)到步驟(6)，我們係以兩個影像之結合作考量。在經由影像配準之後，可得到影像之間的相對位置。基於重疊部分的特性，我們必須調整重疊區域的強度，然後使用動態規劃(dynamic programming)以消除影像間的接縫。除此之外，須對於重疊部分以外的區域進行強度調整(intensity adjustment)。由於共軛焦顯微鏡影像的特徵所致，強度調整通常運用於重疊部分的較暗區域。
完成先前的工作後，須對影像進行強度調整(intensity adjustment)。代表重疊的區域。在兩個影像結合的例子中，為的平均值，而k=1～2，公式為：
如果，則我們應用於重疊區域1：
首先，必須加強重疊部份較暗區域的強度。由於果蠅腦部區域的重複曝光，重疊部分的螢光區域之強度會比重疊部分以外的其他區域更加衰減，即曝光兩次的部份會比曝光一次的部分還要暗。為了處理這種情形，我們嘗試在它們之間增加差異性，使重疊部分的區域有較低的強度。但由於其結構已稍微被破壞了，因此效果不是很好，此種操作方式會使得結構變得不清楚。在使用(1-5)的公式後，重疊部分較暗的區域將變的較亮，但不會失去大部分的結構。
重疊部分以外的區域有以下的特徵：靠近重疊部份的區域會比遠離重疊部份的區域更加衰減。因此，我們多次嘗試克服此問題，並儘可能減少原始資料的遺失。
我們使用線性遞降函數(linear descending function)來進行強度的補償，而此函數係決定於距離重疊區域的遠近。x係為一畫素與重疊區域邊緣的距離，而D係為我們決定進行補償的範圍，而一比例與畫素相乘係定義為m(x)，其公式為：
此外，我們可以選擇其他函數以取代(1-6)：
參照如第九圖所示，係為圖像配準之複數個階段示意圖。因此，為了提升至較高的解析度，果蠅腦部必須掃描成較多個部份。重疊部分的形狀與衰減將會比前述討論之兩個影像結合有更複雜的程度。另一方面，由於螢光衰減的關係，較晚才掃描得到的果蠅腦部影像必須手動提升其強度，因而使強度補償變的較困難。因此我們只能盡量嘗試使結合之影像看起來較一致，而不會有許多人為產生之效果存在。
在此使用兩種方法來解決此問題。在結合最初的兩個影像時，藉由使用重疊部分邊緣的間距圖譜來加強平均強度較低的影像。在一般情況之下，我們以平均強度較高的影像較早進行掃描，而平均強度較低的影像則較晚進行掃描。因此在結合的過程中遭遇到重疊區域時，我們選擇平均強度較高的重疊區域來填滿空白處(blank)。結合這兩個影像以後，我們將此結果視為一個新的影像，然後重新計算此影像與其他影像之相關並選擇最高相關的配對以進行影像結合。重覆此流程直到剩下一張照片為止。此係為相當直覺性的方法，並且僅修改一部分的強度，其所佔部份低於10%，而可得到令人滿意的結果。但是此方法花費太多時間在運算大量的相關，並且若沒有對每一影像進行平均強度的調節，將會造成局部平均強度不一致。每一次因強度改變並重新計算下個相關時，皆可能會影響影像配準之結果。
為了克服上述提到的問題，我們選擇對前述之六個影像進行相對位置之計算。接著計算每一影像之平均強度，並將每一平均強度修正至相同之程度。最後我們使用多重波段混合技術(multi-band blending)以得到更加令人滿意的結果。
參照如第十A圖、第十B圖及第十一圖所示，係分別為兩相鄰區域之示意圖、兩相鄰區域之間距圖譜示意圖及將兩影像進行結合之連續階段示意圖。在六個影像中找到最高相關的兩個影像後，計算其間距圖譜。在第十A圖中，黑色與白色區域分別代表兩個相鄰的影像。第十B圖係顯示兩影像邊界間之間距圖譜。間距圖譜可利用歐基里得距離(Euclidian Distance)計算而得到結果，簡單來說，我們設定與黑色畫素緊鄰的第一個白色畫素為1，1旁邊的畫素則設定為2，接著以此類推。編號為1之畫素，我們將其強度與前面提到之比例S相乘。而藉由使用方程式(1-6)，我們可以使其強度看起來較平滑，即如圖示之結果所示。為了將此結果修飾的更好，我們亦增加了一個參數alpha來調整比例S，即S’=S*alpha。在使用或不使用alpha之下，利用間距圖譜進行線性補償可得到良好的結果。
以下之方法係可用以消除影像間平均強度的差異性。每一影像之平均值為：
所有輸入影像之平均值為：
我們將每一輸入影像之強度調整為：
經過多次嚐試後，我們選擇不忽視背景值，亦不將重疊部分考慮為特殊案例，係基於下列兩個理由：第一，在這些案例中，忽視背景值或考慮重疊部分將不會得到好的結果；第二，忽視背景值或考慮重疊部分與否，不會對補償之比例影響太多。即使這兩個比例沒有相差太多，我們仍選擇使用方程式(1-7)～(1-10)以期得到更好的結果。
回到步驟(141)到步驟(14b)，其係為多重波段混合技術(multi-band blending)的步驟。理想上，每一影像中沿著光線所存在之樣品(畫素)皆含有相同的強度，但實際上並非如此。即使進行增益補償後，有些影像之縫隙仍然是看得見的。正因為如此，一個良好的混合策略是很重要的。
在此使用一個簡單的混合方法，係利用重量函數，對沿著每一光線而存在的影像強度進行重量加總。然而，若其含有微小的配準誤差，則此方法會造成高頻細節(high frequency detail)的模糊不清。為了避免此情形，我們使用Burt以及Adelson的多重波段混合技術演算法(multi-band blending algorithm)。多重波段混合技術(multi-band blending)背後之概念係透過大的空間範圍對低頻進行混合，而透過短的空間範圍對高頻進行混合。
藉由使用這些步驟，強度之梯度會較柔和，並且六個影像間之縫隙會變的看不見。
下列為使用SIFT、動態規劃(dynamic programming)、兩個影像結合以及複數個影像結合之結果。參照如第十二A圖及第十二B圖所示，係分別為六個輸入之顯微影像示意圖以及對六個輸入影像進行尺度不變特徵變換演算法(scale-invariant feature transform,SIFT)之結果示意圖。如第十三圖所示，係進行動態規劃(dynamic programming)程序之結果示意圖，其中，長條a1 係其中一個重疊區域，長條b1 為另一個重疊區域，長條a1 ’為長條a1 套用方程式(1-5)以後之結果，而長條R為長條a1 ’及長條b1 套用動態規劃(dynamic programming)以後所得到之結果。參照如第十四A圖及第十四B圖所示，係分別為兩個輸入之顯微影像示意圖以及套用方程式(1-7)對該兩個輸入之顯微影像進行組合之結果示意圖。參照如第十五圖A及第十五圖B所示，係分別為兩個輸入之顯微影像示意圖以及套用方程式(1-6)對該兩個輸入之顯微影像進行組合之結果示意圖。參照如第十六圖A及第十六圖B所示，係分別為六個輸入之顯微影像示意圖及利用間距圖譜進行線性調整而對該六個輸入之顯微影像進行組合之結果示意圖。參照如第十七圖A及第十七圖B所示，係分別為六個輸入之顯微影像示意圖及利用間距圖譜進行線性調整而對該六個輸入之顯微影像進行組合之結果示意圖。參照如第十八圖A、第十八圖B及第十八圖C所示，係分別為六個輸入之顯微影像示意圖、對該六個輸入之顯微影像進行增益補償後之示意圖以及利用多重波段混合技術(multi-band blending)對六個輸入之顯微影像進行組合之結果示意圖。
利用角錐形相關演算法(pyramidal correlation)進行影像配準，對於兩個影像以及多個影像的結合皆可得到良好的結果。而利用鄰接調整後，影像結合之結果看起來更接近於同一平面上。動態規劃(dynamic programming)可很有效的消除影像間之縫隙。此外，尺度不變特徵變換演算法(scale-invariant feature transform,SIFT)對於消除馬賽克影像是一項強力的方法，但需要較複雜的參數設定。
在本發明之實施例中，我們認為重疊區域對於強度衰退來說是最重要的區域。因此我們所有的工作皆著重在重疊區域以及重疊區域附近的區域，並且得到了令人滿意的結果。但是在多個影像結合的案例中，整體外觀變的比較重要，因此我們嘗試以不同的方法達到完整的調整，例如利用間距圖譜進行線性調整、增益補償以及多重波段混合技術(multi-band blending)。多重波段混合技術(multi-band blending)可以使影像保留較多的高頻細節。
以上所述之實施例僅係說明本發明之技術思想與特點，其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施，當不能以之限定本發明之專利範圍，若依本發明所揭露之精神作均等變化或修飾，仍應涵蓋在本發明之專利範圍內。
發明人經過不斷的構想與修改，最終得到本發明之設計，並且擁有上述之諸多優點，實為優良之發明，應符合申請發明專利之要件，特提出申請，盼　貴審查委員能早日賜與發明專利，以保障發明人之權益。
(1)、(2)、(31)～(37)、(41)、(42)、(5)～(7)、(81)～(87)、(9)～(13)、(141)～(149)、(14a)、(14b)、(15)、(16)．．．係本發明一較佳實施例之實施方法步驟編號
第一A圖、第一B圖及第一C圖係本發明之具高解析度之共軛焦顯微鏡影像拼接方法之流程圖；
第二圖　係使用動態規劃(dynamic programming)進行最小錯誤邊界分割(minimum error boundary cut)之示意圖；
第三圖　係經由降冪取樣之影像依序排列之示意圖；
第四圖　係依逐個像素所進行之相關性計算之示意圖；
第五A圖　係兩個影像間有相關但錯誤配對之示意圖；
第五B圖　係兩個影像間有相關且良好配對之示意圖；
第六圖　係於下個等級(虛線)中的搜尋範圍之示意圖；
第七圖　係一搜尋方法之示意圖；
第八A圖　係為影像堆疊間之理想關係示意圖；
第八B圖　係為影像堆疊間於實驗中產生之狀況示意圖；
第九圖　係進行圖像配準之複數個階段示意圖；
第十A圖　係為兩相鄰區域之示意圖；
第十B圖　係為兩相鄰區域之間距圖譜之示意圖；
第十一圖　係本發明將兩影像進行結合之連續階段示意圖；
第十二A圖　係為六個輸入之顯微影像示意圖；
第十二B圖　係對六個輸入影像進行尺度不變特徵變換演算法(scale-invariant feature transform,SIFT)之結果示意圖；
第十三圖　係進行動態規劃(dynamic programming)之結果示意圖；
第十四A圖　係為兩個輸入之顯微影像示意圖；
第十四B圖　係利用方程式(1-7)對該兩個輸入之顯微影像進行組合之結果示意圖；
第十五A圖　係為兩個輸入之顯微影像示意圖；
第十五B圖　係利用方程式(1-6)對該兩個輸入之顯微影像進行組合之結果示意圖；
第十六A圖　係為六個輸入之顯微影像示意圖；
第十六B圖　係利用間距圖譜進行線性調整而對該六個輸入之顯微影像進行組合之結果示意圖；
第十七A圖　係為六個輸入之顯微影像示意圖；
第十七B圖　係利用間距圖譜進行線性調整而對該六個輸入之顯微影像進行組合之結果示意圖；
第十八A圖　係為六個輸入之顯微影像示意圖；
第十八B圖　係對該六個輸入之顯微影像進行增益補償(gain compensation)後之示意圖；及
第十八C圖　係利用多重波段混合技術(multi-band blending)對六個輸入之顯微影像進行組合之結果示意圖。
(1)、(2)、(31)～(37)、(41)、(42)、(5)～(7)、(81)～(87)、(9)～(13)、(141)～(149)、(14a)、(14b)、(15)、(16)．．．係本發明一較佳實施例之實施方法步驟編號

Claims (5)

  1. 一種具高解析度之共軛焦顯微鏡影像拼接方法，係包含以下步驟：(1)開始；(2)決定欲進行拼接之影像數量是否多於兩個，若否，則進行步驟(3)，若是，則進行步驟(7)；(3)進行角錐形相關演算法(pyramidal correlation)；(4)對兩影像之重疊區域進行增益補償(gain compensation)；(5)對重疊區域以外之部分進行強度調整(intensity adjustment)；(6)進行動態規劃(dynamic programming)，並進行步驟(15)；(7)決定該角錐形相關演算法(pyramidal correlation)是否必須，若是，則進行步驟(8)，若否，則進行步驟(12)；(8)進行角錐形相關演算法(pyramidal correlation)；(9)進行鄰接調整(adjacency adjustment)；(10)決定利用間距圖譜(distance map)進行線性調整是否必要，若是，則進行步驟(11)，若否，則進行步驟(13)；(11)利用間距圖譜進行線性調整，並進行步驟(15)；(12)進行尺度不變特徵變換演算法(scale invariant feature transform,SIFT)；(13)對所有影像進行增益補償(gain compensation)；(14)進行多重波段混合技術(multi-band blending)；(15)將影像進行結合而形成該共軛焦顯微鏡影像；及(16)結束。
  2. 如申請專利第1項所述之一種具高解析度之共軛焦顯微鏡影像拼接方法，其中，步驟(3)更包含以下步驟：(31)對影像進行降冪取樣以得到一第一最小尺度，其係為一第一角錐之最高等級；(32)與其他影像逐個像素地進行複數個第一相關值之運算；(33)將複數個第一不合理結果排除，以得到一第一最高相關值；(34)在其中一影像中之一第一左上角獲得一第一相對位置；(35)將影像進行升冪取樣而進入下一個第一等級；(36)在該第一相對位置周圍之一第一合理範圍中進行檢查，以對該第一角落之座標進行微調；及(37)決定第一相對位置是否於第一最細微等級中被找到，若是，則進行步驟(4)，若否，則進行步驟(31)。
  3. 如申請專利第1項所述之一種具高解析度之共軛焦顯微鏡影像拼接方法，其中，步驟(4)更包含以下步驟：(41)將兩影像重疊區域中較暗之重疊區域進行強度之提升；及(42)將該較暗之重疊區域與重疊區域間的強度差異添加至較弱強度之重疊區域。
  4. 如申請專利第1項所述之一種具高解析度之共軛焦顯微鏡影像拼接方法，其中，步驟(8)更包含以下步驟：(81)對影像進行降冪取樣以得到一第二最小尺度，其係為一第二角錐之最高等級；(82)與其他影像逐個像素地進行複數個第二相關值之運算；(83)將複數個第二不合理結果排除，以得到一第二最高相關值；(84)在其中一影像中之一第二左上角獲得一第二相對位置；(85)將影像進行升冪取樣而進入下一個第二等級；(86)在第二相對位置周圍之一第二合理範圍中進行檢查，以對第二角落之座標進行微調；及(87)決定第二相對位置是否於第二最細微等級中被找到，若是，則進行步驟(9)，若否，則進行步驟(81)。
  5. 如申請專利第1項所述之一種具高解析度之共軛焦顯微鏡影像拼接方法，其中，步驟(14)更包含以下步驟：(141)建立一個大的遮罩[0]，使其與所有影像結合後之尺寸相同；(142)將至少一重疊區域定義為Iov ，將至少一非重疊區域定義為Inov ；(143)將Inov 中之圖素依照遮罩[0]中相同之編號而標記為一影像[k](image[k])之索引k(index k)；(144)將Iov 中之圖素與步驟(143)所設定之圖素編號進行一距離之運算；(145)將遮罩[0]中相同之編號設定成一最接近之編號；(146)將複數個遮罩[0]建立成遮罩[k]，使遮罩[k]與步驟(141)之尺寸相同；(147)若遮罩[0]中之圖素編號為i，則將遮罩[i]中之圖素編號設定為1，否則，將圖素編號設定為0；(148)利用高斯過濾法(Gaussian filtering)以不同的變異數對於複數個遮罩及影像進行平滑化之動作，以創造不同的波段；(149)將該不同波段進行分隔；(14a)對每一個波段乘以一相對應的遮罩；及(14b)將所有波段相加在一起。
TW098118751A 2008-12-15 2009-06-05 具高解析度之共軛焦顯微鏡影像拼接方法 TWI480833B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/334,808 US20100150472A1 (en) 2008-12-15 2008-12-15 Method for composing confocal microscopy image with higher resolution

Publications (2)

Publication Number Publication Date
TW201023093A TW201023093A (en) 2010-06-16
TWI480833B true TWI480833B (zh) 2015-04-11

Family

ID=42240618

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098118751A TWI480833B (zh) 2008-12-15 2009-06-05 具高解析度之共軛焦顯微鏡影像拼接方法

Country Status (2)

Country Link
US (1) US20100150472A1 (zh)
TW (1) TWI480833B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966063A (zh) * 2015-06-17 2015-10-07 中国矿业大学 基于gpu与cpu协同计算的矿井多摄像机视频融合方法
TWI723867B (zh) * 2019-05-10 2021-04-01 中央研究院 用以產生高解析度圖譜的動態數據校正方法及裝置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120141045A1 (en) * 2010-12-01 2012-06-07 Sony Corporation Method and apparatus for reducing block artifacts during image processing
FR2984531B1 (fr) * 2011-12-20 2013-12-27 Ecole Polytech Microscopie optique non-lineaire quantitative utilisant un faisceau mis en forme
US9224233B2 (en) 2012-05-24 2015-12-29 Google Inc. Blending 3D model textures by image projection
AU2013302966B2 (en) * 2012-08-15 2017-06-08 Lucid, Inc. Systems and methods for imaging tissue
US8811764B1 (en) 2012-10-25 2014-08-19 Google Inc. System and method for scene dependent multi-band blending
CN103971598B (zh) * 2013-02-05 2017-04-12 鸿富锦精密工业（深圳）有限公司 图像补偿装置及其制造方法
TWI486653B (zh) * 2013-02-05 2015-06-01 Ye Xin Technology Consulting Co Ltd 影像補償裝置、顯示裝置及拼接型顯示裝置
JP6127926B2 (ja) * 2013-11-11 2017-05-17 ソニー株式会社 画像処理装置及び画像処理方法
DE102014112002A1 (de) * 2014-08-21 2016-02-25 Carl Zeiss Microscopy Gmbh Verfahren zur Abbildung einer Probe mittels eines Mikroskops und Mikroskop
US9384537B2 (en) * 2014-08-31 2016-07-05 National Taiwan University Virtual spatial overlap modulation microscopy for resolution improvement
US9576218B2 (en) * 2014-11-04 2017-02-21 Canon Kabushiki Kaisha Selecting features from image data
CN104778675B (zh) * 2015-04-28 2017-07-28 中国矿业大学 一种采煤综掘工作面动态视频图像融合方法
AU2015202937A1 (en) * 2015-05-29 2016-12-15 Canon Kabushiki Kaisha Systems and methods for registration of images
US10334209B2 (en) * 2015-12-17 2019-06-25 Nike, Inc. Image stitching for footwear component processing
JP6680560B2 (ja) * 2016-02-17 2020-04-15 オリンパス株式会社 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム
CN107154017A (zh) * 2016-03-03 2017-09-12 重庆信科设计有限公司 一种基于sift特征点匹配的图像拼接方法
US10943340B2 (en) 2016-04-18 2021-03-09 Avago Technologies International Sales Pte. Limited Blending images
CN105957015B (zh) * 2016-06-15 2019-07-12 武汉理工大学 一种螺纹桶内壁图像360度全景拼接方法及系统
TWI614500B (zh) * 2016-11-21 2018-02-11 國立清華大學 細胞檢測晶片的影像定位與拼接方法及影像檢測系統
CN108876733B (zh) * 2018-05-30 2021-11-09 上海联影医疗科技股份有限公司 一种图像增强方法、装置、设备和存储介质
CN111080564B (zh) * 2019-11-11 2020-10-30 合肥美石生物科技有限公司 一种图像处理方法及系统
CN112465963A (zh) * 2020-10-22 2021-03-09 浩亚信息科技有限公司 基于dem的电子地形晕渲图制作方法、电子设备、存储介质
CN117369106B (zh) * 2023-12-05 2024-03-08 北京大学 一种多点共聚焦图像扫描显微镜及成像方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060289734A1 (en) * 2005-06-27 2006-12-28 Jean-Luc Truche Increased depth of field for high resolution imaging for a matrix-based ion source

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100149183A1 (en) * 2006-12-15 2010-06-17 Loewke Kevin E Image mosaicing systems and methods
US7978932B2 (en) * 2007-08-02 2011-07-12 Mauna Kea Technologies Robust mosaicing method, notably with correction of motion distortions and tissue deformations for in vivo fibered microscopy

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060289734A1 (en) * 2005-06-27 2006-12-28 Jean-Luc Truche Increased depth of field for high resolution imaging for a matrix-based ion source

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Peter J. Burt, "A multiresolution spline with application to image mosaics", ACM Transactions on Graphics (TOG), Volume 2 Issue 4, Pages 217~236, October 1983 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966063A (zh) * 2015-06-17 2015-10-07 中国矿业大学 基于gpu与cpu协同计算的矿井多摄像机视频融合方法
TWI723867B (zh) * 2019-05-10 2021-04-01 中央研究院 用以產生高解析度圖譜的動態數據校正方法及裝置

Also Published As

Publication number Publication date
US20100150472A1 (en) 2010-06-17
TW201023093A (en) 2010-06-16

Similar Documents

Publication Publication Date Title
TWI480833B (zh) 具高解析度之共軛焦顯微鏡影像拼接方法
US8831382B2 (en) Method of creating a composite image
DE102009036474B4 (de) Bilddaten-Kompressionsverfahren, Mustermodell-Positionierungsverfahren bei Bildverarbeitung, Bildverarbeitungsvorrichtung, Bildverarbeitungsprogramm und computerlesbares Aufzeichnungsmedium
US8509565B2 (en) Optimal multi-resolution blending of confocal microscope images
CN104680501A (zh) 图像拼接的方法及装置
CN109961399B (zh) 基于图像距离变换的最佳缝合线搜寻方法
DE102009036467A1 (de) Mustermodell-Positionierungsverfahren bei Bildverarbeitung, Bildverarbeitungsvorrichtung, Bildverarbeitsprogamm und computerlesbares Aufzeichnungsmedium
CN110689501B (zh) 一种畸变校正方法、装置、电子设备及计算机可读存储介质
CN103679672B (zh) 基于边缘垂直距离匹配的全景图像拼接方法
CN102013094A (zh) 提高文本图像清晰度的方法及系统
JP6798752B2 (ja) 補正画像を生成する方法、ノートブック又はアジェンダの１ページ又は２つの隣接するページに描かれた書込み又は図の選択画像を生成する方法、ｐｃ用のコンピュータプログラム、又は、スマートフォン若しくはタブレットコンピュータ用のモバイルアプリケーション
CN103258321A (zh) 一种图像拼接方法
CN102074031B (zh) 一种印刷电路板外观检查机的建标方法
CN110084269A (zh) 基于云计算的图像特征优化方法
TWI718747B (zh) 增進影像清晰度的方法
JP3860540B2 (ja) エントロピーフィルタ及び該フィルタを用いた領域抽出法
US9264577B2 (en) Image processing device generating combined image data by calculating degree of similarity between two images
CN106204889A (zh) 一种纸币荧光区域的定位方法和装置
KR20020078663A (ko) 디지털 모자이크 이미지 구성에서 다수의 조각 이미지들을위치 정합시키는 디지털 조각 이미지 정합처리방법 및정합처리장치
KR20100068815A (ko) 이차원 디지털 영상의 그룹화 방법
KR102200779B1 (ko) 공간영상의 도화를 위한 영상도화물 위치조정 편집시스템
RU2470368C2 (ru) Способ обработки изображений
CN114881900A (zh) 一种基于特征匹配和渐入渐出融合的受电弓图像拼接方法
JP2011170554A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
TWI842350B (zh) 計算層間疊對偏移量的方法以及電子裝置