TWI396142B - 一種三維影像補密重建方法 - Google Patents

一種三維影像補密重建方法 Download PDF

Info

Publication number
TWI396142B
TWI396142B TW097134928A TW97134928A TWI396142B TW I396142 B TWI396142 B TW I396142B TW 097134928 A TW097134928 A TW 097134928A TW 97134928 A TW97134928 A TW 97134928A TW I396142 B TWI396142 B TW I396142B
Authority
TW
Taiwan
Prior art keywords
image
image data
dimensional
group
stack
Prior art date
Application number
TW097134928A
Other languages
English (en)
Other versions
TW201011688A (en
Inventor
Ann Shyn Chiang
Hsiu Ming Chang
Chia He Chen
Chien Chung Fu
Chang Huain Hsieh
Original Assignee
Nat Univ Tsing Hua
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Univ Tsing Hua filed Critical Nat Univ Tsing Hua
Priority to TW097134928A priority Critical patent/TWI396142B/zh
Publication of TW201011688A publication Critical patent/TW201011688A/zh
Application granted granted Critical
Publication of TWI396142B publication Critical patent/TWI396142B/zh

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Description

一種三維影像補密重建方法
本發明係有關三維影像補密重建方法,為一種應用於三維影像擷取上,用以強化縱深方向影像堆疊之三維影像解析度之一種有效影像體素補密重建方法。
共軛焦雷射掃描顯微鏡或雷射共軛焦掃描式顯微鏡(CLSM或LSCM)係為用以獲得高解析度影像,其係藉由使用立體針孔,以便消除不在聚焦平面之離焦或暉暈(flare)的影像雜訊。這種技術允許吾人清晰獲得樣品之各層Z軸平面(Z方向疊層)之影像。藉由光偵測元件偵測樣品之某個參考點所射出之光線,可以產生一個影像中之相對應的畫素。當雷射掃描過一平面時,可逐畫素或逐線地獲得整體影像。使用一個或多個(伺服控制)振盪的反射鏡,可以讓光束掃描橫越過位於水平平面之此樣品。
藉由升高或降低顯微鏡平台,可以收集來自不同的聚焦平面之資訊。然後,利用電腦軟體來組裝一疊二維影像,可以產生樣品之三維圖片。
然而,受限於針孔及其他機械上的物理特性,相對於 X-Y方向(大約0.15 μm/畫素)而言,此3D影像在Z方向的解析度(例如大約1.2 μm/畫素)較差。當需要比較兩個不同樣品時,較差之Z方向解析度妨礙了重建的高解析生物神經網路影像之空間可靠度。發明人之一(江安世)已有發明使生物軟組織變透明的技術(美國專利US6,472,216 B1號,申請日為2002年10月29日,發明名稱為“Aqueous Tissue Clearing Solution”,可使觀察深度到達接近毫米的程度。目前的顯像方式,是將螢光分子附著或合成於生物組織中,因此使組織透明是突破觀察深度的關鍵,且使解決Z軸解析度瓶頸的需求,更形迫切。
在影像擷取分析上,目前被廣泛應用的是影像超解析度重建(Super一Resolution Reconstruction),此重建方法基本上是一種影像重建的技術,目的是利用多組較低解析度的影像重建出一組高解析度影像。這方面的研究被提出大約在1984年,由T.S.Huang及R.Y.Tsai所提出。此種技術已成熟應用在二維影像的處理,使用此技術時如果符合下列兩種條件,則重建出的影像品質會更佳。
一、多組低解析度影像參考同一座標系統並經過對準。
二、被擷取的多組低解析度影像具有一致性。
但我們現在迫切需要處理的是三維影像,而目前在技 術上之問題為在擷取顯微鏡影像時,常常以切面影像(Slices)的方式呈現,每張切面影像方向上,假設為(x,y )方向〔即最外部表層之二維聚焦平面〕的解析度(In-plane resolution)通常都優於軸向〔即與(x,y )方向正交之z 方向〕;且假設為z 方向〔即內部各裡層之二維聚焦平面〕的解析度(Inter-slices resolution),造成體素在各方向上的非等向性(Anisotropic voxels)。(x,y )方向和z 方向的解析度比值也許為差異可觀〔1:5或甚至1:10以上〕,如此不等向性體素構成的三維影像堆疊結果,由於每張切面影像〔z 方向之影像取樣〕之間的間隔太大,在三維重建時,介於取樣切面間有許多資訊未知,導致重建出的三維資料在細節部分無法完整且精確表現。
上述習用之最大的缺點在於:1.縱深方向影像堆疊之取樣解析度受切面間隔因素之影響程度大,當取樣切面間隔愈大〔即取樣數愈少〕,解析度愈差。
2.三維影像縱深方向之輪廓或外形細節,受限於解析度而無法完整且精細地呈現。
前述所提及關於習用三維影像擷取,儘管能夠達成在三維影像取樣上所具備之基本要求,但在實際應用時之影 像可靠性、重現性及應用範圍上,皆存在諸多缺點與不足的情況下,無法發揮更具體之產業應用性。
綜上所述,由於習用三維影像擷取,存在上述之缺失與不足,基於產業進步之未來趨勢前提下,實在有必要提出具體的改善方案,以符合產業進步之所需,更進一步提供業界更多的技術性選擇。
本發明係以解決習用三維影像擷取在影像解析度上不足之缺點,以及在實用化技術等方面受到限制之問題,一方面在達成提升與強化影像解析度為首要目的,另一方面在提升影像重建補密本身之可靠性、重現性及應用範圍,以達成所應具備之三維影像擷取基本功能外,並使其兼具產業應用性之實際發展與要求。
所以不論由主客觀條件觀之,具可強化影像解析度之三維影像重建補密方法,因具備影像擷取分析市場無可取代之優勢,適合佈局生物科技等專業市場,勢必可以帶來商用影像擷取分析市場之莫大商機。
為了強化影像解析度,在此提出如下方法,利用同一 組實驗設備,由不同的影像擷取方向,得到兩組相同標本的影像,通常為正交的影像資料,再將這兩組影像,利用三維影像資料對準的方法,將兩組資料對準到相同的座標軸上。接下來使用重新取樣的方式(Resampling),將這兩組原本在各方向解析度不同的影像資料,調整為各方向解析度相同的影像資料,也就是使每一個體素由非等向性體素(Anisotropic voxels)轉換成為等向性的(Isotropic voxels)。最後建立一個三維的表格,此表格的三個維度分別符合重新取樣後的等向影像資料的x方向、y方向及z方向大小,再利用此表格去比對分析此兩組影像資料所有的體素,類似查表的方式,得到代表各體素的灰階強度值,並利用聯集和篩選的方式記錄較可靠的灰階值。如此一來,在原本切面影像之間未取樣之未知影像資訊,透過第二組以上不同角度掃描所得之影像資料的擷取以及上述表格的記錄,可以得到較為接近真實狀況的影像補遺,最後利用三維線性內插(tri-linear interpolation)或其他內插的方式,得到較原本單一組影像堆疊準確的三維影像結果。
為了達成上述目的及功能,其具體採行的技術手段及方案包括: 一種三維影像補密重建方法,係包含以下步驟:(I)以顯微鏡自樣本擷取具有三維解析度之影像堆疊,該影像堆疊係沿與二維聚焦平面正交之軸向逐漸移動所得,以形成第一組影像資料。
(II)將樣本沿構成聚焦平面之二軸向之任一軸向作旋轉一角度,重新以顯微鏡自樣本擷取具三維解析度之影像堆疊,該影像堆疊係沿與二維聚焦平面相交同一角度之軸向逐漸移動所得,以形成第二組影像資料;該第二組影像資料與上述第一組影像資料之夾角亦為該角度。
(III)以上述第一組影像資料和第二組影像資料之任一組作為參考影像,並利用該組影像資料之座標系統作為參考座標系統,將二組影像資料之影像堆疊逐步對準,第一組影像資料和第二組影像資料皆對準於作為參考影像之任一組影像資料之參考座標系統上。
(IV)轉換經對準後且為非等向性體素之第一組影像資料和第二組影像資料之影像堆疊成為等向體素之影像資料。
(V)建立一具座標索引之三維表格,以對應上述經轉換成等向體素之影像資料之影像堆疊。
(VI)利用上述三維表格記錄第一組影像資料和第二組影像資料之影像堆疊之已知影像強度至相關座標之索引位置;其中相關座標之索引位置上之未知影像強度,係參 考鄰近之已知影像強度值,作三維線性或非線性內插處理。
(VII)經三維線性或非線性內插之堆疊處理,以重建補密後較準確之影像資料。
(VIII)重覆實施自(II)以下之步驟至其他多數個旋轉角度。
上述顯微鏡係為共軛焦雷射顯微鏡或雷射共軛焦掃瞄式顯微鏡之任一種。
上述二組影像資料之影像堆疊逐步對準,係利用整體影像強度對準方法處理。
上述非等向性體素轉換為等向性體素,係利用重新取樣方法處理。
上述記錄影像堆疊之已知影像強度至相關座標之索引,係利用灰階強度值聯集及篩選方法處理。
上述三維表格記錄相關座標之索引位置上之未知影像強度,係利用三維線性或非線性內插方法處理。
本發明之具體特點與功效在於: 1.縱深方向影像堆疊之取樣解析度,可藉由正交之二組影像資料作對率後提高。
2.藉整體影像強度對準方法、重新取樣方法、三維表格及三維線性或非線性內插方法,以重建補密後較準確之完整三維影像資料。
請參閱第一圖,為本發明一實施例擷取第一組影像資料示意圖,為重建補密之步驟1(10),其中,以顯微鏡(4)自樣本(5)擷取第一組影像資料(1)D1,得到一組具三維解析度為(x D 1 ,y D 1 ,z D 1 )之影像堆疊(11),該影像堆疊(11)係由聚焦平面(12)(x D 1 ,y D 1 )沿著z D 1 軸〔為與二維聚焦平面(12)(x D 1 ,y D 1 )正交之軸向〕的方向逐漸移動而得,由於共軛焦顯微鏡(4)取像的特性,基本上(x D 1 ,y D 1 )方向上的解析度較z D 1 方向上的解析度為佳。
請參閱第二圖,為本發明一實施例擷取第二組影像資料示意圖,為重建補密之步驟2(20),其中,重新以顯微鏡(4)自樣本(5)擷取具三維解析度之影像堆疊(11,21)〔另請同時參閱第一圖〕,係將原本的樣本(5)沿x D 1 方向或y D 1 方向,亦即沿聚焦平面(12)(x D 1y D 1 )之二軸向之任一軸向旋轉約90度,在此假設沿原本x D 1 軸向逆時或順時方 向旋轉90度,重新截取一組解析度為(x D 2 ,y D 2 ,z D 2 )的影像堆疊(21),該影像堆疊(21)係由聚焦平面(22)沿著y D 2 軸〔為與二維聚焦平面(22)(x D 2 ,z D 2 )正交之軸向〕的方向逐漸移動而得第二組影像資料(2)D2,理論上和第一組影像資料(1)正交而且(x D 2 ,z D 2 )方向上的解析度較y D 2 方向上的解析度為佳,假設取像設備設定及操作條件不變,則在此實施例中,解析度x D 1x D 2 ,解析度y D 1z D 2 及解析度z D 1y D 2
請參閱第三圖,為本發明一實施例二組影像資料之對準示意圖,為重建補密之步驟3(30),其中,利用兩組影像資料(1,2),即以第一組影像資料(1)D1和第二組影像資料(2)D2中任一組作為參考影像,假設令第一組影像資料(1)D1為參考影像,並利用第一組影像資料(1)D1的座標系統作為參考座標系統,利用整體影像強度對準(Intensity-based registration)的方法,將第二組影像資料(2)D2之影像堆疊(21)逐步對準第一組影像資料(1)D1之影像堆疊(11),最終將兩組影像資料〔D1,D2〕對準在第一組影像資料(1)的參考座標軸〔x D 1 〕上。
請參閱第四圖,為本發明一實施例重新取樣至等向體素示意圖,為重建補密之步驟4(40),其中,經過對準後的兩組影像資料(1,2)D1及D2之影像堆疊(11,21), 尚是非等向性體素(Anisotropic voxels)影像資料,利用重新取像的方法將這兩組影像資料(1,2)重新取像後轉換成等向體素(Isotropic voxels)影像資料,假設此等向體素影像資料的解析度為(x 1 ,y 1 ,z 1 );亦即對準後且為非等向性體素之第一組影像資料(1)和第二組影像資料(2)之影像堆疊(11,21)經轉換成為等向體素之影像資料。
請參閱第五圖,為本發明一實施例三維表格建立之架構示意圖,為重建補密之步驟5(50),其中,建立一個具座標索引三維表格(3)T,欲對應到上述等向體素影像資料,此表格的索引(Index)如下:[0…(x 1 -1),0…(y 1 -1),0…(z 1 -1)],表格的[0,0,0]對應到參考座標的原點。然復比對該兩組對準並重新取樣後的兩組影像資料(1,2)D1及D2之影像堆疊(11,21)〔另請同時參閱第一、二圖〕。
請參閱第六圖,為本發明一實施例影像強度及座標記錄示意圖,為重建補密之步驟6(60),其中,利用上述表格(3)T,在比對第一組影像資料(1)D1〔另請同時參閱第一、二圖〕時,先個別記錄切面上(In-plane)精確的影像強度(Intensity)到正確的索引位置上,其餘未知部分暫且空缺,接著比對第二組影像資料(2)D2,紀錄第二組影像資料(2)D2中各切面精確的影像強度及相關的位置,在 表格中空白的部分,則參考鄰近體素中,距離最近的體素之影像強度值,作三維線性或非線性內插處理;亦即利用上述三維表格記錄第一組影像資料(1)和第二組影像資料(2)之影像堆疊(11、21)之已知影像強度至相關座標之索引位置,相關座標之索引位置上之未知影像強度,則係參考鄰近之已知影像強度值並經由三維線性或非線性內插法之處理,以重建補密後較準確之三維影像資料。
請參閱第七圖,為本發明一實施例三維表格建立之完成示意圖,為重建補密之步驟7(70),其中,經由上述的三圍表格(3)T,可以推得一較原本稍為準確的三維影像堆疊資料。
請參閱第八圖,為本發明一實施例補密重建之主要流程示意圖。
綜合上述,本發明係針對三維影像補密重建方法之應用技術,特指一種藉由三維表格記錄三維正交空間中經對準及等向性化之第一組影像資料和第二組以上之影像資料,取各組影像堆疊中已知影像強度至同一相關座標之索引位置,並參考鄰近之已知影像強度值,輔以三維線性或非線性內插方法以推測未知體素之強度及位置,如此可將 單一影像中漏失的體素補密,增加縱深方向之影像解析度,以提高重建三維影像資料之準確度。此一新方法之設計與實施,為本發明對於三維影像重建方法之精進所做的最具體展現。
(1)‧‧‧第一組影像資料
(11)‧‧‧影像堆疊
(12)‧‧‧聚焦平面
(2)‧‧‧第二組影像資料
(21)‧‧‧影像堆疊
(22)‧‧‧聚焦平面
(3)‧‧‧三維表格
(4)‧‧‧顯微鏡
(5)‧‧‧樣本
(10)‧‧‧步驟1
(20)‧‧‧步驟2
(30)‧‧‧步驟3
(40)‧‧‧步驟4
(50)‧‧‧步驟5
(60)‧‧‧步驟6
(70)‧‧‧步驟7
第一圖:本發明一實施例擷取第一組影像資料示意圖。
第二圖:本發明一實施例擷取第二組影像資料示意圖。
第三圖:本發明一實施例二組影像資料之對準示意圖。
第四圖:本發明一實施例重新取樣至等向體素示意圖。
第五圖:本發明一實施例三維表格建立之架構示意圖。
第六圖:本發明一實施例影像強度及座標記錄示意圖。
第七圖:本發明一實施例三維表格建立之完成示意圖。
第八圖:本發明一實施例補密重建之主要流程示意圖。
(1)‧‧‧第一組影像資料
(11)‧‧‧影像堆疊
(12)‧‧‧聚焦平面
(2)‧‧‧第二組影像資料
(21)‧‧‧影像堆疊
(22)‧‧‧聚焦平面
(3)‧‧‧三維表格
(4)‧‧‧顯微鏡

Claims (6)

  1. 一種三維影像補密重建方法,係包含以下步驟:(I)以顯微鏡自樣本擷取具有三維解析度之影像堆疊,該影像堆疊係沿與二維聚焦平面正交之軸向逐漸移動所得,以形成第一組影像資料;(II)將樣本沿構成聚焦平面之二軸向之任一軸向作旋轉一角度,重新以顯微鏡自樣本擷取具三維解析度之影像堆疊,該影像堆疊係沿與二維聚焦平面相交同一角度之軸向逐漸移動所得,以形成第二組影像資料;該第二組影像資料與上述第一組影像資料夾角亦為該角度;(III)以上述第一組影像資料和第二組影像資料之任一組作為參考影像,並利用該組影像資料之座標系統作為參考座標系統,將二組影像資料之影像堆疊逐步對準,第一組影像資料和第二組影像資料皆對準於作為參考影像之任一組影像資料之參考座標系統上;(IV)轉換經對準後且為非等向性體素之第一組影像資料和第二組影像資料之影像堆疊成為等向體素之影像資料;(V)建立一具座標索引之三維表格,以對應上述經轉換成等向體素之影像資料之影像堆疊;(VI)利用上述三維表格記錄第一組影像資料和第二組影像資料之影像堆疊之已知影像強度至相關座標之索引 位置;其中相關座標之索引位置上之未知影像強度,係參考鄰近之已知影像強度值,作三維線性或非線性內插處理;(VII)經三維線性或非線性內插之堆疊處理,以重建補密後較準確之影像資料;及(VIII)重覆實施自(II)以下之步驟至多數個旋轉角度。
  2. 如申請專利範圍第1項所述之三維影像補密重建方法,其中顯微鏡係為共軛焦雷射顯微鏡或雷射共軛焦掃瞄式顯微鏡之任一種。
  3. 如申請專利範圍第1項所述之三維影像補密重建方法,其中二組影像資料之影像堆疊逐步對準,係利用整體影像強度對準方法處理。
  4. 如申請專利範圍第1項所述之三維影像補密重建方法,其中非等向性體素轉換為等向性體素,係利用重新取樣方法處理。
  5. 如申請專利範圍第1項所述之三維影像補密重建方法,其中記錄影像堆疊之已知影像強度至相關座標之索引,係利用灰階強度值聯集及篩選方法處理。
  6. 如申請專利範圍第1項所述之三維影像補密重建方法,其中三維表格記錄相關座標之索引位置上之未知影像強度,係利用三維線性或非線性內插方法處理。
TW097134928A 2008-09-11 2008-09-11 一種三維影像補密重建方法 TWI396142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW097134928A TWI396142B (zh) 2008-09-11 2008-09-11 一種三維影像補密重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW097134928A TWI396142B (zh) 2008-09-11 2008-09-11 一種三維影像補密重建方法

Publications (2)

Publication Number Publication Date
TW201011688A TW201011688A (en) 2010-03-16
TWI396142B true TWI396142B (zh) 2013-05-11

Family

ID=44828722

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097134928A TWI396142B (zh) 2008-09-11 2008-09-11 一種三維影像補密重建方法

Country Status (1)

Country Link
TW (1) TWI396142B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI750686B (zh) * 2019-06-04 2021-12-21 捷絡生物科技股份有限公司 三維組織病理學成像方法及系統
TWI761016B (zh) * 2020-01-05 2022-04-11 捷絡生物科技股份有限公司 組織切片的製備方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5943006A (en) * 1996-10-25 1999-08-24 Patrick E. Crane RF image reconstruction and super resolution using fourier transform techniques
US20060291751A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution)
US20070071362A1 (en) * 2004-12-16 2007-03-29 Peyman Milanfar Dynamic reconstruction of high-resolution video from color-filtered low-resolution video-to-video super-resolution
US20080175452A1 (en) * 2007-01-19 2008-07-24 Korea Advanced Institute Of Science And Technology Method for super-resolution reconstruction using focal underdetermined system solver algorithm

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5943006A (en) * 1996-10-25 1999-08-24 Patrick E. Crane RF image reconstruction and super resolution using fourier transform techniques
US20060291751A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution)
US20070071362A1 (en) * 2004-12-16 2007-03-29 Peyman Milanfar Dynamic reconstruction of high-resolution video from color-filtered low-resolution video-to-video super-resolution
US20080175452A1 (en) * 2007-01-19 2008-07-24 Korea Advanced Institute Of Science And Technology Method for super-resolution reconstruction using focal underdetermined system solver algorithm

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI750686B (zh) * 2019-06-04 2021-12-21 捷絡生物科技股份有限公司 三維組織病理學成像方法及系統
TWI761016B (zh) * 2020-01-05 2022-04-11 捷絡生物科技股份有限公司 組織切片的製備方法

Also Published As

Publication number Publication date
TW201011688A (en) 2010-03-16

Similar Documents

Publication Publication Date Title
CN104111242B (zh) 一种三维像素超分辨显微成像方法
US20100177190A1 (en) Microscopy system with revolvable stage
US8059336B2 (en) Rapid microscope scanner for volume image acquisition
JP7252190B2 (ja) 生物試料の向上された被写界深度の合成2d画像を生成するシステム
CA3110199A1 (en) Systems and methods for enhanced imaging and analysis
US20120098950A1 (en) Scanning projective lensless microscope system
CA2641635A1 (en) Method and apparatus and computer program product for collecting digital image data from microscope media-based specimens
US20100084555A1 (en) Preparation method for an electron tomography sample with embedded markers and a method for reconstructing a three-dimensional image
Bishop et al. Plenoptic depth estimation from multiple aliased views
CN111220615A (zh) 一种倾斜式三维扫描显微成像系统及方法
Barbieri et al. Acquisition of 3D models with submillimeter-sized features from SEM images by use of photogrammetry: A dimensional comparison to microtomography
TWI396142B (zh) 一種三維影像補密重建方法
CN109598782A (zh) 基于三维建模技术的建筑文物修复方法、存储介质
CN108956562A (zh) 一种基于重定位的光切片荧光显微成像方法和装置
Gokhale et al. Design‐based estimation of surface area in thick tissue sections of arbitrary orientation using virtual cycloids
US11356593B2 (en) Methods and systems for single frame autofocusing based on color- multiplexed illumination
Karen et al. Three‐dimensional computer reconstruction of large tissue volumes based on composing series of high‐resolution confocal images by GlueMRC and LinkMRC software
CN107678151A (zh) 基于干涉阵列光场的共聚焦并行显微成像仪
US20230221541A1 (en) Systems and methods for multiview super-resolution microscopy
Aronsson et al. Slice-based digital volume assembly of a small paper sample
CN111189828A (zh) 一种旋转无透镜像素超分辨成像系统及其成像方法
Sun et al. Deep Learning Enables Large Depth-of-Field Images for Sub-Diffraction-Limit Scanning Superlens Microscopy
Sun et al. Acquiring Large Field-of-View Optical Super-Resolution Images Using Adaptive As-Natural-As-Possible (AANAP) Image Stitching Method
Zhang et al. Deep-learning light-sheet fluorescence microscopy for high-throughput, voxel-super-resolved imaging of biomedical specimens
Hui et al. Deep Learning-Enabled Transformation of Scanning Superlens Microscopy Images into Scanning Electron Microscopy-like Large Depth-of-Field Images