TWI783896B - 用於輕元素薄膜的三維影像重建方法及系統 - Google Patents

用於輕元素薄膜的三維影像重建方法及系統 Download PDF

Info

Publication number
TWI783896B
TWI783896B TW111113461A TW111113461A TWI783896B TW I783896 B TWI783896 B TW I783896B TW 111113461 A TW111113461 A TW 111113461A TW 111113461 A TW111113461 A TW 111113461A TW I783896 B TWI783896 B TW I783896B
Authority
TW
Taiwan
Prior art keywords
image
dimensional
data
reconstruction
module
Prior art date
Application number
TW111113461A
Other languages
English (en)
Other versions
TW202341079A (zh
Inventor
陳健群
Original Assignee
國立清華大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立清華大學 filed Critical 國立清華大學
Priority to TW111113461A priority Critical patent/TWI783896B/zh
Priority to US17/885,837 priority patent/US11830122B2/en
Application granted granted Critical
Publication of TWI783896B publication Critical patent/TWI783896B/zh
Publication of TW202341079A publication Critical patent/TW202341079A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/424—Iterative
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/226—Image reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Processing (AREA)
  • Liquid Crystal (AREA)

Abstract

一種用於輕元素薄膜的三維影像重建方法及系統中，處理器根據由STEM在薄膜樣品處於不同角度下拍攝的原始投影影像進行有關於除噪、視場修正和背景扣除的預處理後所獲得的多個二維影像和多個參考影像執行多次的三維影像重建程序，在每次的程序中該等二維影像經過校準處理和在倒空間的多次迭代演算而獲得有關於受測區域的對應的三維重建影像資料，除了第一次以外的每一次程序中所用的參考影像是從前一次程序所獲得的三維重建影像資料擷取出，並根據最後一次程序獲得的三維重建影像資料生成該受測區域的三維重建影像，以供顯示模組顯示。

Description

用於輕元素薄膜的三維影像重建方法及系統
本發明是有關於三維影像重建技術，特別是指一種用於輕元素薄膜的三維影像重建方法及系統。
對於由如氫、碳、氮、氧等輕元素所組成的薄膜材料(例如，高分子共聚物)，當使用傳統穿透式電子顯微鏡(Transmission electron microscope，以下簡稱TEM)拍攝此薄膜材料的樣品時，由於在成像上對比度不明顯而難以分辨，因此通常會在拍攝之前對該樣品進行染色，藉此可獲得具有明顯對比度的影像。然而，此染色方式所採用具有高原子序的化學藥劑，會與該樣品產生化學反應或物理鏈結而附著於該樣品上，如此可能使該樣品在結構上發生變化，因而導致在該樣品的成像上的誤判。
為了解決上述影像對比度不明顯的問題，使用掃描穿透式電子顯微鏡(Scanning Transmission Electron Microscopy， 以下簡稱STEM)拍攝該樣品以獲得該樣品在各種角度(如，-70°~+70°)的二維投影，以便據以進行該樣品的三維影像重建，進而獲得該樣品的三維結構資訊。然而，如上述薄膜材料的樣品的影像採集面往往大於STEM視場(Field of View，以下簡稱FoV)大小，因此若直接根據獲得的二維投影進行三維影像重建，如此獲得的三維結構資訊將難以排除如影像偏差、缺陷等因素而不利於重建之三維影像的解析度的問題。
因此，對於輕元素薄膜，如何發想出一種能提升解析度且在樣品備製上相對容易的三維影像重建方式已成為相關技術領域所欲解決的議題之一。
因此，本發明的目的，即在提供一種用於輕元素薄膜的三維影像重建方法及系統，其能克服現有技術至少一個缺點。
於是，本發明所提供的一種三維影像重建方法係用於一由輕元素組成之薄膜樣品的三維影像重建，並利用一具有可樞轉且承載有該薄膜樣品之載台的掃描穿透式電子顯微鏡和一處理器來執行。該三維影像重建方法包含以下步驟：(A)藉由該掃描穿透式電子顯微鏡，獲取該薄膜樣品的一受測區域在該載台分別處於N個不同角度下所拍攝到的N個分別對應於該N個角度的原始投影影 像，其中N為正整數，且該N個角度包含該載台大致呈水平時的0°、該載台朝順時針方向分別轉動多個不同角度下所處的多個正角度、及該載台分別朝逆時針方向轉動多個不同角度下所處的多個負角度；(B)藉由該處理器，對該N個原始投影影像逐一進行有關於除噪、視場修正和背景扣除的預處理，以獲得N個分別對應於該N個角度的二維影像；(C)藉由該處理器，根據該N個二維影像和分別對應於該N個角度的N個參考影像，進行一次三維影像重建程序，其包含以下步驟：(i)對於該N個二維影像逐一進行一有關於位移和轉動的校準處理，以獲得分別對應於該N個角度且校準後的N個二維影像，其中每一二維影像在一預定平移範圍和一預定轉動角度範圍內移動與轉動，以使對應於每一角度的校準後的二維影像與參考影像在影像資料上具有最小誤差，並紀錄有關於校準後的該N個二維影像的位移像素資料和旋轉角度資料；(ii)利用離散傅立葉轉換和內插處理，根據校準後的該N個二維影像產生對應於一倒(傅立葉)空間的初始三維資料分布；(iii)將該初始三維資料分布與該倒空間中無該三維資料分布的所有其他格子點的任意資料分布結合成該倒空間中有關於該受測區域的三維分布資料；(iv)根據該三維分布資料，進行一迭代演算，其包括對該三維分布資料進行反傅立葉轉換以獲得在實空間的三維影像資料，從該三維影像資料擷取出對應於該受測區域的三維影像資料部分，以及對該三維影像資料部分進 行傅立葉轉換以獲得該倒空間的迭代三維分布資料，並且將該N個二維影像進行傅立葉轉換後所獲得在該倒空間的三維資料取代該迭代三維分布資料中對應的資料部分，以獲得更新的迭代三維分布資料作為用於下一次迭代演算的該三維分布資料；(v)重複執行步驟(iv)，直到最近一次迭代演算中獲得的三維影像資料部分與相對於該最近一次迭代演算的前一次迭代演算中所獲得的三維影像資料部分之間的誤差Error小於一預定閾值；及(vi)將該最近一次迭代演算中獲得的該三維影像資料部分作為該次三維影像重建程序有關於該受測區域的三維重建影像資料；(D)藉由該處理器，從該三維重建影像資料擷取出分別對應於該N個角度的N筆二維影像資料分別作為用於下一次三維影像重建程序的該N個參考影像；(E)重複步驟(C)、(D)，直到在最近一次三維影像重建程序中所紀錄的位移像素資料與轉動角度資料完全相同於在相對於該最近一次三維影像重建程序的前一次三維影像重建程序中所紀錄的位移像素資料與轉動角度資料；及(F)藉由該處理器，根據該最近一次三維影像重建程序中所獲得的三維重建影像資料，生成該受測區域的三維重建影像，以供一顯示模組顯示該三維重建影像。
於是，本發明所提供的一種三維影像重建系統，用於重建一由輕元素組成的薄膜樣品的三維影像，並包含一掃描穿透式電子顯微鏡、一用於資料儲存的儲存模組、一用於影像顯示的顯示模 組，以及一處理器。
該掃描穿透式電子顯微鏡具有一可繞著一樞軸樞轉之載台，其上放置有該薄膜樣品以使該薄膜樣品的一受測區域對稱於該樞軸，並在該載台分別處於N個不同角度下拍攝該受測區域以獲得N個分別對應於該N個角度的原始投影影像，其中N為正整數，且該N個角度包含該載台大致呈水平時的0°、該載台朝順時針方向分別轉動多個不同角度下所處的多個正角度、及該載台分別朝逆時針方向轉動多個不同角度下所處的多個負角度。
該處理器電連接該掃描式穿透電子顯微鏡、該儲存模模組和該顯示模組，將接收自該掃描穿透式電子顯微鏡的該N個原始投影影像儲存於該儲存模組，並包括一預處理模組、一校準模組、一處理模組、一迭代演算模組、一迭代判定模組、一重建判定模組及一重建模組。
該預處理模組操作來對該N個原始投影影像逐一進行有關於除噪、視場修正和背景扣除的前處理以獲得N個分別對應於該N個角度的二維影像。
該處理器根據該N個二維影像和分別對應於該N個角度的N個參考影像執行以下操作來完成一次三維影像重建程序，以獲得對應於該次三維影像重建程序且有關於該受測區域的三維重建影像資料：該校準模組對於該N個二維影像逐一進行一有關於位移 和轉動的校準處理，以獲得分別對應於該N個角度且校準後的N個二維影像，其中每一二維影像在一預定平移範圍和一預定轉動角度範圍內移動與轉動，以使對應於每一角度的校準後的二維影像與參考影像在影像資料上具有最小誤差，並將有關於校準後的該N個二維影像的位移像素資料和旋轉角度資料紀錄於該儲存模組；該處理模組利用離散傅立葉轉換和內插處理且根據校準後的該N個二維影像產生對應於一倒(傅立葉)空間的初始三維資料分布，並將該初始三維資料分布與該倒空間中無該初始三維資料分布的所有其他格子點的任意資料分布結合成該倒空間中有關於該受測區域的三維分布資料；該迭代演算模組根據該三維分布資料進行一次迭代演算以獲得對應於該次迭代演算在該倒空間的迭代三維分布資料，在該次迭代演算中，該迭代演算模組操作來(i)對該三維分布資料進行反傅立葉轉換以獲得在實空間的三維影像資料、(ii)從該三維影像資料擷取出對應於該受測區域的三維影像資料部分、及(iii)對該三維影像資料部分進行傅立葉轉換以獲得該迭代三維分布資料，該迭代演算模組將該儲存模組儲存的該N個二維影像進行傅立葉轉換後所獲得在該倒空間的三維資料取代該迭代三維分布資料中對應的資料部分，以獲得更新的迭代三維分布資料作為用於下一次迭代演算的該三維分布資料；該迭代演算模組在執行完多次的該迭代演算後，當該迭代判定模組判定出最近一次迭代演算中獲得的三維影像 資料部分與相對於該最近一次迭代演算的前一次迭代演算中所獲得的三維影像資料部分之間的誤差Error小於一預定閾值時才停止執行該迭代演算；及該迭代判定模組將該最近一次迭代演算中獲得的該三維影像資料部分作為該三維重建影像資料。
該處理模組從該三維重建影像資料擷取出分別對應於該N個角度的N筆二維影像資料分別作為該N個參考影像。
該處理器在執行完多次該三維影像重建程序後，當該重建判定模組判定出在最近一次三維影像重建程序中紀錄於該儲存模組的位移像素資料和轉動角度資料完全相同於在相對於該最近一次三維影像重建程序的前一次三維影像重建程序中紀錄於該儲存模組的位移像素資料與轉動角度資料時才停止。
該重建模組根據該最近一次三維影像重建程序中所獲得的三維重建影像資料，生成該受測區域的三維重建影像，並將該三維重建影像輸出至該顯示模組，以供其顯示出該三維重建影像。
本發明的功效在於：由於該掃描穿透式電子顯微鏡收集的薄膜樣品的原始投影影像經過了預處理以及多次的三維影像重建程序，特別是每次三維影像重建程序中對二維影像進行校準處理、以及多次迭代演算後獲得對應的三維重建影像資料，因此根據最後一次三維影像重建程序所獲得的三維重建影像資料生成的三維重建影像具有相對較高解析度，藉此不僅省略了現有技術必要但 繁複的樣品染色處理，而且能有效避免樣品結構的改變。
100:三維影像重建系統
1:掃描穿透式電子顯微鏡(STEM)
11:載台
2:儲存模組
3:顯示模組
4:處理器
41:預處理模組
42:校準模組
43:處理模組
44:迭代演算模組
45:迭代判定模組
46:重建判定模組
47:重建模組
200:薄膜樣品
S41~S47:步驟
S51~S53:步驟
本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一方塊圖，示例性地說明本發明實施例的一種三維影像重建系統的架構；圖2是一示意圖，示例性地繪示出該實施例的一掃描穿透式電子顯微鏡的一載台在支承一薄膜樣品時的樞轉情形；圖3示例性地繪示出該實施例中有關於該薄膜樣品的一受測區域的多個原始投影影像和對應的多個校準後的二維影像；圖4是一流程圖，示例性地說明該實施例的一處理器針對該受測區域如何進行一次三維影像重建程序；圖5是一流程圖，示例性地說明該實施例的一處理器的一迭代演算模組如何執行一次迭代演算；及圖6是立體透視圖，示例性地繪示出該薄膜樣品的預定結構模型，以及該實施例針對該薄膜樣品的受測區域所重建出的三維重建影像。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1，示例性地繪示出本發明實施例的一種三維影像重建系統100係用於重建一由輕元素(如氫、碳、氮、氧等元素)組成的薄膜樣品200(例如，高分子共聚物)的三維影像，並包含一掃描穿透式電子顯微鏡(Scanning Transmission Electron Microscopy，以下簡稱STEM)1、一用於資料儲存的儲存模組2、一用於影像顯示的顯示模組3、及一處理器4，其中該處理器4電連接該儲存模組2和該顯示模組3且三者可以一電腦設備來實施，並且該STEM 1可經由一連接介面(圖未示)電連接該處理器4。
參閱圖2，該STEM 1具有一可繞著例如延伸在Y方向的一樞軸(圖未示出)樞轉之載台11，其上放置有該薄膜樣品以使該薄膜樣品的一受測區域對稱於該樞軸，即，該受測區域的中心與該樞軸對齊。在本實施例中，當無轉動的該載台11大致呈水平(亦即，如延伸在圖2的X方向時)，其所處的角度被定義為0°；當該載台11朝順時針方向轉動時，其所處的任一角度被定義為正角度；而當該載台11朝逆時針方向轉動時，其所處的任一角度被定義為負角度。舉例來說，該載台11可處於如+70°~-70°的角度範圍內的任一角度。該STEM 1可發出在如圖2所示的Z方向且穿透該薄膜樣品200的受測區域和該載台11的掃描電子束，且透過設在該載台11下方 的CCD陣列感測穿透的電子束而拍攝到該受測區域的原始投影影像。
在使用於該受測區域的影像重建時，該STEM 1在該載台11分別處於N個不同角度下拍攝該受測區域以獲得N個分別對應於該N個角度的原始投影影像，其中N為正整數，且該N個角度包含0°、多個不同正角度、及多個不同負角度。舉例來說，當N=25且25個不同角度分別為60°，55°，...，5°，0°，-5°，...，-60°時，圖3的左側部分示例性地繪示出該STEM 1拍攝該受測區域所獲得的25個原始投影影像。該STEM 1會將獲得的該N個原始投影影像輸出至該處理器4。
該處理器4將接收自該STEM 1的該N個原始投影影像儲存於該儲存模組1，並包括一預處理模組41、一校準模組42、一處理模組43、一迭代演算模組44、一迭代判定模組45、一重建判定模組46及一重建模組47。
該預處理模組41操作來對該N個原始投影影像(例如，圖3左側所示的25個原始投影影像)逐一進行有關於除噪、視場(field of view)修正和背景扣除的前處理以獲得N個分別對應於該N個角度的二維影像。更具體地，對於每一原始投影影像，該預處理模組41先利用如已知的總體型經驗模態分解法(Ensemble Empirical Mode Decomp)osition，EEMD)將該原始投影影像中的細微擾動 濾除已提升訊噪比。接著，該預處理模組41將除噪後的每一原始投影影像(對應於0°的原始投影影像除外)進行視場修正，特別是對於在X方向的視場範圍作修正，其中對應於角度θ的投影影像在X方向(圖2)的寬度Xθ代表修正後X方向的視場範圍，並且被表示成Xθ=X0cosθ，且X0是對應於0°的原始投影影像在X方向的寬度，於是經過視場修正後獲得的投影影像僅在X方向上的視場範圍內具有影像資料，而在該視場範圍以外影像資料均已被除去。最後，該預處理模組41還將視場修正後的每一投影影像進行背景扣除而獲得對應的二維影像，其中將除噪後對應於0°的原始投影影像(以
Figure 111113461-A0305-02-0013-1
來表示)扣除其影像資料的平均值的α0倍後所獲得的對應於0°的二維影像(以
Figure 111113461-A0305-02-0013-2
來表示)被表示成下式：
Figure 111113461-A0305-02-0013-3
 其中α0通常可以使對應於
Figure 111113461-A0305-02-0013-4
的背景區域(即，無樣品結構的區域)之影像部分的強度趨近零(但非為負數)而決定出。然後，根據
Figure 111113461-A0305-02-0013-5
將在X方向的所有影像資料加總而獲得一維(曲線)函數f 0(y)，同樣地，可獲得對應於其他每一角度θ的二維影像，即，
Figure 111113461-A0305-02-0013-6
，以及一維函數f θ (y)，並經由適當地選取α θ 以使得f θ (y)與f 0(y)具有最小差異。
此外，在本實施例中，該預處理模組41還將對應於0°的二維影像(以下簡稱為0°-二維影像)的質心位置調整至整幀影像 的中心點位置作為整幀影像的原點。
至於該校準模組42、該處理模組43、該迭代演算模組44、和該迭代判定模組45各自的操作細節，將配合以下，參閱圖1及圖4，示例性地說明有關該處理器4針對該受測區域如何根據該N個二維影像和分別對應於該N個角度的N個參考影像進行一次三維影像重建程序的詳細內一併經清楚說明。該三維影像重建程序包含以下步驟包含以下步驟S41~S47。
首先，在步驟S41中，該校準模組42對於該N個二維影像逐一進行一有關於位移和轉動的校準處理，以獲得分別對應於該N個角度且校準後的N個二維影像。每一二維影像在一預定平移範圍(例如，當二維影像具有512×512個像素時，則往上、往下、往左、往右各平移如50個像素的範圍)和一預定轉動角度範圍(例如，往順時針方向、往逆時針方向各轉動如3度的範圍)內移動與轉動，以使對應於每一角度的校準後的二維影像與參考影像在影像資料上具有最小誤差，並將有關於校準後的該N個二維影像的位移像素資料和旋轉角度資料紀錄於該儲存模組2。特別注意的是，在初次三維影像重建程序的步驟S41中，該校準模組42依照以下原則來進行該校準處理：原則1：0°-二維影像無須校準，也就是說，對應於0°的參考影像(以下簡稱為0°-參考影像)和校準後的0°-二維影像相同於0° -二維影像；原則2：對於除了0°-該二維影像以外的其他(N-1)個二維影像，從對應於具有最小角度值之角度的二維影像開始到對應於具有最大角度值之角度的二維影像逐一地進行該校準處理；及原則3：對應於該其他(N-1)個角度其中每一角度的參考影像是對應於另一相鄰於該角度且具有較小角度值之角度的校準後的二維影像。於是，若沿用上例N=25且25個不同角度分別為60°，55°，...，5°，0°，-5°，...，-60°的情況，該校準模組42會以0°-二維影像作為5°-參考影像和-5°-參考影像，且以一次移動一個像素的方式多次平移5°/-5°-二維影像並在每次移動後與5°/-5°-參考影像(即，0°-二維影像)進行比較，以獲得與5°/-5°-參考影像在影像資料上具有最小誤差的位移像素結果，並以一次轉動一度的方式多次轉動5°/-5°-二維影像並在每次移動後與5°/-5°-參考影像(即，0°-二維影像)進行比較，以獲得與5°/-5°-參考影像在影像資料上具有最小誤差的旋轉角度結果，藉此完成5°/-5°-二維影像的校準處理；接著，同理，該校準模組42會以校準後的5°-二維影像和校準後的-5°-二維影像分別作為10°-參考影像和-10°-參考影像，且以一次移動一個像素的方式多次平移10°/-10°-二維影像並在每次移動後與10°/-10°-參考影像(即，校準後的5°/-5°-二維影像)進行比較，以獲得與10°/-10 °-參考影像在影像資料上具有最小誤差的位移像素結果，並以一次轉動一度的方式多次轉動10°/-10°-二維影像並在每次移動後與10°/-10°-參考影像(即，校準後的5°/-5°-二維影像)進行比較，以獲得與10°/-10°-參考影像在影像資料上具有最小誤差的旋轉角度結果，藉此完成10°/-10°-二維影像的校準處理；同理，依序執行完剩餘的二維影像的校準處理後，該校準模組42將所有位移像素結果和所有旋轉角度結果分別作為該位移像素資料和該旋轉角度資料。
接著，在步驟S42中，該處理模組43利用離散傅立葉轉換(Discrete Fourier Transform，DFT)和內插處理且根據校準後的該N個二維影像產生對應於一倒空間(Reciprocal Space)，即，傅立葉空間(Fourier Space)的初始三維資料分布。
然後，在步驟S43中，該處理模組43將該初始三維資料分布與該倒空間中無該初始三維資料分布的所有其他格子點的任意資料分布結合成該倒空間中有關於該受測區域的三維分布資料。
之後，在步驟S44中，該迭代演算模組44根據該三維分布資料進行一次迭代演算以獲得對應於該次迭代演算在該倒空間的迭代三維分布資料。參閱圖5，該次迭代演算包含以下步驟S51~S53。在步驟S51中，該迭代演算模組44對該三維分布資料進行反傅立葉轉換(Inverse Fourier Transform)以獲得在實空間 (Real Space)的三維影像資料。在步驟S52中，該迭代演算模組44從該三維影像資料擷取出對應於該受測區域的三維影像資料部分。在步驟S53中，該迭代演算模組44對該三維影像資料部分進行傅立葉轉換以獲得該迭代三維分布資料。
緊接著，在步驟S45中，該迭代演算模組44還將該儲存模組2儲存的該N個二維影像進行傅立葉轉換後所獲得在該倒空間的三維資料取代該迭代三維分布資料中對應的資料部分，以獲得更新的三維分布資料作為用於下一次迭代演算的該三維分布資料。
之後，在步驟S46中，該迭代判定模組45判定該次迭代演算中獲得的該三維影像資料部分與前一次迭代演算中獲得的三維影像資料部分之間的誤差Error是否小於一預定閾值。若判定結果為肯定，則流程將返回步驟S44，否則流程將進行S47。在本實施例中，該誤差Error被定義成Error=Σ all voxel |O(n)-O(n-1)|/Σ all voxel O(n)，其中O(n)代表該最近一次迭代運算中獲得的三維影像資料部分的函式，且O(n-1)代表該前一次迭代演算中獲得的三維影像資料部分的函式，並且該預定閾值例如為1%。
請注意，該迭代演算模組44在執行完初次迭代演算後，由於並無”前一次”的迭代演算，故流程會直接返回到步驟S44，以便重複執行步驟S44~S46。
於是，該迭代演算模組44在執行完多次的迭代演算後，當該迭代判定模組45在步驟S46中判定出最近一次迭代演算中獲得的三維影像資料部分與相對於該最近一次迭代演算的前一次迭代演算中所獲得的三維影像資料部分之間的誤差Error小於一預定閾值時才停止該迭代演算。
最後，在步驟S47中，該迭代判定模組45將該最近一次迭代演算中獲得的該三維影像資料部分作為該三維重建影像資料。至此，該(初次)三維影像重建程序執行完成。
值得注意的是，在每次三維重建影像程序完成後，該處理模組43從(該次三維影像重建程序中的)該三維重建影像資料擷取出分別對應於該N個角度的N筆二維影像資料分別作為用於下一次三維影像重建程序的該N個參考影像。
為了獲得最佳的三維影像重建結果，該處理器4會再次執行圖4所示的該三維影像重建程序，即，第二次三維影像重建程序。此外，在該處理器4執行完成該第二次三維影像重建程序後，該重建判定模組46判定在該第二次三維影像重建程序中紀錄於該儲存模組2的該位移像素資料和該轉動角度資料是否相同於在該初次三維影像重建程序中紀錄於該儲存模組2的該位移像素資料和該轉動角度資料。若判定結果為否定時，該處理器4會再次執行下一次三維影像重建程序。
於是，該處理器4在執行完多次(例如，M次)三維影像重建程序後，當該重建判定模組46判定出在最近一次(即，第M次)三維影像重建程序中紀錄於該儲存模組2的位移像素資料和轉動角度資料完全相同於在相對於該最近一次三維影像重建程序的前一次(例如，第(M-1)次)三維影像重建程序中紀錄於該儲存模組2的位移像素資料與轉動角度資料時才停止執行該三維影像重建程序，藉此根據對該N個二維影像進行了的最佳校準處理結果(如圖3右側所示)所進行的三維影像重建將大大地有利於三維重建影像的解析度。
該重建模組47根據該最近一次三維影像重建程序中所獲得的三維重建影像資料，生成該受測區域的三維重建影像，並將該三維重建影像輸出至該顯示模組3，以供其顯示出該三維重建影像。
最後，該處理器4使該顯示模組5顯示重建出的二維/三維重建影像，以供如檢測該待測樣品之技術人員觀看。
圖6示例性地繪示出該薄膜樣品200的預定結構模型(左側的三維圖案)，以及該實施例針對該薄膜樣品200的受測區域經由執行上述多次三維重建程序所重建出的三維重建影像。
綜上所述，由於該STEM 1收集的薄膜樣品200的原始投影影像經過了預處理以及多次的三維影像重建程序，特別是每次三維影像重建程序中對二維影像進行校準處理、以及多次迭代演算後 獲得對應的三維重建影像資料，因此根據最後一次三維影像重建程序所獲得的三維重建影像資料生成的三維重建影像具有相對較高解析度，藉此不僅省略了現有技術必要但繁複的樣品染色處理，而且能有效避免樣品結構的改變。因此，本發明三維影像重建系統100確實能達成本發明的目的。
惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。
S41~S47:步驟

Claims (6)

  1. 一種三維影像重建方法，用於一由輕元素組成之薄膜樣品的三維影像重建，並利用一具有可樞轉且承載有該薄膜樣品之載台的掃描穿透式電子顯微鏡和一處理器來執行，該三維影像重建方法包含以下步驟： (A)藉由該掃描穿透式電子顯微鏡，獲取該薄膜樣品的一受測區域在該載台分別處於N個不同角度下所拍攝到的N個分別對應於該N個角度的原始投影影像，其中N為正整數，且該N個角度包含該載台大致呈水平時的0゜、該載台朝順時針方向分別轉動多個不同角度下所處的多個正角度、及該載台分別朝逆時針方向轉動多個不同角度下所處的多個負角度； (B)藉由該處理器，對該N個原始投影影像逐一進行有關於除噪、視場修正和背景扣除的預處理，以獲得N個分別對應於該N個角度的二維影像； (C)藉由該處理器，根據該N個二維影像和分別對應於該N個角度的N個參考影像，進行一次三維影像重建程序，其包含以下步驟： (i)對於該N個二維影像逐一進行一有關於位移和轉動的校準處理，以獲得分別對應於該N個角度且校準後的N個二維影像，其中每一二維影像在一預定平移範圍和一預定轉動角度範圍內移動與轉動，以使對應於每一角度的校準後的二維影像與參考影像在影像資料上具有最小誤差，並紀錄有關於校準後的該N個二維影像的位移像素資料和旋轉角度資料； (ii)利用離散傅立葉轉換和內插處理，根據校準後的該N個二維影像產生對應於一倒(傅立葉)空間的初始三維資料分布； (iii)將該初始三維資料分布與該倒空間中無該初始三維資料分布的所有其他格子點的任意資料分布結合成該倒空間中有關於該受測區域的三維分布資料； (iv)根據該三維分布資料，進行一迭代演算，其包括對該三維分布資料進行反傅立葉轉換以獲得在實空間的三維影像資料，從該三維影像資料擷取出對應於該受測區域的三維影像資料部分，對該三維影像資料部分進行傅立葉轉換以獲得該倒空間的迭代三維分布資料，以及將該N個二維影像進行傅立葉轉換後所獲得在該倒空間的三維資料取代該迭代三維分布資料中對應的資料部分，以獲得更新的迭代三維分布資料作為用於下一次迭代演算的該三維分布資料； (v)重複執行步驟(iv)，直到最近一次迭代演算中獲得的三維影像資料部分與相對於該最近一次迭代演算的前一次迭代演算中所獲得的三維影像資料部分之間的誤差Error小於一預定閾值；及 (vi)將該最近一次迭代演算中獲得的該三維影像資料部分作為該次三維影像重建程序有關於該受測區域的三維重建影像資料； (D)藉由該處理器，從該三維重建影像資料擷取出分別對應於該N個角度的N筆二維影像資料分別作為用於下一次三維影像重建程序的該N個參考影像； (E)重複步驟(C)、(D)，直到在最近一次三維影像重建程序中所紀錄的位移像素資料與轉動角度資料完全相同於在相對於該最近一次三維影像重建程序的前一次三維影像重建程序中所紀錄的位移像素資料與轉動角度資料；及 (F)藉由該處理器，根據該最近一次三維影像重建程序中所獲得的三維重建影像資料，生成該受測區域的三維重建影像，以供一顯示模組顯示該三維重建影像。
  2. 如請求項1所述的三維影像重建方法，其中，在該處理器初次執行該三維影像重建程序的步驟(i)中： 該N個二維影像中對應於0゜的二維影像相同於對應於0゜的參考影像和校準後的二維影像； 對於除了對應於0゜的該二維影像以外的其他(N-1)個二維影像，從對應於具有最小角度值之角度的二維影像開始到對應於具有最大角度值之角度的二維影像逐一地進行該校準處理；及 對應於該其他(N-1)個角度其中每一角度的參考影像是對應於另一相鄰於該角度且具有較小角度值之角度的校準後的二維影像。
  3. 如請求項1所述的三維影像重建方法，其中，在步驟(B)中： 該誤差Error被定義成
    Figure 03_image029
    ，其中
    Figure 03_image031
    代表該最近一次迭代運算中獲得的三維影像資料部分的函式，且
    Figure 03_image033
    代表該前一次迭代演算中獲得的三維影像資料部分的函式；及 該預定閾值為1%。
  4. 一種三維影像重建系統，用於重建一由輕元素組成的薄膜樣品的三維影像，並包含： 一掃描穿透式電子顯微鏡，具有一可繞著一樞軸樞轉之載台，其上放置有該薄膜樣品以使該薄膜樣品的一受測區域對稱於該樞軸，並在該載台分別處於N個不同角度下拍攝該受測區域以獲得N個分別對應於該N個角度的原始投影影像，其中N為正整數，且該N個角度包含該載台大致呈水平時的0゜、該載台朝順時針方向分別轉動多個不同角度下所處的多個正角度、及該載台分別朝逆時針方向轉動多個不同角度下所處的多個負角度； 一儲存模組，用於資料儲存； 一顯示模組，用於影像顯示；及 一處理器，電連接該掃描式穿透電子顯微鏡、該儲存模模組和該顯示模組，將接收自該掃描穿透式電子顯微鏡的該N個原始投影影像儲存於該儲存模組，並包括一預處理模組、一校準模組、一處理模組、一迭代演算模組、一迭代判定模組、一重建判定模組及一重建模組，該預處理模組操作來對該N個原始投影影像逐一進行有關於除噪、視場修正和背景扣除的前處理以獲得N個分別對應於該N個角度的二維影像； 其中，該處理器根據該N個二維影像和分別對應於該N個角度的N個參考影像執行以下操作來完成一次三維影像重建程序，以獲得對應於該次三維影像重建程序且有關於該受測區域的三維重建影像資料: 該校準模組對於該N個二維影像逐一進行一有關於位移和轉動的校準處理，以獲得分別對應於該N個角度且校準後的N個二維影像，其中每一二維影像在一預定平移範圍和一預定轉動角度範圍內移動與轉動，以使對應於每一角度的校準後的二維影像與參考影像在影像資料上具有最小誤差，並將有關於校準後的該N個二維影像的位移像素資料和旋轉角度資料紀錄於該儲存模組； 該處理模組利用離散傅立葉轉換和內插處理且根據校準後的該N個二維影像產生對應於一倒(傅立葉)空間的初始三維資料分布，並且將該初始三維資料分布與該倒空間中無該初始三維資料分布的所有其他格子點的任意資料分布結合成該倒空間中有關於該受測區域的三維分布資料； 該迭代演算模組根據該三維分布資料進行一次迭代演算以獲得對應於該次迭代演算在該倒空間的迭代三維分布資料，在該次迭代演算中，該迭代演算模組操作來(i)對該三維分布資料進行反傅立葉轉換以獲得在實空間的三維影像資料、(ii)從該三維影像資料擷取出對應於該受測區域的三維影像資料部分、及(iii)對該三維影像資料部分進行傅立葉轉換以獲得該迭代三維分布資料，該迭代演算模組還將該儲存模組儲存的該N個二維影像進行傅立葉轉換後所獲得在該倒空間的三維資料取代該迭代三維分布資料中對應的資料部分，以獲得更新的三維分布資料作為用於下一次迭代演算的該三維分布資料； 該迭代演算模組在執行完多次的該迭代演算後，當該迭代判定模組判定出最近一次迭代演算中獲得的三維影像資料部分與相對於該最近一次迭代演算的前一次迭代演算中所獲得的三維影像資料部分之間的誤差Error小於一預定閾值時才停止執行該迭代演算；及 該迭代判定模組將該最近一次迭代演算中獲得的該三維影像資料部分作為該三維重建影像資料； 其中，該處理模組從該三維重建影像資料擷取出分別對應於該N個角度的N筆二維影像資料分別作為用於下一次三維影像重建程序的該N個參考影像； 其中，該處理器還在執行完多次該三維影像重建程序後，當該重建判定模組判定出在最近一次三維影像重建程序中紀錄於該儲存模組的位移像素資料和轉動角度資料完全相同於在相對於該最近一次三維影像重建程序的前一次三維影像重建程序中紀錄於該儲存模組的位移像素資料與轉動角度資料時才停止執行該三維影像重建程序；及 其中，該重建模組根據該最近一次三維影像重建程序中所獲得的三維重建影像資料，生成該受測區域的三維重建影像，並將該三維重建影像輸出至該顯示模組，以供其顯示出該三維重建影像。
  5. 如請求項4所述的三維影像重建系統，其中，在該處理器初次執行該三維影像重建程序中，該校準模組依照以下原則進行該校準處理： 使該N個二維影像中對應於0゜的二維影像相同於對應於0゜的參考影像和校準後的二維影像； 對於除了對應於0゜的該二維影像以外的其他(N-1)個二維影像，從對應於具有最小角度值之角度的二維影像開始到對應於具有最大角度值之角度的二維影像逐一地進行該校準處理；及 對應於該其他(N-1)個角度其中每一角度的參考影像是對應於另一相鄰於該角度且具有較小角度值之角度的校準後的二維影像。
  6. 如請求項4所述的三維影像重建系統，其中： 該誤差Error被定義成
    Figure 03_image029
    ，其中
    Figure 03_image031
    代表該最近一次迭代運算中獲得的三維影像資料部分的函式，且
    Figure 03_image033
    代表該前一次迭代演算中獲得的三維影像資料部分的函式；及 該預定閾值為1%。
TW111113461A 2022-04-08 2022-04-08 用於輕元素薄膜的三維影像重建方法及系統 TWI783896B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111113461A TWI783896B (zh) 2022-04-08 2022-04-08 用於輕元素薄膜的三維影像重建方法及系統
US17/885,837 US11830122B2 (en) 2022-04-08 2022-08-11 3D reconstruction method and 3D reconstruction system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111113461A TWI783896B (zh) 2022-04-08 2022-04-08 用於輕元素薄膜的三維影像重建方法及系統

Publications (2)

Publication Number Publication Date
TWI783896B true TWI783896B (zh) 2022-11-11
TW202341079A TW202341079A (zh) 2023-10-16

Family

ID=85794552

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111113461A TWI783896B (zh) 2022-04-08 2022-04-08 用於輕元素薄膜的三維影像重建方法及系統

Country Status (2)

Country Link
US (1) US11830122B2 (zh)
TW (1) TWI783896B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792151A (zh) * 2010-03-23 2012-11-21 加州理工学院 用于2d和3d成像的超分辨率光流体显微镜
CN105917277A (zh) * 2014-01-07 2016-08-31 视瑞尔技术公司 用于全息重建的显示设备
TW201928334A (zh) * 2017-12-27 2019-07-16 國立臺灣大學 光譜影像相關比對式共焦形貌量測系統及方法
TW201940983A (zh) * 2017-12-29 2019-10-16 荷蘭商Ａｓｍｌ荷蘭公司 用於處理資料之方法及用於獲得校準資料之方法
US20190333199A1 (en) * 2018-04-26 2019-10-31 The Regents Of The University Of California Systems and methods for deep learning microscopy
TW202129302A (zh) * 2019-08-27 2021-08-01 美商希力康燈光機械公司 用於光達應用之微機電系統相位陣列

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250850A (ja) 1998-03-02 1999-09-17 Hitachi Ltd 走査電子顕微鏡及び顕微方法並びに対話型入力装置
KR102301536B1 (ko) 2015-03-10 2021-09-14 삼성전자주식회사 고해상도 전자 현미경 이미지로부터 결정을 분석하는 방법 및 그 시스템
US10935506B2 (en) 2019-06-24 2021-03-02 Fei Company Method and system for determining molecular structure
EP4049234B1 (en) * 2019-10-21 2023-12-06 Illumina, Inc. Systems and methods for structured illumination microscopy
US11574794B2 (en) * 2021-03-23 2023-02-07 Fei Company Beam trajectory via combination of image shift and hardware alpha tilt

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792151A (zh) * 2010-03-23 2012-11-21 加州理工学院 用于2d和3d成像的超分辨率光流体显微镜
CN105917277A (zh) * 2014-01-07 2016-08-31 视瑞尔技术公司 用于全息重建的显示设备
TW201928334A (zh) * 2017-12-27 2019-07-16 國立臺灣大學 光譜影像相關比對式共焦形貌量測系統及方法
TW201940983A (zh) * 2017-12-29 2019-10-16 荷蘭商Ａｓｍｌ荷蘭公司 用於處理資料之方法及用於獲得校準資料之方法
US20190333199A1 (en) * 2018-04-26 2019-10-31 The Regents Of The University Of California Systems and methods for deep learning microscopy
TW202129302A (zh) * 2019-08-27 2021-08-01 美商希力康燈光機械公司 用於光達應用之微機電系統相位陣列

Also Published As

Publication number Publication date
TW202341079A (zh) 2023-10-16
US11830122B2 (en) 2023-11-28
US20230326116A1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
Anirudh et al. Lose the views: Limited angle CT reconstruction via implicit sinogram completion
US10089713B2 (en) Systems and methods for registration of images
CN110717956B (zh) 一种有限角投影超像素引导的l0范数最优化重建方法
JP2017117462A (ja) フーリエタイコグラフィによって取得された画像の物理レジストレーション
CN110555908B (zh) 基于室内移动目标背景修复的三维重建方法
JP5331780B2 (ja) 電子顕微鏡，電子顕微鏡用画像再構成システム、および電子顕微鏡用画像再構成方法
US8217937B2 (en) Isosurfacial three-dimensional imaging system and method
Song et al. Removing high contrast artifacts via digital inpainting in cryo-electron tomography: an application of compressed sensing
US11968351B2 (en) Three-dimensional imaging method and system using scanning-type coherent diffraction
Lebbink et al. Template matching as a tool for annotation of tomograms of stained biological structures
Zhao et al. Enhancing resolution of micro-CT images of reservoir rocks using super resolution
Fu et al. Deep-learning-based image registration for nano-resolution tomographic reconstruction
TWI783896B (zh) 用於輕元素薄膜的三維影像重建方法及系統
Bhamre et al. Mahalanobis distance for class averaging of cryo-EM images
CN112233156A (zh) 微纳米ct投影数据的中心切片对齐方法
Pintus et al. An automatic alignment procedure for a four-source photometric stereo technique applied to scanning electron microscopy
CN114359581A (zh) 一种面向冷冻电子断层图像的特征提取方法
CN112233157B (zh) 微纳米ct系统转台误差的频域校正方法
CN114002240A (zh) 一种地质样品微结构的电子显微三维重构表征方法
Debarnot et al. Joint cryo-et alignment and reconstruction with neural deformation fields
Xiao et al. In-situ NDT CT image restoration method for concrete based on deep learning by modeling non-ideal focal spot
Baba et al. A novel “ghost”-free tomographic image reconstruction method applicable to rotary-shadowed replica specimens
CN109886872A (zh) 安检设备及其图像检测方法
Kishore et al. Implicit Reconstructions from Deformed Projections for CryoET
Zhao et al. Limited angle x-ray tomography with machine learning