TWI731689B - 基於時域光譜的斷層攝影方法、系統及裝置 - Google Patents

基於時域光譜的斷層攝影方法、系統及裝置 Download PDF

Info

Publication number
TWI731689B
TWI731689B TW109116878A TW109116878A TWI731689B TW I731689 B TWI731689 B TW I731689B TW 109116878 A TW109116878 A TW 109116878A TW 109116878 A TW109116878 A TW 109116878A TW I731689 B TWI731689 B TW I731689B
Authority
TW
Taiwan
Prior art keywords
time
domain
scanning
measured
machine learning
Prior art date
Application number
TW109116878A
Other languages
English (en)
Other versions
TW202144763A (zh
Inventor
楊尚樺
洪繹峻
Original Assignee
國立清華大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立清華大學 filed Critical 國立清華大學
Priority to TW109116878A priority Critical patent/TWI731689B/zh
Priority to US16/936,420 priority patent/US11300504B2/en
Application granted granted Critical
Publication of TWI731689B publication Critical patent/TWI731689B/zh
Publication of TW202144763A publication Critical patent/TW202144763A/zh

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3581Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation
    • G01N21/3586Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using far infrared light; using Terahertz radiation by Terahertz time domain spectroscopy [THz-TDS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/005Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/126Microprocessor processing

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Toxicology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一種基於時域光譜的斷層攝影方法、系統及裝置。所述方法控制光發射器發出脈衝光束掃描待測物體的一切面,同時利用光接收器偵測穿過待測物體的脈衝光束,以取得掃描路徑上多個位置的時域脈衝訊號,以及改變掃描角度並重複執行掃描及偵測步驟,以收集切面的多個角度的時域脈衝訊號作為時間資料集;利用經訓練的機器學習模型的多個核心從各角度的時域脈衝訊號中擷取多個特徵,其中機器學習模型包括以多個切面的時間資訊集及對應的真實影像進行訓練,以學習用以擷取特徵的多個核心;以及轉換所擷取的特徵至空間域以重建切面的斷層影像。

Description

基於時域光譜的斷層攝影方法、系統及裝置
本發明是有關於一種影像處理方法及裝置,且特別是有關於一種基於時域光譜的斷層攝影方法、系統及裝置。
基於時域光譜(time-domain spectroscopy,TDS)的太赫茲電腦斷層攝影(Terahertz computed tomography,THz CT)系統被視為最能夠以非破壞方式顯現隱蔽物體及其材質(texture)的技術之一,而可應用至安全監測、生醫影像及工業檢測等產業。
光譜成像的關鍵在於影像解析度,對於由光衍射(diffraction)、散射(scattering)、非平行光束效應等因素造成的影像模糊(blur),近期發展出多種光譜成像演算法,例如時域時間差演算法、基於頻域資訊的演算法。其中,時域時間差演算法是藉由比較穿過物體的訊號與未穿過物體的訊號,以計算峰值時間差並重建影像,但此類演算法需要預先獲知物體的折射率等本質資訊,以用於重建影像及提升空間解析度;而基於頻域資訊的演算法則是利用頻率資訊來重建影像,但此類演算法因丟失大多時域上資訊造成影像模糊等問題。
本發明提供一種基於時域光譜的斷層攝影方法、系統及裝置,可在缺乏物體本質資訊的情況下重建完整影像,並提高資料使用率及空間解析度。
本發明提供一種基於時域光譜的斷層攝影方法,適用於具有處理器的斷層攝影裝置。此方法包括下列步驟:控制光發射器發出脈衝光束掃描待測物體的一切面,同時利用光接收器偵測穿過待測物體的脈衝光束,以取得掃描路徑上多個位置的時域脈衝訊號,以及改變掃描角度並重複執行掃描及偵測步驟,以收集切面的多個角度的時域脈衝訊號作為時間資料集;利用經訓練的機器學習模型的多個核心(kernel)從各角度的時域脈衝訊號中擷取多個特徵,其中機器學習模型包括以多個切面的時間資訊集及對應的真實影像進行訓練,以學習用以擷取特徵的多個核心;以及轉換所擷取的特徵至空間域以重建切面的斷層影像。
在本發明的一實施例中,上述利用多個核心從各角度的時域脈衝訊號中擷取多個特徵的步驟包括:針對各角度的時域脈衝訊號,執行下列運算:對在掃描路徑的各位置上偵測到的時域脈衝訊號進行取樣以獲得多個取樣點,並集成掃描路徑的所有位置上的取樣點形成特徵陣列;以及區分多個計算層對特徵陣列進行縮減運算,其中在各計算層中分別使用所述核心對特徵陣列進行至少一次卷積(convolution)運算及最大池化(max pooling)運算,以縮減特徵陣列,並在計算層的最終層將縮減後的特徵陣列轉換至空間域;以及集成各角度的轉換後特徵陣中的多個元素列作為所擷取的特徵。
在本發明的一實施例中,上述區分多個計算層對特徵陣列進行縮減運算的步驟包括對特徵陣列中對應於各位置的多個元素進行加權平均作為位置的特徵,以將特徵陣列縮減為一維陣列。
在本發明的一實施例中,上述方法更依據脈衝光束的光斑大小及取樣點的取樣間隔,決定各個核心的尺寸。
在本發明的一實施例中,上述的方法更依據待測物體的多個特徵繪製三維立體模型,以及擷取三維立體模型對應於各個角度切面的切面影像作為用以訓練機器學習模型的多個切面對應的真實影像。
在本發明的一實施例中,在上述依據待測物體的多個特徵繪製三維立體模型的步驟之後,所述方法更利用三維列印裝置依據三維立體模型列印待測物體,以供執行掃描及偵測步驟,而取得用以訓練機器學習模型的多個切面的時間資訊集。
在本發明的一實施例中,上述方法更針對不同材質的多個待測物體執行所述掃描及偵測步驟,以取得各待測物體的多個切面的時間資料集,用於訓練機器學習模型。
本發明提供一種基於時域光譜的斷層攝影系統,其包括光發射器、光接收器及處理裝置。其中,光發射器是用以發出脈衝光束,光接收器則是用以偵測脈衝光束,以取得時域脈衝訊號。處理裝置耦接光發射器及光接收器,且經配置以執行多個指令以:控制光發射器發出脈衝光束掃描待測物體的一切面,同時利用光接收器偵測穿過待測物體的脈衝光束,以取得掃描路徑上多個位置的時域脈衝訊號,以及改變掃描角度並重複執行所述掃描及偵測步驟,以收集切面的多個角度的時域脈衝訊號作為切面的時間資料集;利用經訓練的機器學習模型的多個核心從各角度的時域脈衝訊號中擷取多個特徵,其中機器學習模型包括以多個切面的時間資訊集及對應的真實影像進行訓練,以學習用以擷取特徵的多個核心;以及轉換所擷取的特徵至空間域以重建切面的斷層影像。
在本發明的一實施例中,上述處理裝置包括:針對各角度的時域脈衝訊號,執行下列運算:對在掃描路徑的各位置上偵測到的時域脈衝訊號進行取樣以獲得多個取樣點,並集成掃描路徑的所有位置上的取樣點形成特徵陣列;以及區分多個計算層對特徵陣列進行縮減運算,其中在各計算層中分別使用核心對特徵陣列進行至少一次卷積運算及最大池化運算,以縮減特徵陣列,並在計算層的最終層將縮減後的特徵陣列轉換至空間域;以及集成各角度的轉換後特徵陣列中的多個元素作為所擷取的特徵。
在本發明的一實施例中,上述處理裝置包括對特徵陣列中對應於各位置的多個元素進行加權平均作為位置的特徵,以縮減特徵陣列為一維陣列。
在本發明的一實施例中,上述處理裝置更依據脈衝光束的光斑大小及取樣點的取樣間隔,決定各多個核心的尺寸。
在本發明的一實施例中,上述處理裝置更依據待測物體的多個特徵繪製三維立體模型,以及擷取三維立體模型對應於各角度的切面的切面影像作為用以訓練機器學習模型的多個切面對應的真實影像。
在本發明的一實施例中,上述處理裝置更利用三維列印裝置依據三維立體模型列印待測物體,以供執行所述掃描及偵測步驟,而取得用以訓練機器學習模型的多個切面的時間資訊集。
在本發明的一實施例中,上述處理裝置更針對不同材質的多個待測物體執行所述掃描及偵測步驟,以取得各待測物體的多個切面的時間資料集,用於訓練機器學習模型。
本發明提供一種基於時域光譜的斷層攝影裝置,其包括連接裝置、儲存裝置及處理器。其中,連接裝置用以連接光發射器與光接收器。儲存裝置用以儲存電腦程式。處理器耦接連接裝置及儲存裝置,且經配置以載入並執行電腦程式以:控制光發射器發出脈衝光束掃描待測物體的一切面,同時利用光接收器偵測穿過待測物體的脈衝光束,以取得掃描路徑上多個位置的時域脈衝訊號,以及改變掃描角度並重複執行所述掃描及偵測步驟,以收集切面的多個角度的時域脈衝訊號作為切面的時間資料集;利用經訓練的機器學習模型的多個核心從各個角度的時域脈衝訊號中擷取多個特徵,其中機器學習模型包括以多個切面的時間資訊集及對應的真實影像進行訓練,以學習用以擷取特徵的多個核心;以及轉換所擷取的特徵至空間域以重建切面的斷層影像。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明實施例提出一種基於時域光譜(Time–domain spectroscopy,TDS)的監督式深度學習(Deep Learning,DL)電腦斷層攝影(Computed Tomography,CT)演算法,藉由對物體的多個切面進行掃描及量測以建立傳輸脈衝訊號的時間資料集,並將此資料送入機器學習模型進行訓練,以學習用以擷取訊號特徵的核心(kernel)。藉此,在實際對待測物體進行斷層攝影時,即可利用所學習的核心對所取得的時域脈衝訊號進行運算,以重建物體切面的斷層影像。
圖1A是根據本發明一實施例所繪示的斷層攝影系統的示意圖,圖1B是根據本發明一實施例所繪示的時域脈衝訊號的示意圖。請先參考圖1A,本實施例的斷層攝影系統10例如是採用同步光學取樣的基於時域光譜(time-domain spectroscopy,TDS)的電腦斷層攝影系統,其例如使用太赫茲(Terahertz,THz)輻射源、紅外線或毫米波(mm wave)等可穿透生物、極性或非極性材料、可與分子交互作用、可與電子交互作用等的輻射光束。此斷層攝影系統10具備非離子化、非侵入式的特性,適用於缺陷檢測、活體內(in-vivo)監測、遠端感測等應用。在本實施例中,斷層攝影系統10包括脈衝光源11、分光系統12、光發射器13、光接收器14、放大器15及處理裝置(即,斷層攝影裝置)20。而在其他實施例中,斷層攝影系統10亦可採用非同步光學取樣的電腦斷層攝影系統,並可將脈衝光源11、分光系統12整合至光發射器13,而不限於本實施例的實施方式。
在本實施例中,脈衝光源11例如是採用飛秒雷射(femtosecond laser),其可發出波長約1560奈米的脈衝光束。在其他實施例中,脈衝光源11亦可採用其他種類或波長的輻射光束,而不限於此。此脈衝光束經由分光系統12分別送入光發射器13及光接收器14,以激發光發射器13中的特殊材質而發出輻射光束。光發射器13例如是但不限於太赫茲(Terahertz,THz)光導天線(photoconductive antenna,PCA),其利用脈衝光束掃描待測物體16。光接收器14例如是對應於光發射器13的太赫茲光導天線,其可偵測穿過待測物體16的脈衝光束,以取得如圖1B所示的時域脈衝訊號18。
放大器15例如是但不限於跨阻放大器(trans-impedance amplifier,TIA),其可放大光接收器14所偵測的時域脈衝訊號18,並將放大後的時域脈衝訊號18送入處理裝置20以進行分析及監測。
請參照圖1B,本實施例的處理裝置20例如是採用每小時百萬點的取樣頻率對時域脈衝訊號18進行取樣,並分析時域脈衝訊號18中寬度低於500飛秒的脈衝波,以擷取時域脈衝訊號18的特徵。上述的取樣頻率及脈衝波寬度僅為舉例說明,其可根據脈衝光源不同而有所改變,本實施例不予以限制。
圖2是根據本發明一實施例所繪示的斷層攝影裝置的方塊圖。請同時參考圖1A及圖2,本實施例說明圖1A中的處理裝置20的結構。處理裝置20例如是電腦、工作站、伺服器等計算機裝置,其中包括連接裝置22、儲存裝置24及處理器26等元件,這些元件的功能分述如下:
連接裝置22例如是用以與光發射器13和光接收器14連接並傳輸指令或資料的任意的有線或無線的介面裝置。對於有線方式而言,連接裝置可以是通用序列匯流排(universal serial bus,USB)、RS232、通用非同步接收器/傳送器(universal asynchronous receiver/transmitter,UART)、內部整合電路(I2C)或序列周邊介面(serial peripheral interface,SPI),但不限於此。對於無線方式而言,連接裝置可以是支援無線保真(wireless fidelity,Wi-Fi)、RFID、藍芽、紅外線、近場通訊(near-field communication,NFC)或裝置對裝置(device-to-device,D2D)等通訊協定的裝置,亦不限於此。
儲存裝置24例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、快閃記憶體(Flash memory)、硬碟或類似元件或上述元件的組合,而用以儲存可由處理器26執行的電腦程式。
處理器26例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、微控制器(Microcontroller)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)、圖形處理器(Graphics Processing Unit)或其他類似裝置或這些裝置的組合,本發明不在此限制。在本實施例中,處理器26可從儲存裝置24載入電腦程式,以執行本發明實施例的基於時域光譜的斷層攝影方法。
圖3是根據本發明一實施例所繪示的基於時域光譜的斷層攝影方法的流程圖。請同時參照圖1A、圖2及圖3,本實施例的方法適用於上述的處理裝置20,以下即搭配處理裝置20的各項元件說明本實施例的斷層攝影方法的詳細步驟。
在步驟S302中,處理器26控制光發射器13發出脈衝光束掃描待測物體16的一切面,同時利用光接收器14偵測穿過待測物體16的脈衝光束,以取得掃描路徑上多個位置的時域脈衝訊號,以及改變掃描角度並重複執行所述掃描及偵測步驟,以收集切面的多個角度的時域脈衝訊號作為切面的時間資料集。
舉例來說,圖4是根據本發明一實施例所繪示的逐線掃描(Raster scan)的示意圖。請同時參照圖1A及圖4,在本實施例中,處理裝置20是控制光發射器13對待測物體16發出脈衝光束以掃描待測物體16的切面16a,並控制配置於待測物體16另一側的光接收器14接收穿過待測物體16的脈衝光束。
在掃描過程中,處理裝置20例如是藉由水平移動光發射器13或待測物體16的方式,沿著掃描路徑逐步改變投射在待測物體16上的脈衝光束的位置,並控制光接收器14接收穿過待測物體16的脈衝光束,以取得掃描路徑上各個位置的時域脈衝訊號。
在完成一條路徑的掃描後,處理裝置20例如是藉由在切面16a所在平面上旋轉光發射器13或待測物體16的方式,沿著切面16a逐步改變脈衝光束的掃描角度並重複執行上述的掃描及偵測步驟。藉由逐步改變掃描角度(例如6度)對待測物體16的切面16a進行掃描直到旋轉一圈(即360度)後,處理裝置20例如會收集切面16a的多個角度的時域脈衝訊號作為切面16a的時間資料集。
在完成一個切面的掃描後,處理裝置20例如是藉由垂直移動光發射器13或待測物體16的方式,逐步改變所掃描的待測物體16的切面,並重複執行上述的掃描、偵測、旋轉等步驟,最終取得待測物體16的多個切面的時間資料集。
回到圖3的流程,在步驟S304中,處理器26利用經訓練的機器學習(machine learning)模型的多個核心(或濾波器)從各角度的時域脈衝訊號中擷取多個特徵。所述的機器學習模型例如是採用深度學習(Deep learning)或其他種類的學習模型,在此不設限。
詳細而言,針對各個角度的時域脈衝訊號,處理器26例如是對在掃描路徑的各個位置上偵測到的時域脈衝訊號進行取樣以獲得多個取樣點,並集成掃描路徑的所有位置上的取樣點形成特徵陣列。然後,處理器26會區分多個計算層,對上述特徵陣列進行縮減運算,並在最終層將縮減後的特徵陣列轉換至空間域,從而集成各個角度的轉換後特徵陣列中的多個元素來作為所擷取的特徵。
在各個計算層中,處理器26例如是分別使用前述機器學習模型中的核心對特徵陣列進行至少一次卷積(convolution)及最大池化(max pooling)運算,例如,對特徵陣列進行兩次卷積運算,再對卷積運算的結果進行最大池化運算,但不限於此。
對於卷積運算,處理器26例如是將核心(陣列)作為在特徵陣列上平移的窗口,將核心中的元素與特徵陣列中的對應元素進行卷積運算,並將運算結果記錄於結果陣列,接著將核心平移一個元素後再度進行卷積運算,如此重複執行直到特徵陣列的所有元素均經過卷積運算為止。在其他實施例中,處理器26亦可將核心平移數個元素後再度進行卷積運算,而不限於平移一個元素。對於最大池化運算,處理器26則可制定一個運算單位(例如2×2),而將特徵陣列的所有元素依運算單位分成多組,並取各組的最大值作為運算結果而記錄於結果陣列。藉此,可在保留住特徵資訊的情況下縮減特徵陣列的尺寸。
需說明的是,上述的機器學習模型例如是以多個切面的時間資訊集及對應的真實影像進行訓練,以學習用以擷取特徵的核心。在一些實施例中,上述用以訓練機器學習模型的切面數量例如為940個或其他任意數量,可視實際需要而定,且這些切面可以是同一個物體或相同材質物體的多個切面,也可以是不同材質物體的多個切面,在此不設限。各個切面的時間資訊集可以類似於上述步驟S302的方式進行收集,在此不再贅述。
至於上述切面對應的真實影像,在一些實施例中,真實影像例如是針對實際物體的切面進行切割後,拍攝所述切面所獲得的影像。在其他實施例中,則可依據待測物體的多個特徵以電腦軟體繪製三維立體模型,並擷取三維立體模型中對應於各角度切面的切面影像,作為用以訓練機器學習模型的多個切面對應的真實影像。所述的特徵例如是待測物體的形狀、材質、空間分布、頻譜特徵等,但不限於此。
舉例來說,圖5是根據本發明一實施例所繪示的切面影像的範例。請參照圖5,在本實施例中,物體50例如是以電腦軟體繪製的三維立體模型,而藉由定義切面A、B的位置及方向,則可從三維立體模型中擷取出切面A、B的影像52、54,而作為用以訓練機器學習模型的切面的真實影像。
在一些實施例中,處理器26例如是利用三維列印裝置依據所繪製的三維立體模型列印出待測物體,以供執行上述的掃描及偵測步驟,而取得用以訓練機器學習模型的多個切面的時間資訊集。藉此,可在不破壞物體的情況下,同時取得用以訓練機器學習模型的切面的時間資訊集(利用所列印的物體)及真實影像(利用三維立體模型)。需說明的是,上述的三維列印方式僅為舉例說明,在其他實施例中,也可以採用電腦化數值控制(Computer Numerical Control)工具機、雷射加工、射出成型、翻模成型或其他方式製作待測物體,在此不設限。
回到圖3的流程,在步驟S306中,由處理器26將所擷取的特徵轉換至空間域以重建切面的斷層影像。其中,處理器26例如是對所擷取的特徵執行反雷登轉換(Inverse Radon transform),以將這些特徵轉換至空間域,而重建斷層影像。需說明的是,上述特徵轉換至空間域的方式僅為舉例說明,在其他實施例中,也可以採用線性矩陣轉換、非線性轉換或其他轉換數學關係式,在此不設限。
舉例來說,圖6是根據本發明一實施例所繪示的基於時域光譜的斷層攝影方法的範例。請同時參照圖2及圖6,本實施例說明斷層攝影裝置20執行基於時域光譜的斷層攝影方法的詳細實施方式。
在步驟(a)中,處理器26依據圖5中所繪製的物體50的三維立體模型,利用三維列印裝置列印出待測物體60,並利用脈衝光束以預設角度(例如0度)掃描待測物體60的切面C。
在步驟(b)中,處理器26執行上述實施例所述的掃描及偵測步驟,並對在掃描路徑的各個位置上偵測到的時域脈衝訊號進行取樣以獲得多個取樣點(例如1000個取樣點),並集成掃描路徑的所有位置(例如288個位置)上的取樣點以形成特徵陣列62(尺寸為288×1000)。其中,特徵陣列的垂直方向為掃描路徑的同一位置上的時域脈衝訊號的取樣點(時域),水平方向則代表掃描路徑的不同位置(空間域)。處理器26藉由對特徵陣列62執行多個計算層的縮減運算,以獲得縮減特徵陣列64。
詳細而言,圖7是根據本發明一實施例所繪示的特徵陣列的縮減運算的範例。請同時參照圖7,本實施例是基於可調整且可洞察特徵的VGG-16模型,使用尺寸為3×3和1×3的核心,將特徵陣列62的縮減運算區分為7層,以計算縮減特徵陣列64,並將縮減特徵陣列64轉換至空間域,以獲得轉換後特徵陣列66。在其他實施例中,亦可採用其他種類的深度學習模型進行縮減運算,而不限於本實施例的實施方式。
在第1層中,使用兩個3×3的核心與特徵陣列62進行兩次的卷積運算,並使用1×2作為運算單位對卷積運算的結果進行最大池化運算,而輸出32個通道的縮減特徵陣列62a。
在第2層中,依序使用一層64個通道數為32的1×3的核心與第1層獲得的縮減特徵陣列62a進行一次的卷積運算,再使用一層64個通道數為64的1×3的核心與上述層之計算結果進行一次卷積運算,並使用1×2作為運算單位對卷積運算的結果進行最大池化運算,而輸出64個通道的縮減特徵陣列62b。
在第3層中,依序使用一層128個通道數為64的1×3的核心與第2層獲得的縮減特徵陣列62b進行三次的卷積運算,再使用兩層128個通道數為128的1×3的核心與前一層之計算結果進行一次卷積運算,並使用1×2作為運算單位對卷積運算的結果進行最大池化運算,而輸出128個通道的縮減特徵陣列62c。
在第4層中,同樣依序使用一層256個通道數為128的1×3的核心與第3層獲得的縮減特徵陣列62c進行一次的卷積運算,再使用兩層256個通道數為256的1×3的核心與前一層之計算結果進行一次卷積運算,並使用1×2作為運算單位對卷積運算的結果進行最大池化運算,而輸出256個通道的縮減特徵陣列62d。
在第5層中,同樣依序使用一層256個通道數為256的1×3的核心與第4層獲得的縮減特徵陣列62d進行一次的卷積運算,再使用兩層256個通道數為256的1×3的核心與前一層之計算結果進行一次卷積運算,並使用1×2作為運算單位對卷積運算的結果進行最大池化運算,而輸出256個通道的縮減特徵陣列62e。其中,第3~5層中使用的核心相同,差別僅在於第4~5層的輸出通道數目(256個)與第3層(128個)不同。
在第6層中,對第5層獲得的縮減特徵陣列62e進行全域平均(global average)或加權平均(weighted average)的運算,而獲得一維的特徵陣列64。
在第7層中,對6層獲得的特徵陣列64進行一個通道數為256且核心為1×1的二維卷積運算,以將特徵陣列64轉換為空間域的一維特徵陣列66(尺寸為288×1)。
回到圖6的範例,在以當前掃描角度(即,0度)取得縮減特徵陣列64,並轉換為空間域的一維特徵陣列66後,則可依序改變掃描角度(例如每次旋轉6度)並重複執行步驟(a)、(b),以收集切面C的多個角度的一維特徵陣列。
在步驟(c)中,將所收集的多個角度的一維特徵陣列堆疊為二維特徵陣列。例如,由下至上依序堆疊0度、6度、12度至354度的一維特徵陣列,而獲得二維特徵陣列(尺寸為288×60)。
在步驟(d)中,將此二維特徵陣列中各方向的特徵轉換至空間域,以重建出切面C的斷層影像68。
綜上,藉由將每個角度的特徵陣列縮減為一維陣列並堆疊為二維陣列後再進行空間域的轉換,可使處理器26運算平行化,而增加影像重建的速度。
需說明的是,在上述實施例中,斷層攝影裝置是採用固定尺寸的3×3和1×3的核心對特徵陣列進行縮減運算。然而,在脈衝光束直徑大於取樣間隔的情況下,每個取樣點的訊號強度可能會包含其周圍其他取樣點散射過來的脈衝光。因此,在其他實施例中,用以對特徵陣列進行運算的核心尺寸可依據脈衝光束的光斑大小及取樣間隔來決定。
舉例來說,圖8A及圖8B是根據本發明一實施例所繪示的決定核心尺寸的範例。請參照圖8A,本實施例是採用光斑80直徑為1.25毫米的脈衝光束,而基於取樣點的量測間隔為0.25毫米,是光斑80直徑的五分之一,故可採用空間域尺寸為5的核心進行卷積運算,從而在計算特徵時能夠將光斑80所涵蓋的5個取樣點的資訊納入考量。在一些實施例中,上述採用空間域尺寸為5的核心的運算方式可改為採用兩次空間域尺寸為3的核心的運算,藉此可在改進運算效能的情況下達成類似採用空間域尺寸為5的核心的效果。如圖8B所示,採用空間域尺寸為3的核心對特徵陣列82進行卷積運算,可將空間域3個取樣點的資訊縮減為1個特徵;而採用空間域尺寸為3的核心對特徵陣列84進行兩次的卷積運算,可將空間域5個取樣點的資訊縮減為1個特徵。
圖9是根據本發明一實施例所繪示的使用不同核心尺寸進行特徵縮減的比較例。請參照圖9,在本實施例中,左邊的影像為切面的真實影像,而右邊的影像依序為使用尺寸為1×3、3×3、5×3、7×3的核心對30個角度的特徵陣列進行運算所得到的重建影像。藉由將重建影像與真實影像比較,結果顯示使用尺寸為3×3的核心也就是在空間域為3的核心會獲致較佳的結果。由此可證明,本發明實施例依據脈衝光束的光斑大小及取樣點的量測間隔來決定核心尺寸的方式,可改善重建影像的解析度。
在前述實施例中,機器學習模型是採用針對同一材質的待測物體執行掃描及偵測所得的切面資料來進行訓練,而經實驗證明,此機器學習模型亦可用於處理針對不同材質的多個待測物體執行掃描及偵測所得的切面資料,而重建出不同材質物體的斷層影像。
舉例來說,圖10A及圖10B是根據本發明一實施例所繪示的重建不同材質物體的斷層影像的範例。請參照圖10A,本實施例是在紙杯102中傾斜放置聚合物平台104,並在其上放置聚合物(例如塑膠)106,以及在底部放置金屬螺釘108。而由圖10B的重建影像中的螺釘重建影像106a和聚合物重建影像108a可知,即使掃描的物體切面包括不同材質的物體,藉由訓練過的機器學習模型仍可重建這些物體約略的輪廓及材質。
需說明的是,在前述實施例中,機器學習模型是採用針對同一材質的待測物體執行掃描及偵測所得的切面資料來進行訓練,而在其他實施例中,則可採用針對不同材質的多個待測物體執行掃描及偵測所得的切面資料來進行訓練,藉此使得所訓練的機器學習模型能夠學習不同材質物體的特徵,而用以重建不同材質物體的斷層影像。
綜上所述,在本發明實施例的基於時域光譜的斷層攝影方法、系統及裝置中,由於斷層攝影裝置所擷取的特徵使用到掃描物體所收集到的完整時域脈衝訊號,因此可提高資料使用率。此外,由於斷層攝影裝置所擷取的特徵是經由機器學習模型處理並輸出的結果,而此機器學習模型已使用大量的物體切面的時間資料集和真實影像訓練,因此即使在缺乏物體本質資訊的情況下,仍可以非侵入的方式重建出物體切面的斷層影像,並增加影像的空間解析度。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:斷層攝影系統
11:脈衝光源
12:分光系統
13:光發射器
14:光接收器
15:放大器
16:待測物體
16a、A、B、C:切面
18:時域脈衝訊號
20:處理裝置
22:連接裝置
24:儲存裝置
26:處理器
50:物體
52、54:真實影像
60:待測物體
62:特徵陣列
62a、62b、62c、62d、62e、64:縮減特徵陣列
66:一維特徵陣列
68:斷層影像
80:光斑
82、84:特徵陣列
102:紙杯
104:聚合物平台
106:聚合物
106a:聚合物重建影像
108:螺釘
108a:螺釘重建影像
S302~S306:步驟
圖1A是根據本發明一實施例所繪示的斷層攝影系統的示意圖。 圖1B是根據本發明一實施例所繪示的時域脈衝訊號的示意圖。 圖2是根據本發明一實施例所繪示的斷層攝影裝置的方塊圖。 圖3是根據本發明一實施例所繪示的基於時域光譜的斷層攝影方法的流程圖。 圖4是根據本發明一實施例所繪示的逐線掃描的示意圖。 圖5是根據本發明一實施例所繪示的切面影像的範例。 圖6是根據本發明一實施例所繪示的基於時域光譜的斷層攝影方法的範例。 圖7是根據本發明一實施例所繪示的特徵陣列的縮減運算的範例。 圖8A及圖8B是根據本發明一實施例所繪示的決定核心尺寸的範例。 圖9是根據本發明一實施例所繪示的使用不同核心尺寸進行特徵縮減的比較例。 圖10A及圖10B是根據本發明一實施例所繪示的重建不同材質物體的斷層影像的範例。
S302~S306:步驟

Claims (15)

  1. 一種基於時域光譜的斷層攝影方法,適用於具有處理器的斷層攝影裝置,所述方法包括下列步驟:控制光發射器發出脈衝光束掃描待測物體的一切面,同時利用光接收器偵測穿過所述待測物體的所述脈衝光束,以取得掃描路徑上多個位置的時域脈衝訊號,以及改變掃描角度並重複執行所述掃描及偵測步驟,以收集所述切面的多個角度的所述時域脈衝訊號作為所述切面的時間資料集;利用經訓練的機器學習(machine learning)模型的多個核心(kernel)從各所述角度的所述時域脈衝訊號中擷取多個特徵,其中所述機器學習模型包括以多個切面的時間資訊集及對應的真實物體空間資訊進行訓練,以學習用以擷取所述特徵的所述核心;以及轉換所擷取的所述特徵至空間域以重建所述切面的斷層影像。
  2. 如請求項1所述的方法,其中利用所述多個核心從各所述角度的所述時域脈衝訊號中擷取所述多個特徵的步驟包括:針對各所述角度的所述時域脈衝訊號,執行下列運算:對在所述掃描路徑的各所述位置上偵測到的所述時域脈衝訊號進行取樣以獲得多個取樣點,並集成所述掃描路徑的所有位置上的所述取樣點形成特徵陣列;以及區分多個計算層對所述特徵陣列進行縮減運算,其中在各所述計算層中分別使用所述核心對所述特徵陣列進行至少一次卷 積(convolution)運算及最大池化(max pooling)運算,以縮減所述特徵陣列,並在所述計算層的最終層將縮減後的所述特徵陣列轉換至所述空間域;以及集成各所述角度的轉換後所述特徵陣列中的多個元素作為所擷取的所述特徵。
  3. 如請求項2所述的方法,其中區分多個計算層對所述特徵陣列進行縮減運算的步驟包括:對所述特徵陣列中對應於各所述位置的多個元素進行加權平均作為該位置的特徵,以縮減所述特徵陣列為一維陣列。
  4. 如請求項2所述的方法,更包括:依據所述脈衝光束的光斑大小及所述取樣點的取樣間隔,決定各所述多個核心的尺寸。
  5. 如請求項1所述的方法,更包括:依據所述待測物體的多個特徵繪製三維立體模型;以及擷取所述三維立體模型對應於各所述角度的所述切面的切面影像作為用以訓練所述機器學習模型的所述多個切面對應的真實影像。
  6. 如請求項5所述的方法,其中在依據所述待測物體的多個特徵繪製三維立體模型的步驟之後,更包括:利用三維列印裝置依據所述三維立體模型列印所述待測物體,以供執行所述掃描及偵測步驟,而取得用以訓練所述機器學習模型的所述多個切面的時間資訊集。
  7. 如請求項1所述的方法,更包括:針對不同材質的多個待測物體執行所述掃描及偵測步驟,以取得各所述待測物體的多個切面的時間資料集,用於訓練所述機器學習模型。
  8. 一種基於時域光譜的斷層攝影系統,包括:光發射器,發出脈衝光束;光接收器,偵測所述脈衝光束,以取得時域脈衝訊號;以及處理裝置,耦接所述光發射器及所述光接收器,且經配置以執行多個指令以:控制所述光發射器發出所述脈衝光束掃描待測物體的一切面,同時利用所述光接收器偵測穿過所述待測物體的所述脈衝光束,以取得掃描路徑上多個位置的時域脈衝訊號,以及改變掃描角度並重複執行所述掃描及偵測步驟,以收集所述切面的多個角度的所述時域脈衝訊號作為所述切面的時間資料集;利用經訓練的機器學習模型的多個核心從各所述角度的所述時域脈衝訊號中擷取多個特徵,其中所述機器學習模型包括以多個切面的時間資訊集及對應的真實影像進行訓練,以學習用以擷取所述特徵的所述核心;以及轉換所擷取的所述特徵至空間域以重建所述切面的斷層影像。
  9. 如請求項8所述的斷層攝影系統,其中所述處理裝置包括: 針對各所述角度的所述時域脈衝訊號,執行下列運算:對在所述掃描路徑的各所述位置上偵測到的所述時域脈衝訊號進行取樣以獲得多個取樣點,並集成所述掃描路徑的所有位置上的所述取樣點形成特徵陣列;以及區分多個計算層對所述特徵陣列進行縮減運算,其中在各所述計算層中分別使用所述核心對所述特徵陣列進行至少一次卷積運算及池化運算,以縮減所述特徵陣列,並在所述計算層的最終層將縮減後的所述特徵陣列轉換至所述空間域;以及集成各所述角度的轉換後所述特徵陣列中的多個元素作為所擷取的所述特徵。
  10. 如請求項9所述的斷層攝影系統,其中所述處理裝置包括對所述特徵陣列中對應於各所述位置的多個元素進行加權平均作為該位置的特徵,以縮減所述特徵陣列為一維陣列。
  11. 如請求項9所述的斷層攝影系統,其中所述處理裝置更依據所述脈衝光束的光斑大小及所述取樣點的取樣間隔,決定各所述多個核心的尺寸。
  12. 如請求項8所述的斷層攝影系統,其中所述處理裝置更依據所述待測物體的多個特徵繪製三維立體模型,以及擷取所述三維立體模型對應於各所述角度的所述切面的切面影像作為用以訓練所述機器學習模型的所述多個切面對應的真實影像。
  13. 如請求項12所述的斷層攝影系統,其中所述處理裝置更利用三維列印裝置依據所述三維立體模型列印所述待測物 體,以供執行所述掃描及偵測步驟,而取得用以訓練所述機器學習模型的所述多個切面的時間資訊集。
  14. 如請求項8所述的斷層攝影系統,其中所述處理裝置更針對不同材質的多個待測物體執行所述掃描及偵測步驟,以取得各所述待測物體的多個切面的時間資料集,用於訓練所述機器學習模型。
  15. 一種基於時域光譜的斷層攝影裝置,包括:連接裝置,連接光發射器與光接收器;儲存裝置,儲存電腦程式;以及處理器,耦接所述連接裝置及所述儲存裝置,經配置以載入並執行所述電腦程式以:控制所述光發射器發出所述脈衝光束掃描待測物體的一切面,同時利用所述光接收器偵測穿過所述待測物體的所述脈衝光束,以取得掃描路徑上多個位置的時域脈衝訊號,以及改變掃描角度並重複執行所述掃描及偵測步驟,以收集所述切面的多個角度的所述時域脈衝訊號作為所述切面的時間資料集;利用經訓練的機器學習模型的多個核心從各所述角度的所述時域脈衝訊號中擷取多個特徵,其中所述機器學習模型包括以多個切面的時間資訊集及對應的真實影像進行訓練,以學習用以擷取所述特徵的所述核心;以及轉換所擷取的所述特徵至空間域以重建所述切面的斷層影像。
TW109116878A 2020-05-21 2020-05-21 基於時域光譜的斷層攝影方法、系統及裝置 TWI731689B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109116878A TWI731689B (zh) 2020-05-21 2020-05-21 基於時域光譜的斷層攝影方法、系統及裝置
US16/936,420 US11300504B2 (en) 2020-05-21 2020-07-22 Tomography method, system, and apparatus based on time-domain spectroscopy

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109116878A TWI731689B (zh) 2020-05-21 2020-05-21 基於時域光譜的斷層攝影方法、系統及裝置

Publications (2)

Publication Number Publication Date
TWI731689B true TWI731689B (zh) 2021-06-21
TW202144763A TW202144763A (zh) 2021-12-01

Family

ID=77517527

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109116878A TWI731689B (zh) 2020-05-21 2020-05-21 基於時域光譜的斷層攝影方法、系統及裝置

Country Status (2)

Country Link
US (1) US11300504B2 (zh)
TW (1) TWI731689B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11790598B2 (en) * 2020-12-16 2023-10-17 Nvidia Corporation Three-dimensional tomography reconstruction pipeline
WO2023250409A2 (en) * 2022-06-23 2023-12-28 San Diego State University (SDSU) Foundation, dba San Diego State University Research Foundation Terahertz nondestructive testing apparatus and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201204327A (en) * 2010-07-16 2012-02-01 Wolfram R Jarisch High efficiency computed tomography with optimized recursions
WO2019060843A1 (en) * 2017-09-22 2019-03-28 Nview Medical Inc. IMAGE RECONSTRUCTION USING MACHINE LEARNING REGULARIZERS
CN109978985A (zh) * 2017-12-28 2019-07-05 同方威视科技江苏有限公司 数据处理方法及装置、存储介质、电子设备
CN111000581A (zh) * 2019-12-28 2020-04-14 上海联影医疗科技有限公司 医学成像方法及系统
CN111161371A (zh) * 2019-10-25 2020-05-15 上海联影智能医疗科技有限公司 成像系统和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446799A (en) * 1993-11-01 1995-08-29 Picker International, Inc. CT Scanner with improved processing efficiency 180 degrees+ fan angle reconstruction system
US7127096B2 (en) * 2001-11-20 2006-10-24 Accuimage Diagnostics Corp. Method and software for improving coronary calcium scoring consistency
CN109978892B (zh) 2019-03-21 2021-03-16 浙江啄云智能科技有限公司 一种基于太赫兹成像的智能安检方法
CN110390329A (zh) 2019-07-10 2019-10-29 博微太赫兹信息科技有限公司 一种基于深度学习的太赫兹图像识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201204327A (en) * 2010-07-16 2012-02-01 Wolfram R Jarisch High efficiency computed tomography with optimized recursions
WO2019060843A1 (en) * 2017-09-22 2019-03-28 Nview Medical Inc. IMAGE RECONSTRUCTION USING MACHINE LEARNING REGULARIZERS
CN109978985A (zh) * 2017-12-28 2019-07-05 同方威视科技江苏有限公司 数据处理方法及装置、存储介质、电子设备
CN111161371A (zh) * 2019-10-25 2020-05-15 上海联影智能医疗科技有限公司 成像系统和方法
CN111000581A (zh) * 2019-12-28 2020-04-14 上海联影医疗科技有限公司 医学成像方法及系统

Also Published As

Publication number Publication date
US11300504B2 (en) 2022-04-12
US20210364426A1 (en) 2021-11-25
TW202144763A (zh) 2021-12-01

Similar Documents

Publication Publication Date Title
Mollazade et al. Analysis of texture-based features for predicting mechanical properties of horticultural products by laser light backscattering imaging
TWI731689B (zh) 基於時域光譜的斷層攝影方法、系統及裝置
US11120540B2 (en) Multi-view imaging system and methods for non-invasive inspection in food processing
CN102928435A (zh) 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置
EP4170602A1 (en) A computer-implemented method and a system for estimating a pith location with regard to a timber board
Naganathan et al. Three dimensional chemometric analyses of hyperspectral images for beef tenderness forecasting
JP6226523B2 (ja) 被検体情報取得装置、表示方法、およびデータ処理装置
CN103900972B (zh) 基于多特征融合的肉类新鲜度高光谱图像可视化检测
CN110717478B (zh) 一种基于微波的物体检测系统及方法
WO2016080442A1 (ja) 品質評価方法及び品質評価装置
Du et al. Three-dimensional stress wave imaging of wood internal defects using TKriging method
CN108801971A (zh) 基于高光谱成像技术的霉菌侵染板栗的检测方法
KR102045079B1 (ko) 테라헤르츠파를 이용한 검사 장치
Habite et al. Determination of pith location along Norway spruce timber boards using one dimensional convolutional neural networks trained on virtual timber boards
CN118015244B (zh) 一种基于卷积神经网络的烟丝均匀性检测方法和系统
CN107300562B (zh) 一种测量继电器成品触点间距的x射线无损检测方法
CN115581436A (zh) 融合深度学习的高分辨率近红外脑功能层析成像算法
CN110261850A (zh) 一种树木内部缺陷检测数据的成像算法
JPWO2019172206A5 (zh)
JP2006061170A (ja) 皮膚の鑑別法
Thomas et al. A graphical automated detection system to locate hardwood log surface defects using high-resolution three-dimensional laser scan data
Khurshid et al. Augmentation-assisted robust fringe detection on unseen experimental signals applied to optical feedback interferometry using a deep network
CN116824171A (zh) 中医高光谱舌象图像波段的选择方法及相关装置
JP6490171B2 (ja) データ処理装置およびデータ処理方法
CN116416234A (zh) 一种轨道机车表面缺陷检测方法及系统