TWI773603B - 壓縮感知成像方法及系統 - Google Patents

壓縮感知成像方法及系統 Download PDF

Info

Publication number
TWI773603B
TWI773603B TW110144561A TW110144561A TWI773603B TW I773603 B TWI773603 B TW I773603B TW 110144561 A TW110144561 A TW 110144561A TW 110144561 A TW110144561 A TW 110144561A TW I773603 B TWI773603 B TW I773603B
Authority
TW
Taiwan
Prior art keywords
grayscale
electromagnetic wave
elements
compressed sensing
tested
Prior art date
Application number
TW110144561A
Other languages
English (en)
Other versions
TW202324309A (zh
Inventor
楊尚樺
黃元豪
楊皓淯
洪譯峻
Original Assignee
國立清華大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立清華大學 filed Critical 國立清華大學
Priority to TW110144561A priority Critical patent/TWI773603B/zh
Priority to US17/751,697 priority patent/US20230168549A1/en
Application granted granted Critical
Publication of TWI773603B publication Critical patent/TWI773603B/zh
Publication of TW202324309A publication Critical patent/TW202324309A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/135—Liquid crystal cells structurally associated with a photoconducting or a ferro-electric layer, the properties of which can be optically or electrically varied
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133553—Reflecting elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/129—Coded aperture imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00—Function characteristic
    • G02F2203/12—Function characteristic spatial light modulator
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00—Function characteristic
    • G02F2203/30—Gray scale
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00—Function characteristic
    • G02F2203/50—Phase-only modulation

Abstract

一種壓縮感知成像方法及系統。此方法包括下列步驟：根據壓縮感知理論，產生以浮點值表示其中多個元素的灰度值的多個灰度遮罩作為感知矩陣；根據各個灰度遮罩中各個元素的灰度值，控制空間調變器調變投射於待測物的電磁波，並偵測通過待測物的電磁波的物理量以獲得多個測量值；以及利用灰度遮罩及使用各個灰度遮罩調變電磁波所獲得的測量值，執行影像重建演算法以重建待測物的影像。

Description

壓縮感知成像方法及系統
本發明是有關於一種成像方法及成像系統，且特別是有關於一種壓縮感知成像方法及系統。
壓縮感知成像在近年來引起高度的關注，原因在於使用高靈敏度單像素偵測器即可做到二維空間成像或三維立體空間成像，這在許多特殊應用例如天文探索、非破壞性檢測、工業檢測、加密圖像傳輸有極大的幫助。
感知矩陣對壓縮感知成像系統具重大影響。根據壓縮感知理論，感知矩陣互相關性的降低代表更好的解圖精準度。為了精確地重建不夠稀疏的圖像，需要具有足夠低互相干性（mutual coherence）的感知矩陣。目前，感知矩陣經常 為二進制並由空間調變器（spatial light modulator，SLM）實現，使得壓縮感知成像系統之感知矩陣的元素被限制在只有0與1的情況。此限制會限制解圖的精準度，嚴重影響壓縮感知成像技術在工業領域的應用範圍。
本發明提供一種壓縮感知成像方法及系統，能夠在物理上達到類比取樣，並能有效解決因限制元素而造成的低解圖精準度的問題。
本發明提供一種壓縮感知成像方法，適用於具處理器的電子裝置。此方法包括下列步驟：根據壓縮感知理論，產生以浮點值表示其中多個元素的灰度值的多個灰度遮罩（grayscale mask）作為感知矩陣；根據各個灰度遮罩中各個元素的灰度值，控制空間調變器（spatial light modulator，SLM）調變投射於待測物的電磁波，並偵測通過待測物的電磁波的物理量以獲得多個測量值；以及利用灰度遮罩及使用各個灰度遮罩調變電磁波所獲得的測量值，執行影像重建演算法以重建待測物的影像。
本發明提供一種壓縮感知成像系統，其包括第一電磁波產生器、空間調變器、第二電磁波產生器、電磁波偵測器及控制裝置。其中，電磁波產生器經配置以產生電磁波。空間調變器經配置以調變電磁波。第二電磁波產生器經配置以產生投射於待測物的電磁波。電磁波偵測器經配置以偵測電磁波的物理量。控制裝置耦接第一電磁波產生器、空間調變器、第二電磁波產生器及電磁波偵測器，且經配置以根據壓縮感知理論，產生以浮點值表示其中多個元素的灰度值的多個灰度遮罩作為感知矩陣，根據各個灰度遮罩中各個元素的灰度值，控制空間調變器調變第一電磁波產生器所產生的投射於待測物的電磁波，並利用電磁波偵測器偵測通過待測物的電磁波的物理量以獲得多個測量值，以及利用灰度遮罩及使用各個灰度遮罩調變電磁波所獲得的測量值，執行影像重建演算法以重建待測物的影像。
基於上述，本發明的壓縮感知成像方法及系統通過產生以浮點值表示的灰度遮罩作為感知矩陣，並利用數位微鏡裝置（digital micromirror device，DMD）、矽液晶（liquid crystal on silicon，LCOS）、超穎材料（Metamaterial）、低維度材料(low-dimensional material)或是石墨烯（Graphene）等空間調變器對投射於待測物的電磁波進行調變，而能夠突破二元感知矩陣元素只有0與1的限制，大幅地增加壓縮感知成像技術的解圖精準度。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
在壓縮感知理論中，測量值y是輸入圖案x的線性組合，如下式(1)所示：
Figure 02_image001
(1)
其中，
Figure 02_image003
是用以定義在每次測量中的線性組合的感知矩陣。
感知矩陣
Figure 02_image003
的互相干性（mutual coherence，以下標示為
Figure 02_image005
）可用來測量其還原輸入圖案x的能力：
Figure 02_image007
(2)
其中，
Figure 02_image009
是感知矩陣
Figure 02_image003
的第i行。更精確地，輸入圖案x在下式(3)的標準下能夠被最完整地還原：
Figure 02_image011
(3)
其中，
Figure 02_image013
是訊號的稀疏度。
上式(3)顯示出感知矩陣在壓縮感知成像中扮演還原輸入圖案的重要角色。
據此，為了使用具有足夠低互相干性的感知矩陣，以精確地重建不夠稀疏的圖像，本發明實施例提出了太赫茲（terahertz，THz）-空間調變器（spatial light modulator，SLM）的灰度調變方法，利用數位微鏡裝置（digital micromirror device，DMD）或矽液晶（liquid crystal on silicon，LCOS）等空間調變器，控制每個THz-SLM像素的傳輸功率部分，例如在數位微鏡裝置方面，藉由控制數位微鏡的翻轉數目以合成個別像素，因此能夠準確地分配所傳輸THz功率的變化曲線（profile），呈現出於0與1之間的浮點值；在矽液晶方面，透過控制液晶在不同區域的旋轉角度，能夠使反射於其之上的電磁波產生在不同區域產生不同的相位改變，使電磁波的波前形狀產生變化，進而在此電磁波經過透鏡後在不同區域有不同聚焦點，而在平面上產生灰階圖。
圖1是根據本發明一實施例所繪示的壓縮感知成像的示意圖。請參照圖1，本發明實施例是由電磁波產生器12產生電磁波以經由光學元件12a投射到空間調變器14，經由空間調變器14調變後的電磁波將經由光學元件14a集中後通過光學元件16a投射到待測物30。電磁波產生器16則產生電磁波，並經由光學元件16a反射而投射到待測物30。通過待測物30的電磁波則經由光學元件16b反射並集中在電磁波偵測器16，由電磁波偵測器16偵測電磁波的物理量。
上述的光學元件12a、14a例如是電磁波波束重塑器（beam shaper）、透鏡（lens）、波導（waveguide）、超穎透鏡（metalens）、面鏡（mirror）等，本實施例不限制其種類。上述的光學元件16a、16b例如是拋物面鏡（parabolic mirror），本實施例亦不限制其種類。其中，光學元件16a的中心例如有開孔，使得經由光學元件14a集中的電磁波能夠通過光學元件16a而投射到待測物30。
本實施例通過空間調變器14調變電磁波以產生帶有灰度資訊的編碼圖案光束並投射到待測物30，而與配置於待測物30的半導體作用而改變半導體的載流子分佈，使得通過該半導體的電磁波與光束的圖案一致，而實現電磁波的空間調製。
其中，本發明實施例通過改變空間調變器14的每個像素中的微鏡翻轉數量或液晶旋轉角度，使其能夠反應經灰度取樣方法形成的感知矩陣而呈現出0與1之間的浮點值，電磁波在經由該空間調變器14作用後即能夠實現空間調變而基於感知矩陣對待測物30進行取樣。最後，通過執行影像重建演算法計算出重建矩陣，並使用重建矩陣及電磁波偵測器16的測量值重建出待測物30的影像。
圖2是根據本發明一實施例所繪示的壓縮感知成像系統的方塊圖。請同時參照圖1及圖2，本實施例的壓縮感知成像系統10包括圖1中的第一電磁波產生器12、空間調變器14、第二電磁波產生器16及電磁波偵測器18，且包括連接至上述裝置的控制裝置20，其功能分述如下：
第一電磁波產生器12及第二電磁波產生器16例如可產生頻率介於0.1至10太赫茲（THz）之間的電磁波，此電磁波（或稱太赫茲波）對物質具有高穿透、非破壞的特性，且在穿透物質後能經由頻譜得知其特性，因此太赫茲波在食品安全檢查、生醫檢查或是藥物檢查上都有重要應用。在其他實施例中，第一電磁波產生器12及第二電磁波產生器16也可以是可產生在時序/頻域/極化/空間上不同種類的波的波源，例如：連續波（continuous-wave）波源、脈衝波（pulsed）波源、寬頻（broadband）波源、多頻（multi-band）波源、窄頻（narrow band）波源、可調頻（frequency tunable）波源、偏極化（polarized）波源、點（point）波源、圓型（circular）波源、方型（top-hat）波源、亂數（random）波源、混沌（chaotic）波源，本實施例不限制其種類。在一些實施例中，第一電磁波產生器12及第二電磁波產生器16可以整合為同一個電磁波產生器，本實施例不限制其實施方式。
空間調變器14是用以調變由第一電磁波產生器12產生的電磁波。在一實施例中，空間調變器14例如是數位微鏡裝置，其中包括百萬個以上的反射鏡，其是利用電腦控制這些鏡子的開關狀態。若將壓縮感知成像所要使用的感知矩陣應用在數位微鏡裝置上，則感知矩陣中的每個元素可對應到數位微鏡裝置中的多個鏡子。舉例來說，若將32×32的感知矩陣應用在800×1200的數位微鏡裝置上，則感知矩陣的每個元素可對應到數位微鏡裝置中的至少625個鏡子。而通過將這些鏡子中的一部分轉向至反側，即可反應出感知矩陣中每個元素的灰度值（表示0與1之間的浮點值）。舉例來說，本實施可通過設定所有鏡子不轉向來表示1，通過設定所有鏡子轉向至反側來表示0，而通過僅將部分鏡子轉向，則可依有轉向與未轉向鏡子之間的比例關係來表示出0與1之間的浮點值。
在另一實施例中，空間調變器14例如是矽液晶，其是利用電腦控制矽液晶的液晶旋轉角度以調變由第一電磁波產生器12產生的電磁波的相位，使得電磁波經過矽液晶作用所生成的干涉光的能量分佈可對應於感知矩陣的每個元素的灰度值（表示0與1之間的浮點值）。其中，透過控制液晶在不同區域的旋轉角度，能夠使反射於其之上的電磁波產生在不同區域產生不同的相位改變，使電磁波的波前形狀產生變化，進而在此電磁波經過透鏡後在不同區域有不同聚焦點，而在平面上產生灰階圖。
第二電磁波產生器16經配置以產生直接投射於待測物30的電磁波。
電磁波偵測器16例如是使用光電導天線或非線性光學晶體的偵測器，而用以偵測通過待測物30後的電磁波（如太赫茲波）的物理量分佈，例如能量分佈、功率分佈或電場強度分佈。在其他實施例中，電磁波偵測器16也可以是可用以偵測深紫外光、紫外光、可見光、近紅外光、中紅外光、遠紅外光、太赫茲光、雷射光、毫米波、微波等電磁波的偵測器，本實施例不限制其種類。
控制裝置20例如是具有運算能力的個人電腦、伺服器、工作站等計算機裝置，其中包括用以連接第一電磁波產生器12、空間調變器14、第二電磁波產生器16及電磁波偵測器18的連接裝置22，用以儲存電腦程式及運算資料的儲存裝置24，以及用以執行上述電腦程式並維持控制裝置20整體運作的處理器26。
連接裝置22例如是通用序列匯流排（universal serial bus，USB）、RS232、內部整合電路（I2C）等有線的連接介面，或是支援無線保真（wireless fidelity，Wi-Fi）、無線射頻辨識（radio frequency identification，RFID）、藍芽、紅外線、近場通訊（near-field communication，NFC）或裝置對裝置（device-to-device，D2D）等無線通訊協定的連接介面，而可通過有線或無線方式連接第一電磁波產生器12、空間調變器14、第二電磁波產生器16及電磁波偵測器18，本實施例不限制其種類。
儲存裝置24例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或類似元件或上述元件的組合，而可用以儲存由處理器26執行的電腦程式或其他資料。
處理器26例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、微控制器（Microcontroller）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，但本實施例不限於此。在本實施例中，處理器26從儲存裝置24載入電腦程式，以執行本發明實施例的壓縮感知成像方法。
圖3是依照本發明一實施例所繪示的壓縮感知成像方法的流程圖。請同時參照圖2及圖3，本實施例的方法適用於圖2的壓縮感知成像系統10。以下即搭配壓縮感知成像系統10的各項裝置及元件說明本實施例的壓縮感知成像方法的詳細步驟。
在步驟S302中，壓縮感知成像系統10例如是由控制裝置20根據壓縮感知理論，產生以浮點值表示其中多個元素的灰度值的多個灰度遮罩作為感知矩陣。所述的灰度值例如是介於0與1之間的浮點值。
在步驟S304中，控制裝置20例如會控制第一電磁波產生器12產生電磁波，並根據各個灰度遮罩中各個元素的灰度值，控制空間調變器14調變投射於待測物30的電磁波，並控制第二電磁波產生器16產生電磁波並直接投射於待測物30，同時控制磁波偵測器16偵測通過待測物30的電磁波的功率以獲得多個測量值。
在一實施例中，空間調變器14係採用數位微鏡裝置，而控制裝置20即控制數位微鏡裝置中與灰度遮罩的各個元素的位置相對應的多個微鏡的轉向，使得調變後電磁波的物理量的分佈可對應於各個元素的灰度值。其中，控制裝置20例如是將與各個元素的位置相對應的多個微鏡中的一部分轉向至反側，以反應出各個元素的灰度值所表示的0與1之間的浮點值。所述的物理量分佈例如是能量分佈、功率分佈或電場強度分佈，本實施例不限制其種類。
在另一實施例中，空間調變器14係採用矽液晶，而控制裝置20即控制矽液晶的液晶旋轉角度以調變電磁波的相位，使得電磁波經過矽液晶作用所生成的干涉光的能量分佈可對應於各個元素的灰度值。
在步驟S306中，控制裝置20利用其所產生的灰度遮罩以及使用各個灰度遮罩調變電磁波所獲得的測量值，執行影像重建演算法以重建待測物的影像。所述的影像重建演算法例如是正交匹配追蹤（orthogonal matching pursuit，OMP）、最小均方誤差（minimum mean-square error）等演算法，本實施例不限制其種類。舉例來說，正交匹配追蹤演算法為一種貪婪演算法，代表其為一迴圈結構。其中將上述式 (1) 之測量值y與感知矩陣A當做輸入值，經過迴圈結構後即能得到物體影像x。在迴圈結構中會不斷的在信號的頻域中挑選能量大的頻率做為輸出值並由原訊號中刪除，經過多次的迴圈會不斷修正輸出值直至剩於的原訊號能量小於設定值為止。
通過上述方法，本發明實施例的壓縮感知成像系統10可突破傳統二元感知矩陣的限制，利用對空間調變器14的控制，實現對電磁波功率的灰度調製，而能夠準確地分配電磁波的功率分佈。與二元感知矩陣相比，本發明實施例利用灰度取樣方法生成的感知矩陣在相同的取樣頻率上可實現較高的解圖精準度。
圖4A及圖4B是根據本發明一實施例所繪示的使用二元感知矩陣與灰度感知矩陣重建待測物影像的比較例。請先參照圖4A，二元感知矩陣42中元素的數值僅限於0與1（分別以白色、黑色圖像表示），而灰度感知矩陣44中元素的數值則可為介於0與1之間的任意浮點值（以灰階圖像表示）。當二元感知矩陣42被應用於數位微鏡裝置時，其中的每個元素可對應到數位微鏡裝置中的多個微鏡，例如元素421可對應數位微鏡裝置中的微鏡群421a。基於元素421的數值為0，其所對應到的微鏡群421a中的各個微鏡均為同一轉向。相對地，當灰度感知矩陣44被應用於數位微鏡裝置時，其中的每個元素亦可對應到數位微鏡裝置中的多個微鏡，例如元素441可對應數位微鏡裝置中的微鏡群441a。然而，基於元素441的數值為介於0與1之間的浮點值，其所對應到的微鏡群441a可通過將部分微鏡（例如微鏡群421a中黑色圖像所對應的微鏡）轉向至反側而表示出元素441的數值（浮點值）。
接著，請參照圖4B，假設影像46為待測物的真實影像，在相同的取樣頻率下，相較於基於二元感知矩陣42所獲得的待測物的重建影像46a，基於灰度感知矩陣44所獲得的待測物的重建影像46b在均方根誤差（mean square error，MSE）、結構相似性指標（structural similarity index measure，SSIM）均呈現出較高的解圖效果。
需說明的是，由於作用於空間調變器的電磁波在前進一段距離後會根據前進距離的不同產生相對應的繞射條紋，如距離足夠近會產生近場繞射條紋，而距離夠遠會產生遠場繞射條紋，此現象會影響本發明實施例的灰度遮罩應用到空間調變器上所呈現的數值，結果造成解圖不精準。對此，本發明實施例可藉由修改解圖演算法，將此繞射視為圖案變換的過程，以解決上述問題。
詳細而言，圖5是依照本發明一實施例所繪示的壓縮感知成像方法的流程圖。請同時參照圖2及圖5，本實施例的方法適用於圖2的壓縮感知成像系統10。以下即搭配壓縮感知成像系統10的各項裝置及元件說明本實施例的壓縮感知成像方法的詳細步驟。
在步驟S502中，控制裝置20根據壓縮感知理論，產生以浮點值表示其中多個元素的灰度值的多個灰度遮罩作為感知矩陣。在步驟S504中，控制裝置20會控制第一電磁波產生器12產生電磁波，並根據各個灰度遮罩中各個元素的灰度值，控制空間調變器14調變投射於待測物30的電磁波，並控制第二電磁波產生器16產生電磁波並直接投射於待測物30，同時控制磁波偵測器16偵測通過待測物30的電磁波的功率以獲得多個測量值。上述步驟S502及步驟S504的實施方式與前述實施例的步驟S302及步驟S304相同或相似，故其詳細內容在此不再贅述。
與前述實施例不同的是，本實施例在步驟S506中，控制裝置20會根據經由空間調變器14作用的電磁波的繞射程度，轉換灰度遮罩中各個元素的灰度值，以送入影像重建演算法進行影像重建。藉此，可修正因為繞射所造成的灰度遮罩的數值偏移。
在步驟S508中，控制裝置20即將轉換後的灰度遮罩以及使用各個灰度遮罩調變電磁波後所獲得的測量值，執行影像重建演算法以重建待測物30的影像。
圖6A至圖6C是根據本發明一實施例所繪示的使用及未使用經轉換的灰度遮罩進行壓縮感知成像的比較例。請參照圖6A，本實施例係先產生多個灰度遮罩#1~#N（其中元素的灰度值是以浮點值表示），並根據這些灰度遮罩#1~#N中各個元素的灰度值，控制空間調變器（SLM）14調變投射於待測物（假設影像60為待測物的真實影像）的電磁波，並利用電磁波偵測器16偵測通過待測物後的電磁波的功率以獲得多個測量值。其中，使用不同灰度遮罩#1~#N實施電磁波的調變及偵測所獲得的測量值例如會記錄在控制裝置20的儲存裝置24中以作為測量資料62。
請參照圖6B，控制裝置20會使用其所產生的灰度遮罩61以及所記錄的測量資料62，執行影像重建演算法64a，以計算出待測物的重建影像66a。
請參照圖6C，控制裝置20在進行影像重建時，可先使用模擬器68對灰度遮罩61進行模擬，例如採用瑞立-索末菲公式（Rayleigh Sommerfeld formula）、平面波分解（Plane wave decomposition）、波傳遞方法（wave propagation method）等演算法，以模擬出各個灰度遮罩61經過遠場繞射後的圖案，生成模擬遮罩61a。然後，控制裝置20才使用所模擬的模擬遮罩61a以及所記錄的測量資料62，執行影像重建演算法64b，以計算出待測物的重建影像66b。
比較重建影像66a及66b可知，使用經由模擬的灰度遮罩#1~#N進行影像重建，可解決因電磁波繞射所造成的解圖不精準的問題，而較佳地還原出待測物的真實影像。
綜上所述，本發明實施例的壓縮感知成像方法及系統，將灰度矩陣的概念加入壓縮感知成像系統中，並透過數位微鏡裝置或矽液晶實現，藉此可增加解圖精準度。此外，對於電磁波經數位微鏡裝置或矽液晶作用後所衍生的繞射，本發明實施例修改演算流程，根據繞射程度對灰度遮罩進行變換後再進行影像重建，藉此可較佳地還原出待測物的真實影像。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:壓縮感知成像系統 12:第一電磁波產生器 12a、14a、16a、16b:光學元件 14:空間調變器 16:第二電磁波產生器 18:電磁波偵測器 20:控制裝置 22:連接裝置 24:儲存裝置 26:處理器 30:待測物 42:二元感知矩陣 44:灰度感知矩陣 421、441:元素 421a、441a:微鏡群 46、60:待測物的真實影像 46a、46b、66a、66b:重建影像 61:灰度遮罩 61a:模擬遮罩 62:測量資料 64a、64b:影像重建演算法 68:模擬器 S302~S306、S502~S508:步驟
圖1是根據本發明一實施例所繪示的壓縮感知成像的示意圖。 圖2是根據本發明一實施例所繪示的壓縮感知成像系統的方塊圖。 圖3是依照本發明一實施例所繪示的壓縮感知成像方法的流程圖。 圖4A及圖4B是根據本發明一實施例所繪示的使用二元感知矩陣與灰度感知矩陣重建待測物影像的比較例。 圖5是依照本發明一實施例所繪示的壓縮感知成像方法的流程圖。 圖6A至圖6C是根據本發明一實施例所繪示的使用及未使用經轉換的灰度遮罩進行壓縮感知成像的比較例。
S302~S306:步驟

Claims (10)

  1. 一種壓縮感知成像方法，適用於具處理器的電子裝置，所述方法包括下列步驟：根據壓縮感知理論，產生以浮點值表示其中多個元素的灰度值的多個灰度遮罩(grayscale mask)作為感知矩陣；根據各所述灰度遮罩中各所述元素的所述灰度值，控制數位微鏡裝置(digital micromirror device，DMD)調變投射於待測物的電磁波，其中包括控制所述數位微鏡裝置中與所述灰度遮罩的各所述元素的位置相對應的多個微鏡的轉向，使得調變後所述電磁波的能量分佈對應於各所述元素的所述灰度值，並偵測通過所述待測物的所述電磁波的物理量以獲得多個測量值；以及利用所述灰度遮罩及使用各所述灰度遮罩調變所述電磁波所獲得的所述測量值，執行影像重建演算法以重建所述待測物的影像。
  2. 如請求項1所述的方法，更包括：根據經過所述數位微鏡裝置作用的所述電磁波的繞射程度，模擬所述灰度遮罩中各所述元素的所述灰度值；以及將所模擬的所述灰度遮罩及使用各所述灰度遮罩調變所述電磁波所獲得的所述測量值，執行所述影像重建演算法以重建所述待測物的影像。
  3. 如請求項1所述的方法，其中控制所述數位微鏡裝置中與所述灰度遮罩的各所述元素的位置相對應的多個微鏡的轉向的步驟包括：將與各所述元素的位置相對應的所述多個微鏡中的一部分轉向至反側，以反應各所述元素的所述灰度值所表示的0與1之間的浮點值。
  4. 一種壓縮感知成像方法，適用於具處理器的電子裝置，所述方法包括下列步驟：根據壓縮感知理論，產生以浮點值表示其中多個元素的灰度值的多個灰度遮罩作為感知矩陣；根據各所述灰度遮罩中各所述元素的所述灰度值，控制矽液晶(liquid crystal on silicon，LCOS)調變投射於待測物的電磁波，其中包括控制所述矽液晶的液晶旋轉角度以調變所述電磁波的相位，使得所述電磁波經過所述矽液晶作用所生成的干涉光的能量分佈對應於各所述元素的所述灰度值，並偵測通過所述待測物的所述電磁波的物理量以獲得多個測量值；以及利用所述灰度遮罩及使用各所述灰度遮罩調變所述電磁波所獲得的所述測量值，執行影像重建演算法以重建所述待測物的影像。
  5. 如請求項4所述的方法，更包括：根據經過所述矽液晶作用的所述電磁波的繞射程度，模擬所述灰度遮罩中各所述元素的所述灰度值；以及 將所模擬的所述灰度遮罩及使用各所述灰度遮罩調變所述電磁波所獲得的所述測量值，執行所述影像重建演算法以重建所述待測物的影像。
  6. 一種壓縮感知成像系統，包括：第一電磁波產生器，經配置以產生電磁波；數位微鏡裝置，經配置以調變所述第一電磁波產生器所產生的所述電磁波；第二電磁波產生器，經配置以產生投射於待測物的電磁波；電磁波偵測器，經配置以偵測所述電磁波的物理量；以及控制裝置，連接所述第一電磁波產生器、所述空間調變器、所述第二電磁波產生器及所述電磁波偵測器，且經配置以：根據壓縮感知理論，產生以浮點值表示其中多個元素的灰度值的多個灰度遮罩作為感知矩陣；根據各所述灰度遮罩中各所述元素的所述灰度值，控制所述數位微鏡裝置調變所述第一電磁波產生器所產生的投射於待測物的所述電磁波，其中包括控制所述數位微鏡裝置中與所述灰度遮罩的各所述元素的位置相對應的多個微鏡的轉向，使得調變後所述電磁波的能量分佈對應於各所述元素的所述灰度值，並利用所述電磁波偵測器偵測通過所述待測物的所述電磁波的物理量以獲得多個測量值；以及利用所述灰度遮罩及使用各所述灰度遮罩調變所述電磁波所獲得的所述測量值，執行影像重建演算法以重建所述待測物的 影像。
  7. 如請求項6所述的壓縮感知成像系統，其中所述控制裝置更根據經過所述數位微鏡裝置作用的所述電磁波的繞射程度，模擬所述灰度遮罩中各所述元素的所述灰度值，以及將所模擬的所述灰度遮罩及使用各所述灰度遮罩調變所述電磁波所獲得的所述測量值，執行所述影像重建演算法以重建所述待測物的影像。
  8. 如請求項6所述的壓縮感知成像系統，其中所述控制裝置包括將與各所述元素的位置相對應的所述多個微鏡中的一部分轉向至反側，以反應各所述元素的所述灰度值所表示的0與1之間的浮點值。
  9. 一種壓縮感知成像系統，包括：第一電磁波產生器，經配置以產生電磁波；矽液晶，經配置以調變所述第一電磁波產生器所產生的所述電磁波；第二電磁波產生器，經配置以產生投射於待測物的電磁波；電磁波偵測器，經配置以偵測所述電磁波的物理量；以及控制裝置，連接所述第一電磁波產生器、所述空間調變器、所述第二電磁波產生器及所述電磁波偵測器，且經配置以：根據壓縮感知理論，產生以浮點值表示其中多個元素的灰度值的多個灰度遮罩作為感知矩陣；根據各所述灰度遮罩中各所述元素的所述灰度值，控制所 述數位微鏡裝置調變所述第一電磁波產生器所產生的投射於待測物的所述電磁波，其中包括控制所述矽液晶的液晶旋轉角度以調變所述電磁波的相位，使得所述電磁波經過所述矽液晶作用所生成的干涉光的能量分佈對應於各所述元素的所述灰度值，並利用所述電磁波偵測器偵測通過所述待測物的所述電磁波的物理量以獲得多個測量值；以及利用所述灰度遮罩及使用各所述灰度遮罩調變所述電磁波所獲得的所述測量值，執行影像重建演算法以重建所述待測物的影像。
  10. 如請求項9所述的壓縮感知成像系統，其中所述控制裝置更根據經過所述矽液晶作用的所述電磁波的繞射程度，模擬所述灰度遮罩中各所述元素的所述灰度值，以及將所模擬的所述灰度遮罩及使用各所述灰度遮罩調變所述電磁波所獲得的所述測量值，執行所述影像重建演算法以重建所述待測物的影像。
TW110144561A 2021-11-30 2021-11-30 壓縮感知成像方法及系統 TWI773603B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110144561A TWI773603B (zh) 2021-11-30 2021-11-30 壓縮感知成像方法及系統
US17/751,697 US20230168549A1 (en) 2021-11-30 2022-05-24 Compressed sensing imaging method and compressed sensing imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110144561A TWI773603B (zh) 2021-11-30 2021-11-30 壓縮感知成像方法及系統

Publications (2)

Publication Number Publication Date
TWI773603B true TWI773603B (zh) 2022-08-01
TW202324309A TW202324309A (zh) 2023-06-16

Family

ID=83806966

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110144561A TWI773603B (zh) 2021-11-30 2021-11-30 壓縮感知成像方法及系統

Country Status (2)

Country Link
US (1) US20230168549A1 (zh)
TW (1) TWI773603B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123740A (zh) * 2014-07-08 2014-10-29 浙江传媒学院 一种基于压缩感知的图像重构方法
CN106023116A (zh) * 2016-05-30 2016-10-12 中国科学院深圳先进技术研究院 一种基于块加权约束的压缩感知图像重建方法及装置
CN108447102A (zh) * 2018-02-11 2018-08-24 南京邮电大学 一种低秩与稀疏矩阵分解的动态磁共振成像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123740A (zh) * 2014-07-08 2014-10-29 浙江传媒学院 一种基于压缩感知的图像重构方法
CN106023116A (zh) * 2016-05-30 2016-10-12 中国科学院深圳先进技术研究院 一种基于块加权约束的压缩感知图像重建方法及装置
CN108447102A (zh) * 2018-02-11 2018-08-24 南京邮电大学 一种低秩与稀疏矩阵分解的动态磁共振成像方法

Also Published As

Publication number Publication date
TW202324309A (zh) 2023-06-16
US20230168549A1 (en) 2023-06-01

Similar Documents

Publication Publication Date Title
US11900624B2 (en) Digital fringe projection and multi-spectral polarization imaging for rapid 3D reconstruction
US10998981B2 (en) Measurement apparatus of vectorial optical fields
US20210349324A1 (en) Multi-lens system for imaging in low light conditions and method
Shams et al. Approaching real‐time terahertz imaging with photo‐induced coded apertures and compressed sensing
CN102087411A (zh) 量子成像方法及量子成像系统
Meyers et al. Quantum ghost imaging experiments at ARL
Nicolas et al. Quantum state tomography of orbital angular momentum photonic qubits via a projection-based technique
TWI773603B (zh) 壓縮感知成像方法及系統
Abregana et al. Phase retrieval by amplitude modulation using digital micromirror device
Leportier et al. Holographic reconstruction by compressive sensing
Francisco et al. Simulating a quantum walk with classical optics
Martínez-Suárez et al. Environment emulation in 3d graphics software for fringe projection profilometry
US20210389117A1 (en) Apparatus, systems and methods for compressive sensing
JP7412166B2 (ja) 撮像装置および撮像方法
CN210427972U (zh) 一种灰度图像光阑衍射成像装置
Cheng Theory of ghost scattering with incoherent light sources
Plöschner et al. Spatial tomography of light resolved in time, spectrum, and polarisation
Plöschner et al. Spatial, spectral, temporal and polarisation resolved state tomography of light
Wu et al. Depth acquisition from dual-frequency fringes based on end-to-end learning
Zhu et al. Underwater 3D reconstruction based on double N-step orthogonal polarization state phase shift strategy
Yalcinkaya et al. Spatial light modulator design and generation of structured electromagnetic waves using digital light processors
Maione et al. Birefringent snapshot imaging spatial heterodyne spectrometer
Michalko et al. Transverse translation diverse phase retrieval for reflective and freeform surface metrology
Wang et al. A fast three-dimensional object recognition based on modulation analysis
Li et al. Identifying the twist factor of twisted partially coherent optical beams