TWI393071B - 可保留影像特徵之影像處理方法及系統 - Google Patents

可保留影像特徵之影像處理方法及系統 Download PDF

Info

Publication number
TWI393071B
TWI393071B TW099104760A TW99104760A TWI393071B TW I393071 B TWI393071 B TW I393071B TW 099104760 A TW099104760 A TW 099104760A TW 99104760 A TW99104760 A TW 99104760A TW I393071 B TWI393071 B TW I393071B
Authority
TW
Taiwan
Prior art keywords
bayesian
image information
image processing
tube
processing method
Prior art date
Application number
TW099104760A
Other languages
English (en)
Other versions
TW201128568A (en
Inventor
Ann Shyn Chiang
Hsiu Ming Chang
Yung Chang Chen
Kuan Yu Chen
Original Assignee
Nat Univ Tsing Hua
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nat Univ Tsing Hua filed Critical Nat Univ Tsing Hua
Priority to TW099104760A priority Critical patent/TWI393071B/zh
Priority to US12/814,835 priority patent/US8665276B2/en
Publication of TW201128568A publication Critical patent/TW201128568A/zh
Application granted granted Critical
Publication of TWI393071B publication Critical patent/TWI393071B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Description

可保留影像特徵之影像處理方法及系統
本發明大體而言係有關於一種影像處理方法，更特定而言係為一種適用於平均處理後可保留影像特徵之影像處理方法，其中影像特徵可為影像之表面特徵。
在過去數十年中，產學界致力於尋找人類腦神經網路之功能及結構。然而，因為人類腦神經網路具有龐大的神經元，因此是一項困難的工作。為了簡化此問題，取而代之，現今多選擇細胞及神經纖維網(Neuropils)較人類而言大為減少，且具有學習及記憶能力的果蠅(FruitFly，或Drosophila Melanogaster)作為研究對象，以利於瞭解腦的結構及功能。此外，取得大量果蠅的樣本相對較為容易。
利用共軛焦顯微技術(Confocal Microscopy)，可以掃描個別果蠅腦以獲得複數個特定深度之二維腦影像薄片(Slices)。接著，將此複數個二維腦影像薄片進行視覺化(Visualizing)處理，可建構出一種三維腦模型影像。
從不同果蠅腦個體所取得之腦模型影像具有個體間之差異，為了產生在神經生物學(Neurobiology)上極重要的標準腦(Standard Brain)或稱標準腦地圖集(Standard Brain Atlas)，必須對各個三維腦模型影像進行平均處理。然而，在先前技術中，存在一個長期無法解決的問題，即平均後之三維腦模型影像表面往往具有封合(Close-up)誤差。即各個三維腦模型影像中存在之凹陷結構(Concave-Shaped Structures)在平均處理之程序中可能消失，使平均後之三維腦模型影像不同於個別腦模型之凹陷結構，因而失去了重要的資訊。這在處理具有複雜皺摺表面結構(如腦組織等)時，誤差特別嚴重。
鑒於先前技術之缺失，本發明提出一種可保留影像特徵之影像處理方法及系統，並將於下文中詳細說明。
為了解決先前技術之缺失，在本發明之一觀點中，提供一種影像處理方法，用以平均複數組影像資訊並保留主要特徵，所述影像處理方法包含：將複數組影像資訊進行縮放及對準以獲得至少一特徵資訊；根據所述至少一特徵資訊設定複數個二維特徵標記點以產生至少一貝氏曲線；利用所述至少一貝氏曲線產生至少一貝氏管並進行貝氏管配適處理以產生貝氏管配適結果；利用一處理器根據所述貝氏管或所述貝氏管配適結果對所述複數組影像資訊進行修正以產生複數組修正之影像資訊；及對所述組修正之影像資訊進行平均處理以產生一特徵保留的平均影像資訊。
在本發明之另一觀點中，提供一種影像處理系統，用以平均複數組影像資訊並保留主要特徵，所述影像處理系統包含：一控制模組；一縮放及對準模組，耦合至所述控制模組，用以縮放及對準複數組影像資訊以獲得至少一特徵資訊；一貝氏曲線配適模組，耦合至所述控制模組，用以根據所述至少一特徵資訊設定複數個二維特徵標記點以產生至少一貝氏曲線；一貝氏管配適模組，耦合至所述控制模組，用以利用所述至少一貝氏曲線產生至少一貝氏管並進行貝氏管配適處理以產生貝氏管配適結果；一修正模組，耦合至所述控制模組，用以利用所述貝氏管或所述貝氏管配適結果對所述複數組影像資訊進行修正產生複數組修正之影像資訊；一平均模組，耦合至所述控制模組，用以對所述複數組修正之影像資訊進行平均處理，以產生一特徵保留的平均影像資訊；及一資料庫模組，耦合至所述控制模組，用以供上述各模組儲存資訊。
在本發明之又一觀點中，提供一種內儲程式之電腦可讀取記錄媒體，當電腦載入所述程式並執行後，可完成如上所述之影像處理方法。
在本發明之再一觀點中，提供一種內儲於電腦之電腦程式產品，當電腦載入所述電腦程式並執行後，可完成如上所述之影像處理方法。
本發明之一優點在於，對所述複數組影像資訊進行縮放及對準，有助於確認所有影像資訊之共有之特徵資訊。
本發明之另一優點在於，利用三維之貝氏管進一步取代貝氏曲線進行比對，可得到較佳之配適結果。
本發明之又一優點在於，利用平均之貝氏管產生貝氏管運動資訊，進而對所述複數組影像資訊進行修正(變形)在進行平均，可減少由於影像資訊個別差異所造成之失去重要資訊之錯誤平均結果。
本發明之再一優點在於，本發明所提供之方法可以藉由少數(甚至只有兩組)樣品計算出保有表面特徵的平均結構。因此對於腦組織或其他不易取得大量樣品之平均結構(如腸壁、血管等組織或化石等)計算特別有利。
上述目的、觀點、優點及其他優點可從下述實施方式、圖式及申請專利範圍使讀者得以更加瞭解。
本發明之實施例提供一種影像處理方法30000，如圖三A至三D所示。為了實施此影像處理方法30000，在本發明之實施例中提供一種影像處理系統20000，如圖二所示。為了實施此影像處理系統20000，在本發明之實施例中提供一種硬體設備，譬如一電腦10000，如圖一所示，並將於下文中詳述。
圖一為根據本發明實施例之硬體設備示意圖。在此實施例中，硬體設備可為一電腦10000，包含：一處理單元11000；一影像輸入介面12000，耦合至處理單元11000；一儲存裝置介面13000，耦合至處理單元11000；一記憶體14000，耦合至處理單元11000；一設定介面15000，耦合至處理單元11000；一影像輸出介面16000，耦合至處理單元11000；一其他介面或裝置17000，耦合至處理單元11000。上述元件之間可經由一匯流排11100加以耦合，但並不限於此方式。其中，儲存裝置介面13000用以連接一電腦可讀取記錄媒體13100，其中載有電腦程式產品，當電腦載入此電腦程式產品並執行後，可運行實施例之影像處理系統20000及完成影像處理方法30000。此外，電腦可讀取記錄媒體13100及記憶體14000中可載有包含作業系統13110、應用程式13120、程式語言及對應之編譯器13130及/或其他程式13140等之軟體、韌體及對應之指令集等。其中，處理單元11000可藉由各種處理器加以實施，更特定而言，可為經由特定目的而程式化之可程式化處理器。
其中，利用影像輸入介面12000，可經由一影像輸入通道12100接收來自一影像提供裝置12200之影像資訊，在較佳實施例中，係接收1至N組果蠅腦表面模型(Surface Model)之影像資訊並儲存於電腦可讀取記錄媒體13100及/或暫存於記憶體14000中，以供影像處理系統20000進行進一步處理。此外，利用設定介面15000，可經由使用者或預設程式執行，對影像處理系統20000進行參數設定。利用影像輸出介面16000，可經由一影像輸出通道16100將各階段之影像資訊呈現至一顯示螢幕16200，以利使用者觀察。其中，影像提供裝置12200可包含一共軛焦顯微技術(Confocal Microscopy)之裝置，以掃描個別果蠅腦或其他腦以得到腦部表面模型資訊。相關成像技術可參考美國專利申請「Bio-Expression System and the Method of the Same」，其專利申請號為11/169,890。再者，其他介面或裝置17000可泛指其他未詳細列出之其他所需介面或裝置。在本發明之較佳實施例中，其他介面或裝置17000可包含網路埠，其可包含有線或無線網路，並可經由有線或無線網路通道17100耦合至至少一遠端電腦17200，藉此，可經由具有權限之遠端電腦17200發出指令，要求電腦10000(特別是資料庫模組27000)中之影像資訊傳送至遠端電腦17200，以供遠端電腦17200進一步利用這些影像資訊。此處所指遠端電腦17200係泛指任何可接收上述影像資訊之裝置。
圖二為根據本發明實施例之影像處理系統示意圖。在圖二中，影像處理系統20000包含：一控制模組21000；一縮放及對準模組22000，耦合至控制模組21000，用以將影像輸入介面12000接收之1至N組(N為大於等於2之自然數)果蠅腦之表面模型之影像資訊進行縮放及對準處理，以減少各影像資訊間之主要差異，以利於獲得特徵資訊；一貝氏曲線配適模組(Bezier-Curve Fitting Module)23000，耦合至控制模組21000，用以進行貝氏曲線配適處理；一貝氏管配適模組(Bezier-Tube Fitting Module)24000，耦合至控制模組21000，用以根據貝氏曲線進一步進行貝氏管配適處理(特定而言，可投影貝氏管配適結果到N組影像，或是投影使用者所設定之貝氏曲線到N組影像，再各自進行貝氏管配適。且其中貝氏管配適模組24000可接收貝氏曲線、形成貝氏管及進行配適)；一修正模組25000，耦合至控制模組21000，用以根據貝氏管配適處理之結果進一步對表面模型進行修正處理，以產生複數組修正之影像資訊；一平均模組26000，耦合至控制模組21000，用以對所述複數組修正之影像資訊進行平均處理，以產生一特徵保留的平均影像資訊26100；及一資料庫模組27000，耦合至控制模組21000，用以暫存或儲存上述各模組所形成之資訊。關於上述各模組之詳細處理流程將於下文詳述。
圖三A至三D為根據本發明實施例之影像處理方法流程示意圖。在圖三A中，影像處理方法30000包含：在步驟31000中，將1至N組影像資訊進行縮放及對準以獲得至少一特徵資訊；在步驟32000中，根據所述至少一特徵資訊設定複數個二維特徵標記點以產生至少一貝氏曲線；在步驟33000中，利用所述至少一貝氏曲線產生至少一貝氏管並進行貝氏管配適；在步驟34000中，利用所述貝氏管配適之結果對所述1至N組影像資訊進行修正以產生複數組修正之影像資訊；及在步驟35000中，對所述複數組修正之影像資訊進行平均以產生一特徵保留的平均影像資訊。在較佳實施例中，步驟34000係利用一處理器加以實施。其中，為清楚說明本發明，上述方法大體上可簡要說明如下：步驟31000至33000大體上可視為從多組資訊中選擇並形成一特徵資訊的參考組；而步驟34000大體上可視為計算各組之表面與各自貝氏管之關係，然後扭動貝氏管使其接近於平均貝氏管並帶動模型變動(修正)，接著對變動過後的所有模型進行平均，以求得變動過後的平均模型，以得到特徵保留的平均之影像資訊。
圖三B顯示根據本發明實施例之影像處理方法之較詳細流程示意圖。在圖三B中，影像處理方法30000包含：在步驟31100中，透過處理單元11000執行電腦可讀取記錄媒體13100中載有之應用程式13120，以經由控制模組21000之控制，從影像輸入介面12000接收1至N組影像資訊並儲存至資料庫模組27000；在步驟31200中，利用縮放及對準模組22000從資料庫模組27000擷取所述1至N組影像資訊並進行縮放及對準，以消除各影像資訊之間的主要差異，藉此，可產生至少一特徵資訊，並將經過縮放及對準之1至N組影像資訊儲存於資料庫模組27000，且同時可利用影像輸出介面16000經由影像輸出通道16100將上述影像資訊及特徵資訊呈現於顯示螢幕16200。上述至少一特徵資訊可為譬如凹陷結構，經縮放及對準處理後可明顯顯示出所有果蠅腦影像資訊之共有凹陷結構，以作為特徵資訊；在步驟32100中，利用設定介面15000以供使用者或電腦程式輸入參考影像資訊選擇指令23100至貝氏曲線配適模組23000，以於所述1至N組影像資訊中選擇至少一組作為參考影像資訊；在步驟32200中，利用設定介面15000以供使用者或電腦程式根據所述至少一特徵資訊對所述參考影像資訊輸入二維特徵標記點設定指令23200，以產生複數個二維特徵標記點；在步驟32300中，利用貝氏曲線配適模組23000根據所述複數個二維特徵標記點產生複數個三維特徵標記點；在步驟32400中，利用最小平方法根據所述複數個三維特徵標記點產生至少一貝氏曲線；在步驟33100中，利用貝氏管配適模組24000將所述至少一貝氏曲線膨脹為至少一貝氏管；在步驟33200中，利用貝氏管配適模組24000根據所述至少一貝氏管對參考影像資訊進行配適以產生參考影像資訊之貝氏管配適結果，以根據所述參考影像資訊之貝氏管或貝氏管配適結果對所述1至N組影像資訊進行配適以分別產生複數個貝氏管控制點；在步驟34100中，利用修正模組25000對所述1至N組影像資訊之各複數個貝氏管控制點進行平均處理以產生複數個平均貝氏管控制點；在步驟34200中，利用修正模組25000分別計算所述1至N組影像資訊之各複數個貝氏管控制點相對於所述複數個平均貝氏管控制點之運動(Movement)以產生1至N組影像資訊之各貝氏管運動資訊；在步驟34300中，利用修正模組25000根據所述1至N組影像資訊之貝氏管運動資訊及1至N組影像資訊之關聯地圖(Correspondence Map)，對所述1至N組影像資訊分別進行修正處理以產生1至N組修正之影像資訊，其中所述1至N組影像資訊之關聯地圖係利用第K組(1≦K≦N)影像資訊之貝氏管控制點與經過縮放及對準後之第K組影像資訊之配適所產生；在步驟35100中，利用平均模組26000對所述1至N組修正影像資訊進行平均處理，以產生一特徵保留的平均影像資訊26100；及在步驟35200中，將所述特徵保留的平均影像資訊利用影像輸出介面16000傳送至顯示螢幕16200或利用有線或無線網路通道17100傳送至遠端電腦。
在本發明之一些實施例中，在上述利用縮放及對準模組22000將所述1至N組影像資訊進行縮放及對準之步驟31200中，係可利用剛體轉換(Rigid Transformation)進行，剛體轉換可定義如下：
x' =R (x -C )+C +T ，
其中，在剛體轉換前之任意點之位置為x =[x,y,z]T ，且x ’為新位置。此外，C=[Cx ,Cy ,Cz ]T 為旋轉中心、T =[Tx ,Ty ,Tz ]T 為移轉矩陣，且R 為轉動矩陣。此外，兩影像資訊是否經過適當的縮放及對準，可利用距離量測作為判斷的標準。在一實施例中，經由數次轉換後，剛性轉換之結果如圖十所示。
在本發明之較佳實施例中，係利用一種圖形使用者介面(Graphical User Interface，GUI)讓使用者以二維操作系統對三維模型進行特徵標記，因此需要找出各二維特徵標記點之深度。如圖三C所示，上述根據所述複數個二維特徵標記點產生複數個三維特徵標記點之步驟32300包含：在步驟32310中，利用貝氏曲線配適模組23000對所述複數個二維特徵標記點分別產生一垂直於二維觀察平面之向量；在步驟32320中，利用貝氏曲線配適模組23000使所述垂直於二維觀察平面之向量穿過第K組影像資訊之表面模型；在步驟32330中，利用貝氏曲線配適模組23000找出所述第K組影像資訊之表面模型上被所述垂直於二維觀察平面之向量穿過之複數個三角片資訊，其中，所述第K組影像資訊主要是針對參考組，但對其他組影像亦可適用；在步驟32340中，利用貝氏曲線配適模組23000計算所述複數個三角片資訊之中間值；及在步驟32350中，以所述中間值之位置作為三維特徵標記點之位置。其中，因為三維模型一般而言是封閉的，因此上述垂直於二維觀察平面之向量將至少穿過所述三維模型兩次(穿進及穿出)。藉由計算兩個被垂直於二維觀察平面之向量穿過的三角片資訊之中間值之位置，並利用所述中間值之位置作為三維特徵標記點之位置，可使上述三維特徵標記點位於上述三維模型之中。
在本發明之較佳實施例中，如圖三D所示，上述利用最小平方法根據所述複數個三維特徵標記點產生至少一貝氏曲線之步驟32400包含：在步驟32410中，利用貝氏曲線配適模組23000將所述複數個三維特徵標記點進行分組(以數個標記點為一組來求取其曲線)以產生複數個三維特徵標記點群組；在步驟32420中，利用貝氏曲線配適模組23000將所述複數個三維特徵標記點群組之頭尾標記點分別作為複數個貝氏曲線片段之第一及最後貝氏曲線控制點；及在步驟32430中，利用貝氏曲線配適模組23000使用最小平方法根據所述第一及最後貝氏曲線控制點找出中間貝氏曲線控制點。其中，在較佳實施例中，利用最小平方法根據所述第一及最後貝氏曲線控制點找出中間貝氏曲線控制點之步驟32430包含：在步驟32431中，利用貝氏曲線配適模組23000產生最小平方法成本函數(Cost Function)；及在步驟32432中，利用貝氏曲線配適模組23000以所述最小平方法成本函數之一階偏微分找出所述中間貝氏曲線控制點。其中，m 階的貝氏曲線可廣義表示為：
其中C (t i )是位於參數值t i 之內插點(m 階貝氏曲線之任一點，又稱曲線點(Curve Point))、m 是貝氏曲線之階數，且P k 是第k 個貝氏曲線控制點。為了在第一及最後一個貝氏曲線控制點之間產生n個點(n是內插點之數量)，參數t i 係均勻地在0及1之間切成n-1間隔。在較佳實施例中，三維之貝氏曲線可表示如下：
其中，複數個貝氏曲線片段將分別穿過其第一及最後之三維特徵標記點。此外，必須決定三維貝氏曲線之中間貝氏曲線控制點，即P 1 及P 2 。為了定位P 1 及P 2 並以較省時之方法取代疊代最佳化步驟，在本發明之較佳實施例中係利用一種基於一階偏微分之最小平方法。此最小平方法提供中間貝氏曲線之較佳位置。假設有n個三維特徵標記點需要進行配適，則三維特徵標記點及近似貝氏曲線點之值分別表示為p i 及C(t i ) 。接著，我們可將此最小平方法之成本函數表示如下：
藉由將一階偏微分應用至上述成本函數，可獲得中間貝氏曲線控制點P 1 及P 2 之值，其一階偏微分表示如下：
在決定貝氏曲線控制點之後，三維之貝氏曲線可配適大量三維特徵標記點，如圖五A及五B所示。圖五A及五B顯示在本發明之實施例中三維特徵標記點及對應之貝氏曲線之示意圖。為了獲得更精準的配適結果，在較佳實施例中可以將原始複數個標記點所形成之曲線切成複數個曲線片段，接著，將最小平方法應用至各曲線片段。配適結果如圖六A及六B所示。圖六A及六B顯示在本發明之實施例中，多段貝氏曲線片段之示意圖，可證實利用多段貝氏曲線片段，可使貝氏曲線更精準的對應於所屬之三維特徵標記點。
在本發明之較佳實施例中，上述將所述至少一貝氏曲線膨脹為至少一貝氏管之步驟33100，係利用貝氏管配適模組24000以將中心位於各曲線上點C(t i )且半徑為 R 之圓圈插入曲線中，且其中各圓圈係正交於對應曲線點之切線。圖七係表示在步驟33100後經過膨脹產生之結果，並將其稱為「三維貝氏管(Cubic Bezier Tube)」。此管之中心線係為包含四個貝氏曲線控制點之一種三維貝氏曲線。在此中以CyPt(i,j) 表示在第i個圓圈之第j個柱狀氣球點(Cylinder Balloon Point)。在本發明之較佳實施例中，上述根據所述至少一貝氏管對參考影像資訊進行配適以產生參考影像資訊之貝氏管配適結果。再根據所述參考影像資訊之貝氏管或貝氏管配適結果對所述1至N組影像資訊進行配適以分別產生複數個貝氏管控制點之步驟33200包含將所述至少一貝氏管在空間中進行移動且重新定位，以更精確的界定影像資訊之特徵，如圖八所示。圖八表示本發明實施例中「特徵擷取」之變化情形，即步驟33200之結果。在貝氏管配適之步驟中(步驟33200)，係應用一種三維之距離地圖，其為一種體積之資料集，用以表示距離物體表面最短距離之資訊。在三維空間中提供一個幾何物件(一種表面模型之影像資訊)，此三維之距離地圖定義出點至物件上點p k 之最短距離(表面模型最接近定義點之頂點與定義點之間的距離)。或相等地表示為：
上述步驟係與距離相關(Distance-Based)，因此，先找出上述三維貝氏管及影像資訊之平均距離之關係，以此作為系統成本函數，並將此系統成本函數最小化。當具有複數個貝氏管片段時，第k貝氏管片段之平均距離E k (即系統成本函數)定義如下，其中，此處之d(x)為DistMap(x)所記錄之值：
接著，可利用梯度下降法將上述系統成本函數Ek 進行最小化處理，在疊代數次後，所述貝氏管之位置可被最佳化，結果如圖九所示，並可藉此獲得最佳化之複數個貝氏管控制點。換言之，步驟33200可視為根據所述參考影像資訊之貝氏管或貝氏管配適結果對所述1至N組影像資訊進行配適，在此步驟中將參考影像之貝氏管或貝氏管配適結果投影到所述1至N組影像資訊以作為其貝氏管之初始位置，再進行貝氏管配適以求取所述1至N組影像資訊之貝氏管配適結果。
在本發明之較佳實施例中，在利用修正模組25000對所述1至N組影像資訊之各複數個貝氏管控制點進行平均處理以產生複數個平均貝氏管控制點之步驟34100中，可僅對所述各複數個貝氏管控制點進行平均，而不需對所有離散之曲線點進行平均。其中，平均貝氏管控制點可表示如下：
其中，m 代表三維貝氏曲線之數量。一旦決定了平均貝氏管控制點，則可以利用下式建立平均之貝氏管之中心線：
其中，t □[0,1]。
在本發明之較佳實施例中，在利用修正模組25000分別計算所述1至N組影像資訊之各複數個貝氏管控制點相對於所述複數個平均貝氏管控制點之運動以產生1至N組影像資訊之各貝氏管運動資訊之步驟34200中，可計算個別貝氏管之中心線上任意點B ind (t m )至平均貝氏管之中心線上相同索引點B avg (t m )之運動，因為是線性方程式，故可表示為貝氏管控制點之差異之加權總合，並表示如下：
利用上述方程式，可產生1至N組影像資訊之貝氏管運動資訊，其可表示為矩陣形式。
在本發明之較佳實施例中，在步驟34300中，係利用平均之貝氏管(平均貝氏管控制點)作為骨架(Skeleton)或類骨架(Skeleton-like)，以據此進一步控制1至N組影像資訊之修正處理。其中，圖四顯示此中所指之骨架(或類骨架)之示意圖。在後續程序中，利用骨架來調整個別影像資訊，以確認它們皆具有相似之凹陷結構。藉由測量1至N組影像資訊中各表面頂點與各影像資訊之貝氏管上之最近對應點之三維歐幾里得距離，可指出各影像資訊中各凹陷形狀與各貝氏管之對應點與其相關聯性。若上述三維歐幾里得距離量測結果越小，則相關聯性越高。圖十一顯示影像資訊之三角片(Patch N)之頂點與貝氏管之關聯性。並藉此找出修正處理(或稱為變形(Deformation)處理)之權重，具有下述特性：
1.若頂點及貝氏管之距離越長，則權重越低。
2.若距離小於R ，則頂點應對應整體運動向量(約100%)。故權重約為1。
3.若距離大於R +λ，則頂點應省略對應之運動向量(約0%)，故權重約為0。
其中，R 是平均貝氏管之半徑，而λ是衰減之距離。此外，在本發明實施例中，係利用一種平滑的非線性函數，譬如S形函數(Sigmoid Function)，其具有「S」之形狀且爬升平緩，其可表示如下：
經過尺寸調整及轉換之具有α及β之S形函數可視為平滑之權重函數。利用S形函數，我們可計算新的頂點位置如下：
其中運動(movement) 係對應於個別貝氏管之中心線上之對應點至平均貝氏管之中心線上相同索引點之運動。若具有多段貝氏管，則為一種多項變形場(Multiple Deformation Field)，且為上述整體步驟之組合，其頂點是由多段貝氏管所控制，如圖十二所示，其中，頂點41000與各貝氏管上之點42100、42200及42300之距離分別為43100、43200及43300，且各點之運動向量分別為44100、44200及44300。此外，關於修正(變形)之步驟可利用之方程式如下：
其中α、β、γ及η為S形函數尺寸及轉換之變數。利用上式，可以利用貝式管產生之運動Movement 來將所有貝氏管附近之頂點vertexData 修正至具有平均貝氏管之新頂點位置NewVertexData 。
在本發明之較佳實施例中，在步驟35100中，平均處理可包含標定距離地圖(Signed Distance Map，SDM)平均步驟，包含：
1.將影像資訊從形狀模型(Shape Model)轉換為體積模型(Volume Model)。
2.產生薄片之SDM。
3.將各影像資料所產生之SDM累積加總並切成薄片，並找出在各薄片中距離為零之零位輪廓(Zero Contour)作為平均輪廓。
4.將零位輪廓堆疊，並獲得平均之三維輪廓。
5.將三維輪廓轉換為形狀模型(或稱線框模型(Wireframe Model))。
在本發明之較佳實施例中，九個腦模型之初始特徵曲線(請參考步驟33200之敘述，將參考影像之貝氏管投影到所述1至N組影像資訊作為貝氏管的初始位置)係顯示如圖十三。經由步驟33200處理後之結果係顯示如圖十四。由圖十四可證實，經由貝氏管之配適處理，各影像資訊之特徵係可被良好的擷取出來。此外，圖十五顯示在步驟34300處理前後，兩影像資訊之重疊情形示意圖。由圖十五可證實，經由修正處理，兩影像資訊之重疊程度明顯提升，藉此將有助於在平均處理後保留影像資訊之重要特徵。
再者，圖十六A顯示未經修正處理前之三個影像資訊重疊示意圖。圖十六B顯示經修正處理後之三個影像資訊重疊示意圖。圖十六C顯示未經修正處理之三個影像資訊之平均影像資訊。圖十六D顯示經過修正處理之三個影像資訊之平均影像資訊。從圖十六A至D中個別之圓圈標示中，可證實各影像資訊之特徵(譬如凹陷結構)在經過本發明之方法及系統處理後，確實可有效地保存下來。相較之下，未經修正處理之平均結果，則將使得影像資訊之特徵資訊流失，將不利於標準腦模型之形成。
上述為本發明之較佳實施例，其係用以說明本發明而非用以限定本發明所主張之申請專利範圍。其專利保護範圍當視後附之申請專利範圍及其均等物。凡熟悉此領域之技藝者，在不脫離本發明之精神或範圍內，所作之更動或潤飾，均屬於本發明揭示下所完成之等效改變或設計，且應包含在下述之申請專利範圍內。
10000．．．電腦
11000．．．處理單元
12000．．．影像輸入介面
12100．．．影像輸入通道
12200．．．影像提供裝置
13000．．．儲存裝置介面
13100．．．電腦可讀取記錄媒體
13110．．．作業系統
13120．．．應用程式
13130．．．程式語言及對應之編譯器
13140．．．其他程式
14000．．．記憶體
15000．．．設定介面
16000．．．影像輸出介面
16100．．．影像輸出通道
16200．．．顯示螢幕
17000．．．其他介面/裝置
17100．．．有線或無線網路通道
17200．．．遠端電腦
20000．．．影像處理系統
21000．．．控制模組
22000．．．縮放及對準模組
22100．．．1至N組影像資訊
23000．．．貝氏曲線配適模組
23100．．．參考影像資訊選擇指令
23200．．．二維特徵標記點設定指令
24000．．．貝氏管配適模組
25000．．．修正模組
26000．．．平均模組
26100．．．特徵保留的平均影像資訊
27000．．．資料庫模組
30000．．．影像處理方法
31000、31100、31200、32000、32100、32200、32300、32310、32320、32330、32340、32350、32400、32410、32420、32430、32431、32432、33000、33100、33200、34000、34100、34200、34300、35000、35100、35200．．．步驟
圖一顯示根據本發明實施例之硬體設備示意圖。
圖二顯示根據本發明實施例之影像處理系統示意圖。
圖三A至三D顯示根據本發明實施例之影像處理方法流程示意圖。
圖四顯示根據本發明實施例之骨架示意圖。
圖五A及五B顯示根據本發明實施例之三維特徵標記點及對應之貝氏曲線之示意圖。
圖六A及六B顯示根據本發明實施例之多段貝氏曲線片段之示意圖。
圖七顯示根據本發明實施例之三維貝氏管示意圖。
圖八顯示根據本發明實施例之特徵擷取變化示意圖。
圖九顯示根據本發明實施例之貝氏管配適結果示意圖。
圖十顯示根據本發明實施例之剛性轉換結果示意圖。
圖十一顯示根據本發明實施例之影像資訊之三角片之頂點與貝氏管之關聯性示意圖。
圖十二顯示根據本發明實施例之頂點與運動向量之關聯性示意圖。
圖十三顯示根據本發明實施例之九個腦模型之初始特徵曲線示意圖。
圖十四顯示根據本發明實施例之經過特徵擷取步驟後之特徵曲線示意圖。
圖十五顯示根據本發明實施例之修正處理程序前後兩影像資訊之重疊情形示意圖。
圖十六A至D顯示根據本發明實施例之多個修正處理前後之影像資訊重疊示意圖。
30000．．．影像處理方法
31000、31100、31200、32000、32100、32200、32300、32400、33000、33100、33200、34000、34100、34200、34300、35000、35100、35200．．．步驟

Claims (16)

  1. 一種影像處理方法，用以平均複數組影像資訊並保留主要特徵，該影像處理方法包含：將複數組影像資訊進行縮放及對準以獲得至少一特徵資訊；根據該至少一特徵資訊設定複數個二維特徵標記點以產生至少一貝氏曲線；利用該至少一貝氏曲線產生至少一貝氏管並進行貝氏管配適處理以產生貝氏管配適結果；利用一處理器根據該貝氏管或該貝氏管配適結果對該複數組影像資訊進行修正處理以產生複數組修正之影像資訊；及對該複數組修正之影像資訊進行平均處理以產生一特徵保留的平均影像資訊。
  2. 如請求項1所述之影像處理方法，更包含將該平均之修正影像資訊利用一影像輸出介面傳送至顯示螢幕或利用有線或無線網路傳送至遠端電腦之步驟。
  3. 如請求項1所述之影像處理方法，其中根據該至少一特徵資訊設定複數個二維特徵標記點以產生至少一貝氏曲線之步驟包含：利用該複數個二維特徵標記點產生複數個三維特徵標記點；及利用最小平方法根據該複數個三維特徵標記點產生至少一貝氏曲線。
  4. 如請求項3所述之影像處理方法，其中利用該複數個二維特徵標記點產生複數個三維特徵標記點之步驟包含：根據該複數個二維特徵標記點產生垂直於二維觀察平面之複數個向量；使該複數個向量分別穿過該組影像資訊；分別找出該組影像資訊被該複數個軌跡向量穿過之複數對影像三角片；分別找出該複數對影像三角片之中間值位置以得到複數個中間點；及將該複數個中間點設定為該複數個三維特徵標記點。
  5. 如請求項3所述之影像處理方法，其中利用最小平方法根據該複數個三維特徵標記點產生至少一貝氏曲線之步驟包含：將該複數個三維特徵標記點進行分組以產生複數個三維特徵標記點群組；根據該複數個三維特徵標記點群組產生複數個貝氏曲線片段；及根據該複數個貝氏曲線片段產生該至少一貝氏曲線。
  6. 如請求項5所述之影像處理方法，其中根據該複數個三維特徵標記點群組產生複數個貝氏曲線片段之步驟包含：利用最小平方法根據該複數個三維特徵標記點群組產生最小平方成本函數；利用該最小平方成本函數之一階偏微分找出該複數個三維特徵標記點分別之中間貝氏曲線控制點；及根據該複數個三維特徵標記點群組及該些中間貝氏曲線控制點產生該複數個貝氏曲線片段。
  7. 如請求項1所述之影像處理方法，其中利用該貝氏管或該貝氏管配適結果對該複數組影像資訊進行修正處理以產生複數組修正之影像資訊之步驟包含找出修正處理之權重之步驟。
  8. 如請求項1所述之影像處理方法，其中利用該貝氏管或該貝氏管配適結果對該複數組影像資訊進行修正處理以產生複數組修正之影像資訊之步驟包含利用非線性函數進行處理之步驟。
  9. 如請求項1所述之影像處理方法，其中對該複數組修正之影像資訊進行平均處理以產生一特徵保留的平均影像資訊之步驟包含標定距離地圖(Signed Distance Map，SDM)平均步驟。
  10. 如請求項1所述之影像處理方法，其中該些影像資訊係為三維果蠅腦模型影像資訊。
  11. 如請求項1所述之影像處理方法，其中該至少一特徵資訊為腦模型影像資訊之凹陷結構。
  12. 一種影像處理系統，用以平均複數組影像資訊並保留主要特徵，該影像處理系統包含：一控制模組；一縮放及對準模組，耦合至該控制模組，用以縮放及對準複數組影像資訊以獲得至少一特徵資訊；一貝氏曲線配適模組，耦合至該控制模組，用以根據該至少一特徵資訊設定複數個二維特徵標記點以產生至少一貝氏曲線；一貝氏管配適模組，耦合至該控制模組，用以利用該至少一貝氏曲線產生至少一貝氏管並進行貝氏管配適處理以產生貝氏管配適結果；一修正模組，耦合至該控制模組，用以利用該貝氏管或該貝氏管配適結果對該複數組影像資訊進行修正處理以產生複數組修正之影像資訊；一平均模組，耦合至該控制模組，用以對該複數組修正之影像資訊進行平均處理以產生一特徵保留的平均影像資訊；及一資料庫模組，耦合至該控制模組，用以供上述各模組儲存資訊。
  13. 如請求項12所述之影像處理系統，其中該些影像資訊係為三維果蠅腦模型影像資訊。
  14. 如請求項12所述之影像處理系統，其中該至少一特徵資訊為腦模型影像資訊之凹陷結構。
  15. 一種內儲程式之電腦可讀取記錄媒體，當電腦載入該程式並執行後，可完成如請求項1至11任一項所述之影像處理方法。
  16. 一種內儲於電腦之電腦程式產品，當電腦載入該電腦程式並執行後，可完成如請求項1至11任一項所述之影像處理方法。
TW099104760A 2010-02-12 2010-02-12 可保留影像特徵之影像處理方法及系統 TWI393071B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW099104760A TWI393071B (zh) 2010-02-12 2010-02-12 可保留影像特徵之影像處理方法及系統
US12/814,835 US8665276B2 (en) 2010-02-12 2010-06-14 Image processing method for feature retention and the system of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW099104760A TWI393071B (zh) 2010-02-12 2010-02-12 可保留影像特徵之影像處理方法及系統

Publications (2)

Publication Number Publication Date
TW201128568A TW201128568A (en) 2011-08-16
TWI393071B true TWI393071B (zh) 2013-04-11

Family

ID=44369337

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099104760A TWI393071B (zh) 2010-02-12 2010-02-12 可保留影像特徵之影像處理方法及系統

Country Status (2)

Country Link
US (1) US8665276B2 (zh)
TW (1) TWI393071B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI682360B (zh) * 2017-03-24 2020-01-11 日商斯庫林集團股份有限公司 圖像處理方法及圖像處理裝置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060218493A1 (en) * 2005-03-28 2006-09-28 Murray Keith A Method, system and device for controlling a display
US11257253B2 (en) * 2019-12-10 2022-02-22 Nvidia Corporation Method and system for unified encoding of path segments, caps, and joins for path stroking
US11164372B2 (en) * 2019-12-10 2021-11-02 Nvidia Corporation Polar stroking for vector graphics
DE102020130293A1 (de) 2019-12-10 2021-06-10 Nvidia Corporation Polar stroking für vektorgrafiken
US11630517B1 (en) * 2022-01-25 2023-04-18 Synchron Australia Pty Limited Systems and methods for increasing control using a neural signal

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666472A (en) * 1992-11-06 1997-09-09 Canon Kabushiki Kaisha Image processing apparatus and method for generating polygons for use in rendering an object
US20030034971A1 (en) * 2001-08-09 2003-02-20 Minolta Co., Ltd. Three-dimensional object surface shape modeling apparatus, method and program
US20040090437A1 (en) * 2002-11-12 2004-05-13 Akira Uesaki Curved surface image processing apparatus and curved surface image processing method
US20060262112A1 (en) * 2005-05-23 2006-11-23 Carnegie Mellon University System and method for three-dimensional shape generation from partial and incomplete views, and interactive design system using same

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5038302A (en) * 1988-07-26 1991-08-06 The Research Foundation Of State University Of New York Method of converting continuous three-dimensional geometrical representations into discrete three-dimensional voxel-based representations within a three-dimensional voxel-based system
US5796400A (en) * 1995-08-07 1998-08-18 Silicon Graphics, Incorporated Volume-based free form deformation weighting
US6262738B1 (en) * 1998-12-04 2001-07-17 Sarah F. F. Gibson Method for estimating volumetric distance maps from 2D depth images
US20040068187A1 (en) * 2000-04-07 2004-04-08 Krause Norman M. Computer-aided orthopedic surgery
WO2002009037A2 (en) * 2000-07-24 2002-01-31 Reflex Systems Inc. Modeling human beings by symbol manipulation
US7412360B2 (en) * 2000-09-19 2008-08-12 Technion Research & Development Foundation Ltd. Method and apparatus for shape deformation and placement
US6792071B2 (en) * 2002-03-27 2004-09-14 Agfa-Gevaert Method of performing geometric measurements on digital radiological images
US8512037B2 (en) * 2002-09-26 2013-08-20 Ormco Corporation Custom orthodontic appliance system and method
US6928733B2 (en) * 2002-11-06 2005-08-16 Lingualcare, Inc. Method and system for customizing an orthodontic archwire
US8429174B2 (en) * 2003-01-25 2013-04-23 Purdue Research Foundation Methods, systems, and data structures for performing searches on three dimensional objects
JP4235180B2 (ja) * 2003-05-19 2009-03-11 富士通株式会社 ハーネス設計支援装置並びにハーネス設計支援プログラムおよび同プログラムを記録したコンピュータ読取可能な記録媒体
US7646383B1 (en) * 2004-05-28 2010-01-12 Autodesk, Inc. Methods and apparatuses to effect deformation of computer-generated three-dimensional surfaces
US7782324B2 (en) * 2005-11-23 2010-08-24 Dreamworks Animation Llc Non-hierarchical unchained kinematic rigging technique and system for animation
US20080275677A1 (en) * 2007-03-19 2008-11-06 Optimal Solutions Software, Llc System, methods, and computer readable media, for product design using coupled computer aided engineering models
US8400455B2 (en) * 2008-01-11 2013-03-19 Sony Corporation Method and apparatus for efficient offset curve deformation from skeletal animation
CA2713122A1 (en) * 2008-01-23 2009-07-30 Sensable Technologies, Inc. Haptically enabled dental modeling system
JP4444346B2 (ja) * 2008-05-22 2010-03-31 ザイオソフト株式会社 医療画像処理方法および医療画像処理プログラム
US8831913B2 (en) * 2009-06-10 2014-09-09 Airbus Operations Limited Method of design optimisation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5666472A (en) * 1992-11-06 1997-09-09 Canon Kabushiki Kaisha Image processing apparatus and method for generating polygons for use in rendering an object
US20030034971A1 (en) * 2001-08-09 2003-02-20 Minolta Co., Ltd. Three-dimensional object surface shape modeling apparatus, method and program
US20040090437A1 (en) * 2002-11-12 2004-05-13 Akira Uesaki Curved surface image processing apparatus and curved surface image processing method
US20060262112A1 (en) * 2005-05-23 2006-11-23 Carnegie Mellon University System and method for three-dimensional shape generation from partial and incomplete views, and interactive design system using same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Lindsey Spratt; Allen Ambler, "Using 3D Tubes to Solve the Intersecting Line Representation Problem", IEEE Symposium on Visual Languages, 1994. Proceedings., 4-7 Oct 1994, Page: 254 - 261。 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI682360B (zh) * 2017-03-24 2020-01-11 日商斯庫林集團股份有限公司 圖像處理方法及圖像處理裝置
US11087510B2 (en) 2017-03-24 2021-08-10 SCREEN Holdings Co., Ltd. Image processing method and image processor

Also Published As

Publication number Publication date
TW201128568A (en) 2011-08-16
US20110199370A1 (en) 2011-08-18
US8665276B2 (en) 2014-03-04

Similar Documents

Publication Publication Date Title
CN110443885B (zh) 基于随机人脸图像的三维人头脸模型重建方法
CN110599528B (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
TWI393071B (zh) 可保留影像特徵之影像處理方法及系統
JP6891351B2 (ja) 多特徴検索と変形に基づく人体髪型の生成方法
WO2021213124A1 (zh) 血流特征预测方法、装置、计算机设备和存储介质
CN105938627B (zh) 用于人脸虚拟整形的处理方法和系统
CN102525662B (zh) 组织器官三维可视化手术导航系统
CN106611411B (zh) 一种医学图像中肋骨分割的方法及医学图像处理装置
US9715754B2 (en) In-plane and interactive surface mesh adaptation
Probst et al. Automatic tool landmark detection for stereo vision in robot-assisted retinal surgery
US20070109299A1 (en) Surface-based characteristic path generation
CN113129425B (zh) 一种人脸图像三维重建方法、存储介质及终端设备
CN103559737A (zh) 一种对象全景建模方法
EP2663237A1 (en) Visualization of catheter in three-dimensional ultrasound
CN110781903A (zh) 基于网格优化和全局相似性约束的无人机图像拼接方法
CN109903277A (zh) 一种基于多项式曲线拟合的脊柱侧弯检测方法
CN106228567A (zh) 一种基于平均曲率流的脊椎特征点自动识别方法
CN110363170A (zh) 视频换脸方法和装置
CN112261399B (zh) 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
CN108090954A (zh) 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法
CN102903117A (zh) 一种基于共形几何代数的三维图像配准方法及装置
CN108198235A (zh) 一种三维超声重建方法、装置、设备及存储介质
JP6608165B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム
CN112381952B (zh) 一种基于多相机的面部轮廓点云模型重构方法及装置
CN116797463B (zh) 特征点对提取方法及图像拼接方法