TWI744798B - 基於腦影像的神經精神疾病評估方法及系統 - Google Patents

基於腦影像的神經精神疾病評估方法及系統 Download PDF

Info

Publication number
TWI744798B
TWI744798B TW109104565A TW109104565A TWI744798B TW I744798 B TWI744798 B TW I744798B TW 109104565 A TW109104565 A TW 109104565A TW 109104565 A TW109104565 A TW 109104565A TW I744798 B TWI744798 B TW I744798B
Authority
TW
Taiwan
Prior art keywords
image
brain
determined
image portion
white matter
Prior art date
Application number
TW109104565A
Other languages
English (en)
Other versions
TW202131351A (zh
Inventor
張育瑋
楊智傑
蔡世仁
Original Assignee
國立陽明交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立陽明交通大學 filed Critical 國立陽明交通大學
Priority to TW109104565A priority Critical patent/TWI744798B/zh
Priority to CN202110066168.2A priority patent/CN113243914B/zh
Priority to US17/160,168 priority patent/US11379982B2/en
Publication of TW202131351A publication Critical patent/TW202131351A/zh
Application granted granted Critical
Publication of TWI744798B publication Critical patent/TWI744798B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Neurology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

一種基於腦影像的神經精神疾病評估方法包含：將獲得的多個正常者的3D腦影像和多個神經精神疾病患者的3D腦影像依序執行了方位角校正處理及腦組織識別處理，獲得每一3D腦影像的白質、灰質及脊髓液影像部分；根據經降維處理的所有白質影像部分、所有灰質影像部分和所有脊髓液影像部分，利用深度神經網路演算法自我學習訓練，獲得分別對應於灰質、白質和脊髓液的第一至第三判定模型；及將有關於待判定3D腦影像之白質、灰質及脊髓液影像部分在降維後分別饋入該第一至第三判定模型，經演算後分別獲得第一至第三判定結果，並據以產生評估結果。

Description

基於腦影像的神經精神疾病評估方法及系統
本發明是有關於神經精神疾病的評估，特別是指一種基於腦影像的神經精神疾病評估方法及系統。
隨著經濟速快速發展所帶來的競爭壓力，致使在全球各國內罹患如思覺失調(Schizophrenia，又稱精神分裂)、躁鬱症(Bipolar)、憂鬱症(Depression)等精神疾病的病患已逐年增加。另外，全球逐漸高齡化的人口也使神經退化疾病如失智症(Dementia)以及巴金森氏症(Parkinson’s Disease)等的罹病人口逐年上升。目前這些神經精神疾病主要仍依賴病患行為表現的觀察紀錄和神經精神科醫師的臨床經驗進行定性分析方式來診斷。然而，由於多種神經精神疾病的認知或行為表現之間存在不同程度的表徵重疊，因此若僅依賴病患的症狀或行為表現的診斷將明顯不足。於是，在臨床上，可透過一種非侵入性的造影技術，例如磁振造影(Magnetic Resonance Imaging，簡稱MRI)儀所獲得的MRI腦影像進一步認識和理解神經精神疾病的複雜性與多變性。
因此，如何利用腦影像來評估神經精神疾病以作為精神科醫師在臨床上的診斷輔助已成為當前重要的研究議題。
因此，本發明的一目的，即在提供一種基於腦影像的神經精神疾病評估方法，其能克服上述問題或者至少部分的解決上述問題。
於是，本發明所提供的一種基於腦影像的神經精神疾病評估方法，利用一電腦系統來執行，並包含以下步驟：(A)獲得多個分別對應於多個無神經精神疾病之正常者的3D腦影像、及多個分別對應於多個患有神經精神疾病的患者的3D腦影像；(B)對於步驟(A)所獲得的每一3D腦影像，執行一方位角校正處理，其中一深度學習演算法被用來辨識擷取自該3D腦影像並且彼此正交及相交於該3D腦影像的中心的第一至第三2D影像部分，以便根據該第一至第三2D影像部分的辨識結果校正該3D腦影像的該中心的3D方位角；(C)對於校正後的每一3D腦影像，基於白質、灰質和脊髓液在腦影像上不同的體素特性，執行一腦組織識別處理以便自該3D腦影像，擷取出一白質影像部分、一灰質影像部分和一脊髓液影像部分；(D)分別根據步驟(C)所獲得且經過降維處理後的所有白質影像部分、所有灰質影像部分和所有脊髓液影像部分，利用深度神 經網路演算法自我學習訓練，獲得分別對應於灰質、白質和脊髓液的第一至第三判定模型，該第一至第三判定模型其中每一者包含一輸入層、一與神經精神疾病患者的異常腦區相關連的特徵選擇層、多個隱藏層和一輸出層；(E)當接收到的一待判定3D腦影像時，對於該待判定3D腦影像，依序執行完該方位角校正處理和該腦組織識別處理，以獲得對應於該待判定3D腦影像的一待判定白質影像部分、一待判定灰質影像部分和一待判定脊髓液影像部分；(F)將經過降維處理後的該待判定白質影像部分、該待判定灰質影像部分和該待判定脊髓液影像部分分別饋入該第一至第三判定模型的輸入層，經由該第一至第三判定模型的該特徵選擇層和該等隱藏層的演算後，在該第一至第三判定模型的輸出層分別產生第一至第三判定結果；及(G)根據該第一至第三判定結果產生一有關於異常腦區的評估結果。
因此，本發明的另一目的，即在提供一種基於腦影像的神經精神疾病評估系統，其克服上述問題或者至少部分的解決上述問題。
於是，本發明所提供的一種基於腦影像的神經精神疾病評估系統包含一判定平台。該判定平台包括一儲存模組、一傳輸模組、一方位角校正模組、一腦組織識別模組、及一處理模組。該儲存模組儲存有如上述神經精神疾病評估方法所述的該第一至第 三判定模型。該傳輸模組適於接收一待判定3D腦影像。該方位角校正模組連接該傳輸模組以接收該待判定3D腦影像，自該待判定3D腦影像擷取出彼此正交且相交於該待判定3D腦影像的中心的第一至第三2D影像部分，利用一深度學習演算法進行對於該第一至第三2D影像部分的影像辨識，且根據該第一至第三2D影像部分的辨識結果校正該待判定3D腦影像的該中心的3D方位角。該腦組織識別模組連接該傳輸模組以接收校正後的該待判定3D腦影像，並基於白質、灰質和脊髓液在腦影像上不同的體素特性，自校正後的該待判定3D腦影像擷取出一待判定白質影像部分、一待判定灰質影像部分和一待判定脊髓液影像部分。該處理模組連接該儲存模組、該傳輸模組和該腦組織識別模組，並利用該儲存模組儲存的該第一至第三判定模型，將來自該腦組織識別模組的該待判定白質影像部分、該待判定灰質影像部分和該待判定脊髓液影像部分經過降維處理後分別饋入該第一至第三判定模型的輸入層，經由該第一至第三判定模型的特徵選擇層和隱藏層的演算後，在該第一至第三判定模型的輸出層分別產生第一至第三判定結果，而且根據該第一至第三判定結果產生一評估結果且經由該傳輸模組向外輸出該評估結果。
本發明之功效在於：對於用於訓練該第一至第三判定模型的每一3D腦影像及該待判定3D腦影像均執行了方位角校正處理，藉此能有效去除因頭動所導致的干擾並有助於建立精準的判定 模型，以及精準的腦影像判定；此外，由於採用了無神經精神疾病的正常者和患有神經精神疾病之患者的3D腦影像來分別進行對應於白質、灰質及脊髓液等不同腦組織的模型訓練，因此，建立的該第一至第三判定模型不僅對於神經精神疾病患者的3D腦影像具有相對高的敏感度(Sensitivity)，而且對於無神經精神疾病之正常者的3D腦影像亦具有相對高的特異度(Specificity)。在應用上，包含該第一至第三判定結果的評估結果確實能提供給精神科醫師並作為在診斷神經精神疾病病患上有效的輔助判定依據。
100:神經精神疾病評估系統
10:判定平台
1:儲存模組
2:傳輸模組
3:方位角校正模組
4:腦組織識別模組
5:處理模組
20:使用終端
200:通訊網路
S301~S307:步驟
S801~S807:步驟
本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一方塊圖，示例性地繪示本發明實施例基於腦影像的神經精神疾病評估系統的架構；圖2是一方塊圖，示例性地繪示該實施例的一判定平台的架構圖3是一流程圖，示例性地說明該判定平台的一儲存模組所儲存的第一至第三判定模型如何被建立；圖4至圖6分別繪示出由該判定平台的一方位角校正模組校正後的第一至第三2D影像之範例；圖7是一示意圖，示例性地說明該實施例所建立的該第一/二/三 判定模型的架構；及圖8是一流程圖，示例性地說明該實施例如何對於一待判定3D腦影像執行神經精神疾病評估處理。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1，所繪示的本發明實施例的基於腦影像的神經精神疾病評估系統100主要是用來判定一待判定3D(3-dimentional)腦影像是否存在有與神經精神疾病相關聯的異常腦區。在本實施例中，該待判定3D腦影像例如可以是藉由如磁振造影(MRI)儀掃描人腦在軸向上的不同切面所獲得的多個2D(2-dimentional)MRI影像組合而成的3DMRI影像，但不以此例為限，在其他實施例，亦可為3D電腦斷層掃描(Computerized Tomography，簡稱CT)影像。該神經精神疾病評估系統100包含一判定平台10、及一使用終端20。該判定平台10例如可以一電腦系統(圖未示)來實施，而該使用終端20例如可以一電腦裝置(如桌上型電腦、筆記型電腦、平板電腦、智慧型手機等)來實施，並經由一通訊網路200(如網際網路)與該判定平台10通訊。在實際使用時，該判定平台10可視為一用來提供神經精神疾病評估服務的雲端伺服 器，以便對於相似於該使用終端20的其他電子裝置(如圖1虛線所指示)所提出的評估請求提供此神經精神疾病評估服務。
參閱圖2，該判定平台例如包含一儲存模組1、一連接該通訊網路200且用於資料傳輸的傳輸模組2、一連接該傳輸模組2的方位角校正模組3、一連接該方位角校正模組3的腦組織識別模組4，以及一連接該儲存模組1、該傳輸模組2和該腦組織識別模組4的處理模組5。該方位角校正模組3、該腦組織識別模組4及該處理模組5的操作與作用將於下文中說明。
在本實施例中，在使用前，該儲存模組1預先儲存有分別對應於三種腦組織，即，白質、灰質和脊髓液的第一判定模型、第二判定模型和第三判定模型。以下將參閱圖2及圖3進一步示例地詳細說明如何使用該判定平台10(或相似於該判定平台10的電腦系統)執行一建模程序，以獲得該第一至第三判定模型。該建模程序包含以下步驟S301~S307。
在步驟S301中，該傳輸模組2獲得來自外部的多個(例如，250個，但不以此例為限)分別對應於多個無神經精神疾病之正常者的3D腦影像、及多個(例如，250個，但不以此例為限)分別對應於多個患有神經精神疾病的患者的3D腦影像。
然後，在步驟S302中，該方位角校正模組3對於該傳輸模組2所獲得的每一3D腦影像，執行一方位角校正處理。更具體地， 在對於每一3D腦影像的方位角校正處理中，該方位角校正模組3先從該3D腦影像擷取出彼此正交且相交於該3D腦影像的中心的第一至第三2D影像部分。在本實施例中，例如，該第一2D影像部分為該3D腦影像的一垂直於冠向(coronal)的切面，如圖4所示；該第二2D影像部分為該3D腦影像的一垂直於矢向(sagittal)的切面，如圖5所示；及該第三2D影像部分為該3D腦影像的一垂直於軸向(axial)的切面，如圖6所示。然後，該方位角校正模組3利用一深度學習演算法來辨識該第一至第三2D影像部分，以便根據該第一至第三2D影像部分的辨識結果校正該3D腦影像的該中心的3D方位角。值得注意的是，該深度學習演算法利用例如卷積神經網路(Convolutional Neural Network，簡稱CNN)回歸模型來進行影像辨識及影像比對處理，但不以此例為限。舉例來說，本實施例所使用的卷積神經網路回歸模型可被規劃成具有2~4個卷基層(convolution layers)、一個全連接層(full connected layer)和一個回歸層(regression layer)，但不以此例為限，藉此能使整體校正處理具有一致性。更明確地，在本實施例中，該方位角校正模組3利用該深度學習演算法來判定該第一2D影像部分及該第三2D影像部分其中每一者在左右兩側是否大致彼此對稱，以及辨識出該第二2D影像部分所含的兩個分別對應於兩個預定腦部特徵的參考影像區且判定該等參考影像區的所在位置是否位於一水平線。在本 實施例中，該兩個預定腦部特徵例如分別為前連合(Anterior Commissure)和後連合(Posterior Commissure)，而該兩個參考影像區例如分別為代表前連合的第一參考影像區51、及代表後連合的第二參考影像區52，如圖5所示。於是，該方位角判定模組3在判定出該第一2D影像部分在左右兩側不對稱時，以相對於該冠向轉動該第一2D影像部分的方式校準該第一2D影像部分直到校準後的該第一2D影像部分在左右兩側彼此大致對稱(見圖4)，並將相對於該冠向的總轉動角度作為校正後的該3D方位角在該冠向的校正角度。該方位角判定模組3在判定出該等參考影像區51，52的所在位置不位於一水平線時，以相對於該矢向轉動該第二2D影像部分的方式校準該第二2D影像部分直到在校準後的該第二2D影像部分的該等參考影像區51，52的所在位置位於一水平線(見圖5)，並將相對於該矢向的總轉動角度作為校正後的該3D方位角在該矢向的校正角度。該方位角判定模組3在判定出該第三2D影像部分在左右兩側不對稱時，以相對於該軸向轉動該第三2D影像部分的方式校準該第三2D影像部分直到校準後的該第三2D影像部分在左右兩側彼此大致對稱(見圖6)，並將相對於該軸向的總轉動角度作為校正後的該3D方位角在該軸向的校正角度。藉由此方位角校正處理，可有效除去該3D腦影像(在拍攝時)受到例如頭動的干擾。於是，該方位角校正模組3將校正後的所有3D腦影像傳送至該腦組織識別模組 4。
之後，在步驟S303中，該腦組織識別模組4對於來自該方位角校正模組3的每一3D腦影像(其方位角已校正)，基於白質、灰質、脊髓液等腦組織在腦影像上不同的體素值(Intensity of Voxel)分佈特性，執行一腦組織識別處理，以便自該3D腦影像，擷取出一白質影像部分、一灰質影像部分和一脊髓液影像部分，其中每一者亦為一3D影像。舉例來說，灰質、白質和脊髓液的體素值分佈範圍能根據經由分析該3D腦影像而獲得的體素數量(Number of Voxel)對體素值(Intensity of Voxel)的直方分佈圖(即，每一體素值與體素數量的關係)，並利用由三個高斯分佈所組成的常模來決定。在本實施例中，白質的體素值分佈範圍例如為7500~22500；灰質的體素值分佈範圍例如為5500~20000；及脊髓液的體素值分佈範圍例如為0~13000，但不在此限。於是，該腦組織辨識模組4將擷取自所有3D腦影像的多個白質影像部分、多個灰質影像部分和多個脊髓液影像部分傳送至該處理模組5。
然後，在步驟S304中，為了降低後續演算複雜度，該處理模組5對於來自於該腦組織識別模組4的該等白質影像部分、該等灰質影像部分和該等脊髓液影像部分執行一降維處理。更明確地，由於該等白質影像部分、該等灰質影像部分和該等脊髓液影像部分均具有3D向量之資料形式，該處理模組5例如將每一白質/灰 質/脊髓液影像部分的3D向量的資料形式轉變成1D向量的資料形式，以利後續處理。
之後，該處理模組5根據降維後的所有白質影像部分(例如，對應於正常者的250個白質影像部分，及對應於神經精神疾病患者的250個白質影像部分)，利用深度神經網路演算法自我學習訓練，獲得該第一判定模型(步驟S305)。特別要說明的是，在步驟S305的實際操作上，該處理模組5可先利用例如對應於正常者的200個白質影像部分及對應於神經精神疾病患者的200個白質影像部分共同作為學習訓練的資料部分以建立該第一判定模型。如圖7所示，該第一判定模型包含一輸入層、一與神經精神疾病患者的異常腦區相關連的特徵選擇層、多個隱藏層及一輸出層。然後，再利用剩下對應於正常者的50個白質影像部分和對應於神經精神疾病患者的50個白質影像部分共同作為驗證或測試該第一判定模型的資料部分。換言之，若出現錯誤的判定(即，驗證不成功)，例如，當饋入該輸入層的資料是對應於正常者的白質影像部分，而在該輸出層卻產生例如指示出「具有一個或多個異常腦區及其所在位置」的判定結果，又或者當饋入該輸入層的資料是對應於神經精神疾病者的白質影像部分，而在該輸出層卻產生例如指示出「不具任何異常腦區」的判定結果，在此情況下，可根據驗證結果進一步調整在該特徵選擇層的相關參數，以提高該第一判定模型對於神經精神疾 病患者的白質影像部分的敏感度(Sensitivity)，以及對於正常者的白質影像部分的特異度(Specificity)。
同時，相似於步驟S305的操作，該處理模組5根據降維後的所有灰質影像部分(例如，對應於正常者的250個灰質影像部分，及對應於神經精神疾病患者的250個灰質影像部分)，利用相同的深度神經網路演算法自我學習訓練，獲得該第二判定模型(步驟S306)。該第二判定模型具有相似於該第一判定模型的架構(見圖7)。在步驟S306的實際操作上，可完全相似於上述步驟S305所述的實際操作，在此不再贅述。同樣地，該處理模組5所獲得的該第二判定模型亦具有相對高的敏感度及特異度。
同時，相似於步驟S305的操作，該處理模組5根據降維後的所有脊髓液影像部分(例如，對應於正常者的250個脊髓液質影像部分，及對應於神經精神疾病患者的250個脊髓液影像部分)，利用相同的深度神經網路演算法自我學習訓練，獲得該第三判定模型(步驟S307)。同樣地，該第三判定模型具有相似於該第一判定模型的架構(見圖7)。在步驟S307的實際操作上，亦可完全相似於上述步驟S305所述的實際操作，在此不再贅述。同樣地，該處理模組5所獲得的該第三判定模型亦具有相對高的敏感度及特異度。
以下，將參閱圖1、圖2及圖8來說明該神經精神疾病評估系統100如何對於一待評估者(如病人)的一待判定3D腦影像執 行神經精神疾病評估處理。此神經精神疾病評估處理包含以下步驟S801~S807。
首先，在步驟S801中，該使用終端20經由該通訊網路200將一包含該待判定3D腦影像的評估請求傳送至該判定平台10的該傳輸模組2。
然後，在步驟S802中，當該傳輸模組2接收到該評估請求時，該方位角校正模組3接收該待判定3D腦影像，且對於該待判定3D影像執行如上述步驟S302(圖3)所述的方位角校正處理來校正該待判定3D腦影像的該中心的3D方位角，並將校正後的該待判定3D腦影像傳送至該腦組織識別模組4。
之後，相似於上述步驟S303(圖3)，在步驟S803中，該腦組織識別模組4對於來自該方位角校正模組3的該待判定3D腦影像(其方位角已校正)，基於白質、灰質和脊髓液在腦影像上不同的體素特性，執行一腦組織識別處理，以便自校正後的該待判定3D腦影像，擷取出一待判定白質影像部分、一待判定灰質影像部分和一待判定脊髓液影像部分，並且將該待判定白質影像部分、該待判定灰質影像部分和該待判定脊髓液影像部分傳送至該處理模組5。
然後，相似於上述步驟S304(圖3)，在步驟S804中，該處理模組S804對於來自於該腦組織識別模組4的該待判定白質影像部分、該待判定灰質影像部分和該待判定脊髓液影像部分執行降 維處理。
之後，在步驟S805中，該處理模組5利用該儲存模組1儲存的該第一至第三判定模型，將具有1D向量之資料形式的該待判定白質影像部分、該待判定灰質影像部分和該待判定脊髓液影像部分分別饋入該第一至第三判定模型的輸入層，經由該第一至第三神經精神疾病判定模型的該特徵選擇層和隱藏層的演算後，在該第一至第三判定模型的輸出層分別產生第一至第三判定結果。舉例來說，若該第一判定模型經演算判定出該待判定白質影像部分無任何異常腦區時，則該第一判定結果將指示出例如「FALSE1」(其代表該待判定白質影像部分不具有任何與神經精神疾病相關聯的異常腦區)；或者若該第一判定模型經演算判定出該待判定白質影像部分具有一個或多個與神經精神疾病相關聯的異常腦區時，則該第一判定結果將指示出例如「TRUE1」(其表示該待判定白質影像部分具有與神經精神疾病相關聯的異常腦區)，以及該(等)異常腦區的位置資料。但不以此例為限。同樣地，該第二判定結果可以指示出以下兩種情況之一：其一是指示出該待判定灰質影像部分具有一個或多個與神經精神疾病相關聯的異常腦區(例如，以「TRUE2」來表示)和該(等)異常腦區的位置資料；及另一種情況是指示出該待判定灰質影像部分不具有任何與神經精神疾病相關聯的異常腦區(例如，以「FALSE2」來表示)。同理，該第三判定結果可以指示 出以下兩種情況之一：其一是指示出該待判定脊髓液影像部分具有一個或多個與神經精神疾病相關聯的異常腦區(例如，以「TRUE3」來表示)和該(等)異常腦區的位置資料；及另一種情況是指示出該待判定脊髓液影像部分不具有任何與神經精神疾病相關聯的異常腦區(例如，以「FALSE3」來表示)。
然後，在步驟S806，該處理模組5根據該第一至第三判定結果產生一有關於異常腦區的評估結果，並回應於該評估請求將該評估結果作為一評估回覆經由該傳輸模組2傳送至該使用終端20。
最後，當該使用終端20接收到來自該判定平台10的該評估結果時，該使用終端20顯示該評估結果，以供使用者(如精神科醫師)快速得知該待評估者在白質、灰質和脊髓液的判定狀況(步驟S807)。值得一提的是，為了更容易解讀該判定輸出，特別是當該評估結果含有一筆或多筆位置資料時，該使用終端20可根據該評估結果所含的該等筆位置資料，例如於該待判定3D腦影像以特定標記加註在對應於該(等)筆位置資料的異常腦區之已知方式同時顯示該待判定3D腦影像和加註的特定標記，藉此使用者可藉由顯示的特定標記迅速獲得異常腦區的位置。
綜上所述，對於用於訓練該第一至第三判定模型的每一3D腦影像及該待判定3D腦影像均執行了方位角校正處理，藉此 能有效去除因頭動所導致的干擾並有助於建立精準的判定模型，以及精準的腦影像判定；此外，由於採用了無神經精神疾病的正常者和患有神經精神疾病之患者的3D腦影像來分別進行對應於白質、灰質及脊髓液等不同腦組織的模型訓練，因此，建立的該第一至第三判定模型不僅對於神經精神疾病患者的3D腦影像具有相對高的敏感度，而且對於無神經精神疾病之正常者的3D腦影像亦具有相對高的特異度。在應用上，包含該第一至第三判定結果的評估結果確實能提供給精神科醫師並作為在診斷神經精神疾病病患上有效的輔助判定依據。故確實能達成本發明的目的。
惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
S301-S307...步驟

Claims (9)

  1. 一種基於腦影像的神經精神疾病評估方法，利用一電腦系統來執行，並包含以下步驟：(A)獲得多個分別對應於多個無神經精神疾病之正常者的3D腦影像、及多個分別對應於多個患有神經精神疾病的患者的3D腦影像；(B)對於步驟(A)所獲得的每一3D腦影像，執行一方位角校正處理，其中一深度學習演算法被用來辨識擷取自該3D腦影像並且彼此正交及相交於該3D腦影像的中心的第一至第三2D影像部分，以便根據該第一至第三2D影像部分的辨識結果校正該3D腦影像的該中心的3D方位角；(C)對於校正後的每一3D腦影像，基於白質、灰質和脊髓液在腦影像上不同的體素特性，執行一腦組織識別處理以便自該3D腦影像，擷取出一白質影像部分、一灰質影像部分和一脊髓液影像部分；(D)分別根據步驟(C)所獲得且經過降維處理後的所有白質影像部分、所有灰質影像部分和所有脊髓液影像部分，利用深度神經網路演算法自我學習訓練，獲得分別對應於灰質、白質和脊髓液的第一至第三判定模型，該第一至第三判定模型其中每一者包含一輸入層、一與神經精神疾病患者的異常腦區相關連的特徵選擇層、多個隱藏層和一輸出層；(E)當接收到的一待判定3D腦影像時，對於該待判定3D腦影像，依序執行完該方位角校正處理和該腦組織識別 處理，以獲得對應於該待判定3D腦影像的一待判定白質影像部分、一待判定灰質影像部分和一待判定脊髓液影像部分；(F)將經過降維處理後的該待判定白質影像部分、該待判定灰質影像部分和該待判定脊髓液影像部分分別饋入該第一至第三判定模型的輸入層，經由該第一至第三判定模型的該特徵選擇層和該等隱藏層的演算後，在該第一至第三判定模型的輸出層分別產生第一至第三判定結果；及(G)根據該第一至第三判定結果產生一有關於異常腦區的評估結果。
  2. 如請求項1所述的基於腦影像的神經精神疾病評估方法，其中，在步驟(B)中，在對於每一3D腦影像：擷取自該3D腦影像的該第一至第三2D影像部分分別為該3D腦影像的三個分別垂直於冠向、矢向及軸向的切面；及在該方位角校正處理中，該深度學習演算法被用來判定該第一2D影像部分及該第三2D影像部分其中每一者在左右兩側是否大致彼此對稱，以及辨識出該第二2D影像部分所含的兩個分別對應於兩個預定腦部特徵的參考影像區且判定該等參考影像區的所在位置是否位於一水平線，在判定出該第一2D影像部分在左右兩側不對稱時，以相對於該冠向轉動該第一2D影像部分的方式校準該第一2D影像部分直到校準後的該第一2D影像部分在左右 兩側彼此大致對稱，並將相對於該冠向的總轉動角度作為校正後的該3D方位角在該冠向的校正角度，在判定出該等參考影像區的所在位置不位於一水平線時，以相對於該矢向轉動該第二2D影像部分的方式校準該第二2D影像部分直到在校準後的該第二2D影像部分的該等參考影像區的所在位置位於一水平線，並將相對於該矢向的總轉動角度作為校正後的該3D方位角在該矢向的校正角度，及在判定出該第三2D影像部分在左右兩側不對稱時，以相對於該軸向轉動該第三2D影像部分的方式校準該第三2D影像部分直到校準後的該第三2D影像部分在左右兩側彼此大致對稱，並將相對於該軸向的總轉動角度作為校正後的該3D方位角在該軸向的校正角度。
  3. 如請求項1所述的基於腦影像的神經精神疾病評估方法，其中，在步驟(B)中，該深度學習演算法利用一卷積神經網路回歸模型來進行影像辨識及影像比對處理。
  4. 如請求項1所述的基於腦影像的神經精神疾病評估方法，其中，在步驟(F)中，該第一至第三判定結果其中每一者指示出該待判定白質影像部分、該待判定灰質影像部分和待判定脊髓液影像部分其中一個對應影像部分具有至少一個與神經精神疾病相關聯的異常腦區和該至少一個異常腦區的位置資料，或者指示出該對應影像部分不具有任何與神經精神疾病相關聯的異常腦區。
  5. 一種基於腦影像的神經精神疾病評估系統，包含： 一判定平台，包括一儲存模組，儲存有如請求項1所述的該第一至第三判定模型，一傳輸模組，適於接收一待判定3D腦影像，一方位角校正模組，連接該傳輸模組以接收該待判定3D腦影像，自該待判定3D腦影像擷取出彼此正交且相交於該待判定3D腦影像的中心的第一至第三2D影像部分，利用一深度學習演算法進行對於該第一至第三2D影像部分的影像辨識，且根據該第一至第三2D影像部分的辨識結果校正該待判定3D腦影像的該中心的3D方位角，一腦組織識別模組，連接該傳輸模組以接收校正後的該待判定3D腦影像，並基於白質、灰質和脊髓液在腦影像上不同的體素特性，自校正後的該待判定3D腦影像擷取出一待判定白質影像部分、一待判定灰質影像部分和一待判定脊髓液影像部分，及一處理模組，連接該儲存模組、該傳輸模組和該腦組織識別模組，並利用該儲存模組儲存的該第一至第三判定模型，將來自該腦組織識別模組的該待判定白質影像部分、該待判定灰質影像部分和該待判定脊髓液影像部分經過降維處理後分別饋入該第一至第三判定模型的輸入層，經由該第一至第三判定模型的特徵選擇層和隱藏層的演算後，在該第一至第三判定模型的輸出層分別產生第一至第三判定結果，而且根據該第一至第三判定結果產生一評估結果且經由該傳輸模組向外輸出該評估結果。
  6. 如請求項5所述的基於腦影像的神經精神疾病評估系統，其中：該方位角校正模組擷取的該第一至第三2D影像部分分別為該待判定3D腦影像的三個分別垂直於冠向、矢向及軸向的切面；及該方位角校正模組利用該深度學習演算法來判定該第一2D影像部分及該第三2D影像部分其中每一者在左右兩側是否大致彼此對稱，以及辨識出該第二2D影像部分所含的兩個分別對應於兩個預定腦部特徵的參考影像區且判定該等參考影像區的所在位置是否位於一水平線，在判定出該第一2D影像部分在左右兩側不對稱時，以相對於該冠向轉動該第一2D影像部分的方式校準該第一2D影像部分直到校準後的該第一2D影像部分在左右兩側彼此大致對稱，並將相對於該冠向的總轉動角度作為校正後的該3D方位角在該冠向的校正角度，在判定出該等參考影像區的所在位置不位於一水平線時，以相對於該矢向轉動該第二2D影像部分的方式校準該第二2D影像部分直到在校準後的該第二2D影像部分的該等參考影像區的所在位置位於一水平線，並將相對於該矢向的總轉動角度作為校正後的該3D方位角在該矢向的校正角度，及在判定出該第三2D影像部分在左右兩側不對稱時，以相對於該軸向轉動該第三2D影像部分的方式校準該第三2D影像部分直到校準後的該第三2D影像部分在左右兩 側彼此大致對稱，並將相對於該軸向的總轉動角度作為校正後的該3D方位角在該軸向的校正角度。
  7. 如請求項5所述的基於腦影像的神經精神疾病評估系統，其中，該深度學習演算法利用一卷積神經網路模型來進行影像辨識及影像比對處理。
  8. 如請求項5所述的基於腦影像的神經精神疾病評估系統，其中，該第一至第三判定結果其中每一者指示出該待判定白質影像部分、該待判定灰質影像部分和待判定脊髓液影像部分其中一個對應影像部分具有至少一個與神經精神疾病相關聯的異常腦區和該至少一個異常腦區的位置資料，或者指示出該對應影像部分不具有任何與神經精神疾病相關聯的異常腦區。
  9. 如請求項5所述的基於腦影像的神經精神疾病評估系統，還包含：一使用終端，經由一通訊網路與該傳輸模組通訊，以將該待判定3D腦影像傳送至該傳輸模組並接收來自該傳輸模組的該評估結果；其中，當該評估結果含有一筆或多筆位置資料時，該使用終端根據該評估結果所含的該(等)筆位置資料，於該待判定3D腦影像以特定標記加註在對應於該(等)筆位置資料的異常腦區之方式同時顯示該待判定3D腦影像和加註的特定標記。
TW109104565A 2020-02-13 2020-02-13 基於腦影像的神經精神疾病評估方法及系統 TWI744798B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109104565A TWI744798B (zh) 2020-02-13 2020-02-13 基於腦影像的神經精神疾病評估方法及系統
CN202110066168.2A CN113243914B (zh) 2020-02-13 2021-01-19 基于脑影像的评估方法及神经精神疾病评估系统
US17/160,168 US11379982B2 (en) 2020-02-13 2021-01-27 Method for training model of deep neural network, and method and system using the model to determine whether there is abnormality in brain

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109104565A TWI744798B (zh) 2020-02-13 2020-02-13 基於腦影像的神經精神疾病評估方法及系統

Publications (2)

Publication Number Publication Date
TW202131351A TW202131351A (zh) 2021-08-16
TWI744798B true TWI744798B (zh) 2021-11-01

Family

ID=77180781

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109104565A TWI744798B (zh) 2020-02-13 2020-02-13 基於腦影像的神經精神疾病評估方法及系統

Country Status (2)

Country Link
US (1) US11379982B2 (zh)
TW (1) TWI744798B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI803438B (zh) * 2022-10-11 2023-05-21 智波源科技股份有限公司 基於腦部多認知區灰質體積的認知年齡預測系統及其方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023545488A (ja) 2020-10-14 2023-10-30 イスキマビュー インコーポレイテッド 空間パターンを用いた血管閉塞の識別

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018027793A1 (zh) * 2016-08-11 2018-02-15 中国科学院深圳先进技术研究院 一种开颅手术中可视化脑功能结构定位方法及系统
US20180303370A1 (en) * 2015-10-16 2018-10-25 Hiroshima University Sensitivity evaluation method
WO2019103912A2 (en) * 2017-11-22 2019-05-31 Arterys Inc. Content based image retrieval for lesion analysis
TW201926359A (zh) * 2017-11-30 2019-07-01 美商南坦生物組學有限責任公司 利用深度學習檢測病理學切片影像中分子亞型的腫瘤內異質性
CN109965895A (zh) * 2019-03-28 2019-07-05 济南国科医工科技发展有限公司 一种基于脑影像融合特征的癫痫灶定位方法
TW201940877A (zh) * 2018-01-24 2019-10-16 美商伊路米納有限公司 具有線掃描的結構化照明顯微鏡
CN110599442A (zh) * 2019-07-01 2019-12-20 兰州大学 一种融合脑皮质厚度和边缘系统形态特征的抑郁识别系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6430430B1 (en) * 1999-04-29 2002-08-06 University Of South Florida Method and system for knowledge guided hyperintensity detection and volumetric measurement
US8218835B2 (en) * 2005-08-22 2012-07-10 Dai Nippon Printing Co., Ltd. Method for assisting in diagnosis of cerebral diseases and apparatus thereof
US11412933B2 (en) * 2019-07-19 2022-08-16 Brainsight Technology Private Limited System for analysing an activity of brain using magnetic resonance imaging (MRI) data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180303370A1 (en) * 2015-10-16 2018-10-25 Hiroshima University Sensitivity evaluation method
WO2018027793A1 (zh) * 2016-08-11 2018-02-15 中国科学院深圳先进技术研究院 一种开颅手术中可视化脑功能结构定位方法及系统
WO2019103912A2 (en) * 2017-11-22 2019-05-31 Arterys Inc. Content based image retrieval for lesion analysis
TW201926359A (zh) * 2017-11-30 2019-07-01 美商南坦生物組學有限責任公司 利用深度學習檢測病理學切片影像中分子亞型的腫瘤內異質性
TW201940877A (zh) * 2018-01-24 2019-10-16 美商伊路米納有限公司 具有線掃描的結構化照明顯微鏡
CN109965895A (zh) * 2019-03-28 2019-07-05 济南国科医工科技发展有限公司 一种基于脑影像融合特征的癫痫灶定位方法
CN110599442A (zh) * 2019-07-01 2019-12-20 兰州大学 一种融合脑皮质厚度和边缘系统形态特征的抑郁识别系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI803438B (zh) * 2022-10-11 2023-05-21 智波源科技股份有限公司 基於腦部多認知區灰質體積的認知年齡預測系統及其方法

Also Published As

Publication number Publication date
TW202131351A (zh) 2021-08-16
CN113243914A (zh) 2021-08-13
US11379982B2 (en) 2022-07-05
US20210256698A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
US9943224B2 (en) Image processing apparatus and image processing method
Saba et al. Automatic detection of papilledema through fundus retinal images using deep learning
Gelman et al. Plus disease in retinopathy of prematurity: pilot study of computer-based and expert diagnosis
JP6036009B2 (ja) 医用画像処理装置、およびプログラム
TWI744798B (zh) 基於腦影像的神經精神疾病評估方法及系統
Jannin et al. Validation in medical image processing.
US10548555B2 (en) Automatic identification of a potential pleural effusion
US10729389B2 (en) 3D assessment of conjugant eye deviation for the identificaiton of acute ischemic stroke
Bookstein et al. Damage to the human cerebellum from prenatal alcohol exposure: the anatomy of a simple biometrical explanation
CN113284126A (zh) 人工神经网络图像分析预测脑积水分流手术疗效的方法
Sindhwani et al. Semi‐automatic outlining of levator hiatus
US9883817B2 (en) Management, assessment and treatment planning for inflammatory bowel disease
JP2005230456A (ja) 脳疾患の診断支援方法及び装置
Liu et al. Robust cortical thickness morphometry of neonatal brain and systematic evaluation using multi-site MRI datasets
Chiang et al. Plus disease in retinopathy of prematurity: an analysis of diagnostic performance
CN110598652B (zh) 眼底数据预测方法和设备
US20210186409A1 (en) Biomarker for early detection of alzheimer disease
CN113243914B (zh) 基于脑影像的评估方法及神经精神疾病评估系统
CN115810122A (zh) 基于spect/ct检测甲状腺相关眼病活动性的深度学习方法
WO2021251425A1 (ja) 標準血管生成装置、血管評価装置、標準血管生成プログラム、血管評価プログラム、標準血管生成方法及び血管評価方法
KR102363221B1 (ko) 뇌 영상을 이용한 특발 정상압 수두증의 진단 방법 및 시스템
WO2023133929A1 (zh) 一种基于超声的人体组织对称性检测分析方法
Yojana et al. OCT layer segmentation using U-NET semantic segmentation and RESNET34 encoder-decoder
CN113744234A (zh) 一种基于gan的多模态脑部图像配准方法
Koh et al. Myofascial Trigger Point Identification in B-Mode Ultrasound: Texture Analysis Versus a Convolutional Neural Network Approach