TW202125406A - 影像處理方法、系統及非暫態電腦可讀取儲存媒體 - Google Patents

影像處理方法、系統及非暫態電腦可讀取儲存媒體 Download PDF

Info

Publication number
TW202125406A
TW202125406A TW109145772A TW109145772A TW202125406A TW 202125406 A TW202125406 A TW 202125406A TW 109145772 A TW109145772 A TW 109145772A TW 109145772 A TW109145772 A TW 109145772A TW 202125406 A TW202125406 A TW 202125406A
Authority
TW
Taiwan
Prior art keywords
label
medical image
medical
area
image
Prior art date
Application number
TW109145772A
Other languages
English (en)
Other versions
TWI773045B (zh
Inventor
王浩任
張富傑
億澤 吳
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202125406A publication Critical patent/TW202125406A/zh
Application granted granted Critical
Publication of TWI773045B publication Critical patent/TWI773045B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

一種影像處理方法，包含：計算具有複數個標籤的複數張醫學影像中的一第一醫學影像的一第一標籤的面積；基於該第一標籤的面積是否大於一閥值，取得一第一判斷結果；基於該些醫學影像中與該第一醫學影像相鄰的一第二醫學影像是否包含與該第一標籤在該第二醫學影像上的一第一投影區域重疊的一第二標籤，取得一第二判斷結果；以及根據該第一判斷結果以及該第二判斷結果，選擇性地刪除該第一醫學影像上的該第一標籤。本揭示內容更提供一種影像處理系統用以執行該影像處理方法。

Description

影像處理方法、系統及非暫態電腦可讀取儲存媒體
本揭示內容係有關於一種影像處理方法、系統及非暫態電腦可讀取儲存媒體，特別是指一種可提高標記準確度的醫學影像處理方法、系統及非暫態電腦可讀取儲存媒體。
隨著機器學習技術的發展，許多模型（例如：物件分割模型）已經被使用來識別醫學影像中的病灶組織。然而，醫院所提供的醫學影像中的病灶組織與正常組織（例如：血管）可能都會被以亮點形式標示，使得所述模型在識別醫學影像中的病灶組織時，可能產生具有高假陽性率的結果。
本揭示內容的一態樣為一影像處理方法。該影像處理方法包含下列步驟：計算具有複數個標籤的複數張醫學影像中的一第一醫學影像的一第一標籤的面積，其中該些醫學影像為連續切片影像；基於該第一標籤的面積是否大於一閥值，取得一第一判斷結果；基於該些醫學影像中與該第一醫學影像相鄰的一第二醫學影像是否包含與該第一標籤在該第二醫學影像上的一第一投影區域重疊的一第二標籤，取得一第二判斷結果；以及根據該第一判斷結果以及該第二判斷結果，選擇性地刪除該第一醫學影像上的該第一標籤。
本揭示內容的另一態樣為一影像處理系統。該影像處理方法包含一記憶體以及一處理器。該記憶體用於儲存至少一程式碼。該處理器用於執行該至少一程式碼，以執行下列操作：計算具有複數個標籤的複數張醫學影像中的一第一醫學影像的一第一標籤的面積，其中該些醫學影像為連續切片影像；基於該第一標籤的面積是否大於一閥值，取得一第一判斷結果；基於該些醫學影像中與該第一醫學影像相鄰的一第二醫學影像是否包含與該第一標籤在該第二醫學影像上的一第一投影區域重疊的一第二標籤，取得一第二判斷結果；以及根據該第一判斷結果以及該第二判斷結果，選擇性地刪除該第一醫學影像上的該第一標籤。
本揭示內容的又另一態樣為一種非暫態電腦可讀取儲存媒體，具有一電腦程式用以執行一影像處理方法，其中該方法包含：計算具有複數個標籤的複數張醫學影像中的一第一醫學影像的一第一標籤的面積，其中該些醫學影像為連續切片影像；基於該第一標籤的面積是否大於一閥值，取得一第一判斷結果；基於該些醫學影像中與該第一醫學影像相鄰的一第二醫學影像是否包含與該第一標籤在該第二醫學影像上的一第一投影區域重疊的一第二標籤，取得一第二判斷結果；以及根據該第一判斷結果以及該第二判斷結果，選擇性地刪除該第一醫學影像上的該第一標籤。
綜上，本揭示內容的影像處理系統以及影像處理方法藉由判斷第一醫學影像上的第一標籤的面積是否大於閥值且判斷與第一醫學影像相鄰的第二醫學影像是否包含與第一標籤的投影區域重疊的第二標籤，可以刪除不正確的標籤，進而提高相似係數。換言之，假陽性的機率將減少。
下文係舉實施例配合所附圖式作詳細說明，但所描述的具體實施例僅用以解釋本案，並不用來限定本案，而結構操作之描述非用以限制其執行之順序，任何由元件重新組合之結構，所產生具有均等功效的裝置，皆為本揭示內容所涵蓋的範圍。
關於本文中所使用之「耦接」或「連接」，均可指二或多個元件相互直接作實體或電性接觸，或是相互間接作實體或電性接觸，亦可指二或多個元件相互操作或動作。
請參閱第1圖，根據本揭示內容的部分實施例的一影像處理系統100包含一記憶體110、一處理器120以及一輸入/輸出裝置130。處理器120耦接於記憶體120以及輸入/輸出裝置130。影像處理系統100可以提供用以處理人體的複數張醫學影像（請參閱第3圖）的功能，從而減少假陽性的機率。
記憶體110用以儲存一或多個程式碼。處理器120用以根據一或多個輸入訊號執行儲存於記憶體110的程式碼，進而使多個操作（例如：如第2A圖所示的一影像處理方法200）可以被自動地執行。
於部分實施例中，處理器120可以藉由一或多個中央處理單元（CPU）、特殊應用積體電路（ASIC）、微處理器、系統單晶片（SoC）或其他合適的處理單元來實現。記憶體110可以藉由非暫態電腦可讀取儲存媒體（例如：隨機存取記憶體（RAM）、唯讀記憶體（ROM）、硬式磁碟機（HDD）、固態硬碟（SSD））來實現。
於部分實施例中，輸入/輸出裝置130包含一鍵盤、一滑鼠、一觸控螢幕或其組合，以將使用者的操作轉換為輸入訊號且將輸入訊號傳輸至處理器120。於部分實施例中，輸入/輸出裝置130包含一通訊介面（例如：通用序列匯流排（USB）介面、藍芽介面、Wi-Fi介面、乙太網路介面），以傳送資訊或資料。於部分實施例中，輸入/輸出裝置130包含一螢幕、一揚聲器或其組合，以呈現響應於使用者操作的狀態。
請參閱第2A~2B圖，第2A~2B圖描述了根據本揭示內容的部分實施例的一影像處理方法200。影像處理方法200可以被第1圖中的處理器120執行。然而，本揭示內容並不被限於此。如第2A圖所示，影像處理方法200包含操作S201~S206。
請參閱第3圖，第3圖描述了沒有被標記任何標籤的複數張醫學影像M[1]~M[n]。在執行操作S201~S211之前，使用者可藉由輸入/輸出裝置130輸入醫學影像M[1]~M[n]，且醫學影像M[1]~M[n]可被儲存於記憶體110，以供處理器120進行處理。
醫學影像M[1]~M[n]藉由醫學成像系統（例如：電腦斷層攝影（CT）、核磁共振造影（MRI）、正子放射造影（PET）、光學同調斷層掃描（OCT））產生。如第3圖所示，醫學影像M[1]~M[n]為二維影像且可組成具有一預定高度H、一預定寬度W以及一預定深度D的一三維醫學影像。舉例來說，三維醫學影像為人類頭部的三維影像，而醫學影像M[1]~M[n]為人類頭部於不同水平位準上的截面影像（即，連續切片影像）。
於部分實施例中，醫學影像M[1]~M[n]沿著一第一軸A1（請參考第4A~4C圖）具有一空間解析度。如第4A~4C圖所示，第一軸A1（以指向上方且離開醫學影像M[2]~M[4]的符號表示）垂直於每張醫學影像M[1]~M[n]。醫學影像M[1]~M[n]的空間解析度可由相鄰的二張醫學影像（例如：醫學影像M[1]及M[2]、醫學影像M[2]及M[3]）之間的一垂直距離d（如第3圖所示）來決定。垂直距離d為平行於第一軸A1的距離，且可藉由將預定高度H除以醫學影像M[1]~M[n]的數量n計算出來。
值得注意的是，醫學影像M[1]~M[n]的空間解析度與垂直距離d成反比。換言之，垂直距離d愈短，空間解析度愈高。另一方面，垂直距離d愈長，空間解析度愈低。
於操作S201，處理器120辨識醫學影像M[1]~M[n]，以在醫學影像M[1]~M[n]上標記複數個標籤（請參閱第4A~4C圖）。舉例來說，如第4B圖所示，處理器120藉由一物件分割模型（例如：語意分割的U-Net或C-LSTM、實體分割的Mask R-CNN）從醫學影像M[3]上辨識出三個可疑組織（以填滿斜線的區域表示）。接著，處理器120於醫學影像M[3]上標記相對應於上述可疑組織的輪廓的三個標籤P1[3]、P2[3]、P3[3]。類似地，如第4A及4C圖所示，處理器120在醫學影像M[2]上標記一個標籤P1[2]，且在醫學影像M[4]上標記二個標籤P1[4]、P2[4]。
於部分其他實施例中，醫學影像在被輸入至影像處理系統100之前就已經被標記好標籤。因此，操作S201被省略。
於部分實施例中，由於可疑組織可能包含病變組織（例如：腫瘤、結核）以及正常組織（例如：血管），處理器120所標記的部分標籤可能對應於正常組織。因此，處理器120將執行接下來的操作S202~S206，以刪除醫學影像M[1]~M[n]上的不正確的標籤(亦即刪除對應假陽性的標籤)。
於操作S202，處理器120計算醫學影像中的一第一醫學影像上的至少一個第一標籤的面積。在醫學影像M[3]（如第4B圖所示）的例子中，處理器120計算被標籤P1[3]圍繞的表面的面積。類似地，處理器120計算被標籤P2[3]圍繞的表面的面積以及被標籤P3[3]圍繞的表面的面積。
於操作S203，處理器120根據醫學影像M[1]~M[n]的空間解析度決定一閥值。舉例來說，空間解析度愈高，則閥值（例如：πmm2 ）愈小。另一方面，空間解析度愈低，則閥值（例如：100πmm2 ）愈大。換言之，閥值與空間解析度成反比。閥值與空間解析度之間的關係將於後面進一步地討論。
於操作S204，處理器120判斷至少一個第一標籤的面積是否大於閥值以取得第一判斷結果，且根據第一判斷結果執行操作S205或S206。具體而言，處理器120將上面計算出的每個標籤P1[3]~P3[3]的面積與閥值進行比較。
於部分實施例中，第一判斷結果顯示標籤P2[3]的面積不大於閥值，因此處理器120執行操作S205。於操作S205，由於第一判斷結果顯示標籤P2[3]的面積不大於閥值，對應於標籤P2[3]的可疑組織可能被視為病變組織（例如：小體積的腫瘤）。據此，處理器120不刪除（或保持）標籤P2[3]。
於部分實施例中，第一判斷結果顯示標籤P1[3]（或標籤P3[3]）的面積大於閥值，因此處理器120執行操作S206。於操作S206，由於第一判斷結果顯示標籤P1[3]（或標籤P3[3]）的面積大於閥值，對應於標籤P1[3]（或標籤P3[3]）的可疑組織仍被懷疑為病變組織或正常組織。據此，處理器120進一步地判斷在與第一醫學影像相鄰的至少一張醫學影像（例如：醫學影像M[2]、醫學影像M[4]）是否包含與第一標籤（例如：標籤P1[3]、標籤P3[3]）的投影區域重疊的至少一個標籤。
如第2B圖所示，操作S206包含操作S207~S211。於操作S207中，處理器120判斷第二醫學影像是否包含與第一標籤在第二醫學影像上的投影區域重疊的第二標籤。如此一來，處理器120取得一第二判斷結果，且根據第二判斷結果執行操作S208或S209。
請參閱第5A及5B圖，第5A及5B圖描述了第一醫學影像的標籤P1[3]~P3[3]的投影區域形成於二張相鄰的醫學影像上。在標籤P1[3]的例子中，標籤P1[3]沿著平行於第一軸A1的方向被投影，進而在醫學影像M[2]P上形成投影區域PJ1[32]且在醫學影像M[4]P上形成投影區域PJ1[34]。類似地，醫學影像M[3]的標籤P2[3],P3[3]也被投影，以在醫學影像M[2]P上形成投影區域PJ2[32],PJ3[32]且在醫學影像M[4]P上形成投影區域PJ2[34],PJ3[34]。如第5A圖所示，投影區域PJ1[32]重疊於醫學影像M[2]P上的標籤P1[2]，進而使一重疊區域PO1[2]（以填滿黑白格的區域表示）產生。如第5B圖所示，投影區域PJ1[34]重疊於醫學影像M[4]P上的標籤P1[4]，進而使一重疊區域PO1[4]（以填滿黑白格的區域表示）產生。
關於標籤P1[3]，於部分實施例中，處理器120可能判斷醫學影像M[2]P包含與標籤P1[3]的投影區域PJ1[32]重疊的標籤P1[2]，進而執行操作S208。於部分其他實施例中，處理器120可能判斷醫學影像M[4]P包含與標籤P1[3]的投影區域PJ1[34]重疊的標籤P1[4]，進而執行操作S208。
於操作S208，由於第二判斷結果顯示第二醫學影像（例如：醫學影像M[2]P或醫學影像M[4]P）包含與第一標籤（例如：標籤P1[3]）的投影區域（例如：對應醫學影像M[2]P的投影區域PJ1[32]或對應醫學影像M[4]P的投影區域PJ1[34]）重疊的第二標籤（例如：標籤P1[2]或標籤P1[4]），與標籤P1[3]相對應的可疑組織被當作病變組織（例如：大體積的腫瘤）。據此，處理器120不刪除（或保持）標籤P1[3]。
關於標籤P3[3]，於部分實施例中，處理器120可能判斷醫學影像M[2]P未包含與標籤P3[3]的投影區域PJ3[32]重疊的標籤，進而執行操作S209。於部分其他實施例中，處理器120可能判斷醫學影像M[4]P未包含與標籤P3[3]的投影區域PJ3[34]重疊的標籤，進而執行操作S209。
於操作S209，由於第二判斷結果顯示第二醫學影像（例如：醫學影像M[2]P或醫學影像M[4]P）未包含與第一標籤（例如：標籤P3[3]）的投影區域（例如：對應醫學影像M[2]P的投影區域PJ3[32]、對應醫學影像M[4]P的投影區域PJ3[34]）重疊的第二標籤，與標籤P3[3]相對應的可疑組織仍被懷疑為病變組織或正常組織。據此，處理器120進一步地判斷一第三醫學影像是否包含與第一標籤的另一投影區域重疊的一第三標籤。如此一來，處理器120取得一第三判斷結果，且根據第三判斷結果執行操作S210或S211。
於部分實施例中，處理器120判斷醫學影像M[2]P（視為第二醫學影像）未包含與第一標籤的投影區域重疊的第二標籤，但又判斷醫學影像M[4]P（視為第三醫學影像）包含與第一標籤的另一投影區域重疊的第三標籤，進而執行操作S210。於部分其他實施例中，處理器120判斷醫學影像M[4]P（視為第二醫學影像）未包含與第一標籤的投影區域重疊的第二標籤，但又判斷醫學影像M[2]P（視為第三醫學影像）包含與第一標籤的另一投影區域重疊的第三標籤，進而執行操作S210。
於操作S210，由於第三判斷結果顯示第三醫學影像（例如：醫學影像M[2]P、醫學影像M[4]P）包含與第一標籤的另一投影區域重疊的第三標籤，與第一標籤相對應的可疑組織被當作病變組織（例如：大體積的腫瘤）。據此，處理器120不刪除（或保持）第一標籤。
簡言之，在至少一張相鄰的醫學影像包含與第一標籤的投影區域重疊的至少一個標籤時，處理器120保持第一標籤。然而，於部份其他實施例中，處理器120可能在二張相鄰的醫學影像（例如：醫學影像M[2]P、醫學影像M[4]P）包含分別與第一標籤於二張相鄰的醫學影像上的二個投影區域重疊的第二標籤以及第三標籤時，才保持第一標籤。
在判斷標籤P3[3]（請參閱第5A及5B圖）的例子中，處理器120判斷醫學影像M[2]P未包含與標籤P3[3]的投影區域PJ3[32]重疊的標籤，且又判斷醫學影像M[4]P未包含與標籤P3[3]的另一投影區域PJ3[34]重疊的標籤，進而執行操作S211。
於操作S211，由於第三判斷結果顯示第三醫學影像（例如：醫學影像M[2]P、醫學影像M[4]P）未包含與第一標籤（例如：標籤P3[3]）的另一投影區域重疊（例如：投影區域PJ3[32]、投影區域PJ3[34]）的第三標籤，與標籤P3[3]相對應的可疑組織被當作正常組織（因為病變組織通常為球形，且很少是扁平的）。據此，處理器120刪除標籤P3[3]。
請參閱第6圖，在執行操作S202~S211之後，處理器120產生處理過的醫學影像M[3]D且將處理醫學影像M[4]。於部分實施例中，處理器120依序處理未被處理過的醫學影像M[1]~M[n]以刪除不正確的標籤。
於部分實施例中，在處理醫學影像M[1]或M[n]時，處理器120可只判斷相鄰於醫學影像M[1]或M[n]的一張醫學影像M[2]或M[n-1]。據此，當醫學影像M[2]或M[n-1]包含與醫學影像M[1]或M[n]的第一標籤的投影區域重疊的第二標籤時，處理器120保持第一標籤。當醫學影像M[2]或M[n-1]未包含與醫學影像M[1]或M[n]的第一標籤的投影區域重疊的第二標籤時，處理器120刪除第一標籤。
請參閱第7A~7B圖，第7A圖描述了相似係數（DICE）與直徑閥值之間的關係，且第7B圖描述了靈敏度（Sensitivity）與直徑閥值之間的關係。相似係數可以被用來比較不同集合（例如：代表病變組織的第一集合（由熟練的醫師識別）以及代表標籤的第二集合（經由物件分割模型辨識））間的相似度。基本上，相似係數愈高，則假陽性的機率愈低。靈敏度為有被標記標籤的病變組織的機率（即，真陽性的機率）。閥值可由具有直徑閥值的圓形表面的面積來定義。舉例來說，若直徑閥值為10mm，則閥值為25πmm2 。於部分實施例中，相似係數以及靈敏度可以被表示為下列方程式(1)及(2)：
Figure 02_image001
…(1)；以及
Figure 02_image003
…(2)，
其中，D為相似係數，S為靈敏度，G為醫學影像M[1]~M[n]中的實際病變組織的區域，且P為醫學影像M[1]~M[n]上的標籤的區域。
在刪除不正確的標籤之前，相似係數大致上為56.82%（請參閱如第7A圖所示的虛線）。靈敏度大致上為84.27%（請參閱如第7B圖所示的虛線）。在操作S202~S211被執行以刪除不正確的標籤後，相似係數根據直徑閥值的長度可能在62.05%到69.65%的範圍（請參閱如第7A圖所示的實線）中變動。靈敏度根據直徑閥值的長度可能在79.97%到84.27%的範圍（請參閱如第7B圖所示的實線）中變動。如第7A及7B圖所示，當直徑閥值為10mm時，相似係數增加了5.23%，且靈敏度未改變。當直徑閥值為1mm時，相似係數增加了12.83%，且靈敏度略微減少了4.3%（因為靈敏度在操作S202~S201被執行後無法再增加）。
如前所述，閥值根據醫學影像M[1]~M[n]的空間解析度來決定。此外，閥值也根據對於相似係數以及靈敏度的要求來決定。若要求高的相似係數，則應減少閥值（舉例來說，直徑閥值應為1mm）以刪除更多的不正確的標籤（換言之，以顯著地提高相似係數）。相反地，若要求高的靈敏度，則應在保持靈敏度的同時增加閥值（舉例來說，直徑閥值應為10mm）以刪除不正確的標籤（換言之，以略微提高相似係數）。
綜上，藉由判斷第一醫學影像上的第一標籤的面積是否大於閥值且判斷與第一醫學影像相鄰的至少一第二醫學影像是否包含與第一標籤的投影區域重疊的第二標籤，本揭示內容的影像處理系統100以及影像處理方法200可以刪除不正確的標籤，進而使相似係數提高。換言之，假陽性的機率將減少。
本揭示內容之方法可以以程式碼的型態存在。程式碼可以包含於實體媒體，例如軟碟、光碟片、硬碟、或是其他任何非暫態電腦可讀取儲存媒體，其中，當程式碼被電腦載入且執行時，此電腦變成用以實現所述方法之裝置。程式碼也可以透過一些傳送媒體，如電線或電纜、透過光纖、或是透過其他任何傳輸型態進行傳送，其中，當程式碼被電腦接收、載入且執行時，此電腦變成用以實現所述方法之裝置。當在一般用途的處理器實現時，程式碼結合處理器來提供操作類似於應用特定邏輯電路之一獨特裝置。
雖然本揭示內容已以實施方式揭露如上，然其並非用以限定本揭示內容，所屬技術領域具有通常知識者在不脫離本揭示內容之精神和範圍內，當可作各種更動與潤飾，因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。
100:影像處理系統 110:記憶體 120:處理器 130:輸入/輸出裝置 200:影像處理方法 A1:第一軸 D:預定深度 d:垂直距離 H:預定高度 M[1]~M[n],M[2]P,M[4]P,M[3]D:醫學影像 P1[2],P1[3],P2[3],P3[3],P1[4],P2[4]:標籤 PJ1[32],PJ2[32],PJ3[32],PJ1[34],PJ2[34],PJ3[34]:投影區域 PO1[2],PO1[4]:重疊區域 S201~S211:操作 W:預定寬度
第1圖係根據本揭示內容的部分實施例的一種影像處理系統的示意圖。 第2A圖為根據本揭示內容的部分實施例的一種影像處理方法的流程圖。 第2B圖為根據本揭示內容的部分實施例的影像處理方法的其中一操作的流程圖。 第3圖為根據本揭示內容的部分實施例的醫學影像的示意圖。 第4A~4C圖為根據本揭示內容的部分實施例的標記有標籤的醫學影像的示意圖。 第5A~5B圖為在其上形成有第4B圖醫學影像的標籤投影區域的相鄰醫學影像的示意圖。 第6圖為經過處理後的第4B圖的醫學影像的示意圖。 第7A圖為根據本揭示內容的部分實施例的相似係數與直徑閥值的關係曲線圖。 第7B圖為根據本揭示內容的部分實施例的靈敏度與直徑閥值的關係曲線圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
200:影像處理方法
S201~S206:操作

Claims (20)

  1. 一種影像處理方法，包含： 計算具有複數個標籤的複數張醫學影像中的一第一醫學影像的一第一標籤的面積，其中該些醫學影像為連續切片影像； 基於該第一標籤的面積是否大於一閥值，取得一第一判斷結果； 基於該些醫學影像中與該第一醫學影像相鄰的一第二醫學影像是否包含與該第一標籤在該第二醫學影像上的一第一投影區域重疊的一第二標籤，取得一第二判斷結果；以及 根據該第一判斷結果以及該第二判斷結果，選擇性地刪除該第一醫學影像上的該第一標籤。
  2. 如請求項1所述之影像處理方法，其中在基於該些醫學影像中與該第一醫學影像相鄰的該第二醫學影像是否包含與該第一標籤在該第二醫學影像上的該第一投影區域重疊的該第二標籤，取得該第二判斷結果的操作之後，該方法更包含： 基於該些醫學影像中與該第一醫學影像相鄰的一第三醫學影像是否包含與該第一標籤在該第三醫學影像上的一第二投影區域重疊的一第三標籤，取得一第三判斷結果。
  3. 如請求項2所述之影像處理方法，其中在基於該些醫學影像中與該第一醫學影像相鄰的該第三醫學影像是否包含與該第一標籤在該第三醫學影像上的該第二投影區域重疊的該第三標籤，取得該第三判斷結果的操作之後，該方法更包含： 響應於該第一標籤的面積大於該閥值、該第二醫學影像不包含該第二標籤且該第三醫學影像不包含該第三標籤的判斷結果，刪除該第一標籤。
  4. 如請求項2所述之影像處理方法，其中在基於該些醫學影像中與該第一醫學影像相鄰的該第三醫學影像是否包含與該第一標籤在該第三醫學影像上的該第二投影區域重疊的該第三標籤，取得該第三判斷結果的操作之後，該方法更包含： 響應於該第一標籤的面積大於該閥值、該第二醫學影像不包含該第二標籤且該第三醫學影像包含該第三標籤的判斷結果，保持該第一標籤。
  5. 如請求項1所述之影像處理方法，其中響應於顯示該第一標籤的面積大於該閥值的該第一判斷結果，執行基於該些醫學影像中與該第一醫學影像相鄰的該第二醫學影像是否包含與該第一標籤在該第二醫學影像上的該第一投影區域重疊的該第二標籤，取得該第二判斷結果的操作。
  6. 如請求項1所述之影像處理方法，其中根據該第一判斷結果以及該第二判斷結果，選擇性地刪除該第一醫學影像上的該第一標籤的操作包含： 響應於該第一標籤的面積大於該閥值且該第二醫學影像包含該第二標籤的判斷結果，保持該第一標籤。
  7. 如請求項1所述之影像處理方法，其中根據該第一判斷結果以及該第二判斷結果，選擇性地刪除該第一醫學影像上的該第一標籤的操作包含： 響應於該第一標籤的面積不大於該閥值的判斷結果，保持該第一標籤。
  8. 如請求項1所述之影像處理方法，其中在計算具有複數個標籤的複數張醫學影像中的該第一醫學影像的該第一標籤的面積的操作之前，該方法更包含： 辨識該些醫學影像，以標記該些標籤。
  9. 如請求項1所述之影像處理方法，其中在基於該第一標籤的面積是否大於該閥值，取得該第一判斷結果的操作之前，該方法更包含： 根據該些醫學影像沿著一第一軸的一空間解析度，決定該閥值，其中該第一軸垂直於該第一醫學影像以及該第二醫學影像，且該第一標籤沿著該第一軸被投影於該第二醫學影像上以形成該第一投影區域。
  10. 如請求項9所述之影像處理方法，其中該閥值與該空間解析度成反比，且該空間解析度與該第一醫學影像以及該第二醫學影像之間的一垂直距離成反比。
  11. 如請求項1所述之影像處理方法，其中在基於該第一標籤的面積是否大於該閥值，取得該第一判斷結果的操作之前，該方法更包含： 根據一靈敏度以及一相似係數，決定該閥值。
  12. 一種影像處理系統，包含： 一記憶體，用於儲存至少一程式碼；以及 一處理器，用於執行該至少一程式碼，以執行下列操作： 計算具有複數個標籤的複數張醫學影像中的一第一醫學影像的一第一標籤的面積，其中該些醫學影像為連續切片影像； 基於該第一標籤的面積是否大於一閥值，取得一第一判斷結果； 基於該些醫學影像中與該第一醫學影像相鄰的一第二醫學影像是否包含與該第一標籤在該第二醫學影像上的一第一投影區域重疊的一第二標籤，取得一第二判斷結果；以及 根據該第一判斷結果以及該第二判斷結果，選擇性地刪除該第一醫學影像上的該第一標籤。
  13. 如請求項12所述之影像處理系統，其中在基於該些醫學影像中與該第一醫學影像相鄰的該第二醫學影像是否包含與該第一標籤在該第二醫學影像上的該第一投影區域重疊的該第二標籤，取得該第二判斷結果的操作之後，該處理器更執行： 基於該些醫學影像中與該第一醫學影像相鄰的一第三醫學影像是否包含與該第一標籤在該第三醫學影像上的一第二投影區域重疊的一第三標籤，取得一第三判斷結果。
  14. 如請求項13所述之影像處理系統，其中響應於該第一標籤的面積大於該閥值、該第二醫學影像不包含該第二標籤且該第三醫學影像不包含該第三標籤的判斷結果，該處理器刪除該第一標籤。
  15. 如請求項13所述之影像處理系統，其中響應於該第一標籤的面積大於該閥值、該第二醫學影像不包含該第二標籤且該第三醫學影像包含該第三標籤的判斷結果，該處理器保持該第一標籤。
  16. 如請求項12所述之影像處理系統，其中響應於該第一標籤的面積大於該閥值且該第二醫學影像包含該第二標籤的判斷結果，該處理器保持該第一標籤。
  17. 如請求項12所述之影像處理系統，其中響應於該第一標籤的面積不大於該閥值的判斷結果，該處理器保持該第一標籤。
  18. 如請求項12所述之影像處理系統，其中在基於該第一標籤的面積是否大於該閥值，取得該第一判斷結果的操作之前，該處理器更執行： 根據該些醫學影像沿著一第一軸的一空間解析度，決定該閥值，其中該第一軸垂直於該第一醫學影像以及該第二醫學影像，且該第一標籤沿著該第一軸被投影於該第二醫學影像上以形成該第一投影區域。
  19. 如請求項18所述之影像處理系統，其中該閥值與該空間解析度成反比，且該空間解析度與該第一醫學影像以及該第二醫學影像之間的一垂直距離成反比。
  20. 一種非暫態電腦可讀取儲存媒體，具有一電腦程式用以執行一影像處理方法，其中該方法包含： 計算具有複數個標籤的複數張醫學影像中的一第一醫學影像的一第一標籤的面積，其中該些醫學影像為連續切片影像； 基於該第一標籤的面積是否大於一閥值，取得一第一判斷結果； 基於該些醫學影像中與該第一醫學影像相鄰的一第二醫學影像是否包含與該第一標籤在該第二醫學影像上的一第一投影區域重疊的一第二標籤，取得一第二判斷結果；以及 根據該第一判斷結果以及該第二判斷結果，選擇性地刪除該第一醫學影像上的該第一標籤。
TW109145772A 2019-12-23 2020-12-23 影像處理方法、系統及非暫態電腦可讀取儲存媒體 TWI773045B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962952498P 2019-12-23 2019-12-23
US62/952,498 2019-12-23

Publications (2)

Publication Number Publication Date
TW202125406A true TW202125406A (zh) 2021-07-01
TWI773045B TWI773045B (zh) 2022-08-01

Family

ID=73856764

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109145772A TWI773045B (zh) 2019-12-23 2020-12-23 影像處理方法、系統及非暫態電腦可讀取儲存媒體

Country Status (5)

Country Link
US (1) US11600000B2 (zh)
EP (1) EP3843038B1 (zh)
JP (1) JP7333304B2 (zh)
CN (1) CN113096778B (zh)
TW (1) TWI773045B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6988732B2 (ja) * 2018-08-02 2022-01-05 株式会社島津製作所 放射線画像処理装置および放射線画像処理方法
US11615267B2 (en) * 2020-05-01 2023-03-28 Siemens Healthcare Gmbh X-ray image synthesis from CT images for training nodule detection systems

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101107617A (zh) * 2004-09-27 2008-01-16 皇家飞利浦电子股份有限公司 用于选择显示器上指针速度的系统
GB0521640D0 (en) * 2005-10-24 2005-11-30 Ccbr As Automatic quantification of a pathology indicating measure from cartilage scan data
US7672496B2 (en) * 2006-06-21 2010-03-02 Icad, Inc. Forming three dimensional objects using a decision rule in medical image data
WO2008050223A2 (en) * 2006-10-25 2008-05-02 Rcadia Medical Imaging Ltd. Method and system for automatic analysis of blood vessel structures and pathologies
CN102246207A (zh) * 2008-12-09 2011-11-16 皇家飞利浦电子股份有限公司 用于乳腺病灶表征的多分割结果的对照
WO2016004020A1 (en) * 2014-07-02 2016-01-07 Covidien Lp System and method for detecting trachea
TW201629522A (zh) * 2015-02-04 2016-08-16 Nihon Mediphysics Co Ltd 核醫學圖像解析技術
CN106097353B (zh) * 2016-06-15 2018-06-22 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备
JP6173542B1 (ja) * 2016-08-10 2017-08-02 株式会社Pfu 画像処理装置、画像処理方法、および、プログラム
KR101762678B1 (ko) * 2016-12-28 2017-08-03 주식회사 이티엑스웍스 병변 영역 검출 장치 및 방법
CN106682636B (zh) * 2016-12-31 2020-10-16 上海联影医疗科技有限公司 血管提取方法及其系统
TWI672638B (zh) * 2017-05-04 2019-09-21 宏達國際電子股份有限公司 影像處理方法、非暫態電腦可讀取媒體以及影像處理系統
US10417737B2 (en) * 2017-06-21 2019-09-17 International Business Machines Corporation Machine learning model for automatic image registration quality assessment and correction
CN107644419A (zh) * 2017-09-30 2018-01-30 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
WO2019152850A1 (en) * 2018-02-02 2019-08-08 Centerline Biomedical, Inc. Segmentation of anatomic structures
CN109741317B (zh) * 2018-12-29 2023-03-31 成都金盘电子科大多媒体技术有限公司 医学影像智能评价方法
CN110110617B (zh) * 2019-04-22 2021-04-20 腾讯科技（深圳）有限公司 医学影像分割方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
JP2021108119A (ja) 2021-07-29
CN113096778A (zh) 2021-07-09
EP3843038B1 (en) 2023-09-20
CN113096778B (zh) 2024-05-28
US11600000B2 (en) 2023-03-07
JP7333304B2 (ja) 2023-08-24
TWI773045B (zh) 2022-08-01
US20210192735A1 (en) 2021-06-24
EP3843038A1 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
Binczyk et al. Radiomics and artificial intelligence in lung cancer screening
Teramoto et al. Automated detection of pulmonary nodules in PET/CT images: Ensemble false‐positive reduction using a convolutional neural network technique
Hwang et al. Clinical implementation of deep learning in thoracic radiology: potential applications and challenges
JP5868231B2 (ja) 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム
WO2020114158A1 (zh) 一种病灶检测方法、装置、设备及存储介质
Riccardi et al. Computer‐aided detection of lung nodules via 3D fast radial transform, scale space representation, and Zernike MIP classification
Shaukat et al. Computer-aided detection of lung nodules: a review
TWI773045B (zh) 影像處理方法、系統及非暫態電腦可讀取儲存媒體
US10748282B2 (en) Image processing system, apparatus, method and storage medium
CN113744328B (zh) 医学图像标记点识别方法、装置、电子设备及存储介质
Tan et al. Computer‐aided detection of breast cancers using Haar‐like features in automated 3D breast ultrasound
JP2015001982A (ja) 画像類似度確定装置及び方法並びに画像特徴取得装置及び方法
Wang et al. Feature‐shared adaptive‐boost deep learning for invasiveness classification of pulmonary subsolid nodules in CT images
CN107480673B (zh) 确定医学图像中感兴趣区域的方法、装置及图像编辑系统
US20140198963A1 (en) Segmentation method of medical image and apparatus thereof
CN112634309A (zh) 图像处理方法、装置、电子设备及存储介质
Kumar et al. Fully automated segmentation of lung parenchyma using break and repair strategy
JP5955723B2 (ja) 画像処理装置および画像処理方法、並びに、画像処理プログラム
Öksüz et al. COVID‐19 detection with severity level analysis using the deep features, and wrapper‐based selection of ranked features
Wang et al. ICA-Unet: An improved U-net network for brown adipose tissue segmentation
Li et al. SAP‐cGAN: Adversarial learning for breast mass segmentation in digital mammogram based on superpixel average pooling
Chen et al. MTN-Net: a multi-task network for detection and segmentation of thyroid nodules in ultrasound images
Gu et al. The effect of pulmonary vessel suppression on computerized detection of nodules in chest CT scans
Yang et al. Lung Nodule Segmentation and Uncertain Region Prediction with an Uncertainty-Aware Attention Mechanism
Gao et al. Graph modeling and mining methods for brain images