TW202337382A - 醫療輔助資訊產生方法與醫療輔助資訊產生系統 - Google Patents

醫療輔助資訊產生方法與醫療輔助資訊產生系統 Download PDF

Info

Publication number
TW202337382A
TW202337382A TW111112157A TW111112157A TW202337382A TW 202337382 A TW202337382 A TW 202337382A TW 111112157 A TW111112157 A TW 111112157A TW 111112157 A TW111112157 A TW 111112157A TW 202337382 A TW202337382 A TW 202337382A
Authority
TW
Taiwan
Prior art keywords
pixel position
artificial intelligence
intelligence model
auxiliary information
target
Prior art date
Application number
TW111112157A
Other languages
English (en)
Other versions
TWI825643B (zh
Inventor
錢冠邑
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW111112157A priority Critical patent/TWI825643B/zh
Priority to CN202210433608.8A priority patent/CN116934669A/zh
Priority to US17/827,769 priority patent/US20230316503A1/en
Priority to EP22185291.6A priority patent/EP4254326A1/en
Publication of TW202337382A publication Critical patent/TW202337382A/zh
Application granted granted Critical
Publication of TWI825643B publication Critical patent/TWI825643B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2733—Oesophagoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

一種醫療輔助資訊產生方法與醫療輔助資訊產生系統。所述方法包括：獲得生理影像；經由至少一人工智慧模型從所述生理影像中辨識出目標影像區域，其中所述目標影像區域中的各個像素位置對應一個估計值，且所述估計值符合預設條件；根據所述估計值的數值分布在所述目標影像區域中決定至少一目標像素位置；以及根據所述目標像素位置產生醫療輔助資訊，其帶有與所述至少一目標像素位置有關的提示資訊。

Description

醫療輔助資訊產生方法與醫療輔助資訊產生系統
本發明是有關於一種影像分析技術，且特別是有關於一種醫療輔助資訊產生方法與醫療輔助資訊產生系統。
食道癌為常見的多種癌症的其中之一，而食道癌有50%的機率是由巴瑞特式食道(Barrett’s Esophagus)演變形成。一般來說，在檢查時，醫生會透過胃鏡檢查來拍攝患者的胃食道交界處(EG Junction)的影像，並根據所獲得的影像以人工的方式初步研判患者是否有巴瑞特式食道。若經判斷患者很高的機率有巴瑞特式食道，則醫生會針對疑似為巴瑞特式食道的區域進行切片，並根據切片結果來執行病理分析，進而確定病患是否確實具有巴瑞特式食道。然而，上述檢測方式(包含初步的巴瑞特式食道診斷及後續切片位置的選擇)高度仰賴醫生的經驗與身心狀態。
本發明提供一種醫療輔助資訊產生方法與醫療輔助資訊產生系統，可提高針對人體特定病徵的檢測效率。
本發明的實施例提供一種醫療輔助資訊產生方法，其包括：獲得生理影像；經由至少一人工智慧模型從所述生理影像中辨識出目標影像區域，其中所述目標影像區域中的各個像素位置對應一個估計值，且所述估計值符合預設條件；根據所述估計值的數值分布在所述目標影像區域中決定至少一目標像素位置；以及根據所述至少一目標像素位置產生醫療輔助資訊，其中所述醫療輔助資訊帶有與所述至少一目標像素位置有關的提示資訊。
本發明的實施例另提供一種醫療輔助資訊產生系統，其包括儲存電路與處理器。所述儲存電路用以儲存生理影像。所述處理器耦接至所述儲存電路。所述處理器用以：獲得所述生理影像；經由至少一人工智慧模型從所述生理影像中辨識出目標影像區域，其中所述目標影像區域中的各個像素位置對應一個估計值，且所述估計值符合預設條件；根據所述估計值的數值分布在所述目標影像區域中決定至少一目標像素位置；以及根據所述至少一目標像素位置產生醫療輔助資訊，其中所述醫療輔助資訊帶有與所述至少一目標像素位置有關的提示資訊。
基於上述，在獲得生理影像後，至少一人工智慧模型可用以從所述生理影像中辨識出目標影像區域。特別是，所述目標影像區域中的各個像素位置對應一個估計值，且所述估計值需符合預設條件。然後，所述目標影像區域中的至少一目標像素位置可根據所述估計值的數值分布被決定，且醫療輔助資訊可根據所述目標像素位置而產生。特別是，所述醫療輔助資訊可帶有與所述目標像素位置有關的提示資訊。藉此，可提高針對人體特定病徵的檢測效率。
圖1是根據本發明的實施例所繪示的醫療輔助資訊產生系統的示意圖。請參照圖1，醫療輔助資訊產生系統10可設置於智慧型手機、筆記型電腦、桌上型電腦、平板電腦、工業電腦或伺服器等各式支援影像處理技術的電子裝置中。
醫療輔助資訊產生系統10可包括處理器11、儲存電路12及輸入/輸出(I/O)介面13。處理器11用以負責醫療輔助資訊產生系統10的整體或部分運作。例如，處理器11可包括中央處理器(Central Processing Unit, CPU)、圖形處理器(Graphic Processing Unit, GPU)或是其他可程式化之一般用途或特殊用途的微處理器、數位訊號處理器(Digital Signal Processor, DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)或其他類似裝置或這些裝置的組合。
儲存電路12耦接至處理器11並用以儲存資料。例如，儲存電路12可包括揮發性儲存電路與非揮發性儲存電路。揮發性儲存電路用以揮發性地儲存資料。例如，揮發性儲存電路可包括隨機存取記憶體(Random Access Memory, RAM)或類似的揮發性儲存媒體。非揮發性儲存電路用以非揮發性地儲存資料。例如，非揮發性儲存電路可包括唯讀記憶體(Read Only Memory, ROM)、固態硬碟(solid state disk, SSD)、傳統硬碟(Hard disk drive, HDD)或類似的非揮發性儲存媒體。
輸入/輸出介面13耦接至處理器11並用以執行訊號的輸入與輸出。例如，輸入/輸出介面13可包括攝影機、顯示器、網路介面卡、滑鼠、鍵盤、觸控板、揚聲器及麥克風等各式輸入/輸出裝置。本發明不限制所述輸入/輸出裝置的類型。
處理器11可獲得生理影像101並將生理影像101儲存於儲存電路12。生理影像101可反映患者的人體的健康狀態或疾病病徵。在以下的實施例中，是以檢測患者的食道中是否存在巴瑞特式食道(Barrett’s Esophagus)作為範例，故生理影像101可包括患者的食道影像，但本發明不限於此。例如，若患者的食道中存在巴瑞特式食道，則生理影像101中可呈現出巴瑞特式食道的影像特徵。或者，若患者的食道中存在其他類型的疾病表徵，則生理影像101中亦可呈現相對應的影像特徵。此外，生理影像101亦可反映人體的其他部位的健康狀態或疾病病徵，本發明不加以限制。
處理器11可經由人工智慧模型102從生理影像101中辨識出特定的影像區域(亦稱為目標影像區域)。例如，目標影像區域可包括巴瑞特式食道的影像特徵所涵蓋的影像區域。特別是，目標影像區域中的各個像素位置可對應一個估計值，且所述估計值需符合特定條件(亦稱為預設條件)。例如，所述預設條件可界定出目標影像區域中的各個像素位置所對應的估計值必須大於特定值(亦稱為預設值)。例如，所述預設值可為0.5或介於0與1之間的其他數值。
在一實施例中，人工智慧模型102是實作為軟體模組並儲存於儲存電路12中。或者，在一實施例中，人工智慧模型102亦可實作於硬體電路(例如影像處理晶片)中。人工智慧模型102可具有機器學習及/或深度學習等人工智慧架構。例如，人工智慧模型102可採用卷積神經網路(Convolutional neural network, CNN)模型、全卷積網路(Full Convolutional network, FCN)模型、區域卷積網路(Region-based CNN)及/或U-Net模型等涉及編碼與解碼的神經網路模型。處理器11可運行人工智慧模型102以對生理影像101執行自動化的影像辨識。此外，人工智慧模型102可經由訓練而持續改善其影像辨識性能(例如影像辨識的準確率)。
在一實施例中，處理器11可將生理影像101輸入至人工智慧模型102。人工智慧模型102可分析生理影像101並針對生理影像101中的每一個(或至少部分)像素位置輸出一個估計值。特別是，某一個像素位置所對應的估計值可反映人工智慧模型102辨識此像素位置屬於巴瑞特式食道的機率。處理器11可根據人工智慧模型102的輸出決定生理影像101中的各個像素位置所對應的估計值。
在一實施例中，處理器11可判斷生理影像101中的特定像素位置(亦稱為第一像素位置)所對應的估計值是否大於預設值。響應於第一像素位置所對應的估計值大於預設值，處理器11可判定第一像素位置所對應的估計值符合預設條件並將第一像素位置納入至目標影像區域中。或者，響應於第一像素位置所對應的估計值不大於預設值，處理器11可判定第一像素位置所對應的估計值不符合預設條件且不將第一像素位置納入至目標影像區域中。透過初步框選目標影像區域，處理器11可初步決定生理影像101中的哪些影像區域存在巴瑞特式食道的影像特徵。
在獲得目標影像區域後，處理器11可根據目標影像區域中的多個像素位置所對應的估計值的數值分布，在目標影像區域中決定至少一個特定像素位置(亦稱為目標像素位置)。目標像素位置可包括人工智慧模型102所辨識的目標影像區域中巴瑞特式食道的發生機率相對較高的位置。
在一實施例中，處理器11可比較目標影像區域中的多個像素位置(亦稱為候選像素位置)所對應的估計值。然後，處理器11可根據比較結果從所述多個候選像素位置中決定目標像素位置。例如，所述多個候選像素位置中對應於最大的估計值的候選像素位置，表示人工智慧模型102辨識此候選像素位置上發生巴瑞特式食道的機率相對較高。因此，處理器11可將所述多個候選像素位置中對應於最大的估計值的候選像素位置決定為目標像素位置。
在一實施例中，目標像素位置的總數可為一個。在一實施例中，目標像素位置的總數可為多個。在目標像素位置的總數為多個的狀況下，任兩個目標像素位置之間的距離可被限制為需大於一個預設距離值。例如，假設目標像素位置包括第一目標像素位置與第二目標像素位置，則第一目標像素位置與第二目標像素位置之間的距離需大於預設距離值。若某一個候選像素位置與特定目標像素位置之間的距離不大於所述預設距離值，則此候選像素位置將不被允許作為目標像素位置或從目標像素位置中剔除。
在決定目標像素位置後，處理器11可根據目標像素位置產生醫療輔助資訊103。例如，醫療輔助資訊103可儲存於儲存電路12中。特別是，醫療輔助資訊103可帶有與目標像素位置有關的提示資訊。例如，所述提示資訊可包括目標像素位置的座標資訊及/或藉由特定的視覺效果將目標像素位置呈現於目標影像區域(或生理影像101)中。在一實施例中，醫療輔助資訊103也可帶有與目標影像區域有關的提示資訊。例如，所述提示資訊可包括目標影像區域的座標資訊及/或藉由特定的視覺效果將目標影像區域呈現於生理影像101中。
在一實施例中，醫生可根據醫療輔助資訊103中與目標像素位置(或目標影像區域)有關的提示資訊，決定患者的食道中要實際進行切片以檢測巴瑞特式食道的位置。在一實施例中，透過在目標像素位置所對應的食道部位進行切片檢測，可有效提高檢測巴瑞特式食道的準確率。
圖2是根據本發明的實施例所繪示的生理影像的示意圖。圖3是根據本發明的實施例所繪示的目標影像區域的示意圖。圖4是根據本發明的實施例所繪示的目標像素位置的示意圖。
請參照圖1至圖4，假設生理影像101包括影像21。處理器11可經由人工智慧模型102從影像21中辨識出影像區域31(即目標影像區域，圖3中以斜線標記的區域)。例如，影像區域31可包括人工智慧模型102所辨識的巴瑞特式食道所涵蓋的影像區域。接著，處理器11可根據影像區域31中的至少部分像素位置(即候選像素位置)所對應的估計值之數值分布，將影像區域31中的像素位置401及/或402決定為目標像素位置。例如，像素位置401所對應的估計值可高於像素位置401附近或周圍的至少一個像素位置所對應的估計值，且像素位置402所對應的估計值可高於像素位置402附近或周圍的至少一個像素位置所對應的估計值。換言之，像素位置401及402可包括人工智慧模型102所辨識的影像區域31中巴瑞特式食道的發生機率相對較高的位置。然後，處理器11可根據像素位置401及/或402產生醫療輔助資訊103。醫療輔助資訊103可帶有與像素位置401及/或402有關的提示資訊(例如像素位置401及/或402的座標資訊)。爾後，醫療輔助資訊103可用以將像素位置401及/或402作為患者的食道中適合切片的位置推薦給醫生，以提高後續對巴瑞特式食道的診斷準確率。
在一實施例中，處理器11可將影像區域31中對應於最大的估計值的像素位置決定為目標像素位置。在另一實施例中，若對應於較大之估計值的多個像素位置集中於一特定區塊內時，處理器11可選擇所述特定區塊之中心處的像素位置作為目標像素位置。
須注意的是，在將像素位置401及402同時作為目標像素位置的狀況下，在影像21中，像素位置401及402之間的距離(亦稱為像素距離)d需大於預設距離值。例如，預設距離值在實體空間中所對應的距離(亦稱為實際距離)可為10毫米(millimeter, mm)或其他數值。藉此，可有效提高後續切片檢測的準確率。此外，在一實施例中，影像區域31中更多的像素位置也可被決定為目標像素位置，以作為切片檢測的參考位置，本發明不加以限制。
在一實施例中，處理器11可根據一轉換方程式將影像21中的距離d轉換為實體空間中的實際距離，或者將實體空間中的實際距離轉換為影像21中的距離d。在一實施例中，處理器11從DICOM格式的生理影像101中獲得像素點間的距離資訊(例如距離d)，進而根據此距離資訊計算像素位置401及402之間的實際距離。
在一實施例中，在選擇像素位置401作為目標像素位置後，處理器11可根據所述預設距離值選擇符合條件的像素位置402作為目標像素位置。或者，在一實施例中，處理器11也可先選擇像素位置402作為目標像素位置，再根據所述預設距離值選擇像素位置401作為目標像素位置，只要所選擇的像素位置401及402滿足預設條件(即像素位置401及402之間的距離d大於所述預設距離值)即可。
在一實施例中，假設像素位置401先被決定為目標像素位置。在像素位置401及402之間的距離d不大於所述預設距離值的狀況下，即便像素位置402所對應的估計值很大，處理器11仍可忽略像素位置402且不將像素位置402決定為目標像素位置。
在一實施例中，人工智慧模型102的總數可為一個。在人工智慧模型102的總數為一個的狀況下，人工智慧模型102可用以分析生理影像101並針對生理影像101中的各個像素位置輸出所述估計值，以反映生理影像101中的各個像素位置屬於巴瑞特式食道的機率。處理器11可直接使用人工智慧模型102所輸出的估計值，來決定生理影像101中的目標影像區域與目標像素位置。相關的操作細節已詳述於上，在此便不贅述。
在一實施例中，人工智慧模型102的總數亦可為多個。在人工智慧模型102的總數為多個的狀況下，人工智慧模型102可至少包括第一人工智慧模型與第二人工智慧模型。第一人工智慧模型與第二人工智慧模型皆可用以分析生理影像101並針對生理影像101中的各個像素位置輸出所述估計值，以反映生理影像101中的各個像素位置屬於巴瑞特式食道的機率。處理器11可根據該第一人工智慧模型的輸出，獲得生理影像101中的各個像素位置所對應的估計值(亦稱為第一估計值)。另一方面，處理器11可根據該第二人工智慧模型的輸出，獲得生理影像101中的各個像素位置所對應的估計值(亦稱為第二估計值)。接著，處理器11可根據第一估計值與第二估計值決定生理影像101中的各個像素位置所對應的估計值(亦稱為第三估計值)。爾後，處理器11可根據生理影像101中的各個像素位置所對應的估計值(即第三估計值)來決定目標影像區域與目標像素位置。相關的操作細節已詳述於上，在此便不贅述。
圖5是根據本發明的實施例所繪示的根據多個人工智慧模型的輸出獲得估計值的示意圖。請參照圖1與圖5，假設人工智慧模型102包括人工智慧模型51~53。人工智慧模型51~53可分析圖1的生理影像101並分別輸出估計值501~503。特別是，估計值501可反映人工智慧模型51所判定的生理影像101中的某一像素位置屬於巴瑞特式食道的機率，估計值502可反映人工智慧模型52所判定的生理影像101中的某一像素位置屬於巴瑞特式食道的機率，且估計值503可反映人工智慧模型53所判定的生理影像101中的某一像素位置屬於巴瑞特式食道的機率。
處理器11可根據估計值501~503執行邏輯處理54以產生估計值55。例如，邏輯處理54可包括對估計值501~503進行數值平均等各式邏輯運算。估計值55可反映出對估計值501~503執行邏輯處理54的操作結果。例如，假設估計值55為估計值501~503的平均值，則估計值55可反映出人工智慧模型51~53所判定的生理影像101中的某一像素位置屬於巴瑞特式食道的平均機率。爾後，處理器11可根據估計值55來決定目標影像區域與目標像素位置。相關的操作細節已詳述於上，在此便不贅述。
圖6是根據本發明的實施例所繪示的人工智慧模型分析生理影像的示意圖。請參照圖5與圖6，以人工智慧模型51為例，人工智慧模型51可包括編碼器61與解碼器62。編碼器61耦接至人工智慧模型51的輸入。解碼器62耦接至編碼器61的輸出與人工智慧模型51的輸出。例如，編碼器61可採用EfficientNetB3作為骨幹網路以學習影像特徵，並使用ImageNet來預訓練網路權重以進行轉移學習。解碼器62可採用Unet作為骨幹網路以輸出對應於影像中的各個像素位置的估計值。
須注意的是，在解碼器62內部，用以擴充解碼像素面積的上採樣層(Up-Samping)可被替換為反捲積層(Deconvolution)，以優化人工智慧模型51的學習能力。此外，解碼器62可採用Sigmoid函數做為激活函數，以輸出對應於影像中的各個像素位置的估計值。
以分析圖2的影像21為例，在將影像21輸入至人工智慧模型51後，編碼器61可先透過EfficientNetB3網路對影像21進行編碼。然後，解碼器62可透過客製化(包含反捲積層)的Unet網路對編碼器61的操作結果進行解碼並產生估計值501。或者，在一實施例中，人工智慧模型51亦可直接根據估計值501輸出影像21中經辨識的影像區域31。或者，在一實施例中，人工智慧模型51的第一部分可用以分析影像21並輸出影像區域31，而人工智慧模型51的第二部分可用以從影像區域31中決定目標像素位置。
在一實施例中，在人工智慧模型102的總數為多個的狀況下，處理器11可使用特定訓練資料(亦稱為第一訓練資料)來訓練人工智慧模型102中的第一人工智慧模型並使用特定驗證資料(亦稱為第一驗證資料)來驗證經訓練的第一人工智慧模型。另一方面，處理器11可使用另一訓練資料(亦稱為第二訓練資料)來訓練人工智慧模型102中的第二人工智慧模型。此外，處理器11可使用另一驗證資料(亦稱為第二驗證資料)來驗證經訓練的第二人工智慧模型。特別是，第二訓練資料不同於第一訓練資料，且用來訓練第二人工智慧模型的第二訓練資料可包括用來驗證第一人工智慧模型的第一驗證資料。此外，第二驗證資料可包括第一訓練資料中的至少部分資料。透過交叉式的使用對於不同人工智慧模型的訓練資料與驗證資料，可有效提高對於多個人工智慧模型的訓練效率。
圖7是根據本發明的實施例所繪示的訓練多個人工智慧模型的示意圖。請參照圖7，以訓練圖5的人工智慧模型51~53為例，訓練資料71~73可分別用以訓練人工智慧模型51~53，且驗證資料74~76則可分別用以驗證經訓練的人工智慧模型51~53。例如，在分別使用訓練資料71~73來訓練人工智慧模型51~53後，驗證資料74~76可分別用以驗證經訓練的人工智慧模型51~53的影像辨識能力。此外，根據驗證結果，人工智慧模型51~53內部的決策參數也可被對應調整，以優化決策能力。
須注意的是，訓練資料71可包括影像資料702與703，訓練資料72可包括影像資料701與703，且訓練資料73可包括影像資料701與702。此外，驗證資料74可包括影像資料701，驗證資料75可包括影像資料702，且驗證資料76可包括影像資料703。影像資料701~703可分別包括一或多個患者的食道影像，且此些食道影像中可包含或不包含巴瑞特式食道之影像特徵。此外，影像資料701~703中的至少部分影像可經過縮放、旋轉及/或調整顏色等影像處理手段，以提高訓練資料的多樣性。
從另一角度而言，對於人工智慧模型52與53的共同訓練資料701可被使用於驗證人工智慧模型51的影像辨識能力，對於人工智慧模型51與53的共同訓練資料702可被使用於驗證人工智慧模型52的影像辨識能力，且對於人工智慧模型51與52的共同訓練資料703可被使用於驗證人工智慧模型53的影像辨識能力。在一實施例中，透過交叉式的使用對於其他人工智慧模型的訓練資料來做為特定人工智慧模型的驗證資料，可有效提高對人工智慧模型的訓練與驗證效率。
須注意的是，雖然圖5與圖7的實施例皆是以3個人工智慧模型作為人工智慧模型102的範例，但本發明不限於此。在其他實施例中，人工智慧模型102亦可包括更多(例如5個)或更少(例如2個)人工智慧模型，且模型的使用與訓練方式皆已詳述於上，在此便不贅述。
圖8是根據本發明的實施例所繪示的醫療輔助資訊產生系統的示意圖。請參照圖1與圖8，在一實施例中，輸入/輸出介面13可包括攝影機81及/或顯示器82。
攝影機81可包括微型攝影機(或微型攝影鏡頭)。攝影機81的鏡頭可深入至患者801之食道進行食道攝影，以擷取患者801之食道的內部影像，如圖8所示。因此，生理影像101可包括經由深入至患者801之食道的攝影機81所擷取的影像。此外，顯示器82可用以呈現醫療輔助資訊103，以供醫生查看。
在一實施例中，顯示器82可顯示如圖3或圖4的目標影像區域或目標像素位置。在一實施例中，圖1的處理器11可將標註有目標影像區域之圖層覆蓋於生理影像101上及/或在生理影像101上附加標示目標像素位置之亮點。在將標註有目標影像區域之圖層覆蓋於生理影像101上及/或在生理影像101上附加標示目標像素位置之亮點後，處理器11可將處理後的影像顯示於顯示器82，從而呈現出醫療輔助資訊103。
在一實施例中，醫療輔助資訊產生系統10可包括用以辨識胃食道交界處的影像的模型，且所述模型可儲存於圖1的儲存電路12中。當攝影機81進行食道攝影時，處理器11可將經由攝影機81拍攝而獲得的患者801的多張食道的內部影像輸入所述用以辨識胃食道交界處的影像的模型，而所述模型可用以從所述多張食道的內部影像中找出胃食道交界處的影像。例如，所述胃食道交界處的影像可包括圖1的生理影像101(或圖2的影像21)。
圖9是根據本發明的實施例所繪示的醫療輔助資訊產生方法的流程圖。請參照圖9，在步驟S901中，獲得生理影像。例如，所述生理影像可反映患者的食道狀態。在步驟S902中，經由至少一人工智慧模型從所述生理影像中辨識出目標影像區域，其中所述目標影像區域中的各個像素位置對應一個估計值，且所述估計值符合預設條件。在步驟S903中，根據所述估計值的數值分布在所述目標影像區域中決定至少一目標像素位置。在步驟S904中，根據所述至少一目標像素位置產生醫療輔助資訊，其中所述醫療輔助資訊帶有與所述至少一目標像素位置有關的提示資訊。
然而，圖9中各步驟已詳細說明如上，在此便不再贅述。值得注意的是，圖9中各步驟可以實作為多個程式碼或是電路，本發明不加以限制。此外，圖9的方法可以搭配以上範例實施例使用，也可以單獨使用，本發明不加以限制。
綜上所述，經由人工智慧模型執行兩階段的影像偵測與像素位置篩選技術(第一階段為辨識目標影像區域，且第二階段為確定目標像素位置)，所決定的目標像素位置可作為執行切片檢測的參考位置推薦給使用者(例如醫生)，從而提高對於巴瑞特式食道等疾病的檢測準確率。此外，透過採用客製化的人工智慧模型以及針對多個模型的交叉式訓練與驗證機制，也可有效提高人工智慧模型的影像辨識能力。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:醫療輔助資訊產生系統 11:處理器 12:儲存電路 13:輸入/輸出介面 101:生理影像 102,51~53:人工智慧模型 103:醫療輔助資訊 21:影像 31:影像區域 401,402:像素位置 501~503,505:估計值 54:邏輯處理 61:編碼器 62:解碼器 71~73:訓練資料 74~76:驗證資料 701~703:影像資料 81:攝影機 82:顯示器 801:患者 S901~S904:步驟
圖1是根據本發明的實施例所繪示的醫療輔助資訊產生系統的示意圖。 圖2是根據本發明的實施例所繪示的生理影像的示意圖。 圖3是根據本發明的實施例所繪示的目標影像區域的示意圖。 圖4是根據本發明的實施例所繪示的目標像素位置的示意圖。 圖5是根據本發明的實施例所繪示的根據多個人工智慧模型的輸出獲得估計值的示意圖。 圖6是根據本發明的實施例所繪示的人工智慧模型分析生理影像的示意圖。 圖7是根據本發明的實施例所繪示的訓練多個人工智慧模型的示意圖。 圖8是根據本發明的實施例所繪示的醫療輔助資訊產生系統的示意圖。 圖9是根據本發明的實施例所繪示的醫療輔助資訊產生方法的流程圖。
S901~S904:步驟

Claims (20)

  1. 一種醫療輔助資訊產生方法，包括： 獲得生理影像； 經由至少一人工智慧模型從該生理影像中辨識出目標影像區域，其中該目標影像區域中的各個像素位置對應一個估計值，且該估計值符合預設條件； 根據該估計值的數值分布在該目標影像區域中決定至少一目標像素位置；以及 根據該至少一目標像素位置產生醫療輔助資訊，其中該醫療輔助資訊帶有與該至少一目標像素位置有關的提示資訊。
  2. 如請求項1所述的醫療輔助資訊產生方法，其中經由該至少一人工智慧模型從該生理影像中辨識出該目標影像區域的步驟包括： 將該生理影像輸入至該至少一人工智慧模型； 根據該至少一人工智慧模型的輸出決定該生理影像中的各個像素位置所對應的估計值；以及 根據該生理影像中的各個像素位置所對應的該估計值，在該生理影像中決定該目標影像區域。
  3. 如請求項2所述的醫療輔助資訊產生方法，其中該至少一人工智慧模型包括第一人工智慧模型與第二人工智慧模型，且根據該至少一人工智慧模型的該輸出決定該生理影像中的各個像素位置所對應的該估計值的步驟包括： 根據該第一人工智慧模型的輸出，獲得該生理影像中的各個像素位置所對應的第一估計值； 根據該第二人工智慧模型的輸出，獲得該生理影像中的各個像素位置所對應的第二估計值；以及 根據該第一估計值與該第二估計值決定該生理影像中的各個像素位置所對應的第三估計值。
  4. 如請求項2所述的醫療輔助資訊產生方法，其中根據該生理影像中的各個像素位置所對應的該估計值，在該生理影像中決定該目標影像區域的步驟包括： 判斷該生理影像中的第一像素位置所對應的估計值是否大於預設值；以及 響應於該第一像素位置所對應的該估計值大於該預設值，將該第一像素位置納入至該目標影像區域中。
  5. 如請求項4所述的醫療輔助資訊產生方法，其中根據該估計值的該數值分布在該目標影像區域中決定該至少一目標像素位置的步驟包括： 比較該目標影像區域中的多個候選像素位置所對應的估計值；以及 根據比較結果從該多個候選像素位置中決定該至少一目標像素位置。
  6. 如請求項5所述的醫療輔助資訊產生方法，其中根據該比較結果從該多個候選像素位置中決定該至少一目標像素位置的步驟包括： 將該多個候選像素位置中對應於最大的估計值的候選像素位置決定為該至少一目標像素位置的其中之一。
  7. 如請求項1所述的醫療輔助資訊產生方法，其中該至少一目標像素位置包括第一目標像素位置與第二目標像素位置，且該第一目標像素位置與該第二目標像素位置之間的距離需大於預設距離值。
  8. 如請求項1所述的醫療輔助資訊產生方法，其中該至少一人工智慧模型包括第一人工智慧模型與第二人工智慧模型，且該醫療輔助資訊產生方法更包括： 使用第一訓練資料訓練該第一人工智慧模型； 使用第一驗證資料驗證經訓練的該第一人工智慧模型；以及 使用第二訓練資料訓練該第二人工智慧模型， 其中該第二訓練資料包括該第一驗證資料。
  9. 如請求項8所述的醫療輔助資訊產生方法，更包括： 使用第二驗證資料驗證經訓練的該第二人工智慧模型， 其中該第二驗證資料包括該第一訓練資料中的至少部分資料。
  10. 如請求項1所述的醫療輔助資訊產生方法，其中該生理影像包括經由深入至患者之食道的攝影機所擷取的影像。
  11. 一種醫療輔助資訊產生系統，包括： 儲存電路，用以儲存生理影像；以及 處理器，耦接至該儲存電路， 其中該處理器用以： 獲得該生理影像； 經由至少一人工智慧模型從該生理影像中辨識出目標影像區域，其中該目標影像區域中的各個像素位置對應一個估計值，且該估計值符合預設條件； 根據該估計值的數值分布在該目標影像區域中決定至少一目標像素位置；以及 根據該至少一目標像素位置產生醫療輔助資訊，其中該醫療輔助資訊帶有與該至少一目標像素位置有關的提示資訊。
  12. 如請求項11所述的醫療輔助資訊產生系統，其中經由該至少一人工智慧模型從該生理影像中辨識出該目標影像區域的操作包括： 將該生理影像輸入至該至少一人工智慧模型； 根據該至少一人工智慧模型的輸出決定該生理影像中的各個像素位置所對應的估計值；以及 根據該生理影像中的各個像素位置所對應的該估計值，在該生理影像中決定該目標影像區域。
  13. 如請求項12所述的醫療輔助資訊產生系統，其中該至少一人工智慧模型包括第一人工智慧模型與第二人工智慧模型，且根據該至少一人工智慧模型的該輸出決定該生理影像中的各個像素位置所對應的該估計值的操作包括： 根據該第一人工智慧模型的輸出，獲得該生理影像中的各個像素位置所對應的第一估計值； 根據該第二人工智慧模型的輸出，獲得該生理影像中的各個像素位置所對應的第二估計值；以及 根據該第一估計值與該第二估計值決定該生理影像中的各個像素位置所對應的該估計值。
  14. 如請求項12所述的醫療輔助資訊產生系統，其中根據該生理影像中的各個像素位置所對應的該估計值，在該生理影像中決定該目標影像區域的操作包括： 判斷該生理影像中的第一像素位置所對應的估計值是否大於預設值；以及 響應於該第一像素位置所對應的該估計值大於該預設值，將該第一像素位置納入至該目標影像區域中。
  15. 如請求項14所述的醫療輔助資訊產生系統，其中根據該估計值的該數值分布在該目標影像區域中決定該至少一目標像素位置的操作包括： 比較該目標影像區域中的多個候選像素位置所對應的估計值；以及 根據比較結果從該多個候選像素位置中決定該至少一目標像素位置。
  16. 如請求項15所述的醫療輔助資訊產生系統，其中根據該比較結果從該多個候選像素位置中決定該至少一目標像素位置的操作包括： 將該多個候選像素位置中對應於最大的估計值的候選像素位置決定為該至少一目標像素位置的其中之一。
  17. 如請求項11所述的醫療輔助資訊產生系統，其中該至少一目標像素位置包括第一目標像素位置與第二目標像素位置，且該第一目標像素位置與該第二目標像素位置之間的距離需大於預設距離值。
  18. 如請求項11所述的醫療輔助資訊產生系統，其中該至少一人工智慧模型包括第一人工智慧模型與第二人工智慧模型，且該處理器更用以： 使用第一訓練資料訓練該第一人工智慧模型； 使用第一驗證資料驗證經訓練的該第一人工智慧模型；以及 使用第二訓練資料訓練該第二人工智慧模型， 其中該第二訓練資料包括該第一驗證資料。
  19. 如請求項18所述的醫療輔助資訊產生系統，其中該處理器更用以： 使用第二驗證資料驗證經訓練的該第二人工智慧模型， 其中該第二驗證資料包括該第一訓練資料中的至少部分資料。
  20. 如請求項11所述的醫療輔助資訊產生系統，更包括： 攝影機，耦接至該處理器， 其中該生理影像包括經由深入至患者之食道的該攝影機所擷取的影像。
TW111112157A 2022-03-30 2022-03-30 醫療輔助資訊產生方法與醫療輔助資訊產生系統 TWI825643B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW111112157A TWI825643B (zh) 2022-03-30 2022-03-30 醫療輔助資訊產生方法與醫療輔助資訊產生系統
CN202210433608.8A CN116934669A (zh) 2022-03-30 2022-04-24 医疗辅助信息产生方法与医疗辅助信息产生系统
US17/827,769 US20230316503A1 (en) 2022-03-30 2022-05-29 Medical auxiliary information generation method and medical auxiliary information generation system
EP22185291.6A EP4254326A1 (en) 2022-03-30 2022-07-15 Medical auxiliary information generation method and medical auxiliary information generation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111112157A TWI825643B (zh) 2022-03-30 2022-03-30 醫療輔助資訊產生方法與醫療輔助資訊產生系統

Publications (2)

Publication Number Publication Date
TW202337382A true TW202337382A (zh) 2023-10-01
TWI825643B TWI825643B (zh) 2023-12-11

Family

ID=82608026

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111112157A TWI825643B (zh) 2022-03-30 2022-03-30 醫療輔助資訊產生方法與醫療輔助資訊產生系統

Country Status (4)

Country Link
US (1) US20230316503A1 (zh)
EP (1) EP4254326A1 (zh)
CN (1) CN116934669A (zh)
TW (1) TWI825643B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019054045A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
CN115345819A (zh) * 2018-11-15 2022-11-15 首都医科大学附属北京友谊医院 一种胃癌图像识别系统、装置及其应用
CN110490856B (zh) * 2019-05-06 2021-01-15 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的处理方法、系统、机器设备和介质
TWI738367B (zh) * 2020-06-01 2021-09-01 國立中正大學 以卷積神經網路檢測物件影像之方法
US20220036542A1 (en) * 2020-07-28 2022-02-03 International Business Machines Corporation Deep learning models using locally and globally annotated training images

Also Published As

Publication number Publication date
CN116934669A (zh) 2023-10-24
EP4254326A1 (en) 2023-10-04
TWI825643B (zh) 2023-12-11
US20230316503A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
US11043297B2 (en) Neural network-based object detection in visual input
WO2019037676A1 (zh) 图像处理方法及装置
Sander et al. Automatic segmentation with detection of local segmentation failures in cardiac MRI
Shaukat et al. Computer-aided detection of lung nodules: a review
US10290101B1 (en) Heat map based medical image diagnostic mechanism
JP2013255656A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
TW202022713A (zh) 心臟狀態評估方法與系統、電子裝置及超音波掃描裝置
CN112466466B (zh) 基于深度学习的消化道辅助检测方法、装置和计算设备
Elsharkawy et al. Early assessment of lung function in coronavirus patients using invariant markers from chest X-rays images
WO2020232374A1 (en) Automated anatomic and regional location of disease features in colonoscopy videos
US20210407637A1 (en) Method to display lesion readings result
McCullough et al. Convolutional neural network models for automatic preoperative severity assessment in unilateral cleft lip
Lu et al. Multitask Deep Neural Network for the Fully Automatic Measurement of the Angle of Progression.
Yuan et al. Deep learning-based quality-controlled spleen assessment from ultrasound images
JP6810212B2 (ja) 画像識別方法及び画像識別装置
TWI825643B (zh) 醫療輔助資訊產生方法與醫療輔助資訊產生系統
KR102100699B1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
TW202346826A (zh) 影像處理方法
Zaeri AI Modeling to Combat COVID-19 Using CT Scan Imaging Algorithms and Simulations: A Study
WO2021168121A1 (en) Methods and systems for predicting rates of progression of age- related macular degeneration
Lang et al. LCCF-Net: Lightweight contextual and channel fusion network for medical image segmentation
Yang et al. Lung Nodule Segmentation and Uncertain Region Prediction with an Uncertainty-Aware Attention Mechanism
Huynh et al. Deep Learning Radiographic Assessment of Pulmonary Edema: Optimizing Clinical Performance, Training With Serum Biomarkers
CN113239978B (zh) 医学图像预处理模型与分析模型的相关方法和装置
Tang et al. A multicenter study on two-stage transfer learning model for duct-dependent CHDs screening in fetal echocardiography