TW202145252A - 醫學影像輔助判讀系統 - Google Patents

醫學影像輔助判讀系統 Download PDF

Info

Publication number
TW202145252A
TW202145252A TW109116758A TW109116758A TW202145252A TW 202145252 A TW202145252 A TW 202145252A TW 109116758 A TW109116758 A TW 109116758A TW 109116758 A TW109116758 A TW 109116758A TW 202145252 A TW202145252 A TW 202145252A
Authority
TW
Taiwan
Prior art keywords
tissue
marks
module
tissue images
medical image
Prior art date
Application number
TW109116758A
Other languages
English (en)
Other versions
TWI799705B (zh
Inventor
黃建中
楊建霆
沈子貴
高煜勛
洪國棟
李岳衡
Original Assignee
倍利科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 倍利科技股份有限公司 filed Critical 倍利科技股份有限公司
Priority to TW109116758A priority Critical patent/TWI799705B/zh
Priority to CN202010620829.7A priority patent/CN113707291A/zh
Priority to US17/039,488 priority patent/US11580643B2/en
Priority to JP2020171759A priority patent/JP2021183114A/ja
Publication of TW202145252A publication Critical patent/TW202145252A/zh
Application granted granted Critical
Publication of TWI799705B publication Critical patent/TWI799705B/zh

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一種醫學影像輔助判讀系統,適用於使多張組織影像呈現多個組織特徵,並包含一處理單元及一顯示單元。該處理單元包括一產生多個分別對應該等組織影像且適用於呈現該等組織影像相對位置的參考位置尺標的位置資訊模組,及一產生多個分別對應該等組織影像且相關於該等組織特徵的提示記號的特徵標記模組。該顯示單元包括一用以將各別的該參考位置尺標及該等提示記號與對應的該組織影像同時顯示的輔助顯示模組。該輔助顯示模組依據該等組織影像之排列順序,使該等提示記號顯示在該等參考位置尺標的對應位置,便於快速辨認該等組織特徵。

Description

醫學影像輔助判讀系統
本發明是有關於一種影像輔助系統,特別是指一種醫學影像輔助判讀系統。
為了能準確診斷人體內部器官的疾病或傷害,或者是在進行手術前找出病灶的位置,醫師常以電腦斷層掃描(Computed Tomography,簡稱CT),或是磁振造影(Magnetic Resonance Imaging,簡稱MRI)等成像技術對人體進行掃描,在取得人體內部器官的影像後,以逐張判讀的方式找出病灶。然而,由於每次掃描後將取得數百張的影像,即使醫師能依照經驗針對疾病的好發位置鎖定一個優先判讀的範圍,但仍須花費不少時間進行判讀,另外,在病灶的定位、標示及尺寸測量等後續步驟的執行也十分耗時。除了將加重醫師的工作負擔,也可能使醫師在時間壓力下忽略了位在該優先判讀範圍以外的其他病灶,造成診斷上的疏忽。
雖然目前坊間已有運用人工智慧(Artificial Intelligence,簡稱為AI)進行醫學影像輔助判讀的技術,但由於在執行前通常需要另外安裝醫學影像輔助判讀軟體,並不能以醫師原本慣用的影像瀏覽軟體執行AI輔助判讀,使得醫師需要額外花費時間熟悉新的軟體,且須同時開啟醫學影像輔助判讀軟體及既有的影像瀏覽軟體,並針對病灶的所在位置進行交互比對,才能得知病灶的確切位置,造成使用上極大的不便。因此,需要一種更便於醫師使用的輔助判讀工具。
因此,本發明之目的,即在提供一種能解決上述至少一個問題的醫學影像輔助判讀系統。
於是,本發明醫學影像輔助判讀系統適用於配合一顯示裝置,在一醫學影像模型的多張組織影像中呈現出多個組織特徵。該醫學影像輔助判讀系統包含一適用於依據一執行規則組合自動分析該等組織影像的處理單元,及一資訊連接該處理單元及該顯示裝置的顯示單元。
該處理單元包括一依據該執行規則組合的一呈現規則運作的位置資訊模組,及一依據該執行規則組合的一標記規則運作的特徵標記模組,該位置資訊模組用以產生多個分別對應該等組織影像且適用於呈現該等組織影像之相對位置的參考位置尺標,該特徵標記模組用以產生多個分別對應該等組織影像且相關於該等組織特徵的提示記號。
該顯示單元包括一適用於使該顯示裝置顯示該等組織影像的影像顯示模組,及一用以將各別的該參考位置尺標及該等提示記號與對應的該組織影像同時顯示於該顯示裝置的輔助顯示模組,該輔助顯示模組依據該等組織影像之排列順序,使該等提示記號顯示在該等參考位置尺標的對應位置,以適用於供一使用者在該醫學影像模型中快速辨認該等組織特徵。
本發明之功效在於:以該位置資訊模組及該特徵標記模組產生該等參考位置尺標及該等提示記號,在該影像顯示裝置使其中一張組織影像顯示時,該輔助顯示裝置能使對應的該參考位置尺標及該等提示記號同時顯示,使該使用者能以單一個既有的影像軟體同時瀏覽該等組織影像、該等參考位置尺標及該等提示記號,並能以該等參考位置尺標及該等提示記號的相對位置,預先辨認出該等組織影像中所含有的該等組織特徵之種類,有效提升該使用者的瀏覽效率。
參閱圖1,本發明醫學影像輔助判讀系統之一實施例,適用於配合一顯示裝置,在一醫學影像模型的多張組織影像中呈現出多個組織特徵。須先行說明的是,本實施例所指的醫學影像模型,為病患以醫學成像設備進行一次攝影後,所拍攝的一系列含有病患組織影像的集合,每一個醫學影像模型中含有多張呈連續性的組織影像。在本實施例中,所呈現的該等組織特徵可以是未病變的正常組織,也可以是病變後的非正常組織,例如結節或囊腫等。
另外,該等組織影像的傳輸標準是遵守醫療數位影像傳輸協定(Digital Imaging and Communications in Medicine,簡稱為DICOM),且該等組織影像在經過本實施例的處理後仍遵守DICOM,使得一使用者(例如為醫師或護理師等醫護人員)可透過一醫學影像存檔與通信系統(Picture Archiving and Communication System,簡稱為PACS),或是一醫院資訊系統(Hospital Information System,簡稱為HIS)直接調閱以本實施例處理的該等組織影像,並能直接以慣用的影像瀏覽軟體進行瀏覽。
該醫學影像輔助判讀系統包含一適用於依據一執行規則組合自動分析該等組織影像的處理單元1、一資訊連接該處理單元1及該顯示裝置的顯示單元2,及一資訊連接該處理單元1的儲存單元3。本實施例可被程式化,而以程式軟體的方式實現,也就是說,在本實施例的部分實施態樣中,前述該些單元可以不為實體的元件。
該處理單元1包括一依據該執行規則組合的一呈現規則運作的位置資訊模組11,及一依據該執行規則組合的一標記規則運作的特徵標記模組12。在本實施例中,該處理單元1儲存有多個用以執行該標記規則的神經網路模型,且該等神經網路模型是以例如深度學習的方式預先訓練,但並不以此為限。
該位置資訊模組11用以產生多個分別對應該等組織影像且適用於呈現該等組織影像之相對位置的參考位置尺標,及多個分別對應該等組織影像且相關於該等組織影像之排列順序的順序記號。該特徵標記模組12用以產生多個分別對應該等組織影像且相關於該等組織特徵的提示記號,及多個分別對應該等組織特徵的特徵記號。在本實施例中,每一個順序記號含有組織影像序數及組織影像總數,每一個特徵記號含有特徵編號、特徵尺寸之其中至少一者,然而,該等順序記號及該等特徵記號所含有的文字資訊並不以此為限。
該顯示單元2包括一影像顯示模組21、一輔助顯示模組22,及一資訊連接該輔助顯示模組22的介面模組23。該影像顯示模組21適用於使該顯示裝置顯示該等組織影像,該輔助顯示模組22用以將各別的該參考位置尺標及該等提示記號與對應的該組織影像同時顯示於該顯示裝置,並依據該等組織影像之排列順序,使該等提示記號顯示在該等參考位置尺標的對應位置,以及將各別的該順序記號及各別的該特徵記號,與對應的該組織影像同時顯示。
該儲存單元3儲存有多個分別對應於多種組織特徵的特徵條件,及多個分別對應於多種判讀敏感度的敏感度條件,使該特徵標記模組12能依據該等特徵條件,在該醫學影像模型中標記分別對應於該等組織特徵的該等特徵記號及該等提示記號,並使該特徵標記模組12能依據該等敏感度條件,在該醫學影像模型中標記對應該等判讀敏感度的該等提示記號。該介面模組23可受操作,而使每一個特徵條件對應的該等特徵記號及該等提示記號,與其他特徵條件對應的該等特徵記號及該等提示記號同時或不同時地顯示,並使每一個敏感度條件對應的該等提示記號,與其他特徵條件對應的該等提示記號同時或不同時地顯示。
在本實施例中,該處理單元1所儲存的該等神經網路模型是分別對應於該等特徵條件,也就是說,每一個神經網路模型是根據一種特徵條件執行該標記規則,使該特徵標記模組12依據該神經網路模型所根據的該特徵條件進行標記,藉此,即能同時以多個神經網路模型針對同一個醫學影像模型進行不同種組織特徵的標記。
舉例而言,該處理單元1可儲存有二個神經網路模型,而該儲存單元3同時儲存有一個對應於結節的特徵條件,及一個對應於囊腫的特徵條件,其中一個神經網路模型是根據對應於結節的該特徵條件執行該標記規則,另一個神經網路模型是根據對應於囊腫的該特徵條件執行該標記規則,即能使該特徵標記模組12依據對應於結節的該特徵條件,在該醫學影像模型中標記對應結節的該等特徵記號及該等提示記號,並依據對應於囊腫的該特徵條件,在該醫學影像模型中標記對應囊腫的該等特徵記號及該等提示記號。
須補充說明的是,在本實施例中,判讀敏感度是指該處理單元1對於該使用者所感興趣的組織特徵的偵測程度,與該等提示記號及該等特徵記號的數量相關。當該處理單元1以越高的判讀敏感度分析該等組織影像時,該特徵標記模組12可能將偵測到越多的組織特徵,並對應該等組織特徵標記出越多的該等特徵記號,且根據越多的該等特徵記號,在該等特徵記號所對應的該等參考位置尺標標記出越多的該等提示記號;當該處理單元1以越低的判讀敏感度分析該等組織影像時,該特徵標記模組12可能將偵測到越少的組織特徵,並對應該等組織特徵標記出越少的該等特徵記號,且在根據越少的該等特徵記號,該等特徵記號所對應的該等參考位置尺標標記出越少的該等提示記號。
另外,判讀敏感度並非為越高越好,當該使用者想自該等組織影像中辨識出結節時,在所設定的判讀敏感度越高時,該處理單元1也有可能將正常組織誤判為結節,使得該特徵標記模組12針對正常組織標記對應的該特徵記號。該使用者可在多次使用本實施例後,依據對於本實施例的信任度,或自身需求選擇適當的判讀敏感度。舉例而言,當該使用者認為本實施例即使在以高判讀敏感度進行輔助,也不容易因為過度偵測而導致該使用者誤判,或者是由於病患的病況特殊,或病患為罹患某種疾病的高危險群,而需要更加謹慎地評估該等組織影像時,該使用者即能操作該介面模組23選擇該等敏感度條件中較高者,以確保該使用者能掌握更多可能相關於病變的該等組織特徵。
在本實施例中,每一個特徵條件對應的該等提示記號之型態,可與其他特徵條件對應的該等提示記號之型態相同或不同,每一個特徵條件對應的該等特徵記號之型態,可與其他特徵條件對應的該等特徵記號之型態相同或不同,而該等提示記號及該等特徵記號之型態差異包含但不限於形狀、顏色、大小、線條粗細。當每一個特徵條件對應的該等提示記號及該等特徵記號之型態,與其他特徵條件對應的該等提示記號及該等特徵記號之型態不同時,該使用者能很容易地藉由不同型態的該等提示記號及該等特徵記號,辨認出該等提示記號及該等特徵記號所對應的該特徵條件不同,並能輕易得知該等提示記號及該等特徵記號各自對應的組織特徵。
同樣地,在本實施例中,每一個敏感度條件對應的該等提示記號之型態,可與其他敏感度條件對應的該等提示記號之型態相同或不同,每一個敏感度條件對應的該等特徵記號之型態,可與其他敏感度條件對應的該等特徵記號之型態相同或不同,而該等提示記號及該等特徵記號之型態差異包含但不限於形狀、顏色、大小。當每一個敏感度條件對應的該等提示記號及該等特徵記號之型態,與其他敏感度條件對應的該等提示記號及該等特徵記號之型態不同時,該使用者能很容易地藉由不同型態的該等提示記號及該等特徵記號,辨認出該等提示記號及該等特徵記號所對應的該敏感度條件不同,並能輕易得知該等提示記號及該等特徵記號各自對應的敏感度。
為有助於理解本實施例的實施方式,以下將舉例說明本實施例的其中一種執行方式。
配合參閱圖1與圖2,在本實施例中,該位置資訊模組11在依據該呈現規則運作後,將根據該等組織影像的數量產生相同數量的該等參考位置尺標及該等順序記號。舉例而言,當該等組織影像的總數量如圖2所示地為四張時,該位置資訊模組11將產生四個參考位置尺標及四個順序記號。為便於說明,以下將圖2中位在相對上方的二個參考位置尺標由上至下標示為「4a」、「4b」,並將圖2中位在相對上方的二個順序記號由上至下標示為「5a」、「5b」。
該影像顯示模組21將一次顯示一張組織影像,該輔助顯示模組22將使一個參考位置尺標與一張組織影像同時顯示,並使代表第一張組織影像的該順序記號5a如圖2所示地顯示在該參考位置尺標4a的對應位置,代表第二張組織影像的該順序記號5b顯示在該參考位置尺標4b的對應位置,以此類推。藉此,該使用者即能藉由每一個順序記號與所對應的該參考位置尺標的相對位置,以及該等順序記號所顯示的文字資訊,判斷目前顯示的該組織影像在所有組織影像中的順序。
而每一個神經網路模型執行該標記規則後,該特徵標記模組12將根據該等組織特徵的數量,產生相同數量的該等特徵記號,並根據該等特徵記號所對應的該等組織影像的數量,產生數量相同的該等提示記號,其中,該等提示記號及該等特徵記號的數量並非為一對一的對應關係。
舉例而言,以一個神經網路模型針對該等組織影像執行該標記規則後,若分析出只有其中一張組織影像含有一個病變的組織特徵,則該特徵標記模組12將產生一個相關於病變的組織特徵的特徵記號,以及一個對應的提示記號,並針對其他三張組織影像產生三個相關於正常的組織特徵的特徵記號,以及三個對應的提示記號。當分析出其中一張組織影像含有二個病變的組織特徵時,該特徵標記模組12將產生二個對應於同一張組織影像的特徵記號,並僅產生一個對應於該組織影像的提示記號。
須特別說明的是,為便於區隔不同種類之該等組織特徵,可將相關於不同種類之該等組織特徵的該等特徵記號以不同的型態作為區隔,所對應的該等提示記號之型態也將彼此不同,且其型態差異包含但不限於顏色差異,例如,該使用者能藉由有色及無色的該等特徵記號及該等提示記號,區分所對應的該等特徵組織。亦即,當未有任何有色的特徵記號與經分析過的該組織影像同時顯示時,即代表實質上顯示了一個無色的特徵記號及一個無色的提示記號,但該使用者無法在該顯示裝置上觀察到該特徵記號及該提示記號。
為便於說明,以下將圖2中的該特徵記號標示為由上至下標示為「6a」、「6b」、「6c」、「6d」、「6e」,並將該等提示記號由上至下標示為「7a」、「7b」、「7c」、「7d」。其中,僅有有色的該等特徵記號6b、6c,及有色的該提示記號7b是相關於病變的該等組織特徵,無色(圖2中以虛線繪示)的該等特徵記號6a、6d、6e,及無色(圖2中以虛線繪示)的該等提示記號7a、7c、7d皆相關於正常的該等組織特徵。須補充說明的是,還能再將有色的該等特徵記號6b、6c,進一步再以顏色差異將病變的該等組織特徵再進行分類。例如,當該特徵記號6b為紅色,而該特徵記號6c為綠色時,即代表該特徵記號6b是相關於惡性的該等組織特徵(如惡性腫瘤),且該特徵記號6c是相關於良性的該等組織特徵(如良性腫瘤)。
在該特徵標記模組12產生該等特徵記號及該等提示記號後,該特徵標記模組12將再於該等參考位置尺標上分別標記該提示記號7b,使該使用者在瀏覽任一張組織影像時,該提示記號7b將能顯示在每一個參考位置尺標上代表第二張組織影像的位置,因此,該使用者在瀏覽第一張組織影像時,即能藉由該提示記號7b,預先得知在所有組織影像中僅有第二張組織影像含有病變的該等組織特徵。
為方便說明本實施例的運作方式,以下僅就本實施例的其中一個使用情境,來說明該醫學影像輔助判讀系統的執行。在本實施例中,是以電腦斷層掃瞄儀針對病患的肺部進行掃描,而取得相關於該病患肺部組織的該醫學影像模型,即該使用者是希望在含有病患肺部的該等組織影像中,快速辨認出肺結節及肺囊腫等組織特徵。然而,在本實施例的其他實施態樣中,所能分析的組織特徵並不限於肺結節及肺囊腫。
配合參閱圖1、圖3與圖4,本實施例的一個第一實施態樣。由於該使用者是以既有的瀏覽軟體配合本實施例瀏覽該等組織影像,實際操作時,該等組織影像將可能與例如病歷號碼、拍攝時間及拍攝部位等文字資訊同時顯示,以便於了解該等組織影像的相關資訊。然而,該等文字資訊的顯示為現有技術,且非本案所要主張的主要技術內容,因此本說明書不再進一步說明,亦不繪示於圖式中,合先敘明。
在本第一實施態樣中,每一個參考位置尺標為一座標軸,該位置資訊模組11適用於依據該等組織影像的排列順序,在每一個座標軸之對應位置標記每一張組織影像對應的該順序記號,該特徵標記模組12適用於依據該等組織影像的排列順序,在該等座標軸之對應位置標記該等組織影像對應的該等提示記號。在該使用者瀏覽該醫學影像模型的該等組織影像時,該影像顯示模組21將使該顯示裝置顯示該醫學影像模型的其中一張組織影像,該使用者可操作該介面模組23,使對應的該參考位置尺標、對應的該順序記號、對應的該特徵記號,及該等提示記號皆如圖3所示地不顯示於該顯示裝置,或是如圖4所示地與該組織影像同時顯示於該顯示裝置(圖4僅顯示相關於肺結節的該等提示記號)。
配合參閱圖4與圖5,藉此,該使用者能由圖4所示的未含有對應的該特徵記號的畫面,得知所瀏覽的該組織影像中未含有肺結節,並由圖5所示的含有對應的該特徵記號的畫面,得知所瀏覽的該組織影像中含有一個肺結節,再藉由該特徵記號所含有的文字資訊得知肺結節的尺寸或密度等資訊。另外,在瀏覽排列順序較前面的該等組織影像時,即能藉由該等提示記號,預先得知排列順序較後面的部分組織影像中將含有肺結節。該使用者能藉由該等特徵記號及該等提示記號,快速確認該醫學影像模型中含有肺結節,並迅速得知肺結節的所在位置,且該使用者也可依據該等提示記號,直接針對標記有該等特徵記號的該等組織影像進行瀏覽,能有效提升該使用者的瀏覽效率。
配合參閱圖1、圖5與圖6,該使用者還能操作該介面模組23,而使對應肺結節的該等特徵記號及該等提示記號,與對應肺囊腫的該等特徵記號及該等提示記號如圖5所示地不同時顯示,或如圖6所示地同時顯示(圖6中未繪示對應肺囊腫的該等特徵記號)。在本第一實施態樣中,是以形狀區隔不同的該等特徵條件所對應的該等提示記號,該使用者即能由圖6中正方形的該等提示記號,得知其所對應的該等組織影像中含有相關於肺結節的該等組織特徵,並能由圖6中三角形的該等提示記號,得知其所對應的該等組織影像中含有相關於肺囊腫的該等組織特徵。藉此,該使用者即能輕易分辨該等提示記號所對應的該等組織特徵。
配合參閱圖1、圖5與圖7,該使用者還能再操作該介面模組23,而使不同敏感度條件對應的該等提示記號及該等特徵記號,與其他特徵條件對應的該等提示記號及該等特徵記號如圖5所示地不同時顯示,或如圖7所示地同時顯示。在本第一實施態樣中,是以框線粗細區隔不同敏感度條件所對應的該等特徵記號,並以顏色區隔不同敏感度條件所對應的該等提示記號,該使用者即能由顏色較深的該等提示記號,以及由圖7中框線較細的該等特徵記號,得知該等提示記號及該等特徵記號是以較低的判讀敏感度進行標記,並能由顏色較淺的該等提示記號,以及由圖7中框線較粗的該等特徵記號,得知該等提示記號及該等特徵記號是以較高的判讀敏感度進行標記。藉此,該使用者即能輕易分辨該等提示記號及該等特徵記號所對應的該等敏感度條件。
配合參閱圖1、圖8與圖9,本實施例的一個第二實施態樣,本第二實施態樣與該第一實施態樣大致相同,差異在於,在本第二實施態樣中,每一個參考位置尺標為一網格,該影像顯示模組21還適用於在該網格中顯示多張排列順序相鄰於對應的該組織影像的預覽縮圖,該位置資訊模組11適用於依據該等預覽縮圖對應的該等組織影像,及該等組織影像的排列順序,在每一個網格之對應位置標記每一個由該影像顯示模組21顯示的該組織影像對應的該順序記號,該特徵標記模組12適用於依據該等預覽縮圖對應的該等組織影像,及該等組織影像的排列順序,在每一個網格之對應位置標記該等組織影像對應的該等提示記號。本第二實施態樣是以列數及欄數皆為三的該網格作為示例,然而實際使用時,該網格的列數及欄數並不以此為限。
該使用者能操作該介面模組23,而使對應肺結節的該等特徵記號及該等提示記號,與對應肺囊腫的該等特徵記號及該等提示記號如圖8所示地不同時顯示,或如圖9所示地同時顯示(圖9中未繪示對應肺囊腫的該等特徵記號)。在本第二實施態樣中,是以線條態樣區隔不同特徵條件所對應的該等提示記號,該使用者即能由圖8及圖9中線條為粗實線的該提示記號,得知其所對應的該組織影像中含有相關於肺結節的該組織特徵,並能由圖9中線條為粗虛線的該提示記號,得知其所對應的該組織影像中含有相關於肺囊腫的該組織特徵。藉此,該使用者即能如圖9所示地,在瀏覽排列順序較前面的該等組織影像時,即能藉由該等提示記號,預先得知排列順序較後面的該組織影像中將含有相關於肺囊腫的該組織特徵。
配合參閱圖1、圖10與圖11,本實施例的一個第三實施態樣,本第三實施態樣與該第二實施態樣大致相同,差異在於,本第三實施態樣可針對其中一張組織影像再進行放大檢視。在本第三實施態樣中,該等預覽縮圖為該組織影像的局部縮圖,該影像顯示模組21適用於在該網格中顯示多張該組織影像的局部縮圖,並在圖10中左方顯示該組織影像的其中一張局部放大圖,該使用者同樣能以線條態樣區隔不同特徵條件所對應的該等提示記號,即能由圖10中線條為粗實線的該等提示記號,先行得知該等提示記號所對應的該等組織影像中含有相關於肺結節的該組織特徵。
由於現有的AI影像輔助判讀技術,所採用的AI模型多為沿用共享資源進行編輯而形成,故所能分析的影像格式將受限於JPG或BMP等常見的數位影像檔案格式,須先將傳輸標準遵守DICOM的該等組織影像進行格式轉換,才能再以AI模型執行輔助判讀。因此,該使用者須使用另外的軟體檢視AI輔助判讀結果,且經轉換格式的影像也難以還原成傳輸標準遵守DICOM的格式,該使用者須手動將該等組織特徵標記在傳輸標準遵守DICOM的該等組織影像,才能再透過PACS或HIS進行該等組織影像的後續使用,將大量耗費該使用者的時間及精神。
而本實施例所儲存的該等神經網路模型可使該特徵標記模組12在不改變影像格式的前提下,直接在傳輸標準遵守DICOM的該等組織影像上加註附加資訊,除了不須破壞原有的影像傳輸架構,更能有效節省該使用者的瀏覽等作業時間,並降低人工作業而可能導致的錯誤率。
須特別說明的是,在本實施例的其他實施態樣中,該處理單元1也可以只儲存有一個神經網路模型,該儲存單元3也可以只儲存有一個特徵條件,該處理單元1同樣能以該神經網路模型根據該特徵條件執行該標記規則,而分析該等組織影像。另外,每一個參考位置尺標也可以同時為該座標軸及該網格,可同時以兩種不同態樣的該等參考位置尺標進行視覺上的輔助。
綜上所述,本發明醫學影像輔助判讀系統以該位置資訊模組11產生該等參考位置尺標及該等順序記號,並以該特徵標記模組12該等提示記號及該等特徵記號,在該影像顯示裝置21使其中一張組織影像顯示時,該輔助顯示裝置22能使該等參考位置尺標、該等提示記號、對應該組織影像的該順序記號,及對應該組織影像的該等特徵記號同時顯示,即能在該等組織影像的傳輸標準遵守DICOM的前提下,在該等組織影像上顯示所加註的附加資訊。除了不須破壞原有的影像傳輸架構,更使該使用者能以單一個既有的影像軟體同時瀏覽該等組織影像、該等參考位置尺標、該等提示記號、該等順序記號,及該等特徵記號,並能藉此辨認出該等組織影像中所含有的該等組織特徵之種類,有效提升該使用者的瀏覽等作業效率,並降低人工作業而可能導致的錯誤率,故確實能達成本發明之目的。
惟以上所述者,僅為本發明之實施例而已,當不能以此限定本發明實施之範圍,凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾,皆仍屬本發明專利涵蓋之範圍內。
1:處理單元 11:位置資訊模組 12:特徵標記模組 2:顯示單元 21:影像顯示模組 22:輔助顯示模組 23:介面模組 3:儲存單元 4a、4b:參考位置尺標 5a、5b:順序記號 6a、6b、6c、6d、6e:特徵記號 7a、7b、7c、7d:提示記號
本發明之其他的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中: 圖1是一示意圖,說明本發明醫學影像輔助判讀系統的一實施例; 圖2是一示意圖,說明以該實施例分析多張組織影像時,該實施例的一處理單元及一顯示單元的運作方式; 圖3是一示意圖,說明該實施例的一個第一實施態樣,及該實施例的一介面模組受操作的情況; 圖4是一示意圖,說明該介面模組受操作後,該實施例的一輔助顯示模組使一參考位置尺標、一順序記號,及該實施例的一儲存單元所儲存的其中一種特徵條件對應的多個提示記號,與一組織影像同時顯示的情況; 圖5是一示意圖,說明一使用者所瀏覽的該組織影像中含有一被標記的組織特徵時,將對應顯示一特徵記號的情況; 圖6是一示意圖,說明該介面模組受操作後,該輔助顯示模組使該儲存單元所儲存的多種特徵條件對應的該等提示記號,與該組織影像同時顯示的情況; 圖7是一示意圖,說明該介面模組受操作後,該輔助顯示模組使該儲存單元所儲存的多種敏感度條件對應的該等特徵記號及該等提示記號,與該組織影像同時顯示的情況; 圖8及圖9是一示意圖,配合說明該實施例的一個第二實施態樣;及 圖10及圖11是一示意圖,配合說明該實施例的一個第三實施態樣。
1:處理單元
11:位置資訊模組
12:特徵標記模組
2:顯示單元
21:影像顯示模組
22:輔助顯示模組
23:介面模組
3:儲存單元

Claims (16)

  1. 一種醫學影像輔助判讀系統,適用於配合一顯示裝置,在一醫學影像模型的多張組織影像中呈現出多個組織特徵,該醫學影像輔助判讀系統包含: 一處理單元,適用於依據一執行規則組合自動分析該等組織影像,並包括一依據該執行規則組合的一呈現規則運作的位置資訊模組,及一依據該執行規則組合的一標記規則運作的特徵標記模組,該位置資訊模組用以產生多個分別對應該等組織影像且適用於呈現該等組織影像之相對位置的參考位置尺標,該特徵標記模組用以產生多個分別對應該等組織影像且相關於該等組織特徵的提示記號;及 一顯示單元,資訊連接該處理單元及該顯示裝置,並包括一適用於使該顯示裝置顯示該等組織影像的影像顯示模組,及一用以將各別的該參考位置尺標及該等提示記號與對應的該組織影像同時顯示於該顯示裝置的輔助顯示模組,該輔助顯示模組依據該等組織影像之排列順序,使該等提示記號顯示在該等參考位置尺標的對應位置,以適用於供一使用者在該醫學影像模型中快速辨認該等組織特徵。
  2. 如請求項1所述的醫學影像輔助判讀系統,其中,該位置資訊模組還產生多個分別對應該等組織影像且相關於該等組織影像之排列順序的順序記號,該輔助顯示模組還用以將各別的該順序記號與對應的該組織影像同時顯示。
  3. 如請求項1所述的醫學影像輔助判讀系統,其中,該特徵標記模組還產生多個分別對應該等組織特徵的特徵記號,該輔助顯示模組還用以將各別的該特徵記號與對應的該組織影像同時顯示。
  4. 如請求項1所述的醫學影像輔助判讀系統,其中,每一參考位置尺標為一座標軸,該特徵標記模組適用於依據該等組織影像的排列順序,在該等座標軸之對應位置標記該等組織影像對應的該等提示記號。
  5. 如請求項1或4所述的醫學影像輔助判讀系統,其中,每一參考位置尺標為一網格,該影像顯示模組還適用於在該網格中顯示多張排列順序相鄰於對應的該組織影像的預覽縮圖,該特徵標記模組適用於依據該等預覽縮圖對應的該等組織影像,及該等組織影像的排列順序,在每一網格之對應位置標記該等組織影像對應的該等提示記號。
  6. 如請求項2所述的醫學影像輔助判讀系統,其中,每一參考位置尺標為一座標軸,該位置資訊模組適用於依據該等組織影像的排列順序,在每一座標軸之對應位置標記每一組織影像對應的該順序記號。
  7. 如請求項2或6所述的醫學影像輔助判讀系統,其中,每一參考位置尺標為一網格,該影像顯示模組還適用於在該網格中顯示多張排列順序相鄰於對應的該組織影像的預覽縮圖,該位置資訊模組適用於依據該等預覽縮圖對應的該等組織影像,及該等組織影像的排列順序,在每一網格之對應位置標記每一組織影像對應的該順序記號。
  8. 如請求項1所述的醫學影像輔助判讀系統,還包含一資訊連接該處理單元的儲存單元,該儲存單元儲存有多個分別對應於多種組織特徵的特徵條件,該特徵標記模組依據該等特徵條件,在該醫學影像模型中標記分別對應於該等組織特徵的該等提示記號。
  9. 如請求項8所述的醫學影像輔助判讀系統,其中,每一特徵條件對應的該等提示記號之型態,與其他特徵條件對應的該等提示記號之型態不同。
  10. 如請求項8或9所述的醫學影像輔助判讀系統,其中,該顯示單元還包括一資訊連接該輔助顯示模組的介面模組,該介面模組可受操作,而使每一特徵條件對應的該等提示記號,與其他特徵條件對應的該等提示記號同時或不同時地顯示。
  11. 如請求項1所述的醫學影像輔助判讀系統,其中,該儲存單元還儲存有多個分別對應於多種判讀敏感度的敏感度條件,該特徵標記模組依據該等敏感度條件,在該醫學影像模型中標記對應該等判讀敏感度的該等提示記號。
  12. 如請求項11所述的醫學影像輔助判讀系統,其中,每一敏感度條件對應的該等提示記號之型態,與其他敏感度條件對應的該等提示記號之型態不同。
  13. 如請求項11或12所述的醫學影像輔助判讀系統,其中,該顯示單元還包括一資訊連接該輔助顯示模組的介面模組,該介面模組可受操作,而使每一敏感度條件對應的該等提示記號,與其他特徵條件對應的該等提示記號同時或不同時地顯示。
  14. 如請求項1所述的醫學影像輔助判讀系統,其中,該處理單元儲存有一用以執行該標記規則的神經網路模型。
  15. 如請求項8所述的醫學影像輔助判讀系統,其中,該處理單元儲存有多個用以執行該標記規則,且分別對應於該等特徵條件的神經網路模型。
  16. 如請求項1所述的醫學影像輔助判讀系統,其中,該等組織影像、該等參考位置尺標,及該等提示記號的傳輸標準是遵守醫療數位影像傳輸協定(Digital Imaging and Communications in Medicine,DICOM)。
TW109116758A 2020-05-20 2020-05-20 醫學影像輔助判讀系統 TWI799705B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW109116758A TWI799705B (zh) 2020-05-20 2020-05-20 醫學影像輔助判讀系統
CN202010620829.7A CN113707291A (zh) 2020-05-20 2020-06-30 医学影像辅助判读系统
US17/039,488 US11580643B2 (en) 2020-05-20 2020-09-30 System for facilitating medical image interpretation
JP2020171759A JP2021183114A (ja) 2020-05-20 2020-10-12 医用画像判読支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109116758A TWI799705B (zh) 2020-05-20 2020-05-20 醫學影像輔助判讀系統

Publications (2)

Publication Number Publication Date
TW202145252A true TW202145252A (zh) 2021-12-01
TWI799705B TWI799705B (zh) 2023-04-21

Family

ID=78608175

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109116758A TWI799705B (zh) 2020-05-20 2020-05-20 醫學影像輔助判讀系統

Country Status (4)

Country Link
US (1) US11580643B2 (zh)
JP (1) JP2021183114A (zh)
CN (1) CN113707291A (zh)
TW (1) TWI799705B (zh)

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7072501B2 (en) * 2000-11-22 2006-07-04 R2 Technology, Inc. Graphical user interface for display of anatomical information
US7597663B2 (en) * 2000-11-24 2009-10-06 U-Systems, Inc. Adjunctive ultrasound processing and display for breast cancer screening
US7630531B2 (en) * 2006-01-31 2009-12-08 Mevis Medical Solutions, Inc. Enhanced navigational tools for comparing medical images
US8051386B2 (en) * 2006-12-21 2011-11-01 Sectra Ab CAD-based navigation of views of medical image data stacks or volumes
JP5176916B2 (ja) * 2008-12-05 2013-04-03 コニカミノルタエムジー株式会社 医用画像表示装置及びプログラム
US9146663B2 (en) * 2008-12-08 2015-09-29 Hologic, Inc. Displaying computer-aided detection information with associated breast tomosynthesis image information
US20100141654A1 (en) * 2008-12-08 2010-06-10 Neemuchwala Huzefa F Device and Method for Displaying Feature Marks Related to Features in Three Dimensional Images on Review Stations
EP2535829A3 (en) * 2009-10-07 2013-07-10 Hologic, Inc. Processing and displaying computer-aided detection information associated with breast x-ray images
US10049445B2 (en) * 2011-07-29 2018-08-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method of a three-dimensional medical image
DE102016208647A1 (de) * 2016-05-19 2017-11-23 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Überwachung einer Brustuntersuchung
US10909679B2 (en) * 2017-09-24 2021-02-02 PME IP Pty Ltd Method and system for rule based display of sets of images using image content derived parameters
CN107908323B (zh) * 2017-11-10 2021-03-23 上海联影医疗科技股份有限公司 医学图像显示方法、装置和计算机存储介质
JP6945474B2 (ja) * 2018-02-28 2021-10-06 富士フイルム株式会社 学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラム
WO2019245861A2 (en) * 2018-06-19 2019-12-26 Tornier, Inc. Mixed reality-aided depth tracking in orthopedic surgical procedures
CN108962355A (zh) * 2018-07-06 2018-12-07 腾讯科技(深圳)有限公司 一种影像的关联显示方法、装置及服务设备、存储介质
EP3611733A1 (en) * 2018-08-15 2020-02-19 Siemens Healthcare GmbH Searching a medical reference image
CN111161822A (zh) * 2018-11-08 2020-05-15 北京赛迈特锐医疗科技有限公司 医学影像人工智能诊断数据管理系统及其管理方法
JP7341874B2 (ja) * 2018-12-26 2023-09-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7203474B2 (ja) * 2019-02-20 2023-01-13 富士フイルム株式会社 マンモグラフィ装置及びプログラム
WO2020264355A1 (en) * 2019-06-27 2020-12-30 Viz.ai Inc. Method and system for computer-aided triage of stroke
CN110675398B (zh) * 2019-10-22 2022-05-17 深圳瀚维智能医疗科技有限公司 乳腺超声筛查方法、装置及计算机设备
US11315246B2 (en) * 2019-11-27 2022-04-26 Shanghai United Imaging Intelligence Co., Ltd. Cardiac feature tracking
CN111142753A (zh) * 2019-12-27 2020-05-12 杭州依图医疗技术有限公司 交互方法、信息处理方法及存储介质

Also Published As

Publication number Publication date
US20210366117A1 (en) 2021-11-25
CN113707291A (zh) 2021-11-26
US11580643B2 (en) 2023-02-14
TWI799705B (zh) 2023-04-21
JP2021183114A (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
US10762687B2 (en) Method and system for rule based display of sets of images
JP5349384B2 (ja) 医用画像表示装置および方法並びにプログラム
EP2478834B1 (en) Radiograph interpretation report creation device, method, and program
JP3083606B2 (ja) 医用診断支援システム
CN102915400B (zh) 用于计算机支持地显示或分析医学检查数据的方法和装置
JP5628927B2 (ja) 医療情報表示装置および方法、並びにプログラム
JP5390805B2 (ja) 出力装置およびその方法、プログラム、記録媒体
CN104798107B (zh) 从医学图像生成关键图像
JP2005510326A (ja) 画像レポート作成方法及びそのシステム
CN105940401A (zh) 背景敏感医学数据输入系统
CN106999145A (zh) 用于上下文成像工作流的系统和方法
JP2003506797A (ja) レポートを作成する方法とシステム
JP5159150B2 (ja) 画像リスト表示装置、画像リスト表示方法、及び画像リスト表示プログラム
US11062448B2 (en) Machine learning data generation support apparatus, operation method of machine learning data generation support apparatus, and machine learning data generation support program
US20150235008A1 (en) Information processing system and non-transitory computer readable recording medium
JP2010131239A (ja) 医用画像表示装置及びプログラム
TW202145252A (zh) 醫學影像輔助判讀系統
CN110610756A (zh) 基于dicom图像信息实现胶片自动分类打印的方法
JP2004298209A (ja) 画像処理装置
JP2004302502A (ja) 画像処理装置
TW202145248A (zh) 醫學影像分析及處理系統
EP4310852A1 (en) Systems and methods for modifying image data of a medical image data set
JP7511276B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、情報処理システム
CN116471993A (zh) 医疗用图像显示系统、医疗用图像显示方法、以及程序
JP5693669B2 (ja) 出力装置およびその方法、プログラム