TW202036592A - 影像辨識方法及影像辨識裝置 - Google Patents

影像辨識方法及影像辨識裝置 Download PDF

Info

Publication number
TW202036592A
TW202036592A TW108109259A TW108109259A TW202036592A TW 202036592 A TW202036592 A TW 202036592A TW 108109259 A TW108109259 A TW 108109259A TW 108109259 A TW108109259 A TW 108109259A TW 202036592 A TW202036592 A TW 202036592A
Authority
TW
Taiwan
Prior art keywords
image
sub
pixels
images
range
Prior art date
Application number
TW108109259A
Other languages
English (en)
Other versions
TWI714025B (zh
Inventor
林哲渝
林昭源
黃玉潔
趙益生
許駿鵬
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW108109259A priority Critical patent/TWI714025B/zh
Priority to CN201910284201.1A priority patent/CN111738975B/zh
Priority to US16/443,787 priority patent/US11010893B2/en
Priority to JP2019139550A priority patent/JP6810212B2/ja
Priority to EP19189119.1A priority patent/EP3712845B1/en
Publication of TW202036592A publication Critical patent/TW202036592A/zh
Application granted granted Critical
Publication of TWI714025B publication Critical patent/TWI714025B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種影像辨識方法及影像辨識裝置。所述方法包括:取得第一電腦斷層影像,包括多個第一像素。從第一像素中取出多個第二像素,並基於第二像素產生第二電腦斷層影像。對第二電腦斷層影像執行對比度提升演算法,以調整第二電腦斷層影像的對比度。在第二電腦斷層影像中辨識第一影像區域,以產生第三電腦斷層影像,第一影像區域包括第一物件。將第三電腦斷層影像區分為多張子影像,並在各子影像中僅保留對應於第一物件的特定影像區域。將前述子影像組合為第四電腦斷層影像。以及基於第四電腦斷層影像辨識第一物件的物件種類。

Description

影像辨識方法及影像辨識裝置
本發明是有關於一種辨識方法及辨識裝置,且特別是有關於一種影像辨識方法及影像辨識裝置。
近年來,得到肝臟疾病的人數持續不斷的增加。一般而言,病人在進行電腦斷層攝影(computed tomography,CT)後,將由放射科醫師來接續診斷疾病。然而,受限於醫療的人力及相關資源,相關診斷過程多半相當耗時。並且,某些疾病的診斷需要由經驗較為豐富的放射科醫師才能診斷出來。因此,以目前放射科醫師的人數來看,較難應付逐漸增加的肝病患者人數。
到目前為止,市面上也有許多腫瘤位置偵測的系統出現,但大多是胸腔位置的結節(Nodule)偵測,還未有出現腹腔肝臟的腫瘤偵測產品。雖然有不少的學術研究在肝臟腫瘤偵測這塊領域上鑽研,但都僅止於針對肝細胞癌(Hepatocellular carcinoma, HCC)這種疾病做偵測,且其準確率也還未達到能夠產品化階段。另外,發生於肝臟上的疾病多達數十種,而只針對一種疾病做偵測顯然不足以應用於實際案例之中。
有鑑於此,本發明提供一種影像辨識方法及影像辨識裝置,其可用於解決上述技術問題。
本發明提供一種影像辨識方法,包括:取得一第一電腦斷層影像,其中第一電腦斷層影像包括多個第一像素,且各第一像素具有一通道值,各第一像素的通道值位於一第一範圍內;從前述第一像素中取出多個第二像素,並基於前述第二像素產生一第二電腦斷層影像,其中各第二像素的通道值位於一第二範圍內,且第二範圍小於第一範圍;對第二電腦斷層影像執行一對比度提升演算法,以調整第二電腦斷層影像的一對比度;在第二電腦斷層影像中辨識一第一影像區域,以產生一第三電腦斷層影像,其中第一影像區域包括一第一物件;將第三電腦斷層影像區分為多張子影像,並在各子影像中僅保留對應於第一物件的一特定影像區域;將前述子影像組合為一第四電腦斷層影像;以及基於第四電腦斷層影像辨識第一物件的一物件種類。
本發明提供一種影像辨識裝置,其包括儲存電路及處理器。儲存電路,儲存多個模組。處理器耦接儲存電路,存取前述模組以執行下列步驟:取得一第一電腦斷層影像,其中第一電腦斷層影像包括多個第一像素,且各第一像素具有一通道值,各第一像素的通道值位於一第一範圍內;從前述第一像素中取出多個第二像素,並基於前述第二像素產生一第二電腦斷層影像,其中各第二像素的通道值位於一第二範圍內,且第二範圍小於第一範圍;對第二電腦斷層影像執行一對比度提升演算法,以調整第二電腦斷層影像的一對比度;在第二電腦斷層影像中辨識一第一影像區域,以產生一第三電腦斷層影像,其中第一影像區域包括一第一物件;將第三電腦斷層影像區分為多張子影像,並在各子影像中僅保留對應於第一物件的一特定影像區域;將前述子影像組合為一第四電腦斷層影像;以及基於第四電腦斷層影像辨識第一物件的一物件種類。
基於上述,本發明的影像辨識方法及影像辨識裝置可在對電腦斷層影像排除通道值未位於第一範圍內的像素以及執行對比度提升演算法之後,依序進行辨識以找出第一影像區域、對應於第一物件的特定影像區域以及第一物件的物件種類。藉此,可達到更佳的辨識效能及準確度。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
概略而言,本發明提出的影像辨識裝置可在取得特定的電腦斷層影像之後,對此電腦斷層影像進行辨識以找出其中的特定物件,並進而判斷此特定物件的物件種類。在一實施例中,本發明提出的影像辨識裝置可在取得電腦斷層影像之後,對其進行辨識以找出其中的腫瘤,並進而判斷此腫瘤的腫瘤種類。為便於說明,以下將假設影像辨識裝置進行上述影像辨識的標的為攝自於患者腹腔的腹腔電腦斷層影像,而影像辨識裝置基於此腹腔電腦斷層影像所進行的相關辨識操作將在之後作進一步說明。
請參照圖1,其是依據本發明之一實施例繪示的影像辨識裝置示意圖。在圖1中,影像辨識裝置100包括儲存電路102及處理器104。在不同的實施例中,影像辨識裝置100可以是個人電腦、筆記型電腦、工作站、伺服器、智慧型裝置或是其他可用於分析、處理電腦斷層影像的裝置,但可不限於此。
儲存電路102例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合,而可用以記錄多個程式碼或模組。
處理器104耦接於儲存電路102,並可為一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器(microprocessor)、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用集成電路(Application Specific Integrated Circuit,ASIC)、場可程式閘陣列電路(Field Programmable Gate Array,FPGA)、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器(Advanced RISC Machine,ARM)的處理器以及類似品。
在本發明的實施例中,處理器104可存取儲存電路102中記錄的模組、程式碼來實現本發明提出的影像辨識方法,其細節詳述如下。
請參照圖2,其是依據本發明之一實施例繪示的影像辨識方法。本實施例的方法可由圖1的影像辨識裝置100執行,以下即輔以圖1所示的元件來說明圖2各步驟的細節。另外,為使圖2的概念更為清楚,以下將另搭配圖3所示的情境進行說明,但其僅用以舉例,並非用以限定本發明可能的實施方式。
首先,在步驟S210中,處理器104可取得第一電腦斷層影像310。在本實施例中,第一電腦斷層影像310例如是攝自於患者腹腔的一張腹腔電腦斷層影像,而本發明的影像辨識裝置100可在對第一電腦斷層影像310進行特定的預處理之後,再藉由不同的深度學習模型在經過預處理後的影像中找出肝臟、肝臟中的腫瘤及此腫瘤的腫瘤種類,但本發明可不限於此。
在第一電腦斷層影像310中,可包括多個第一像素。並且,基於一般電腦斷層影像的特性,各第一像素將具有一通道值,且此通道值將位於一第一範圍內。在本實施例中,前述通道值例如是一亨氏單位(Hounsfield units,HU)值,而其值一般介於-2048及30000(即,第一範圍)之間,但本發明可不限於此。
然而,由於上述HU值的第一範圍過大,不利於處理器104進行後續的相關辨識操作,故處理器104可藉由步驟S220來將一部分的第一像素排除,以改善後續辨識操作的效能。
在步驟S220中,處理器104可從第一像素中取出多個第二像素,並基於第二像素產生第二電腦斷層影像320,其中各第二像素的通道值位一第二範圍內,且第二範圍小於第一範圍。在一實施例中,處理器104可從上述第一像素中找出多個第三像素,其中各第三像素的通道值位於第二範圍之外,並從第一電腦斷層影像310中移除前述第三像素,以產生僅包括第二像素的第二電腦斷層影像320。簡言之,處理器104可在界定一較小的第二範圍之後,將第一電腦斷層影像310中通道值未位於第二範圍中的第三像素移除,藉以讓第一電腦斷層影像310中僅留下通道值位於第二範圍中的第二像素,以形成第二電腦斷層影像320。
在不同的實施例中,上述第二範圍可由設計者依需求而定。在一實施例中,由於一般肝臟及腫瘤在電腦斷層影像中對應的HU值約略位於-70及200之間,因此處理器104可將第二範圍界定為-70及200之間,但可不限於此。在其他實施例中,處理器104亦可經配置以基於其他的一或多個第二範圍而產生其他的第二電腦斷層影像。亦即,在這些其他的第二電腦斷層影像中,將個別僅包括通道值位於某特定範圍內的像素。在一實施例中,前述其他的一或多個第二範圍可由放射科醫師經實際調整測試後而找出較易於辨識肝臟及腫瘤的HU值而定,但可不限於此。
之後,在步驟S230中,處理器104可對第二電腦斷層影像320執行對比度提升演算法,以調整第二電腦斷層影像320的對比度。在一實施例中,前述對比度提升演算法例如是直方圖等化(histogram equalization)演算法或其他類似的演算法,但可不限於此。具體而言,在對第二電腦斷層影像320執行對比度提升演算法之後,可相應地將對應於肝臟及腫瘤的影像區域之間的對比度拉大,藉以增加腫瘤的辨識度,但本發明可不限於此。
由上可知,本發明可透過排除通道值未位於第一範圍內的像素以及執行對比度提升演算法等預處理手段來提升後續影像辨識(例如,腫瘤辨識)的效能。
之後,在步驟S240中,處理器104可在第二電腦斷層影像320中辨識第一影像區域330a,以產生第三電腦斷層影像330。在圖3中,第一影像區域330a例如是包括腫瘤的肝臟的影像區域,且其可包括第一物件OB1。在本實施例中,第一物件OB1例如是位於肝臟內的腫瘤,但本發明可不限於此。在一實施例中,處理器104可將第二電腦斷層影像320輸入第一深度學習模型,以由第一深度學習模型於第二電腦斷層影像320中找出第一影像區域330a。之後,處理器104可從第二電腦斷層影像320中移除不屬於第一影像區域330a的第二像素,以產生第三電腦斷層影像330。
在一實施例中,第一深度學習模型可採用卷積神經網絡(Convolutional Neural Network,CNN)架構中的Unet模型或其他類似的模型來實現,但可不限於此。並且,在將第一深度學習模型用於找出第一影像區域330a之前,第一深度學習模型可先基於標註有特定感興趣區域(region of interest,ROI)的訓練影像進行訓練,藉以透過訓練影像學習這些ROI所具有的特徵。因此,在本實施例中,為了令第一深度學習模型具有辨識第一影像區域330a(即,包括腫瘤的肝臟影像區域)的能力,第一深度學習模型可先基於以具有腫瘤的肝臟影像作為ROI的多個訓練影像進行學習,以找出具有腫瘤的肝臟的影像區域之特徵。
接著,在步驟S250中,處理器104可將第三電腦斷層影像330區分為多張子影像330b,並在各子影像330b中僅保留對應於第一物件OB1的特定影像區域。在一實施例中,處理器104可將前述子影像中的一第一子影像輸入第二深度學習模型,以由第二深度學習模型於第一子影像中找出對應於第一物件OB1的特定影像區域,其中各子影像包括多個特定像素。之後,處理器104可從第一子影像中移除不屬於特定影像區域的特定像素,以令第一子影像僅包括對應於第一物件OB1的特定影像區域。
在一實施例中,處理器104可依據一預設尺寸將第三電腦斷層影像330均分為上述子影像330b。舉例而言,假設第三電腦斷層影像330的尺寸為512x512且預設尺寸為64x64,則處理器104可依據上述預設尺寸將第三電腦斷層影像330均分為64張子影像330b,其中各子影像330b的尺寸即為預設尺寸(即,64x64),但本發明可不限於此。並且,處理器104還可記錄上述子影像330b在第三斷層影像330中的分布位置,其例如可表徵為各子影像330b在第三斷層影像330中的座標,但可不限於此。
之後,處理器104可將上述64張子影像330b個別輸入第二深度學習模型,以由第二深度學習模型在各子影像330b中找出對應於第一物件OB1的特定影像區域。之後,處理器104可將各子影像330b中未對應於第一物件OB1的特定像素移除,藉以使得各子影像330b中僅留有對應於第一物件OB1的特定影像區域。簡言之,處理器104可將各子影像330b中未出現腫瘤的肝臟區域移除,但本發明可不限於此。
在一實施例中,第二深度學習模型可採用CNN架構中的Unet模型或其他類似的模型來實現,但可不限於此。並且,在將第二深度學習模型用於找出對應於第一物件OB1的特定影像區域之前,第二深度學習模型可先基於標註有特定ROI的訓練影像進行訓練,藉以透過訓練影像學習這些ROI所具有的特徵。因此,在本實施例中,為了令第二深度學習模型具有找出對應於第一物件OB1的特定影像區域(例如,腫瘤的影像區域)的能力,第二深度學習模型可先基於以腫瘤作為ROI的子訓練影像(其尺寸可對應於子影像330b的尺寸)進行學習,以在這些子訓練影像中找出腫瘤的影像區域之特徵。在一實施例中,上述子訓練影像例如是由標記有ROI(例如腫瘤)的肝臟訓練影像均分而成。
藉由上述將肝臟訓練影像區分為多張子訓練影像的作法,可增加第二深度學習模型進行訓練的資料量,進而產生更佳的學習效果。並且,由於各子訓練影像的尺寸較小,因而使得第二深度學習模型在訓練時所需的參數亦相應地減少。藉此,可降低訓練上的困難度,並增加辨識的準確度。
在步驟S260中,處理器104可將子影像330b組合為第四電腦斷層影像340。在本實施例中,處理器104可依據子影像330b(其僅包括對應於第一物件OB1的特定影像區域)在第三電腦斷層影像330中的分布位置將子影像330b組合為第四電腦斷層影像340,其中各子影像330b在第三電腦斷層影像330中的分布位置對應於在第四電腦斷層影像340中的分布位置。
由圖3可看出,由於所考慮的子影像330b僅包括對應於第一物件OB1的特定影像區域,故在將各子影像330b組合為第四電腦斷層影像340之後,將使得第四電腦斷層影像340中僅包括第一物件OB1(即,腫瘤)。
之後,在步驟S270中,處理器104可基於第四電腦斷層影像340辨識第一物件OB1的物件種類。在本實施例中,處理器104可將第四電腦斷層影像340輸入第三深度學習模型,以由第三深度學習模型辨識第一物件OB1的物件種類(例如腫瘤的腫瘤種類)。
在一實施例中,第三深度學習模型可採用CNN架構中的NASnet模型或其他類似的模型來實現,但可不限於此。並且,在將第三深度學習模型用於辨識第一物件OB1的物件種類之前,第三深度學習模型可先基於標註有特定ROI的訓練影像進行訓練,藉以透過訓練影像學習這些ROI所具有的特徵。因此,在本實施例中,為了令第三深度學習模型具有辨識第一物件OB1的物件種類(例如腫瘤的腫瘤種類)的能力,第三深度學習模型可先基於對應於一或多種特定腫瘤種類(例如,患有肝細胞癌(HCC)的腫瘤、患有血管瘤(Hemangioma)的腫瘤,或患有局部結節性增生(focal nodular hyperplasia,FNH)的腫瘤)的腫瘤影像作為訓練影像進行學習,以學習相應的特徵。
由上可知,本發明的影像辨識方法及影像辨識裝置可在對電腦斷層影像進行所提出的預處理操作之後,透過不同的深度學習模型依序進行辨識以找出第一影像區域(例如包括腫瘤的肝臟影像區域)、對應於第一物件的特定影像區域(例如位於肝臟影像區域中的腫瘤區域)以及第一物件的物件種類(例如腫瘤的腫瘤種類)。藉此,可達到更佳的辨識效能及準確度。
請參照圖4,其是依據本發明之一實施例繪示的另一應用情境圖。在本實施例中,伺服器410例如是一醫學影像存檔與通信系統(Picture archiving and communication system,PACS)系統,其可用於儲存各式的醫學影像,例如圖3中的第一電腦斷層影像310。
在一實施例中,當醫師420欲基於第一電腦斷層影像310判斷患者是否患有特定的疾病(例如HCC、FNH等)時,可透過其客戶端電腦向伺服器410發出相應的請求。之後,伺服器410可反應於此請求而將第一電腦斷層影像310發送至影像辨識裝置100,而影像辨識裝置100即可依據先前實施例中的教示而對第一電腦斷層影像310進行相關的預處理及辨識等操作,以得知第一物件OB1(例如,腫瘤)的物件種類(例如腫瘤種類)。之後,影像辨識裝置100可將原始的第一電腦斷層影像310及相關的辨識結果一同回傳至上述客戶端電腦,以供醫師420作為診斷時的參考。
此外,影像辨識裝置100還可將第一物件OB1以半透明的圖層方式疊合於原始的第一電腦斷層影像310上,以便於醫師420進行查看,但本發明可不限於此。
綜上所述,本發明的影像辨識方法及影像辨識裝置可在對電腦斷層影像進行所提出的預處理操作(例如,排除通道值未位於第一範圍內的像素以及執行對比度提升演算法)之後,透過不同的深度學習模型依序進行辨識以找出第一影像區域(例如包括腫瘤的肝臟影像區域)、對應於第一物件的特定影像區域(例如位於肝臟影像區域中的腫瘤區域)以及第一物件的物件種類(例如腫瘤的腫瘤種類)。藉此,可達到更佳的辨識效能及準確度。
並且,經由本發明實施例所辨識而得的腫瘤還可進一步提供予相關的醫師作參考,進而提升疾病診斷的效率。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:影像辨識裝置 102:儲存電路 104:處理器 310:第一電腦斷層影像 320:第二電腦斷層影像 330:第三電腦斷層影像 330a:第一影像區域 330b:子影像 340:第四電腦斷層影像 410:伺服器 420:醫師 OB1:第一物件 S210~S270:步驟
圖1是依據本發明之一實施例繪示的影像辨識裝置示意圖。 圖2是依據本發明之一實施例繪示的影像辨識方法。 圖3是依據本發明之一實施例繪示的應用情境圖。 圖4是依據本發明之一實施例繪示的另一應用情境圖。
S210~S270:步驟

Claims (26)

  1. 一種影像辨識方法,包括: 取得一第一電腦斷層影像,其中該第一電腦斷層影像包括多個第一像素,且各該第一像素具有一通道值,各該第一像素的該通道值位於一第一範圍內; 從該些第一像素中取出多個第二像素,並基於該些第二像素產生一第二電腦斷層影像,其中各該第二像素的該通道值位於一第二範圍內,且該第二範圍小於該第一範圍; 對該第二電腦斷層影像執行一對比度提升演算法,以調整該第二電腦斷層影像的一對比度; 在該第二電腦斷層影像中辨識一第一影像區域,以產生一第三電腦斷層影像,其中該第一影像區域包括一第一物件; 將該第三電腦斷層影像區分為多張子影像,並在各該子影像中僅保留對應於該第一物件的一特定影像區域; 將該些子影像組合為一第四電腦斷層影像;以及 基於該第四電腦斷層影像辨識該第一物件的一物件種類。
  2. 如申請專利範圍第1項所述的方法,其中各該第一像素的該通道值為一亨氏單位值,且該第一範圍介於-2048及30000之間。
  3. 如申請專利範圍第2項所述的方法,其中該第二範圍介於-70及200之間。
  4. 如申請專利範圍第1項所述的方法,其中從該些第一像素中取出該些第二像素,並基於該些第二像素產生該第二電腦斷層影像的步驟包括: 從該些第一像素中找出多個第三像素,其中各該第三像素的該通道值位於該第二範圍之外;以及 從該第一電腦斷層影像中移除該些第三像素,以產生僅包括該些第二像素的該第二電腦斷層影像。
  5. 如申請專利範圍第1項所述的方法,其中該對比度提升演算法為一直方圖等化演算法。
  6. 如申請專利範圍第1項所述的方法,其中在該第二電腦斷層影像中辨識該第一影像區域,以產生該第三電腦斷層影像的步驟包括: 將該第二電腦斷層影像輸入一第一深度學習模型,以由該第一深度學習模型於該第二電腦斷層影像中找出該第一影像區域;以及 從該第二電腦斷層影像中移除不屬於該第一影像區域的該些第二像素,以產生該第三電腦斷層影像。
  7. 如申請專利範圍第6項所述的方法,其中在各該子影像中僅保留對應於該第一物件的該特定影像區域的步驟包括: 將該些子影像中的一第一子影像輸入一第二深度學習模型,以由該第二深度學習模型於該第一子影像中找出對應於該第一物件的該特定影像區域,其中各該子影像包括多個特定像素; 從該第一子影像中移除不屬於該特定影像區域的該些特定像素,以令該第一子影像僅包括對應於該第一物件的該特定影像區域。
  8. 如申請專利範圍第6項所述的方法,其中將該第三電腦斷層影像區分為該些子影像的步驟包括: 依據一預設尺寸將該第三電腦斷層影像均分為該些子影像,並記錄該些子影像在該第三電腦斷層影像中的一第一分布位置。
  9. 如申請專利範圍第8項所述的方法,其中將該些子影像組合為該第四電腦斷層影像的步驟包括: 依據該些子影像在該第三電腦斷層影像中的該第一分布位置將該些子影像組合為該第四電腦斷層影像,其中各該子影像在該第三電腦斷層影像中的該第一分布位置對應於在該第四電腦斷層影像中的一第二分布位置。
  10. 如申請專利範圍第7項所述的方法,其中基於該第四電腦斷層影像辨識該第一物件的該物件種類的步驟包括: 將該第四電腦斷層影像輸入一第三深度學習模型,以由該第三深度學習模型辨識該第一物件的該物件種類。
  11. 如申請專利範圍第1項所述的方法,其中該第一電腦斷層影像為攝自一腹腔的一腹腔電腦斷層影像。
  12. 如申請專利範圍第11項所述的方法,其中該第一影像區域對應於該腹腔中的一肝臟區域,且該第一物件為位於該肝臟區域中的一腫瘤。
  13. 如申請專利範圍第12項所述的方法,其中該第一物件的該物件種類為該腫瘤的一腫瘤種類。
  14. 一種影像辨識裝置,包括: 一儲存電路,儲存多個模組; 一處理器,耦接該儲存電路,存取該些模組以執行下列步驟: 取得一第一電腦斷層影像,其中該第一電腦斷層影像包括多個第一像素,且各該第一像素具有一通道值,各該第一像素的該通道值位於一第一範圍內; 從該些第一像素中取出多個第二像素,並基於該些第二像素產生一第二電腦斷層影像,其中各該第二像素的該通道值位於一第二範圍內,且該第二範圍小於該第一範圍; 對該第二電腦斷層影像執行一對比度提升演算法,以調整該第二電腦斷層影像的一對比度; 在該第二電腦斷層影像中辨識一第一影像區域,以產生一第三電腦斷層影像,其中該第一影像區域包括一第一物件; 將該第三電腦斷層影像區分為多張子影像,並在各該子影像中僅保留對應於該第一物件的一特定影像區域; 將該些子影像組合為一第四電腦斷層影像;以及 基於該第四電腦斷層影像辨識該第一物件的一物件種類。
  15. 如申請專利範圍第14項所述的裝置,其中各該第一像素的該通道值為一亨氏單位值,且該第一範圍介於-2048及30000之間。
  16. 如申請專利範圍第15項所述的裝置,其中該第二範圍介於-70及200之間。
  17. 如申請專利範圍第14項所述的裝置,其中該處理器經配置以: 從該些第一像素中找出多個第三像素,其中各該第三像素的該通道值位於該第二範圍之外;以及 從該第一電腦斷層影像中移除該些第三像素,以產生僅包括該些第二像素的該第二電腦斷層影像。
  18. 如申請專利範圍第14項所述的裝置,其中該對比度提升演算法為一直方圖等化演算法。
  19. 如申請專利範圍第14項所述的裝置,其中該處理器經配置以: 將該第二電腦斷層影像輸入一第一深度學習模型,以由該第一深度學習模型於該第二電腦斷層影像中找出該第一影像區域;以及 從該第二電腦斷層影像中移除不屬於該第一影像區域的該些第二像素,以產生該第三電腦斷層影像。
  20. 如申請專利範圍第19項所述的裝置,其中該處理器經配置以: 將該些子影像中的一第一子影像輸入一第二深度學習模型,以由該第二深度學習模型於該第一子影像中找出對應於該第一物件的該特定影像區域,其中各該子影像包括多個特定像素; 從該第一子影像中移除不屬於該特定影像區域的該些特定像素,以令該第一子影像僅包括對應於該第一物件的該特定影像區域。
  21. 如申請專利範圍第19項所述的裝置,其中該處理器經配置以: 依據一預設尺寸將該第三電腦斷層影像均分為該些子影像,並記錄該些子影像在該第三電腦斷層影像中的一第一分布位置。
  22. 如申請專利範圍第21項所述的裝置,其中該處理器經配置以: 依據該些子影像在該第三電腦斷層影像中的該第一分布位置將該些子影像組合為該第四電腦斷層影像,其中各該子影像在該第三電腦斷層影像中的該第一分布位置對應於在該第四電腦斷層影像中的一第二分布位置。
  23. 如申請專利範圍第20項所述的裝置,其中該處理器經配置以: 將該第四電腦斷層影像輸入一第三深度學習模型,以由該第三深度學習模型辨識該第一物件的該物件種類。
  24. 如申請專利範圍第14項所述的裝置,其中該第一電腦斷層影像為攝自一腹腔的一腹腔電腦斷層影像。
  25. 如申請專利範圍第24項所述的裝置,其中該第一影像區域對應於該腹腔中的一肝臟區域,且該第一物件為位於該肝臟區域中的一腫瘤。
  26. 如申請專利範圍第25項所述的裝置,其中該第一物件的該物件種類為該腫瘤的一腫瘤種類。
TW108109259A 2019-03-19 2019-03-19 影像辨識方法及影像辨識裝置 TWI714025B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
TW108109259A TWI714025B (zh) 2019-03-19 2019-03-19 影像辨識方法及影像辨識裝置
CN201910284201.1A CN111738975B (zh) 2019-03-19 2019-04-10 图像辨识方法及图像辨识装置
US16/443,787 US11010893B2 (en) 2019-03-19 2019-06-17 Image identifying method and image identifying device
JP2019139550A JP6810212B2 (ja) 2019-03-19 2019-07-30 画像識別方法及び画像識別装置
EP19189119.1A EP3712845B1 (en) 2019-03-19 2019-07-30 Image identifying method and image identifying device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108109259A TWI714025B (zh) 2019-03-19 2019-03-19 影像辨識方法及影像辨識裝置

Publications (2)

Publication Number Publication Date
TW202036592A true TW202036592A (zh) 2020-10-01
TWI714025B TWI714025B (zh) 2020-12-21

Family

ID=67513390

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108109259A TWI714025B (zh) 2019-03-19 2019-03-19 影像辨識方法及影像辨識裝置

Country Status (5)

Country Link
US (1) US11010893B2 (zh)
EP (1) EP3712845B1 (zh)
JP (1) JP6810212B2 (zh)
CN (1) CN111738975B (zh)
TW (1) TWI714025B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11610306B2 (en) 2020-12-16 2023-03-21 Industrial Technology Research Institute Medical image analysis method and device
TWI836280B (zh) * 2020-12-16 2024-03-21 財團法人工業技術研究院 醫學影像分析方法與裝置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022077591A (ja) * 2020-11-12 2022-05-24 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129751A (ja) * 1993-10-29 1995-05-19 Hitachi Medical Corp 医用画像処理装置
JP4393016B2 (ja) * 2000-06-30 2010-01-06 株式会社日立メディコ 画像診断支援装置
US7289841B2 (en) * 2002-10-25 2007-10-30 Koninklijke Philips Electronics N.V. Method and apparatus for volumetric cardiac computed tomography imaging
US6999549B2 (en) * 2002-11-27 2006-02-14 Ge Medical Systems Global Technology, Llc Method and apparatus for quantifying tissue fat content
JP2004222864A (ja) * 2003-01-21 2004-08-12 Mitsubishi Research Institute Inc 診断支援システム、診断支援方法及び診断支援プログラム
GB2416223A (en) 2004-07-15 2006-01-18 Medicsight Plc Quantification of coronary artery calcification
CN101987019A (zh) * 2009-08-03 2011-03-23 徐子海 基于小波变换的pet图像和ct图像异机融合方法
JP5486364B2 (ja) * 2009-09-17 2014-05-07 富士フイルム株式会社 読影レポート作成装置および方法並びにプログラム
CN103732148A (zh) * 2012-02-02 2014-04-16 株式会社东芝 医用图像处理装置、x 射线ct 装置以及医用图像处理方法
RU2014138042A (ru) * 2012-02-22 2016-04-10 Конинклейке Филипс Н.В. Способ и система уменьшения локализованных артефактов в данных визуализации
US8958618B2 (en) * 2012-06-28 2015-02-17 Kabushiki Kaisha Toshiba Method and system for identification of calcification in imaged blood vessels
US10413253B2 (en) * 2014-11-21 2019-09-17 Samsung Electronics Co., Ltd. Method and apparatus for processing medical image
CN104574507A (zh) * 2015-01-14 2015-04-29 清华大学 基于多幅断层扫描图像的三维实体构建方法
CN105488781B (zh) * 2015-06-01 2019-04-30 深圳市第二人民医院 一种基于ct影像肝脏肿瘤病灶的分割方法
US9978150B2 (en) * 2015-08-05 2018-05-22 Algotec Systems Ltd. Method and system for spatial segmentation of anatomical structures
US10685429B2 (en) * 2017-02-22 2020-06-16 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
JP7041688B2 (ja) * 2017-03-31 2022-03-24 コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド 三次元印刷中に複数のセンサーを用いる三次元画像処理
TWI640929B (zh) * 2017-04-18 2018-11-11 Gingy Technology Inc. 指紋辨識方法以及指紋辨識裝置
JP7005191B2 (ja) * 2017-06-30 2022-01-21 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置、及びプログラム
CN108319894A (zh) * 2017-12-28 2018-07-24 杭州乔戈里科技有限公司 基于深度学习的水果识别方法及装置
CN108288496A (zh) * 2018-01-26 2018-07-17 中国人民解放军总医院 肿瘤容积智能勾画方法和装置
CN108470359A (zh) * 2018-02-11 2018-08-31 艾视医疗科技成都有限公司 一种糖尿病性视网膜眼底图像病变检测方法
CN108717554A (zh) * 2018-05-22 2018-10-30 复旦大学附属肿瘤医院 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
CN109102506B (zh) 2018-08-20 2021-08-13 东北大学 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11610306B2 (en) 2020-12-16 2023-03-21 Industrial Technology Research Institute Medical image analysis method and device
TWI836280B (zh) * 2020-12-16 2024-03-21 財團法人工業技術研究院 醫學影像分析方法與裝置

Also Published As

Publication number Publication date
EP3712845C0 (en) 2024-03-27
EP3712845B1 (en) 2024-03-27
TWI714025B (zh) 2020-12-21
US20200302597A1 (en) 2020-09-24
EP3712845A1 (en) 2020-09-23
CN111738975A (zh) 2020-10-02
JP2020151450A (ja) 2020-09-24
CN111738975B (zh) 2023-04-14
US11010893B2 (en) 2021-05-18
JP6810212B2 (ja) 2021-01-06

Similar Documents

Publication Publication Date Title
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
AU2017292642B2 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
CN108198184B (zh) 造影图像中血管分割的方法和系统
Guo et al. Learn to threshold: Thresholdnet with confidence-guided manifold mixup for polyp segmentation
JP4949264B2 (ja) 医療画像データ内の腫瘍境界を自動的に検出及び区分するシステム及び方法
US9123095B2 (en) Method for increasing the robustness of computer-aided diagnosis to image processing uncertainties
TWI714025B (zh) 影像辨識方法及影像辨識裝置
WO2019201204A1 (zh) 一种影像结节检测的方法及装置
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
JP6819898B2 (ja) 自動3d脳腫瘍セグメンテーション及び分類
Ulku et al. Computer aided brain tumor detection with histogram equalization and morphological image processing techniques
WO2020238043A1 (zh) 基于UNet网络的肺叶分割方法、装置及计算机可读存储介质
CN106023205A (zh) 基于简化粒子群优化二维最大熵阈值的医学影像分割方法
Oliver et al. One-shot segmentation of breast, pectoral muscle, and background in digitised mammograms
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
Hao et al. Juxta‐vascular pulmonary nodule segmentation in PET‐CT imaging based on an LBF active contour model with information entropy and joint vector
Zhou et al. Mammogram classification using convolutional neural networks
CN114332132A (zh) 图像分割方法、装置和计算机设备
KR102280047B1 (ko) 딥 러닝 기반 종양 치료 반응 예측 방법
Srivastav et al. Breast cancer detection in mammogram images using machine learning methods and clahe algorithm
Li et al. SAP‐cGAN: Adversarial learning for breast mass segmentation in digital mammogram based on superpixel average pooling
Chen et al. Detection of various dental conditions on dental panoramic radiography using Faster R-CNN
Li et al. Multi-scale high and low feature fusion attention network for intestinal image classification
Ouassit et al. Liver Segmentation
Huang et al. Dsenet: double three-dimensional squeeze-and-excitation network for pulmonary nodule detection