TWI609674B - 乳房影像對位方法與影像處理裝置 - Google Patents

乳房影像對位方法與影像處理裝置 Download PDF

Info

Publication number
TWI609674B
TWI609674B TW105114679A TW105114679A TWI609674B TW I609674 B TWI609674 B TW I609674B TW 105114679 A TW105114679 A TW 105114679A TW 105114679 A TW105114679 A TW 105114679A TW I609674 B TWI609674 B TW I609674B
Authority
TW
Taiwan
Prior art keywords
breast
image
interest
training
target
Prior art date
Application number
TW105114679A
Other languages
English (en)
Other versions
TW201739423A (zh
Inventor
張瑞峰
陳榮泰
陳鴻豪
徐振峰
賴信宏
張元嚴
Original Assignee
太豪生醫股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 太豪生醫股份有限公司 filed Critical 太豪生醫股份有限公司
Priority to TW105114679A priority Critical patent/TWI609674B/zh
Priority to CN201710324965.XA priority patent/CN107440730B/zh
Publication of TW201739423A publication Critical patent/TW201739423A/zh
Application granted granted Critical
Publication of TWI609674B publication Critical patent/TWI609674B/zh

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

乳房影像對位方法以及其影像處理裝置。乳房影像對位方法包括下列步驟。取得以X光由不同的拍攝方向所拍攝的一組第一乳房影像。取得以超音波所掃描的第二乳房影像。於該組的第一乳房影像上,選取共同的第一關注區域。計算第一關注區域在每一第一乳房影像的距離參數與方位參數。透過跨模態對位模型,基於距離參數與方位參數,判斷第一關注區域在第二乳房影像中的位置。

Description

乳房影像對位方法與影像處理裝置
本發明是有關於一種影像對位技術以及相關的裝置,且特別是關於一種乳房影像的對位方法以及相關的影像處理裝置。
乳腺癌(mammary carcinoma)是女性常見的惡性腫瘤之一,其主要癥狀包括乳房腫瘤(tumor)、異常分泌物或形狀變異等。提早篩檢出乳房的異常癥狀,將有助於盡早針對腫瘤進行治療,以降低癌細胞惡化或擴散等問題。諸如臨床或自我乳房檢測、活體組織檢查、乳房攝影術(mammography)、超音波(ultrasound)顯像或磁共振(magnetic resonance)顯像等篩檢方式已廣泛在臨床上使用或成為學術研究的重要議題。
一般而言,不論是乳房攝影術(mammography)、超音波(ultrasound)顯像或磁共振(magnetic resonance)顯像等顯像技術,為了確保後續的乳房檢查範圍可以囊括整個乳房,每個乳房都需要由多個方向進行拍攝或掃描以取得多張乳房影像,而組成相對的三維立體影像更需要數百張的切片。當存在大量的乳房影像,特別是前述乳房影像分別由多種顯像技術來取得時,不管是透過人眼或者是使用電腦輔助偵測(Computer Aided Detection;CADe)系統來逐一地對每張影像上是否存在腫瘤、腫塊或鈣化點進行檢查,都是相當耗時且浪費人力資源或硬體資源。
本發明實施例提供乳房影像對位方法以及其影像處理裝置,可以有效地降低對一系列乳房影像進行查驗的時間並提升查驗的效能。
本發明實施例提供一種乳房影像對位方法,包括下列步驟。取得以X光(X-ray)由不同的拍攝方向所拍攝的一組第一乳房影像,並且取得以超音波所掃描的第二乳房影像。於該組的第一乳房影像上,選取共同的第一關注區域(Region of interest, ROI)。計算第一關注區域在每一第一乳房影像的距離參數與方位參數。透過跨模態對位模型,基於前述距離參數與前述方位參數,判斷第一關注區域在第二乳房影像中的位置。
本發明實施例另提供一種影像處理裝置。影像處理裝置包括儲存單元與處理單元。儲存單元儲存以X光由不同的拍攝方向所拍攝的一組第一乳房影像、以超音波所掃描的第二乳房影像以及記錄多個模組。處理單元耦接儲存單元,且存取並執行儲存單元所記錄的模組。前述模組包括影像輸入模組、第一選取模組、第一計算模組與第一判斷模組。影像輸入模組取得該組的第一乳房影像與第二乳房影像。第一選取模組於該組的第一乳房影像上,選取共同的第一關注區域。第一計算模組計算第一關注區域在每一第一乳房影像的距離參數與方位參數。第一判斷模組透過跨模態對位模型,基於前述距離參數與前述方位參數,判斷第一關注區域在第二乳房影像中的位置。
基於上述,本發明實施例所提供的乳房影像對位方法以及其影像處理裝置,基於第一關注區域在第一乳房影像上的各項距離參數與方位參數,透過跨模態對位模型來判斷第一關注區域在第二乳房影像中的位置。第一乳房影像與第二乳房影像例如是經由不同攝像技術所取得的乳房影像。換言之,前述乳房影像對位方法以及其影像處理裝置,針對選定的關注區域,能自動地於其他相關的乳房影像上進行自動對位,藉以大幅度地降低對每張乳房影像進行查驗所需花費的時間並提升查驗效能。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份,並未揭示所有本發明的可實施方式。更確切的說,這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。
於本發明的實施例中所提出之乳房影像對位方法與其影像處理裝置,可以針對不同攝像技術所取得的乳房影像進行影像對位。具體而言,針對一組第一乳房影像上的第一關注區域,藉由前述乳房影像對位方法與其影像處理裝置,能對應地取得第一關注區域在第二乳房影像上的位置。在本發明的一實施例中,該組的第一乳房影像例如是以X光由不同的拍攝方向所拍攝的乳房影像,而第二乳房影像例如是以超音波所掃描的乳房影像。
更有甚者,於本發明的實施例中所提出之乳房影像對位方法與其影像處理裝置,還可以針對同一攝像技術所取得的乳房影像進行影像對位。具體而言,針對第二乳房影像上的第二關注區域,藉由前述乳房影像對位方法與其影像處理裝置,能對應地取得第二關注區域在目標乳房影像上的對應位置。在本發明的一實施例中,第二乳房影像與目標乳房影像例如為超音波在相同的掃描時間但不同的掃描方向進行掃描而取得,或者是例如為超音波在不同的掃描時間但相同的掃描方向進行掃描而取得。
圖1A為依據本發明一實施例所繪示的影像處理裝置的方塊示意圖。參照圖1A,影像處理裝置100至少包括處理單元120以及儲存單元140,並且處理單元120耦接至儲存單元140,但本發明不限於此。影像處理裝置100可以是伺服器、桌上型電腦、筆記型電腦、工作站、個人數位助理(Personal digital assistant, PDA)、平板個人電腦(Personal computer, PC)、電腦輔助偵測(CADe)系統等電子裝置,但不以此為限。影像處理裝置100例如是連接乳房X光攝影機與自動乳房超聲波系統(Automated breast ultrasound system, ABUS)。
於本發明的一實施例中,處理單元120例如是以中央處理單元(Central processing unit, CPU)、數位信號處理(Digital signal processing, DSP)晶片、場可程式化邏輯閘陣列(Field programmable gate array, FPGA)、微處理器、微控制器等可程式化單元來實施,但本發明不限於此。處理單元120亦可以獨立電子裝置或積體電路(Integrated circuit, IC)來實施。
於本發明的一實施例中,儲存單元140可以是任何型態的固定或可移動隨機存取記憶體(Random access memory, RAM)、唯讀記憶體(Read-only memory, ROM)、快閃記憶體(Flash memory)或類似元件或上述元件的組合。在本實施例中,儲存單元140儲存以不同攝像技術取得的乳房影像,例如是以X光所拍攝的第一乳房影像、第一訓練乳房影像以及以超音波所掃描的第二乳房影像、目標乳房影像、第二訓練乳房影像。另一方面,儲存單元140還儲存各項參數與影像特徵。
參照圖1A所示的影像處理裝置100,於本實施例中,儲存單元140記錄影像輸入模組142、第一選取模組144、第一計算模組146、第一判斷模組148與第一訓練模組150等模組,而前述模組可運作以針對不同攝像技術所取得的乳房影像進行影像對位。前述模組的詳細運作內容待稍後實施例詳細說明。然而,儲存單元140所記錄的模組並不限於此。
圖1B為依據本發明另一實施例所繪示的影像處理裝置的方塊示意圖。參照圖1B所示的影像處理裝置100,於本實施例中,儲存單元140還記錄第二選取模組152、第二計算模組154、目標選取模組156、目標計算模組158、差異計算模組160、第二判斷模組162與第二訓練模組164等模組,而前述模組可運作以針對同一攝像技術所取得的乳房影像進行影像對位。前述模組的詳細運作內容待稍後實施例詳細說明。
值得注意的是,前述實施例中所述的儲存單元140並未限制是單一記憶體元件,上述之各模組亦可以分開儲存在兩個或兩個以上相同或不同型態之記憶體元件中。在本實施例中,前述模組以軟體形式存放於儲存單元140,並且由處理單元120存取並執行,但本發明不限於此。在本發明的其他實施例中,前述模組還例如是分別以特定的電路結構而實現。
為了方便理解本發明實施例的操作流程,以下將舉諸多實施例詳細說明本發明實施例中影像處理裝置100對乳房影像進行影像對位的流程。圖2為依據本發明一實施例所繪示的乳房影像對位方法的流程圖。參照圖2,本實施例的方法適用於圖1A與圖1B中的影像處理裝置100,下文中,將搭配影像處理裝置100中的各項元件及模組說明本發明實施例所述之方法。
於本實施例中,影像輸入模組142取得以X光由不同的拍攝方向所拍攝的一組第一乳房影像(步驟S110),並且取得以超音波所掃描的第二乳房影像(步驟S115)。
於本發明的一實施例中,第一乳房影像例如是由乳房X光攝影機對應乳房部位而在不同的拍攝方向所拍攝的乳房影像,而第二乳房影像例如是由自動乳房超聲波系統(ABUS)對應乳房部位所掃描的乳房影像。影像輸入模組142例如是透過有線通訊或無線通訊而從乳房X光攝影機與自動乳房超聲波系統(ABUS)取得第一乳房影像與第二乳房影像,或者影像輸入模組142由儲存單元140取得第一乳房影像與第二乳房影像。
具體而言,在本實施例中,一組第一乳房影像通常包括斜位向乳房影像以及頭腳向乳房影像。圖3為依據本發明一實施例所繪示的第一乳房影像的拍攝示意圖。參照圖3,斜位向乳房影像以及頭腳向乳房影像為乳房X光攝影機在不同拍攝方向(斜位向、頭腳向)且相同或相近的拍攝時間所分別取得的乳房影像。
參照圖2,於本實施例中,取得第一乳房影像後,第一選取模組144於該組的第一乳房影像上,選取共同的第一關注區域(步驟S120)。具體而言,第一選取模組144例如是基於電腦輔助偵測(CADe)系統對第一乳房影像的偵測結果而選定第一關注區域,並且第一關注區域可能是乳房部位中疑似存在腫瘤、腫塊或鈣化點的區域或位置,但本發明不限於此。在另一實施例中,第一選取模組144還例如是基於使用者以輸入介面在第一乳房影像上所指定的區位或位置而選定第一關注區域。值得注意的是,第一關注區域在斜位向乳房影像以及頭腳向乳房影像上會因兩者的拍攝方位而有呈現上的偏差。
參照圖2,於本實施例中,選取第一關注區域後,第一計算模組146計算第一關注區域在每一張第一乳房影像的距離參數與方位參數(步驟S125)。詳細而言,前述距離參數與方位參數是以第一乳房影像中的乳頭特徵、乳房皮膚作為參考基準而計算取得,並且可用於判斷第一關注區域在乳房部位的位置。
圖4為依據本發明一實施例所繪示的距離參數與方位參數的拍攝示意圖。具體而言,圖4以一張第一乳房影像作為範例來說明各項距離參數與方位參數。參照圖4,第一關注區域R與乳房皮膚在第一乳房影像上具有相距最近的一個鄰近點S。另一方面,第一關注區域R在第一乳房影像上的水平延伸線H與乳房皮膚相交於一個水平點I。在本實施例中,距離參數包括第一關注區域R與鄰近點S的距離RS、鄰近點S與乳頭特徵N沿乳房皮膚的弧線距離SN以及水平點I與乳頭特徵N沿乳房皮膚的弧線距離IN。相對來說,方位參數則為第一關注區域R在第一乳房影像相對於乳頭特徵N的方位角度。需要注意的是,計算前述距離參數以及方位參數時,例如是以第一關注區域R內的中心點r作為基準點來進行計算,但本發明不限於此。
對於一組第一乳房影像中的斜位向乳房影像以及頭腳向乳房影像來說,第一計算模組146會分別計算距離參數以及方位參數。換言之,第一計算模組146會計算斜位向乳房影像的距離參數與方位參數MLO ori,而斜位向乳房影像的距離參數包括距離RS MLO、距離SN MLO以及距離IN MLO。另一方面,第一計算模組146會計算頭腳向乳房影像的距離參數與方位參數CC ori,而頭腳向乳房影像的距離參數包括距離RS CC、距離SN CC以及距離IN CC
參照圖2,於本實施例中,取得距離參數與方位參數後,第一判斷模組148透過跨模態對位模型,基於距離參數與方位參數,判斷第一關注區域R在第二乳房影像中的位置(步驟S130)。詳細而言,在本實施例中,第一判斷模組148將一組第一乳房影像的距離參數與方位參數分別代入跨模態對位模型而取得第一關注區域R在第二乳房影像中的位置。
在本發明的一實施例中,跨模態對位模型包括距離預測模型以及方位預測模型。針對前述的第一乳房影像,第一判斷模組148依據該組的第一乳房影像的距離參數,並且利用跨模態對位模型的距離預測模型,藉以計算第一關注區域R在第二乳房影像上相對於乳頭特徵N的距離M dist。詳細而言,距離預測模型包括一組第一權重α MLO、β MLO、γ MLO以及一組第二權重α CC、β CC、γ CC,並且以距離預測模型計算距離M dist的方式如下。
Figure TWI609674BD00001
…(1)
Figure TWI609674BD00002
…(2)
Figure TWI609674BD00003
…(3)
另一方面,針對前述的第一乳房影像,第一判斷模組148依據該組的第一乳房影像的方位參數,並且利用跨模態對位模型的方位預測模型,藉以計算第一關注區域R在第二乳房影像上相對於乳頭特徵N的方位角度。方位預測模型包括一組第三權重μ MLO、ν CC,並且以方位預測模型計算方位角度M ori的方式如下。
Figure TWI609674BD00004
…(4)
第一權重α MLO、β MLO、γ MLO、第二權重α CC、β CC、γ CC與第三權重μ MLO、ν CC的各個權重值是分別介於0與1之間,並且各組的權重值相加為1。藉由距離M dist以及方位角度M ori,影像處理裝置100可以進一步繪示第一關注區域R在第二乳房影像上相對於乳頭特徵N的位置。
圖5為依據本發明一實施例所繪示的第一關注區域在第二乳房影像上的示意圖。參照圖5,藉由距離M dist以及方位角度M ori,第一關注區域R在第二乳房影像上相對於乳頭特徵N的位置PR可以被取得。在圖5中,第二乳房影像為冠狀面的乳房影像。
然而,於本發明的一實施例中,在利用跨模態對位模型進行第一乳房影像與第二乳房影像間的影像對位前,第一訓練模組150更藉由多組第一訓練乳房影像來訓練跨模態對位模型內的距離預測模型與方位預測模型。以X光由不同的拍攝方向所拍攝的多組第一訓練乳房影像存放於儲存單元140內,並且由影像輸入模組142所取得。
每一組的第一訓練乳房影像分別包括斜位向訓練乳房影像與頭腳向訓練乳房影像,並且每一組的第一訓練乳房影像還分別對應一張對位訓練影像。對位訓練影像為以超音波所掃描的訓練乳房影像。每一組第一訓練乳房影像以及所對應的對位訓練影像具有共同的關注區域,並且前述關注區域在第一訓練乳房影像以及所對應的對位訓練影像上的位置皆為已知。
在本實施例中,第一訓練模組150以斜位向訓練乳房影像,訓練距離預測模型的第一權重α MLO、β MLO、γ MLO,以頭腳向訓練乳房影像,訓練距離預測模型的第二權重α CC、β CC、γ CC,並且以斜位向訓練乳房影像與頭腳向訓練乳房影像,訓練方位預測模型的第三權重μ MLO、ν CC。詳細而言,第一訓練模組150例如是邏輯迴歸(Logistic Regression)、支持向量機器(Support Vector Machine;SVM)、類神經網路(Neural network;NN)等方式訓練跨模態對位模型,但本發明不限於此。
圖2以及前述相關的實施例,主要是針對不同攝像技術所取得的乳房影像進行影像對位的影像對位方法,但本發明不限於此。圖6為依據本發明另一實施例所繪示的乳房影像對位方法的流程圖。具體而言,圖6繪示了針對同一攝像技術所取得的乳房影像進行影像對位的影像對位方法。參照圖6,本實施例的方法適用於圖1B中的影像處理裝置100,下文中,將搭配影像處理裝置100中的各項元件及模組說明本發明實施例所述之方法。
於本實施例中,影像輸入模組142取得以超音波所掃描的第二乳房影像(步驟S115),並且取得以超音波所掃描的目標乳房影像(步驟S135)。具體而言,第二乳房影像與目標乳房影像為超音波在相同或相近的掃描時間但不同的掃描方向進行掃描而取得。一般而言,由自動乳房超聲波系統(ABUS)對應乳房部位所掃描的乳房影像,依據掃描方向的不同而可以分別為冠狀面、矢狀面與橫狀面的乳房影像,但本發明不限於此。於其他實施例中,第二乳房影像與目標乳房影像為超音波在不同或不相近的掃描時間但相同的掃描方向進行掃描而取得。
參照圖6,於本實施例中,取得第二乳房影像後,第二選取模組152在第二乳房影像上選取第二關注區域(步驟S140)。類似於選取第一關注區域,第二選取模組152例如是基於電腦輔助偵測(CADe)系統對第二乳房影像的偵測結果或者是基於使用者以輸入介面在第二乳房影像上所指定的區位或位置而選定第二關注區域。第二關注區域可能是乳房部位中疑似存在腫瘤、腫塊或鈣化點的區域或位置,但本發明不限於此。
參照圖6,於本實施例中,在第二乳房影像選定第二關注區域後,第二計算模組154取得第二關注區域在第二乳房影像上的特徵參數(步驟S145)。在本發明的一實施例中,第二關注區域在第二乳房影像的特徵參數包括位置特徵(Location feature)、亮度特徵(Intensity feature)、型態學特徵(Morphology feature)以及紋理特徵(Texture feature)。
於本發明的一實施例中,位置特徵(Location feature)包括第二關注區域在第二乳房影像上相對於乳頭特徵的距離、第二關注區域在第二乳房影像上相對於乳頭特徵的方位角度、複數個第二關注區域在第二乳房影像上的距離等,但本發明不限於此。亮度特徵(Intensity feature)包括第二關注區域內的亮度標準差、第二關注區域與鄰近區域的亮度差異等,但本發明不限於此。型態學特徵(Morphology feature)包括第二關注區域的本徵值向量、主要軸長、次要軸長等,但本發明不限於此。紋理特徵(Texture feature)包括以不同灰度共生矩陣(gray-level co-occurrence matrix;GLCM)對第二關注區域進行計算而得到的平均及標準差、能量、熵、相關度等,但本發明不限於此。
參照圖6,於本實施例中,取得前述的特徵參數後,目標選取模組156基於第二關注區域在第二乳房影像上相對於乳頭特徵的位置資訊,於目標乳房影像選定目標範圍(步驟S150)。一般而言,由自動乳房超聲波系統(ABUS)對應乳房部位所掃描的乳房影像都具有乳頭特徵。因此,在取得第二關注區域在第二乳房影像上的特徵參數後,目標選取模組156可基於第二關注區域在第二乳房影像上相對於乳頭特徵的位置資訊來於目標乳房影像選定目標範圍,並且前述的目標範圍內可能是第二關注區域在目標乳房影像上的對應位置。
參照圖6,於本實施例中,目標計算模組158更取得目標範圍在目標乳房影像上的目標特徵參數(步驟S155)。目標特徵參數的種類與形式類似於前述實施例提及的第二關注區域在第二乳房影像的特徵參數,在此不再贅述。接著,差異計算模組160計算前述特徵參數與目標特徵參數的特徵差值(步驟S160)。具體而言,差異計算模組160計算第二關注區域在第二乳房影像的特徵參數與目標範圍在目標乳房影像的目標特徵參數間的特徵差值。值得注意的是,差異計算模組160是計算相同形式的特徵參數與目標特徵參數之間的特徵差值。換言之,基於特徵參數與目標特徵參數在形式上的數量,特徵差值的數量也會有所變化。
參照圖6,於本實施例中,取得特徵差值後,第二判斷模組162透過同模態對位模型,基於前述特徵差值,判斷目標範圍是否為第二關注區域在目標乳房影像上的對應位置(步驟S165)。具體而言,同模態對位模型是基於第二關注區域與目標範圍在各項特徵參數與目標特徵參數間的特徵差值來判斷目標範圍是否為第二關注區域在目標乳房影像上的對應位置。因此,在使用同模態對位模型進行判斷前,第二訓練模組164更藉由多張的第二訓練乳房影像來訓練同模態對位模型。
以超音波所掃描的多張第二訓練乳房影像例如是存放於儲存單元140,並且由影像輸入模組142所取得。對於多張第二訓練乳房影像,第二訓練模組164以第二訓練乳房影像中的多個匹配影像對,計算多組匹配特徵差值,然而再以該些匹配特徵差值,訓練同模態對位模型。在本發明的一實施例中,匹配影像對為已知且對位成功的多張訓練乳房影像,或者是訓練乳房影像上已知且對位成功的關注區域。需要注意的是,匹配影像對內部的多張訓練乳房影像為超音波在相同或相近的掃描時間但不同的掃描方向進行掃描而取得的訓練乳房影像,或者是超音波在相同的掃描方向但不同或不相近的掃描時間進行掃描而取得的訓練乳房影像。
基於前述匹配特徵值,第二訓練模組164例如是邏輯迴歸(Logistic Regression)、支持向量機器(Support Vector Machine;SVM)、類神經網路(Neural network;NN)等方式訓練同模態對位模型,但本發明不限於此。
第二判斷模組164對同模態對位模型輸入所取得的特徵差值後,即可依據同模態對位模型的輸出結果判斷目標範圍是否為第二關注區域在目標乳房影像上的對應位置。
需要注意的是,當第二乳房影像與目標乳房影像為超音波在相同或相近的掃描時間但不同的掃描方向進行掃描而取得時,若目標範圍為第二關注區域在目標乳房影像上的對應位置,則代表目標範圍與第二關注區域為重覆掃描的部分。相對而言,當第二乳房影像與目標乳房影像為超音波在不同或不相近的掃描時間但相同的掃描方向進行掃描而取得時,若目標範圍經由同模態對位模型判斷為第二關注區域在目標乳房影像上的對應位置,可代表乳房部位的該區域並無顯著變化。
圖7為依據本發明一實施例所繪示的第二關注區域在目標乳房影像上的對應位置的示意圖。藉由圖6所示的乳房影像對位方法,對於在不同掃描方向上取得的乳房影像,例如是冠狀面的乳房影像、橫狀面的乳房影像、矢狀面的乳房影像,皆可取得第二關注區域的對應位置PR。值得注意的是,圖2與圖6所分別繪示的乳房影像對位方法可以合併使用,藉以分別在不同攝像技術取得的多張乳房影像以及相同攝像技術取得的多張乳房影像中,同時或連續地進行影像對位。此時,第一關注區域與第二關注區域可能是相同的關注區域。
綜上所述,本發明實施例所提供的乳房影像對位方法以及其影像處理裝置,基於第一關注區域在第一乳房影像上的各項距離參數與方位參數,透過跨模態對位模型來判斷第一關注區域在第二乳房影像中的位置。第一乳房影像與第二乳房影像例如是經由不同攝像技術所取得的乳房影像。另一方面,本發明實施例還提供乳房影像對位方法與其影像處理裝置,用以在相同攝像技術所取得的乳房影像上進行影像對位。換言之,前述乳房影像對位方法以及其影像處理裝置,針對選定的關注區域,能自動地於其他相關的乳房影像上進行自動對位,藉以大幅度地降低對每張乳房影像進行查驗所需花費的時間並提升查驗效能。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:影像處理裝置 120:處理單元 140:儲存單元 142:影像輸入模組 144:第一選取模組 146:第一計算模組 148:第一判斷模組 150:第一訓練模組 152:第二選取模組 154:第二計算模組 156:目標選取模組 158:目標計算模組 160:差異計算模組 162:第二判斷模組 164:第二訓練模組 R:第一關注區域 H:水平延伸線 r:中心點 S:鄰近點 N:乳頭特徵 I:水平點 M dist:距離 M ori:方位角度 PR:關注區域的對應位置 S110、S115、S120、S125、S130:乳房影像對位方法的步驟 S115、S135、S140、S145、S150、S155、S160、S165:乳房影像對位方法的步驟
圖1A為依據本發明一實施例所繪示的影像處理裝置的方塊示意圖。 圖1B為依據本發明另一實施例所繪示的影像處理裝置的方塊示意圖。 圖2為依據本發明一實施例所繪示的乳房影像對位方法的流程圖。 圖3為依據本發明一實施例所繪示的第一乳房影像的拍攝示意圖。 圖4為依據本發明一實施例所繪示的距離參數與方位參數的拍攝示意圖。 圖5為依據本發明一實施例所繪示的第一關注區域在第二乳房影像上的示意圖。 圖6為依據本發明另一實施例所繪示的乳房影像對位方法的流程圖。 圖7為依據本發明一實施例所繪示的第二關注區域在目標乳房影像上的對應位置的示意圖。
S110、S115、S120、S125、S130:乳房影像對位方法的步驟

Claims (10)

  1. 一種乳房影像對位方法,包括:取得以X光(X-ray)由不同的拍攝方向所拍攝的一組第一乳房影像;取得以超音波所掃描的第二乳房影像;於該組的該些第一乳房影像上,選取共同的第一關注區域;計算該第一關注區域在每一該些第一乳房影像的距離參數與方位參數;以及透過跨模態對位模型,基於該些距離參數與該些方位參數,判斷該第一關注區域在該第二乳房影像中的位置;其中透過該跨模態對位模型判斷該第一關注區域在該第二乳房影像的該位置的步驟,包括:依據該組的該些第一乳房影像的該些距離參數,利用該跨模態對位模型的距離預測模型,計算該第一關注區域在該第二乳房影像上相對於乳頭特徵的距離;以及依據該組的該些第一乳房影像的該些方位參數,利用該跨模態對位模型的方位預測模型,計算該第一關注區域在該第二乳房影像上相對於該乳頭特徵的方位角度,其中該第一關注區域與乳房皮膚在每一該些第一乳房影像上具有相距最近的一個鄰近點,該第一關注區域的水平延伸線與該乳房皮膚在每一該些第一乳房影像上相交於一個水平點,每一該些第一乳房影像的該些距離參數包括該第一關注區域與該鄰近點 的距離、該鄰近點與乳頭特徵的距離以及該水平點與該乳頭特徵的距離,而每一該些第一乳房影像的該方位參數為該第一關注區域在該第一乳房影像相對於該乳頭特徵的方位角度。
  2. 如申請專利範圍第1項所述的方法,其中透過該跨模態對位模型判斷該第一關注區域在該第二乳房影像的該位置的步驟之前,更包括:取得以該X光由不同的該些拍攝方向所拍攝的多組第一訓練乳房影像,其中每一組的該些第一訓練乳房影像分別包括斜位向訓練乳房影像與頭腳向訓練乳房影像;以該些斜位向訓練乳房影像,訓練該跨模態對位模型的距離預測模型的一組第一權重;以該些頭腳向訓練乳房影像,訓練該跨模態對位模型的該距離預測模型的一組第二權重;以及以該些斜位向訓練乳房影像與該些頭腳向訓練乳房影像,訓練該跨模態對位模型的方位預測模型的一組第三權重。
  3. 如申請專利範圍第1項所述的方法,更包括:取得以該超音波所掃描的目標乳房影像;於該第二乳房影像上,選取第二關注區域;取得該第二關注區域在該第二乳房影像上的特徵參數;基於該第二關注區域在該第二乳房影像上相對於乳頭特徵的位置資訊,於該目標乳房影像選定一目標範圍;取得該目標範圍在該目標乳房影像上的目標特徵參數; 計算該些特徵參數與該些目標特徵參數的特徵差值;以及透過同模態對位模型,基於該些特徵差值,判斷該目標範圍是否為該第二關注區域在該目標乳房影像上的對應位置。
  4. 如申請專利範圍第3項所述的方法,其中透過該同模態對位模型判斷該目標範圍是否為該第二關注區域在該目標乳房影像上的該對應位置的步驟之前,包括:取得以該超音波所掃描的多張第二訓練乳房影像;由該些第二訓練乳房影像中的多個匹配影像對,計算多組匹配特徵差值;以及以該些匹配特徵差值,訓練該同模態對位模型。
  5. 如申請專利範圍第3項所述的方法,其中該第二乳房影像與該目標乳房影像為該超音波在相同的掃描時間但不同的掃描方向進行掃描而取得,或者該第二乳房影像與該目標乳房影像為該超音波在不同的該些掃描時間但相同的該些掃描方向進行掃描而取得。
  6. 一種影像處理裝置,包括:儲存單元,儲存以X光(X-ray)由不同的拍攝方向所拍攝的一組第一乳房影像與以超音波所掃描的第二乳房影像,且記錄多個模組;以及處理單元,耦接該儲存單元,且存取並執行該儲存單元所記錄的該些模組,該些模組包括:影像輸入模組,取得該組的該些第一乳房影像與該第 二乳房影像;第一選取模組,於該組的該些第一乳房影像上,選取共同的第一關注區域;第一計算模組,計算該第一關注區域在每一該些第一乳房影像的距離參數與方位參數;以及第一判斷模組,透過跨模態對位模型,基於該些距離參數與該些方位參數,判斷該第一關注區域在該第二乳房影像中的位置,其中該第一判斷模組依據該組的該些第一乳房影像的該些距離參數,利用該跨模態對位模型的距離預測模型,計算該第一關注區域在該第二乳房影像上相對於乳頭特徵的距離,並且該第一判斷模組依據該組的該些第一乳房影像的該些方位參數,利用該跨模態對位模型的方位預測模型,計算該第一關注區域在該第二乳房影像上相對於該乳頭特徵的方位角度,其中該第一關注區域與乳房皮膚在每一該些第一乳房影像上具有相距最近的一個鄰近點,該第一關注區域的水平延伸線與該乳房皮膚在每一該些第一乳房影像上相交於一個水平點,每一該些第一乳房影像的該些距離參數包括該第一關注區域與該鄰近點的距離、該鄰近點與乳頭特徵的距離以及該水平點與該乳頭特徵的距離,而每一該些第一乳房影 像的該方位參數為該第一關注區域在該第一乳房影像相對於該乳頭特徵的方位角度。
  7. 如申請專利範圍第6項所述的影像處理裝置,其中該儲存單元更儲存以該X光由不同的該些拍攝方向所拍攝的多組第一訓練乳房影像,而該影像輸入模組取得該多組的該些第一訓練乳房影像,每一組的該些第一訓練乳房影像分別包括斜位向訓練乳房影像與頭腳向訓練乳房影像,該儲存單元所記錄的該些模組,更包括:第一訓練模組,以該些斜位向訓練乳房影像,訓練該跨模態對位模型的距離預測模型的一組第一權重,以該些頭腳向訓練乳房影像,訓練該跨模態對位模型的該距離預測模型的一組第二權重,並且以該些斜位向訓練乳房影像與該些頭腳向訓練乳房影像,訓練該跨模態對位模型的方位預測模型的一組第三權重。
  8. 如申請專利範圍第6項所述的影像處理裝置,其中該儲存單元更儲存以該超音波所掃描的目標乳房影像,該影像輸入模組取得該目標乳房影像,而該儲存單元所記錄的該些模組,更包括:第二選取模組,於該第二乳房影像上,選取第二關注區域;第二計算模組,取得該第二關注區域在該第二乳房影像上的特徵參數;目標選取模組,基於該第二關注區域在該第二乳房影像上相對於乳頭特徵的位置資訊,於該目標乳房影像選定一目標範圍; 目標計算模組,取得該目標範圍在該目標乳房影像上的目標特徵參數;差異計算模組,計算該些特徵參數與該些目標特徵參數的特徵差值;以及第二判斷模組,透過同模態對位模型,基於該些特徵差值,判斷該目標範圍是否為該第二關注區域在該目標乳房影像上的對應位置。
  9. 如申請專利範圍第8項所述的影像處理裝置,其中該儲存單元更儲存以該超音波所掃描的多張第二訓練乳房影像,該影像輸入模組取得該些第二訓練乳房影像,而該儲存單元所記錄的該些模組,更包括:第二訓練模組,由該些第二訓練乳房影像中的多個匹配影像對,計算多組匹配特徵差值,並且以該些匹配特徵差值,訓練該同模態對位模型。
  10. 如申請專利範圍第8項所述的影像處理裝置,其中該第二乳房影像與該目標乳房影像為該超音波在相同的掃描時間但不同的掃描方向進行掃描而取得,或者該第二乳房影像與該目標乳房影像為該超音波在不同的該些掃描時間但相同的該些掃描方向進行掃描而取得。
TW105114679A 2016-05-12 2016-05-12 乳房影像對位方法與影像處理裝置 TWI609674B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW105114679A TWI609674B (zh) 2016-05-12 2016-05-12 乳房影像對位方法與影像處理裝置
CN201710324965.XA CN107440730B (zh) 2016-05-12 2017-05-10 乳房影像对位方法与影像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105114679A TWI609674B (zh) 2016-05-12 2016-05-12 乳房影像對位方法與影像處理裝置

Publications (2)

Publication Number Publication Date
TW201739423A TW201739423A (zh) 2017-11-16
TWI609674B true TWI609674B (zh) 2018-01-01

Family

ID=60486927

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105114679A TWI609674B (zh) 2016-05-12 2016-05-12 乳房影像對位方法與影像處理裝置

Country Status (2)

Country Link
CN (1) CN107440730B (zh)
TW (1) TWI609674B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI717817B (zh) * 2019-08-29 2021-02-01 宏碁股份有限公司 預測模型遷移方法與預測模型遷移裝置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532745B2 (en) 2006-02-15 2013-09-10 Hologic, Inc. Breast biopsy and needle localization using tomosynthesis systems
CN102481146B (zh) 2009-10-08 2016-08-17 霍罗吉克公司 乳房的穿刺活检系统及其使用方法
WO2012071429A1 (en) 2010-11-26 2012-05-31 Hologic, Inc. User interface for medical image review workstation
AU2012225398B2 (en) 2011-03-08 2017-02-02 Hologic, Inc. System and method for dual energy and/or contrast enhanced breast imaging for screening, diagnosis and biopsy
JP2014534042A (ja) 2011-11-27 2014-12-18 ホロジック, インコーポレイテッドHologic, Inc. マンモグラフィーおよび/またはトモシンセシス画像データを使用して2d画像を生成するためのシステムおよび方法
JP6240097B2 (ja) 2012-02-13 2017-11-29 ホロジック インコーポレイティッド 合成画像データを使用してトモシンセシススタックをナビゲートする方法
AU2014233687B2 (en) 2013-03-15 2018-12-06 Hologic, Inc. Tomosynthesis-guided biopsy in prone
ES2878599T3 (es) 2014-02-28 2021-11-19 Hologic Inc Sistema y método para generar y visualizar bloques de imagen de tomosíntesis
JP7174710B2 (ja) 2017-03-30 2022-11-17 ホロジック, インコーポレイテッド 合成乳房組織画像を生成するための標的オブジェクト増強のためのシステムおよび方法
WO2018183549A1 (en) 2017-03-30 2018-10-04 Hologic, Inc. System and method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement
CN110621231B (zh) 2017-03-30 2024-02-23 豪洛捷公司 用于分层次多级特征图像合成和表示的系统以及方法
EP3641635A4 (en) 2017-06-20 2021-04-07 Hologic, Inc. DYNAMIC SELF-LEARNING MEDICAL IMAGING PROCESS AND SYSTEM
CN108392215B (zh) * 2018-02-09 2021-07-27 南方医科大学 一种同侧异位乳腺钼靶图像的点位置关联方法
US11699234B2 (en) * 2020-06-03 2023-07-11 Here Global B.V. Semantic segmentation ground truth correction with spatial transformer networks
CN114305502A (zh) * 2020-09-29 2022-04-12 深圳迈瑞生物医疗电子股份有限公司 乳腺超声扫描方法、装置和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003101303A1 (en) * 2002-05-31 2003-12-11 U-Systems, Inc. Breast cancer screening with adjunctive ultrasound mammography
TWM526875U (zh) * 2016-05-12 2016-08-11 太豪生醫股份有限公司 影像處理裝置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9378550B2 (en) * 2011-03-02 2016-06-28 Mevis Medical Solutions Ag Image processing device for finding corresponding regions in two image data sets of an object
EP2631873B1 (en) * 2012-02-27 2015-12-16 Agfa Healthcare Image alignment of breast images
JP2015104465A (ja) * 2013-11-29 2015-06-08 コニカミノルタ株式会社 医用画像システム及びプログラム
US9443161B2 (en) * 2014-02-24 2016-09-13 Dimensions And Shapes, Llc Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
JP6335030B2 (ja) * 2014-06-09 2018-05-30 キヤノンメディカルシステムズ株式会社 医用画像診断装置、超音波診断装置および医用画像処理装置
JP6331922B2 (ja) * 2014-09-22 2018-05-30 コニカミノルタ株式会社 医用画像システム及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003101303A1 (en) * 2002-05-31 2003-12-11 U-Systems, Inc. Breast cancer screening with adjunctive ultrasound mammography
TWM526875U (zh) * 2016-05-12 2016-08-11 太豪生醫股份有限公司 影像處理裝置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI717817B (zh) * 2019-08-29 2021-02-01 宏碁股份有限公司 預測模型遷移方法與預測模型遷移裝置

Also Published As

Publication number Publication date
CN107440730A (zh) 2017-12-08
TW201739423A (zh) 2017-11-16
CN107440730B (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
TWI609674B (zh) 乳房影像對位方法與影像處理裝置
US11551361B2 (en) Method and system of computer-aided detection using multiple images from different views of a region of interest to improve detection accuracy
US8355552B2 (en) Automated determination of lymph nodes in scanned images
US20200337658A1 (en) Systems and methods for automated and interactive analysis of bone scan images for detection of metastases
EP3021753B1 (en) Systems and methods for determining hepatic function from liver scans
US20220254023A1 (en) System and Method for Interpretation of Multiple Medical Images Using Deep Learning
Giannini et al. A fully automatic algorithm for segmentation of the breasts in DCE-MR images
US20130257910A1 (en) Apparatus and method for lesion diagnosis
JP7216145B2 (ja) 医用画像による腫瘍検出及び診断装置
CN101859441B (zh) 基于影像的无创监测肿瘤浸润周围组织程度的计算机辅助分析方法
Suleiman et al. In the digital era, architectural distortion remains a challenging radiological task
CN103455821B (zh) 基于bi-rads的图像分析装置和方法
TWI574671B (zh) 乳房影像的分析方法以及其電子裝置
CN112529900A (zh) 匹配乳腺图像中roi的方法、装置、终端与存储介质
JP2024000482A (ja) 医療画像の処理方法及び医療画像処理用コンピュータ装置
TWM526875U (zh) 影像處理裝置
US20160210774A1 (en) Breast density estimation
Lo et al. Feasibility testing: Three-dimensional tumor mapping in different orientations of automated breast ultrasound
KR102332472B1 (ko) 의료 영상에서 듀얼 윈도우 설정에 기반한 딥러닝을 이용한 종양 자동 분할 방법
JP2004195080A (ja) 異常陰影検出装置
Michahial et al. A novel algorithm to select a seed point automatically in breast ultrasound image
TWI839758B (zh) 醫療影像的處理方法及處理醫療影像的運算裝置
RU2812866C1 (ru) Способ обработки снимков компьютерной томографии (КТ-снимков)
WO2023032954A1 (ja) 情報処理方法、プログラム及び画像診断装置
Mračko et al. Enhancing Breast Microcalcification Classification: From Binary to Three-Class Classifier