TWI779284B - 用於影像資料標註的裝置 - Google Patents

用於影像資料標註的裝置 Download PDF

Info

Publication number
TWI779284B
TWI779284B TW109115022A TW109115022A TWI779284B TW I779284 B TWI779284 B TW I779284B TW 109115022 A TW109115022 A TW 109115022A TW 109115022 A TW109115022 A TW 109115022A TW I779284 B TWI779284 B TW I779284B
Authority
TW
Taiwan
Prior art keywords
image data
content
suspected
interest
region
Prior art date
Application number
TW109115022A
Other languages
English (en)
Other versions
TW202143245A (zh
Inventor
盤龍
Original Assignee
商之器科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 商之器科技股份有限公司 filed Critical 商之器科技股份有限公司
Priority to TW109115022A priority Critical patent/TWI779284B/zh
Priority to US16/939,086 priority patent/US11232604B2/en
Publication of TW202143245A publication Critical patent/TW202143245A/zh
Application granted granted Critical
Publication of TWI779284B publication Critical patent/TWI779284B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/116—Details of conversion of file system types or formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Holo Graphy (AREA)

Abstract

本發明提供了一種裝置，其包含有一顯示面板、一儲存電路以及一處理電路。裝置的顯示面板用來顯示一第一影像資料，第一影像資料中可圈選出一興趣區。裝置的儲存電路用來接收至少一第一標註內容以及興趣區的一第一區域資訊，以及連結興趣區的第一區域資訊與至少一第一標註內容。如此一來，因此醫學專業人員可藉由第一影像資料的至少一第一標註內容快速地初步診斷。

Description

用於影像資料標註的裝置
本發明係指一種裝置，尤指用於影像資料標註的一種裝置。
隨著無創或微創的成像技術的發展以及影像對比度或分辨率的提升，影像資料對於醫療診斷的重要性與日俱增。為了妥善保存影像資料並降低經濟與空間成本，醫療資訊數位化成為趨勢。其中，醫學影像存檔與通信系統(Picture archiving and communication system，PACS)是一種專門用來儲存、取得、傳送與展示醫療影像的電腦或網路系統，其以數位化方式儲存影像資料，並提供遠端查看影像資料的功能。然而，當影像資料數量快速增長，若每次診斷都需要醫學專業人員重新查看原始的影像資料(特別是動態的影像資料)，則十分耗費時間。並且，影像資料的解讀多半仰賴醫學專業人員的個人技術和經驗。因此，如何有效管理、適當標註甚至客觀地初步評估影像資料成為重要課題。
因此，本發明的主要目的即在提供用於影像資料標註的一種裝置，以有效管理及利用影像資料，從而促進醫療診斷的進步。
本發明揭露一種裝置，其包含有一顯示面板、一儲存電路以及一處理電路。該顯示面板用來顯示一第一影像資料。該儲存電路用來儲存該第一影像資料以及一指令。該指令包含有接收至少一第一標註內容以及一興趣區的一第一區域資訊，以及連結該興趣區的該第一區域資訊與該至少一第一標註內容。該興趣區是自該第一影像資料圈選出。該處理電路耦接於該儲存電路，用來執行儲存於該儲存電路的該指令。
10:裝置
110:顯示面板
120:儲存電路
130:處理電路
20:使用者介面
210:影像視窗
221,223:資訊欄位
225,245:時序條
228,238,246,248:操作圖標按鈕
252,254,256,258:編輯圖標按鈕
261~267:標註內容欄位
30:標註選項視窗
362:文字輸入欄位
Cancel,Disease1~Disease8,Save:選項
R2:興趣區
Section4~Section7:類別
第1圖為本發明實施例一裝置的示意圖。
第2圖為本發明實施例第1圖所示的裝置提供的一使用者介面的示意圖。
第3圖為本發明實施例第1圖所示的裝置提供的使用者介面以及標註選項視窗的示意圖。
第1圖為本發明實施例一裝置10的示意圖。裝置10可用來處理第一影像資料，例如讀取影像資料、標註影像資料或進行人工智能(Artificial Intelligence，AI)影像辨識(image recognition)等。裝置10包含有一顯示面板110、一處理電路130以及一儲存電路120。顯示面板110用來顯示影像資料。儲存電路120用來儲存影像資料或指令。儲存電路120可為用戶識別模組(Subscriber Identity Module，SIM)、唯讀式記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)或隨機存取記憶體(Random-Access Memory，RAM)、光碟唯讀記憶體(CD-ROM/DVD-ROM/BD-ROM)、磁帶(Magnetic tape)、硬碟(Hard disk)、光學資料儲存裝置(Optical data storage device)、非揮發性儲存裝 置(Non-volatile storage device)、非暫態電腦可讀取介質(Non-transitory computer-readable medium)，而不限於此。處理電路130用來執行指令，其可為中央處理器(Central Processing Unit，CPU)、微處理器(microprocessor)或特定應用積體電路(Application-Specific Integrated Circuit，ASIC)，而不限於此。
簡言之，藉由對影像資料進行標註，醫學專業人員不須於每次診斷重新查看原始的影像資料，而可藉由影像資料的標註內容快速地了解病情。醫學專業人員亦可藉由影像資料的標註內容了解其他醫學專業人員診斷基礎，從而強化醫療診斷的可靠性或據以做出不同的診斷結論。影像資料的標註內容還可提供醫學入門人員學習的依據，並且有利於醫療資料的管理。因此，裝置10有利於提升醫療品質。
具體而言，裝置10可用來執行一應用程式以提供一使用者介面(User Interface，UI)給一使用者，使用者介面可為圖形化使用者介面(Graphic User Interface，GUI)。舉例來說，第2圖為本發明實施例第1圖所示的裝置10提供的一使用者介面20的示意圖。使用者介面20可包含有影像視窗210、資訊欄位221、223、時序條225、245、操作圖標按鈕(icon)228、238、246、248、編輯圖標按鈕252、254、256、258以及標註內容欄位261~267。
影像視窗210可用來顯示第一影像資料。第一影像資料可為動態的影像資料(例如影片)或靜態的影像資料(例如照片)。動態的第一影像資料可包含有靜態的複數個畫面(frame)，每一畫面包含有呈陣列排列的複數個畫素(pixel)。靜態的第一影像資料亦可包含有呈陣列排列的複數個畫素。第一影像資料可為音訊影片交錯(Audio Video Interleave，AVI)、視窗多媒體影片(Windows Media Video，WMV)、真實多媒體可變動位元率(RealMedia Variable Bitrate，RMVB)、動態圖像專家組(Moving Pictures Experts Group，MPG)、MOV、MP4、M4V、3GP、MKV、RM、XVID等檔案格式，或為醫療數位影像傳輸協定(DICOM，Digital Imaging and Communications in Medicine)、點陣圖(Bitmap，BMP)等檔案格式，但不以此為限。第一影像資料可藉由腸胃內視鏡(endoscopy)而拍攝，但亦可由其他醫學影像器材取得影像，例如超音波影像(Ultrasound Image)、核磁共振造影(Magnetic Resonance Imaging，MRI)、正子斷層掃描(Positron Tomography，PT)、電腦斷層掃描(Computed Tomography，CT)、乳房攝影(Mammography，MG)數位放射攝影(Digital Radiography，DR)、電腦放射攝影(Computed Radiography，CR)與X光攝影(X-ray plain film，PF)。
在第2圖中，資訊欄位221可用來顯示目前播放第一影像資料的時間點，資訊欄位223可用來顯示第一影像資料的總時間長度，時序條225用來供使用者調整第一影像資料的播放時間點，操作圖標按鈕228可包含有例如播放或暫停的操作選項。操作圖標按鈕238可包含有例如停止、縮放、旋轉、鏡像翻轉或擷取畫面的操作選項。時序條245用來供使用者微幅調整第一影像資料的播放時間點，操作圖標按鈕246可包含有例如查看前一個畫面，操作圖標按鈕248可包含有例如查看後一個畫面。
如上所述，使用者可對影像視窗210顯示的第一影像資料進行標註。舉例來說，當第一影像資料匯入應用程式後，影像視窗210即可顯示第一影像資料。當應用程式播放或呈現第一影像資料時，使用者可藉由操作圖標按鈕228來使畫面駐留，以進行標註。並且，使用者可利用時序條245或操作圖標按鈕246、248來進行微調，以尋找欲進行標註的畫面。當使用者找到欲進行標註的畫面 後，使用者可利用游標(Cursor)或觸控方式自第一影像資料圈選出興趣區(Region of Interest，ROI)R2，或利用特定圖形的套索自第一影像資料圈選出興趣區R2，以進行標註。在一些實施例中，使用者還可測量興趣區R2的尺寸。
在一些實施例中，當興趣區R2自第一影像資料圈選出後，應用程式自動顯示標註選項視窗。舉例來說，第3圖為本發明實施例第1圖所示的裝置10提供的使用者介面20以及一標註選項視窗30的示意圖。標註選項視窗30用來顯示類別Section4~Section7及選項Disease1~Disease8。使用者可在標註選項視窗30中勾選類別Section7中的選項Disease7，從而將第一標註內容輸入為選項Disease7，以標註疑似疾病的種類。類似地，使用者可在標註選項視窗30中勾選類別Section6中的選項，來輸入其他的第一標註內容，以標註腫瘤為良性或惡性。標註選項視窗30中的類別或選項可於第一影像資料匯入應用程式後，由使用者進行設定(例如應用程式請求使用者設定欲於標註選項視窗30顯示的類別Section4~Section7或選項Disease1~Disease8)，或者，標註選項視窗30中的類別或選項可預設於應用程式。當使用者完成第一影像資料的標註後，使用者在標註選項視窗30中勾選的類別或選項可顯示於標註內容欄位261~267，並且可依照類別或選項而依序排列。如此一來，使用者可將其初步診斷的內容直接標註在第一影像資料，而有利於醫療診斷品質的提升。
在一些實施例中，使用者可依照其類別(例如類別Section7)而在標註選項視窗30中的文字輸入欄位362直接鍵入欲標註的文字內容，例如輸入第一標註內容，第一標註內容可包含有非典型細胞組織、疑似有傷口、疑似疾病種類、疑似有腫瘤、疑似為良性或惡性腫瘤其中至少一者。在另一些實施例中，當興趣區R2自第一影像資料圈選出後，應用程式可自動顯示文字輸入視窗。使 用者可在文字輸入視窗中直接鍵入欲標註的文字內容，例如輸入第一標註內容，第一標註內容可包含有非典型細胞組織、疑似有傷口、疑似疾病種類、疑似有腫瘤、疑似為良性或惡性腫瘤其中至少一者。舉例來說，使用者可在文字輸入視窗的一個文字輸入欄位鍵入是否有腫瘤的資訊，並在文字輸入視窗的另一個文字輸入欄位中鍵入疑似疾病的種類。當使用者完成第一影像資料的標註後，使用者在文字輸入視窗中鍵入的文字內容可顯示於標註內容欄位261~267。也就是說，使用者可將其初步診斷的內容直接標註在第一影像資料，而有利於醫療診斷品質的提升。
當使用者完成第一影像資料的標註後，使用者可能捨棄標註，例如選擇第3圖所示的標註選項視窗30中的選項Cancel，或者，選擇第2圖所示的編輯圖標按鈕252~258。其中，編輯圖標按鈕252可包含有例如回到上一步等復原動作，編輯圖標按鈕254可包含有例如回到下一步等取消復原動作，編輯圖標按鈕256可包含有例如橡皮擦等修改標註動作，編輯圖標按鈕258可包含有例如清除整個畫面標註動作。
當使用者完成第一影像資料的標註後，使用者亦可進行儲存，例如選擇標註選項視窗30中的選項Save。對應地，裝置10會儲存第一標註內容以及興趣區R2的第一區域資訊。興趣區R2的第一區域資訊可相關於興趣區R2的位置，舉例來說，裝置10可儲存第一畫素的位置資訊。在一些實施例中，第一畫素可為位於興趣區R2的幾何中心的一個畫素。在另一些實施例中，第一畫素可為位於興趣區R2的邊緣的複數個畫素，並且第一畫素可包圍興趣區R2，或者分散於興趣區R2的邊緣。在另一些實施例中，興趣區R2依據第一畫素為可定位的，意即藉由第一畫素可描繪出興趣區R2大致的位置或輪廓。在另一些實施例中， 第一畫素排列為特定形狀，例如排列為圓形、矩形、三角形或其組合。也就是說，裝置10可儲存第一標註內容以及第一影像資料對應於第一標註內容的位置資訊。
接著，裝置10可連結興趣區R2的第一區域資訊以及第一標註內容，舉例來說，裝置10可將興趣區R2的第一區域資訊以及第一標註內容儲存為物件表示法(JavaScript Object Notation，JSON)檔案格式或其他JavaScript檔案格式，但不以此為限，第一影像資料的標註亦可儲存為純文字格式。在一些實施例中，使用者可藉由電子郵件或上傳至網路端的方式匯出具有標註的第一影像資料。
第一影像資料的灰階或色彩分布可能需要符合特定要求，以提升醫療診斷的準確性，並有利於人工智能影像辨識。在一些實施例中，第2圖所示的操作圖標按鈕238還可包含有例如自動判讀環境光源或顯示灰階校正的操作選項，用以確保裝置10所顯示的第一影像資料可符合灰階曲線，從而避免醫學專業人員做出錯誤的判讀，以確保第一影像資料的判讀準確性。舉例來說，影像視窗210顯示的第一影像資料具備足夠的可分辨差異，以利醫學專業人員進行診斷。在另一些實施例中，裝置10可於匯入第一影像資料或匯出具有標註的第一影像資料時，針對第一影像資料進行灰階校正，而使第一影像資料符合灰階曲線。
具有標註的第一影像資料除了可供醫學專業人員進行會診，還可做為人工智能影像辨識的訓練資料。人工智能影像辨識可針對未知的第二影像資料推論出第二標註內容(例如包含有疑似疾病種類)或第二區域資訊(例如包含有疾病發生的位置)。人工智能影像辨識可包含有深度學習(Deep learning)、 (線性或非線性)回歸演算法(regression algorithm)、貝氏網路(Bayesian network)等技術，但不以此為限。
在深度學習技術中，神經網路(neural network)可藉由大量資料和自動訓練而最佳化並自動進行特徵萃取(Feature Extraction)，因此有利於處理複雜的任務或資料。神經網路可包含有多層的神經網路層，每層神經網路層分別包含有多個神經元(neuron)。舉例來說，神經網路可包含有卷積神經網路(Convolutional Neural Network，CNN)、遞歸神經網路(Recurrent Neural Network，RNN)、前饋類神經網路(Feedforward Neural Network，FNN)、長短期記憶(Long Short-Term Memory，LSTM)網路、門控循環單元(Gated Recurrent Unit，GRU)、注意力機制(Attention Mechanism)、全連接層(fully-connected layer)或池化層(pooling layer)。
具體而言，為了建立人工智能模型，須先決定並配置神經網路層的種類、層數、連接方式、每層神經元個數、參數的個數、參數的初始值或啟用函式(activation function)。在人工智能影像辨識的訓練(training)階段，需輸入多個影像資料至人工智能模型。這些影像資料可包含有疑似與確診為惡性腫瘤、良性腫瘤或發炎組織的醫療影像資料，例如包含有第一影像資料。其中，這些影像資料(例如第一影像資料)中被標註的興趣區(例如興趣區R2)可能具有特定的灰階分布、顏色分布、立體高度分布或平滑度，但不以此為限。藉由這些影像資料可對人工智能模型的參數進行訓練而最佳化。舉例來說，依據前向傳播(Forward Propagation)，可對應不同的參數自接收的第一影像資料計算出神經網路的輸出。神經網路的輸出與一目標值(target)之間具有整體誤差(total error)，藉由反向傳播(Backpropagation，BP)，可反覆地更新所有的參 數，而使神經網路的輸出逐漸接近目標值，來最小化整體誤差，進而最佳化參數而完成訓練。也就是說，利用第一影像資料、第一區域資訊以及至少一第一標註內容，可對人工智能模型的參數進行訓練。
在人工智能影像辨識的推論(inference)階段，依據最佳化的參數，人工智能模型可對欲判讀的第二影像資料進行推論，以產生相關於篩檢結果的影像辨識輸出。影像辨識輸出可包含有至少一第二區域資訊或至少一第二標註內容。每個第二區域資訊分別對應至每個第二標註內容。第二影像資料的第二標註內容對應於第一影像資料的第一標註內容，第二標註內容可包含有非典型細胞組織、疑似有傷口、疑似疾病種類、疑似有腫瘤、疑似為良性或惡性腫瘤其中至少一者。第二影像資料的第二區域資訊對應於第一影像資料的第一區域資訊，第二區域資訊可相關於非典型細胞組織、疑似有傷口、疑似發生疾病或疑似有良性或惡性腫瘤的位置。在一些實施例中，第二影像資料中可標示出第二區域資訊或第二標註內容(例如在第二影像資料上圈選出疑似為腫瘤的區域並顯示疑似有腫瘤的文字)。第二影像資料中被標註的區域可能具有特定的灰階分布、顏色分布、立體高度分布或平滑度，但不以此為限。也就是說，人工智能模型可對第二影像資料進行推論，並輸出第二區域資訊或第二標註內容，來進行初步的診斷，以協助醫學專業人員解釋醫療影像資料，而有利於醫療診斷品質的提升。
為了提升人工智能影像辨識的準確性，在一些實施例中，在將多個影像資料(例如第一影像資料)輸入至人工智能模型以前，須對這些影像資料進行影像處理。在一些實施例中，在將第一影像資料輸入至人工智能模型以前，可先將第一影像資料轉換至特定格式，例如聯合影像專家小組(Joint Photographic Experts Group，JPG)格式或可攜式網路圖形(Portable Network Graphics，PNG)格式)。在一些實施例中，在將第一影像資料輸入至人工智能模型以前，可藉由較少雜訊(noise)或失真的方式來補償第一影像資料，舉例來說，可藉由直方圖均化(Histogram Equalization)來校準第一影像資料。在一些實施例中，在將第一影像資料輸入至人工智能模型以前，可藉由濾波處理來去除第一影像資料的雜訊或提高平滑度。在一些實施例中，在將第一影像資料輸入至人工智能模型以前，可進行灰階校正，而使第一影像資料符合灰階曲線。在一些實施例中，在將第一影像資料輸入至人工智能模型以前，依據第一影像資料在空間域、時間域或頻域的平均強度值，對第一影像資料進行歸一化。
在一些實施例中，裝置10可為行動裝置或其他電子裝置，例如可為行動電話、平板電腦、個人電腦或醫療設備。如此一來，醫師可遠距檢視影像，而進行遠距診斷，以將醫療用顯示器的技術整合到具有具備足夠硬體規格的電子裝置，從而提升醫療影像顯示的普及率與移動便利性。在一些實施例中，裝置10的儲存電路120可用來儲存第一影像資料、第二影像資料、人工智能模型以及其參數。在一些實施例中，裝置10的應用程式可根據第二影像資料以及人工智能模型的參數，執行人工智能模型，以產生相關於篩檢結果的影像辨識輸出。如此一來，裝置10的應用程式可進行初步的診斷，並將疑似為腫瘤組織的位置提供醫學專業人員進行診斷，而有利於醫療診斷品質的提升。
綜上所述，本發明的裝置可對第一影像資料進行標註，因此醫學專業人員不須於每次診斷重新查看原始的第一影像資料，而可藉由第一影像資料的標註內容快速地了解病情，因此有利於提升醫療品質。具有標註的第一影像資料亦可做為人工智能影像辨識的訓練資料。利用第一影像資料訓練的人工智 能模型可進行人工智能影像辨識，而可於第二影像資料中標示出疑似腫瘤組織或是非典型細胞組織，而提供醫學專業人員進行診斷。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
30:標註選項視窗
362:文字輸入欄位
Cancel,Disease1~Disease8,Save:選項
R2:興趣區
Section4~Section7:類別

Claims (7)

  1. 一種影像資料裝置，包含有：一顯示面板，用來顯示一第一影像資料；一儲存電路，用來儲存該第一影像資料以及一指令，該指令包含有：於一興趣區自該第一影像資料圈選出後，自動於該顯示面板顯示一文字輸入視窗或一標註選項視窗，該文字輸入視窗用來輸入至少一第一標註內容，該標註選項視窗用來顯示包含有該至少一第一標註內容的複數個選項；接收該至少一第一標註內容以及該興趣區的一第一區域資訊，其中，該至少一第一標註內容包含有非典型細胞組織、疑似有傷口、疑似疾病種類、疑似有腫瘤、疑似為良性或惡性腫瘤其中至少一者；連結該興趣區的該第一區域資訊與該至少一第一標註內容；依據該第一影像資料、該第一區域資訊以及該至少一第一標註內容，對一人工智能模型(Artificial Intelligence，AI)的參數進行訓練(training)；以及當一第二影像資料輸入至經訓練的該人工智能模型時，該人工智能模型輸出一影像辨識輸出，其中，該影像辨識輸出包含有至少一第二區域資訊或至少一第二標註內容，該至少一第二標註內容包含有非典型細胞組織、疑似有傷口、疑似疾病種類、疑似有腫瘤、疑似為良性或惡性腫瘤其中至少一者；以及一處理電路，耦接於該儲存電路，用來執行儲存於該儲存電路的該指令。
  2. 如請求項1所述之影像資料裝置，其中儲存該興趣區的該第一區域資訊的步驟包含有： 儲存至少一第一畫素的一位置資訊，其中，該至少一第一畫素位於該興趣區的邊緣或者位於該興趣區的幾何中心。
  3. 如請求項2所述之影像資料裝置，其中該至少一第一畫素包圍該興趣區，或者，該興趣區依據該至少一第一畫素為可定位的。
  4. 如請求項2所述之影像資料裝置，其中：該第一影像資料為動態的影像資料，該第一影像資料包含有靜態的複數個畫面(frame)，該複數個畫面中的每一者包含有呈陣列排列的複數個畫素(pixel)，該複數個畫素包含有該至少一第一畫素；或者該第一影像資料為靜態的影像資料，該第一影像資料包含有呈陣列排列的複數個畫素，該複數個畫素包含有該至少一第一畫素。
  5. 如請求項1所述之影像資料裝置，其中連結該興趣區的該第一區域資訊以及該至少一第一標註內容的步驟包含有：將該興趣區的該第一區域資訊以及該至少一第一標註內容儲存為物件表示法(JavaScript Object Notation，JSON)檔案格式。
  6. 如請求項1所述之影像資料裝置，其中該指令另包含有：匯入該第一影像資料；以及於該第一影像資料匯入後，請求設定欲於該標註選項視窗顯示的該複數個選項。
  7. 如請求項1所述之影像資料裝置，其中於該第一影像資料輸入至 該人工智能模型以前，對該第一影像資料進行影像處理。
TW109115022A 2020-05-06 2020-05-06 用於影像資料標註的裝置 TWI779284B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109115022A TWI779284B (zh) 2020-05-06 2020-05-06 用於影像資料標註的裝置
US16/939,086 US11232604B2 (en) 2020-05-06 2020-07-27 Device for marking image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109115022A TWI779284B (zh) 2020-05-06 2020-05-06 用於影像資料標註的裝置

Publications (2)

Publication Number Publication Date
TW202143245A TW202143245A (zh) 2021-11-16
TWI779284B true TWI779284B (zh) 2022-10-01

Family

ID=78412941

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109115022A TWI779284B (zh) 2020-05-06 2020-05-06 用於影像資料標註的裝置

Country Status (2)

Country Link
US (1) US11232604B2 (zh)
TW (1) TWI779284B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254648B (zh) * 2021-06-22 2021-10-22 暨南大学 一种基于多层次图池化的文本情感分析方法
TWI792751B (zh) * 2021-12-08 2023-02-11 國立成功大學 醫學影像專案管理平台
TWI833238B (zh) * 2022-06-08 2024-02-21 凌華科技股份有限公司 資料結構以及人工智能推論系統及方法
TWI836781B (zh) * 2022-12-09 2024-03-21 旭東機械工業股份有限公司 病理影像標註及檢視系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060535A1 (en) * 2016-08-31 2018-03-01 International Business Machines Corporation Updating probabilities of conditions based on annotations on medical images
CN110245657A (zh) * 2019-05-17 2019-09-17 清华大学 病理图像相似性检测方法及检测装置
CN110852396A (zh) * 2019-11-15 2020-02-28 苏州中科华影健康科技有限公司 一种宫颈图像的样本数据处理方法

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6575969B1 (en) * 1995-05-04 2003-06-10 Sherwood Services Ag Cool-tip radiofrequency thermosurgery electrode system for tumor ablation
EP1334467A2 (en) * 2000-10-31 2003-08-13 Koninklijke Philips Electronics N.V. Method and system for tag detection and tracking in mri tagged images
CN100507928C (zh) * 2003-03-11 2009-07-01 美国西门子医疗解决公司 用于确保医学图像中计算机标记的人工审查的计算机辅助检测系统和方法
TW200511774A (en) * 2003-09-09 2005-03-16 Ebm Technologies Inc Method and system of remote diagnosis by mobile communication equipment
DE10344805A1 (de) * 2003-09-26 2005-04-28 Siemens Ag Verfahren zur automatischen Objektmarkierung in der medizinischen Bildgebung
US20090202123A1 (en) * 2003-10-02 2009-08-13 Ebm Technologies Incorporated Method for remotely controlling medical apparatuses and device therefor
US20050075556A1 (en) * 2003-10-02 2005-04-07 William Pan Method for remotely controlling medical apparatuses and device therefor
US20100076789A1 (en) * 2004-03-17 2010-03-25 William Pan Method for remote consultation via mobile communication apparatus and system thereof
US20060197913A1 (en) * 2004-03-31 2006-09-07 William Pan Portable image displaying apparatus
US20100131514A1 (en) * 2004-06-23 2010-05-27 Ebm Technologies Incorporated Real-time automatic searching system for medical image and method for using the same
US20050288568A1 (en) * 2004-06-23 2005-12-29 William Pan Real-time automatic searching system for medical image and method for the same
US20090049104A1 (en) * 2005-06-08 2009-02-19 William Pan Method and system for configuring a variety of medical information
US20060282469A1 (en) * 2005-06-08 2006-12-14 William Pan Method and device for configuring a variety of medical information
EP1941452B1 (en) * 2005-10-21 2019-12-11 Koninklijke Philips N.V. A method of and a system for interactive probing and annotating medical images using profile flags
US20080140722A1 (en) * 2006-11-20 2008-06-12 Vivalog Llc Interactive viewing, asynchronous retrieval, and annotation of medical images
TWI362012B (en) * 2007-07-23 2012-04-11 System of providing hygienic education information and method thereof
US20090208421A1 (en) * 2008-02-19 2009-08-20 Dominique Meyer Process for preparing a pharmaceutical formulation of contrast agents
US7702939B2 (en) * 2008-03-19 2010-04-20 Ebm Technologies Incorporated Method and system for controlling an operation time of a computer
US20120242817A1 (en) * 2008-12-30 2012-09-27 Ebm Technologies Incorporated System and method for identifying a pathological tissue image
US20100166268A1 (en) * 2008-12-30 2010-07-01 Ebm Technologies Incorporated Storage system for storing the sampling data of pathological section and method thereof
US9082036B2 (en) * 2009-11-25 2015-07-14 Dental Imaging Technologies Corporation Method for accurate sub-pixel localization of markers on X-ray images
US20110301980A1 (en) * 2010-06-03 2011-12-08 Siemens Medical Solutions Usa, Inc. Automated Medical Image Storage System
US9076246B2 (en) * 2012-08-09 2015-07-07 Hologic, Inc. System and method of overlaying images of different modalities
EP2943123B1 (en) * 2013-01-08 2023-12-13 Biocardia, Inc. Target site selection, entry and update with automatic remote image annotation
US20150065812A1 (en) * 2013-09-02 2015-03-05 Ebm Technologies Incorported Telemedicine information system, monitoring method and computer-accessible storage medium
US20150066523A1 (en) * 2013-09-02 2015-03-05 Ebm Technologies Incorporated Telemedicine information system
CN104644193A (zh) * 2013-11-21 2015-05-27 商之器科技股份有限公司 乳房x光影像的显示方法
US9947090B2 (en) * 2014-09-06 2018-04-17 RaPID Medical Technologies, LLC Medical image dectection system and method
US20160210714A1 (en) * 2015-01-20 2016-07-21 Ebm Technologies Incorporated Method for storing medical images and imaging system thereof
US10650115B2 (en) * 2015-02-27 2020-05-12 Xifin, Inc. Processing, aggregating, annotating, and/or organizing data
US20160267068A1 (en) * 2015-03-11 2016-09-15 Raja Nagarajan System, method and process for multi-modal annotation and distribution of digital object
GB201505864D0 (en) * 2015-04-07 2015-05-20 Ipv Ltd Live markers
US20190076125A1 (en) * 2015-10-08 2019-03-14 Koninklijke Philips N.V. Apparatuses, methods, and systems for annotation of medical images
US10048111B2 (en) * 2015-12-21 2018-08-14 Ebm Technologies Incorporated Smart weight scale, smart weight management system based on internet of things and method of measuring weight thereof
US9898913B2 (en) * 2015-12-21 2018-02-20 Ebm Technologies Incorporated Medical alert message pre-configuration and mission handling method
WO2017193251A1 (zh) 2016-05-09 2017-11-16 深圳迈瑞生物医疗电子股份有限公司 识别超声图像中感兴趣区域轮廓的方法及系统
CN109478423B (zh) * 2016-07-21 2023-09-15 皇家飞利浦有限公司 注释医学图像
CN106250707A (zh) 2016-08-12 2016-12-21 王双坤 一种基于深度学习算法处理头部结构像数据的方法
US20180060534A1 (en) * 2016-08-31 2018-03-01 International Business Machines Corporation Verifying annotations on medical images using stored rules
US20180060488A1 (en) * 2016-08-31 2018-03-01 International Business Machines Corporation Customizing annotations on medical images
US10552978B2 (en) * 2017-06-27 2020-02-04 International Business Machines Corporation Dynamic image and image marker tracking
EP3432263B1 (en) * 2017-07-17 2020-09-16 Siemens Healthcare GmbH Semantic segmentation for cancer detection in digital breast tomosynthesis
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
CN109712691B (zh) * 2017-10-25 2021-07-23 商之器科技股份有限公司 转换行动装置显示器成医疗影像显示用系统及方法
EP3499461B1 (de) * 2017-12-13 2021-08-18 Siemens Healthcare GmbH Darstellung von markern in der medizinischen bildgebung
US10679345B2 (en) * 2017-12-20 2020-06-09 International Business Machines Corporation Automatic contour annotation of medical images based on correlations with medical reports
KR102549196B1 (ko) 2018-02-07 2023-06-30 어플라이드 머티리얼즈 이스라엘 리미티드 반도체 시편의 심층 학습 기반 검사 방법 및 그의 시스템
US10916343B2 (en) * 2018-04-26 2021-02-09 International Business Machines Corporation Reduce discrepancy of human annotators in medical imaging by automatic visual comparison to similar cases
US20200054220A1 (en) * 2018-08-14 2020-02-20 Ebm Technologies Incorporated Physiological Parameter Recording System and Method Thereof
US11446008B2 (en) * 2018-08-17 2022-09-20 Tokitae Llc Automated ultrasound video interpretation of a body part with one or more convolutional neural networks
DE102018216370B4 (de) * 2018-09-25 2020-06-18 Siemens Healthcare Gmbh Bereitstellen eines annotierten medizinischen Bilddatensatzes für eine Radiotherapieplanung eines Patienten
US11676701B2 (en) * 2019-09-05 2023-06-13 Pearl Inc. Systems and methods for automated medical image analysis
US10984529B2 (en) * 2019-09-05 2021-04-20 Pearl Inc. Systems and methods for automated medical image annotation
TWI753361B (zh) * 2020-02-06 2022-01-21 商之器科技股份有限公司 用於醫療影像存取系統與輔助診斷的整合系統
TWI720813B (zh) * 2020-02-10 2021-03-01 商之器科技股份有限公司 醫療影像用行動裝置顯示器亮度校正系統與方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060535A1 (en) * 2016-08-31 2018-03-01 International Business Machines Corporation Updating probabilities of conditions based on annotations on medical images
CN110245657A (zh) * 2019-05-17 2019-09-17 清华大学 病理图像相似性检测方法及检测装置
CN110852396A (zh) * 2019-11-15 2020-02-28 苏州中科华影健康科技有限公司 一种宫颈图像的样本数据处理方法

Also Published As

Publication number Publication date
US11232604B2 (en) 2022-01-25
TW202143245A (zh) 2021-11-16
US20210350587A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
TWI779284B (zh) 用於影像資料標註的裝置
US11553874B2 (en) Dental image feature detection
US10129553B2 (en) Dynamic digital image compression based on digital image characteristics
US20200388363A1 (en) Extended reality medical report generating system
KR101898575B1 (ko) 진행성 병변에 대한 미래 상태를 예측하는 방법 및 이를 이용한 장치
US9306999B2 (en) Interactive sessions with participants and providers
US11900266B2 (en) Database systems and interactive user interfaces for dynamic conversational interactions
US10667776B2 (en) Classifying views of an angiographic medical imaging system
CA3009403A1 (en) Video clip selector for medical imaging and diagnosis
KR20180059803A (ko) 이미지를 정렬하고 일련의 정렬된 이미지를 제공하는 카메라 시스템 및 방법
Marchell et al. Comparing high definition live interactive and store-and-forward consultations to in-person examinations
US20230260652A1 (en) Self-Supervised Machine Learning for Medical Image Analysis
CN115170464A (zh) 肺图像的处理方法、装置、电子设备和存储介质
US20230334663A1 (en) Development of medical imaging ai analysis algorithms leveraging image segmentation
CN112862752A (zh) 一种图像处理显示方法、系统电子设备及存储介质
WO2023279199A1 (en) System and method for processing medical images in real time
CN112419339B (zh) 医学图像分割模型训练方法及系统
KR20190088371A (ko) 진행성 병변의 미래 영상을 생성하는 방법 및 이를 이용한 장치
CN112750537A (zh) 一种远程医疗指导系统
US11798159B2 (en) Systems and methods for radiology image classification from noisy images
CN113724095B (zh) 图片信息预测方法、装置、计算机设备及存储介质
WO2023032438A1 (ja) 回帰推定装置および方法、プログラム並びに学習済みモデルの生成方法
US20220245815A1 (en) Apparatus and method for identifying real-time biometric image
US20230334763A1 (en) Creating composite drawings using natural language understanding
KR20240053280A (ko) 질병 진단을 위한 딥러닝 기반 증강현실 시스템

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent