TW202001929A - 處理來自一醫學影像裝置之即時視訊及偵測於該視訊中之物體的系統及方法 - Google Patents

處理來自一醫學影像裝置之即時視訊及偵測於該視訊中之物體的系統及方法 Download PDF

Info

Publication number
TW202001929A
TW202001929A TW108120188A TW108120188A TW202001929A TW 202001929 A TW202001929 A TW 202001929A TW 108120188 A TW108120188 A TW 108120188A TW 108120188 A TW108120188 A TW 108120188A TW 202001929 A TW202001929 A TW 202001929A
Authority
TW
Taiwan
Prior art keywords
video
network
processor
images
bus
Prior art date
Application number
TW108120188A
Other languages
English (en)
Other versions
TWI813696B (zh
Inventor
狄恩 南恩 恩果
朱利奧 伊凡吉里斯堤
芙拉菲歐 納瓦瑞
Original Assignee
愛爾蘭商卡司莫人工智能有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 愛爾蘭商卡司莫人工智能有限公司 filed Critical 愛爾蘭商卡司莫人工智能有限公司
Publication of TW202001929A publication Critical patent/TW202001929A/zh
Application granted granted Critical
Publication of TWI813696B publication Critical patent/TWI813696B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

本發明係關於用於處理即時視訊及偵測該視訊中之物體的系統及方法。在一實施方案中，提供一種系統，其包含：一輸入埠，其用於接收自一醫學影像裝置獲得之即時視訊；一第一匯流排，其用於轉移該所接收之即時視訊；及至少一處理器，其經組態以自該第一匯流排接收該即時視訊、藉由將一經訓練神經網路應用於該所接收之即時視訊之圖框來執行物體偵測及覆蓋指示該等圖框中至少一偵測物體之一位置之一邊界。該系統亦包含：一第二匯流排，其用於接收具有該覆蓋邊界之該視訊；一輸出埠，其用於將具有該覆蓋邊界之該視訊自該第二匯流排輸出至一外部顯示器；及一第三匯流排，其用於將該所接收之即時視訊直接傳輸至該輸出埠。

Description

處理來自一醫學影像裝置之即時視訊及偵測於該視訊中之物體的系統及方法
本發明大體上係關於神經網路領域及此等網路在影像分析及物體偵測中之使用。更具體而言(但不限於)，本發明係關於用於訓練生成對抗網路及處理即時視訊之電腦實施系統及方法。本文所揭示之系統及方法及經訓練神經網路可用於各種應用及視覺系統(諸如獲益於準確物體偵測能力之醫學影像分析及系統)中。
在諸多物體偵測系統中，偵測一影像中之一物體。一所關注物體可為一人、位置或事物。在諸如醫學影像分析及診斷之一些應用中，物體之位置亦很重要。然而，利用影像分類器之電腦實施系統通常無法識別或提供一偵測物體之位置。因此，僅使用影像分類器之現存系統不是非常有用。
此外，用於物體偵測之訓練技術要依賴人工註記訓練集。當所訓練之偵測網路係基於定界框之網路(諸如一「你僅需看一遍(YOLO)」架構、一「單照偵測器(SSD)」架構或其類似者)時，此等註記很耗時。因此，大資料集難以訓練註記，其通常導致在一較小資料集上訓練之一神經網路以降低準確度。
就電腦實施系統而言，現存醫學成像通常建立於一單偵測器網路上。因此，在進行偵測之後，網路僅輸出偵測(例如)至一醫師或其他醫療照護專員。然而，此等偵測可能為假陽性，諸如內視鏡檢查中之非息肉或其類似者。此等系統不提供用於辨別假陽性與真陽性之一單獨網路。
此外，基於神經網路之物體偵測器通常將由一神經網路識別之特徵饋送至偵測器(其可包括一第二神經網路)中。然而，此等網路通常不準確，因為特徵偵測由一廣義網路執行，其中僅偵測器部分被專業化。
最後，諸多現存物體偵測器具有延遲功能。例如，可在分析之前擷取及儲存醫學影像。然而，一些醫學程序(諸如內視鏡檢查)要被即時診斷。因此，此等系統通常難以依所需即時方式應用。
鑑於上述情況，本發明之實施例提供用於訓練一生成對抗網路及將其用於諸如醫學影像分析之應用的電腦實施系統及方法。本發明之系統及方法相較於現存系統及技術提供包含改良物體偵測及位置資訊之益處。
根據一些實施例，提供一電腦實施系統，其包含識別所關注之特徵(即，所關注之異常或物體)及其位置之一物體偵測器網路及判別真陽性與假陽性之一對抗網路。再者，本發明之實施例提供用於訓練該物體偵測器網路之二迴路技術。此訓練程序使用基於複查一偵測之註記，使得人工註記可更快發生且因此具有一較大資料集。再者，此程序可用於訓練一生成對抗網路以判別假陽性與真陽性。
另外，提供組合一物體偵測器網路與一生成對抗網路之揭示系統。可藉由組合此等網路來判別假陽性與真陽性以藉此提供更準確輸出。藉由減少假陽性，一醫師或其他醫療照護專員可由於準確度提高而對來自網路之輸出給予更多關注。
此外，本發明之實施例包含不使用藉由一神經網路與一專用偵測器之組合之一般特徵識別之神經網路。確切而言，針對物體偵測器部分訓練一單一無縫神經網路，其導致更專業化及更高準確度及效率。
最後，本發明之實施例經組態以顯示即時視訊(諸如內視鏡檢查視訊或其他醫學影像)及物體偵測於一單一顯示器上。因此，本發明之實施例提供一視訊旁路以最大程度減少由誤差及物體偵測器之其他潛在缺點引起之潛在問題。再者，可依經設計以更好引起醫師或其他醫療照護專員注意之特別方式顯示物體偵測。
在一實施例中，一種用於處理即時視訊之系統可包括：一輸入埠，其用於接收即時視訊；一第一匯流排，其用於轉移該所接收之即時視訊；至少一處理器，其經組態以自該第一匯流排接收該即時視訊、對該所接收之即時視訊之圖框執行物體偵測及覆蓋指示該等圖框中至少一偵測物體之一位置之一邊界；一第二匯流排，其用於接收具有該覆蓋邊界之該視訊；一輸出埠，其用於將具有該覆蓋邊界之該視訊自該第二匯流排輸出至一外部顯示器；及一第三匯流排，其用於將該所接收之即時視訊直接傳輸至該輸出埠。
在一些實施例中，可在自該至少一處理器接收一錯誤信號之後啟動該第三匯流排。
在任何實施例中，該至少一偵測物體可為一異常。在此等實施例中，該異常可包括人體組織上或人體組織之一形成物。另外或替代地，該異常可包括人體組織之細胞自一類型改變成另一類型。另外或替代地，該異常可包括原本存在人體組織之一位置缺少該人體組織。
在任何實施例中，該異常可包括一病變。例如，該病變可包括一息肉樣病變或一非息肉樣病變。
在任何實施例中，該覆蓋邊界可包括圍繞包含該至少一偵測物體之該影像之一區域之一圖案，該圖案以一第一色彩顯示。在此等實施例中，該至少一處理器可經進一步組態以在逝去一段時間之後在該至少一偵測物體係一真陽性時將該圖案修改為以一第二色彩顯示及在該至少一偵測物體係一假陽性時將該圖案修改為以一第三色彩顯示。在此等實施例中，該至少一處理器可經進一步組態以在修改該邊界之該圖案時將一命令傳輸至一或多個揚聲器以發出一聲音。在此等實施例中，該聲音之持續時間、音調、頻率及振幅之至少一者可取決於該至少一偵測物體係一真陽性或一假陽性。除聲音之外或作為聲音之替代，該至少一處理器可經進一步組態以在修改該邊界之該圖案時將一命令傳輸至至少一可穿戴設備以發出振動。在此等實施例中，該振動之持續時間、頻率及振幅之至少一者取決於該至少一偵測物體係一真陽性或一假陽性。
在一實施例中，一種用於處理即時視訊之系統可包括：一輸入埠，其用於接收即時視訊；至少一處理器，其經組態以自該輸入埠接收該即時視訊、藉由將一經訓練神經網路應用於該所接收之即時視訊之圖框來執行物體偵測及覆蓋指示該等圖框中至少一偵測物體之一位置之一邊界；一輸出埠，其用於將具有該覆蓋邊界之該視訊自該至少一處理器輸出至一外部顯示器；及一輸入裝置，其用於自一使用者接收一敏感度設定。該處理器可經進一步組態以回應於該敏感度設定而調整該經訓練神經網路之至少一參數。
在一些實施例中，該至少一偵測物體可為一異常。在此等實施例中，該異常可包括人體組織上或人體組織之一形成物。另外或替代地，該異常可包括人體組織之細胞自一類型改變成另一類型。另外或替代地，該異常可包括原本存在人體組織之一位置缺少該人體組織。
在任何實施例中，該異常可包括一病變。例如，該病變可包括一息肉樣病變或一非息肉樣病變。
本發明之額外目的及優點將部分闡述於[實施方式]中且將部分自[實施方式]明白，或可藉由實踐本發明來瞭解。將由隨附申請專利範圍中特別指出之元件及組合實現及達成本發明之目的及優點。
應瞭解，以上一般描述及以下詳細描述僅供例示及說明，且不限制所揭示之實施例。
所揭示之實施例係關於用於訓練生成對抗網路及其使用之電腦實施系統及方法。有利地，例示性實施例可提供改良訓練網路及快速高效率物體偵測。本發明之實施例亦可提供具有減少假陽性之醫學影像分析之改良物體偵測。
本發明之實施例可實施及使用於各種應用及視覺系統中。例如，本發明之實施例可實施於醫學影像分析系統及獲益於物體偵測(其中物體可為真陽性或假陽性)之其他系統類型。儘管本文大體上參考醫學影像分析及內視鏡檢查來描述本發明之實施例，但應瞭解，實施例可應用於其他醫學影像程序，諸如胃鏡檢查、大腸鏡檢查、小腸鏡檢查及上消化道內視鏡檢查(諸如食道內視鏡檢查)。此外，本發明之實施例不受限於其他環境及視覺系統，諸如用於或包含LIDAR、監視、自動導航及其他成像系統之系統。
根據本發明之一態樣，提供一種使用包含一所關注特徵之表示之影像來訓練一生成對抗網路之電腦實施系統。該系統可包含經組態以儲存指令之至少一記憶體及經組態以執行該等指令之至少一處理器(例如參閱圖1及圖6)。該至少一處理器可提供第一複數個影像。例如，該至少一處理器可自一或多個資料庫提取該第一複數個影像。另外或替代地，該第一複數個影像可包括自一或多個視訊提取之複數個圖框。
如本文所使用，術語「影像」係指一場景或視域之任何數位表示。數位表示可以任何適當格式編碼，諸如聯合圖像專家小組(JPEG)格式、圖形交換格式(GIF)、位元映像格式、可縮放向量圖形(SVG)格式、囊封幕後排版(EPS)格式或其類似者。類似地，術語「視訊」係指包括複數個序列影像之一所關注場景或區域之任何數位表示。數位表示可以任何適當格式編碼，諸如動畫專家組(MPEG)格式、快閃視訊格式、聲視訊號交插(AVI)格式或其類似者。在一些實施例中，影像序列可與音訊配對。
第一複數個影像可包含第一複數個影像之影像中所關注特徵(即，所關注之一異常或物體)之表示及所關注特徵之位置之指示符。例如，所關注特徵可包括人體組織上或人體組織之一異常。在一些實施例中，所關注特徵可包括諸如一載具、人或其他實體之一物體。
根據本發明，一「異常」可包含人體組織上或人體組織之一形成物、人體組織之細胞自一類型改變成另一類型及/或原本存在人體組織之一位置缺少該人體組織。例如，一腫瘤或其他組織生長可構成一異常，因為存在比預期多之細胞。類似地，一挫傷或細胞類型之其他變化可構成一異常，因為血細胞存在於預期位置外(即，毛細管外)之位置中。類似地，人體組織之一衰弱可構成一異常，因為細胞不存在於一預期位置中以導致衰弱。
在一些實施例中，一異常可包括一病變。病變可包括胃腸黏膜之病變。病變可經組織分類(例如依據維也納(Vienna)分類)、形態分類(例如依據巴黎(Paris)分類)及/或結構分類(例如鋸齒狀或非鋸齒狀)。巴黎分類包含息肉樣病變及非息肉樣病變。息肉樣病變可包括突出、有莖及突出或無柄病變。非息肉樣病變可包括表面凸起、平坦、表面淺凹或凹陷病變。
關於所偵測之異常，鋸齒狀病變可包括無柄鋸齒狀腺瘤(SSA)、傳統鋸齒狀腺瘤(TSA)、增生性息肉(HP)、纖維母細胞性息肉(FP)或混合息肉(MP)。根據維也納分類，一異常分成如下5類：(類別1)腫瘤形成/發育異常呈陰性；(類別2)腫瘤形成/發育異常不定；(類別3)非侵襲性輕度腫瘤形成(輕度腺瘤/發育異常)；(類別4)黏膜重度腫瘤形成，諸如重度腺瘤/發育異常、非侵襲性癌(原位癌)或疑似侵襲性癌；及(類別5)侵襲性腫瘤形成、黏膜內癌、黏膜下癌或其類似者。
所關注之一異常或特徵之位置之指示符可包括點(例如座標)或區域(例如一矩形、一正方形、一橢圓形或任何其他規則或不規則形狀)。指示符可包括影像上或影像之人工註記。在一些實施例中，第一複數個影像可包括醫學影像，諸如一胃腸器官或人體組織之其他器官或區域之影像。影像可由一醫學成像裝置生成，諸如一內視鏡檢查、一胃鏡檢查、一大腸鏡檢查、一小腸鏡檢查程序或一上消化道內視鏡檢查(諸如一食道內視鏡檢查)期間所使用之醫學成像裝置。在此等實施例中，若所關注特徵係一病變或其他異常，則一醫師或其他醫療照護專員可註記影像以將異常之指示符放置於影像中。
系統之(若干)處理器可使用第一複數個影像及所關注特徵之指示符來訓練一物體偵測網路偵測所關注特徵。例如，物體偵測網路可包括一神經網路，其具有經組態以接受一影像作為輸入且輸出一所關注特徵之一位置之一指示符的一或多個層。在一些實施例中，物體偵測網路可包括一廻旋網路。
訓練物體偵測網路可包含調整網路之一或多個節點之權重及/或調整網路之一或多個節點之激勵(或轉移)函數。例如，可調整物體偵測網路之權重以最小化與網路相關聯之一損失函數。在一些實施例中，損失函數可包括一平方損失函數、一鉸鏈損失函數、一邏輯損失函數、一交叉熵損失函數或任何其他適當損失函數或損失函數組合。在一些實施例中，可修改物體偵測網路之激勵(或轉移)函數以改良(若干)節點之一或多個模型與(若干)節點之輸入之間的擬合。例如，(若干)處理器可增加或減少與(若干)節點相關聯之一多項式函數之次方，可將相關聯函數自一類型改變成另一類型(例如自一多項式改變成一指數函數、自一對數函數改變成一多項式或其類似者)，或對(若干)節點之(若干)模型執行任何其他調整。
(若干)系統處理器可進一步提供包含所關注特徵之表示之第二複數個影像。例如，(若干)處理器可自一或多個資料庫(儲存第一複數個影像之(若干)相同資料庫或一或多個不同資料庫)提取第二複數個影像。另外或替代地，第二複數個影像可包括自一或多個視訊(用於提取第一複數個影像之(若干)相同視訊或一或多個不同視訊)提取之複數個圖框。
在一些實施例中，第二複數個影像可包括醫學影像，諸如來自一內視鏡裝置之影像。在此等實施例中，所關注特徵可包括一病變或其他異常。
在一些實施例中，第二複數個影像可包括比包含於第一複數個影像中之影像多之影像數目。例如，第二複數個影像可包含比第一複數個影像多至少100倍之影像。在一些實施例中，第二複數個影像可至少部分包含第一複數個或可為不同於第一複數個之影像。在其中至少部分自第一複數個影像之至少部分自其提取之一或多個視訊提取第二複數個影像之實施例中，第二複數個影像可包括不同於來自(若干)相同視訊之第一複數個之圖框。
(若干)系統處理器可將經訓練之物體偵測網路應用於第二複數個影像以產生所關注特徵之第一複數個偵測。例如，在其中經訓練之物體偵測網路包括一神經網路之實施例中，至少一處理器可將第二複數個影像輸入至網路且接收偵測。偵測可包括第二複數個影像中所關注特徵之位置之指示符。若第二複數個影像不包含所關注特徵，則指示符可包括一空指示符或無所關注特徵之其他指示符。
(若干)系統處理器可進一步提供關於第一複數個偵測之真陽性及假陽性之人工設定驗證。例如，驗證可自一或多個資料庫提取或作為輸入接收。在其中所關注特徵包括一病變或其他異常之實施例中，驗證可由一醫師或其他醫療照護專員輸入。例如，(若干)處理器可輸出偵測來顯示給醫師或其他醫療照護專員且回應於顯示偵測而接收驗證。
(若干)系統處理器可使用關於第一複數個偵測之真陽性及假陽性之驗證來訓練一生成對抗網路。例如，可訓練網路之一生成分支以生成所關注特徵之模擬表示。因此，生成分支可包括一廻旋神經網路。
類似於物體偵測網路，訓練生成分支可包含調整網路之一或多個節點之權重及/或調整網路之一或多個節點之激勵(或轉移)函數。例如，如上文所闡釋，可調整生成分支之權重以最小化與網路相關聯之一損失函數。另外或替代地，可修改生成分支之激勵(或轉移)函數以改良(若干)節點之一或多個模型與(若干)節點之輸入之間的擬合。
再者，可訓練網路之對抗分支以基於人工驗證來判別假陽性與真陽性。例如，對抗分支可包括接受一影像及一或多個對應偵測作為輸入且產生一驗證作為輸出之一神經網路。在一些實施例中，(若干)處理器可藉由提供兩個或兩個以上影像中所關注特徵之漏失偵測之假陽性之驗證來進一步再訓練生成網路。藉由將來自生成網路之模擬表示作為輸入提供至對抗分支且遞迴地使用來自對抗分支之輸出，對抗分支及生成分支可執行無監督學習。
類似於生成分支，訓練對抗分支可包含調整網路之一或多個節點之權重及/或調整網路之一或多個節點之激勵(或轉移)函數。例如，如上文所闡釋，可調整對抗分支之權重以最小化與網路相關聯之一損失函數。另外或替代地，可修改對抗分支之激勵(或轉移)函數以改良(若干)節點之一或多個模型與(若干)節點之輸入之間的擬合。
因此，在其中所關注特徵包括一病變或其他異常之實施例中，可訓練生成分支生成看起來類似於異常之非異常之表示，且可訓練對抗分支判別模擬非異常與第二複數個影像中之異常。
(若干)系統處理器可使用至少一進一步影像集及所關注特徵之偵測及關於所關注特徵之進一步偵測之真陽性及假陽性之進一步人工設定驗證來再訓練生成對抗網路。例如，(若干)處理器可自一或多個資料庫(儲存第一複數個影像及/或第二複數個影像之(若干)相同資料庫或一或多個不同資料庫)提取進一步影像集。另外或替代地，進一步影像集可包括自一或多個視訊(用於提取第一複數個影像及/或第二複數個影像之(若干)相同視訊或一或多個不同視訊)提取之複數個圖框。類似於訓練，再訓練對抗分支可包含進一步調整網路之一或多個節點之權重及/或進一步調整網路之一或多個節點之激勵(或轉移)函數。
根據本發明之另一態樣，提供一種用於訓練一神經網路系統偵測一人體器官之影像中之異常的電腦實施方法。方法可由至少一處理器(例如參閱圖6之處理器607)實施。
根據例示性方法，(若干)處理器可將包含異常之表示之複數個視訊儲存於一資料庫中。例如，視訊可包括內視鏡檢查視訊。視訊可以一或多種格式編碼，諸如一動畫專家組(MPEG)格式、一快閃視訊格式、一聲視訊號交插(AVI)格式或其類似者。
方法可進一步包含使用(若干)處理器來選擇複數個視訊之一第一子集。例如，(若干)處理器可隨機選擇第一子集。替代地，(若干)處理器可使用資料庫之一或多個索引來選擇第一子集。例如，(若干)處理器可選擇第一子集作為索引為包含異常之表示之視訊。
方法可進一步包含使用(若干)處理器來將一物體偵測網路之一知覺分支應用於複數個視訊之第一子集之圖框以產生異常之第一複數個偵測。例如，物體偵測網路可包括經訓練以接受影像作為輸入且輸出第一複數個偵測之一神經網路。第一複數個偵測可包括圖框中異常之位置之指示符，諸如一偵測異常之一點或一區域。不存在異常可導致一空指示符或無異常之其他指示符。知覺分支可包括經組態以偵測息肉且輸出任何偵測異常之位置之指示符的一神經網路(例如一廻旋神經網路)。
方法可進一步包含使用(若干)處理器來選擇複數個視訊之一第二子集。在一些實施例中，第二子集可至少部分包含第一子集或可為不同於第一子集之視訊。
方法可進一步包含使用來自複數個視訊之第二子集之第一複數個偵測及圖框來訓練一生成器網路生成異常之複數個模擬表示。例如，生成器網路可包括經組態以生成模擬表示之一神經網路。在一些實施例中，生成器網路可包括一廻旋神經網路。可透過殘差學習來生成複數個模擬表示。
如上文所闡釋，訓練生成網路可包含調整網路之一或多個節點之權重及/或調整網路之一或多個節點之激勵(或轉移)函數。例如，如上文所闡釋，可調整生成網路之權重以最小化與網路相關聯之一損失函數。另外或替代地，可修改生成網路之激勵(或轉移)函數以改良(若干)節點之一或多個模型與(若干)節點之輸入之間的擬合。
方法可進一步包含使用(若干)處理器來訓練鑑別器網路之一對抗分支辨別異常之模擬表示與異常之真實表示。例如，對抗分支可包括接受表示作為輸入且輸出輸入表示係模擬或真實之指示的一神經網路。在一些實施例中，神經網路可包括一廻旋神經網路。
類似於生成分支，訓練鑑別器網路之對抗分支可包含調整網路之一或多個節點之權重及/或調整網路之一或多個節點之激勵(或轉移)函數。例如，如上文所闡釋，可調整鑑別器網路之對抗分支之權重以最小化與網路相關聯之一損失函數。另外或替代地，可修改鑑別器網路之對抗分支之激勵(或轉移)函數以改良(若干)節點之一或多個模型與(若干)節點之輸入之間的擬合。
方法可進一步包含使用(若干)處理器來將鑑別器網路之對抗分支應用於複數個模擬表示以產生異常之模擬表示與包含於複數個視訊之第二子集之圖框中之異常之真實表示之間的差異指示符。例如，模擬表示可包括看起來類似於異常之非異常之表示。因此，各模擬表示可提供高度類似於一異常之一真實表示之一異常之一虛假表示。對抗分支可學習識別非異常(虛假表示)與異常(真實表示)之間的差異，特定言之，類似於異常之非異常。
方法可進一步包含使用(若干)處理器來將鑑別器網路之知覺分支應用於模擬表示以產生異常之第二複數個偵測。類似於第一複數個偵測，第二複數個偵測可包括模擬表示中異常之位置之指示符，諸如一偵測異常之一點或一區域。不存在異常可導致一空指示符或無異常之其他指示符。
方法可進一步包含基於差異指示符及第二複數個偵測來再訓練知覺分支。例如，再訓練知覺分支可包含調整網路之一或多個節點之權重及/或調整網路之一或多個節點之激勵(或轉移)函數。例如，如上文所闡釋，可調整知覺分支之權重以最小化與網路相關聯之一損失函數。另外或替代地，可修改知覺分支之激勵(或轉移)函數以改良(若干)節點之一或多個模型與差異指示符及第二複數個偵測之間的擬合。
上述例示性訓練方法可產生一經訓練神經網路系統。經訓練神經網路系統可形成用於偵測一人體器官之影像中之一所關注特徵之一系統之部分(例如，一神經網路系統可實施為圖1之覆蓋裝置105之部分)。例如，此一系統可包含經組態以儲存指令之至少一記憶體及經組態以執行指令之至少一處理器。至少一處理器可自一人體器官之一視訊選擇圖框。例如，視訊可包括一內視鏡檢查視訊。
(若干)系統處理器可將一經訓練神經網路系統應用於圖框以產生所關注特徵之至少一偵測。在一些實施例中，所關注特徵可包括一異常。至少一偵測可包含所關注特徵之一位置之一指示符。例如，位置可包括所關注之偵測特徵之一點或包含所關注之偵測特徵之一區域。可已訓練神經網路系統偵測異常，如上文所闡釋。
在一些實施例中，(若干)系統處理器可進一步將一或多個額外分類器及/或神經網路應用於所關注之偵測特徵。例如，若所關注特徵包括一病變，則至少一處理器可將病變分類為一或多個類型(例如癌性或非癌性或其類似者)。另外或替代地，神經網路系統可進一步輸出所關注之偵測特徵係一假陽性或一真陽性。
(若干)系統處理器可在一圖框上生成至少一偵測之一位置之一指示符。例如，可自指示符提取所關注特徵之位置且將位置之一圖形指示符放置於圖框上。在其中位置包括一點之實施例中，圖形指示符可包括一圓、星或放置於一點上之任何其他形狀。在其中位置包括一區域之實施例中，圖形指示符可包括圍繞區域之一邊界。在一些實施例中，形狀或邊界可為動畫；因此，可生成複數個圖框之形狀或邊界，使得其跨圖框追蹤所關注特徵之位置以在圖框依序展示時呈現動畫。如下文將進一步闡釋，圖形指示符可與諸如一聲音及/或振動指示符之其他指示符配對。
指示符之任何態樣可取決於所關注特徵之一分類，例如分類為一或多個類型或分類為一假或真陽性。因此，圖形指示符之一色彩、形狀、圖案或其他態樣可取決於分類。在亦使用一聲音及/或振動指示符之實施例中，聲音及/或振動之一持續時間、頻率及/或振幅可取決於分類。
(若干)系統處理器可將圖框重新編碼成一視訊。因此，在生成(圖形)指示器且將其覆蓋於(若干)圖框上之後，可圖框重編為一視訊。因此，系統之(若干)處理器可輸出具有指示符之重新編碼視訊。
根據本發明之另一態樣，描述一種用於處理即時視訊之電腦實施系統(例如參閱圖1及圖6)。系統可包括用於接收即時視訊之一輸入埠。例如，輸入埠可包括一視訊圖形陣列(VGA)埠、一高清晰度多媒體介面(HDMI)埠、一數位視覺介面(DVI)埠、一串列數位介面(SDI)或其類似者。即時視訊可包括一醫學視訊。例如，系統可自一內視鏡裝置接收即時視訊。
系統可進一步包括用於轉移所接收之即時視訊之一第一匯流排。例如，第一匯流排可包括一並行連接或一串列連接且可以一多點拓撲或一菊鏈拓撲連線。第一匯流排可包括一PCI快速(周邊組件互連快速)匯流排、一通用串列匯流排(USB)、一IEEE 1394介面(火線)或其類似者。
系統可包括至少一處理器，其經組態以自第一匯流排接收即時視訊、對所接收之即時視訊之圖框執行物體偵測及覆蓋指示圖框中至少一偵測物體之一位置之一邊界。(若干)處理器可使用經訓練以產生物體之至少一偵測之一神經網路系統來執行物體偵測。在一些實施例中，至少一物體可包括一病變或其他異常。因此，可已訓練神經網路系統偵測異常，如上文所闡釋。
(若干)處理器可覆蓋邊界，如上文所闡釋。例如，邊界可包圍包含物體之一區域，由(若干)處理器接收區域及至少一偵測。
系統可進一步包括用於接收具有覆蓋邊界之視訊之一第二匯流排。例如，類似於第一匯流排，第二匯流排可包括一並行連接或一串列連接且可以一多點拓撲或一菊鏈拓撲連線。因此，如同第一匯流排，第二匯流排可包括一PCI快速(周邊組件互連快速)匯流排、一通用串列匯流排(USB)、一IEEE 1394介面(火線)或其類似者。第二匯流排可包括相同於第一匯流排之匯流排類型或可包括一不同類型之匯流排。
系統可進一步包括用於將具有覆蓋邊界之視訊自第二匯流排輸出至一外部顯示器之一輸出埠。輸出埠可包括一VGA埠、一HDMI埠、一DVI埠、一SDI埠或其類似者。因此，輸出埠可為相同於輸入埠之埠類型或可為一不同類型之埠。
系統可包括用於將所接收之即時視訊直接傳輸至輸出埠之一第三匯流排。第三匯流排可將即時視訊自輸入埠被動載送至輸出埠，即使關閉整個系統亦有效。在一些實施例中，第三匯流排可為在關閉整個系統時有效之預設匯流排。在此等實施例中，可在啟動整個系統時啟動第一匯流排及第二匯流排，且可因此停用第三匯流排。可在關閉整個系統切斷時或在自(若干)處理器接收一錯誤信號之後重新啟動第三匯流排。例如，若由處理器實施之物體偵測出故障，則(若干)處理器可啟動第三匯流排以藉此允許不因故障而中斷之即時視訊流繼續輸出。
在一些實施例中，可跨圖框修改覆蓋邊界。例如，覆蓋邊界可包括圍繞包含至少一偵測物體之影像之一區域顯示之二維形狀，邊界呈一第一色彩。在逝去一段時間之後，(若干)處理器可在至少一偵測物體係一真陽性時將邊界修改為一第二色彩及在至少一偵測物體係一假陽性時將邊界修改為一第三色彩。另外或替代地，(若干)處理器可基於偵測物體之一分類來修改邊界。例如，若物體包括一病變或其他異常，則修改可基於病變或形成物係癌或否則異常。
在上述實施例之任何者中，覆蓋指示符可與一或多個額外指示符配對。例如，當偵測到至少一物體時，(若干)處理器可將一命令傳輸至一或多個揚聲器以發出一聲音。在其中修改邊界之實施例中，(若干)處理器可在修改邊界時傳輸命令。在此等實施例中，聲音之持續時間、音調、頻率及振幅之至少一者可取決於至少一偵測物體係一真陽性或一假陽性。另外或替代地，聲音之持續時間、音調、頻率及振幅之至少一者可取決於偵測物體之一分類。
另外或替代地，當偵測到至少一物體時，(若干)處理器可將一命令傳輸至至少一可穿戴設備以發出振動。在其中修改邊界之實施例中，(若干)處理器可在修改邊界時傳輸命令。在此等實施例中，振動之持續時間、頻率及振幅之至少一者可取決於至少一偵測物體係一真陽性或一假陽性。另外或替代地，振動之持續時間、音調、頻率及振幅可取決於偵測物體之一分類。
根據本發明之另一態樣，描述一種用於處理即時視訊之系統。類似於上述處理系統，系統可包括：一輸入埠，其用於接收即時視訊；至少一處理器，其經組態以自該輸入埠接收該即時視訊、藉由將一經訓練神經網路應用於該所接收之即時視訊之圖框上來執行物體偵測及覆蓋指示該等圖框中至少一偵測物體之一位置之一邊界；及一輸出埠，其用於將具有該覆蓋邊界之該視訊自該處理器輸出至一外部顯示器。
系統可進一步包括用於自一使用者接收一敏感度設定之一輸入裝置。例如，輸入裝置可包括一旋鈕、一或多個按鈕或適合於接收一命令以增大設定及接收另一命令以減小設定之任何其他裝置。
(若干)系統處理器可回應於敏感度設定而調整經訓練神經網路之至少一參數。例如，(若干)處理器可基於敏感度設定來調整網路之一或多個節點之一或多個權重以增加或減少由網路產生之偵測之數目。另外或替代地，可回應於敏感度設定而增大或減小網路之輸出層之一或多個臨限值及/或應用於自網路之輸出層接收之偵測之一或多個臨限值。因此，若增大敏感度設定，則(若干)處理器可減小(若干)臨限值以增加由網路產生之偵測之數目。類似地，若減小敏感度設定，則(若干)處理器可增大(若干)臨限值以減少由網路產生之偵測之數目。
圖1係根據本發明之實施例之包含用於覆蓋一視訊饋送上之物體偵測之一管線之一例示性系統100之一示意圖。如圖1之實例中所展示，系統100包含控制影像裝置103之一操作者101。在其中視訊饋送包括一醫學視訊之實施例中，操作者101可包括一醫師或其他醫療照護專員。影像裝置103可包括一醫學成像裝置，諸如一X射線機、一電腦斷層攝影(CT)機、一磁共振成像(MRI)機、一內視鏡檢查機或產生人體或其一部分之視訊或一或多個影像之其他醫學成像裝置。操作者101可藉由控制裝置103之一擷取率及/或裝置103之一移動(例如移動通過人體或相對於人體移動)來控制影像裝置103。在一些實施例中，影像裝置103可包括一Pill-CamTM 裝置或其他形式之膠囊內視鏡裝置來替代一外部成像裝置(諸如一X射線機或透過人體之一體腔所插入之一成像裝置，諸如一內視鏡裝置)。
如圖1中所進一步描繪，影像裝置103可將所擷取之視訊或影像傳輸至一覆蓋裝置105。覆蓋裝置105可包括用於處理視訊之一或多個處理器，如上文所描述。另外，在一些實施例中，操作者101可(例如)藉由控制覆蓋105之一物體偵測器(圖中未展示)之敏感度來控制覆蓋105及影像裝置103。
如圖1中所描繪，覆蓋裝置105可擴增自影像裝置103接收之視訊且接著將擴增視訊傳輸至一顯示器107。在一些實施例中，擴增可包括上述覆蓋。如圖1中所進一步描繪，覆蓋裝置105亦可經組態以將來自影像裝置103之視訊直接中繼至顯示器107。例如，覆蓋裝置105可在預定條件下(諸如在包含於覆蓋裝置105中之一物體偵測器(圖中未展示)出故障時)執行一直接中繼。另外或替代地，若操作者101將一命令輸入至覆蓋105以執行一直接中繼，則覆蓋裝置105可執行一直接中繼。可經由包含於覆蓋裝置105上之一或多個按鈕及/或透過諸如一鍵盤或其類似者之一輸入裝置來接收命令。
圖2係根據本發明之實施例之用於一物體偵測網路之二階段訓練迴路200之一示意圖。迴路200可由一或多個處理器實施。如圖2中所展示，迴路200之階段I可使用包含一所關注特徵之影像之一資料庫201。在其中影像包括醫學影像之實施例中，所關注特徵可包含諸如一病變之一異常。
如上文所闡釋，資料庫201可儲存個別影像及/或一或多個視訊，各視訊包含複數個圖框。在迴路200之階段I期間。一或多個處理器可自資料庫201提取影像及/或圖框之一子集203。一或多個處理器可隨機或至少部分使用一或多個模式來選擇子集203。例如，若資料庫201儲存視訊，則一或多個處理器可自包含於子集203中之各視訊選擇不大於一個、兩個或類似數目個圖框。
如圖2中所進一步描繪，特徵指示符205可包括子集203之註記。例如，註記可包含所關注特徵之一點或包含所關注特徵之一區域。在一些實施例中，一操作者可觀看視訊或影像且經由一輸入裝置(例如一鍵盤、滑鼠、觸控螢幕及顯示器之任何組合)來人工輸入註記至(若干)處理器。註記可以諸如JSON、XML、文字或其類似者之格式儲存為與影像分離之一資料結構。例如，在其中影像係醫學影像之實施例中，操作者可為一醫師或其他醫療照護專員。儘管描繪為在提取之後添加至子集203，子集203可在儲存於資料庫201中之前或在另一較早時間已被註記。在此等實施例中，一或多個處理器可藉由選擇具有特徵指示符205之資料庫201中之影像來選擇子集203。
子集203與特徵指示符205一起構成訓練集207。一或多個處理器可使用訓練集207來訓練一鑑別器網路209。例如，鑑別器網路209可包括一物體偵測器網路，如上文所描述。如上文所進一步闡釋，訓練鑑別器網路可包含調整網路之一或多個節點之權重及/或調整網路之一或多個節點之激勵(或轉移)函數。例如，可調整物體偵測網路之權重以最小化與網路相關聯之一損失函數。在另一實例中，可修改物體偵測網路之激勵(或轉移)函數以改良(若干)節點之一或多個模型與(若干)節點之輸入之間的擬合。
如圖2中所展示，在迴路200之階段II期間，一或多個處理器可自資料庫201提取影像(及/或圖框)之一子集211。子集211可至少部分包括來自子集203之一些或所有影像或可包括一不同子集。在其中子集203包括來自一或多個視訊之複數個圖框之實施例中，子集211可包含來自相同視訊之一或多者之相鄰或其他圖框。子集211可包括多於子集203之影像數目，例如至少100倍影像。
一或多個處理器可將鑑別器網路209' (其表示完成階段I之訓練之後之鑑別器網路209)應用於子集211以產生複數個特徵指示符213。例如，特徵指示符213可包括由鑑別器網路209'偵測之一所關注特徵之一點或包含由鑑別器網路209'偵測之一所關注特徵之一區域。
如圖2中所進一步描繪，驗證215可包括特徵指示符213之註記。例如，註記可包含各特徵指示符係一真陽性或一假陽性之一指示符。未偵測到所關注特徵但包含所關注特徵之一影像可註記為一假陽性。
子集211與特徵指示符213及驗證215一起構成訓練集217。一或多個處理器可使用訓練集217來訓練一生成對抗網路219。例如，生成對抗網路219可包括一生成網路及一對抗網路，如上文所描述。訓練生成對抗網路可包含訓練生成網路產生所關注特徵之模擬表示或看起來類似於一真實所關注特徵之一虛假所關注特徵之模擬表示及訓練對抗網路判別模擬表示與現實表示(例如包含於子集211中之現實表示)。
儘管圖2中未描繪，但驗證215可進一步用於再訓練鑑別器網路209'。例如，鑑別器網路209'之權重及/或激勵(或轉移)函數可經調整以消除註記為假陽性之影像中之偵測及/或經調整以產生註記為假陰性之影像中之偵測。
圖3係用於訓練一物體偵測網路之一例示性方法300之一流程圖。方法300可由一或多個處理器執行。在圖3之步驟301中，至少一處理器可提供包含所關注特徵之表示之第一複數個影像及第一複數個影像之影像中所關注特徵之位置之指示符。指示符可包括人工設定指示符。人工設定指示符可自一資料庫提取或自一操作者接收為輸入。
在步驟303中，至少一處理器可使用第一複數個影像及所關注特徵之指示符來訓練一物體偵測網路偵測所關注特徵。例如，可如上文所闡釋般訓練物體偵測網路。
在步驟305中，至少一處理器可提供包含所關注特徵之表示之第二複數個影像，第二複數個影像包括比包含於第一複數個影像中之影像多之影像數目。在一些實施例中，第二複數個影像可至少部分與第一複數個影像重疊。替代地，第二複數個影像可由不同於第一複數個中之影像的影像組成。
在步驟307中，至少一處理器可將經訓練之物體偵測網路應用於第二複數個影像以產生所關注特徵之第一複數個偵測。在一些實施例中，如上文所闡釋，偵測可包含所關注之偵測特徵之位置之指示符。例如，物體偵測網路可包括輸出一或多個矩陣之一廻旋神經網路，各矩陣界定所關注之任何偵測特徵之座標及/或區域，視情況具有各偵測之一或多個相關聯置信度分數。
在步驟309中，至少一處理器可提供關於第一複數個偵測之真陽性及假陽性之人工設定驗證。例如，至少一處理器可自一資料庫提取人工設定驗證或自一操作者接收人工設定驗證作為輸入。
在步驟311中，至少一處理器可使用關於第一複數個偵測之真陽性及假陽性之驗證來訓練一生成對抗網路。例如，可如上文所闡釋般訓練生成對抗網路。
在步驟313中，至少一處理器可使用至少一進一步影像集及所關注特徵之偵測及關於所關注特徵之進一步偵測之真陽性及假陽性之進一步人工設定驗證來再訓練生成對抗網路。在一些實施例中，進一步影像集可至少部分與第一複數個影像及/或第二複數個影像重疊。替代地，進一步影像集可由不同於第一複數個中之影像及第二複數個中之影像的影像組成。因此，步驟313可包括將經訓練之物體偵測網路應用於進一步影像集以產生所關注特徵之進一步偵測、提供關於進一步偵測之真陽性及假陽性之人工設定驗證及使用關於進一步偵測之驗證來再訓練生成對抗網路。
根據本發明，實例性方法300可包含額外步驟。例如，在一些實施例中，方法300可包含藉由提供兩個或兩個以上影像中所關注特徵之漏失偵測之假陰性之驗證來再訓練生成對抗網路。因此，自一資料庫提取或接收為輸入之人工設定驗證可包含假陰性之驗證及真陽性及假陽性之驗證。假陰性可用於再訓練生成對抗網路。另外或替代地，假陰性可用於再訓練物體偵測網路。
圖4係一物體偵測器400之一示意圖。物體偵測器400可由一或多個處理器實施。如圖4中所展示，物體偵測器400可使用包含一所關注特徵之視訊之一資料庫401。在其中影像包括醫學影像之實施例中，所關注特徵可包含諸如一病變之一異常。在圖4之實例中，資料庫401包括一內視鏡檢查視訊之一資料庫。
如圖4中所進一步描繪，偵測器400可自資料庫401提取視訊之一子集403。如上文相對於圖2所闡釋，子集403可隨機及/或使用一或多個模式來選擇。偵測器400可將一鑑別器網路405之一知覺分支407應用於子集403之圖框。知覺分支407可包括一物體偵測網路，如上文所描述。可已訓練知覺分支407偵測所關注特徵且識別與一所關注之偵測特徵相關聯之一位置(例如一點或一區域)。例如，知覺分支407可偵測異常且輸出包含偵測異常之定界框。
如圖4中所展示，知覺分支407可輸出偵測413。如上文所闡釋，偵測413可包含識別子集403中所關注之偵測特徵之位置的點或區域。如圖4中所進一步描繪，偵測器400可自資料庫401提取視訊之一子集411。例如，子集411可至少部分與子集403重疊或由不同視訊組成。子集411可具有比子集403多之視訊數目，例如至少100倍視訊。偵測器400可使用子集411及偵測413來訓練一生成網路415。可訓練生成網路415產生所關注特徵(例如異常)之模擬表示417。模擬表示417可包括看起來類似於所關注特徵之真實表示之所關注特徵之虛假表示。因此，可訓練生成網路415欺騙知覺分支407作出為假陽性之偵測。
如圖4中所進一步描繪，生成網路415可在被訓練之後產生模擬表示417。偵測器400可使用模擬表示417來訓練鑑別器網路405之一對抗分支409。如上文所描述，可訓練對抗分支409判別模擬表示417與子集411。因此，對抗分支409可判定差異指示符419。差異指示符419可表示一影像之任何特徵向量或其他態樣，其存在於模擬表示417中但不存在於子集411中、存在於子集411但不存在於模擬表示417中或為表示模擬表示417之特徵向量或其他態樣與子集411之特徵向量或其他態樣之間的差異之相減向量或其他態樣。
如圖4中所描繪，偵測器400可使用差異指示符419來再訓練知覺分支407。例如，在其中模擬表示417包括所關注特徵之虛假表示之實施例中，偵測器400可再訓練知覺分支407，使得虛假表示不導致子集411中之偵測真實表示。
儘管圖4中未描繪，但偵測器400可進一步使用遞迴訓練來改良生成網路415、知覺分支407及/或對抗分支409。例如，偵測器400可使用差異指示符419來再訓練生成器網路415。因此，對抗分支409之輸出可用於再訓練生成器網路415，使得模擬表示看起來更類似於真實表示。另外，經再訓練生成器網路415可產生用於再訓練對抗分支409之一新模擬表示集。因此，對抗分支409及生成器網路415可參與無監督學習，各者之輸出用於依一遞迴方式再訓練另一者。可重複此遞迴訓練，直至已達到一臨限循環次數及/或直至與生成器網路415相關聯之一損失函數及/或與對抗分支409相關聯之一損失函數達到一臨限值。再者，在此遞迴訓練期間，亦可使用不同指示符之各新輸出來再訓練知覺分支407，使得具有新偵測之一新子集可用於進一步再訓練生成器網路415。
圖5係使用一鑑別器網路及一生成器網路來偵測一所關注特徵之一例示性方法500之一流程圖。方法500可由一或多個處理器執行。
在圖5之步驟501中，至少一處理器可將包含一所關注特徵(諸如異常)之表示之複數個視訊儲存於一資料庫中。例如，可已在內視鏡檢查程序期間擷取視訊。作為步驟501之部分，至少一處理器可進一步選擇複數個視訊之一第一子集。如上文所闡釋，至少一處理器可隨機及/或使用一或多個模式來選擇。
在步驟503中，至少一處理器可將一物體偵測網路之一知覺分支應用於複數個視訊之第一子集之圖框以產生異常之第一複數個偵測。在一些實施例中，如上文所闡釋，偵測可包含偵測異常之位置之指示符。另外，在一些實施例中，知覺分支可包括一廻旋神經網路，如上文所闡釋。
在步驟505中，至少一處理器可選擇複數個視訊之一第二子集。如上文所闡釋，至少一處理器可隨機及/或使用一或多個模式來選擇。使用來自複數個視訊之第二子集之第一複數個偵測及圖框，至少一處理器可進一步訓練一生成器網路生成異常之複數個模擬表示，透過殘差學習來生成複數個模擬表示。如上文所闡釋，各模擬表示提供高度類似於一異常之一真實表示之一異常之一虛假表示。
在步驟507中，至少一處理器可訓練鑑別器網路之一對抗分支辨別異常之模擬表示與異常之真實表示。例如，如上文所闡釋，可訓練對抗分支識別圖框中模擬表示與真實表示之間的差異。在一些實施例中，對抗分支可包括一廻旋神經網路，如上文所闡釋。
在步驟509中，至少一處理器可將鑑別器網路之對抗分支應用於複數個模擬表示以產生包含於複數個視訊之第二子集之圖框中之異常之模擬表示與異常之真實表示之間的差異指示符。例如，如上文所闡釋，差異指示符可表示一影像之任何特徵向量或其他態樣，其存在於模擬表示中但不存在於圖框中、存在於圖框中但不存在於模擬表示中或為表示模擬表示之特徵向量或其他態樣與圖框之特徵向量或其他態樣之間的差異之相減向量或其他態樣。
在步驟511中，至少一處理器可將鑑別器網路之知覺分支應用於模擬表示以產生異常之第二複數個偵測。類似於第一複數個偵測，偵測可包含模擬表示中偵測異常之位置之指示符。
在步驟513中，至少一處理器可基於差異指示符及第二複數個偵測來再訓練知覺分支。例如，在其中各模擬表示提供高度類似於一異常之一真實表示之一異常之一虛假表示的實施例中，至少一處理器可再訓練知覺分支減少自模擬表示返回之偵測數目且因此增加自模擬表示返回之空指示符或無異常之其他指示符之數目。
根據本發明，實例性方法500可包含額外步驟。例如，在一些實施例中，方法500可包含基於差異指示符來再訓練生成網路。在此等實施例中，方法500可進一步包含應用生成網路來生成異常之進一步複數個模擬表示及基於異常之進一步複數個模擬表示來再訓練對抗分支。此等再訓練步驟可遞迴。例如，方法500可包含將經再訓練對抗分支應用於進一步複數個模擬表示以產生包含於複數個視訊之第二子集之圖框中之異常之進一步模擬表示與異常之真實表示之間的進一步差異指示符及基於進一步差異指示符來再訓練生成網路。如上文所闡釋，可重複此遞迴再訓練，直至已達到一臨限循環次數及/或直至與生成網路相關聯之一損失函數及/或與對抗分支相關聯之一損失函數達到一臨限值。
圖6係根據本發明之實施例之包括一視訊饋送之一硬體組態之一系統600之一示意圖。如圖6中所展示，系統600可通信耦合至一影像裝置601，諸如一攝影機或輸出一視訊饋送之其他裝置。例如，影像裝置601可包括諸如一CT掃描器、一MRI機、一內視鏡裝置或其類似者之一醫學成像裝置。系統600可進一步通信耦合至一顯示器615或用於顯示或儲存視訊之其他裝置。例如，顯示器615可包括一監視器、螢幕或用於顯示影像給一使用者之其他裝置。在一些實施例中，顯示器615可由一儲存裝置(圖中未展示)或可通信連接至一雲端儲存系統(圖中亦未展示)之一網路介面控制器(NIC)替換或補充。
如圖6中所進一步描繪，系統600可包含用於自攝影機601接收視訊饋送之一輸入埠603及用於將視訊輸出至顯示器615之一輸出埠611。如上文所闡釋，輸入埠603及輸出埠611可包括VGA埠、HDMI埠、DVI埠或其類似者。
系統600進一步包含一第一匯流排605及一第二匯流排613。如圖6中所展示，第一匯流排605可透過至少一處理器607來傳輸透過輸入埠603所接收之視訊。例如，(若干)處理器607可實施上述物體偵測器網路及/或鑑別器網路之任何者。因此，(若干)處理器607可(例如)藉由使用圖7之例示性方法700來覆蓋經由第一匯流排605所接收之視訊上之一或多個指示符(例如圖8之例示性圖形指示符)。接著，處理器607可經由一第三匯流排609將覆蓋視訊傳輸至輸出埠611。
在特定情況中，由(若干)處理器607實施之物體偵測器會出故障。例如，實施物體偵測器之軟體可崩潰或否則停止正常運轉。另外或替代地，(若干)處理器607可(例如自系統600之一操作者)接收一命令以暫停覆蓋視訊。回應於故障及/或命令，(若干)處理器607可啟動第二匯流排613。例如，如圖6中所描繪，(若干)處理器607可發送一命令或其他信號以啟動第二匯流排613。
如圖6中所描繪，第二匯流排613可將所接收之視訊自輸入埠603直接傳輸至輸出埠611以藉此允許系統600充當影像裝置601之一直通。第二匯流排613可允許無縫呈現來自影像裝置601之視訊，即使由處理器607實施之軟體出故障或硬體覆蓋600之一操作者決定在視訊饋送過程中暫停覆蓋。
圖7係根據本發明之實施例之使用一物體偵測器網路來覆蓋一視訊饋送上之物體指示符之一例示性方法700之一流程圖。方法700可由一或多個處理器執行。在圖7之步驟701中，至少一處理器可提供至少一影像。例如，至少一影像可自一資料庫提取或自一成像裝置接收。在一些實施例中，至少一影像可包括視訊饋送內之一圖框。
在步驟703中，至少一處理器可覆蓋一邊界，該邊界包括圍繞偵測為包含所關注特徵之影像之一區域之二維形狀，該邊界以一第一色彩顯現。在步驟705中，在逝去一段時間之後，至少一處理器可在所關注特徵係一真陽性時將邊界修改為以一第二色彩呈現及在所關注特徵係一假陽性時將邊界修改為以一第三色彩呈現。逝去時段可表示一預設時段(例如一臨限圖框數及/或秒數)及/或可表示所關注特徵之偵測與其分類為一真陽性或假陽性之間的一逝去時間。
另外或替代地，至少一處理器可在所關注特歸類為一第一類別時將邊界修改為第二色彩及在所關注特歸類為一第二類別時將邊界修改為第三色彩。例如，若所關注特徵係一病變，則第一類別可包括癌性病變且第二類別可包括非癌性病變。
根據本發明，實例性方法700可包含額外步驟。例如，在一些實施例中，方法700可包含在修改邊界時將一命令傳輸至一或多個揚聲器以發出一聲音及/或在修改邊界時將一命令傳輸至至少一可穿戴設備以發出振動。在此等實施例中，聲音及/或振動之持續時間、音調、頻率及振幅之至少一者可取決於至少一偵測物體係一真陽性或一假陽性。
圖8A繪示根據本發明之實施例之一視訊中物體偵測之一實例性覆蓋801。在圖8A及圖8B及圖8C之實例中，所繪示之視訊樣本800a及800b來自一大腸鏡檢查程序。可自本發明瞭解，可在實施本發明之實施例時利用來自其他程序及成像裝置之視訊。因此，視訊樣本800a及800b係本發明之非限制實例。另外，舉例而言，圖8A至圖8C之視訊顯示可呈現於一顯示裝置(諸如圖1之顯示器107或圖6之顯示器615)上。
覆蓋801表示用作為一視訊中一偵測異常或所關注特徵之一指示符之一圖形邊界之一實例。如圖8A中所展示，影像800a及800b包括具有一所關注之偵測特徵之一視訊之圖框。影像800b包含圖形覆蓋801且對應於比影像800a排在更後或時間更晚之一圖框。
如圖8A中所展示，影像800a及800b包括來自一大腸鏡檢查之視訊圖框，且所關注特徵包括一病變或息肉。在其他實施例中，如上文所描述，可利用來自其他醫學程序(諸如胃鏡檢查、小腸鏡檢查、上消化道內視鏡檢查(諸如一食道內視鏡檢查)或其類似者)之影像且使其由一圖形指示符(諸如覆蓋801)覆蓋。在一些實施例中，可在偵測到異常及逝去一段時間(例如影像800a與影像800b之間的特定圖框數及/或秒數)之後覆蓋指示符801。在圖8A之實例中，覆蓋801包括呈具有一預定圖案(即，實線頂角)之矩形邊界之形式之一指示符。在其他實施例中，覆蓋801可為一不同形狀(規則或不規則)。另外，覆蓋801可以一預定色彩顯示或自一第一色彩轉變至另一色彩。
在圖8A之實例中，覆蓋801包括具有包圍視訊圖框中所關注特徵之偵測位置之具有實線頂角之一指示符。覆蓋801呈現於視訊圖框800b中，視訊圖框800b可排在視訊圖框800a之後。
圖8B繪示根據本發明之實施例之具有一視訊中物體偵測之一覆蓋之一顯示之另一實例。圖8B描繪一影像810a (類似於影像800a)及覆蓋有一指示符811之一稍後影像810b (類似於影像800b)。在圖8B之實例中，覆蓋811包括具有四個實線邊之一矩形邊界。在其他實施例中，覆蓋811可呈一第一色彩及/或一不同形狀(規則或不規則)。另外，覆蓋811可以一預定色彩顯示或自一第一色彩轉變至另一色彩。如圖8B中所展示，覆蓋811放置於視訊中之偵測異常或所關注特徵上。覆蓋811呈現於視訊圖框810b中，視訊圖框810b可排在視訊圖框810a之後。
圖8C繪示根據本發明之實施例之具有一視訊中物體偵測之一覆蓋之一顯示之另一實例。圖8C描繪一影像820a (類似於影像800a)及覆蓋有一指示符821之一稍後影像820b (類似於影像800b)。在圖8C之實例中，覆蓋821包括具有四個虛線邊之一矩形邊界。在其他實施例中，覆蓋821可為一不同形狀(規則或不規則)。另外，覆蓋821可以一預定色彩顯示或自一第一色彩轉變至另一色彩。如圖8C中所展示，覆蓋821放置於視訊中之偵測異常或所關注特徵上。覆蓋821呈現於視訊圖框820b中，視訊圖框820b可排在視訊圖框820a之後。
在一些實施例中，圖形指示符(即，覆蓋801、811或821)可改變圖案及/或色彩。例如，可回應於逝去一段時間(例如影像800a與影像800b之間、影像810a與影像810b之間或影像820a與影像820b之間的特定圖框數及/或秒數)而修改圖案之邊界之圖案及/或色彩。另外或替代地，可回應於所關注特徵之一特定分類(例如所關注特徵是否為一息肉、息肉歸類為癌性或非癌性等等)而修改指示符之圖案及/或色彩。再者，指示符之圖案及/或色彩可取決於所關注特徵之分類。因此，指示符可在所關注特徵歸為一第一類別時具有一第一圖案或色彩，在所關注特徵歸為一第二類別時具有一第二圖案或色彩，等等。替代地，指示符之圖案及/或色彩可取決於所關注特徵被識別為一真陽性或一假陽性。例如，所關注特徵可由上文所描述之一物體偵測器網路(或一鑑別器網路之一知覺分支)偵測以導致指示符，但接著由上文所描述之一對抗分支或網路判定為一假陽性以導致指示符呈一第一圖案或色彩。相反地，若所關注特徵由對抗分支或網路判定為一真陽性，則指示符可以一第二圖案或色彩顯示。
已為了說明而呈現以上描述。其不具窮舉性且不受限於所揭示之精確形式或實施例。將自本說明書之考量及所揭示實施例之實踐明白實施例之修改及適應。例如，所描述之實施方案包含硬體，但根據本發明之系統及方法可由硬體及軟體實施。另外，儘管已將特定組件描述為彼此耦合，但此等組件可彼此整合或依任何適合方式分佈。
再者，儘管本文已描述繪示性實施例，但範疇包含具有基於本發明之等效元件、修改、省略、組合(例如各種實施例之間的態樣之組合)、適應及/或更改之任何及所有實施例。申請專利範圍中之元件應基於申請專利範圍中所採用之語言來廣泛解譯且不受限於本說明書中或本申請案之審查期間所描述之實例，該等實例應被解釋為非排他的。此外，所揭示方法之步驟可依任何方式修改，其包含使步驟重新排序及/或插入或刪除步驟。
自詳細說明明白本發明之特徵及優點，因此，隨附申請專利範圍意欲涵蓋落入本發明之真實精神及範疇內之所有系統及方法。如本文所使用，不定冠詞「一」意謂「一或多個」。類似地，除非給定內文中明確，否則使用複數術語未必要表示複數。除非另有具體指示，否則諸如「及」或「或」之用語意謂「及/或」。此外，由於將易於自研習本發明獲得諸多修改及變動，因此不期望使本發明受限於所繪示及描述之精確構造及操作且因此採用落入本發明之範疇內之所有適合修改及等效物。
將自本說明書之考量及本文所揭示實施例之實踐明白其他實施例。本說明書及實例意欲僅被視為實例，且所揭示實施例之一真實範疇及精神由以下申請專利範圍指示。
100‧‧‧系統 101‧‧‧操作者 103‧‧‧影像裝置 105‧‧‧覆蓋裝置 107‧‧‧顯示器 200‧‧‧二階段訓練迴路 201‧‧‧資料庫 203‧‧‧子集 205‧‧‧特徵指示符 207‧‧‧訓練集 209‧‧‧鑑別器網路 209'‧‧‧鑑別器網路 211‧‧‧子集 213‧‧‧特徵指示符 215‧‧‧驗證 217‧‧‧訓練集 219‧‧‧生成對抗網路 300‧‧‧方法 301‧‧‧步驟 303‧‧‧步驟 305‧‧‧步驟 307‧‧‧步驟 309‧‧‧步驟 311‧‧‧步驟 313‧‧‧步驟 400‧‧‧物體偵測器 401‧‧‧資料庫 403‧‧‧子集 405‧‧‧鑑別器網路 407‧‧‧知覺分支 409‧‧‧對抗分支 411‧‧‧子集 413‧‧‧偵測 415‧‧‧生成網路/生成器網路 417‧‧‧模擬表示 419‧‧‧差異指示符 500‧‧‧方法 501‧‧‧步驟 503‧‧‧步驟 505‧‧‧步驟 507‧‧‧步驟 509‧‧‧步驟 511‧‧‧步驟 513‧‧‧步驟 600‧‧‧系統 601‧‧‧影像裝置/攝影機 603‧‧‧輸入埠 605‧‧‧第一匯流排 607‧‧‧處理器 609‧‧‧第三匯流排 611‧‧‧輸出埠 613‧‧‧第二匯流排 615‧‧‧顯示器 700‧‧‧方法 701‧‧‧步驟 703‧‧‧步驟 705‧‧‧步驟 707‧‧‧步驟 800a‧‧‧視訊樣本/影像/視訊圖框 800b‧‧‧視訊樣本/影像/視訊圖框 801‧‧‧覆蓋/指示符 810a‧‧‧影像/視訊圖框 810b‧‧‧影像/視訊圖框 811‧‧‧覆蓋/指示符 820a‧‧‧影像/視訊圖框 820b‧‧‧影像/視訊圖框 821‧‧‧指示符/覆蓋
構成本說明書之一部分之附圖繪示若干實施例且與[實施方式]一起用於闡釋所揭示之實施例之原理及特徵。在圖式中：
圖1係根據本發明之實施例之用於覆蓋一視訊饋送上之物體偵測之一例示性電腦實施系統之一示意圖。
圖2係根據本發明之實施例之一物體偵測網路之一例示性二階段訓練迴路。
圖3係根據本發明之實施例之用於訓練一物體偵測網路之一例示性方法之一流程圖。
圖4係根據本發明之實施例之具有一鑑別器網路及一生成網路之一例示性物體偵測器之一示意圖。
圖5係根據本發明之實施例之使用一鑑別器網路及一生成器網路來偵測一所關注特徵之一例示性方法之一流程圖。
圖6係根據本發明之實施例之使用一物體偵測器網路之一電腦實施系統之一示意圖。
圖7係根據本發明之實施例之使用一物體偵測器網路來覆蓋一視訊饋送上之物體指示符之一例示性方法之一流程圖。
圖8A係根據本發明之實施例之具有用於一視訊中之物體偵測之一覆蓋之一顯示之一實例。
圖8B係根據本發明之實施例之具有用於一視訊中之物體偵測之一覆蓋之一顯示之另一實例。
圖8C係根據本發明之實施例之具有用於一視訊中之物體偵測之一覆蓋之一顯示之一實例。
100‧‧‧系統
101‧‧‧操作者
103‧‧‧影像裝置
105‧‧‧覆蓋裝置
107‧‧‧顯示器

Claims (13)

  1. 一種用於處理即時視訊之電腦實施系統，該系統包括： 一輸入埠，其用於接收自一醫學影像裝置獲得之即時視訊； 一第一匯流排，其用於轉移該所接收之即時視訊； 至少一處理器，其經組態以自該第一匯流排接收該即時視訊、藉由將一經訓練神經網路應用於該所接收之即時視訊之圖框來執行物體偵測及覆蓋指示該等圖框中至少一偵測物體之一位置之一邊界； 一第二匯流排，其用於接收具有該覆蓋邊界之該視訊； 一輸出埠，其用於將具有該覆蓋邊界之該視訊自該第二匯流排輸出至一外部顯示器；及 一第三匯流排，其用於將該所接收之即時視訊直接傳輸至該輸出埠。
  2. 如請求項1之系統，其中在自該至少一處理器接收一錯誤信號之後啟動該第三匯流排。
  3. 如前述請求項1或2之系統，其中第一複數個影像及第二複數個影像之至少一者包括來自一胃鏡檢查、一大腸鏡檢查、一小腸鏡檢查或一上消化道內視鏡檢查之至少一者期間所使用之成像裝置之影像，該成像裝置視情況包含一內視鏡裝置。
  4. 如前述請求項1或2之系統，其中該至少一偵測物體係一異常，且其中該異常視情況包括人體組織上或人體組織之一形成物、人體組織之細胞自一類型改變成另一類型及/或原本存在人體組織之一位置缺少該人體組織。
  5. 如請求項4之系統，其中該異常包括一病變，該病變視情況包含一息肉樣病變或一非息肉樣病變。
  6. 如前述請求項1或2之系統，其中該覆蓋邊界包括圍繞包含該至少一偵測物體之該影像之一區域之一圖案，該圖案以一第一色彩顯示。
  7. 如請求項6之系統，其中該至少一處理器經進一步組態以在逝去一段時間之後在該至少一偵測物體係一真陽性時將該圖案修改為以一第二色彩顯示及在該至少一偵測物體係一假陽性時將該圖案進一步修改為以一第三色彩顯示。
  8. 如請求項7之系統，其中該至少一處理器經進一步組態以在修改該邊界之該圖案時將一命令傳輸至一或多個揚聲器以發出一聲音及/或在修改該邊界之該圖案時將一命令傳輸至至少一可穿戴設備以發出振動。
  9. 如請求項8之系統，其中該聲音之持續時間、音調、頻率及振幅之至少一者取決於該至少一偵測物體係一真陽性或一假陽性及/或該振動之持續時間、頻率及振幅之至少一者取決於該至少一偵測物體係一真陽性或一假陽性。
  10. 一種用於處理即時視訊之電腦實施系統，該系統包括： 一輸入埠，其用於接收自一醫學影像裝置獲得之即時視訊； 至少一處理器，其經組態以自該輸入埠接收該即時視訊、藉由將一經訓練神經網路應用於該所接收之即時視訊之圖框來執行物體偵測及覆蓋指示該等圖框中至少一偵測物體之一位置之一邊界； 一輸出埠，其用於將具有該覆蓋邊界之該視訊自該至少一處理器輸出至一外部顯示器；及 一輸入裝置，其用於自一使用者接收一敏感度設定， 其中該處理器經進一步組態以回應於該敏感度設定而調整該經訓練神經網路之至少一參數。
  11. 如請求項10之系統，其中第一複數個影像及第二複數個影像之至少一者包括來自一胃鏡檢查、一大腸鏡檢查、一小腸鏡檢查或一上消化道內視鏡檢查之至少一者期間所使用之成像裝置之影像，該成像裝置視情況包含一內視鏡裝置。
  12. 如前述請求項10或11之系統，其中該至少一偵測物體係一異常，且其中該異常視情況包括人體組織上或人體組織之一形成物、人體組織之細胞自一類型改變成另一類型及/或原本存在人體組織之一位置缺少該人體組織。
  13. 如請求項12之系統，其中該異常包括一病變，該病變視情況包含一息肉樣病變或一非息肉樣病變。
TW108120188A 2018-06-13 2019-06-11 處理來自一醫學影像裝置之即時視訊及偵測於該視訊中之物體的系統及方法 TWI813696B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/008,015 2018-06-13
US16/008,015 US11100633B2 (en) 2018-06-13 2018-06-13 Systems and methods for processing real-time video from a medical image device and detecting objects in the video
EP18180572.2 2018-06-28
EP18180572.2A EP3582137A1 (en) 2018-06-13 2018-06-28 Systems and methods for processing real-time video from a medical image device and detecting objects in the video

Publications (2)

Publication Number Publication Date
TW202001929A true TW202001929A (zh) 2020-01-01
TWI813696B TWI813696B (zh) 2023-09-01

Family

ID=62841857

Family Applications (2)

Application Number Title Priority Date Filing Date
TW112131662A TW202349410A (zh) 2018-06-13 2019-06-11 處理來自一醫學影像裝置之即時視訊及偵測於該視訊中之物體的系統及方法
TW108120188A TWI813696B (zh) 2018-06-13 2019-06-11 處理來自一醫學影像裝置之即時視訊及偵測於該視訊中之物體的系統及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW112131662A TW202349410A (zh) 2018-06-13 2019-06-11 處理來自一醫學影像裝置之即時視訊及偵測於該視訊中之物體的系統及方法

Country Status (24)

Country Link
US (6) US11100633B2 (zh)
EP (3) EP3582137A1 (zh)
JP (1) JP7457699B2 (zh)
KR (1) KR20210030351A (zh)
CN (1) CN112567381A (zh)
AR (1) AR115523A1 (zh)
AU (3) AU2019286546B2 (zh)
BR (1) BR112020025391A2 (zh)
CA (1) CA3103318A1 (zh)
DK (1) DK3762863T3 (zh)
ES (1) ES2947667T3 (zh)
FI (1) FI3762863T3 (zh)
HR (1) HRP20230721T1 (zh)
HU (1) HUE062881T2 (zh)
IL (1) IL279417A (zh)
LT (1) LT3762863T (zh)
MX (1) MX2020013411A (zh)
PL (1) PL3762863T3 (zh)
PT (1) PT3762863T (zh)
RS (1) RS64335B1 (zh)
SG (1) SG11202012375RA (zh)
SI (1) SI3762863T1 (zh)
TW (2) TW202349410A (zh)
WO (1) WO2019238714A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762669B2 (en) * 2018-05-16 2020-09-01 Adobe Inc. Colorization of vector images
US10810460B2 (en) 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
US10672174B2 (en) 2018-06-28 2020-06-02 Adobe Inc. Determining image handle locations
US10621764B2 (en) 2018-07-05 2020-04-14 Adobe Inc. Colorizing vector graphic objects
EP3861921A4 (en) * 2018-10-04 2021-12-01 NEC Corporation INFORMATION PROCESSING DEVICE, CONTROL METHOD AND PROGRAM
US11538143B2 (en) * 2018-10-26 2022-12-27 Nec Corporation Fully convolutional transformer based generative adversarial networks
CN113424222A (zh) * 2018-12-12 2021-09-21 皇家飞利浦有限公司 用于使用条件生成对抗网络提供中风病灶分割的系统和方法
EP3671660A1 (en) * 2018-12-20 2020-06-24 Dassault Systèmes Designing a 3d modeled object via user-interaction
US10929669B2 (en) * 2019-06-04 2021-02-23 Magentiq Eye Ltd Systems and methods for processing colon images and videos
CN111274426B (zh) * 2020-01-19 2023-09-12 深圳市商汤科技有限公司 类别标注方法及装置、电子设备和存储介质
AU2021216168A1 (en) * 2020-02-03 2022-03-10 Cosmo Artificial Intelligence - AI Limited Systems and methods for contextual image analysis
CN115136253A (zh) 2020-02-20 2022-09-30 史密夫和内修有限公司 用于关节镜视频分析的方法及用于其的装置
CN113408321B (zh) * 2020-03-16 2023-08-22 中国人民解放军战略支援部队信息工程大学 一种轻量级图像、视频数据的实时目标检测方法及装置
CN115210756A (zh) * 2020-04-03 2022-10-18 史密夫和内修有限公司 用于关节镜手术视频分割的方法及用于其的装置
US11961225B2 (en) 2020-07-21 2024-04-16 Iterative Scopes, Inc. Systems and methods for detecting potential malignancies
US20220046292A1 (en) * 2020-08-05 2022-02-10 Avesha, Inc. Networked system for real-time computer-aided augmentation of live input video stream
US11896323B2 (en) 2020-09-01 2024-02-13 Aibolit Technologies, Llc System, method, and computer-accessible medium for automatically tracking and/or identifying at least one portion of an anatomical structure during a medical procedure
KR102505791B1 (ko) * 2021-01-11 2023-03-03 한림대학교 산학협력단 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
CN115294128B (zh) * 2022-10-08 2022-12-02 四川大学 一种用于消化内镜的单目结构三维成像方法及装置

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194117B2 (en) * 1999-06-29 2007-03-20 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
US6578017B1 (en) * 1999-02-26 2003-06-10 Information Decision Technologies, Llc Method to aid object detection in images by incorporating contextual information
US20060045312A1 (en) * 2004-08-27 2006-03-02 Bernstein Daniel B Image comparison device for providing real-time feedback
US7702599B2 (en) * 2004-10-07 2010-04-20 Bernard Widrow System and method for cognitive memory and auto-associative neural network based pattern recognition
US7492821B2 (en) * 2005-02-08 2009-02-17 International Business Machines Corporation System and method for selective image capture, transmission and reconstruction
US7680307B2 (en) * 2005-04-05 2010-03-16 Scimed Life Systems, Inc. Systems and methods for image segmentation with a multi-stage classifier
US20080058593A1 (en) * 2006-08-21 2008-03-06 Sti Medical Systems, Llc Computer aided diagnosis using video from endoscopes
US20080159622A1 (en) * 2006-12-08 2008-07-03 The Nexus Holdings Group, Llc Target object recognition in images and video
US20090034810A1 (en) * 2007-08-03 2009-02-05 Fujifilm Corporation Abnormal tissue pattern detection apparatus, method and program
US8213700B2 (en) * 2009-03-31 2012-07-03 Icad, Inc. Systems and methods for identifying suspicious anomalies using information from a plurality of images of an anatomical colon under study
US9060673B2 (en) * 2010-04-28 2015-06-23 Given Imaging Ltd. System and method for displaying portions of in-vivo images
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
KR20140091176A (ko) * 2013-01-10 2014-07-21 삼성전자주식회사 병변 진단 장치 및 방법
US9398893B2 (en) * 2013-03-15 2016-07-26 Seno Medical Instruments, Inc. System and method for diagnostic vector classification support
KR20150049585A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 용종 검출 장치 및 그 동작방법
US10109377B2 (en) * 2013-12-03 2018-10-23 Cura Technologies Inc. System and method for facilitating delivery of patient-care
US9747687B2 (en) * 2014-04-24 2017-08-29 Arizona Board Of Regents On Behalf Of Arizona State University System and method for detecting polyps from learned boundaries
CN106471526B (zh) * 2014-08-29 2019-03-08 谷歌有限责任公司 用于处理图像的方法和系统
US9700213B2 (en) 2014-09-12 2017-07-11 Mayo Foundation For Medical Education And Research System and method for automatic polyp detection using global geometric constraints and local intensity variation patterns
JP6285373B2 (ja) * 2015-02-06 2018-02-28 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
US10055843B2 (en) * 2015-03-31 2018-08-21 Mayo Foundation For Medical Education And Research System and methods for automatic polyp detection using convulutional neural networks
US10861151B2 (en) * 2015-08-07 2020-12-08 The Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
CN108292366B (zh) 2015-09-10 2022-03-18 美基蒂克艾尔有限公司 在内窥镜手术中检测可疑组织区域的系统和方法
US10482313B2 (en) * 2015-09-30 2019-11-19 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
US9959468B2 (en) * 2015-11-06 2018-05-01 The Boeing Company Systems and methods for object tracking and classification
GB201521848D0 (en) * 2015-12-11 2016-01-27 Micromass Ltd Feedback apparatus
WO2017106362A1 (en) * 2015-12-16 2017-06-22 Canon U.S.A., Inc. Medical guidance device
US10007867B2 (en) 2016-04-04 2018-06-26 Google Llc Systems and methods for identifying entities directly from imagery
KR102240662B1 (ko) 2016-04-13 2021-04-15 구글 엘엘씨 광역 및 심층 기계 학습 모델들
WO2017201494A1 (en) * 2016-05-19 2017-11-23 Avantis Medical Systems, Inc. Methods for polyp detection
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
EP3482346A1 (en) * 2016-07-08 2019-05-15 Avent, Inc. System and method for automatic detection, localization, and semantic segmentation of anatomical objects
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US10460256B2 (en) * 2016-08-09 2019-10-29 Microsot Technology Licensing, LLC Interactive performance visualization of multi-class classifier
US10504004B2 (en) * 2016-09-16 2019-12-10 General Dynamics Mission Systems, Inc. Systems and methods for deep model translation generation
WO2018069992A1 (ja) * 2016-10-12 2018-04-19 オリンパス株式会社 挿入システム
CN110049709B (zh) 2016-12-07 2022-01-11 奥林巴斯株式会社 图像处理装置
EP3590415A4 (en) 2017-03-03 2020-03-18 Fujifilm Corporation ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND OPERATION METHOD OF THE ENDOSCOPE SYSTEM
EP3603483A4 (en) 2017-03-30 2020-04-22 FUJIFILM Corporation ENDOSCOPIC SYSTEM AND METHOD FOR THE OPERATION THEREOF
US11049243B2 (en) * 2017-04-19 2021-06-29 Siemens Healthcare Gmbh Target detection in latent space
US10140421B1 (en) * 2017-05-25 2018-11-27 Enlitic, Inc. Medical scan annotator system
CN114145693A (zh) 2017-06-02 2022-03-08 富士胶片株式会社 医疗图像处理装置
US10242292B2 (en) * 2017-06-13 2019-03-26 Digital Surgery Limited Surgical simulation for training detection and classification neural networks
US11055843B2 (en) 2017-06-14 2021-07-06 Electronics And Telecommunications Research Institute Capsule endoscope for determining lesion area and receiving device
CN107256552B (zh) 2017-06-14 2020-08-18 成都微识医疗设备有限公司 息肉图像识别系统及方法
CN107451994A (zh) 2017-07-25 2017-12-08 宸盛科华（北京）科技有限公司 基于生成对抗网络的物体检测方法及装置
US10706534B2 (en) * 2017-07-26 2020-07-07 Scott Anderson Middlebrooks Method and apparatus for classifying a data point in imaging data
CN107451619A (zh) 2017-08-11 2017-12-08 深圳市唯特视科技有限公司 一种基于感知生成对抗网络的小目标检测方法
CN111278349B (zh) 2017-10-26 2023-03-24 富士胶片株式会社 医疗图像处理装置
BR112020008774A2 (pt) 2017-10-30 2020-12-22 Japanese Foundation For Cancer Research Aparelho para auxiliar no diagnóstico por imagem, método para a coleta de dados, método para auxiliar no diagnóstico por imagem e programa para auxiliar no diagnóstico por imagem
US10592779B2 (en) * 2017-12-21 2020-03-17 International Business Machines Corporation Generative adversarial network medical image generation for training of a classifier
US11011275B2 (en) * 2018-02-12 2021-05-18 Ai.Skopy, Inc. System and method for diagnosing gastrointestinal neoplasm
US11132792B2 (en) * 2018-02-22 2021-09-28 Siemens Healthcare Gmbh Cross domain medical image segmentation
US10841514B2 (en) * 2018-03-20 2020-11-17 Endovigilant Inc Endoscopy video feature enhancement platform
US10878569B2 (en) * 2018-03-28 2020-12-29 International Business Machines Corporation Systems and methods for automatic detection of an indication of abnormality in an anatomical image
JP2021515240A (ja) * 2018-04-12 2021-06-17 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡
JP2019180966A (ja) 2018-04-13 2019-10-24 学校法人昭和大学 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム
US10810460B2 (en) 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
JP7017198B2 (ja) 2018-06-22 2022-02-08 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
WO2020036121A1 (ja) 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム

Also Published As

Publication number Publication date
EP3762863A1 (en) 2021-01-13
US11574403B2 (en) 2023-02-07
JP2021531141A (ja) 2021-11-18
TW202349410A (zh) 2023-12-16
HRP20230721T1 (hr) 2023-10-27
EP4220578A1 (en) 2023-08-02
PL3762863T3 (pl) 2023-08-21
AU2024200686A1 (en) 2024-02-22
FI3762863T3 (fi) 2023-07-18
CN112567381A (zh) 2021-03-26
EP3582137A1 (en) 2019-12-18
US20240108209A1 (en) 2024-04-04
RS64335B1 (sr) 2023-08-31
US11844499B2 (en) 2023-12-19
SI3762863T1 (sl) 2023-09-29
US20230263384A1 (en) 2023-08-24
US20210133972A1 (en) 2021-05-06
AU2019286546B2 (en) 2024-02-29
ES2947667T3 (es) 2023-08-16
MX2020013411A (es) 2021-04-13
AR115523A1 (es) 2021-01-27
IL279417A (en) 2021-01-31
PT3762863T (pt) 2023-06-21
EP3762863B1 (en) 2023-04-19
US20230255468A1 (en) 2023-08-17
US11100633B2 (en) 2021-08-24
HUE062881T2 (hu) 2023-12-28
SG11202012375RA (en) 2021-01-28
BR112020025391A2 (pt) 2021-03-09
AU2019286546A1 (en) 2021-01-14
AU2024202744A1 (en) 2024-05-16
DK3762863T3 (da) 2023-07-24
US20210343013A1 (en) 2021-11-04
LT3762863T (lt) 2023-08-10
JP7457699B2 (ja) 2024-03-28
TW202341177A (zh) 2023-10-16
WO2019238714A1 (en) 2019-12-19
US20190385302A1 (en) 2019-12-19
CA3103318A1 (en) 2019-12-19
TWI813696B (zh) 2023-09-01
KR20210030351A (ko) 2021-03-17

Similar Documents

Publication Publication Date Title
TWI793337B (zh) 訓練生成對抗網路之系統及方法以及經訓練之生成對抗網路之使用
TWI813696B (zh) 處理來自一醫學影像裝置之即時視訊及偵測於該視訊中之物體的系統及方法
TW202135092A (zh) 脈絡式影像分析之系統及方法
RU2819619C2 (ru) Системы и способы обучения генеративно-состязательных сетей, а также использование обученных генеративно-состязательных сетей
JP2024069390A (ja) 医療画像装置からのリアルタイムビデオを処理し、且つ、ビデオ内の物体を検出するシステム及び方法
JP2024069393A (ja) 医療画像装置からのリアルタイムビデオを処理し、且つ、ビデオ内の物体を検出するシステム及び方法
CN115908392A (zh) 图像评估方法及装置、可读存储介质及电子设备