TW202018586A - 訓練生成對抗網路之系統及方法以及經訓練之生成對抗網路之使用 - Google Patents

訓練生成對抗網路之系統及方法以及經訓練之生成對抗網路之使用 Download PDF

Info

Publication number
TW202018586A
TW202018586A TW108120187A TW108120187A TW202018586A TW 202018586 A TW202018586 A TW 202018586A TW 108120187 A TW108120187 A TW 108120187A TW 108120187 A TW108120187 A TW 108120187A TW 202018586 A TW202018586 A TW 202018586A
Authority
TW
Taiwan
Prior art keywords
images
network
interest
feature
processor
Prior art date
Application number
TW108120187A
Other languages
English (en)
Other versions
TWI793337B (zh
Inventor
狄恩 南恩 恩果
朱利奧 伊凡吉里斯堤
芙拉菲歐 納瓦瑞
Original Assignee
愛爾蘭商卡司莫人工智能有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 愛爾蘭商卡司莫人工智能有限公司 filed Critical 愛爾蘭商卡司莫人工智能有限公司
Publication of TW202018586A publication Critical patent/TW202018586A/zh
Application granted granted Critical
Publication of TWI793337B publication Critical patent/TWI793337B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本發明係關於用於訓練及使用生成對抗網路之電腦實施系統及方法。在一實施方案中，一種用於訓練一生成對抗網路之系統可包含至少一處理器，其可提供包含一所關注特徵之表示之第一複數個影像及該所關注特徵之位置之指示符且使用該第一複數個及該等指示符來訓練一物體偵測網路。此外，該(等)處理器可提供包含該所關注特徵之表示之第二複數個影像且將該經訓練之物體偵測網路應用於該第二複數個以產生該所關注特徵之複數個偵測。另外，該(等)處理器可提供關於該複數個偵測之真陽性及假陽性之人工設定驗證，使用該等驗證來訓練一生成對抗網路，且使用至少一進一步影像集、進一步偵測及進一步人工設定驗證來再訓練該生成對抗網路。

Description

訓練生成對抗網路之系統及方法以及經訓練之生成對抗網路之使用
本發明大體上係關於神經網路領域及此等網路在影像分析及物體偵測中之使用。更具體而言(但不限於)，本發明係關於用於訓練生成對抗網路及使用生成對抗網路之電腦實施系統及方法。本文所揭示之系統及方法及經訓練神經網路可用於各種應用及視覺系統(諸如獲益於準確物體偵測能力之醫學影像分析及系統)中。
在諸多物體偵測系統中，偵測一影像中之一物體。一所關注物體可為一人、位置或事物。在諸如醫學影像分析及診斷之一些應用中，物體之位置亦很重要。然而，利用影像分類器之電腦實施系統通常無法識別或提供一偵測物體之位置。因此，僅使用影像分類器之現存系統不是非常有用。
此外，用於物體偵測之訓練技術要依賴人工註記訓練集。當所訓練之偵測網路係基於定界框之網路(諸如一「你僅需看一遍(YOLO)」架構、一「單照偵測器(SSD)」架構或其類似者)時，此等註記很耗時。因此，大資料集難以訓練註記，其通常導致在一較小資料集上訓練之一神經網路以降低準確度。
就電腦實施系統而言，現存醫學成像通常建立於一單偵測器網路上。因此，在進行偵測之後，網路僅輸出偵測(例如)至一醫師或其他醫療照護專員。然而，此等偵測可能為假陽性，諸如內視鏡檢查中之非息肉或其類似者。此等系統不提供用於辨別假陽性與真陽性之一單獨網路。
此外，基於神經網路之物體偵測器通常將由一神經網路識別之特徵饋送至偵測器(其可包括一第二神經網路)中。然而，此等網路通常不準確，因為特徵偵測由一廣義網路執行，其中僅偵測器部分被專業化。
最後，諸多現存物體偵測器具有延遲功能。例如，可在分析之前擷取及儲存醫學影像。然而，一些醫學程序(諸如內視鏡檢查)要被即時診斷。因此，此等系統通常難以依所需即時方式應用。
鑑於上述情況，本發明之實施例提供用於訓練一生成對抗網路及將其用於諸如醫學影像分析之應用的電腦實施系統及方法。本發明之系統及方法相較於現存系統及技術提供包含改良物體偵測及位置資訊之益處。
根據一些實施例，提供一電腦實施系統，其包含識別所關注特徵(即，所關注之異常或物體)及其位置之一物體偵測器網路及判別真陽性與假陽性之一對抗網路。再者，本發明之實施例提供用於訓練該物體偵測器網路之二廻圈技術。此訓練程序使用基於複查一偵測之註記，使得人工註記可更快發生且因此具有一較大資料集。再者，此程序可用於訓練一生成對抗網路以判別假陽性與真陽性。
另外，提供組合一物體偵測器網路與一生成對抗網路之揭示系統。可藉由組合此等網路來判別假陽性與真陽性以藉此提供更準確輸出。藉由減少假陽性，一醫師或其他醫療照護專員可由於準確度提高而對來自網路之輸出給予更多關注。
此外，本發明之實施例包含不使用藉由一神經網路與一專用偵測器之組合之一般特徵識別之神經網路。確切而言，針對物體偵測器部分訓練一單一無縫神經網路，其導致更專業化及更高準確度及效率。
最後，本發明之實施例經組態以顯示即時視訊(諸如內視鏡檢查視訊或其他醫學影像)及物體偵測於一單一顯示器上。因此，本發明之實施例提供一視訊旁路以最大程度減少由誤差及物體偵測器之其他潛在缺點引起之潛在問題。再者，可依經設計以更好引起醫師或其他醫療照護專員注意之特別方式顯示物體偵測。
在一實施例中，一種使用包含一所關注特徵之表示之影像來訓練一生成對抗網路之系統可包括經組態以儲存指令之至少一記憶體及經組態以執行該等指令而執行操作之至少一處理器。該等操作可包括：提供包含該所關注特徵之表示之第一複數個影像及該第一複數個影像之影像中該所關注特徵之位置之指示符；及使用該第一複數個影像及該所關注特徵之該等指示符來訓練一物體偵測網路偵測該所關注特徵。該等操作可進一步包括：提供包含該所關注特徵之表示之第二複數個影像；及將該經訓練之物體偵測網路應用於該第二複數個影像以產生該所關注特徵之第一複數個偵測。該第二複數個影像可包括比包含於該第一複數個影像中之影像多之影像數目。該等操作可進一步包括：提供關於該第一複數個偵測之真陽性及假陽性之人工設定驗證；使用關於該第一複數個偵測之該等真陽性及假陽性之該等驗證來訓練一生成對抗網路；及使用至少一進一步影像集及該所關注特徵之偵測及關於該所關注特徵之該等進一步偵測之真陽性及假陽性之進一步人工設定驗證來再訓練該生成對抗網路。
在一些實施例中，該至少一處理器可經進一步組態以藉由提供兩個或兩個以上影像中該所關注特徵之漏失偵測之假陰性之驗證來再訓練該生成對抗網路。
在任何實施例中，該物體偵測網路可為一廻旋神經網路。
在任何實施例中，該第二複數個影像中影像之數目可至少為包含於該第一複數個影像中之影像之100倍。
在任何實施例中，該第一複數個影像及該第二複數個影像可包括醫學影像。例如，該等醫學影像可包括一胃腸器官之影像。
在任何實施例中，該第一複數個影像及該第二複數個影像之至少一者包括來自一內視鏡裝置之影像。另外或替代地，該第一複數個影像及該第二複數個影像之至少一者可包括來自一胃鏡檢查、一大腸鏡檢查、一小腸鏡檢查、一上消化道內視鏡檢查(諸如一食道內視鏡檢查)之至少一者期間所使用之成像裝置之影像。
在任何實施例中，該所關注特徵可為一異常。例如，該異常可包括人體組織之細胞自一類型改變成另一類型。另外或替代地，該異常可包括原本存在人體組織之一位置缺少該人體組織。另外或替代地，該異常可包括人體組織上或人體組織之一形成物。
在任何實施例中，該異常可包括一病變。例如，該病變可包括一息肉樣病變或一非息肉樣病變。
在一實施例中，一種用於訓練一神經網路系統偵測一人體器官之影像中之異常的方法可包括：將包含異常之表示之複數個視訊儲存於一資料庫中；選擇該複數個視訊之一第一子集；及將一物體偵測網路之一知覺分支應用於該複數個視訊之該第一子集之圖框以產生異常之第一複數個偵測。該方法可進一步包括：選擇該複數個視訊之一第二子集；及使用該第一複數個偵測及來自該複數個視訊之該第二子集之圖框來訓練一生成器網路產生異常之複數個模擬表示。可透過殘差學習來生成該複數個模擬表示。該方法可進一步包括：訓練鑑別器網路之一對抗分支辨別該等異常之該等模擬表示與異常之真實表示；將該鑑別器網路之該對抗分支應用於該複數個模擬表示以產生異常之該等模擬表示與包含於複數個視訊之該第二子集之圖框中之異常之真實表示之間的差異指示符；將該鑑別器網路之該知覺分支應用於該等模擬表示以產生該等異常之第二複數個偵測；及基於該等差異指示符及該第二複數個偵測來再訓練該知覺分支。此等步驟可由至少一處理器執行。
在一些實施例中，該異常可包括人體組織之細胞自一類型改變成另一類型。另外或替代地，該異常可包括原本存在人體組織之一位置缺少該人體組織。另外或替代地，該異常可包括人體組織上或人體組織之一形成物。
在任何實施例中，該異常可包括一病變。例如，該病變可包括一息肉樣病變或一非息肉樣病變。
在任何實施例中，各模擬表示可提供高度類似於一異常之一真實表示之一異常之一虛假表示。
在任何實施例中，該生成器網路可包括一生成對抗網路。
在任何實施例中，該鑑別器網路可包括一廻旋神經網路。
在一實施例中，一種用於偵測人體器官之影像中之一所關注特徵的系統可包括儲存指令之至少一記憶體及經組態以執行該等指令而執行操作之至少一處理器。該等操作可包括：自一人體器官之一視訊選擇圖框；將一經訓練神經網路系統應用於該等圖框以產生該所關注特徵之至少一偵測；生成該等圖框之一者上之該至少一偵測之一位置之一指示符；將該等圖框重新編碼成一視訊；及輸出具有該指示符之該重新編碼視訊。可根據上文所闡述之任何實施例來訓練該神經網路系統。
本發明之額外目的及優點將部分闡述於[實施方式]中且將部分自[實施方式]明白，或可藉由實踐本發明來瞭解。將由隨附申請專利範圍中特別指出之元件及組合實現及達成本發明之目的及優點。
應瞭解，以上一般描述及以下詳細描述僅供例示及說明，且不限制所揭示之實施例。
所揭示之實施例係關於用於訓練生成對抗網路及其使用之電腦實施系統及方法。有利地，例示性實施例可提供改良訓練網路及快速高效率物體偵測。本發明之實施例亦可提供具有減少假陽性之醫學影像分析之改良物體偵測。
本發明之實施例可實施及使用於各種應用及視覺系統中。例如，本發明之實施例可實施於醫學影像分析系統及獲益於物體偵測(其中物體可為真陽性或假陽性)之其他系統類型。儘管本文大體上參考醫學影像分析及內視鏡檢查來描述本發明之實施例，但應瞭解，實施例可應用於其他醫學影像程序，諸如胃鏡檢查、大腸鏡檢查、小腸鏡檢查及上消化道內視鏡檢查(諸如食道內視鏡檢查)。此外，本發明之實施例不受限於其他環境及視覺系統，諸如用於或包含LIDAR、監視、自動導航及其他成像系統之系統。
根據本發明之一態樣，提供一種使用包含一所關注特徵之表示之影像來訓練一生成對抗網路之電腦實施系統。該系統可包含經組態以儲存指令之至少一記憶體及經組態以執行該等指令之至少一處理器(例如參閱圖1及圖6)。該至少一處理器可提供第一複數個影像。例如，該至少一處理器可自一或多個資料庫提取該第一複數個影像。另外或替代地，該第一複數個影像可包括自一或多個視訊提取之複數個圖框。
如本文所使用，術語「影像」係指一場景或視域之任何數位表示。數位表示可以任何適當格式編碼，諸如聯合圖像專家小組(JPEG)格式、圖形交換格式(GIF)、位元映像格式、可縮放向量圖形(SVG)格式、囊封幕後排版(EPS)格式或其類似者。類似地，術語「視訊」係指包括複數個序列影像之一所關注場景或區域之任何數位表示。數位表示可以任何適當格式編碼，諸如動畫專家組(MPEG)格式、快閃視訊格式、聲視訊號交插(AVI)格式或其類似者。在一些實施例中，影像序列可與音訊配對。
第一複數個影像可包含第一複數個影像之影像中所關注特徵(即，所關注之一異常或物體)之表示及所關注特徵之位置之指示符。例如，所關注特徵可包括人體組織上或人體組織之一異常。在一些實施例中，所關注特徵可包括諸如一載具、人或其他實體之一物體。
根據本發明，一「異常」可包含人體組織上或人體組織之一形成物、人體組織之細胞自一類型改變成另一類型及/或原本存在人體組織之一位置缺少該人體組織。例如，一腫瘤或其他組織生長可構成一異常，因為存在比預期多之細胞。類似地，一挫傷或細胞類型之其他變化可構成一異常，因為血細胞存在於預期位置外(即，毛細管外)之位置中。類似地，人體組織之一衰弱可構成一異常，因為細胞不存在於一預期位置中以導致衰弱。
在一些實施例中，一異常可包括一病變。病變可包括胃腸黏膜之病變。病變可經組織分類(例如依據維也納(Vienna)分類)、形態分類(例如依據巴黎(Paris)分類)及/或結構分類(例如鋸齒狀或非鋸齒狀)。巴黎分類包含息肉樣病變及非息肉樣病變。息肉樣病變可包括突出、有莖及突出或無柄病變。非息肉樣病變可包括表面凸起、平坦、表面淺凹或凹陷病變。
關於所偵測之異常，鋸齒狀病變可包括無柄鋸齒狀腺瘤(SSA)、傳統鋸齒狀腺瘤(TSA)、增生性息肉(HP)、纖維母細胞性息肉(FP)或混合息肉(MP)。根據維也納分類，一異常分成如下5類：(類別1)腫瘤形成/發育異常呈陰性；(類別2)腫瘤形成/發育異常不定；(類別3)非侵襲性輕度腫瘤形成(輕度腺瘤/發育異常)；(類別4)黏膜重度腫瘤形成，諸如重度腺瘤/發育異常、非侵襲性癌(原位癌)或疑似侵襲性癌；及(類別5)侵襲性腫瘤形成、黏膜內癌、黏膜下癌或其類似者。
所關注之一異常或特徵之位置之指示符可包括點(例如座標)或區域(例如一矩形、一正方形、一橢圓形或任何其他規則或不規則形狀)。指示符可包括影像上或影像之人工註記。在一些實施例中，第一複數個影像可包括醫學影像，諸如一胃腸器官或人體組織之其他器官或區域之影像。影像可由一醫學成像裝置生成，諸如一內視鏡檢查、胃鏡檢查、大腸鏡檢查、小腸鏡檢查或上消化道內視鏡檢查(諸如食道內視鏡檢查)程序期間所使用之醫學成像裝置。在此等實施例中，若所關注特徵係一病變或其他異常，則一醫師或其他醫療照護專員可註記影像以將異常之指示符放置於影像中。
系統之(若干)處理器可使用第一複數個影像及所關注特徵之指示符來訓練一物體偵測網路偵測所關注特徵。例如，物體偵測網路可包括一神經網路，其具有經組態以接受一影像作為輸入且輸出一所關注特徵之一位置之一指示符的一或多個層。在一些實施例中，物體偵測網路可包括一廻旋網路。
訓練物體偵測網路可包含調整網路之一或多個節點之權重及/或調整網路之一或多個節點之激勵(或轉移)函數。例如，可調整物體偵測網路之權重以最小化與網路相關聯之一損失函數。在一些實施例中，損失函數可包括一平方損失函數、一鉸鏈損失函數、一邏輯損失函數、一交叉熵損失函數或任何其他適當損失函數或損失函數組合。在一些實施例中，可修改物體偵測網路之激勵(或轉移)函數以改良(若干)節點之一或多個模型與(若干)節點之輸入之間的擬合。例如，(若干)處理器可增加或減少與(若干)節點相關聯之一多項式函數之次方，可將相關聯函數自一類型改變成另一類型(例如自一多項式改變成一指數函數、自一對數函數改變成一多項式或其類似者)，或對(若干)節點之(若干)模型執行任何其他調整。
(若干)系統處理器可進一步提供包含所關注特徵之表示之第二複數個影像。例如，(若干)處理器可自一或多個資料庫(儲存第一複數個影像之(若干)相同資料庫或一或多個不同資料庫)提取第二複數個影像。另外或替代地，第二複數個影像可包括自一或多個視訊(用於提取第一複數個影像之(若干)相同視訊或一或多個不同視訊)提取之複數個圖框。
在一些實施例中，第二複數個影像可包括醫學影像，諸如來自一內視鏡裝置之影像。在此等實施例中，所關注特徵可包括一病變或其他異常。
在一些實施例中，第二複數個影像可包括比包含於第一複數個影像中之影像多之影像數目。例如，第二複數個影像可包含比第一複數個影像多至少100倍之影像。在一些實施例中，第二複數個影像可至少部分包含第一複數個或可為不同於第一複數個之影像。在其中至少部分自第一複數個影像之至少部分自其提取之一或多個視訊提取第二複數個影像之實施例中，第二複數個影像可包括不同於來自(若干)相同視訊之第一複數個之圖框。
(若干)系統處理器可將經訓練之物體偵測網路應用於第二複數個影像以產生所關注特徵之第一複數個偵測。例如，在其中經訓練之物體偵測網路包括一神經網路之實施例中，至少一處理器可將第二複數個影像輸入至網路且接收偵測。偵測可包括第二複數個影像中所關注特徵之位置之指示符。若第二複數個影像不包含所關注特徵，則指示符可包括一空指示符或無所關注特徵之其他指示符。
(若干)系統處理器可進一步提供關於第一複數個偵測之真陽性及假陽性之人工設定驗證。例如，驗證可自一或多個資料庫提取或作為輸入接收。在其中所關注特徵包括一病變或其他異常之實施例中，驗證可由一醫師或其他醫療照護專員輸入。例如，(若干)處理器可輸出偵測來顯示給醫師或其他醫療照護專員且回應於顯示偵測而接收驗證。
(若干)系統處理器可使用關於第一複數個偵測之真陽性及假陽性之驗證來訓練一生成對抗網路。例如，可訓練網路之一生成分支以生成所關注特徵之模擬表示。因此，生成分支可包括一廻旋神經網路。
類似於物體偵測網路，訓練生成分支可包含調整網路之一或多個節點之權重及/或調整網路之一或多個節點之激勵(或轉移)函數。例如，如上文所闡釋，可調整生成分支之權重以最小化與網路相關聯之一損失函數。另外或替代地，可修改生成分支之激勵(或轉移)函數以改良(若干)節點之一或多個模型與(若干)節點之輸入之間的擬合。
再者，可訓練網路之對抗分支以基於人工驗證來判別假陽性與真陽性。例如，對抗分支可包括接受一影像及一或多個對應偵測作為輸入且產生一驗證作為輸出之一神經網路。在一些實施例中，(若干)處理器可藉由提供兩個或兩個以上影像中所關注特徵之漏失偵測之假陽性之驗證來進一步再訓練生成網路。藉由將來自生成網路之模擬表示作為輸入提供至對抗分支且遞迴地使用來自對抗分支之輸出，對抗分支及生成分支可執行無監督學習。
類似於生成分支，訓練對抗分支可包含調整網路之一或多個節點之權重及/或調整網路之一或多個節點之激勵(或轉移)函數。例如，如上文所闡釋，可調整對抗分支之權重以最小化與網路相關聯之一損失函數。另外或替代地，可修改對抗分支之激勵(或轉移)函數以改良(若干)節點之一或多個模型與(若干)節點之輸入之間的擬合。
因此，在其中所關注特徵包括一病變或其他異常之實施例中，可訓練生成分支生成看起來類似於異常之非異常之表示，且可訓練對抗分支判別模擬非異常與第二複數個影像中之異常。
(若干)系統處理器可使用至少一進一步影像集及所關注特徵之偵測及關於所關注特徵之進一步偵測之真陽性及假陽性之進一步人工設定驗證來再訓練生成對抗網路。例如，(若干)處理器可自一或多個資料庫(儲存第一複數個影像及/或第二複數個影像之(若干)相同資料庫或一或多個不同資料庫)提取進一步影像集。另外或替代地，進一步影像集可包括自一或多個視訊(用於提取第一複數個影像及/或第二複數個影像之(若干)相同視訊或一或多個不同視訊)提取之複數個圖框。類似於訓練，再訓練對抗分支可包含進一步調整網路之一或多個節點之權重及/或進一步調整網路之一或多個節點之激勵(或轉移)函數。
根據本發明之另一態樣，提供一種用於訓練一神經網路系統偵測一人體器官之影像中之異常的電腦實施方法。方法可由至少一處理器(例如參閱圖6之處理器607)實施。
根據例示性方法，(若干)處理器可將包含異常之表示之複數個視訊儲存於一資料庫中。例如，視訊可包括內視鏡檢查視訊。視訊可以一或多種格式編碼，諸如一動畫專家組(MPEG)格式、一快閃視訊格式、一聲視訊號交插(AVI)格式或其類似者。
方法可進一步包含使用(若干)處理器來選擇複數個視訊之一第一子集。例如，(若干)處理器可隨機選擇第一子集。替代地，(若干)處理器可使用資料庫之一或多個索引來選擇第一子集。例如，(若干)處理器可選擇第一子集作為索引為包含異常之表示之視訊。
方法可進一步包含使用(若干)處理器來將一物體偵測網路之一知覺分支應用於複數個視訊之第一子集之圖框以產生異常之第一複數個偵測。例如，物體偵測網路可包括經訓練以接受影像作為輸入且輸出第一複數個偵測之一神經網路。第一複數個偵測可包括圖框中異常之位置之指示符，諸如一偵測異常之一點或一區域。不存在異常可導致一空指示符或無異常之其他指示符。知覺分支可包括經組態以偵測異常且輸出任何偵測異常之位置之指示符的一神經網路(例如一廻旋神經網路)。
方法可進一步包含使用(若干)處理器來選擇複數個視訊之一第二子集。在一些實施例中，第二子集可至少部分包含第一子集或可為不同於第一子集之視訊。
方法可進一步包含使用來自複數個視訊之第二子集之第一複數個偵測及圖框來訓練一生成器網路生成異常之複數個模擬表示。例如，生成器網路可包括經組態以生成模擬表示之一神經網路。在一些實施例中，生成器網路可包括一廻旋神經網路。可透過殘差學習來生成複數個模擬表示。
如上文所闡釋，訓練生成網路可包含調整網路之一或多個節點之權重及/或調整網路之一或多個節點之激勵(或轉移)函數。例如，如上文所闡釋，可調整生成網路之權重以最小化與網路相關聯之一損失函數。另外或替代地，可修改生成網路之激勵(或轉移)函數以改良(若干)節點之一或多個模型與(若干)節點之輸入之間的擬合。
方法可進一步包含使用(若干)處理器來訓練鑑別器網路之一對抗分支辨別異常之模擬表示與異常之真實表示。例如，對抗分支可包括接受表示作為輸入且輸出輸入表示係模擬或真實之指示的一神經網路。在一些實施例中，神經網路可包括一廻旋神經網路。
類似於生成分支，訓練鑑別器網路之對抗分支可包含調整網路之一或多個節點之權重及/或調整網路之一或多個節點之激勵(或轉移)函數。例如，如上文所闡釋，可調整鑑別器網路之對抗分支之權重以最小化與網路相關聯之一損失函數。另外或替代地，可修改鑑別器網路之對抗分支之激勵(或轉移)函數以改良(若干)節點之一或多個模型與(若干)節點之輸入之間的擬合。
方法可進一步包含使用(若干)處理器來將鑑別器網路之對抗分支應用於複數個模擬表示以產生異常之模擬表示與包含於複數個視訊之第二子集之圖框中之異常之真實表示之間的差異指示符。例如，模擬表示可包括看起來類似於異常之非異常之表示。因此，各模擬表示可提供高度類似於一異常之一真實表示之一異常之一虛假表示。對抗分支可學習識別非異常(虛假表示)與異常(真實表示)之間的差異，特定言之，類似於異常之非異常。
方法可進一步包含使用(若干)處理器來將鑑別器網路之知覺分支應用於模擬表示以產生異常之第二複數個偵測。類似於第一複數個偵測，第二複數個偵測可包括模擬表示中異常之位置之指示符，諸如一偵測異常之一點或一區域。不存在異常可導致一空指示符或無異常之其他指示符。
方法可進一步包含基於差異指示符及第二複數個偵測來再訓練知覺分支。例如，再訓練知覺分支可包含調整網路之一或多個節點之權重及/或調整網路之一或多個節點之激勵(或轉移)函數。例如，如上文所闡釋，可調整知覺分支之權重以最小化與網路相關聯之一損失函數。另外或替代地，可修改知覺分支之激勵(或轉移)函數以改良(若干)節點之一或多個模型與差異指示符及第二複數個偵測之間的擬合。
上述例示性訓練方法可產生一經訓練神經網路系統。經訓練神經網路系統可形成用於偵測一人體器官之影像中之一所關注特徵之一系統之部分(例如，一神經網路系統可實施為圖1之覆蓋裝置105之部分)。例如，此一系統可包含經組態以儲存指令之至少一記憶體及經組態以執行指令之至少一處理器。至少一處理器可自一人體器官之一視訊選擇圖框。例如，視訊可包括一內視鏡檢查視訊。
(若干)系統處理器可將一經訓練神經網路系統應用於圖框以產生所關注特徵之至少一偵測。在一些實施例中，所關注特徵可包括一異常。至少一偵測可包含所關注特徵之一位置之一指示符。例如，位置可包括所關注之偵測特徵之一點或包含所關注之偵測特徵之一區域。可已訓練神經網路系統偵測異常，如上文所闡釋。
在一些實施例中，(若干)系統處理器可進一步將一或多個額外分類器及/或神經網路應用於所關注之偵測特徵。例如，若所關注特徵包括一病變，則至少一處理器可將病變分類為一或多個類型(例如癌性或非癌性或其類似者)。另外或替代地，神經網路系統可進一步輸出所關注之偵測特徵係一假陽性或一真陽性。
(若干)系統處理器可在一圖框上生成至少一偵測之一位置之一指示符。例如，可自指示符提取所關注特徵之位置且將位置之一圖形指示符放置於圖框上。在其中位置包括一點之實施例中，圖形指示符可包括一圓、星或放置於一點上之任何其他形狀。在其中位置包括一區域之實施例中，圖形指示符可包括圍繞區域之一邊界。在一些實施例中，形狀或邊界可為動畫；因此，可生成複數個圖框之形狀或邊界，使得其跨圖框追蹤所關注特徵之位置以在圖框依序展示時呈現動畫。如下文將進一步闡釋，圖形指示符可與諸如一聲音及/或振動指示符之其他指示符配對。
指示符之任何態樣可取決於所關注特徵之一分類，例如分類為一或多個類型或分類為一假或真陽性。因此，圖形指示符之一色彩、形狀、圖案或其他態樣可取決於分類。在亦使用一聲音及/或振動指示符之實施例中，聲音及/或振動之一持續時間、頻率及/或振幅可取決於分類。
(若干)系統處理器可將圖框重新編碼成一視訊。因此，在生成(圖形)指示器且將其覆蓋於(若干)圖框上之後，可圖框重編為一視訊。因此，系統之(若干)處理器可輸出具有指示符之重新編碼視訊。
根據本發明之另一態樣，描述一種用於處理即時視訊之電腦實施系統(例如參閱圖1及圖6)。系統可包括用於接收即時視訊之一輸入埠。例如，輸入埠可包括一視訊圖形陣列(VGA)埠、一高清晰度多媒體介面(HDMI)埠、一數位視覺介面(DVI)埠、一串列數位介面(SDI)或其類似者。即時視訊可包括一醫學視訊。例如，系統可自一內視鏡裝置接收即時視訊。
系統可進一步包括用於轉移所接收之即時視訊之一第一匯流排。例如，第一匯流排可包括一並行連接或一串列連接且可以一多點拓撲或一菊鏈拓撲連線。第一匯流排可包括一PCI快速(周邊組件互連快速)匯流排、一通用串列匯流排(USB)、一IEEE 1394介面(火線)或其類似者。
系統可包括至少一處理器，其經組態以自第一匯流排接收即時視訊、對所接收之即時視訊之圖框執行物體偵測及覆蓋指示圖框中至少一偵測物體之一位置之一邊界。(若干)處理器可使用經訓練以產生物體之至少一偵測之一神經網路系統來執行物體偵測。在一些實施例中，至少一物體可包括一病變或其他異常。因此，可已訓練神經網路系統偵測異常，如上文所闡釋。
(若干)處理器可覆蓋邊界，如上文所闡釋。例如，邊界可包圍包含物體之一區域，由(若干)處理器接收區域及至少一偵測。
系統可進一步包括用於接收具有覆蓋邊界之視訊之一第二匯流排。例如，類似於第一匯流排，第二匯流排可包括一並行連接或一串列連接且可以一多點拓撲或一菊鏈拓撲連線。因此，如同第一匯流排，第二匯流排可包括一PCI快速(周邊組件互連快速)匯流排、一通用串列匯流排(USB)、一IEEE 1394介面(火線)或其類似者。第二匯流排可包括相同於第一匯流排之匯流排類型或可包括一不同類型之匯流排。
系統可進一步包括用於將具有覆蓋邊界之視訊自第二匯流排輸出至一外部顯示器之一輸出埠。輸出埠可包括一VGA埠、一HDMI埠、一DVI埠、一SDI埠或其類似者。因此，輸出埠可為相同於輸入埠之埠類型或可為一不同類型之埠。
系統可包括用於將所接收之即時視訊直接傳輸至輸出埠之一第三匯流排。第三匯流排可將即時視訊自輸入埠被動載送至輸出埠，即使關閉整個系統亦有效。在一些實施例中，第三匯流排可為在關閉整個系統時有效之預設匯流排。在此等實施例中，可在啟動整個系統時啟動第一匯流排及第二匯流排，且可因此停用第三匯流排。可在關閉整個系統切斷時或在自(若干)處理器接收一錯誤信號之後重新啟動第三匯流排。例如，若由處理器實施之物體偵測出故障，則(若干)處理器可啟動第三匯流排以藉此允許不因故障而中斷之即時視訊流繼續輸出。
在一些實施例中，可跨圖框修改覆蓋邊界。例如，覆蓋邊界可包括圍繞包含至少一偵測物體之影像之一區域顯示之二維形狀，邊界呈一第一色彩。在逝去一段時間之後，(若干)處理器可在至少一偵測物體係一真陽性時將邊界修改為一第二色彩及在至少一偵測物體係一假陽性時將邊界修改為一第三色彩。另外或替代地，(若干)處理器可基於偵測物體之一分類來修改邊界。例如，若物體包括一病變或其他異常，則修改可基於病變或形成物係癌或否則異常。
在上述實施例之任何者中，覆蓋指示符可與一或多個額外指示符配對。例如，當偵測到至少一物體時，(若干)處理器可將一命令傳輸至一或多個揚聲器以發出一聲音。在其中修改邊界之實施例中，(若干)處理器可在修改邊界時傳輸命令。在此等實施例中，聲音之持續時間、音調、頻率及振幅之至少一者可取決於至少一偵測物體係一真陽性或一假陽性。另外或替代地，聲音之持續時間、音調、頻率及振幅之至少一者可取決於偵測物體之一分類。
另外或替代地，當偵測到至少一物體時，(若干)處理器可將一命令傳輸至至少一可穿戴設備以發出振動。在其中修改邊界之實施例中，(若干)處理器可在修改邊界時傳輸命令。在此等實施例中，振動之持續時間、頻率及振幅之至少一者可取決於至少一偵測物體係一真陽性或一假陽性。另外或替代地，振動之持續時間、音調、頻率及振幅可取決於偵測物體之一分類。
根據本發明之另一態樣，描述一種用於處理即時視訊之系統。類似於上述處理系統，系統可包括：一輸入埠，其用於接收即時視訊；至少一處理器，其經組態以自該輸入埠接收該即時視訊、藉由將一經訓練神經網路應用於該所接收之即時視訊之圖框上來執行物體偵測及覆蓋指示該等圖框中至少一偵測物體之一位置之一邊界；及一輸出埠，其用於將具有該覆蓋邊界之該視訊自該處理器輸出至一外部顯示器。
系統可進一步包括用於自一使用者接收一敏感度設定之一輸入裝置。例如，輸入裝置可包括一旋鈕、一或多個按鈕或適合於接收一命令以增大設定及接收另一命令以減小設定之任何其他裝置。
(若干)系統處理器可回應於敏感度設定而調整經訓練神經網路之至少一參數。例如，(若干)處理器可基於敏感度設定來調整網路之一或多個節點之一或多個權重以增加或減少由網路產生之偵測之數目。另外或替代地，可回應於敏感度設定而增大或減小網路之輸出層之一或多個臨限值及/或應用於自網路之輸出層接收之偵測之一或多個臨限值。因此，若增大敏感度設定，則(若干)處理器可減小(若干)臨限值以增加由網路產生之偵測之數目。類似地，若減小敏感度設定，則(若干)處理器可增大(若干)臨限值以減少由網路產生之偵測之數目。
圖1係根據本發明之實施例之包含用於覆蓋一視訊饋送上之物體偵測之一管線之一例示性系統100之一示意圖。如圖1之實例中所展示，系統100包含控制影像裝置103之一操作者101。在其中視訊饋送包括一醫學視訊之實施例中，操作者101可包括一醫師或其他醫療照護專員。影像裝置103可包括一醫學成像裝置，諸如一X射線機、一電腦斷層攝影(CT)機、一磁共振成像(MRI)機、一內視鏡檢查機或產生人體或其一部分之視訊或一或多個影像之其他醫學成像裝置。操作者101可藉由控制裝置103之一擷取率及/或裝置103之一移動(例如移動通過人體或相對於人體移動)來控制影像裝置103。在一些實施例中，影像裝置103可包括一Pill-CamTM 裝置或其他形式之膠囊內視鏡裝置來替代一外部成像裝置(諸如一X射線機或透過人體之一體腔所插入之一成像裝置，諸如一內視鏡裝置)。
如圖1中所進一步描繪，影像裝置103可將所擷取之視訊或影像傳輸至一覆蓋裝置105。覆蓋裝置105可包括用於處理視訊之一或多個處理器，如上文所描述。另外，在一些實施例中，操作者101可(例如)藉由控制覆蓋105之一物體偵測器(圖中未展示)之敏感度來控制覆蓋105及影像裝置103。
如圖1中所描繪，覆蓋裝置105可擴增自影像裝置103接收之視訊且接著將擴增視訊傳輸至一顯示器107。在一些實施例中，擴增可包括上述覆蓋。如圖1中所進一步描繪，覆蓋裝置105亦可經組態以將來自影像裝置103之視訊直接中繼至顯示器107。例如，覆蓋裝置105可在預定條件下(諸如在包含於覆蓋裝置105中之一物體偵測器(圖中未展示)出故障時)執行一直接中繼。另外或替代地，若操作者101將一命令輸入至覆蓋105以執行一直接中繼，則覆蓋裝置105可執行一直接中繼。可經由包含於覆蓋裝置105上之一或多個按鈕及/或透過諸如一鍵盤或其類似者之一輸入裝置來接收命令。
圖2係根據本發明之實施例之用於一物體偵測網路之二階段訓練廻圈200之一示意圖。廻圈200可由一或多個處理器實施。如圖2中所展示，廻圈200之階段I可使用包含一所關注特徵之影像之一資料庫201。在其中影像包括醫學影像之實施例中，所關注特徵可包含諸如一病變之一異常。
如上文所闡釋，資料庫201可儲存個別影像及/或一或多個視訊，各視訊包含複數個圖框。在廻圈200之階段I期間。一或多個處理器可自資料庫201提取影像及/或圖框之一子集203。一或多個處理器可隨機或至少部分使用一或多個模式來選擇子集203。例如，若資料庫201儲存視訊，則一或多個處理器可自包含於子集203中之各視訊選擇不大於一個、兩個或類似數目個圖框。
如圖2中所進一步描繪，特徵指示符205可包括子集203之註記。例如，註記可包含所關注特徵之一點或包含所關注特徵之一區域。在一些實施例中，一操作者可觀看視訊或影像且經由一輸入裝置(例如一鍵盤、滑鼠、觸控螢幕及顯示器之任何組合)來人工輸入註記至(若干)處理器。註記可以諸如JSON、XML、文字或其類似者之格式儲存為與影像分離之一資料結構。例如，在其中影像係醫學影像之實施例中，操作者可為一醫師或其他醫療照護專員。儘管描繪為在提取之後添加至子集203，子集203可在儲存於資料庫201中之前或在另一較早時間已被註記。在此等實施例中，一或多個處理器可藉由選擇具有特徵指示符205之資料庫201中之影像來選擇子集203。
子集203與特徵指示符205一起構成訓練集207。一或多個處理器可使用訓練集207來訓練一鑑別器網路209。例如，鑑別器網路209可包括一物體偵測器網路，如上文所描述。如上文所進一步闡釋，訓練鑑別器網路可包含調整網路之一或多個節點之權重及/或調整網路之一或多個節點之激勵(或轉移)函數。例如，可調整物體偵測網路之權重以最小化與網路相關聯之一損失函數。在另一實例中，可修改物體偵測網路之激勵(或轉移)函數以改良(若干)節點之一或多個模型與(若干)節點之輸入之間的擬合。
如圖2中所展示，在廻圈200之階段II期間，一或多個處理器可自資料庫201提取影像(及/或圖框)之一子集211。子集211可至少部分包括來自子集203之一些或所有影像或可包括一不同子集。在其中子集203包括來自一或多個視訊之複數個圖框之實施例中，子集211可包含來自相同視訊之一或多者之相鄰或其他圖框。子集211可包括多於子集203之影像數目，例如至少100倍影像。
一或多個處理器可將鑑別器網路209' (其表示完成階段I之訓練之後之鑑別器網路209)應用於子集211以產生複數個特徵指示符213。例如，特徵指示符213可包括由鑑別器網路209'偵測之一所關注特徵之一點或包含由鑑別器網路209'偵測之一所關注特徵之一區域。
如圖2中所進一步描繪，驗證215可包括特徵指示符213之註記。例如，註記可包含各特徵指示符係一真陽性或一假陽性之一指示符。未偵測到所關注特徵但包含所關注特徵之一影像可註記為一假陽性。
子集211與特徵指示符213及驗證215一起構成訓練集217。一或多個處理器可使用訓練集217來訓練一生成對抗網路219。例如，生成對抗網路219可包括一生成網路及一對抗網路，如上文所描述。訓練生成對抗網路可包含訓練生成網路產生所關注特徵之模擬表示或看起來類似於一真實所關注特徵之一虛假所關注特徵之模擬表示及訓練對抗網路判別模擬表示與現實表示(例如包含於子集211中之現實表示)。
儘管圖2中未描繪，但驗證215可進一步用於再訓練鑑別器網路209'。例如，鑑別器網路209'之權重及/或激勵(或轉移)函數可經調整以消除註記為假陽性之影像中之偵測及/或經調整以產生註記為假陰性之影像中之偵測。
圖3係用於訓練一物體偵測網路之一例示性方法300之一流程圖。方法300可由一或多個處理器執行。在圖3之步驟301中，至少一處理器可提供包含所關注特徵之表示之第一複數個影像及第一複數個影像之影像中所關注特徵之位置之指示符。指示符可包括人工設定指示符。人工設定指示符可自一資料庫提取或自一操作者接收為輸入。
在步驟303中，至少一處理器可使用第一複數個影像及所關注特徵之指示符來訓練一物體偵測網路偵測所關注特徵。例如，可如上文所闡釋般訓練物體偵測網路。
在步驟305中，至少一處理器可提供包含所關注特徵之表示之第二複數個影像，第二複數個影像包括比包含於第一複數個影像中之影像多之影像數目。在一些實施例中，第二複數個影像可至少部分與第一複數個影像重疊。替代地，第二複數個影像可由不同於第一複數個中之影像的影像組成。
在步驟307中，至少一處理器可將經訓練之物體偵測網路應用於第二複數個影像以產生所關注特徵之第一複數個偵測。在一些實施例中，如上文所闡釋，偵測可包含所關注之偵測特徵之位置之指示符。例如，物體偵測網路可包括輸出一或多個矩陣之一廻旋神經網路，各矩陣界定所關注之任何偵測特徵之座標及/或區域，視情況具有各偵測之一或多個相關聯置信度分數。
在步驟309中，至少一處理器可提供關於第一複數個偵測之真陽性及假陽性之人工設定驗證。例如，至少一處理器可自一資料庫提取人工設定驗證或自一操作者接收人工設定驗證作為輸入。
在步驟311中，至少一處理器可使用關於第一複數個偵測之真陽性及假陽性之驗證來訓練一生成對抗網路。例如，可如上文所闡釋般訓練生成對抗網路。
在步驟313中，至少一處理器可使用至少一進一步影像集及所關注特徵之偵測及關於所關注特徵之進一步偵測之真陽性及假陽性之進一步人工設定驗證來再訓練生成對抗網路。在一些實施例中，進一步影像集可至少部分與第一複數個影像及/或第二複數個影像重疊。替代地，進一步影像集可由不同於第一複數個中之影像及第二複數個中之影像的影像組成。因此，步驟313可包括將經訓練之物體偵測網路應用於進一步影像集以產生所關注特徵之進一步偵測、提供關於進一步偵測之真陽性及假陽性之人工設定驗證及使用關於進一步偵測之驗證來再訓練生成對抗網路。
根據本發明，實例性方法300可包含額外步驟。例如，在一些實施例中，方法300可包含藉由提供兩個或兩個以上影像中所關注特徵之漏失偵測之假陰性之驗證來再訓練生成對抗網路。因此，自一資料庫提取或接收為輸入之人工設定驗證可包含假陰性之驗證及真陽性及假陽性之驗證。假陰性可用於再訓練生成對抗網路。另外或替代地，假陰性可用於再訓練物體偵測網路。
圖4係一物體偵測器400之一示意圖。物體偵測器400可由一或多個處理器實施。如圖4中所展示，物體偵測器400可使用包含一所關注特徵之視訊之一資料庫401。在其中影像包括醫學影像之實施例中，所關注特徵可包含諸如一病變之一異常。在圖4之實例中，資料庫401包括一內視鏡檢查視訊之一資料庫。
如圖4中所進一步描繪，偵測器400可自資料庫401提取視訊之一子集403。如上文相對於圖2所闡釋，子集403可隨機及/或使用一或多個模式來選擇。偵測器400可將一鑑別器網路405之一知覺分支407應用於子集403之圖框。知覺分支407可包括一物體偵測網路，如上文所描述。可已訓練知覺分支407偵測所關注特徵且識別與一所關注之偵測特徵相關聯之一位置(例如一點或一區域)。例如，知覺分支407可偵測異常且輸出包含偵測異常之定界框。
如圖4中所展示，知覺分支407可輸出偵測413。如上文所闡釋，偵測413可包含識別子集403中所關注之偵測特徵之位置的點或區域。如圖4中所進一步描繪，偵測器400可自資料庫401提取視訊之一子集411。例如，子集411可至少部分以子集403覆蓋或由不同視訊組成。子集411可具有比子集403多之視訊數目，例如至少100倍視訊。偵測器400可使用子集411及偵測413來訓練一生成網路415。可訓練生成網路415產生所關注特徵(例如異常)之模擬表示417。模擬表示417可包括看起來類似於所關注特徵之真實表示之所關注特徵之虛假表示。因此，可訓練生成網路415欺騙知覺分支407作出為假陽性之偵測。
如圖4中所進一步描繪，生成網路415可在被訓練之後產生模擬表示417。偵測器400可使用模擬表示417來訓練鑑別器網路405之一對抗分支409。如上文所描述，可訓練對抗分支409判別模擬表示417與子集411。因此，對抗分支409可判定差異指示符419。差異指示符419可表示一影像之任何特徵向量或其他態樣，其存在於模擬表示417中但不存在於子集411中、存在於子集411但不存在於模擬表示417中或為表示模擬表示417之特徵向量或其他態樣與子集411之特徵向量或其他態樣之間的差異之相減向量或其他態樣。
如圖4中所描繪，偵測器400可使用差異指示符419來再訓練知覺分支407。例如，在其中模擬表示417包括所關注特徵之虛假表示之實施例中，偵測器400可再訓練知覺分支407，使得虛假表示不導致子集411中之偵測真實表示。
儘管圖4中未描繪，但偵測器400可進一步使用遞迴訓練來改良生成網路415、知覺分支407及/或對抗分支409。例如，偵測器400可使用差異指示符419來再訓練生成器網路415。因此，對抗分支409之輸出可用於再訓練生成器網路415，使得模擬表示看起來更類似於真實表示。另外，經再訓練生成器網路415可產生用於再訓練對抗分支409之一新模擬表示集。因此，對抗分支409及生成器網路415可參與無監督學習，各者之輸出用於依一遞迴方式再訓練另一者。可重複此遞迴訓練，直至已達到一臨限循環次數及/或直至與生成器網路415相關聯之一損失函數及/或與對抗分支409相關聯之一損失函數達到一臨限值。再者，在此遞迴訓練期間，亦可使用不同指示符之各新輸出來再訓練知覺分支407，使得具有新偵測之一新子集可用於進一步再訓練生成器網路415。
圖5係使用一鑑別器網路及一生成器網路來偵測一所關注特徵之一例示性方法500之一流程圖。方法500可由一或多個處理器執行。
在圖5之步驟501中，至少一處理器可將包含一所關注特徵(諸如異常)之表示之複數個視訊儲存於一資料庫中。例如，可已在內視鏡檢查程序期間擷取視訊。作為步驟501之部分，至少一處理器可進一步選擇複數個視訊之一第一子集。如上文所闡釋，至少一處理器可隨機及/或使用一或多個模式來選擇。
在步驟503中，至少一處理器可將一物體偵測網路之一知覺分支應用於複數個視訊之第一子集之圖框以產生異常之第一複數個偵測。在一些實施例中，如上文所闡釋，偵測可包含偵測異常之位置之指示符。另外，在一些實施例中，知覺分支可包括一廻旋神經網路，如上文所闡釋。
在步驟505中，至少一處理器可選擇複數個視訊之一第二子集。如上文所闡釋，至少一處理器可隨機及/或使用一或多個模式來選擇。使用來自複數個視訊之第二子集之第一複數個偵測及圖框，至少一處理器可進一步訓練一生成器網路生成異常之複數個模擬表示，透過殘差學習來生成複數個模擬表示。如上文所闡釋，各模擬表示提供高度類似於一異常之一真實表示之一異常之一虛假表示。
在步驟507中，至少一處理器可訓練鑑別器網路之一對抗分支辨別異常之模擬表示與異常之真實表示。例如，如上文所闡釋，可訓練對抗分支識別圖框中模擬表示與真實表示之間的差異。在一些實施例中，對抗分支可包括一廻旋神經網路，如上文所闡釋。
在步驟509中，至少一處理器可將鑑別器網路之對抗分支應用於複數個模擬表示以產生包含於複數個視訊之第二子集之圖框中之異常之模擬表示與異常之真實表示之間的差異指示符。例如，如上文所闡釋，差異指示符可表示一影像之任何特徵向量或其他態樣，其存在於模擬表示中但不存在於圖框中、存在於圖框中但不存在於模擬表示中或為表示模擬表示之特徵向量或其他態樣與圖框之特徵向量或其他態樣之間的差異之相減向量或其他態樣。
在步驟511中，至少一處理器可將鑑別器網路之知覺分支應用於模擬表示以產生異常之第二複數個偵測。類似於第一複數個偵測，偵測可包含模擬表示中偵測異常之位置之指示符。
在步驟513中，至少一處理器可基於差異指示符及第二複數個偵測來再訓練知覺分支。例如，在其中各模擬表示提供高度類似於一異常之一真實表示之一異常之一虛假表示的實施例中，至少一處理器可再訓練知覺分支減少自模擬表示返回之偵測數目且因此增加自模擬表示返回之空指示符或無異常之其他指示符之數目。
根據本發明，實例性方法500可包含額外步驟。例如，在一些實施例中，方法500可包含基於差異指示符來再訓練生成網路。在此等實施例中，方法500可進一步包含應用生成網路來生成異常之進一步複數個模擬表示及基於異常之進一步複數個模擬表示來再訓練對抗分支。此等再訓練步驟可遞迴。例如，方法500可包含將經再訓練對抗分支應用於進一步複數個模擬表示以產生包含於複數個視訊之第二子集之圖框中之異常之進一步模擬表示與異常之真實表示之間的進一步差異指示符及基於進一步差異指示符來再訓練生成網路。如上文所闡釋，可重複此遞迴再訓練，直至已達到一臨限循環次數及/或直至與生成網路相關聯之一損失函數及/或與對抗分支相關聯之一損失函數達到一臨限值。
圖6係根據本發明之實施例之包括一視訊饋送之一硬體組態之一系統600之一示意圖。如圖6中所展示，系統600可通信耦合至一影像裝置601，諸如一攝影機或輸出一視訊饋送之其他裝置。例如，影像裝置601可包括諸如一CT掃描器、一MRI機、一內視鏡裝置或其類似者之一醫學成像裝置。系統600可進一步通信耦合至一顯示器615或用於顯示或儲存視訊之其他裝置。例如，顯示器615可包括一監視器、螢幕或用於顯示影像給一使用者之其他裝置。在一些實施例中，顯示器615可由一儲存裝置(圖中未展示)或可通信連接至一雲端儲存系統(圖中亦未展示)之一網路介面控制器(NIC)替換或補充。
如圖6中所進一步描繪，系統600可包含用於自攝影機601接收視訊饋送之一輸入埠603及用於將視訊輸出至顯示器615之一輸出埠611。如上文所闡釋，輸入埠603及輸出埠611可包括VGA埠、HDMI埠、DVI埠或其類似者。
系統600進一步包含一第一匯流排605及一第二匯流排613。如圖6中所展示，第一匯流排605可透過至少一處理器607來傳輸透過輸入埠603所接收之視訊。例如，(若干)處理器607可實施上述物體偵測器網路及/或鑑別器網路之任何者。因此，(若干)處理器607可(例如)藉由使用圖7之例示性方法700來覆蓋經由第一匯流排605所接收之視訊上之一或多個指示符(例如圖8之例示性圖形指示符)。接著，處理器607可經由一第三匯流排609將覆蓋視訊傳輸至輸出埠611。
在特定情況中，由(若干)處理器607實施之物體偵測器會出故障。例如，實施物體偵測器之軟體可崩潰或否則停止正常運轉。另外或替代地，(若干)處理器607可(例如自系統600之一操作者)接收一命令以暫停覆蓋視訊。回應於故障及/或命令，(若干)處理器607可啟動第二匯流排613。例如，如圖6中所描繪，(若干)處理器607可發送一命令或其他信號以啟動第二匯流排613。
如圖6中所描繪，第二匯流排613可將所接收之視訊自輸入埠603直接傳輸至輸出埠611以藉此允許系統600充當影像裝置601之一直通。第二匯流排613可允許無縫呈現來自影像裝置601之視訊，即使由處理器607實施之軟體出故障或硬體覆蓋600之一操作者決定在視訊饋送過程中暫停覆蓋。
圖7係根據本發明之實施例之使用一物體偵測器網路來覆蓋一視訊饋送上之物體指示符之一例示性方法700之一流程圖。方法700可由一或多個處理器執行。在圖7之步驟701中，至少一處理器可提供至少一影像。例如，至少一影像可自一資料庫提取或自一成像裝置接收。在一些實施例中，至少一影像可包括視訊饋送內之一圖框。
在步驟703中，至少一處理器可覆蓋一邊界，該邊界包括圍繞偵測為包含所關注特徵之影像之一區域之二維形狀，該邊界以一第一色彩顯現。在步驟705中，在逝去一段時間之後，至少一處理器可在所關注特徵係一真陽性時將邊界修改為以一第二色彩呈現及在所關注特徵係一假陽性時將邊界修改為以一第三色彩呈現。逝去時段可表示一預設時段(例如一臨限圖框數及/或秒數)及/或可表示所關注特徵之偵測與其分類為一真陽性或假陽性之間的一逝去時間。
另外或替代地，至少一處理器可在所關注特歸類為一第一類別時將邊界修改為第二色彩及在所關注特歸類為一第二類別時將邊界修改為第三色彩。例如，若所關注特徵係一病變，則第一類別可包括癌性病變且第二類別可包括非癌性病變。
根據本發明，實例性方法700可包含額外步驟。例如，在一些實施例中，方法700可包含在修改邊界時將一命令傳輸至一或多個揚聲器以發出一聲音及/或在修改邊界時將一命令傳輸至至少一可穿戴設備以發出振動。在此等實施例中，聲音及/或振動之持續時間、音調、頻率及振幅之至少一者可取決於至少一偵測物體係一真陽性或一假陽性。
圖8A繪示根據本發明之實施例之一視訊中物體偵測之一實例性覆蓋801。在圖8A及圖8B及圖8C之實例中，所繪示之視訊樣本800a及800b來自一大腸鏡檢查程序。可自本發明瞭解，可在實施本發明之實施例時利用來自其他程序及成像裝置之視訊。因此，視訊樣本800a及800b係本發明之非限制實例。另外，舉例而言，圖8A至圖8C之視訊顯示可呈現於一顯示裝置(諸如圖1之顯示器107或圖6之顯示器615)上。
覆蓋801表示用作為一視訊中一偵測異常或所關注特徵之一指示符之一圖形邊界之一實例。如圖8A中所展示，影像800a及800b包括具有一所關注之偵測特徵之一視訊之圖框。影像800b包含圖形覆蓋801且對應於比影像800a排在更後或時間更晚之一圖框。
如圖8A中所展示，影像800a及800b包括來自一大腸鏡檢查之視訊圖框，且所關注特徵包括一病變或息肉。在其他實施例中，如上文所描述，可利用來自其他醫學程序(諸如胃鏡檢查、小腸鏡檢查、上消化道內視鏡檢查(諸如一食道內視鏡檢查)或其類似者)之影像且使其由一圖形指示符(諸如覆蓋801)覆蓋。在一些實施例中，可在偵測到異常及逝去一段時間(例如影像800a與影像800b之間的特定圖框數及/或秒數)之後覆蓋指示符801。在圖8A之實例中，覆蓋801包括呈具有一預定圖案(即，實線頂角)之矩形邊界之形式之一指示符。在其他實施例中，覆蓋801可為一不同形狀(規則或不規則)。另外，覆蓋801可以一預定色彩顯示或自一第一色彩轉變至另一色彩。
在圖8A之實例中，覆蓋801包括具有包圍視訊圖框中所關注特徵之偵測位置之具有實線頂角之一指示符。覆蓋801呈現於視訊圖框800b中，視訊圖框800b可排在視訊圖框800a之後。
圖8B繪示根據本發明之實施例之具有一視訊中物體偵測之一覆蓋之一顯示之另一實例。圖8B描繪一影像810a (類似於影像800a)及覆蓋有一指示符811之一稍後影像810b (類似於影像800b)。在圖8B之實例中，覆蓋811包括具有四個實線邊之一矩形邊界。在其他實施例中，覆蓋811可呈一第一色彩及/或一不同形狀(規則或不規則)。另外，覆蓋811可以一預定色彩顯示或自一第一色彩轉變至另一色彩。如圖8B中所展示，覆蓋811放置於視訊中之偵測異常或所關注特徵上。覆蓋811呈現於視訊圖框810b中，視訊圖框810b可排在視訊圖框810a之後。
圖8C繪示根據本發明之實施例之具有一視訊中物體偵測之一覆蓋之一顯示之另一實例。圖8C描繪一影像820a (類似於影像800a)及覆蓋有一指示符821之一稍後影像820b (類似於影像800b)。在圖8C之實例中，覆蓋821包括具有四個虛線邊之一矩形邊界。在其他實施例中，覆蓋821可為一不同形狀(規則或不規則)。另外，覆蓋821可以一預定色彩顯示或自一第一色彩轉變至另一色彩。如圖8C中所展示，覆蓋821放置於視訊中之偵測異常或所關注特徵上。覆蓋821呈現於視訊圖框820b中，視訊圖框820b可排在視訊圖框820a之後。
在一些實施例中，圖形指示符(即，覆蓋801、811或821)可改變圖案及/或色彩。例如，可回應於逝去一段時間(例如影像800a與影像800b之間、影像810a與影像810b之間或影像820a與影像820b之間的特定圖框數及/或秒數)而修改圖案之邊界之圖案及/或色彩。另外或替代地，可回應於所關注特徵之一特定分類(例如所關注特徵是否為一息肉、息肉歸類為癌性或非癌性等等)而修改指示符之圖案及/或色彩。再者，指示符之圖案及/或色彩可取決於所關注特徵之分類。因此，指示符可在所關注特徵歸為一第一類別時具有一第一圖案或色彩，在所關注特徵歸為一第二類別時具有一第二圖案或色彩，等等。替代地，指示符之圖案及/或色彩可取決於所關注特徵被識別為一真陽性或一假陽性。例如，所關注特徵可由上文所描述之一物體偵測器網路(或一鑑別器網路之一知覺分支)偵測以導致指示符，但接著由上文所描述之一對抗分支或網路判定為一假陽性以導致指示符呈一第一圖案或色彩。相反地，若所關注特徵由對抗分支或網路判定為一真陽性，則指示符可以一第二圖案或色彩顯示。
已為了說明而呈現以上描述。其不具窮舉性且不受限於所揭示之精確形式或實施例。將自本說明書之考量及所揭示實施例之實踐明白實施例之修改及適應。例如，所描述之實施方案包含硬體，但根據本發明之系統及方法可由硬體及軟體實施。另外，儘管已將特定組件描述為彼此耦合，但此等組件可彼此整合或依任何適合方式分佈。
再者，儘管本文已描述繪示性實施例，但範疇包含具有基於本發明之等效元件、修改、省略、組合(例如各種實施例之間的態樣之組合)、適應及/或更改之任何及所有實施例。申請專利範圍中之元件應基於申請專利範圍中所採用之語言來廣泛解譯且不受限於本說明書中或本申請案之審查期間所描述之實例，該等實例應被解釋為非排他的。此外，所揭示方法之步驟可依任何方式修改，其包含使步驟重新排序及/或插入或刪除步驟。
自詳細說明明白本發明之特徵及優點，因此，隨附申請專利範圍意欲涵蓋落入本發明之真實精神及範疇內之所有系統及方法。如本文所使用，不定冠詞「一」意謂「一或多個」。類似地，除非給定內文中明確，否則使用複數術語未必要表示複數。除非另有具體指示，否則諸如「及」或「或」之用語意謂「及/或」。此外，由於將易於自研習本發明獲得諸多修改及變動，因此不期望使本發明受限於所繪示及描述之精確構造及操作且因此採用落入本發明之範疇內之所有適合修改及等效物。
將自本說明書之考量及本文所揭示實施例之實踐明白其他實施例。本說明書及實例意欲僅被視為實例，且所揭示實施例之一真實範疇及精神由以下申請專利範圍指示。
100:系統 101:操作者 103:影像裝置 105:覆蓋裝置 107:顯示器 200:二階段訓練廻圈 201:資料庫 203:子集 205:特徵指示符 207:訓練集 209:鑑別器網路 209':鑑別器網路 211:子集 213:特徵指示符 215:驗證 217:訓練集 219:生成對抗網路 300:方法 301:步驟 303:步驟 305:步驟 307:步驟 309:步驟 311:步驟 313:步驟 400:物體偵測器 401:資料庫 403:子集 405:鑑別器網路 407:知覺分支 409:對抗分支 411:子集 413:偵測 415:生成網路/生成器網路 417:模擬表示 419:差異指示符 500:方法 501:步驟 503:步驟 505:步驟 507:步驟 509:步驟 511:步驟 513:步驟 600:系統 601:影像裝置/攝影機 603:輸入埠 605:第一匯流排 607:處理器 609:第三匯流排 611:輸出埠 613:第二匯流排 615:顯示器 700:方法 701:步驟 703:步驟 705:步驟 707:步驟 800a:視訊樣本/影像/視訊圖框 800b:視訊樣本/影像/視訊圖框 801:覆蓋/指示符 810a:影像/視訊圖框 810b:影像/視訊圖框 811:覆蓋/指示符 820a:影像/視訊圖框 820b:影像/視訊圖框 821:指示符/覆蓋
構成本說明書之一部分之附圖繪示若干實施例且與[實施方式]一起用於闡釋所揭示之實施例之原理及特徵。在圖式中：
圖1係根據本發明之實施例之用於覆蓋一視訊饋送上之物體偵測之一例示性電腦實施系統之一示意圖。
圖2係根據本發明之實施例之一物體偵測網路之一例示性二階段訓練廻圈。
圖3係根據本發明之實施例之用於訓練一物體偵測網路之一例示性方法之一流程圖。
圖4係根據本發明之實施例之具有一鑑別器網路及一生成網路之一例示性物體偵測器之一示意圖。
圖5係根據本發明之實施例之使用一鑑別器網路及一生成器網路來偵測一所關注特徵之一例示性方法之一流程圖。
圖6係根據本發明之實施例之使用一物體偵測器網路之一電腦實施系統之一示意圖。
圖7係根據本發明之實施例之使用一物體偵測器網路來覆蓋一視訊饋送上之物體指示符之一例示性方法之一流程圖。
圖8A係根據本發明之實施例之具有用於一視訊中之物體偵測之一覆蓋之一顯示之一實例。
圖8B係根據本發明之實施例之具有用於一視訊中之物體偵測之一覆蓋之一顯示之另一實例。
圖8C係根據本發明之實施例之具有用於一視訊中之物體偵測之一覆蓋之一顯示之一實例。
100:系統
101:操作者
103:影像裝置
105:覆蓋裝置
107:顯示器

Claims (12)

  1. 一種用於使用包含一所關注特徵之表示之影像來訓練一生成對抗網路之系統，其包括： 至少一記憶體，其經組態以儲存指令；及 至少一處理器，其經組態以執行該等指令而執行包括以下各者之操作： 提供包含該所關注特徵之表示之第一複數個影像及該第一複數個影像之影像中該所關注特徵之位置之指示符； 使用該第一複數個影像及該所關注特徵之該等指示符來訓練一物體偵測網路偵測該所關注特徵，其中該物體偵測網路視情況為一廻旋神經網路； 提供包含該所關注特徵之表示之第二複數個影像，該第二複數個影像包括比包含於該第一複數個影像中之影像多之一影像數目； 將該經訓練之物體偵測網路應用於該第二複數個影像以產生該所關注特徵之第一複數個偵測； 提供關於該第一複數個偵測之真陽性及假陽性之人工設定驗證； 使用關於該第一複數個偵測之該等真陽性及假陽性之該等驗證來訓練一生成對抗網路；及 使用至少一進一步影像集及該所關注特徵之偵測及關於該所關注特徵之該等進一步偵測之真陽性及假陽性之進一步人工設定驗證來再訓練該生成對抗網路。
  2. 如請求項1之系統，其中該至少一處理器經進一步組態以藉由提供兩個或兩個以上影像中該所關注特徵之漏失偵測之假陰性之驗證來再訓練該生成對抗網路。
  3. 如前述請求項1或2之系統，其中該第二複數個影像中之該影像數目至少為包含於該第一複數個影像中之影像之100倍。
  4. 如前述請求項1或2之系統，其中該第一複數個影像及該第二複數個影像包括醫學影像，且其中該等醫學影像視情況包括一胃腸器官之影像。
  5. 如前述請求項1或2之系統，其中該第一複數個影像及該第二複數個影像之至少一者包括來自一胃鏡檢查、一大腸鏡檢查、一小腸鏡檢查或一上消化道內視鏡檢查之至少一者期間所使用之成像裝置之影像，該成像裝置視情況包含一內視鏡裝置。
  6. 如前述請求項1或2之系統，其中該所關注特徵係一異常，且其中該異常視情況包括人體組織之細胞自一類型改變成另一類型、原本存在人體組織之一位置缺少該人體組織及/或人體組織上或人體組織之一形成物。
  7. 如請求項6之系統，其中該異常包括一病變，該病變視情況包含一息肉樣病變或一非息肉樣病變。
  8. 一種用於訓練一神經網路系統偵測一人體器官之影像中之異常的方法，該方法包括由至少一處理器執行之以下步驟： 將包含異常之表示之複數個視訊儲存於一資料庫中； 選擇該複數個視訊之一第一子集； 將一物體偵測網路之一知覺分支應用於該複數個視訊之該第一子集之圖框以產生異常之第一複數個偵測； 選擇該複數個視訊之一第二子集； 使用該第一複數個偵測及來自該複數個視訊之該第二子集之圖框來訓練一生成器網路生成息肉之複數個模擬表示，其中透過殘差學習來生成該複數個模擬表示，且其中該生成器網路視情況包括一生成對抗網路； 訓練一鑑別器網路之一對抗分支辨別該等異常之該等模擬表示與異常之真實表示，其中該鑑別器網路視情況包括一廻旋神經網路； 將該鑑別器網路之該對抗分支應用於該複數個模擬表示以產生異常之該等模擬表示與包含於複數個視訊之該第二子集之圖框中之異常之真實表示之間的差異指示符； 將該鑑別器網路之該知覺分支應用於該等模擬表示以產生該等異常之第二複數個偵測；及 基於該等差異指示符及該第二複數個偵測來再訓練該知覺分支。
  9. 如請求項8之方法，其中該異常包括人體組織之細胞自一類型改變成另一類型、原本存在人體組織之一位置缺少該人體組織及/或人體組織上或人體組織之一形成物。
  10. 如請求項9之方法，其中該異常包括一病變，該病變視情況包含一息肉樣病變或一非息肉樣病變。
  11. 如請求項8至10中任一項之方法，其中各模擬表示提供高度類似於一異常之一真實表示之一異常之一虛假表示。
  12. 一種用於偵測一人體器官之影像中之一異常的系統，其包括： 至少一記憶體，其儲存指令；及 至少一處理器，其經組態以執行該等指令而執行包括以下各者之操作： 自一人體器官之一視訊選擇圖框； 將一經訓練神經網路系統應用於該等圖框以產生該異常之至少一偵測； 生成該等圖框之一者上之該至少一偵測之一位置之一指示符； 將該等圖框重新編碼成一視訊；及 輸出具有該指示符之該重新編碼視訊， 其中根據如請求項8至10中任一項之方法來訓練該神經網路系統。
TW108120187A 2018-06-13 2019-06-11 訓練生成對抗網路之系統及方法以及經訓練之生成對抗網路之使用 TWI793337B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/008,006 US10810460B2 (en) 2018-06-13 2018-06-13 Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US16/008,006 2018-06-13
EP18180570.6A EP3582143A1 (en) 2018-06-13 2018-06-28 Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
EP18180570.6 2018-06-28

Publications (2)

Publication Number Publication Date
TW202018586A true TW202018586A (zh) 2020-05-16
TWI793337B TWI793337B (zh) 2023-02-21

Family

ID=62816460

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108120187A TWI793337B (zh) 2018-06-13 2019-06-11 訓練生成對抗網路之系統及方法以及經訓練之生成對抗網路之使用

Country Status (15)

Country Link
US (3) US10810460B2 (zh)
EP (2) EP3582143A1 (zh)
JP (1) JP7455821B2 (zh)
KR (1) KR20210032951A (zh)
CN (1) CN112543941A (zh)
AR (1) AR115522A1 (zh)
AU (1) AU2019286544A1 (zh)
BR (1) BR112020025390A8 (zh)
CA (1) CA3103316A1 (zh)
IL (1) IL279416A (zh)
MX (1) MX2020013412A (zh)
SG (1) SG11202012374WA (zh)
TW (1) TWI793337B (zh)
WO (1) WO2019238712A1 (zh)
ZA (1) ZA202007745B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI780751B (zh) * 2020-07-15 2022-10-11 大陸商北京市商湯科技開發有限公司 網路訓練方法、目標檢測方法、電子設備和電腦可讀儲存介質
TWI795787B (zh) * 2021-05-24 2023-03-11 鴻海精密工業股份有限公司 自編碼器的訓練方法、細胞數量檢測方法及相關設備

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018198327A1 (ja) * 2017-04-28 2018-11-01 オリンパス株式会社 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法
US10810460B2 (en) 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
US10929708B2 (en) 2018-12-10 2021-02-23 International Business Machines Corporation Deep learning network for salient region identification in images
EP3671660A1 (en) * 2018-12-20 2020-06-24 Dassault Systèmes Designing a 3d modeled object via user-interaction
CA3076646A1 (en) * 2019-03-22 2020-09-22 Royal Bank Of Canada System and method for generation of unseen composite data objects
US11216917B2 (en) 2019-05-03 2022-01-04 Amazon Technologies, Inc. Video enhancement using a neural network
US11210769B2 (en) 2019-05-03 2021-12-28 Amazon Technologies, Inc. Video enhancement using a recurrent image date of a neural network
US11017506B2 (en) * 2019-05-03 2021-05-25 Amazon Technologies, Inc. Video enhancement using a generator with filters of generative adversarial network
US11037025B2 (en) * 2019-05-30 2021-06-15 Baidu Usa Llc Systems and methods for adversarially robust object detection
US10671934B1 (en) * 2019-07-16 2020-06-02 DOCBOT, Inc. Real-time deployment of machine learning systems
US11080889B2 (en) * 2019-09-24 2021-08-03 Shanghai United Imaging Intelligence Co., Ltd. Methods and systems for providing guidance for adjusting an object based on similarity
US11922656B2 (en) * 2019-11-25 2024-03-05 Accuray Incorporated Partial deformation maps for reconstructing motion-affected treatment dose using machine learning
US11551652B1 (en) 2019-11-27 2023-01-10 Amazon Technologies, Inc. Hands-on artificial intelligence education service
CN111000633B (zh) * 2019-12-20 2020-11-03 山东大学齐鲁医院 一种内镜诊疗操作过程的监控方法及系统
US11620745B2 (en) * 2020-01-17 2023-04-04 Ping An Technology (Shenzhen) Co., Ltd. Method and system for harvesting lesion annotations
AU2021216168A1 (en) * 2020-02-03 2022-03-10 Cosmo Artificial Intelligence - AI Limited Systems and methods for contextual image analysis
CN113313133A (zh) * 2020-02-25 2021-08-27 武汉Tcl集团工业研究院有限公司 一种生成对抗网络的训练方法、动画图像生成方法
US11200462B2 (en) * 2020-03-04 2021-12-14 Matroid, Inc. Detecting content in a real-time video stream recorded by a detection unit
US20210279841A1 (en) * 2020-03-09 2021-09-09 Nvidia Corporation Techniques to use a neural network to expand an image
KR102476334B1 (ko) * 2020-04-22 2022-12-09 인하대학교 산학협력단 딥러닝 기반 일기 생성 방법 및 장치
US11113525B1 (en) 2020-05-18 2021-09-07 X Development Llc Using empirical evidence to generate synthetic training data for plant detection
CN113743398B (zh) * 2020-05-29 2023-11-17 富泰华工业（深圳）有限公司 图像标识方法、装置、计算机装置及存储介质
US11640711B2 (en) 2020-06-05 2023-05-02 Advanced Micro Devices, Inc. Automated artifact detection
US11398028B2 (en) * 2020-06-08 2022-07-26 X Development Llc Generating and using synthetic training data for plant disease detection
US11961225B2 (en) 2020-07-21 2024-04-16 Iterative Scopes, Inc. Systems and methods for detecting potential malignancies
US11604947B2 (en) * 2020-08-26 2023-03-14 X Development Llc Generating quasi-realistic synthetic training data for use with machine learning models
US11670072B2 (en) 2020-10-02 2023-06-06 Servicenow Canada Inc. Systems and computer-implemented methods for identifying anomalies in an object and training methods therefor
US11100373B1 (en) 2020-11-02 2021-08-24 DOCBOT, Inc. Autonomous and continuously self-improving learning system
CN112308038B (zh) * 2020-11-25 2022-09-27 哈尔滨工业大学 基于课堂式生成对抗网络模型的机械设备故障信号识别方法
US11763135B2 (en) * 2021-03-01 2023-09-19 Robert Bosch Gmbh Concept-based adversarial generation method with steerable and diverse semantics
US20220319158A1 (en) * 2021-04-05 2022-10-06 Nec Laboratories America, Inc. Cell nuclei classification with artifact area avoidance
KR102513394B1 (ko) * 2021-05-10 2023-03-23 주식회사 씨앤에이아이 Gan을 이용한 합성 내시경 이미지 생성 장치 및 방법
CN113329000B (zh) * 2021-05-17 2023-01-10 山东大学 一种基于智能家居环境下的隐私保护和安全监测一体化系统
KR20220157833A (ko) 2021-05-21 2022-11-29 (주)엔도아이 병변 검출을 위한 영상 학습 장치 및 방법
WO2022245191A1 (en) * 2021-05-21 2022-11-24 Endoai Co., Ltd. Method and apparatus for learning image for detecting lesions
KR20220161672A (ko) * 2021-05-31 2022-12-07 자이메드 주식회사 설명 가능한 생체 이미지 판독 지원 장치 및 방법
EP4109463A1 (en) * 2021-06-24 2022-12-28 Siemens Healthcare GmbH Providing a second result dataset
CN113283849B (zh) * 2021-07-26 2021-11-02 山东建筑大学 基于视频上下文联系的物流异常智能检测方法
CN113658174B (zh) * 2021-09-02 2023-09-19 北京航空航天大学 基于深度学习和图像处理算法的微核组学图像检测方法
KR102477632B1 (ko) * 2021-11-12 2022-12-13 프로메디우스 주식회사 적대적 생성 신경망을 이용한 영상 학습 장치 및 방법

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680307B2 (en) 2005-04-05 2010-03-16 Scimed Life Systems, Inc. Systems and methods for image segmentation with a multi-stage classifier
US20080058593A1 (en) 2006-08-21 2008-03-06 Sti Medical Systems, Llc Computer aided diagnosis using video from endoscopes
EP2068281A1 (en) * 2007-11-28 2009-06-10 Dublin City University A method for detecting flat polyps in the colon
US10013638B2 (en) 2008-08-14 2018-07-03 Ping Zhang Cancer diagnostic method and system
CN102498445A (zh) * 2009-09-17 2012-06-13 西门子公司 用于机器状态监测的、使用规则生成的样本的监督故障学习
US20110301447A1 (en) 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
US20150374210A1 (en) * 2013-03-13 2015-12-31 Massachusetts Institute Of Technology Photometric stereo endoscopy
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
KR20150049585A (ko) 2013-10-30 2015-05-08 삼성전자주식회사 용종 검출 장치 및 그 동작방법
CN106471526B (zh) 2014-08-29 2019-03-08 谷歌有限责任公司 用于处理图像的方法和系统
US9700213B2 (en) 2014-09-12 2017-07-11 Mayo Foundation For Medical Education And Research System and method for automatic polyp detection using global geometric constraints and local intensity variation patterns
CA2981021C (en) * 2015-03-26 2020-11-17 Eyekor, Llc Image analysis
US10055843B2 (en) 2015-03-31 2018-08-21 Mayo Foundation For Medical Education And Research System and methods for automatic polyp detection using convulutional neural networks
CN108292366B (zh) 2015-09-10 2022-03-18 美基蒂克艾尔有限公司 在内窥镜手术中检测可疑组织区域的系统和方法
US9959468B2 (en) 2015-11-06 2018-05-01 The Boeing Company Systems and methods for object tracking and classification
US10007867B2 (en) 2016-04-04 2018-06-26 Google Llc Systems and methods for identifying entities directly from imagery
KR102240662B1 (ko) 2016-04-13 2021-04-15 구글 엘엘씨 광역 및 심층 기계 학습 모델들
US10395356B2 (en) * 2016-05-25 2019-08-27 Kla-Tencor Corp. Generating simulated images from input images for semiconductor applications
US10346740B2 (en) * 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
JP2018063504A (ja) 2016-10-12 2018-04-19 株式会社リコー 生成モデル学習方法、装置及びプログラム
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
CN110049709B (zh) 2016-12-07 2022-01-11 奥林巴斯株式会社 图像处理装置
EP3590415A4 (en) * 2017-03-03 2020-03-18 Fujifilm Corporation ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND OPERATION METHOD OF THE ENDOSCOPE SYSTEM
EP3603483A4 (en) 2017-03-30 2020-04-22 FUJIFILM Corporation ENDOSCOPIC SYSTEM AND METHOD FOR THE OPERATION THEREOF
CN114145693A (zh) 2017-06-02 2022-03-08 富士胶片株式会社 医疗图像处理装置
US11055843B2 (en) * 2017-06-14 2021-07-06 Electronics And Telecommunications Research Institute Capsule endoscope for determining lesion area and receiving device
CN107256552B (zh) 2017-06-14 2020-08-18 成都微识医疗设备有限公司 息肉图像识别系统及方法
CN107451994A (zh) 2017-07-25 2017-12-08 宸盛科华（北京）科技有限公司 基于生成对抗网络的物体检测方法及装置
CN107451619A (zh) 2017-08-11 2017-12-08 深圳市唯特视科技有限公司 一种基于感知生成对抗网络的小目标检测方法
JP7220017B2 (ja) * 2017-11-27 2023-02-09 デシフェックス 正常モデルの分析による組織病理学検査用組織サンプルの自動スクリーニング
US10540578B2 (en) * 2017-12-21 2020-01-21 International Business Machines Corporation Adapting a generative adversarial network to new data sources for image classification
US11011275B2 (en) 2018-02-12 2021-05-18 Ai.Skopy, Inc. System and method for diagnosing gastrointestinal neoplasm
US10841514B2 (en) 2018-03-20 2020-11-17 Endovigilant Inc Endoscopy video feature enhancement platform
US10810460B2 (en) * 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI780751B (zh) * 2020-07-15 2022-10-11 大陸商北京市商湯科技開發有限公司 網路訓練方法、目標檢測方法、電子設備和電腦可讀儲存介質
TWI795787B (zh) * 2021-05-24 2023-03-11 鴻海精密工業股份有限公司 自編碼器的訓練方法、細胞數量檢測方法及相關設備

Also Published As

Publication number Publication date
EP3762868A1 (en) 2021-01-13
IL279416A (en) 2021-01-31
EP3582143A1 (en) 2019-12-18
US20190385018A1 (en) 2019-12-19
AU2019286544A1 (en) 2021-01-14
US20200226423A1 (en) 2020-07-16
KR20210032951A (ko) 2021-03-25
JP2021527549A (ja) 2021-10-14
ZA202007745B (en) 2022-03-30
BR112020025390A8 (pt) 2022-03-08
JP7455821B2 (ja) 2024-03-26
BR112020025390A2 (pt) 2021-03-09
AR115522A1 (es) 2021-01-27
US20210133507A1 (en) 2021-05-06
WO2019238712A1 (en) 2019-12-19
US10810460B2 (en) 2020-10-20
MX2020013412A (es) 2021-04-13
US11195052B2 (en) 2021-12-07
TWI793337B (zh) 2023-02-21
CA3103316A1 (en) 2019-12-19
CN112543941A (zh) 2021-03-23
SG11202012374WA (en) 2021-01-28

Similar Documents

Publication Publication Date Title
TWI793337B (zh) 訓練生成對抗網路之系統及方法以及經訓練之生成對抗網路之使用
TWI813696B (zh) 處理來自一醫學影像裝置之即時視訊及偵測於該視訊中之物體的系統及方法
TW202135092A (zh) 脈絡式影像分析之系統及方法
RU2819619C2 (ru) Системы и способы обучения генеративно-состязательных сетей, а также использование обученных генеративно-состязательных сетей
JP2024069390A (ja) 医療画像装置からのリアルタイムビデオを処理し、且つ、ビデオ内の物体を検出するシステム及び方法
JP2024069393A (ja) 医療画像装置からのリアルタイムビデオを処理し、且つ、ビデオ内の物体を検出するシステム及び方法