TW202410061A - 使用時空資訊進行智慧影像分析之電腦實施系統及方法 - Google Patents

使用時空資訊進行智慧影像分析之電腦實施系統及方法 Download PDF

Info

Publication number
TW202410061A
TW202410061A TW112125399A TW112125399A TW202410061A TW 202410061 A TW202410061 A TW 202410061A TW 112125399 A TW112125399 A TW 112125399A TW 112125399 A TW112125399 A TW 112125399A TW 202410061 A TW202410061 A TW 202410061A
Authority
TW
Taiwan
Prior art keywords
image
images
subset
interest
feature
Prior art date
Application number
TW112125399A
Other languages
English (en)
Inventor
狄恩 南恩 恩果
安德莉雅 凱魯比尼
卡洛 比菲
彼得羅 薩爾瓦尼尼
Original Assignee
愛爾蘭商卡司莫人工智能有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP22183987.1A external-priority patent/EP4303808A1/en
Application filed by 愛爾蘭商卡司莫人工智能有限公司 filed Critical 愛爾蘭商卡司莫人工智能有限公司
Publication of TW202410061A publication Critical patent/TW202410061A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本發明提供一種用於偵測用一成像裝置擷取之影像中之至少一個所關注特徵之電腦實施方法。該方法包含：接收來自該等經擷取影像之一有序影像集，該有序影像集經依時間排序；及使用一局域時空處理模組分析該有序影像集之一或多個子集，該局域時空處理模組經組態以判定各影像子集之各影像中之與該至少一個所關注特徵有關之特性之存在及基於各影像子集之各影像中之該等經判定特性註釋該影像子集。該方法進一步包含：使用一全域時空處理模組處理該有序影像集之一特徵向量集，該全域時空處理模組經組態以精緻化與各影像子集相關聯之該等經判定特性；及使用一時間序列分析模組計算各影像之一或多個值，該數值表示該至少一個所關注特徵且使用與各影像子集相關聯之該等經精緻化特性及時空資訊來計算。又進一步，該方法可包含產生整合至另一報告系統或電子醫療記錄中之一報告、一資料或電子檔案，及/或使用與該有序影像集之各子集之各影像相關聯之該多個值來產生關於該至少一個所關注特徵之一電子顯示。

Description

使用時空資訊進行智慧影像分析之電腦實施系統及方法
本發明大體上係關於視訊處理及影像分析之領域。更明確言之且不受限制，本發明係關於用於處理來自一成像裝置之經擷取視訊內容及執行智慧影像分析(諸如判定一或多個所關注特徵或在一醫療程序期間採取之動作之存在)之系統、方法及電腦可讀媒體。本文中所揭示之系統及方法可用於各種應用中，包含用於醫療影像分析及診斷。
在視訊處理及影像分析系統中，通常需要偵測所關注物件或特徵。一所關注特徵可為一人、地方或事情。在一些應用(諸如用於醫療影像分析之系統及方法)中，一經偵測之所關注特徵(例如，一異常，諸如人體組織上或人體組織之形成)之位置及分類對於患者之診斷係重要的。然而，現有的電腦實施系統及方法遭受許多缺點，包含不能準確地偵測所關注特徵及/或辨識與所關注特徵有關之特性。另外，現有的系統及方法係低效的且不提供智慧地分析影像之方式，包含關於事件之影像序列或存在。
現代醫療程序要求對患者之身體及器官進行精確及準確的檢查。內窺鏡檢查係旨在為一醫師提供一患者之身體及器官之內部部分之視訊影像以供診斷之一醫療程序。在人體之胃腸道中，可藉由將具有一視訊攝影機之一探針引入通過患者之口腔或肛門來執行該程序。在一內窺鏡程序期間，一醫師在一顯示裝置上即時觀看視訊時手動地導覽探針穿過胃腸道。視訊亦可在內窺鏡程序之後擷取、儲存及檢查。作為一替代例，膠囊內窺鏡檢查係其中吞嚥含有一小攝影機之一膠囊以檢查一患者之胃腸道之一程序。藉由膠囊在其運輸期間獲取之影像序列被無線地傳輸至一接收裝置且經儲存以供醫師在完成程序之後檢查。膠囊裝置之圖框率可改變(例如，每秒2個至6個圖框)且在一檢查程序期間可獲取大量影像。
自一電腦視覺角度來看，來自一即時視訊內窺鏡檢查或膠囊程序之經擷取內容係含有關於一患者之資訊(例如，胃腸道之內部黏膜)之一連串依時間排序之影像。對經擷取影像進行準確及精確的分析對正確檢查患者及識別病變、息肉或其他所關注特徵至關重要。又，通常收集各患者之大量影像。需要由醫師執行之最重要的醫療任務之一係檢查此大影像集以進行正確診斷，包含關於所關注特徵(諸如經成像黏膜中之病理區域)之存在或不存在。然而，手動完成此等影像係耗時且低效的。因此，檢視程序可導致一醫師犯錯誤及/或做出誤診。
為改良診斷，減少醫療影像檢查所需之時間及減少錯誤之可能性，本發明者已判定希望具有能夠智慧地處理影像且識別來自一視訊內窺鏡檢查或膠囊程序或其他醫療程序之所有影像內之一病理或其他所關注特徵之存在的一電腦實施系統及方法。舉實例而言，一所關注特徵亦可包含在影像上或影像中採取之一動作、影像中之一解剖所關注位置或其他所關注位置、影像之一臨床指數位準等。為此目的，本文中揭示經訓練之神經網路、時空影像分析以及其他特徵及技術。如將自本發明瞭解，本發明及實施例可應用於廣泛多種影像擷取及分析應用且不限於本文中所提出之實例。
本發明之實施例包含用於處理自一成像裝置擷取之影像及執行一智慧影像分析(諸如判定一或多個所關注特徵之存在)之系統、方法及電腦可讀媒體。與本發明一致之系統及方法可提供優於現有系統及技術之益處，包含藉由解決現有系統及技術之上文引用之缺點及/或其他不足之一或多者。與一些所揭示實施例一致，提供用於處理來自一視訊內窺鏡檢查或膠囊程序或其他醫療程序之影像之系統、方法及電腦可讀媒體，其中影像經依時間排序。實例性實施例包含使用時空資訊智慧地處理經擷取影像以準確地評估影像內之一異常、一病理或其他所關注特徵之存在之可能性的系統及方法。舉進一步實例而言，一所關注特徵可為與一內窺鏡檢查或膠囊程序或其他醫療程序有關之一參數或統計資料。舉實例而言，一內窺鏡檢查程序之一所關注特徵可為一清理退出時間或一探針或一膠囊穿過一器官之時間。一影像中之一所關注特徵亦可基於與該所關注特徵有關之特性之存在或不存在來判定。本文中更充分地描述此等及其他實施例、特徵及實施方案。一所關注特徵可為在一或多個影像中或與一或多個影像有關，特別是在一或多個影像中所表示之一場景或視野中或與該場景或視野有關之任何特徵，其可藉由分析該影像或各影像來識別或偵測。例如，一所關注特徵可為一物件或一位置，或一動作或一狀況(例如，一臨床指數位準)。
在一些實施例中，由一成像裝置(諸如一內窺鏡檢查視訊攝影機或膠囊攝影機)擷取之影像包含一胃腸道或器官之影像。影像可來自(例如)一胃鏡檢查、一結腸鏡檢查或一腸鏡檢查期間所使用之一醫療成像裝置。例如，影像中之一所關注特徵可為一異常或其他病理。異常或病理可包括人體組織上或人體組織之形成、人體組織自一種類型之細胞至另一類型之細胞之變化、來自預期人體組織之一位置之人體組織之不存在，或人體組織上或人體組織之形成。該形成可包括一病變、一息肉樣病變或一非息肉樣病變。所關注特徵之其他實例包含一解剖或其他位置、一動作、一臨床指數(例如，清潔度)等。因此，如將自本發明瞭解，可以不特定於任何單一疾病而是可普遍應用之一方式在一醫療背景下利用實例性實施例。
根據本發明之一項一般態樣，提供一種用於處理由一成像裝置擷取之影像之電腦實施系統。該電腦實施系統可包含經組態以偵測在由一成像裝置擷取之影像中之至少一個所關注特徵之至少一個處理器。該至少一個處理器可經組態以：接收來自該等經擷取影像之一有序影像集，該有序影像集經依時間排序；使用一局域時空處理模組個別地分析該有序影像集之一或多個子集，該局域時空處理模組經組態以判定各影像子集之各影像中之與至少一個所關注特徵有關之特性之存在及基於各影像子集之各影像中之該等經判定特性用一特徵向量註釋該等子集影像；使用一全域時空處理模組處理該有序影像集之一特徵向量集，該全域時空處理模組經組態以精緻化與各影像子集相關聯之該等經判定特性，其中該特徵向量集之各特徵向量包含關於該至少一個所關注特徵之各經判定特性之資訊；及使用一時間序列分析模組計算各影像之一數值，該數值表示至少一個所關注特徵之該存在且使用與各影像子集相關聯之該等經精緻化特性及時空資訊來計算。此外，該至少一個處理器可經組態以使用與該有序影像集之各子集之各影像相關聯之該數值來產生關於該至少一個所關注特徵之一報告。該報告可在完成內窺鏡檢查或其他醫療程序之後產生。該報告可包含與在經處理影像中識別之全部所關注特徵有關之資訊。
該電腦實施系統之該至少一個處理器可進一步經組態以判定該影像子集之各影像中之與至少一個所關注特徵有關之特性之一可能性。此外，該至少一個處理器可經組態以藉由編碼該等影像之該子集之各影像及使用一遞歸神經網路或一時間卷積網路彙總該等經判定特性之該時空資訊來判定該影像子集之各影像中之特性之該可能性。
為精緻化經判定特性，可利用一非因果時間卷積網路。例如，該系統之該至少一個處理器可經組態以藉由應用一非因果時間卷積網路來精緻化該影像子集之各影像中之該等特性之該可能性。該至少一個處理器可進一步經組態以藉由應用(例如)包含低通濾波及/或高斯平滑化之一或多個信號處理技術來精緻化該等特性之該可能性。
根據又進一步態樣，該系統之該至少一個處理器可經組態以使用該局域時空處理模組分析該有序影像集以藉由判定品質評分之一向量來判定特性之存在，其中品質評分之該向量中之各品質評分對應於該等影像之該子集之各影像。此外，該至少一個處理器可經組態以使用該全域時空處理模組藉由使用信號處理技術精緻化該有序影像集之該一或多個子集之影像之該子集之各影像的品質評分來處理有序影像集。該至少一個處理器可進一步經組態以使用該局域時空處理模組分析該有序影像集之該一或多個子集以藉由使用一深度卷積神經網路為該影像子集之各影像產生一逐像素二元遮罩來判定特性之該存在。該至少一個處理器可進一步經組態以使用該全域時空處理模組藉由使用利用關於該等經判定特性之形狀及分佈之先驗資訊之形態運算精緻化該二元遮罩以用於影像分割來處理該有序影像集之該一或多個子集。
如本文中所揭示，實施方案可包含以下特徵之一或多者。該影像子集之各影像中之特性之該經判定可能性可包含在0與1之間的一浮動值。該品質評分可為在0與R之間的一序數，其中一評分0表示最小品質且一評分R表示最大品質。該數值可與各影像相關聯且係可解譯的以判定識別該影像內之該至少一個所關注特徵之概率。輸出可為未偵測到該至少一個所關注特徵之一影像之一第一數值。輸出可為偵測到該至少一個所關注特徵之一影像之一第二數值。該影像子集之大小或容積可由該系統之一使用者組態。該影像子集之該大小或容積可基於一所請求之所關注特徵動態地判定。該影像子集之該大小或容積可基於該等經判定特性動態地判定。該一或多個影像子集可包含共用影像。
本發明之另一一般態樣係關於一種用於用一成像裝置擷取之影像之時空分析之電腦實施系統。該電腦實施系統可包括經組態以接收自一成像裝置擷取之包含複數個影像圖框之視訊之至少一個處理器。該至少一個處理器可進一步經組態以：自該等經擷取影像存取一依時間排序之影像集；使用一事件偵測器模組偵測該依時間排序之影像集中之一事件之一發生，其中該事件之一開始時間及一結束時間係藉由該依時間排序之影像集中之一開始影像圖框及一結束影像圖框識別；使用一圖框選擇器模組基於一影像之一相關聯評分及一品質評分自該依時間排序之影像集中之一影像群組選擇由該開始影像圖框及該結束影像圖框定界之該影像，其中該選定影像之該相關聯評分指示至少一個所關注特徵之一存在；使用一物件描述符模組基於該至少一個所關注特徵之一匹配存在來合併來自該等選定影像之一影像子集，其中該影像子集係使用時空資訊基於空間及時間相干性來識別；及以滿足一選定任務之時間相干性之時間間隔分離該依時間排序之影像集。
根據所揭示系統，該至少一個處理器可進一步經組態以使用一局域時空處理模組判定該視訊內容之影像子集之與該至少一個所關注特徵有關之特性的時空資訊及使用一全域時空處理模組判定該視訊內容之所有影像之該時空資訊。另外，該至少一個處理器可經組態以藉由識別具有該至少一個所關注特徵之該存在之依時間排序之影像集之一子集來以時間間隔分離該依時間排序之影像集。該至少一個處理器亦可經組態以藉由將書籤增添至該依時間排序之影像集中之影像來識別具有該至少一個所關注特徵之該存在之依時間排序之影像集的一子集，其中該等經加書籤之影像係依時間排序之影像集之該子集之部分。此外或替代性地，該至少一個處理器可經組態以藉由自該依時間排序之影像集之該子集提取一影像集來識別具有該至少一個所關注特徵之該存在之依時間排序之影像集的一子集。
實施方案可包含以下特徵之一或多者。該經提取影像集可包含與該至少一個所關注特徵有關之特性。色彩可隨著依時間排序之影像集之該子集之一影像對於該至少一個所關注特徵的一相關性位準而改變。該色彩可隨著依時間排序之影像集之該子集之一影像對於與該至少一個所關注特徵有關之特性的一相關性位準而改變。
另一一般態樣包含一種用於對一影像集執行複數個任務之電腦實施系統。該電腦實施系統可包括經組態以接收自一成像裝置擷取之包含一組影像圖框之視訊之至少一個處理器。該至少一個處理器可進一步經組態以：接收複數個任務，其中該複數個任務之至少一個任務係與識別該影像集中之至少一個所關注特徵之一請求相關聯；使用一局域時空處理模組分析該影像集之一影像子集以識別與該至少一個所關注特徵相關聯之特性之存在；及針對該複數個任務之各任務反覆執行一時間序列分析模組以使各任務之一數字評分與該影像集之各影像相關聯。
與本發明一致，一或多個電腦之一系統可經組態以憑藉為該系統安裝軟體、韌體、硬體或其等之一組合來執行操作或動作，該軟體、韌體、硬體或其等之一組合在操作中引起該系統執行彼等操作或動作。一或多個電腦程式可經組態以憑藉包含指令來執行操作或動作，該等指令在藉由資料處理設備(諸如一或多個處理器)執行時，引起設備執行此等操作或動作。
與本發明一致之系統及方法可使用軟體、韌體及硬體之任何合適組合來實施。本發明之實施方案可包含專門經機器建構及/或程式設計以用於執行與所揭示之操作或動作相關聯之功能之程式或指令。又進一步，可使用儲存程式指令之非暫時性電腦可讀儲存媒體，該等程式指令可藉由至少一個處理器執行以執行本文中所描述之步驟及/或方法。
將理解，前文概述及下文詳細描述僅係例示性及說明性的且並不限制所揭示實施例。
下文參考隨附圖式描述實例性實施例。圖不一定按比例繪製。雖然本文中描述所揭示原理之實例及特徵，但在不脫離所揭示實施例之精神及範疇的情況下，修改、調適及其他實施方案係可能的。又，字詞「包括」、「具有」、「含有」及「包含」以及其他類似形式旨在為在含義上等效的且為開放式的，因為在此等字詞之任一者後面的一或多個物項並不意謂此一或多個物項之一詳盡清單或並不意謂僅限於所列出之一或多個物項。亦應注意，如本文中及隨附發明申請專利範圍中所使用，除非上下文另有明確規定，否則單數形式「一(a/an)」及「該」包含複數個參考物。
在以下描述中，出於闡釋性目的提供各種工作實例。然而，將瞭解，可在不具有此等細節之一或多者的情況下實踐本發明。
貫穿本發明，引用「所揭示實施例」，其指代本文中所描述之發明理念、概念及/或表現形式之實例。貫穿本發明描述許多相關及不相關實施例。一些「所揭示實施例」被描述為展現一特徵或特性之事實並不意謂其他所揭示實施例一定共用該特徵或特性。
本文中所描述之實施例包含含有指令之非暫時性電腦可讀媒體，該等指令在藉由至少一個處理器執行時，引起該至少一個處理器執行一方法或一組操作。非暫時性電腦可讀媒體可為能夠以可藉由具有一處理器之任何運算裝置讀取以實行儲存於記憶體中之方法或任何其他指令的一方式將資料儲存於任何記憶體中之任何媒體。非暫時性電腦可讀媒體可經實施為軟體、韌體、硬體或其等之任何組合。軟體可較佳地經實施為有形地體現於由若干部分或由特定裝置及/或裝置之一組合組成之一程式儲存單元或電腦可讀媒體上的一應用程式。該應用程式可經上載至包括任何合適架構之一機器且藉由該機器執行。較佳地，機器可在具有諸如一或多個中央處理單元(「CPU」)、一記憶體及輸入/輸出介面之硬體之一電腦平台上實施。該電腦平台亦可包含一作業系統及微指令程式碼。本發明中所描述之各種程序及功能可為微指令程式碼之部分或應用程式之部分，或其等之任何組合，其可藉由一CPU執行，無論是否明確展示此一電腦或處理器。另外，各種其他周邊單元(諸如一額外資料儲存單元及一列印單元)可連接至電腦平台。此外，一非暫時性電腦可讀媒體可為除一暫時性傳播信號之外之任何電腦可讀媒體。
記憶體可包含用於儲存電子資料或指令之任何機構，包含隨機存取記憶體(RAM)、一唯讀記憶體(ROM)、一硬碟、一光碟、一磁性媒體、一快閃記憶體、其他永久、固定、揮發性或非揮發性記憶體。記憶體可包含經並置或分佈之能夠儲存資料結構、指令或任何其他資料之一或多個分開之儲存裝置。記憶體可進一步包含含有供處理器執行之指令之一記憶體部分。記憶體亦可用作處理器之一工作記憶體裝置或用作一暫時儲存器。
一些實施例可涉及至少一個處理器。一處理器可為具有對一或多個輸入執行一邏輯運算之電路系統之任何實體裝置或裝置群組。例如，至少一個處理器可包含一或多個積體電路(IC)，包含特定應用積體電路(ASIC)、微晶片、微控制器、微處理器、一中央處理單元(CPU)、圖形處理單元(GPU)、數位信號處理器(DSP)、場可程式化閘陣列(FPGA)、伺服器、虛擬伺服器或適於執行指令或執行邏輯運算之其他電路之全部或部分。藉由至少一個處理器執行之指令可(例如)預載入至與控制器整合或嵌入至控制器中之一記憶體中或可儲存於一分開之記憶體中。
在一些實施例中，至少一個處理器可包含多於一個處理器。各處理器可具有一類似構造，或處理器可具有彼此電連接或斷開連接之不同構造。例如，處理器可為分開之電路或整合於一單個電路中。當使用多於一個處理器時，該等處理器可經組態以獨立地或合作地操作。處理器可經電耦合、磁耦合、光學耦合、聲學耦合、機械耦合或藉由允許其等互動之其他方式耦合。
與本發明一致之實施例可涉及一網路。一網路可構成用於交換資料之任何類型之實體或無線電腦網路連結配置。例如，一網路可為網際網路、一私人資料網路、使用一公用網路之一虛擬私人網路、一Wi-Fi網路、一LAN或WAN網路，及/或可實現系統之各種組件當中的資訊交換之其他合適連接。在一些實施例中，一網路可包含用於交換資料之一或多個實體鏈路，諸如乙太網路、同軸電纜、雙絞線電纜、光纖或用於交換資料之任何其他合適實體媒體。一網路亦可包含一或多個網路，諸如一私人網路、一公用交換電話網路(「PSTN」)、網際網路及/或一無線蜂巢式網路。一網路可為一安全網路或不安全網路。在其他實施例中，系統之一或多個組件可透過一專用通訊網路直接通訊。直接通訊可使用任何合適技術，包含(例如) BLUETOOTH™、BLUETOOTH LE™ (BLE)、Wi-Fi、近場通訊(NFC)，或提供用於在分開的實體之間交換資料及/或資訊之一媒體之其他合適通訊方法。
在一些實施例中，可使用(例如)在下文描述之情況下之訓練實例來訓練機器學習網路或演算法。此等機器學習演算法之一些非限制性實例可包含分類演算法、視訊分類演算法、資料迴歸演算法、影像分割演算法、時間視訊分割演算法、視覺偵測演算法(諸如物件偵測器、臉部偵測器、人偵測器、運動偵測器、邊緣偵測器等)、視覺辨識演算法(諸如臉部辨識、人辨識、物件辨識等)、語音辨識演算法、動作辨識演算法、數學嵌入演算法、神經語言處理演算法、支援向量機、隨機森林、最近鄰演算法、深度學習演算法、人工神經網路演算法、卷積神經網路演算法、遞迴神經網路演算法、線性機器學習模型、非線性機器學習模型、整體演算法等。例如，一經訓練機器學習網路或演算法可包括一推理模型，諸如一預測模型、一分類模型、一迴歸模型、一叢集化模型、一分割模型、一人工神經網路(諸如一深度神經網路、一卷積神經網路、一遞迴神經網路等)、一隨機森林、一支援向量機等。在一些實例中，訓練實例可包含實例性輸入以及對應於實例性輸入之所要輸出。此外，在一些實例中，使用訓練實例之訓練機器學習演算法可產生一經訓練機器學習演算法，且該經訓練機器學習演算法可用於估計不包含於訓練實例中之輸入之輸出。訓練可為監督式或無監督式，或其等之一組合。在一些實例中，訓練機器學習演算法之工程師、科學家、程序及機器可進一步使用驗證實例及/或測試實例。例如，驗證實例及/或測試實例可包含實例性輸入以及對應於實例性輸入之所要輸出，一經訓練機器學習演算法及/或一中間經訓練機器學習演算法可用於估計驗證實例及/或測試實例之實例性輸入之輸出，可比較經估計輸出與對應所要輸出，且可基於該比較之一結果來評估經訓練機器學習演算法及/或中間經訓練機器學習演算法。在一些實例中，一機器學習演算法可具有參數及超參數，其中超參數係由一人手動地設定或由機器學習演算法外部之一程序(諸如一超參數搜尋演算法)自動設定，且機器學習演算法之參數係由機器學習演算法根據訓練實例來設定。在一些實施方案中，超參數係根據訓練實例及驗證實例來設定，且參數係根據訓練實例及選定超參數來設定。可基於任何輸出進一步重新訓練機器學習網路或演算法。
本文中所揭示之某些實施例可包含用於執行包括一系列步驟之操作或方法之電腦實施系統。電腦實施系統及方法可藉由一或多個運算裝置實施，該一或多個運算裝置可包含如本文中所描述之經組態以處理即時視訊之一或多個處理器。運算裝置可為能夠處理資料之一或多個電腦或任何其他裝置。此等運算裝置可包含一顯示器，諸如一LCD顯示器、擴增實境(AR)或虛擬實境(VR)顯示器。然而，亦可在一運算系統中實施運算裝置，該運算系統包含一後端組件(例如，作為一資料伺服器)，或包含一中間軟體組件(例如，一應用程式伺服器)，或包含一前端組件(例如，具有一使用者可透過其與本文所描述之系統及技術之一實施方案互動之一圖形使用者介面或一網頁瀏覽器之一使用者裝置)，或此等後端、中間軟體或前端組件之任何組合。系統及/或運算裝置之組件可藉由任何形式或媒體之數位資料通訊(例如，一通訊網路)互連。通訊網路之實例包含一區域網路(「LAN」)、一廣域網路(「WAN」)及網際網路。運算裝置可包含用戶端及伺服器。一用戶端及伺服器一般彼此遠離且通常透過一通訊網路互動。用戶端與伺服器之間的關係藉由運行於各自電腦上及彼此具有一用戶端-伺服器關係之電腦程式而發生。
圖1A係與本發明之實施例一致之一實例性智慧偵測器系統100之一方塊圖。如本文中進一步揭示，智慧偵測器系統100可為一電腦實施系統且包括用以處理來自一醫療程序之影像以識別該等影像中之所請求之所關注特徵之一或多個卷積神經網路(CNN)。(若干)所關注特徵可為一醫師在影像中尋找之一病理或一病理清單(例如，以診斷一患者)。藉由進一步實例，一所關注特徵亦可包含待在影像上或影像中採取之一動作、影像中之一解剖所關注位置或其他所關注位置、影像之一臨床指數位準等。此等及其他實例係在本發明之範疇內。舉實例而言，一動作可包含由一醫師在醫療程序期間或作為一後續程序之部分所採取之動作，包含藉由系統100識別為來自醫療程序之影像之一時空檢視之一結果之動作或程序。例如，一動作可包含根據一醫療指南之一建議動作或程序，諸如執行一活檢，移除一病變或探查/分析一器官之一表面/黏膜。可基於藉由智慧偵測器系統100擷取及處理之影像來識別動作或程序。
智慧偵測器系統100可接收一醫療程序(諸如一內窺鏡檢查或結腸鏡檢查程序)之一依時間排序之影像集合作為輸入。智慧偵測器系統100可輸出包含各影像之一或多個數值(例如，(若干)評分)之一報告或資訊。該(等)數值可與一醫療類別(諸如一特定病理)有關且提供關於在一影像圖框內存在該醫療類別之概率之資訊。由智慧偵測器系統100處理之影像可為自一醫療程序擷取之儲存於一資料庫或記憶體裝置中以供智慧偵測器系統100後續擷取及處理之影像。在一些實施例中，由智慧偵測器系統100提供之由處理影像產生之輸出可例如包含具有指派至影像之(若干)數字評分且根據(若干)醫療指南被建議後續步驟之一報告。該報告可在完成內窺鏡檢查或其他醫療程序之後產生。報告可包含與在經處理影像中識別之全部所關注特徵有關之資訊。又進一步，在一些實施例中，由智慧偵測器系統100提供之輸出可包含待由醫師鑑於來自醫療程序之影像中之一(若干)所識別之所關注特徵而執行之(若干)經建議動作(例如，執行一活檢，移除一病變，探查/分析一器官之表面/黏膜等)。在一醫療程序期間，智慧偵測器系統100可直接接收來自一醫療影像裝置之視訊或影像圖框，處理該等視訊或影像圖框，且在程序期間或在醫療程序之後立即(即，自無時間至幾分鐘之一短時間間隔)向操作者提供作為關於操作者之(若干)經執行動作之回饋，以及含有多個經量測變量、臨床指數及關於在醫療程序期間觀察到之內容及/或在哪一解剖位置中及/或操作者如何表現/行動之細節之一最終報告。經執行動作可包含根據一醫療指南之一經建議動作或程序，諸如執行一活檢，移除一病變或探查/分析一器官之一表面/黏膜。在一些實施例中，一經建議動作可為基於醫療指南之一組經建議動作之部分。在下文圖1B描述中呈現實施用於即時處理之智慧偵測器系統100之一實例性電腦系統的一詳細描述。
如本文中所揭示，智慧偵測器系統100可在完成一醫療程序之後產生一報告，該報告包含基於局域時空處理模組110、全域時空處理模組120及時間序列分析模組130對經擷取視訊之處理之資訊。報告可包含與在醫療程序期間識別之所關注特徵有關之資訊，以及諸如各影像之(若干)數值或(若干)評分之其他資訊。如所闡釋，該(等)數值可與一醫療類別(諸如一特定病理)有關且提供關於在一影像圖框內存在該醫療類別之概率之資訊。下文參考附圖提供關於智慧偵測器系統100以及局域時空處理模組110、全域時空處理模組120及時間序列分析模組130之操作之進一步細節。
在一些實施例中，藉由系統100產生之報告可包含基於對來自一醫療程序之經儲存影像之處理或對來自該醫療程序之影像之即時處理之(若干)額外經建議動作。該(等)額外經建議動作可包含可能已在一醫療程序期間執行之動作或程序及待在該醫療程序之後執行之動作或程序。該(等)額外經建議動作可為基於醫療指南之一組經建議動作之部分。此外，如上文所描述，系統100可即時處理視訊以向一操作者提供關於在視訊中及在一醫療程序期間正在發生或識別之內容之並發回饋。
藉由智慧偵測器系統100產生之輸出可包含一資訊主頁顯示或類似報告(例如，參見圖10)。資訊主頁可提供醫療程序(例如，一內窺鏡檢查或結腸鏡檢查)之一摘要報告。資訊主頁可提供程序之品質評分及/或其他資訊。評分及/或其他資訊可概述醫療保健專業人員之檢查行為且提供所識別之所關注特徵之資訊(諸如所識別之息肉之數目)。在一些實施例中，藉由系統100產生之資訊經提供及顯示為來自醫療程序之視訊上之一覆疊且因此一操作者可在醫療程序期間或在醫療程序結束之後立即將該資訊作為一擴增視訊饋送之部分來觀看。此資訊可以一些延遲或無延遲提供。
智慧偵測器系統100亦可產生呈一電子檔案、一資料集或資料傳輸之形式之報告。舉實例而言，藉由系統100產生之輸出可遵循一標準化格式及/或整合至諸如電子健康記錄(HER)之記錄中。系統100之輸出亦可符合用於互操作性及隱私之法規(諸如HIPAA)。在一些實施例中，輸出可整合至其他報告中。例如，智慧偵測器系統100之輸出可整合至一患者之一電子醫療或健康記錄中。智慧偵測器系統100可包含用以促進此整合及/或以一標準化資料集或範本之形式提供輸出之一API。標準化範本可包含可填充有藉由智慧偵測器系統100藉由處理來自一醫療程序之輸入視訊或影像圖框而產生之資料值之預定義之形式或表。在一些實施例中，可藉由系統100以一機器可讀格式(諸如一XML檔案)產生報告，以支援其等傳輸或儲存，以及與其他系統及應用程式之整合。在一些實施例中，可以諸如Word、Excel、HTML或PDF檔案格式之其他格式提供報告。在一些實施例中，智慧偵測器系統100可經由一網路(例如，參見圖1A中之網路160)將資料或一報告上載至一伺服器或資料庫。智慧偵測器系統100亦可藉由進行一API呼叫及傳輸輸出資料或一經格式化報告(例如，作為一JSON文件)來傳送至一伺服器或資料庫。
圖10繪示與本發明之實施例一致之具有使用一智慧偵測器系統(諸如智慧偵測器系統100)產生之一輸出摘要1090之一實例性資訊主頁1000。使用智慧偵測器系統100之模組，可產生程序之輸出摘要1090。輸出摘要1090可提供品質評分及/或其他資訊(諸如程序時間、退出時間及清理退出時間)。可為摘要1090之部分之資訊之進一步實例包含執行特定動作(諸如上文所論述之(若干)經建議動作)所花費之時間及在相異解剖位置中所花費之時間。例如，亦可提供與所關注特徵(諸如息肉)有關之資訊。例如，時間序列分析模組130可產生基於在影像圖框中觀察之特性而識別之息肉之數目之一摘要。時間序列分析模組130可彙總藉由使用局域時空處理模組110及全域時空處理模組120處理輸入視訊之影像產生之資訊。摘要資訊主頁1000亦可包含藉由智慧偵測器系統100識別之所關注特徵之視覺描述。例如，一程序之視訊之選定圖框可用圍繞各所識別之所關注特徵之位置之標記物(諸如綠色定界框)來擴增，如在圖框1092、1094及1096中所展示。該等圖框可與結腸之不同經檢查部分(諸如迴盲瓣、孔及三射褶，其等自身可為由智慧偵測器系統100之一使用者請求之所關注特徵)有關。儘管圖10之實例繪示顯示為一單個資訊主頁之部分之一程序之資訊，但可產生具有作為醫療程序之部分檢查之結腸之部分或其他器官之各者之輸出摘要的多個資訊主頁。在一些實施例中，基於作為藉由局域時空處理模組110及全域時空處理模組120產生之多個向量(例如，影像評分向量)接收之輸入產生經組合評分或值。
如上文所揭示，一所關注特徵可與一醫療類別或病理有關。可實施智慧偵測器系統100以處置用以偵測影像中之一或多個醫療類別(即，一或多個所關注特徵)之一請求。在多個所關注特徵之情況下，可針對各醫療類別或所關注特徵實施智慧偵測器系統100之組件之一個例項。如將自本發明瞭解，智慧偵測器系統100之例項可根據系統之速度或處理量要求、待處理之影像之容積及其他要求用硬體、韌體及軟體之任何組合來實施。
在一些實施例中，智慧偵測器系統100之一單個例項可輸出各影像之多個數值，一個數值針對各醫療類別。在一項實例性實施例中，藉由智慧偵測器系統100偵測之病理可包含偵測到結腸黏膜中之息肉。此外，舉實例而言，智慧偵測器系統100可輸出其中藉由智慧偵測器系統100未偵測到一息肉之輸入影像當中之所有影像之一數值(例如，0)且可輸出其中智慧偵測器偵測到至少一個息肉之輸入影像當中之所有影像之另一數值(例如，1)。在一些實施例中，數值可相對於一範圍或比例配置及/或指示存在一息肉或其他所關注特徵之概率。
輸入影像之來源可根據成像裝置、記憶體裝置及/或應用需求而改變。例如，與本文中所揭示之實施例一致，智慧偵測器系統100可經組態以直接處理來自一視訊內窺鏡檢查裝置之一視訊饋送且接收隨後藉由系統處理之依時間排序之輸入影像。舉進一步實例而言，智慧偵測器系統100可經組態以接收來自一資料庫或記憶體裝置之輸入影像，經儲存影像經依時間排序且先前使用一成像裝置(諸如一內窺鏡檢查裝置之一視訊攝影機或一膠囊裝置之一攝影機)擷取。可處理及分析藉由智慧偵測器系統100接收之影像以識別一或多個所關注特徵(諸如一或多種類型之息肉或病變)。
圖1A之實例性系統可在各種環境中且針對各種應用實施。例如，經擷取之輸入影像可儲存於一本端資料庫或記憶體裝置中或其等可藉由智慧偵測器系統100經由一網路自一遠端儲存位置(諸如雲端儲存器)存取及接收。智慧偵測器系統100亦可經組態以處理來自一當前醫療程序之一串流視訊饋送且在(例如，經由預處理及緩衝)自該饋送收集輸入影像時處理該等輸入影像。此外，智慧偵測器系統100之操作可經程式化或觸發以在一或多個條件下開始。例如，智慧偵測器系統100可經組態以在接收輸入影像(例如，經由一視訊饋送或來自記憶體之一經儲存輸入影像集)時或接收來自一使用者之命令時直接分析輸入影像。亦可視需要組態智慧偵測器系統100之輸出。例如，如先前所論述，智慧偵測器系統100可分析一或多個所關注特徵之輸入影像且產生指示經處理影像中存在該一或多個所關注特徵之一報告。該報告可採用資料之一電子檔案、一圖形顯示及/或電子傳輸之形式。如將瞭解，其他輸出及報告格式係在本發明之範疇內。在一些實施例中，不同格式之報告可經預組態且用作範本以用於藉由用由智慧偵測器系統100產生之值填充範本來產生報告。在一些實施例中，報告經格式化以整合至其他報告系統(諸如電子醫療記錄(EMR))中。報告格式可為用於與其他報告系統整合之一機器可讀格式(諸如XML或Excel)。
舉實例而言，智慧偵測器系統100可處理一經記錄視訊或影像且提供詳述在經處理影像中觀察之(若干)所關注特徵之一全自動化報告及/或其他輸出。智慧偵測器系統100可使用人工智慧或機器學習組件來有效及準確地處理輸入影像且基於影像分析及/或時空資訊做出關於所關注特徵之存在之決策。此外，對於所請求或正在研究之各所關注特徵，智慧偵測器系統100可估計其在影像內之存在且提供具有指示該特徵之存在之可能性之資訊及其他細節(諸如自所關注特徵出現之程序或影像序列開始之相對時間、經估計之解剖位置、持續時間、最顯著的影像、此等影像內之位置及/或出現次數)的一報告或其他輸出。
在一項實施例中，智慧偵測器系統100可經組態以在沒有一醫師幫助的情況下自動地判定胃腸病理之存在。如上文所論述，可以不同方式及使用不同類型之成像裝置擷取及接收輸入影像。例如，一視訊內窺鏡檢查裝置或膠囊裝置或其他醫療裝置或其他成像裝置可記錄及提供輸入影像。輸入影像可為一實時視訊饋送之部分或可為自一本端或遠端儲存位置(例如，一本端資料庫或雲端儲存器)接收之經儲存影像集之部分。智慧偵測器系統100可作為一診所或醫院處之一程序或服務之部分操作，或其可提供為讓最終使用者實現自我診斷或遠端測試之一線上或雲端服務。
舉實例而言，為開始一檢查程序，一使用者可攝取一膠囊裝置或膠囊內鏡(pill cam)。膠囊裝置可包含一成像裝置且在程序期間將使用者之胃腸道之影像無線地傳輸至一智慧型電話、平板電腦、膝上型電腦、電腦或其他裝置(例如，使用者裝置170)。接著可藉由至一資料庫、雲端儲存器或其他儲存裝置(例如，影像源150)之一網路連接上載經擷取影像。智慧偵測器系統100可接收來自影像源之輸入影像且針對一或多個所請求之所關注特徵(例如，息肉或病變)分析影像。接著可將一最終報告作為輸出電子地提供給使用者及/或其等醫師。報告可包含各經觀察之所關注特徵之一評分或概率指示項及/或其他相關資訊或醫療建議。此外，智慧偵測器系統100可偵測與一所關注特徵有關且作為該所關注特徵之一指示項之病理生理特性且對經判定為存在之彼等特性進行評分。此等特性之實例包含出血、炎症、潰瘍、腫瘤組織等。此外，回應於(若干)經偵測之所關注特徵，報告可包含基於醫療指南之資訊或建議，舉例而言，諸如咨詢一醫師及/或進行額外診斷檢查之建議。基於藉由智慧偵測器系統100與醫療程序即時進行或在完成醫療程序之後進行之影像分析，亦可向醫師建議一或多個動作(例如，執行一活檢，移除一病變，探查/分析一器官之表面/黏膜等)。
舉另一實例而言，智慧偵測器系統100可幫助一醫師或專家分析在一醫療程序或檢查期間記錄之視訊內容。經擷取影像可為在(例如)一胃鏡檢查、一結腸鏡檢查或一腸鏡檢查程序期間記錄之視訊內容之部分。基於藉由智慧偵測器系統100執行之分析，可向醫師或專家顯示完整視訊記錄以及一彩色時間表列，其中不同色彩對應於(若干)不同所關注特徵及/或(若干)所識別之所關注特徵之評分。
舉又進一步實例而言，一醫師、專家或其他個體可使用智慧偵測器系統100藉由聚焦於具有(若干)所要所關注特徵之影像且摒棄不相關影像圖框來建立視訊記錄或影像集之一概要。智慧偵測器系統100可經組態以容許一醫師或使用者基於一總持續時間及/或其他參數(諸如在具有(若干)選定所關注特徵之圖框之一序列之前及之後的預設前後時間)來調諧或選擇用於偵測之(若干)所關注特徵及各概要之持續時間。智慧偵測器系統100亦可經組態以根據(若干)所請求之所關注特徵來組合所有或最相關的圖框。
如圖1A中所繪示，智慧偵測器系統100可包含一局域時空處理模組110、一全域時空處理模組120、一時間序列分析模組130及一任務管理器140。此等組件可透過硬體、軟體及/或韌體之任何合適組合實施。此外，可修改此等組件之數目及配置且將瞭解，圖1A之實例性實施例係出於圖解說明目的提供且不限制本發明及其實施例之範疇。下文(包含參考圖1B及圖3A至圖3C)提供與此等組件有關之進一步實例性特徵及細節。
再次參考圖1A之實例性實施例，局域時空處理模組110可經組態以藉由處理一輸入視訊或輸入影像集之(若干)影像子集來提供一局域視角。局域時空處理模組110可選擇(若干)影像子集且處理影像以基於與一或多個所關注特徵有關之特性之經判定存在來產生評分。例如，假定一內窺鏡檢查輸入視訊V包含T個影像圖框之一集合。特性可定義由智慧偵測器系統100之一使用者請求之所關注特徵。例如，特性可包含一所關注特徵之物理及/或生物態樣(諸如大小、定向、色彩、形狀等)。特性亦可包含後設資料，諸如識別一視訊之一部分或一視訊中之時間段之資料。例如，一結腸鏡檢查程序視訊之特性可識別結腸之(若干)部分，諸如升結腸、橫結腸或降結腸。在另一實例中，特性可與一內窺鏡檢查程序視訊之一或多個部分(諸如影像中之運動量、一儀器之存在或具有減少之運動之一片段之持續時間)有關。定義內容之特性亦可指示一醫師、臨床醫師或執行一醫療程序之其他個體之行為。例如，具有無移動之最長停頓或探查一器官之表面之最大時間之視訊之部分。在一些實施例中，特性可為一所關注特徵。例如，一結腸鏡檢查程序視訊之所關注特徵及特性可為結腸之一部分，諸如升結腸、橫結腸或降結腸。
局域時空處理模組110可經組態以藉由反覆遍歷N個影像圖框之循序批次或子集來以塊處理整個輸入視訊。局域時空處理模組110亦可經組態以提供包含表示各影像圖框中之(若干)所關注特徵之經判定特性之向量或品質評分之輸出。在一些實施例中，局域時空處理模組110可輸出與各影像圖框相關聯之品質值及分割圖。下文參考圖3A實施例提供與局域時空處理模組110有關之進一步實例性細節。
藉由局域時空處理模組110處理之影像子集可包含共用或重疊影像。此外，影像子集之大小或配置可基於一或多個因素來定義或控制。例如，影像子集之大小或容積可由一醫師或系統之其他使用者來組態。舉進一步實例而言，局域時空處理模組110可經組態使得基於(若干)所請求之所關注特徵動態地判定影像子集之大小或容積。此外或替代性地，可基於與(若干)所請求之所關注特徵有關之經判定特性動態地判定影像子集之大小。
全域時空處理模組120可經組態以藉由處理藉由局域時空處理模組110分析之所有(若干)影像子集來提供一全域視角。例如，全域時空處理模組120可藉由同時或一起處理局域時空處理模組110之所有輸出來處理整個輸入視訊或輸入影像集。此外，全域時空處理模組120可經組態以藉由處理與(若干)所關注特徵有關之經判定特性之向量來提供包含各影像圖框之數字評分之輸出。在一些實施例中，全域時空處理模組120可處理影像及向量且輸出各影像之經精緻化之品質評分及分割圖。下文參考圖3B實施例提供與全域時空處理模組120有關之進一步實例性細節。
時間序列分析模組130使用藉由局域時空處理模組110判定且藉由全域時空處理模組120精緻化之關於影像之資訊以輸出一數字評分以指示由智慧偵測器系統100之一使用者請求之一或多個所關注特徵之存在。例如，時間序列分析模組130可經組態以使用藉由局域時空處理模組110判定之與(若干)所關注特徵有關之特性之空間及時間資訊以對輸入視訊或影像執行時間序列分析。下文參考圖3C實施例提供與時間序列分析模組130有關之進一步實例性細節。
任務管理器140可幫助管理由智慧偵測器系統100之使用者所請求之各種任務。一任務可與一所請求或所需之所關注特徵及/或一所關注特徵之特性有關。一或多個特性及所關注特徵可為供智慧偵測器系統100處理之各任務之部分。任務管理器140可幫助管理用於一輸入影像集中之多個所關注特徵之偵測之任務。任務管理器140可判定智慧偵測器系統100之組件(例如，局域時空處理模組110、全域時空處理模組120及時間序列分析模組130)之例項之數目。下文參考下面圖6及圖7描述提供處置偵測所關注特徵之多個任務請求之方式的進一步實例性細節。
智慧偵測器系統100可經由網路160接收來自影像源150之輸入視訊或影像集以進行處理。在一些實施例中，智慧偵測器系統100可直接接收來自另一系統(諸如用於在執行一醫療程序(例如，結腸鏡檢查)時擷取視訊之一醫療儀器或系統)之輸入視訊。在處理影像之後，可經由網路160共用經偵測之所關注特徵之報告。如本文中所揭示，報告可經電子地傳輸且採用不同形式(諸如電子檔案、顯示及資料)。在一些實施例中，報告係作為檔案發送至使用者裝置170及/或在使用者裝置170處顯示。取決於系統需求及環境，網路160可採用各種形式。例如，網路160可包含或利用網際網路、一有線廣域網路(WAN)、一有線區域網路(LAN)、一無線WAN (例如，WiMAX)、一無線LAN (例如，IEEE 802.11等)、一網狀網路、一行動/蜂巢式網路、一企業或私人資料網路、一儲存區域網路、使用一公用網路之一虛擬私人網路及/或其他類型之網路通訊之任何組合。在一些實施例中，網路160可包含一內部部署(例如，LAN)網路，而在其他實施例中，網路160可包含一虛擬化、遠端及/或雲端網路(例如，AWS™、Azure™、IBM Cloud™等)。此外，在一些實施例中，網路160可為一混合內部部署及虛擬化、遠端及/或雲端網路，包含一或多種類型之網路架構之組件。
使用者裝置170可將與輸入視訊或影像中之(若干)所關注特徵有關之請求發送至智慧偵測器系統100及接收來自智慧偵測器系統100之輸出(例如，報告或資料)。使用者裝置170可控制或直接提供輸入視訊或影像至智慧偵測器系統100以進行處理，包含藉由指令、命令、(若干)視訊或影像集檔案下載及/或至儲存位置(例如，影像源150)之(若干)儲存鏈路。使用者裝置170可包括一智慧型電話、膝上型電腦、平板電腦、電腦及/或其他運算裝置。使用者裝置170亦可包含用以擷取用於處理之視訊或影像之一成像裝置(例如，一視訊或數位攝影機)。例如，在膠囊檢查程序之情況下，使用者裝置170包含由使用者攝取且引起輸入視訊或影像被擷取且直接串流傳輸至智慧偵測器系統100或儲存於影像源150中且隨後藉由系統100經由網路160下載及接收的一膠囊內鏡或類似物。接著經由網路160將影像處理之結果作為來自智慧偵測器系統100之輸出提供至使用者裝置170。
醫師裝置180亦可用於將與輸入視訊或影像中之(若干)所關注特徵有關之請求發送至智慧偵測器系統100及接收來自智慧偵測器系統100之輸出(例如，報告或資料)。類似於使用者裝置170，醫師裝置180可控制或直接提供輸入視訊或影像至智慧偵測器系統100以進行處理，包含藉由指令、命令、(若干)視訊或影像集檔案下載及/或至儲存位置(例如，影像源150)之(若干)儲存鏈路。醫師裝置180可包括一智慧型電話、膝上型電腦、平板電腦、電腦及/或其他運算裝置。醫師裝置180亦可包含用以擷取用於處理之視訊或影像之一成像裝置(例如，一視訊或數位攝影機)。例如，在視訊內窺鏡檢查之情況下，醫師裝置180可包含具有在一患者之檢查期間擷取影像之一成像裝置之一結腸鏡檢查探針或類似物。經擷取視訊可作為輸入視訊串流傳輸至智慧偵測器系統100或儲存於影像源150中且隨後藉由系統100經由網路160下載及接收。在一些實施例中，醫師裝置180可接收用於進一步檢視具有所關注特性之影像圖框之一通知。接著經由網路160將影像處理之結果作為來自智慧偵測器系統100之輸出(例如，呈檔案或數位顯示之形式之電子報告或資料)提供至使用者裝置170。
影像源150可包含用於至智慧偵測器系統100之輸入視訊或影像之一儲存位置或其他來源。影像源150可包括硬體、軟體及韌體之任何合適組合。例如，影像源150可包含一運算裝置、一伺服器、一資料庫、一記憶體裝置、一網路通訊硬體及/或其他裝置之任何組合。舉實例而言，影像源150可包含用以儲存自使用者裝置170及醫師裝置180接收之輸入視訊或影像集之一資料庫、記憶體或儲存器(例如，圖2之儲存器220)。影像源150儲存器可包含使用CPU (例如，圖2之處理器230)存取之檔案儲存器及/或資料庫。舉進一步實例而言，影像源150亦可包含可經由網路160存取之雲端儲存器，諸如AMAZON™ S3、Azure™ Storage、GOOGLE™雲端儲存器。
在圖1A之實例性系統中，影像源150、使用者裝置170及醫師裝置180可在彼此本端或遠端且可經由有線或無線通訊(包含經由網路通訊)彼此通訊。取決於系統實施方案之應用及需求，裝置亦可在智慧偵測器系統100本端或遠端。此外，雖然影像源150、使用者裝置170及醫師裝置180在圖1A中展示為與智慧偵測器系統100分離，但此等裝置之一或多者可在系統100本端或提供為部分系統100。又，一些或部分網路160可在系統100本端或為系統100之部分。此外，將瞭解，圖1A中之組件及裝置之數目及配置係出於圖解說明目的提供且並不旨在限制本發明或其所揭示實施例。
儘管本發明之實施例在本文中大體上參考醫療影像分析及內窺鏡檢查進行描述，但將瞭解，該等實施例可應用於其他醫療影像程序，諸如胃鏡檢查、結腸鏡檢查及腸鏡檢查。此外，本發明之實施例可針對其他影像擷取及分析環境及系統(諸如用於或包含LIDAR、監控、自動駕駛及其他成像系統之彼等)實施。
根據本發明之一態樣，提供用於智慧地處理輸入視訊或影像集且判定與其有關之所關注特徵及特性之存在的一電腦實施系統。如本文中進一步揭示，該系統(例如，智慧偵測器系統100)可包含經組態以儲存指令之至少一個記憶體(例如，一ROM、RAM、本端記憶體、網路記憶體等)及經組態以執行指令之至少一個處理器(例如，(若干)處理器230) (例如，參見圖1及圖2)。使用該至少一個處理器，系統可處理藉由一醫療成像系統(諸如在一內窺鏡檢查、一胃鏡檢查、一結腸鏡檢查或一腸鏡檢查程序期間使用之彼等)擷取之輸入視訊或一影像集。此外或替代性地，影像圖框可包括醫療影像，諸如一胃腸器官或其他器官或人體組織區域之影像。
如本文中所使用，術語「影像圖框」或「影像」係指由一成像裝置擷取之一場景或視野之任何數位表示。數位表示可以任何適當格式編碼，諸如聯合圖像專家組(JPEG)格式、圖形交換格式(GIF)、位元映射格式、可縮放向量圖形(SVG)格式、囊封幕後排版(EPS)格式或類似者。類似地，術語「視訊」係指依序包括複數個影像之一所關注場景或區域之任何數位表示。一視訊之數位表示可以任何適當格式編碼，諸如一動畫專家組(MPEG)格式、一快閃視訊格式、一音訊影片交錯(AVI)格式或類似者。在一些實施例中，一輸入視訊之影像序列可與音訊配對。如將自本發明瞭解，本發明之實施例不限於處理具有序列化或依時間排序之影像圖框之輸入視訊，而是亦可處理依序或依時間排序地擷取之經串流傳輸或儲存之影像集。因此，術語「輸入視訊」及「(若干)影像集」應被視為可互換的且不限制本發明之範疇。
如本文中所揭示，一影像圖框或影像可包含一所關注特徵(即，一異常或其他所關注物件)之表示。例如，所關注特徵可包括人體組織上或人體組織之一異常。在非醫療程序之其他實施例中，所關注特徵可包括一物件，諸如一車輛、人或其他實體。
根據本發明，一「異常」可包含人體組織上或人體組織之一形成、人體組織自一種類型之細胞至另一類型之細胞之一變化，及/或來自預期人體組織之一位置之人體組織之不存在。例如，一腫瘤或其他組織生長可包括一異常，因為存在比預期更多之細胞。類似地，一瘀傷或細胞類型之其他變化可包括一異常，因為血細胞存在於預期位置之外之位置(即，毛細血管之外)。類似地，人體組織中之一凹入部可包括一異常，因為細胞不存在於一預期位置中，從而導致該凹入部。
在一些實施例中，一異常可包括一病變。病變可包括胃腸黏膜之病變。病變可在組織學上分類(例如，根據窄帶成像國際結直腸內窺鏡(NICE)或維也納分類)、在形態上分類(例如，根據巴黎分類)及/或在結構上分類(例如，分類為鋸齒狀或非鋸齒狀)。巴黎分類包含息肉樣病變及非息肉樣病變。息肉樣病變可包括突出、帶蒂及突出，或無柄病變。非息肉樣病變可包括淺表隆起、扁平、淺表淺凹入或凹陷性病變。關於偵測作為所關注特徵之異常，鋸齒狀病變可包括無柄鋸齒狀腺瘤(SSA)；傳統鋸齒狀腺瘤(TSA)；增生性息肉(HP)；成纖維細胞息肉(FP)；或混合息肉(MP)。根據NICE分類系統，一異常被劃分為如下三種類型：(類型1)無柄鋸齒狀息肉或增生性息肉；(類型2)習知腺瘤；及(類型3)具有深度黏膜下層入侵之癌症。根據維也納分類，一異常被劃分為如下五個類別：(類別1)腫瘤/發育不良陰性；(類別2)腫瘤/發育不良不明確；(類別3)非侵襲性低侵犯性腫瘤(低侵犯性腺瘤/發育不良)；(類別4)黏膜高侵犯性腫瘤，諸如高侵犯性腺瘤/發育不良、非侵襲性癌(原位癌)，或懷疑為侵襲性癌；及(類別5)侵襲性腫瘤、黏膜內癌、黏膜下層癌或類似者。此等實例及其他類型之異常係在本發明內。亦將瞭解，智慧偵測器系統100可經組態以偵測其他類型之所關注特徵(包含用於醫療及非醫療程序)。
圖1B係與本發明之實施例一致之用於處理即時視訊之實施圖1A之智慧偵測器系統100之一實例性電腦實施系統的一示意性表示。如圖1B中所展示，系統190包含一影像裝置192及一操作者191，操作者191透過自操作者191發送至影像裝置192之控制信號操作及控制影像裝置192。舉實例而言，在其中視訊饋送包括一醫療視訊之實施例中，操作者191可為一醫師或其他醫療保健專業人員。影像裝置192可包括一醫療成像裝置，諸如一內窺鏡檢查成像裝置，或產生一人體/組織/器官或其一部分之視訊或一或多個影像之其他醫療成像裝置。影像裝置192可為醫師裝置180 (如圖1A中所展示)之部分，產生儲存於影像源150中之視訊。操作者191可藉由尤其控制影像裝置192之一擷取或圖框率及/或影像裝置192 (例如)通過或相對於一患者或個體之人體之一移動或導覽來控制影像裝置192。在一些實施例中，影像裝置192可包括一可吞嚥膠囊裝置或另一形式之膠囊內窺鏡檢查裝置，如相對於透過人體之一腔插入之一內窺鏡檢查成像裝置。
在圖1B之實例中，影像裝置192可將經擷取視訊作為複數個影像圖框直接傳輸至一運算裝置193。運算裝置193可包括記憶體(包含一或多個緩衝器)及用以處理視訊或影像之一或多個處理器，如上文及本文中所描述(例如，參見圖2)。在一些實施例中，處理器之一或多者可實施為並非為運算裝置193之部分但與其進行網路(例如，圖1A之網路160)通訊之(若干)分開之組件(未展示)。在一些實施例中，運算裝置193之一或多個處理器可實施一或多個網路(諸如經訓練神經網路)。神經網路之實例包含一物件偵測網路、一分類偵測網路、一位置偵測網路、一大小偵測網路或一圖框品質偵測網路，如本文中進一步描述。運算裝置193可直接接收及處理來自影像裝置192之複數個影像圖框。在一些實施例中，運算裝置193可使用預處理及/或並行處理及緩衝來即時處理視訊或影像，此處理及緩衝之位準取決於經接收視訊或影像之圖框率及運算裝置193之一或多個處理器或模組之處理速度。如將瞭解，相對於圖框率之良好匹配之處理及緩衝能力將實現即時處理及輸出。此外，在一些實施例中，為了控制或指示建立一或多個擴增視訊作為輸出，可在運算裝置193與操作者191之間交換控制或資訊信號，擴增視訊包含增添提供關於所識別之所關注特徵之資訊及由運算裝置193產生之其他回饋之一覆疊(圖形、符號、文字等)以幫助醫師或操作者執行醫療程序的原始視訊。關於經交換之控制或資訊信號，其等可作為資料透過影像裝置192或直接自操作者191傳送至運算裝置193。控制及資訊信號之實例包含用於控制運算裝置193之組件(諸如一物件偵測網路、一分類偵測網路、一位置偵測網路、一大小偵測網路或一圖框品質偵測網路，如本文中所描述)之信號。
在圖1B之實例中，運算裝置193可處理及擴增使用一或多個模組(諸如智慧偵測器系統100之模組110至140)自影像裝置192接收之視訊且接著將擴增視訊傳輸至一顯示裝置194。擴增視訊可提供(例如)所識別息肉及由操作者191在一醫療程序(諸如內窺鏡檢查或結腸鏡檢查)期間或結束時所採取之動作之一即時回饋及報告。視訊擴增或修改可包括在視訊圖框中或與視訊圖框一起提供一或多個覆疊、文數字字元、文字、描述、形狀、圖式、影像、動畫影像及/或其他合適圖形表示。視訊擴增可提供與所關注特徵有關之資訊，諸如分類、大小、所執行動作及/或位置資訊。此外或替代性地，視訊擴增可提供與藉由運算裝置193根據一醫療指南識別之一或多個經建議動作有關之資訊。為幫助一醫師或操作者且減少錯誤，將瞭解，藉由運算裝置193產生之資訊、報告及資料之範疇及類型可類似於上文針對智慧偵測器系統100所描述之範疇及類型。因此，參考針對系統100提供之以上實例。
如在圖1B中進一步描繪，運算裝置193亦可經組態以將原始、未擴增視訊自影像裝置192直接中繼至顯示裝置194。例如，運算裝置193可在預定條件下執行一直接中繼，諸如在不存在待產生之覆疊或其他擴增或影像裝置192被關閉時。在一些實施例中，若操作者191將作為一控制信號之部分之一命令傳輸至運算裝置193以執行直接中繼，則運算裝置193可執行一直接中繼。來自操作者191之命令可藉由包含於一操作者裝置及/或一輸入裝置(未展示)上之(若干)按鈕及/或(若干)鍵之操作產生，諸如一滑鼠點擊、一游標懸停、一滑鼠經過、一按鈕按壓、一鍵盤輸入、一語音命令、在虛擬或擴增實境中執行之一互動，或任何其他輸入。
為擴增視訊，運算裝置193可處理來自影像裝置192之視訊且建立一經修改視訊串流以發送至顯示裝置194。經修改視訊可包括具有待經由顯示裝置194向操作者顯示之擴增資訊之原始影像圖框。顯示裝置194可包括用於顯示視訊或經修改視訊之任何合適顯示器或類似硬體，諸如一LCD、LED或OLED顯示器、一擴增實境顯示器或一虛擬實境顯示器。
圖2繪示結合實施圖1A之實例性系統及本發明之其他實施例而可採用之一實例性運算裝置200。運算裝置200可結合圖1A之實例性系統(例如，包含系統100及裝置150、170及180)之一或多個組件之實施方案來使用。在一些實施例中，運算裝置200可包含多個子系統，諸如雲端運算系統、伺服器及/或用於接收及處理輸入視訊及影像之任何其他合適組件。
如圖2中所展示，運算裝置200可包含一或多個處理器230，例如，一或多個處理器230可包含一或多個積體電路(IC)，包含特定應用積體電路(ASIC)、微晶片、微控制器、微處理器、一中央處理單元(CPU)、圖形處理單元(GPU)、數位信號處理器(DSP)、場可程式化閘陣列(FPGA)、伺服器、虛擬伺服器或適於執行指令或執行邏輯運算之其他電路之全部或部分，如上文所提及。在一些實施例中，(若干)處理器230可包含用一或多個處理器實施之一較大處理單元或可為該較大處理單元之一組件。一或多個處理器230可用通用微處理器、微控制器、數位信號處理器(DSP)、場可程式化閘陣列(FPGA)、可程式化邏輯裝置(PLD)、控制器、狀態機、閘控邏輯、離散硬體組件、專用硬體有限狀態機，或可執行資料或資訊之計算或其他操縱之任何其他合適實體之任何組合來實施。
如圖2中進一步展示，(若干)處理器230可經由一匯流排或網路250通訊地連接至一記憶體240。匯流排或網路250可經調適以傳送資料及其他形式之資訊。記憶體240可包含含有指令之一記憶體部分245，該等指令在藉由(若干)處理器230執行時，執行本文中詳細描述之操作及方法。記憶體240亦可用作(若干)處理器230之一工作記憶體、一暫時儲存器及其他記憶體或儲存角色，視情況而定。舉實例而言，記憶體240可為一揮發性記憶體，諸如(但不限於)隨機存取記憶體(RAM)，或非揮發性記憶體(NVM)，諸如(但不限於)快閃記憶體。
(若干)處理器230亦可經由匯流排或網路250通訊地連接至一或多個I/O裝置210。I/O裝置210可包含任何類型之輸入及/或輸出裝置或周邊裝置，包含鍵盤、滑鼠、顯示裝置等。I/O裝置210可包含一或多個網路介面卡、API、資料埠及/或用於支援經由網路250與(若干)處理器230之連接性之其他組件。
如圖2中進一步展示，(若干)處理器230及運算裝置200之其他組件(210、240)可通訊地連接至一資料庫或儲存器220。儲存器220可以一經組織格式、結構或檔案集電子地儲存資料(例如，輸入視訊或影像集，以及報告及其他輸出資料)。儲存器220可包含用以促進資料儲存及擷取之一資料庫管理系統。雖然在圖2中繪示為一單個裝置，但應理解，儲存器220可包含經並置或分佈之多個資料庫或儲存裝置。在一些實施例中，儲存器220可整個或部分實施為一遠端網路(諸如一雲端儲存器)之部分。
(若干)處理器230及/或記憶體240亦可包含用於儲存軟體或指令集之機器可讀媒體。如本文中所使用之「軟體」廣義上係指任何類型之指令，無論指代軟體、韌體、中間軟體、微碼、硬體描述語言或其他。指令可包含程式碼(例如，呈原始程式碼格式、二進制碼格式、可執行程式碼格式或任何其他合適程式碼格式)。指令在藉由一或多個處理器230執行時，可引起該(等)處理器執行本文中進一步詳細描述之各種操作及功能。
運算裝置200之實施方案並不限於圖2中所展示之實例性實施例。可修改及重新配置組件(210、220、230、240)之數目及配置。此外，雖然在圖2中未展示，但運算裝置200可與包含網際網路、一區域網路、一廣域網路、一都會區域網路及能夠實現運算架構之元件之間的通訊之其他網路之(若干)其他網路電子通訊。又，運算裝置200可自任何來源(包含儲存器220以及自(若干)網路或(若干)其他資料庫)擷取本文中所描述之資料或其他資訊。此外，運算裝置200可包含用於實施神經網路及本文中所描述之其他模組之一或多個機器學習模型且可擷取或接收機器學習模型之權重或參數、訓練資訊或訓練回饋及/或本文中所描述之任何其他資料及資訊。
圖3A係與本發明之實施例一致之一實例性局域時空處理模組之一方塊圖。圖3A之實施例可用於實施圖1A之實例性智慧偵測器系統100之局域時空處理模組110或其他電腦實施系統(諸如圖1B中之運算裝置193)。如圖3A中所繪示，局域時空處理模組110包含數個組件，包含一取樣器311、一編碼器312、一遞歸神經網路(RNN) 313、一時間卷積網路(TCN) 314、一品質網路315及一分割網路316。此等組件可用硬體、軟體及韌體之任何合適組合實施且用於選擇及處理影像子集。局域時空處理模組110可使用N個影像圖框(其中N＞=1)之批次作為輸入對整個輸入視訊或影像集(具有T個影像圖框)反覆地應用各種網路。此等影像圖框可為連續的且以一固定速率自輸入視訊或影像集取樣。
取樣器311可選擇影像圖框以藉由局域時空處理模組110之其他組件進行處理。在一些實施例中，取樣器311可在一設定時段內緩衝一輸入視訊或影像集且提取緩衝中之影像圖框作為供模組110處理之影像子集。在一些實施例中，取樣器311可容許圖框數目或影像子集之大小之組態選擇用於藉由局域時空處理模組110處理。例如，取樣器311可經組態以接收設定或調諧圖框之數目或影像子集之大小以進行處理之使用者輸入。此外或替代性地，取樣器311可經組態以基於其他因素(諸如用於處理之(若干)所請求之所關注特徵及/或與(若干)所關注特徵有關之特性)自動地選擇影像圖框之數目或影像子集之大小。在一些實施例中，經取樣影像之量或大小可基於視訊之圖框率(24 FPS、30 FPS、60 FPS及120 FPS)。例如，取樣器311可在一設定時段內週期性地緩衝由智慧偵測器系統100接收之一即時視訊串流以自經緩衝視訊提取影像。舉進一步實例而言，可緩衝來自一膠囊內鏡或其他成像裝置之一影像串流且可自該緩衝提取用於藉由系統100處理之影像。在一些實施例中，取樣器311可基於其他因素(諸如視訊品質、視訊長度、與(若干)所請求之所關注特徵有關之特性及/或(若干)所關注特徵)對影像進行選擇性地取樣。在一些實施例中，取樣器311可基於在執行由智慧偵測器系統100之一使用者請求之一任務時所涉及之局域時空處理模組110之組件對影像圖框進行取樣。例如，使用一3D編碼器網路之編碼器312可需要多個影像來建立要編碼之內容之一三維結構。
編碼器312可判定與作為由智慧偵測器系統100之一使用者所請求之一任務之部分之各所關注特徵有關之特性的存在。對於影像分析，可使用一經訓練卷積神經網路實施編碼器312。智慧偵測器系統100可包含含有非本端層作為編碼器312之一2D編碼器及一3D編碼器。編碼器312可由多個卷積殘餘及完全連接之層組成。取決於待偵測之特性及所關注特徵，編碼器312可選擇一2D或3D卷積編碼器。編碼器312可經訓練以偵測一影像中之特性，該等特性係偵測影像圖框中之(若干)所請求之所關注特徵所需的。如本文中所揭示，智慧偵測器系統100可使用編碼器312處理影像及偵測與(若干)所關注特徵有關之所要特性。智慧偵測器系統100可基於編碼器312之經訓練網路及(若干)所關注特徵之過去判定來判定所要特性。
如圖3A中所展示，局域時空處理模組110亦可配備有遞歸神經網路(RNN) 313。RNN 313可與編碼器312一起工作以判定與(若干)所關注特徵有關之所要特性之存在。在一些實施例中，時間卷積網路(TCN) 314亦可用於幫助偵測一輸入視訊之各影像圖框中之此等特性。TCN係可處置影像序列(諸如作為來自一來源(例如，圖1A之影像源150或圖1B中之影像裝置192)之一輸入視訊之圖框之依時間排序之影像集)之專門卷積神經網路。TCN可處理經緩衝以由局域處理模組110處理之一輸入視訊之所有影像圖框之一影像子集或由全域處理模組120處理之輸入視訊之所有影像。TCN可在一完全連接之卷積網路中使用因果卷積來處理循序資料。
RNN 313係具有內部回饋連接及用於判定影像圖框中之時空資訊之一內部記憶體狀態之人工神經網路。在一些實施例中，RNN 313可包含用以改良其在由取樣器311選擇之經緩衝影像圖框中在空間及/或時間上分開地彙總時空資訊之能力的本端層。RNN 313可經組態以關聯與一所請求之所關注特徵有關之各所要特性之一評分(例如，在0與1之間)。該評分指示一影像中存在所要特性之可能性，其中0為最不可能的且1為一最大可能性。
如圖3A中所展示，局域時空處理模組110可包含額外組件(諸如一品質網路315及一分割網路316)以進一步幫助識別偵測經處理影像中之所關注特徵所需之特性。例如，品質網路315可實施為由改良指派至影像圖框之最終評分之若干卷積層及若干完全連接層組成之一神經網路。例如，品質網路315可濾除具有一低特性評分之影像圖框。品質網路315亦可基於各影像圖框之經判定特性產生特徵向量。各特徵向量可提供表示為指示圖框影像品質之一序數[0, R]之一品質評分，其中0為最小品質，R為最大品質。品質網路315可針對一影像中未偵測到之彼等特性自動地設定0之一品質評分。
分割網路316可處理影像以針對各輸入影像運算一分割遮罩以提取該影像之一片段(包含與一所關注特徵有關之特性)。一分割遮罩可為具有相同於或小於輸入影像解析度之一解析度之一逐像素二元遮罩。分割網路316可實施為包含多個卷積殘餘層及多個跳躍連接之一深度卷積神經網路。包含於一分割網路中之層數目及層類型可基於特性或所請求之所關注特徵。在一些實施例中，具有多個層之一單個模型可處置編碼器312及分割網路316之任務。例如，一單個模型可為具有一ResNet編碼器之一U-Net模型。
舉實例而言，分割網路316可獲取具有維度W x H之一影像作為輸入且返回由具有維度W’ x H’之一矩陣表示之一分割遮罩，其中W’小於或等於W且H’小於或等於H。輸出矩陣中之各值表示特定影像圖框座標含有與所請求之所關注特徵相關聯之特性之概率。在一些實施例中，智慧偵測器系統100可產生用於多個所關注特徵之多個輸出矩陣。多個矩陣可在維度上變化。
圖3B係與本發明之實施例一致之一實例性全域時空處理模組之一方塊圖。圖3B之實施例可用於實施圖1A之實例性智慧偵測器系統100之全域時空處理模組120或其他電腦實施系統(諸如圖1B中之運算裝置193)。全域時空處理模組120可修改或精緻化自局域時空處理模組110獲得之輸出。因此，全域時空處理模組120可經組態以在局域時空處理模組110處理經由網路160自(例如)影像源150獲得之輸入視訊之所有影像子集之後一起處理完整影像集。舉實例而言，全域時空處理模組120處理藉由局域時空處理模組110處理之完整影像集之輸出以藉由精緻化及過濾具有經判定特性或所關注特徵之影像中之離群值來修改其輸出。在一些實施例中，全域時空處理模組120可精緻化藉由品質網路315及分割網路316產生之品質評分及分割遮罩。
全域時空處理模組120可使用一或多個非因果時間卷積網路(TCN) 321來精緻化經判定特性之評分。全域時空處理模組120可使用包含為TCN 321之擴張卷積網路來處理藉由局域時空處理模組110處理之所有影像之輸出。此等擴張卷積網路有助於在不增加網路深度(層數目)或核心大小的情況下增加接受域且可一起用於多個影像。
如本文中進一步所揭示，TCN 321可檢視使用局域時空處理模組110提取之特徵K x T’之整個時間序列。TCN 321可獲取K x T’維度之特徵之矩陣作為輸入且返回長度T”之純量值之一或多個時間序列。
全域時空處理模組120可精緻化藉由品質網路使用一或多種信號處理技術(諸如低通濾波器及高斯平滑化)產生之品質評分。在一些實施例中，全域時空處理模組120可精緻化藉由分割網路316使用一系列形態運算產生之分割遮罩。全域時空處理模組120藉由使用關於藉由編碼器312結合RNN 313及因果TCN 314識別之跨輸入影像之經判定特性之形狀及分佈的先驗資訊來精緻化用於分割之二元遮罩。
TCN 321可處理完整視訊或輸入影像集且因此需要等待局域時空處理模組110來完成處理個別影像圖框。為適應此要求，可在訓練局域時空處理模組110中之網路之後訓練TCN 321。TCN 321之層之數目及架構係取決於由智慧偵測器系統100之一使用者所請求之偵測(若干)特定所關注特徵之(若干)任務。可基於分配給系統之(若干)所請求之所關注特徵來訓練TCN 321。TCN 321之一訓練演算法可針對各此任務或所關注特徵調諧TCN 321之參數。
舉實例而言，智慧偵測器系統100可藉由首先使用局域時空處理模組110針對訓練集415中之各視訊運算K維時間序列及應用一基於梯度下降之最佳化來估計TCN 321參數以最小化損失函數L (s, s’)來訓練TCN 321，其中s係評分之經估計輸出時間序列，且s’係真實數據時間序列。智慧偵測器系統100可使用(例如)均方誤差(MSE)、交叉熵及/或Huber損失來計算s與s’之間的距離。
類似於其他神經網路之訓練程序，當訓練TCN 321以改良其能力及結果時，可使用擴增資料、學習率調諧、標記平滑化及/或批次訓練。
智慧偵測器系統100可藉由調諧組件110至130之超參數來適應一特定要求。在一些實施例中，智慧偵測器系統100可藉由增添或移除組件110至130或組件110至130之特定部分來修改管線之標準架構以處理輸入視訊或影像集。例如，若智慧偵測器系統100需要解決一非常局域的任務，則其可放棄在全域時空處理模組120中使用TCN 321以避免對藉由局域時空處理模組110產生之輸出進行任何全域時空處理。舉另一實例而言，若智慧偵測器系統100之一使用者請求一擴散任務，則可自局域時空處理模組110移除RNN 313及/或TCN 314。智慧偵測器系統100可藉由自用於處理輸入視訊或影像以偵測所請求之病理之管線撤銷啟動相關網路來移除全域時空處理模組120或局域時空處理模組110之一些RNN 313及TCN 314。
系統之其他配置或實施方案亦係可能的。例如，當用於偵測所關注特徵之所請求任務不處理影像之影像圖框中之焦點物件時，分割網路316可為不必要的且自管線丟棄。舉另一實例而言，當所有影像圖框被視為有用的時，品質網路315可為不必要的且經撤銷啟動。例如，當輸入視訊之圖框率為低或具有太多具有錯誤之影像圖框時，智慧偵測器系統100可藉由使用品質網路315來避免進一步過濾影像圖框。如將自本發明瞭解，智慧偵測器系統100可預處理輸入視訊或影像及/或對其進行取樣以判定需要在作用中且作為局域時空處理模組110及全域時空處理模組120之部分訓練之組件。
圖3C係與本發明之實施例一致之一實例性時間序列分析模組之一方塊圖。圖3C之實施例可用於實施圖1A之實例性智慧偵測器系統100之時間序列分析模組130或其他電腦實施系統(諸如圖1B中之運算裝置193)。時間序列分析模組130可使用藉由局域時空處理模組110處理之各影像圖框之評分、品質值及分割圖作為輸入以產生各影像之最終輸出評分。在一些實施例中，在完成一醫療程序之後，時間序列分析模組130可使用藉由局域時空處理模組產生之影像之評分、品質值及/或分割圖，以產生具有所有影像之品質評分之一摘要之一資訊主頁或其他顯示。時間序列分析模組130之組件可用於產生呈現為藉由智慧偵測器系統100處理之影像之一經彙總摘要之不同輸出評分及值。如圖3C中所繪示，時間序列分析模組130組件可包含一事件偵測器331、一圖框選擇器332、一物件描述符333及一時間分割器334以幫助產生一輸入視訊之影像之最終輸出評分。
事件偵測器331可判定與一所請求之所關注特徵相關聯之一事件之一輸入視訊中之開始及停止時間。在一些實施例中，事件偵測器331判定與一所請求之所關注特徵相關聯之事件之一輸入視訊中之開始及結束影像圖框。在一些實施例中，事件之開始及停止時間或影像圖框可重疊。
事件之開始及停止時間可為其中偵測到與一所關注特徵有關之一些特性之輸入視訊之部分之開始及結束。視訊之開始及停止時間可為歸因於來自藉由本地時空處理模組110之分析之缺失影像圖框而導致之估計。事件偵測器331可輸出對(t, d)之一清單，其中t係一時間點且d係該時間偵測到之事件之描述。可基於藉由智慧偵測器系統100處理之不同所關注特徵來識別各種事件。
自事件識別之輸入視訊之部分可包含由一醫療保健專業人員或其他操作者掃描之一器官之部分，以產生輸入視訊作為一醫療程序之部分。例如，一醫療程序(諸如一結腸鏡檢查)可包含經組態用於一結腸之各個部分(諸如升結腸、橫結腸或降結腸)之事件。
時間序列分析模組130可提供表示一醫療程序之不同部分之視訊之不同部分之事件的一摘要報告。該摘要報告可包含(例如)視訊之長度或完成與事件相關聯之器官之一部分之一掃描所花費之時間(其可作為一退出時間列出)。事件偵測器331可幫助產生包含與所關注特徵有關之事件之醫療程序之不同部分的摘要報告。
時間序列分析模組130可在一資訊主頁或其他顯示上呈現一醫療程序視訊(例如，結腸鏡檢查視訊)之不同部分之(若干)摘要報告，該(等)摘要報告展示(例如)圓餅圖，其中視訊量要求對視訊之部分或由視訊部分表示之器官之部分採取不同動作(諸如仔細的第二檢視，執行一活檢，或移除一病變)。在一些實施例中，資訊主頁可包含由事件偵測器331以一色彩編碼方式識別之事件之品質摘要細節。例如，資訊主頁可包含紅色、橙色及綠色按鈕或其他圖示以識別表示一事件之一醫療程序之一部分之視訊的品質。資訊主頁亦可包含表示整個醫療程序之整體視訊之摘要細節，該整個醫療程序具有與針對醫療程序之個別部分提供之資訊位準相同的資訊位準。
在一些實施例中，藉由時間序列分析模組130產生之摘要報告可識別一或多個圖框以更仔細地檢視(若干)部分及/或解決其他問題。摘要報告亦可指示多少百分比之視訊進行額外操作(諸如第二檢視)。時間序列分析模組130可使用圖框選擇器332來識別視訊之特定圖框或進行額外操作之視訊之百分比。
圖框選擇器332可基於藉由局域時空處理模組110產生之特性及評分來擷取輸入視訊中之影像圖框。在一些實施例中，圖框選擇器332亦可利用使用者提供之品質值來選擇影像圖框。圖框選擇器332可基於影像圖框與由智慧偵測器系統100之一使用者所請求之特性及/或所關注特徵的相關性來選擇影像圖框。
在一些實施例中，藉由時間序列分析模組130產生之摘要報告可包含藉由圖框選擇器332識別之一或多個影像圖框。可擴增在報告中呈現之一影像圖框以顯示應用於該圖框之一或多個部分之(若干)標記物。在一些實施例中，標記物可識別一影像圖框中之一所關注特徵(諸如一病變或息肉)。例如，一彩色定界框可用作圍繞所關注特徵之一標記物(例如，參見圖10及應用於其中所展示之影像圖框之綠色定界框)。在一些實施例中，不同標記物(包含(若干)形狀及/或(若干)色彩之不同組合)可用於指示不同所關注特徵。例如，可擴增一影像圖框以包含呈不同色彩之定界框之形式之表示藉由智慧偵測器系統100識別之不同所關注特徵之一或多個標記物。
物件描述符333可合併輸入視訊之包含來自所請求之所關注特徵之匹配特性之影像圖框。物件描述符基於藉由局域時空處理模組110提供之時間及空間相干性資訊來合併影像圖框。物件描述符333輸出可包含使用性質集描述之一組物件。性質集可包含影像圖框相對於輸入視訊之其他影像圖框之一時間戳記。在一些實施例中，性質集可包含關於影像圖框中之經偵測特性或所請求之所關注特徵之經估計評分及位置的統計資料。
時間分割器334將一輸入視訊分離成時間間隔。時間分割器334可基於任務之相干性進行分離以判定所請求之所關注特徵。時間分割器334可以形式{L_i}輸出輸入視訊之各影像圖框之一標記。輸出標記可指示一影像圖框中之一所請求之所關注特徵之存在及概率以及在該影像圖框內之位置。在一些實施例中，時間分割器334可輸出各影像圖框中之各所關注特徵之分開之標記。
在一些實施例中，時間序列分析模組130可產生包含由一醫師、醫療保健專業人員或其他操作者執行之一醫療程序之品質評分之一資訊主頁或其他顯示。為提供品質評分，時間分析模組130可包含基於藉由由具有不同檢查執行行為之其他醫師及操作者執行之醫療程序之視訊來訓練之機器學習模型。尤其機器學習模型可經訓練以辨識視訊片段，在該等視訊片段期間，醫療保健專業人員之檢查行為指示需要額外檢視。例如，一內窺鏡醫師仔細地探查結腸/小腸表面，而非他花費時間清潔結腸/小腸表面或執行手術或導覽等，可指示需要對小腸表面進行額外檢視。由時間序列分析模組130使用之機器學習模型可基於所花費之時間量、拍攝之照片之數目及/或表示一器官之特定部分之一醫療程序之一特定區段之重複掃描的次數來瞭解一醫療保健專業人員之特定活動(諸如仔細探查)。在一些實施例中，機器學習模型可基於增添至視訊或一視訊中之影像圖框之特定區域之呈註釋或旗標之形式的標記物之量來瞭解醫療保健專業人員行為。
在一些實施例中，時間序列分析模組130可使用關於執行特定動作(例如，仔細探查、導覽、清潔等)所花費之時間之資訊來產生一醫療保健專業人員行為之品質評分的一摘要報告。在一些實施例中，一特定動作之醫療程序之總時間之百分比可用於計算醫療程序或醫療程序之一部分的品質評分。時間序列分析模組130可經組態以基於智慧偵測器系統100之組態來產生醫療保健專業人員行為之一品質摘要報告以包含由醫療保健專業人員執行之動作作為所關注特徵。
為產生具有上文描述之摘要評分之一資訊主頁，時間序列模組可組合地利用事件偵測器331、圖框選擇器332、物件描述符333及時間分割器334。資訊主頁可包含來自醫療程序之由圖框選擇器332選擇之一或多個圖框及關於在醫療程序上所花費之總時間及檢查具有病理或其他所關注特徵之部分所花費之時間的資訊。可針對整個醫療程序(例如，整個結腸掃描)及/或針對識別一解剖區域(例如，結腸片段，諸如升結腸、橫結腸及降結腸)之(若干部分)運算描述醫療保健專業人員行為之統計資料的品質評分摘要。
時間序列分析模組130可使用事件偵測器331、圖框選擇器332、物件描述符333及時間分割器334來產生關於不同所關注特徵(諸如在一醫療程序期間捕獲之一器官之不同區域、各病理之存在及/或執行該醫療程序之一醫療保健專業人員之動作)之彙總資訊。例如，可基於使用物件描述符333之不同區域中之各種病理之一清單、展示由圖框選擇器332選擇之一病理之(若干)圖框以及在各病理之區域及由事件偵測器331判定之醫療保健專業人員動作中所花費之一經識別時間量來產生彙總資訊。
在一些實施例中，時間序列分析模組130可產生藉由局域時空處理模組110及全域時空處理模組120處理之輸入視訊之一摘要。輸入視訊之摘要可包含經提取且組合成具有所關注特徵之輸入視訊之一摘要之輸入視訊之片段。在一些實施例中，使用者可選擇是否僅觀看摘要視訊或擴展由模組摒棄之視訊之各時間間隔。時間序列分析模組130之時間分割器334可幫助提取具有所關注特徵之輸入視訊之部分。在一些實施例中，時間序列分析模組130可藉由選擇相關圖框以產生一可變圖框率視訊輸出來產生一視訊摘要。時間序列分析模組130之圖框選擇器332可幫助選擇及丟棄一輸出視訊摘要中之圖框。在一些實施例中，時間序列分析模組130可對輸入視訊或一視訊摘要提供額外後設資料。例如，時間序列分析模組130可對一輸入視訊之時間線進行色彩編碼，其中所關注特徵存在於一輸入視訊中。時間序列分析模組130可使用不同色彩來突顯具有不同所關注特徵之一時間線。在一些實施例中，具有所關注特徵之輸出視訊摘要之部分可包含輸出視訊摘要上之經覆疊文字及圖形。
在一些實施例中，為最大化效能，模組110至130可經訓練以為模組110至130之各者中之神經網路選擇最佳參數值。
圖3A中所展示之局域時空處理模組110之組件可包含在用於處理影像及偵測與所關注特徵有關之特性之前訓練之神經網路。可基於包含以下三個子集之一視訊資料集來訓練局域時空處理模組110中之神經網路：訓練集415、驗證集416及測試集417 (參見圖4A)。智慧偵測器系統100之訓練子集可需要經標記之視訊集。例如，一經標記之視訊集可包含由智慧偵測器系統100之組件指派至視訊處理之一目標評分。一經標記之視訊集亦可包含在該視訊集之各影像圖框中可偵測之特性之位置及各特性之值。標記及輸入視訊集兩者可用於訓練目的。在一些實施例中，用於一視訊集之一子集之標記可用於判定用於訓練智慧偵測器系統100之組件110至130中之神經網路之其他子集之標記。
在訓練程序期間，智慧偵測器系統100可自訓練資料集影像或藉由智慧偵測器系統100之組件110至130中之神經網路處理之影像之一緩衝器進行取樣且藉由誤差反向傳播來更新其等參數。智慧偵測器系統100可藉由使用一視訊集之驗證集416來控制一所要特性之真實數據值y’及編碼器312輸出值y之收斂。智慧偵測器系統100可使用一視訊集之測試集417來評估編碼器312之效能以判定一視訊集之一訓練子集之影像圖框中之特性的值。智慧偵測器系統100可繼續訓練，直至真實數據值y’與輸出值y收斂。智慧偵測器系統100在達到收斂時可完成訓練程序且移除暫時完全連接之網路。智慧偵測器系統100針對最新參數值最終化編碼器312。
圖4A係繪示與本發明之實施例一致之圖3A之局域時空處理模組之一編碼器組件之實例性訓練的一流程圖。一編碼器組件(諸如圖3A之編碼器312)獲取一單個影像圖框或N個影像圖框之一小緩衝器作為輸入且產生M維之一特徵向量作為輸出。如圖4A中所繪示，智慧偵測器系統100可藉由增添一暫時網路來訓練編碼器312。暫時網路可為作為一額外層增添於編碼器312之端部以訓練編碼器312之完全連接之網路(FCN) 411。FCN 411可獲取藉由編碼器312產生之輸入之各影像圖框之特徵向量作為輸入且返回一單個浮動值或一獨熱向量y。智慧偵測器系統100可使用損失函數413來評估真實數據值y’與編碼器312輸出y之收斂。損失函數可為作為編碼器312之最後層增添之一額外層。損失函數413可表示為L(y,y’)，以指示一特性之真實數據值y’與藉由編碼器312針對一輸入視訊之一影像圖框產生之輸出y之間的距離。智慧偵測器系統100可使用均方誤差(MSE)、交叉熵及/或Huber損失作為用於使用FCN 411訓練編碼器312之損失函數413。
在一些實施例中，暫時網路可為由智慧偵測器系統100使用以訓練編碼器312之解碼器網路412。解碼器網路412可為將由編碼器312估計之各特徵向量映射至與一輸入視訊之一影像圖框(I_in)相同維度之一大矩陣(I_out)的一卷積神經網路。解碼器網路412可使用L(I_out, I_in)作為損失函數413來運算兩個影像(或N個影像之緩衝器)之間的距離。與解碼器網路412一起使用之損失函數413可包含均方誤差(MSE)、結構相似性(SSIM)或L1範數。用作一暫時網路以訓練編碼器312之解碼器網路412不需要判定一視訊集之訓練/驗證/測試子集415至417之真實數據值。使用作為暫時網路之解碼器網路412訓練編碼器312之智慧偵測器系統100可控制與驗證集416之收斂且使用測試集417來評估編碼器312之預期效能。智慧偵測器系統100可在完成編碼器312訓練之後丟棄或撤銷啟動解碼器網路412。
在使用完全連接之網路411及解碼器網路412之兩種訓練方法中，編碼器312及智慧偵測器系統100之其他組件可使用諸如擴增資料、學習率調諧、標記平滑化、馬賽克、MixUp及CutMix擴增資料及/或批次訓練之技術來改良編碼器312之訓練程序。在一些實施例中，智慧偵測器系統100中之神經網路可遭受類別不平衡且可使用特用加權損失函數及重要性取樣來避免大部分類別之一預測偏差。
圖4B係繪示圖3A之實例性局域時空處理模組之(若干)神經網路組件之實例性訓練的一流程圖。與本發明之實施例一致，圖4B之實例性訓練可用於訓練(例如)局域時空處理模組110之遞歸神經網路(RNN) 313及時間卷積網路(TCN) 314。在智慧偵測器系統100中訓練深度神經網路(DNN) (諸如RNN 313及TCN 314)可能需要在訓練程序期間準備一組經註釋視訊或影像及一損失函數。在訓練程序期間，智慧偵測器系統100可使用基於梯度下降之最佳化演算法調整網路參數。
智慧偵測器系統100可使用一先前訓練之編碼器312之輸出來訓練RNN 313及TCN 314。至RNN 313及TCN 314之輸入可為由編碼器312輸出之每時間點之一M維特徵向量。RNN 313及TCN 314藉由緩衝藉由編碼器312產生之特徵向量來彙總藉由編碼器312產生之多個特徵向量。智慧偵測器系統100可藉由饋送連續影像圖框編碼器312之一序列及將所產生之特徵向量傳遞至RNN 313及TCN 314來訓練RNN 313及TCN 314。對於B個影像(或經緩衝影像集)之一序列，編碼器312產生M個經編碼特徵之B個向量且發送至RNN 313或TCN 314，以產生K個特徵之B個向量。
智慧偵測器系統100可藉由在RNN 313及TCN 314之端部處包含一暫時完全連接之網路(FCN) 411來訓練RNN 313及TCN 314。FCN 411將藉由RNN 313及TCN 314產生之K維特徵向量轉換為一一維評分且與損失函數中之真實數據進行比較以修改參數，直至輸出向量與真實數據向量之間存在一收斂。在一些實施例中，智慧偵測器系統100藉由使用擴增資料、學習率調諧、標記平滑化、批次訓練、加權取樣及/或重要性取樣來改良RNN 313及TCN 314作為訓練RNN 313及TCN 314之部分。
圖4C係繪示圖3A之局域時空處理模組之品質網路及分割網路之實例性訓練的一流程圖。與本發明之實施例一致，圖4C之實例性訓練可用於訓練實例性局域時空處理模組110之品質網路315及分割網路316。智慧偵測器系統100可類似於編碼器312之訓練來訓練品質網路315，但不需要一暫時網路(圖4A之FCN 411或解碼器網路412)。品質網路315輸出表示一影像之品質之一純量值q。智慧偵測器系統100可藉由比較其輸出品質評分q與一視訊集之訓練集415之各影像圖框所相關聯之真實數據品質評分q’來訓練品質網路315，直至該等值之間的差係最小的。智慧偵測器系統100可使用表示為L(q,q’)之損失函數413來最小化真實數據值q’與輸出品質評分q之間的差且調整品質網路315之參數。智慧偵測器系統100可用一MSE、L1範數作為損失函數413來訓練品質網路315。智慧偵測器系統100可使用擴增資料、學習率調諧、標記平滑化及/或批次訓練技術來改良品質網路315之訓練結果。
智慧偵測器系統100可使用一或多個個別影像或具有大小N之小緩衝器來訓練分割網路316。緩衝器大小N可基於由在圖4A中訓練之編碼器312所考量之影像之數目。智慧偵測器系統100需要經註釋之真實數據圖(ground truth map)作為訓練集415之部分來訓練分割網路316。智慧偵測器系統100可使用表示為損失L(m, m’)之損失函數413，損失L(m, m’)定義藉由分割網路316估計之圖m與真實數據圖m’之間的距離。智慧偵測器系統100可藉由使用(例如)逐像素MSE及L1損失函數以及擲骰評分及平滑擲骰評分來在經預測圖m與真實數據圖m’之間進行比較。
在一些實施例中，智慧偵測器系統100可使用擴增資料(諸如對輸入視訊中之各影像圖框及針對各影像圖框產生之遮罩之特用形態運算及仿射變換)、學習率調諧、標記平滑化及/或批次訓練來改良分割網路316之結果。
圖4D係繪示圖3B之全域時空處理模組之實例性訓練之一流程圖。與本發明之實施例一致，圖4D之實例性訓練可用於訓練全域時空處理模組120。如圖4D中所繪示，智慧偵測器系統100可藉由使用局域時空處理模組110之輸出來訓練全域時空處理模組120。如將自本發明瞭解，局域時空處理模組110需要在使用其訓練全域時空處理模組120之前被訓練。局域時空處理模組110係藉由個別地訓練其組件之各者(如在上文圖4A至圖4C描述中描述)來訓練。
全域時空處理模組120之時間卷積網路(TCN) 321可存取由處理T’個影像圖框之局域時空處理模組110提取之特徵T’ x K之整個時間序列，以產生1 x K維之特徵向量。全域時空處理模組120獲取特徵之整個矩陣T’ x K作為輸入且返回長度T”之純量值之一時間序列。智慧偵測器系統100可藉由訓練TCN 321來訓練全域時空處理模組120。
TCN 321及繼而全域時空處理模組120之智慧偵測器系統100訓練可考量TCN 321之處理層之數目及其架構結構。層及連接之數目基於用於判定所關注特徵之任務而變化且需要針對各任務進行調諧。
智慧偵測器系統100藉由運算訓練集415中之各視訊之影像圖框之評分的K維時間序列來訓練全域時空處理模組120。智慧偵測器系統100藉由將訓練集415視訊作為輸入提供至先前訓練之局域時空處理模組110且將其輸出提供至全域時空處理模組120來運算時間序列評分。智慧偵測器系統100可使用基於梯度下降之最佳化來估計TCN 321神經網路之網路參數。基於梯度下降之最佳化可最小化藉由全域時空處理模組120輸出之時間序列評分s與真實數據時間序列評分s’之間的距離。用於訓練全域時空處理模組120之損失函數413可為一均方誤差(MSE)、交叉熵或Huber損失。
在一些實施例中，智慧偵測器系統100可使用擴增資料、學習率調諧、標記平滑化及/或批次訓練技術來改良經訓練之全域時空處理模組120之結果。
圖5A及圖5B係用用於處理輸入視訊或影像集之一實例性智慧偵測器系統之組件構成之管線的示意性表示。舉實例而言，圖5A及圖5B之管線可用圖1A之用於處理輸入視訊之智慧偵測器系統100之組件構成。使用智慧偵測器系統100之模組處理輸入視訊之管線可基於要處理之輸入視訊之類型及所請求之所關注特徵而在結構上改變。一管線可包含各模組之所有組件或一些組件(例如，圖3A之編碼器312)。
如圖5A中所繪示，管線500包含用以處理輸入視訊501且判定可由一使用者或醫師所請求(例如，透過圖1A之使用者裝置170或醫師裝置180)之所關注特徵之智慧偵測器系統100之組件。管線500包含局域時空處理模組110及全域時空處理模組120之組件，以產生各影像圖框中之經判定特性及所請求之所關注特徵之評分的矩陣531及541。管線500亦包含時間序列分析模組130以使用存在於矩陣531及541中之特性之時空資訊來判定所關注特徵。
局域時空處理模組110可輸出特性評分之一K x T’矩陣531。T’係藉由局域時空處理模組110反覆地分析之輸入視訊501之圖框數目。局域時空模組110產生T'個圖框之各經分析圖框之特性評分之大小K的一向量。大小K可匹配由智慧偵測器系統100之一使用者所請求之所關注特徵之數目。局域時空處理模組110可使用取樣器311處理輸入視訊501，以擷取T個影像圖框之一些或全部。藉由局域時空處理模組之組件分析以產生特性評分之T’個圖框可小於或等於輸入視訊501之總T個影像圖框。取樣器311可選擇T'個圖框以供其他組件312及315至317進行分析。在一些實施例中，RNN 313及TCN 314可僅針對經取樣圖框之T'個影像圖框產生評分。網路313至314可包含基於所請求之所關注特徵之至少一個特性之存在之T'個影像圖框。局域時空處理模組僅使用一組網路313或314來處理影像圖框且產生特性評分之矩陣531。
局域時空處理模組藉由個別地或結合藉由取樣器311緩衝及提供之輸入視訊501之一影像圖框子集檢視各影像圖框來產生T'個影像圖框之特性評分的矩陣531。
局域時空處理模組110可使用網路315至317來產生評分之額外矩陣532至534。品質網路315可產生由取樣器311所考量之各影像圖框之一品質評分以用於判定與各影像圖框中之所關注特徵有關之特性。如圖5A中所繪示，品質網路315可產生品質評分之一矩陣532。矩陣532可為藉由品質網路315分析之T’’個圖框之品質評分之一1 x T’’向量。品質網路315可分析藉由取樣器311提取之影像圖框以產生T''個影像圖框之品質評分。在一些實施例中，T’’可小於輸入視訊501之圖框之總數目T。品質網路315可僅處理具有高於一臨限值之一品質評分之T''個圖框。
分割網路316可藉由處理輸入視訊501之T'''個影像圖框來產生分割遮罩之矩陣533。矩陣533具有維度W’ x H’ x T’’’，包含高度H'及寬度W’之T'''個遮罩。在一些實施例中，分割遮罩之寬度W'及高度H'可小於一經處理影像圖框之尺寸。分割網路316可分析藉由取樣器311提取之影像圖框以產生用於T'''個影像圖框之分割遮罩。在一些實施例中，T’’'可小於輸入視訊501之圖框之總數目T。若T'''個圖框包含特性或所請求之所關注特徵之至少一些，則分割網路316可僅用一分割遮罩來處理該T'''個圖框。
如圖5A中所繪示，全域時空處理模組120處理藉由局域時空處理模組110輸出之特性之K x T'評分之矩陣531以產生特性評分之經修改矩陣541。全域時空處理模組120藉由一起處理特性之矩陣531來檢視所有經分析之T'個影像圖框之特性評分。全域時空處理模組120中之TCN 321可處理特性評分之矩陣531以產生維度1 x T'之評分之一矩陣526。TCN 321藉由組合由大小K之一向量表示之T'個影像圖框之評分來產生矩陣526。全域時空處理模組120可使用後處理器522來移除矩陣526中之任何離群值。後處理器522可採用標準信號處理技術(諸如低通濾波器及高斯平滑化)來移除離群值。全域時空處理模組120輸出維度1 x U'之浮動評分之一矩陣541。U’之尺寸可小於或等於T’。後處理器522可能已過濾T'個影像圖框評分之一些以產生評分之經精緻化矩陣541。在一些實施例中，U’尺寸可大於藉由對輸入視訊進行升取樣以增加輸入視訊(例如，視訊501)之影像圖框之數目而獲得之T'。全域時空處理模組120可包含用以增加圖框之數目之一升取樣模組。若具有品質評分之影像圖框之數目低於一臨限值，則全域時空處理模組120可對視訊501進行升取樣。全域時空處理模組120可基於具有如藉由局域時空處理模組110之品質網路315判定之一高品質評分之影像圖框來進行升取樣。在一些實施例中，可在藉由全域時空處理模組120處理之前對視訊501進行升取樣。例如，取樣器311可對輸入視訊501進行升取樣以產生額外影像圖框。
全域時空處理模組120可使用後處理器523至525來精緻化在判定所請求之所關注特徵時所使用之額外評分及細節之矩陣532至534，以產生矩陣542至544。
舉實例而言，後處理器523使用一或多種標準信號處理技術(諸如低通濾波器及高斯平滑化)來精緻化品質評分矩陣532。後處理器523輸出經精緻化評分之維度1 x U’’之矩陣542。在一些實施例中，值U’’可不同於值T’’。例如，若後處理器523忽略低品質評分之特定影像圖框，則U’’可小於T’’。替代性地，當對視訊501進行升取樣以產生更多影像圖框及具有較高解析度之影像圖框時，U’’可大於T’’。
後處理器524可使用利用關於各所關注特徵之形狀及分佈之先驗資訊之一系列形態運算來精緻化分割遮罩矩陣533。後處理器524可輸出維度W’ x H’ x U’’’之矩陣543。在一些實施例中，U’’’之尺寸可不同於T’’’。例如，若後處理器524忽略低品質評分之特定影像圖框，則U’’’可小於T’’’。替代性地，當對視訊501進行升取樣以產生更多影像圖框及具有較高解析度之影像圖框時，U’’’可大於T’’’。
如圖5A中所繪示，管線500之時間序列模組130可自全域時空處理模組120獲取輸出矩陣541至544，以產生指示輸入視訊中之一位置及所請求之所關注特徵之輸入視訊之各影像圖框中之位置的數值。時間序列模組130可使用矩陣541中之特性評分及品質評分矩陣542來選擇最佳表示各所關注特徵之存在之影像圖框。在一些實施例中，時間序列模組130可利用矩陣541中之影像圖框中之特性之時空資訊來判定包含所關注特徵之輸入視訊501中之時間間隔。
如圖5B中所繪示，管線502展示不包含諸如網路315至317 (如圖5A中所展示)及後處理器523至525 (亦在圖5A中所展示)之額外組件之一替代架構。管線502仍可產生與局域時空處理模組110及全域時空處理模組120之一輸出相同之特性評分矩陣531及541。時間序列模組130獲取矩陣541作為輸入以產生識別輸入視訊501中之所關注特徵之值。
圖6A至圖6B繪示與本發明之實施例一致之使用一智慧偵測器系統(諸如圖1A之實例性系統100執行多個任務之不同管線設置。智慧偵測器系統100之模組可經組態及管理為一管線以處理不同任務之影像資料。任務管理器140可維持不同管線架構且管理跨管線中之不同模組之資料流。在一些實施例中，智慧偵測器系統100可用於將由不同使用者自相同輸入視訊請求之各種所關注特徵判定為不同任務。在此等案例中，可針對不同任務訓練智慧偵測器系統100中之神經網路以判定各任務相關之所關注特徵。亦可針對藉由不同醫療裝置及/或其他成像裝置產生之不同類型之輸入視訊訓練智慧偵測器系統100以判定不同所關注特徵。
任務管理器140可維持用於各任務之分開之管線且獨立地訓練該等管線。如圖6A中所繪示，智慧偵測器系統100可使用模組來產生兩個分開之管線610及620且對其等進行訓練，以處理分開之任務602及603以處理輸入視訊601以偵測不同所關注特徵。在一些實施例中，管線610及620經預訓練以處置不同任務。此外，智慧偵測器系統100可藉由擷取用於處理輸入視訊601之相關預訓練之模組來具現化一管線。例如，任務管理器140可包含管線610中之局域時空模組611、全域時空模組612及時間序列模組613以處理視訊601以判定作為任務602之部分請求之所關注特徵。類似地，管線620可使用局域時空處理模組621、全域時空處理模組622、時間序列模組623來構成以處理視訊601以判定作為任務603之部分之所關注特徵。維持多個管線有助於容易地擴展至多個任務，但可導致特定組件對影像資料之冗餘處理。在下文實例性圖6B實施例中描述具有一部分組共用組件之一混合管線架構之一高效替代方式。
圖6B展示在任務之間具有智慧偵測器系統100之共用模組之替代性管線650。智慧偵測器系統100藉由共用各模組之一些或所有組件而在不同任務之間共用模組。智慧偵測器系統100可共用一管線中之較少取決於所請求之任務來處理影像資料之彼等組件。
取樣器311及品質網路315可依靠輸入影像資料且以相同方式處理影像資料，不論所請求之所關注特徵。因此，在管線650中，局域時空處理模組630之取決於輸入資料且與所請求任務無關之組件取樣器631及品質網路635係在處理輸入視訊601之任務602與603之間共用。管線650可在由管線650中之下游組件處理之多個任務之間共用其等輸出。
編碼器632可取決於所請求任務來識別輸入視訊601之影像圖框之正確註釋，但其可更多取決於輸入資料且亦可在不同任務之間共用。因此，管線650可在任務602及603當中共用編碼器632。此外，跨任務共用編碼器632可歸因於跨多個任務可用之樣本之較大數目而改良其訓練。
品質網路635直接處理影像之品質，而不依靠所請求任務。因此，使用品質網路315之分開之例項，每任務一個品質網路635變得冗餘，因為輸入視訊(例如，輸入視訊601)中之一影像圖框之品質評分與所請求任務(例如，任務602及603)無關，且將導致對輸入視訊601多次應用之相同操作。
分割網路636比上文論述之組件更取決於一所請求任務。然而，其仍可被共用，因為更容易針對不同任務(例如，任務602及603)產生多個輸出。如圖6B中所繪示，分割網路636係可為各影像圖框之每個任務返回多個分割遮罩作為矩陣653之分割網路316之一經修改版本。
神經網路633至634可包含產生特定於在不同任務中識別之所請求之所關注特徵之特性評分的矩陣之RNN 313或TCN 314之任一例項。管線650之局域時空處理模組630可經組態以產生編碼器輸出637及638之多個複本且作為輸入每任務一個複本地提供至多個神經網路633及634。
圖6C及圖6D繪示與本發明之實施例一致之使用一實例性智慧偵測器系統執行具有經彙總輸出之多個任務之實例性管線設置。如圖6C中所繪示，管線610及620藉由同時使用多個時間序列分析模組671至673來產生輸出。例如，時間序列分析模組673獲取藉由管線610及620兩者產生之資料作為輸入。時間序列分析模組671及672可產生類似於上文所描述之圖6A中之管線610及620之輸出的智慧偵測器系統之輸出。額外時間序列分析模組673可彙總藉由局域及全域時空模組611至612及621至622產生之資料。
圖6D繪示除了共用模組之輸出以進行時間序列分析之外亦共用局域及全域時空模組630及640之管線。如圖6D中所繪示，時間序列分析模組683獲取包含在使用取樣器631及編碼器632預處理及不預處理影像的情況下產生之影像評分之向量661及664兩者。類似於圖6C中之時間序列分析模組673，時間序列分析模組683彙總資料以產生輸出。
圖6E繪示與本發明之實施例一致之具有使用一實例性智慧偵測器系統產生之多個任務之輸出摘要的一實例性資訊主頁。資訊主頁690可提供一醫療程序(例如，由一醫療保健專業人員執行之一結腸鏡檢查)之一摘要。資訊主頁690可提供醫療程序之不同部分之資訊且亦可包含評分及/或用於概述醫療保健專業人員行為之檢查行為及所識別之所關注特徵之其他資訊(諸如所識別之息肉之數目)。
如圖6E中所繪示，資訊主頁690可包含結腸之不同部分之品質評分摘要(右結腸品質評分摘要691、橫結腸品質評分摘要692及左結腸品質評分摘要693)以及整個結腸品質評分摘要694。品質評分摘要691至694可包含不同動作(諸如仔細探查，執行一手術、清洗/清潔黏膜及快速移動或導覽通過結腸或其他人體器官)之時間統計資料。系統100可基於與醫療保健專業人員之行為有關之特性或因素來判定(例如)經識別為一「仔細探查」之退出時間及時間量及/或時間百分比。智慧偵測器系統100可基於(例如)由一醫療保健專業人員分析一器官之一經掃描部分與其他部分所花費之時間來識別由該醫療保健專業人員執行之作為一「仔細探查」之一動作。例如，如與諸如清潔/切除一病變之其他動作相比，一內窺鏡醫師分析黏膜可被視為一「仔細探查」動作。時間統計資料可包含諸如執行手術，清洗/清潔一解剖區域或一器官之一部分(例如，黏膜)及在一醫療程序期間快速移動/導覽一解剖位置或器官之其他動作之摘要。不同醫療程序(例如，結腸鏡檢查、視訊手術、基於視訊膠囊之掃描)可包含醫療保健專業人員之不同動作作為「仔細探查」。智慧偵測器系統100可經組態以將醫療保健專業人員之動作標記為「仔細探查」。品質評分摘要資訊主頁690亦可包含醫療程序之各部分之檢查品質之一色彩編碼之表示。例如，如圖6E中所繪示，品質評分摘要資訊主頁690可包含經突顯以指示程序之各部分之檢查之品質位準之交通燈色彩之圓或圖示(例如，紅色、橙色及綠色)。
圖7係描繪與本發明之實施例一致之用以偵測影像之輸入視訊中之病理之一實例性方法之操作的一流程圖。可藉由在(例如)圖2之運算裝置200之特徵上執行或以其他方式使用該等特徵之圖1A之智慧偵測器系統100來執行方法700之步驟(自步驟701開始)。將瞭解，可變更所繪示方法700以修改步驟之順序且包含額外步驟。
在步驟710中，智慧偵測器系統100可經由網路160接收一輸入視訊或有序影像集。如本文中所揭示，待處理之影像可經依時間排序。智慧偵測器系統100可直接向影像源150請求影像。在一些實施例中，其他外部裝置(諸如醫師裝置180及使用者裝置170)可引導智慧偵測器系統100以請求影像源150的影像。在一些實施例中，使用者裝置170可提交用以偵測當前藉由影像源150串流傳輸或以其他方式接收之影像中之所關注特徵的一請求。
在步驟720中，智慧偵測器系統100可個別地分析影像子集以判定與各所請求之所關注特徵有關之特性。智慧偵測器系統100可使用取樣器311 (如圖1A中所展示)來選擇一影像子集以使用局域時空處理模組110 (如圖1A中所展示)之其他組件進行分析。此外，如本文中所揭示，當判定一影像中之特性時，局域時空處理模組110可具有一有限影像子集。
智慧偵測器系統100可容許影像之數目之組態包含於一影像子集中，如本文中所揭示。智慧偵測器系統100可基於所請求之所關注特徵或與其有關之特性來自動地組態子集之大小。在一些實施例中，智慧偵測器系統100之一使用者可基於來自一使用者或醫師之輸入(例如，透過圖1A之使用者裝置170或醫師裝置180)組態子集大小。影像子集可重疊且在其等之間共用影像。智慧偵測器系統100可容許藉由局域時空處理模組110處理之影像子集之間的重疊影像之數目之組態。智慧偵測器系統100可一次選擇一影像子集。在一些實施例中，智慧偵測器系統100可接收來自影像源150之一影像串流且可將其儲存於一緩衝器中，直至達成形成一子集之影像之所需數目。
智慧偵測器系統100可使用局域時空處理模組110來分析影像子集以判定影像子集之各影像中之特性之可能性。與各所關注特徵有關之特性之可能性可由連續或離散值之一範圍表示。例如，可使用在0與1之間的範圍內之一值表示特性之可能性。
智慧偵測器系統100可藉由使用編碼器312編碼一影像子集之各影像來偵測特性。作為分析程序之部分，智慧偵測器系統100可使用遞歸神經網路(例如，如圖3A中所展示之(若干) RNN 313)彙總經判定特性之時空資訊。在一些實施例中，智慧偵測器系統100可使用因果時間卷積網路(例如，如圖3A中所展示之(若干) TCN 314)以提取一影像子集之各影像中之經判定特性之時空資訊。
智慧偵測器系統100可使用品質網路315 (如圖3A中所展示)來判定關於各影像之額外資訊。智慧偵測器系統100可使用品質網路315來判定對應於一影像子集之各影像之品質評分之一向量。品質評分可用於相對於具有所請求之所關注特徵之理想影像對各影像進行排名。品質網路315可輸出品質評分作為一序數。序數可為一數字範圍，超出該數字範圍，一影像係太差品質且需要被忽略。例如，品質網路315可輸出在0與R之間的品質評分。
在一些實施例中，智慧偵測器系統100可使用分割網路316產生關於特性之額外資訊。額外資訊可包含關於各影像中之影像部分之資訊。智慧偵測器系統100可使用分割網路316以藉由產生用於一影像子集之各影像之分割遮罩來提取具有所請求之所關注特徵之影像之部分。分割網路316可使用一深度卷積神經網路來提取影像。
在步驟730中，智慧偵測器系統100可處理關於影像及步驟720中之影像之經判定特性之資訊之向量。智慧偵測器系統100可使用全域時空處理模組120來處理藉由局域時空處理模組110在步驟720中產生之輸出。智慧偵測器系統100可一起處理與所有影像相關聯之資訊之向量以精緻化資訊(包含在各影像中判定之特性)之向量。全域時空處理模組120可應用一非因果時間卷積網路(例如，圖3B之(若干)時間卷積網路321)以精緻化藉由局域時空處理模組110之組件產生之特性資訊。
智慧偵測器系統100亦可使用後處理器(例如，如圖3B中之後處理器322)用關於影像及特性之額外資訊(諸如品質評分及分割遮罩)來精緻化向量。智慧偵測器系統100可使用一或多種信號處理技術來精緻化有序影像集之各影像之品質評分。舉實例而言，智慧偵測器系統100可使用一或多種信號處理技術(諸如低通濾波器或高斯平滑化)來精緻化品質評分。
例如，如圖5A中所展示，後處理器523可獲取品質評分之一品質評分矩陣532以產生經精緻化之評分矩陣542。
在一些實施例中，智慧偵測器系統100可使用後處理器(例如，如圖3B中所展示之後處理器322)精緻化用於影像分割之分割遮罩以用於提取含有所請求之所關注特徵之各影像之部分。智慧偵測器系統100可使用形態運算藉由利用關於跨一有序影像集之特性或所關注特徵之形狀及分佈之先驗資訊來精緻化分割遮罩。例如，如圖5A中所展示，後處理器524可獲取分割遮罩533之一矩陣作為輸入以產生分割遮罩543之一經精緻化矩陣。
在步驟740中，智慧偵測器系統100可基於步驟730中之一有序影像集之各影像之經精緻化特性使數值與各影像相關聯。智慧偵測器系統100之組件可解譯各影像之經指派數值以判定識別各影像內之一所關注特徵之概率。智慧偵測器系統100可呈現不同數值以指示各所請求之所關注特徵之不同狀態。例如，智慧偵測器系統100可輸出其中偵測到一所請求之所關注特徵之各影像之一第一數值且輸出其中未偵測到該所請求之所關注特徵之各影像之一第二數值。
在一些實施例中，智慧偵測器系統100可解譯相關聯數值以判定其中存在一所請求之所關注特徵之一特性之一影像中之一位置或包含一特性之影像之數目。在步驟740之後，智慧偵測器系統100可基於與各影像相關聯之數值產生具有關於各所關注特徵之資訊之一報告(步驟750)。如上文所揭示，報告可以不同形式(例如，一檔案、一顯示、一資料傳輸等)電子地呈現且可包含關於各所請求之所關注特徵之存在之資訊以及額外資訊及/或基於(例如)醫療指南之建議。智慧偵測器系統100在完成步驟750之後完成程序(步驟799)及方法700在(例如)運算裝置200上之執行。
圖8係描繪與本發明之實施例一致之用於視訊內容之時空分析之一實例性方法之操作的一流程圖。可藉由在(例如)圖2之運算裝置200之特徵上執行或以其他方式使用該等特徵之圖1A之智慧偵測器系統100來執行方法800之步驟(自步驟801開始)。將瞭解，可變更所繪示方法800以修改步驟之順序且包含額外步驟。
在步驟810中，智慧偵測器系統100可經由網路160(如圖1A中所展示)自影像源150 (如圖1A中所展示)存取視訊內容之一依時間排序之影像集。在一些實施例中，智慧偵測器系統100可藉由自輸入視訊提取影像來存取該等影像。在一些實施例中，經接收影像可經儲存且自記憶體存取。
在步驟820中，智慧偵測器系統100可使用有序影像集之各影像中之特性之時空資訊來偵測依時間排序之影像集中之一事件的一發生。智慧偵測器系統100可使用事件偵測器331 (如圖3C中所展示)來偵測事件。智慧偵測器系統100可使用局域時空處理模組110及全域時空處理模組120來判定時空資訊。智慧偵測器系統100可以一兩步驟方式判定時空資訊。首先，局域時空處理模組可藉由檢視經存取影像集之各影像來擷取關於特性之時空資訊。在一些實施例中，局域時空處理模組110可使用一影像子集。其次，全域時空處理模組120可藉由檢視藉由局域時空處理模組110產生之所有影像之時空資訊來使用關於各影像局域之特性之時空資訊，以產生所有影像之經組合時空資訊。
智慧偵測器系統100在偵測一事件時可對與其中發現一事件之視訊內容之依時間排序之影像集之子集匹配的一視訊內容之一時間線之一部分增添色彩。
色彩可隨著一依時間排序之影像集之一子集之一影像對於與一所關注特徵有關之一特性的相關性位準而改變。色彩可隨著一依時間排序之影像集之子集之一影像對於一或多個特性的相關性位準而改變。
智慧偵測器系統100可使用特性之經判定時空資訊來判定在一依時間排序之影像集中何處存在表示一所關注特徵之一發生之一事件。
在步驟830中，智慧偵測器系統100可使用圖框選擇器332 (如基於圖2所展示)基於指示與至少一個所關注特徵有關之特性之存在之一影像的相關聯評分及品質評分自影像群組選擇一影像。智慧偵測器系統100可使用品質網路335來評估在步驟810中存取之影像之各影像之品質評分。圖框選擇器332可檢視影像且使用藉由品質網路335產生之品質評分及在步驟820中產生之特性評分來判定具有資訊之影像。智慧偵測器系統100可藉由對依時間排序之影像集中之影像增添書籤來選擇影像圖框。
在步驟840中，智慧偵測器系統100可使用物件描述符333基於空間及時間相干性來合併具有匹配特性之影像子集。智慧偵測器系統可使用在步驟820中判定之各影像中之特性之時空資訊來判定特性之空間及時間相干性。
在步驟850中，智慧偵測器系統100可使用時間分割器334 (如圖3C中所展示)來分離滿足選定任務之時間相干性之依時間排序之影像集。智慧偵測器系統100可藉由識別具有一或多個所關注特徵之存在之子集來分離一影像集。智慧偵測器系統100可使用在步驟820中判定之特性之時空資訊來判定時間相干性。若影像具有一或多個所關注特徵之一匹配存在，則智慧偵測器系統100可認為該等影像具有時間相干性。
智慧偵測器系統100可提取與視訊之依時間排序之影像集之經分離子集之一者匹配之視訊內容的一片段(clip)。經提取片段可包含至少一個所關注特徵。智慧偵測器系統100在完成步驟850之後完成(步驟899)在運算裝置200上執行800。
圖9係描繪與本發明之實施例一致之用於對一輸入影像集進行之複數個任務之一實例性方法900之操作的一流程圖。可藉由在(例如)圖2之運算裝置200之特徵上執行或以其他方式使用該等特徵之圖1A之智慧偵測器系統100來執行方法900之步驟(自步驟901開始)。將瞭解，可變更所繪示方法900以修改步驟之順序且包含額外步驟。
在步驟910中，智慧偵測器系統100可接收複數個任務(例如，圖6A之任務602及603)及包含一影像集之一輸入視訊(例如，圖6A之輸入視訊601)。經接收任務602及603之各者可包含識別輸入視訊中之輸入影像集中之所關注特徵之一請求。
在步驟920中，智慧偵測器系統100可使用局域時空處理模組110 (如圖1A中所展示)分析一影像子集以識別與該影像子集之各影像中之各所請求之所關注特徵有關之特性的存在。
在一些實施例中，智慧偵測器系統100可使用全域時空處理模組120以藉由過濾不正確識別之特性來精緻化藉由局域時空處理模組110識別之特性。在一些實施例中，全域時空處理模組120可突顯及標記藉由局域時空處理模組110識別之一些特性。在一些實施例中，全域時空處理模組120可使用對影像集應用一次之額外組件(諸如品質網路315及分割網路316)進行過濾以產生關於輸入影像之額外資訊。
在步驟930中，智慧偵測器系統100可針對所請求之任務集之各任務反覆地執行時間序列分析模組130以使數字評分與輸入影像集之各影像相關聯。在一些實施例中，智慧偵測器系統100可包含時間序列模組130之多個例項以同時處理多個任務。例如，時間序列模組671及672 (如圖6B中所展示)同時識別用於不同任務602及603之相同影像集中之不同特性集。智慧偵測器系統100在完成步驟930之後完成(步驟999)在運算裝置200上執行900。
上文描述之圖式及圖中之組件繪示根據本發明之各項實例性實施例之系統、方法及電腦硬體或軟體產品之可行實施方案之架構、功能性及操作。例如，一流程圖或圖式中之各方塊可表示包含用於實施所指定之邏輯功能之一或多個可執行指令之程式碼之一模組、片段或部分。亦應理解，在一些替代實施方案中，一方塊中所指示之功能可不按圖中所提及之順序發生。舉實例而言，連續展示之兩個方塊或步驟可實質上同時執行或實施，或兩個方塊或步驟有時可按相反順序執行，此取決於所涉及之功能性。此外，可省略一些方塊或步驟。亦應理解，圖式之各方塊或步驟及方塊或步驟之組合可藉由執行所指定之功能或動作之專用基於硬體之系統或藉由專用硬體及電腦指令之組合來實施。電腦程式產品(例如，軟體或程式指令)亦可基於所描述實施例及所繪示實例來實施。
應瞭解，上文描述之系統及方法可以許多方式改變且不同特徵可以不同方式組合。特定言之，並非上文在一特定實施例或實施方案中展示之所有特徵在每個實施例或實施方案中係必要的。以上特徵及實施方案之進一步組合亦被視為在本文中揭示之實施例或實施方案之範疇內。
雖然已在本文中描述及繪示實施方案之某些實施例及特徵，但熟習此項技術者將明白修改、替代、改變及等效物。因此，應理解，隨附發明申請專利範圍旨在涵蓋落在所繪示實施方案之所揭示實施例及特徵之範疇內之所有此等修改及改變。亦應理解，本文中描述之實施例已僅舉實例而言而非限制呈現，且可進行形式及細節之各種改變。本文中所描述之系統及/或方法之任何部分可以任何組合(惟互斥組合除外)來實施。舉實例而言，本文中所描述之實施方案可包含所描述之不同實施例之功能、組件及/或特徵之各種組合及/或子組合。
此外，雖然本文中描述闡釋性實施例，但本發明之範疇包含具有基於本文中所揭示之實施例之等效元件、修改、省略、組合(例如，跨各項實施例之態樣)、調適或變更之實施例。此外，發明申請專利範圍中之元素將基於發明申請專利範圍中所採用之語言而被廣義地解釋且不限於本文中或在本申請案之審查期間所描述之實例。代替性地，此等實例應被解釋為非排他性的。因此，本文中之說明書及實例僅被視為例示性的，一真正範疇及精神由以下發明申請專利範圍及其完整等效物範疇指示。
100:智慧偵測器系統 110:局域時空處理模組/組件 120:全域時空處理模組/組件 130:時間序列分析模組/組件 140:任務管理器/模組 150:影像源 160:網路 170:使用者裝置 180:醫師裝置 190:系統 191:操作者 192:影像裝置 193:運算裝置 194:顯示裝置 200:運算裝置 210:I/O裝置 220:儲存器 230:處理器 245:記憶體部分 250:匯流排或網路 311:取樣器 312:編碼器/組件 313:遞歸神經網路(RNN) 314:時間卷積網路(TCN) 315:品質網路/組件 316:分割網路/組件 317:組件/網路 321:非因果時間卷積網路(TCN) 322:後處理器 331:事件偵測器 332:圖框選擇器 333:物件描述符 334:時間分割器 411:完全連接之網路(FCN) 412:解碼器網路 413:損失函數 415:訓練集/訓練子集 416:驗證集/驗證子集 417:測試集/測試子集 500:管線 501:輸入視訊 502:管線 522:後處理器 523:後處理器 524:後處理器 525:後處理器 526:矩陣 531:特性評分矩陣 532:品質評分矩陣 533:分割遮罩矩陣/分割遮罩 534:矩陣 541:輸出矩陣/特性評分矩陣 542:輸出矩陣/經精緻化之評分矩陣 543:輸出矩陣/分割遮罩 544:輸出矩陣 601:輸入視訊 602:任務 603:任務 610:管線 611:局域時空模組 612:全域時空模組 613:時間序列模組 620:管線 621:局域時空處理模組 622:全域時空處理模組 623:時間序列模組 630:局域時空處理模組 631:取樣器 632:編碼器 633:神經網路 634:神經網路 635:品質網路 636:分割網路 637:編碼器輸出 638:編碼器輸出 640:全域時空模組 650:管線 653:矩陣 661:向量 664:向量 671:時間序列分析模組 672:時間序列分析模組 673:時間序列分析模組 683:時間序列分析模組 690:品質評分摘要資訊主頁 691:右結腸品質評分摘要 692:橫結腸品質評分摘要 693:左結腸品質評分摘要 694:整個結腸品質評分摘要 700:方法 710:步驟 720:步驟 730:步驟 740:步驟 750:步驟 799:步驟 800:方法 810:步驟 820:步驟 830:步驟 840:步驟 850:步驟 899:步驟 900:方法 910:步驟 920:步驟 999:步驟 1000:資訊主頁 1090:輸出摘要 1092:圖框 1094:圖框 1096:圖框
構成本說明書之一部分之以下圖式繪示本發明之若干實施例且連同描述一起用於闡釋所揭示實施例之原理及特徵。在圖式中：
圖1A係與本發明之實施例一致之一實例性智慧偵測器系統之一方塊圖。
圖1B係與本發明之實施例一致之用於處理即時視訊之一實例性電腦實施系統的一示意性表示。
圖2繪示結合實施圖1A或圖1B之實例性系統或本發明之其他實施例而可採用之一實例性運算裝置。
圖3A係與本發明之實施例一致之一實例性局域時空處理模組之一方塊圖。
圖3B係與本發明之實施例一致之一實例性全域時空處理模組之一方塊圖。
圖3C係與本發明之實施例一致之一實例性時間序列分析模組之一方塊圖。
圖4A係繪示與本發明之實施例一致之圖3A之局域時空處理模組之一編碼器組件之實例性訓練的一流程圖。
圖4B係繪示與本發明之實施例一致之圖3A之局域時空處理模組之(若干)神經網路組件之實例性訓練的一流程圖。
圖4C係繪示與本發明之實施例一致之圖3A之局域時空處理模組之品質網路及分割網路組件之實例性訓練的一流程圖。
圖4D係繪示與本發明之實施例一致之圖3B之全域時空處理模組之實例性訓練的一流程圖。
圖5A及圖5B係與本發明之實施例一致之用一實例性智慧偵測器系統之組件構成之管線的示意性表示。
圖6A及圖6B繪示與本發明之實施例一致之使用一實例性智慧偵測器系統執行多個任務之不同管線設置。
圖6C及圖6D繪示與本發明之實施例一致之使用一實例性智慧偵測器系統執行具有經彙總輸出之多個任務之實例性管線設置。
圖6E繪示與本發明之實施例一致之具有使用一實例性智慧偵測器系統產生之多個任務之輸出摘要的一實例性資訊主頁(dashboard)。
圖7係描繪與本發明之實施例一致之用以分析影像及偵測一所關注特徵之一實例性方法之操作的一流程圖。
圖8係描繪與本發明之實施例一致之用於時空影像分析之一實例性方法之操作的一流程圖。
圖9係描繪與本發明之實施例一致之用於對一輸入影像集處理複數個任務之一實例性方法之操作的一流程圖。
圖10繪示與本發明之實施例一致之具有使用一實例性智慧偵測器系統產生之輸出摘要的一實例性資訊主頁。
700:方法
710:步驟
720:步驟
730:步驟
740:步驟
750:步驟
799:步驟

Claims (63)

  1. 一種用於針對所關注特徵處理影像之電腦實施系統，其包括： 一或多個記憶體裝置，其等儲存處理器可執行指令；及 一或多個處理器，其等經組態以執行該等指令以引起該系統執行用以偵測在用一成像裝置擷取之影像中之至少一個所關注特徵的操作，該等操作包括： 接收來自該等經擷取影像之一有序影像集，該有序影像集經依時間排序； 使用一局域時空處理模組個別地分析該有序影像集之一或多個子集，該局域時空處理模組經組態以判定各影像子集之各影像中之與至少一個所關注特徵有關之特性之存在及基於各影像子集之各影像中之該等經判定特性用一特徵向量註釋該等子集影像； 使用一全域時空處理模組處理該有序影像集之一特徵向量集，該全域時空處理模組經組態以精緻化與各影像子集相關聯之該等經判定特性，其中該特徵向量集之各特徵向量包含關於該至少一個所關注特徵之各經判定特性之資訊； 使用一時間序列分析模組計算各影像之一數值，該數值表示至少一個所關注特徵之該存在且使用與各影像子集相關聯之該等經精緻化特性及時空資訊來計算；及 使用與該有序影像集之各子集之各影像相關聯之該數值來產生關於該至少一個所關注特徵之一報告。
  2. 如請求項1之系統，其中該一或多個處理器進一步經組態以判定該影像子集之各影像中之與至少一個所關注特徵有關之特性之一可能性。
  3. 如請求項2之系統，其中該影像子集之各影像中之特性之該經判定可能性包含在0與1之間的一浮動值。
  4. 如請求項2之系統，其中該一或多個處理器進一步經組態以執行以下操作來判定該影像子集之各影像中之特性之該可能性： 編碼該等影像之該子集之各影像；及 使用一遞歸神經網路彙總該等經判定特性之該時空資訊。
  5. 如請求項2之系統，其中該一或多個處理器進一步經組態以： 編碼該等影像之該子集之各影像；及 使用一時間卷積網路彙總該等經判定特性之該時空資訊。
  6. 如請求項1之系統，其中該一或多個處理器進一步經組態以： 藉由應用一非因果時間卷積網路來精緻化該影像子集之各影像中之該等特性之該可能性。
  7. 如請求項6之系統，其中為精緻化該等特性之該可能性，該一或多個處理器進一步經組態以： 應用一或多種信號處理技術。
  8. 如請求項1之系統，其中為使用該局域時空處理模組來分析該有序影像集以判定特性之存在，該一或多個處理器進一步經組態以： 判定品質評分之一向量，其中品質評分之該向量中之各品質評分對應於該等影像之該子集之各影像。
  9. 如請求項8之系統，其中各品質評分係在0與R之間的一序數，其中一評分0表示最小品質且一評分R表示最大品質。
  10. 如請求項8之系統，其中為使用該全域時空處理模組來處理該有序影像集，該一或多個處理器進一步經組態以： 使用信號處理技術精緻化該有序影像集之該一或多個子集之影像之該子集之各影像的品質評分。
  11. 如請求項1之系統，其中為使用該局域時空處理模組分析該有序影像集之該一或多個子集以判定特性之該存在，該一或多個處理器進一步經組態以： 使用一深度卷積神經網路為該影像子集之各影像產生一逐像素二元遮罩。
  12. 如請求項11之系統，其中為使用該全域時空處理模組來處理該有序影像集之該一或多個子集，該一或多個處理器進一步經組態以： 使用利用關於該等經判定特性之形狀及分佈之先驗資訊之形態運算精緻化該二元遮罩以用於影像分割。
  13. 如請求項1之系統，其中與各影像相關聯之該數值係可解譯的以判定識別該影像內之該至少一個所關注特徵之概率。
  14. 如請求項1之系統，其中該一或多個處理器進一步經組態以： 輸出其中未偵測到該至少一個所關注特徵之一影像之一第一數值；及 輸出其中偵測到該至少一個所關注特徵之一影像之一第二數值。
  15. 如請求項1之系統，其中該影像子集之該大小可由該系統之一使用者組態。
  16. 如請求項1之系統，其中該影像子集之該大小係基於一所請求之所關注特徵動態地判定。
  17. 如請求項1之系統，其中該影像子集之該大小係基於該等經判定特性動態地判定。
  18. 如請求項1之系統，其中該一或多個影像子集包含共用影像。
  19. 如請求項1之系統，其中該有序影像集係在一醫療程序期間直接自該成像裝置接收。
  20. 如請求項1之系統，其中至少一個所關注特徵之該存在係自該等經擷取影像之一部分判定。
  21. 如請求項1之系統，其中關於該至少一個所關注特徵之該經產生報告係在一醫療程序期間或在該醫療程序之後立即自該等經擷取影像產生。
  22. 如請求項1之系統，其中至少一個所關注特徵之該經產生報告係以一預定義格式提供以將其與另一報告系統整合。
  23. 如請求項1之系統，其中至少一個所關注特徵之該經產生報告包含基於一醫療指南之一經建議動作、基於醫療指南之一組經建議動作之一經建議動作、或在該程序期間執行之另一動作之至少一者。
  24. 一種包含指令之非暫時性電腦可讀媒體，該等指令在藉由至少一個處理器執行時，引起該至少一個處理器執行操作以偵測在用一成像裝置擷取之影像中之至少一個所關注特徵，該等操作包括： 接收來自該等經擷取影像之一有序影像集，該有序影像集經依時間排序； 使用一局域時空處理模組分析該有序影像集之一或多個子集，該局域時空處理模組經組態以判定各影像子集之各影像中之與該至少一個所關注特徵有關之特性之存在及基於各影像子集之各影像中之該等經判定特性註釋該等子集影像； 使用一全域時空處理模組處理該有序影像集之一特徵向量集，該全域時空處理模組經組態以精緻化與各影像子集相關聯之該等經判定特性，其中該特徵向量集之各特徵向量包含關於該至少一個所關注特徵之各特性之資訊； 使用一時間序列分析模組計算各影像之一數值，該數值表示至少一個所關注特徵之該存在且使用與各影像子集相關聯之該等經精緻化特性及時空資訊來計算；及 使用與該有序影像集之各子集之各影像相關聯之該數值來產生關於該至少一個所關注特徵之一報告。
  25. 一種用於偵測在用一成像裝置擷取之影像中之至少一個所關注特徵之電腦實施方法，該方法包括藉由至少一個處理器執行之以下操作： 接收來自該等經擷取影像之一有序影像集，該有序影像集經依時間排序； 使用一局域時空處理模組分析該有序影像集之一或多個子集，該局域時空處理模組經組態以判定各影像子集之各影像中之與該至少一個所關注特徵有關之特性之存在及基於各影像子集之各影像中之該等經判定特性註釋該等子集影像； 使用一全域時空處理模組處理該有序影像集之一特徵向量集，該全域時空處理模組經組態以精緻化與各影像子集相關聯之該等經判定特性，其中該特徵向量集之各特徵向量包含關於該至少一個所關注特徵之各特性之資訊； 使用一時間序列分析模組計算各影像之一數值，該數值表示至少一個所關注特徵之該存在且使用與各影像子集相關聯之該等經精緻化特性及時空資訊來計算；及 使用與該有序影像集之各子集之各影像相關聯之該數值來產生關於該至少一個所關注特徵之一報告。
  26. 一種電腦實施系統，其包括： 一或多個記憶體裝置，其等儲存處理器可執行指令；及 一或多個處理器，其等經組態以執行指令以引起該系統執行用於用一成像裝置擷取之影像之時空分析的操作，該等操作包括： 自該等經擷取影像存取一依時間排序之影像集； 使用一事件偵測器偵測該依時間排序之影像集中之一事件之一發生，其中該事件之一開始時間及一結束時間係藉由該依時間排序之影像集中之一開始影像圖框及一結束影像圖框識別； 使用一圖框選擇器基於一影像之一相關聯評分及一品質評分自該依時間排序之影像集中之一影像群組選擇由該開始影像圖框及該結束影像圖框定界之該影像，其中該選定影像之該相關聯評分指示至少一個所關注特徵之一存在； 使用一物件描述符基於該至少一個所關注特徵之一匹配存在來合併來自該等選定影像之一影像子集，其中該影像子集係使用時空資訊基於空間及時間相干性來識別；及 使用時間分割器以滿足一選定任務之該時間相干性之時間間隔分離該依時間排序之影像集。
  27. 如請求項26之系統，其中該一或多個處理器進一步經組態以： 使用一局域時空處理模組判定該視訊內容之影像子集之與該至少一個所關注特徵有關之特性的時空資訊；及 使用一全域時空處理模組判定該視訊內容之所有影像之該時空資訊。
  28. 如請求項26之系統，其中為以時間間隔分離該依時間排序之影像集，該一或多個處理器進一步經組態以： 識別具有該至少一個所關注特徵之該存在之依時間排序之影像集之一子集；或 識別具有一事件之存在之依時間排序之影像集之一子集。
  29. 如請求項28之系統，其中為識別具有該至少一個所關注特徵之該存在之依時間排序之影像集之一子集，該一或多個處理器進一步經組態以： 將書籤增添至該依時間排序之影像集中之影像，其中該等經加書籤之影像係依時間排序之影像集之該子集之部分。
  30. 如請求項28之系統，其中為識別具有該至少一個所關注特徵之該存在之依時間排序之影像集之一子集，該一或多個處理器進一步經組態以： 自該依時間排序之影像集之該子集提取一影像集。
  31. 如請求項30之系統，其中該經提取影像集包含與該至少一個所關注特徵有關之特性。
  32. 如請求項28之系統，其中為識別具有該至少一個所關注特徵之該存在之依時間排序之影像集之一子集，該一或多個處理器進一步經組態以： 對與該依時間排序之影像集之該子集匹配之該等經擷取影像之一時間線之一部分增添色彩。
  33. 如請求項32之系統，其中該色彩隨著依時間排序之影像集之該子集之一影像對於該至少一個所關注特徵的一相關性位準而改變。
  34. 如請求項32之系統，其中該色彩隨著依時間排序之影像集之該子集之一影像對於與該至少一個所關注特徵有關之特性的一相關性位準而改變。
  35. 如請求項32之系統，其中該色彩隨著與該至少一個所關注特徵有關之不同所關注特徵而不同。
  36. 如請求項32之系統，其中該色彩隨著使用該事件偵測器偵測之不同事件而不同。
  37. 如請求項33之系統，其中該時間線係呈現為一視訊摘要之部分，其中該視訊摘要包含經覆疊文字及圖形。
  38. 如請求項37之系統，其中該視訊摘要係藉由自該等經擷取影像選擇相關圖框來產生且具有一可變圖框率視訊輸出。
  39. 如請求項26之系統，其中該事件之該發生表示一醫療程序之一部分。
  40. 如請求項26之系統，其中該等操作進一步包括： 產生具有該依時間排序之影像集之摘要之一資訊主頁，其中該摘要包含使用該圖框選擇器模組選擇且用顯示標記物擴增之影像。
  41. 如請求項40之系統，其中該經產生資訊主頁包含在使用該成像裝置擷取影像時執行之一醫療程序之品質評分。
  42. 如請求項40之系統，其中該經產生資訊主頁包含執行一醫療程序之該成像裝置之一操作者之品質評分。
  43. 如請求項40之系統，其中該經產生資訊主頁包括來自該等事件偵測器、圖框選擇器、物件描述符及時間分割器之一或多者之經彙總資訊。
  44. 一種用於用一成像裝置擷取之影像之時空分析之電腦實施方法，該方法包括藉由至少一個處理器執行之以下操作： 自該等經擷取影像存取一依時間排序之影像集； 使用一事件偵測器偵測該依時間排序之影像集中之一事件之一發生，其中該事件之一開始時間及一結束時間係藉由該依時間排序之影像集中之一開始影像圖框及一結束影像圖框識別； 使用一圖框選擇器基於一影像之一相關聯評分及一品質評分自該依時間排序之影像集中之一影像群組選擇由該開始影像圖框及該結束影像圖框定界之該影像，其中該選定影像之該相關聯評分指示至少一個所關注特徵之一存在； 使用一物件描述符基於該至少一個所關注特徵之一匹配存在來合併來自該等選定影像之一影像子集，其中該影像子集係使用藉由一局域時空處理模組產生之時空資訊基於空間及時間相干性來識別；及 使用時間分割器以滿足一選定任務之該時間相干性之時間間隔分離該依時間排序之影像集。
  45. 一種包含指令之非暫時性電腦可讀媒體，該等指令在藉由至少一個處理器執行時，引起該至少一個處理器執行用於用一成像裝置擷取之影像之時空分析之操作，該等操作包括： 自該等經擷取影像存取一依時間排序之影像集； 使用一事件偵測器偵測該依時間排序之影像集中之一事件之一發生，其中該事件之一開始時間及一結束時間係藉由該依時間排序之影像集中之一開始影像圖框及一結束影像圖框識別； 使用一圖框選擇器基於一影像之一相關聯評分及一品質評分自該依時間排序之影像集中之一影像群組選擇由該開始影像圖框及該結束影像圖框定界之該影像，其中該選定影像之該相關聯評分指示至少一個所關注特徵之一存在； 使用一物件描述符基於該至少一個所關注特徵之一匹配存在來合併來自該等選定影像之一影像子集，其中該影像子集係使用藉由一局域時空處理模組產生之時空資訊基於空間及時間相干性來識別；及 使用時間分割器以滿足一選定任務之該時間相干性之時間間隔分離該依時間排序之影像集。
  46. 一種用於處理影像之電腦實施系統，其包括： 一或多個記憶體裝置，其等儲存處理器可執行指令；及 一或多個處理器，其等經組態以執行指令以引起該系統執行用以對一影像集執行複數個任務之操作，該等操作包括： 接收複數個任務，其中該複數個任務之至少一個任務係與識別該影像集中之至少一個所關注特徵之一請求相關聯； 使用一局域時空處理模組分析該影像集之一影像子集以識別與該至少一個所關注特徵相關聯之特性之存在；及 針對該複數個任務之各任務反覆執行一時間序列分析模組以使各任務之一數字評分與該影像子集之各影像相關聯。
  47. 如請求項46之系統，其中該局域時空處理模組輸出該影像集之經分析影像之子集，其中各子集係與該複數個任務之一任務相關聯。
  48. 如請求項46之系統，其中該局域時空處理模組藉由判定品質評分之一向量來判定特性之該存在，其中品質評分之該向量中之各品質評分對應於該等影像之該子集之各影像。
  49. 如請求項46之系統，其中該局域時空處理模組產生與該複數個任務有關之所關注特徵之一特徵向量集。
  50. 如請求項46之系統，其中該等操作進一步包括： 使用一全域時空處理模組分析藉由該局域時空處理模組分析之該影像子集之特徵向量集。
  51. 如請求項46之系統，其中該等操作進一步包括： 使用該時間序列分析模組針對該複數個任務之各任務彙總該局域時空處理模組之輸出。
  52. 一種包含指令之非暫時性電腦可讀媒體，該等指令在藉由至少一個處理器執行時，引起該至少一個處理器執行用以對一影像集執行複數個任務之操作，該等操作包括： 接收複數個任務，其中該複數個任務之至少一個任務係與識別該影像集中之至少一個所關注特徵之一請求相關聯； 使用一局域時空處理模組分析該影像集之一影像子集以識別與該至少一個所關注特徵相關聯之特性之存在；及 針對該複數個任務之各任務反覆執行一時間序列分析模組以使各任務之一數字評分與該影像子集之各影像相關聯。
  53. 如請求項52之電腦可讀媒體，其中該局域時空處理模組輸出該影像集之經分析影像之子集，其中經分析影像之該子集之各子集係與該複數個任務之一任務相關聯。
  54. 如請求項52之電腦可讀媒體，其中該局域時空處理模組藉由判定品質評分之一向量來判定特性之該存在，其中品質評分之該向量中之各品質評分對應於該等影像之該子集之各影像。
  55. 如請求項52之電腦可讀媒體，其中該局域時空處理模組產生與該複數個任務之各任務有關之所關注特徵之一特徵向量集。
  56. 如請求項52之電腦可讀媒體，其中該等操作進一步包括： 使用一全域時空處理模組分析藉由該局域時空處理模組分析之該影像子集之特徵向量集。
  57. 如請求項52之電腦可讀媒體，其中該等操作進一步包括： 使用該時間序列分析模組針對該複數個任務之各任務彙總該局域時空處理模組之輸出。
  58. 一種用於對一輸入影像集執行複數個任務之電腦實施方法，該方法包括藉由至少一個處理器執行之以下操作： 接收複數個任務，其中該複數個任務之至少一個任務係與識別該影像集中之至少一個所關注特徵之一請求相關聯； 使用一局域時空處理模組分析該影像集之一影像子集以識別與該至少一個所關注特徵相關聯之特性之存在；及 針對該複數個任務之各任務反覆執行一時間序列分析模組以使各任務之一數字評分與該影像子集之各影像相關聯。
  59. 如請求項58之方法，其中該局域時空處理模組輸出該影像集之經分析影像之子集，其中經分析影像之該子集之各子集係與該複數個任務之一任務相關聯。
  60. 如請求項58之方法，其中該局域時空處理模組藉由判定品質評分之一向量來判定特性之該存在，其中品質評分之該向量中之各品質評分對應於該等影像之該子集之各影像。
  61. 如請求項58之方法，其中該局域時空處理模組產生與該複數個任務之各任務有關之所關注特徵之一特徵向量集。
  62. 如請求項58之方法，其進一步包括： 使用一全域時空處理模組分析藉由該局域時空處理模組分析之該影像子集之特徵向量集。
  63. 如請求項58之方法，其進一步包括： 使用該時間序列分析模組針對該複數個任務之各任務彙總該局域時空處理模組之輸出。
TW112125399A 2022-07-08 2023-07-07 使用時空資訊進行智慧影像分析之電腦實施系統及方法 TW202410061A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263368025P 2022-07-08 2022-07-08
US63/368,025 2022-07-08
EP22183987.1A EP4303808A1 (en) 2022-07-08 2022-07-08 Computer-implemented systems and methods for intelligent image analysis using spatio-temporal information
EP22183987.1 2022-07-08

Publications (1)

Publication Number Publication Date
TW202410061A true TW202410061A (zh) 2024-03-01

Family

ID=87136548

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112125399A TW202410061A (zh) 2022-07-08 2023-07-07 使用時空資訊進行智慧影像分析之電腦實施系統及方法

Country Status (4)

Country Link
US (1) US20240020835A1 (zh)
AU (3) AU2023302618A1 (zh)
TW (1) TW202410061A (zh)
WO (3) WO2024008953A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201904857D0 (en) * 2019-04-05 2019-05-22 Univ Oxford Innovation Ltd Quality assessment in video endosscopy

Also Published As

Publication number Publication date
US20240020835A1 (en) 2024-01-18
AU2023302618A1 (en) 2024-09-12
WO2024008953A1 (en) 2024-01-11
AU2023303107A1 (en) 2024-09-12
AU2023303106A1 (en) 2024-09-12
WO2024008958A1 (en) 2024-01-11
WO2024008962A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
US11069062B2 (en) Automated screening of histopathology tissue samples via analysis of a normal model
Pogorelov et al. Efficient disease detection in gastrointestinal videos–global features versus neural networks
CA3035763A1 (en) System and method of otoscopy image analysis to diagnose ear pathology
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
US20230007982A1 (en) Computer-implemented systems and methods for object detection and characterization
Itoh et al. Towards automated colonoscopy diagnosis: binary polyp size estimation via unsupervised depth learning
CN113592769B (zh) 异常图像的检测、模型的训练方法、装置、设备及介质
Pogorelov et al. A holistic multimedia system for gastrointestinal tract disease detection
Namazi et al. Automatic detection of surgical phases in laparoscopic videos
Nie et al. Recent advances in diagnosis of skin lesions using dermoscopic images based on deep learning
Du et al. Improving the classification performance of esophageal disease on small dataset by semi-supervised efficient contrastive learning
Jain et al. A convolutional neural network with meta-feature learning for wireless capsule endoscopy image classification
Zhang et al. Deep learning for gastric location classification: An analysis of location boundaries and improvements through attention and contrastive learning
KR102222816B1 (ko) 진행성 병변의 미래 영상을 생성하는 방법 및 이를 이용한 장치
EP4303808A1 (en) Computer-implemented systems and methods for intelligent image analysis using spatio-temporal information
Adegun et al. Deep convolutional network-based framework for melanoma lesion detection and segmentation
US20240020835A1 (en) Computer-implemented systems and methods for intelligent image analysis using spatio-temporal information
Yang et al. Leveraging auxiliary information from EMR for weakly supervised pulmonary nodule detection
CN118076315A (zh) 用于分析内窥镜检查过程的检查质量的计算机实现的系统和方法
Asskali Polyp detection: effect of early and late feature fusion
Zhao et al. Ultrasound Video Segmentation with Adaptive Temporal Memory
Roy Deep Learning in Precancerous Lesions Detection during Surveillance Colonoscopies of IBD Patients.
US20240257497A1 (en) Multi-frame analysis for classifying target features in medical videos
Adewole et al. Graph Convolution Neural Network For Weakly Supervised Abnormality Localization In Long Capsule Endoscopy Videos