TW202322744A - 用於分析內視鏡程序之檢查品質之電腦執行系統及方法 - Google Patents

用於分析內視鏡程序之檢查品質之電腦執行系統及方法 Download PDF

Info

Publication number
TW202322744A
TW202322744A TW111138220A TW111138220A TW202322744A TW 202322744 A TW202322744 A TW 202322744A TW 111138220 A TW111138220 A TW 111138220A TW 111138220 A TW111138220 A TW 111138220A TW 202322744 A TW202322744 A TW 202322744A
Authority
TW
Taiwan
Prior art keywords
operator
quality level
term
data
representation
Prior art date
Application number
TW111138220A
Other languages
English (en)
Inventor
安德莉雅 凱魯比尼
彼得羅 薩爾瓦尼尼
狄恩 南恩 恩果
Original Assignee
愛爾蘭商卡司莫人工智能有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 愛爾蘭商卡司莫人工智能有限公司 filed Critical 愛爾蘭商卡司莫人工智能有限公司
Publication of TW202322744A publication Critical patent/TW202322744A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Abstract

本發明提供一種電腦執行系統，其包含經調適以分析來自一即時視訊之複數個圖框以識別圖框之至少一個處理器，一操作者在該等圖框期間與一影像裝置互動以檢查一患者之區域。該至少一個處理器經進一步組態以自該等經識別圖框產生藉由該操作者與該影像裝置互動來檢查之一第一區域之資料表示且進一步產生藉由該操作者與該影像裝置互動來檢查之一或多個進一步區域之資料表示。該至少一個處理器亦經組態以將該第一區域之該等資料表示與該一或多個進一步區域之該等資料表示聚合且使用該等經聚合資料表示判定由該操作者檢查之該等區域之一檢查品質水準且在醫療程序期間在一顯示裝置上呈現指示由該操作者檢查之該等區域之該檢查品質水準之一圖形表示。

Description

用於分析內視鏡程序之檢查品質之電腦執行系統及方法
本發明大體上係關於成像系統領域及用於處理來自一成像系統或裝置之視訊之電腦執行系統及方法。更明確言之但不限於，本發明係關於用於處理來自一成像系統之視訊之圖框且執行一分析(諸如一檢查品質分析)之系統、方法及電腦可讀媒體。本文中所揭示之系統及方法可用於各種應用中，包含在一醫學程序期間用於檢查一患者。本文中所揭示之系統及方法亦可經實施以提供即時影像處理能力，諸如在利用一醫學成像裝置之一程序期間即時判定及提供一檢查品質水準分析。
現代醫療程序需要精確且準確檢查一患者之身體及器官。例如，當一內視鏡之一操作者仔細徹底檢查結腸中之各區域時，在一內視鏡檢查期間惡性腫瘤之檢出率可提高。相反地，若操作者疏忽跳過或依其他方式糟糕地檢查患者身體之一區域，則一惡性腫瘤可能漏診。若干因數可影響操作者之檢查水準，包含技能、疲勞度及關於是否已檢查一特定區域之記憶喚起。
在此之前，已開發各種醫療成像及檢查系統，但多數存在一或多個缺點或缺陷。例如，既有解決方案無法向操作者提供關於一特定區域之檢查品質或水準之任何分析或視覺回饋。另外，既有系統及方法無法提供一操作者之檢查技術之即時分析及回饋，其可輔助操作者在檢查一患者身體或器官時校正其技術。此外，既有系統及方法不僅無法評估或提供關於(若干)特定區域之檢查之回饋，且亦無法提供關於整個醫療程序或其一部分之回饋。
因此，需要改良成像系統及方法，包含用於其中檢查一患者之醫療程序中之成像系統及方法。除此之外，需要提供關於一操作者在(例如)一醫療程序期間之檢查技術之品質或水準之電腦執行分析及回饋。當導覽及檢查一患者身體或器官時，亦需要電腦執行系統及方法來分析資料且即時判定檢查品質水準。本發明之實施例提供此等改良且可解決既有解決方案之上述缺陷或缺點之一或多者。
本發明之實施例包含用於在一醫療程序(諸如內視鏡檢查)期間分析檢查品質之系統、方法及電腦可讀媒體。根據一些揭示實施例，提供用於在(例如)一內視鏡程序期間處理一視訊之圖框且執行表面曝光、軌跡及/或速度分析之系統、方法及電腦可讀媒體。本發明之實施例亦係關於用於識別一操作者與一影像裝置之互動且在操作者檢查一患者之身體或器官時即時判定檢查品質水準之系統及方法。如本文中所揭示，一檢查品質水準分析可基於諸如曝光、軌跡及/或速度之因數之一組合。包含曝光、軌跡及/或速度之此等因數之一或多者可在檢查患者之身體或器官時個別或共同呈現給操作者。本文中描述此等及其他實施例、特徵及實施方案。
根據本發明，一或多個電腦之一系統可經組態以藉由對系統安裝軟體、韌體、硬體或其等之一組合來執行操作或動作，軟體、韌體、硬體或其等之一組合在操作中引起系統執行該等操作或動作。一或多個電腦程式可經組態以藉由包含指令來執行操作或動作，指令在由資料處理設備(諸如一或多個處理器)執行時引起設備執行此等操作或動作。
一個通用態樣包含一種用於處理在一醫療程序(諸如內視鏡檢查)期間捕獲的一視訊之電腦執行系統。該電腦執行系統可包含經組態以接收在對一患者執行之一醫療程序期間自一影像裝置捕獲的一視訊之至少一個處理器，該視訊包含複數個圖框。該至少一個處理器可經進一步組態以：分析該複數個圖框以識別圖框，一操作者在該等圖框期間與該影像裝置互動以檢查該患者之區域用於分析；自該等經識別圖框產生藉由該操作者與該影像裝置互動來檢查之一第一區域之資料表示；自該等經識別圖框進一步產生藉由該操作者與該影像裝置互動來檢查之一或多個進一步區域之資料表示；及將該第一區域之該等資料表示與該一或多個進一步區域之該等資料表示聚合。此外，該至少一個處理器可經組態以使用該等經聚合資料表示判定由該操作者檢查之該等區域之一檢查品質水準；及在一顯示裝置上呈現指示由該操作者檢查之該等區域之該經判定檢查品質水準之一圖形表示。其他實施例包含對應電腦方法、設備及記錄於一或多個電腦儲存裝置上之電腦程式，其等各經組態以執行上述操作或特徵。
實施方案可包含以下特徵之一或多者。該檢查品質水準可基於該影像裝置之一軌跡、該影像裝置之一速度及/或由該操作者檢查之該等區域與一模型表面之一區域之間的一比率之一或多者。該第一區域及該一或多個進一步區域之該等資料表示可包含二維資料及三維資料之至少一者。該系統可包含經調適以執行一背景評估以在該複數個圖框中識別圖框之一神經網路，該操作者在該等圖框期間與該影像裝置互動以檢查該患者之區域用於分析。
該至少一個處理器可經進一步組態以在該醫療程序期間即時判定該檢查品質水準且在對該患者執行該醫療程序時更新該經判定檢查品質水準。該至少一個處理器可經進一步組態以在該經判定檢查品質水準在該醫療程序期間更新時修改該圖形表示。此外，該至少一個處理器可經組態以修改該圖形表示之一色彩、一圖案、一影像、一視訊或一文數字字元之至少一者。該至少一個處理器可經進一步組態以判定由該操作者檢查之一區域之一短期檢查品質水準及由該操作者在對該患者執行之該醫療程序期間檢查之複數個區域之一長期檢查品質水準。該醫療程序可包含一內視鏡檢查、一上消化道內視鏡檢查、一結腸鏡檢查、一乙狀結腸鏡檢查、一內鏡膽胰管造影術或一腸鏡檢查之至少一者。該醫療程序期間之該等經檢查區域可包含該患者之結腸之部分。
該至少一個處理器可經進一步組態以：自該等經識別圖框產生該患者之一經檢查第一區域之一第一三維表示；自該等經識別圖框進一步產生該患者之一經檢查第二區域之一第二三維表示；判定該第一三維表示與該第二三維表示在三維空間中之一接近度；當該經判定接近度在一臨限值內時，合併該第一三維表示之至少一部分與該第二三維表示之至少一部分；及使用該第一及第二三維表示之該等合併部分識別該操作者在該醫療程序期間未檢查之該患者之區域。所描述技術之實施方案可包含硬體、一方法或程序或一電腦可存取媒體上之電腦軟體。
另一通用態樣包含一種用於處理在一醫療程序期間捕獲的視訊之電腦執行系統。該電腦執行系統可包括經組態以接收在對一患者執行之一醫療程序期間自一影像裝置捕獲的一視訊之至少一個處理器，該視訊包含複數個圖框。該至少一個處理器可經進一步組態以：分析該複數個圖框以識別圖框，一操作者在該等圖框期間與該影像裝置互動以檢查該患者之區域用於分析；及自該等經識別圖框產生藉由該操作者與該影像裝置互動來檢查之各局部區域之資料表示。此外，該至少一個處理器可經組態以：使用各局部區域之該等資料表示判定由該操作者檢查之部分之一短期檢查品質水準；及在該醫療程序期間在一顯示裝置上呈現指示由該操作者檢查之各局部區域之該短期檢查品質水準之一圖形表示。其他實施例包含對應電腦方法、設備及記錄於一或多個電腦儲存裝置上之電腦程式，其等各經組態以執行上述操作或特徵。
實施方案可包含以下特徵之一或多者。各局部區域之該等資料表示可由該至少一個處理器聚合且該短期檢查品質水準可由該至少一個處理器使用該等經聚合資料表示判定。另外或替代地，在該電腦執行系統中，該短期檢查品質水準可基於該影像裝置之一軌跡、該影像裝置之一速度或表面曝光之至少一者。表面曝光可基於由該操作者檢查之該等區域與一模型表面之一區域之間的一比率。該至少一個處理器可經進一步組態以將由該操作者檢查之複數個局部區域之資料表示聚合成一長期資料表示。該至少一個處理器可經進一步組態以基於該長期資料表示判定一長期檢查品質水準，該長期檢查品質水準指示在整個醫療程序中經檢查區域之總量。該複數個局部區域之該等資料表示可包含二維資料及三維資料，且該至少一個處理器可經進一步組態以使用一點雲建構各局部區域之至少一模型。該系統可包含經調適以執行一背景評估以在該複數個圖框中識別圖框之一神經網路，該操作者在該等圖框期間與該影像裝置互動以檢查該患者之區域用於分析。
該至少一個處理器可經進一步組態以針對各經識別圖框判定一深度、一攝影機位置或邊緣之至少一者。該至少一個處理器可經進一步組態以在該醫療程序期間即時判定該短期檢查品質水準且在對該患者執行該醫療程序時更新該經判定短期檢查品質水準。該至少一個處理器可經進一步組態以在該醫療程序期間更新該經判定短期檢查品質水準時修改該圖形表示。該至少一個處理器可經進一步組態以修改該圖形表示之一色彩、一圖案、一影像、一視訊或一文數字字元之至少一者。該醫療程序可包含一內視鏡檢查、一上消化道內視鏡檢查、一結腸鏡檢查、一乙狀結腸鏡檢查、一內鏡膽胰管造影術或一腸鏡檢查之至少一者。該醫療程序期間之該等經檢查區域可包含該患者之結腸之部分。
根據本發明之系統及方法可使用軟體、韌體及硬體之任何適合組合實施。本發明之實施方案可包含經機器建構及/或專門程式化以執行與所揭示操作或動作相關聯之功能之程式或指令。此外，可使用儲存程式指令之非暫時性電腦可讀儲存媒體，程式指令可由至少一個處理器執行以執行本文中所描述之步驟及/或方法。
應理解，以上一般描述及以下詳細描述兩者僅供例示及解釋且不限制所揭示實施例。
相關申請案之交叉參考 本申請案主張2021年10月8日申請之美國臨時申請案第63/253,700號之優先權，該案之全部內容特此以引用方式併入。
下文參考附圖描述實例性實施例。圖未必按比例繪製。儘管本文中描述所揭示原理之實例及特徵，但可在不背離所揭示實施例之精神及範疇之情況下進行修改、調適及其他實施方案。此外，用語「包括」、「具有」、「含有」及「包含」及其他類似形式意欲為含義等效且係開放式的，因為此等用語之任一者之後的一或多個項目不意謂此一或多個項目之一詳盡清單或不意謂僅限於所列之一或多個項目。亦應注意，如本文中及隨附申請專利範圍中所使用，單數形式「一」及「該」包含複數個參考，除非內文另有清楚指示。
在以下描述中，各種工作實例僅供繪示。然而，應瞭解，可在無此等細節之一或多者之情況下實踐本發明。
在本發明中，參考「所揭示實施例」，其等係指本文中所描述之發明理念、概念及/或具體呈現之實例。本發明中描述諸多相關及不相關實施例。將一些「所揭示實施例」描述為展現一特徵或特性之事實不意謂其他所揭示實施例必然共用該特徵或特性。
本文中所描述之實施例包含含有指令之非暫時性電腦可讀媒體，指令在由至少一個處理器執行時引起至少一個處理器執行一方法或一組操作。非暫時性電腦可讀媒體可為任何媒體，其能夠依可由具有一處理器之任何運算裝置讀取之一方式將資料儲存於任何記憶體中，處理器用於實施儲存於記憶體中之方法或任何其他指令。非暫時性電腦可讀媒體可實施為軟體、韌體、硬體或其等之任何組合。軟體可較佳地實施為有形地體現於由部件或某些裝置及/或裝置之一組合組成之一程式儲存單元或電腦可讀媒體上之一應用程式。應用程式可上傳至包括任何適合架構之一機器且由該機器執行。較佳地，機器可在具有硬體(諸如一或多個中央處理單元(「CPU」)、一記憶體及輸入/輸出介面)之一電腦平台上實施。電腦平台亦可包含一作業系統及微指令碼。本發明中所描述之各種程序及功能可為微指令碼之部分或應用程式之部分或其等之任何組合，其可由一CPU執行，不論此一電腦或處理器是否被明確展示。另外，各種其他周邊單元可連接至電腦平台，諸如一額外資料儲存單元及一印刷單元。此外，一非暫時性電腦可讀取媒體可為任何電腦可讀取媒體，惟一暫時性傳播信號除外。
記憶體可包含用於儲存電子資料或指令之任何機構，包含隨機存取記憶體(RAM)、一唯讀記憶體(ROM)、一硬碟、一光碟、一磁性媒體、一快閃記憶體、其他永久、固定、揮發性或非揮發性記憶體。記憶體可包含經同置或分散、能夠儲存資料結構、指令或任何其他資料之一或多個單獨儲存裝置。記憶體可進一步包含含有處理器執行之指令之一記憶體部分。記憶體亦可用作處理器之一工作記憶體裝置或一暫時儲存器。
一些實施例可涉及至少一個處理器。一處理器可為具有對一或多個輸入執行一邏輯運算之電路系統之任何實體裝置或裝置群組。例如，至少一個處理器可包含一或多個積體電路(IC)(包含專用積體電路(ASIC))、微晶片、微控制器、微處理器、一中央處理單元(CPU)之全部或部分、圖形處理單元(GPU)、數位信號處理器(DSP)、場可程式化閘陣列(FPGA)、伺服器、虛擬伺服器或適合於執行指令或執行邏輯運算之其他電路。由至少一個處理器執行之指令可(例如)預載至與控制器整合或嵌入至控制器中之一記憶體中或可儲存於一單獨記憶體中。
在一些實施例中，至少一個處理器可包含超過一個處理器。各處理器可具有一類似建構，或處理器可具有彼此電連接或斷接之不同建構。例如，處理器可為單獨電路或整合於一單一電路中。當使用超過一個處理器時，處理器可經組態以獨立或協作操作。處理器可經電、磁性、光學、聲學、機械耦合或藉由容許處理器互動之其他方式耦合。
根據本發明之實施例可涉及一網路。一網路可構成用於交換資料之任何類型之實體或無線電腦網路配置。例如，一網路可為網際網路、一專用數據網路、使用一公用網路之一虛擬私人網路、一Wi-Fi網路、一區域網路(「LAN」)、一廣域網路(「WAN」)及/或可使資訊能夠在系統之各種組件之間交換之其他適合連接。在一些實施例中，一網路可包含用於交換資料之一或多個實體鏈路，諸如乙太網路、同軸電纜、雙絞線電纜、光纖或用於交換資料之任何其他適合實體媒體。一網路亦可包含一或多個網路，諸如私人網路、一公眾交換電話網路(「PSTN」)、網際網路及/或一無線蜂巢式網路。一網路可為一安全網路或非安全網路。在其他實施例中，系統之一或多個組件可透過一專用通信網路直接通信。直接通信可使用任何適合技術，包含(例如) BLUETOOTH™、BLUETOOTH LE™ (BLE)、Wi-Fi、近場通信(NFC)或提供用於在單獨實體之間交換資料及/或資訊之一媒體之其他適合通信方法。
在一些實施例中，可(例如)在下文描述之情況中使用訓練實例訓練機器學習網路或演算法。此等機器學習演算法之一些非限制性實例可包含分類演算法、資料回歸演算法、影像分割演算法、視覺偵測演算法(諸如目標偵測器、人臉偵測器、人偵測器、運動偵測器、邊緣偵測器等等)、視覺辨識演算法(諸如人臉辨識、人辨識、目標辨識等等)、語音辨識演算法、數學嵌入演算法、自然語言處理演算法、支援向量機、隨機森林、近鄰演算法、深度學習演算法、人工神經網路演算法、卷積神經網路演算法、遞歸神經網路演算法、線性機器學習模型、非線性機器學習模型、集成演算法等等。例如，一經訓練機器學習網路或演算法可包括一推理模型，諸如一預測模型、一分類模型、一回歸模型、一叢集模型、一分割模型、一人工神經網路(諸如一深度神經網路、一卷積神經網路、一遞歸神經網路等等)、一隨機森林、一支援向量機等等。在一些實例中，訓練實例可包含實例性輸入以及對應於實例性輸入之所要輸出。此外，在一些實例中，使用訓練實例來訓練機器學習演算法可產生一經訓練機器學習演算法，且經訓練機器學習演算法可用於估計不包含於訓練實例中之輸入之輸出。訓練可為有監督或無監督或其等之一組合。在一些實例中，訓練機器學習演算法之工程師、科學家、程序及機器可進一步使用驗證實例及/或測試實例。例如，驗證實例及/或測試實例可包含實例性輸入以及對應於實例性輸入之所要輸出，一經訓練機器學習演算法及/或一中間經訓練機器學習演算法可用於估計驗證實例及/或測試實例之實例性輸入之輸出，經估計輸出可與對應所要輸出比較，且經訓練機器學習演算法及/或中間經訓練機器學習演算法可基於比較之一結果來評估。在一些實例中，一機器學習演算法可具有參數及超參數，其中超參數由一人手動設定或由機器學習演算法(諸如一超參數搜尋演算法)外部之一程序自動設定，且機器學習演算法之參數由機器學習演算法根據訓練實例設定。在一些實施方案中，根據訓練實例及驗證實例設定超參數，且根據訓練實例及選定超參數設定參數。可基於任何輸出進一步重新訓練機器學習網路或演算法。
本文中所揭示之某些實施例可包含用於執行包括一系列步驟之操作或方法之電腦執行系統。電腦執行系統及方法可由一或多個運算裝置實施，一或多個運算裝置可包含經組態以處理即時視訊之本文中所描述之一或多個處理器。運算裝置可為一或多個電腦或能夠處理資料之任何其他裝置。此等運算裝置可包含一顯示器，諸如一LCD顯示器、擴增實境(AR)或虛擬實境(VR)顯示器。然而，運算裝置亦可在一運算系統中實施，運算系統包含一後端組件(例如作為一資料伺服器)，或包含一中介軟體組件(例如一應用伺服器)，或包含一前端組件(例如一使用者可透過其來與此處所描述之系統及技術之一實施方案互動之具有一圖形使用者介面或一網頁瀏覽器之一使用者裝置)，或此等後端、中介軟體或前端組件之任何組合。系統及/或運算裝置之組件可藉由數位資料通信之任何形式或媒體(例如一通信網路)互連。通信網路之實例包含一LAN網路、一WAN網路及網際網路。運算裝置可包含用戶端及伺服器。一用戶端及伺服器一般彼此遠離且通常透過一通信網路互動。用戶端與伺服器之關係由電腦程式在各自電腦上運行且彼此具有一用戶端-伺服器關係引起。
圖1繪示根據本發明之實施例之用於處理即時視訊之一實例性電腦執行系統100。如圖1中所展示，系統100包含一影像裝置140及一操作者120，操作者120透過自操作者120發送至影像裝置140之控制信號來操作及控制影像裝置140。舉例而言，在其中視訊饋入包括一醫療視訊之實施例中，操作者120可為對一患者執行一醫療程序之一醫師或其他健康照護專業人員。影像裝置140可包括一醫療成像裝置，諸如一內視鏡成像裝置、一X射線機、一電腦斷層攝影(CT)機、一核磁共振成像(MRI)機或產生一人體或其一部分之視訊或一或多個影像之任何其他醫療成像裝置。操作者120可在對一患者執行之一醫療程序期間藉由尤其控制影像裝置140之一捕獲率及/或影像裝置140 (例如)透過或相對於一患者或個體之人體之一移動或導覽來與影像裝置140互動及控制影像裝置140。在一些實施例中，影像裝置140可包括一可吞嚥膠囊裝置或其他形式之膠囊內視鏡裝置而非透過人體之一腔插入之一習知內視鏡成像裝置。
在圖1之實例中，在對一患者執行之一醫療程序期間，影像裝置140可將經捕獲視訊作為複數個影像圖框傳輸至一運算裝置160。運算裝置160可包括用於處理視訊之一或多個處理器，如本文中所描述(例如，參閱圖2)。在一些實施例中，一或多個處理器可實施為不是運算裝置160之部分但與運算裝置160網路通信之(若干)單獨組件(未展示)。在一些實施例中，運算裝置160之一或多個處理器可實施一或多個網路，諸如經訓練神經網路。神經網路之實例包含一目標偵測網路、一分類偵測網路、一互動偵測網路及/或其他網路。運算裝置160可接收及處理來自影像裝置140之複數個影像圖框。在一些實施例中，控制或資訊信號可在運算裝置160與操作者120之間交換以控制、指示及/或引起一或多個擴增視訊產生。此等控制或資訊信號可作為資料透過影像裝置140傳送或自操作者120直接傳送至運算裝置160。控制及資訊信號之實例包含用於控制運算裝置160之組件(諸如本文中所描述之機器學習演算法)之信號。
在圖1之實例中，運算裝置160可處理及擴增自影像裝置140接收之視訊且接著將擴增視訊傳輸至一顯示裝置180。在一些實施例中，視訊擴增或修改可包括在視訊圖框中或用視訊圖框提供一或多個重疊、文數字字元、形狀、圖式、影像、動畫影像或任何其他適合圖形表示。如圖1中所描繪，運算裝置160亦可經組態以將原始非擴增視訊自影像裝置140直接中繼至顯示裝置180。例如，運算裝置160可在預定條件下(諸如當無重疊或其他擴增或修改產生時)執行一直接中繼。在一些實施例中，若操作者120將一命令作為一控制信號之部分傳輸至運算裝置160以進行直接中繼，則運算裝置160可執行一直接中繼。來自操作者120之命令可藉由操作包含於一操作者裝置及/或一輸入裝置(未展示)上之(若干)按鈕及/或(若干)鍵來產生，諸如一滑鼠點選、一游標懸停、一滑鼠經過、一按鈕按壓、一鍵盤輸入、一語音命令、在虛擬或擴增實境中執行之一互動或任何其他輸入。
為擴增視訊，運算裝置160可僅處理來自影像裝置140之視訊或處理來自影像裝置140之視訊連同來自操作者120之控制或資訊信號且產生一經修改視訊串流來發送至顯示裝置180。經修改視訊可包括經由顯示裝置180顯示給操作者之原始影像圖框及擴增資訊。擴增資訊可僅包含一經判定檢查品質水準或值之一或多個圖形表示或包含一經判定檢查品質水準或值之一或多個圖形表示與其他資訊(諸如曝光、速度及/或軌跡資訊)之組合。在經修改視訊串流中，(若干)圖形表示可重疊於視訊上且遠離主攝影機視圖或視域放置(例如，在顯示器之一上角或下角或不阻擋主攝影機視圖或視域之另一位置中)。在一些實施例中，(若干)圖形表示可經選擇性顯示(例如，回應於開/關或來自操作者之其他控制信號)及/或呈現於一單獨面板或顯示器中(即，一單獨視訊輸出且不作為來自影像裝置140之即時視訊之一重疊)。顯示裝置180可包括用於顯示視訊或經修改視訊之任何適合顯示器或類似硬體，諸如一LCD、LED或OLED顯示器、一擴增實境顯示器或一虛擬實境顯示器。
圖2繪示根據本發明之實施例之用於處理即時視訊之一實例性運算裝置200。運算裝置200可結合圖1之實例性系統之實施方案(包含(例如)運算裝置160)使用。應理解，在一些實施例中，運算裝置可包含多個子系統，諸如雲運算系統、伺服器及/或用於接收及處理即時視訊之任何其他適合組件。
如圖2中所展示，運算裝置200可包含一或多個處理器230，其等可包含(例如)一或多個積體電路(IC)(包含專用積體電路(ASIC))、微晶片、微控制器、微處理器、一中央處理單元(CPU)之全部或部分、圖形處理單元(GPU)、數位信號處理器(DSP)、場可程式化閘陣列(FPGA)、伺服器、虛擬伺服器或適合於執行指令或執行邏輯運算之其他電路，如上文所提及。在一些實施例中，(若干)處理器230可包含用一或多個處理器實施之一較大處理單元或可為該較大處理單元之一組件。一或多個處理器230可用以下之任何組合實施：通用微處理器、微控制器、數位信號處理器(DSP)、場可程式化閘陣列(FPGA)、可程式化邏輯裝置(PLD)、控制器、狀態機、閘控邏輯、離散硬體組件、專用硬體有限狀態機或可執行資訊之計算或其他操縱之任何其他適合實體。
如圖2中所進一步展示，(若干)處理器230可經由一匯流排或網路250通信地連接至一記憶體240。匯流排或網路250可經調適以傳送資料或其他形式之資訊。記憶體240可包含含有指令之一記憶體部分245，指令在由(若干)處理器230執行時執行本文中更詳細描述之操作及方法。記憶體240亦可視情況用作(若干)處理器230之一工作記憶體、一暫時儲存器及其他記憶體或儲存角色。舉例而言，記憶體240可為一揮發性記憶體(諸如(但不限於)隨機存取記憶體(RAM))或非揮發性記憶體(NVM)(諸如(但不限於)快閃記憶體)。
(若干)處理器230亦可經由匯流排或網路250通信地連接至一或多個I/O裝置210。I/O裝置210可包含任何類型之輸入及/或輸出裝置或周邊裝置。I/O裝置210可包含一或多個網路介面卡、API、資料埠及/或用於支援經由網路250與(若干)處理器230之連接性之其他組件。
如圖2中所進一步展示，(若干)處理器230及運算裝置200之其他組件(210、240)可通信地連接至一資料庫或儲存裝置220。儲存裝置220可將資料電子儲存於一組織格式、結構或檔案集中。儲存裝置220可包含用於促進資料儲存及擷取之一資料庫管理系統。儘管圖2中繪示為一單一裝置，但應理解，儲存裝置220可包含同置或分散之多個裝置。在一些實施例中，儲存裝置220可在一遠端網路(諸如一雲儲存器)上實施。
(若干)處理器230及/或記憶體240亦可包含用於儲存軟體或指令集之機器可讀媒體。如本文中所使用，「軟體」廣泛係指任何類型之指令，不論指稱軟體、韌體、中介軟體、微碼、硬體描述語言或其他。指令可包含碼(例如，呈源碼格式、二進位碼格式、可執行碼格式或任何其他適合碼格式)。指令在由一或讀個處理器230執行時可引起(若干)處理器執行本文中進一步詳細描述之各種操作及功能。
運算裝置200之實施方案不限於圖2中所展示之實例性實施例。可修改及重新配置組件(210、220、230、240)之數目及配置。此外，儘管圖2中未展示，但運算裝置200可與(若干)其他網路電子通信，包含網際網路、一區域網路、一廣域網路、一都會區域網路及能夠實現運算架構之元件之間通信之其他網路。此外，運算裝置200可自任何源(包含儲存裝置220)以及(若干)網路或(若干)其他資料庫擷取本文中所描述之資料或其他資訊。此外，運算裝置200可包含用於實施本文中所描述之神經網路之一或多個機器學習模型且可擷取或接收機器學習模型之權重或參數、訓練資訊或訓練回饋及/或本文中所描述之任何其他資料及資訊。
圖3繪示根據本發明之實施例之用於處理在一醫療程序期間捕獲的視訊之一實例性方法300。實例性方法300可借助至少一個處理器(例如運算裝置160之至少一個處理器或(若干)處理器230)或非暫時性電腦可讀媒體(諸如一CPU、FPGA、ASIC或運算裝置之(若干)任何其他處理結構或儲存媒體)實施。如圖3中所展示，在步驟310中，至少一個處理器可接收在對一患者之一醫療程序期間自一影像裝置捕獲的即時視訊。如本文中所使用，「即時視訊」可係指由至少一個處理器、運算裝置及/或系統接收且無來自視訊源(例如一影像裝置)之可感知延遲之視訊。例如，至少一個處理器可經組態以接收在對一患者執行之一醫療程序期間自一醫療影像裝置捕獲的即時視訊。一醫療影像裝置可為能夠產生一人體或其一部分之視訊或一或多個影像之任何裝置，諸如一內視鏡裝置、一X射線機、一CT機或一MRI機，如上文所描述。一醫療程序可為經執行用於檢查、判定、偵測、量測及/或診斷一患者病情之任何動作或操作組。一醫療程序之實例包含一內視鏡檢查、一上消化道內視鏡檢查、一結腸鏡檢查、一乙狀結腸鏡檢查、一內鏡膽胰管造影術或一腸鏡檢查。在醫療程序期間，操作者可與影像裝置互動以檢查患者之區域用於分析。一操作者可檢查分析之人體中之位置包含直腸、乙狀結腸、降結腸、橫結腸、升結腸或盲腸。在一些實施例中，醫療程序可包含一內視鏡程序。例如，在一內視鏡程序期間，操作者可與影像裝置互動以檢查患者之一結腸之區域以識別關注目標(例如病變或息肉)。然而，應理解，所揭示系統及方法可用於其他程序及應用中。
根據所揭示實施例，在一醫療程序期間自影像裝置接收之即時視訊可包括複數個圖框。如本文中所使用，一「圖框」可係指任何數位表示，諸如表示即時視訊中之一場景或視域之一像素集合。在此等實施例中，一像素可表示由一色彩空間中之一值或強度特徵化之一離散元素(例如，基於RGB、RYB、CMY、CMYK或YUV色彩模型)。一圖框可依任何適當格式編碼，諸如聯合圖像專家小組(JPEG)格式、圖形交換格式(GIF)、位元映射格式、可縮放向量圖形(SVG)格式、封裝幕後排版(EPS)格式或任何其他格式。術語「視訊」可係指依序包括複數個圖框之一關注場景或區域之任何數位表示。一視訊可依任何適當格式編碼，諸如一動態影像專家小組(MPEG)格式、一flash視訊格式、一音視訊號交插(AVI)格式或任何其他格式。然而，一視訊無需編碼，且可更一般地包含複數個圖框。圖框可依任何順序，包含一隨機順序。在一些實施例中，一視訊或複數個圖框可與音訊相關聯或配對。
複數個圖框可包含一關注目標之表示。如本文中所使用，一「關注目標」可係指可期望其偵測或特徵化之複數個圖框中之任何視覺項目或特徵。例如，一關注目標可為一人、位置、實體、特徵、區域或任何其他可區分視覺項目或事物。在其中複數個圖框包括自一醫療成像裝置捕獲的影像之實施例中，例如，一關注目標可包含以下之至少一者：人體組織上或人體組織之一形成物、人體組織自一種類型之細胞至另一類型之細胞之一變化、人體組織在預期存在人體組織之一位置缺失或一病變。由一影像裝置捕獲的一視訊中之關注目標之實例可包含一息肉(自一胃腸黏膜突出之一增生)、一腫瘤(身體一部分之一腫脹)、一瘀傷(自健康細胞變為變色細胞)、一凹陷(人體組織之一缺失)或一潰瘍或膿腫(已遭受損壞(即，一病變)之組織)。關注目標之其他實例將自本發明明白。
再次參考圖3，在步驟320中，至少一個處理器可識別來自在對一患者執行之一醫療程序期間自一影像裝置接收之一視訊(本文中亦指稱「即時視訊」)之圖框。在醫療程序期間，一操作者可與影像裝置互動以檢查患者之一器官之區域用於分析。一操作者與影像裝置之互動類型可藉由分析來自影像裝置之視訊之複數個圖框且使用(例如)一影像分類演算法或神經網路將圖框分類成複數個動作之一或多者來判定。舉例而言，在一醫療程序期間，一操作者可將水噴灑於一區域上，將影像裝置之一攝影機導覽至一小腸或其他器官周圍以檢測一或多個區域，放大一區域，檢測一病變或其他形成物或目標，移除一病變或其他形成物或目標，執行一活檢，插入影像裝置，撤出影像裝置或執行可幫助分析或治療一患者之其他動作。各圖框或各組圖框可基於由操作者執行之(若干)動作來分類。作為非限制性實例，一圖框或一組圖框可在(若干)圖框中偵測到一水流或水射流時分類成「噴灑」；(若干)圖框可在(若干)圖框中偵測到一外科器械時分類成「移除」；(若干)圖框可在判定(若干)圖框中之一目標之區域較大時分類成「檢測」，藉此指示操作者已放大以分析目標；及/或(若干)圖框可在判定(若干)圖框中之視圖實質上沿患者之身體器官之軸線時分類成「探查」，藉此指示操作者正在向前(或向後)移動至器官中。將圖框分類成動作之一或多者可指示操作者正在與影像裝置互動以檢查患者之區域用於分析。例如，分類成「檢測」或「探查」之圖框可經識別為其中操作者正與影像裝置互動以檢查患者之區域用於分析之圖框，因為此等動作可指示操作者正在導覽患者之(若干)器官或(若干)其他身體部位以識別關注目標。相反，分類成「噴灑」或「移除」之圖框可經識別為其中操作者並未與影像裝置互動以檢查患者之區域用於分析之圖框，因為此等動作可指示操作者正在執行其他動作而非導覽患者之(若干)器官或(若干)其他身體部位以識別關注目標。分類可依任何形式表示及判定，諸如數字類別(例如，「1」表示探查，「2」表示檢測，「0」表示無分類等等)、文數字類別(例如「探查」、「移除」、「N/A」等等)或其他格式。應理解，任何適合分類或背景可用於分類一或多個圖框及/或判定操作者正在與影像裝置互動以檢查患者之區域用於分析，且上述實例僅係繪示性的且並不限制根據本發明之實施例。
在一些實施例中，一神經網路可經調適以執行一背景評估以識別複數個圖框中之圖框，操作者在該等圖框期間與影像裝置互動以檢查患者之一器官之區域用於分析。例如，複數個圖框可經饋送至一或多個神經網路(例如一深度神經網路、一卷積神經網路、一遞歸神經網路等等)、一隨機森林、一支援向量機或經訓練以分類複數個圖框之任何其他適合模型，如上文所描述。神經網路可使用基於一或多個動作分類標記之複數個訓練圖框或其部分來訓練。例如，其中一操作者正在執行一動作(例如，將水噴灑至一區域上)之一第一組訓練圖框(或圖框之部分)可標記為該動作(例如「噴灑」)，且其中操作者並未執行該動作(例如「未噴灑」)之一第二組訓練圖框(或圖框之部分)或正在執行另一動作(例如「探查」)可經相應地標記。其他標記慣例既可用於二進位(例如「檢測」vs「未檢測」)亦可用於多個類別(例如「檢測」vs「移除」vs「噴灑」)。神經網路之權重或其他參數可基於其相對於一未標記第三組訓練圖框(或圖框之部分)之輸出來調整直至達成一聚合或其他度量，且程序可用額外訓練圖框(或圖框之部分)或用即時資料重複，如本文中所描述。
機器學習演算法、模型或權重可儲存於運算裝置及/或系統中，或其等可在處理之前自一網路或資料庫提取。在一些實施例中，一機器學習網路或演算法可基於其輸出(諸如正確或不正確分類輸出)之一或多者重新訓練。用於重新訓練之回饋可由系統或運算裝置自動產生，或其可由操作者或另一使用者(例如，透過一滑鼠或鍵盤或其他輸入裝置)手動輸入。機器學習網路或演算法之權重或其他參數可基於回饋來調整。另外，習知非機器學習分類演算法可單獨或結合機器學習分類網路或演算法用於分類複數個圖框。
在一些實施例中，指定經識別操作者動作之資訊及/或操作者是否正在與影像裝置互動以檢查患者之區域之判定可經呈現以依任何適合圖形表示顯示。此資訊可指示經識別操作者動作何時發生或即時呈現於(例如)一顯示裝置上。資訊亦可隨時間收集及更新(例如，在一醫療程序過程期間)且各動作之累積量可呈現於一顯示裝置上。例如，一圓餅圖可與指示對應於判定之圖框之百分比(例如，自醫療程序開始以來)之標籤及/或數字一起呈現，諸如當35%之複數個圖框經識別為其中操作者自一個區域移動至另一區域之圖框時之「探查35%」，及當20%之複數個圖框經識別為其中操作者移除一息肉或其他關注目標之圖框之「移除20%」。可使用其他類型之圖形顯示及表示，諸如其他類型之圖表(例如一條形圖)、文數字字元(例如，僅標籤及/或百分比)、符號(例如，用於指示噴灑之一水滴圖標)、視訊或動畫影像(例如一移除之一視訊)及/或任何其他視覺表示。
在圖3中之步驟330中，至少一個處理器可自經識別圖框產生由與影像裝置互動之操作者檢查之一第一區域之資料表示。一區域之一資料表示可經表達成二維資訊(例如，由x及y座標界定之一座標系上之平面資訊)、三維資訊(例如，由x、y及z座標界定之一座標系上之點雲資訊)或兩者之一組合。例如，資料表示可藉由運算一圖框中之視圖中及視圖周圍之空間特性(諸如深度、姿勢及邊緣)來產生，儘管任何其他視覺屬性可用於產生資料表示。
例如，深度可藉由計算兩個圖框中之對應影像點之間的像差來判定。例如，在包括兩個或更多個攝影機之實施例中，可根據以下公式運算深度：
Figure 02_image001
其中x係深度，f係焦距(即，影像裝置之透鏡與其捕獲感測器之間的距離)，b係基線距離(即，第一圖框及第二圖框之捕獲點之間的距離)，x 1係第一圖框中之對應點，且x 2係第二圖框中之對應點。作為另一實例，在包括一單一或單目攝影機之實施例中，一或多個神經網路可經訓練以執行單目深度估計。一或多個神經網路(例如)可使用一深度學習方法來訓練，藉此使用含有具有經計算深度資訊之一組影像圖框之一資料庫或儲存裝置訓練一或多個神經網路。神經網路可基於其等輸出重新訓練。一或多個神經網路可與其他影像處理演算法配對，諸如邊緣偵測、雜訊減少、形態影像運算、平滑演算法及任何其他基於視覺之處理。使用一或多個神經網路之深度估計可對循序捕獲的兩個相鄰圖框、彼此不按順序捕獲的兩個圖框(例如，可跳過一或多個圖框)、根據一規則挑選之兩個圖框(例如，在一組圖框中具有最高品質之兩個圖框)、隨機地或其等之一組合執行。然而，熟習技術者將自檢視本發明瞭解，可使用用於計算或估計深度之其他演算法及方法。
一姿勢亦可使用用於判定影像裝置相對於一座標系之位置及/或旋轉之任何適合演算法來計算。在一些實施例中，姿勢可使用經訓練以估計攝影機與兩個或更多個影像圖框之相對位移(其可用作攝影機之姿勢之一代理)之一或多個神經網路來估計。在一些實施例中，此等神經網路可利用各圖框之深度資訊以判定攝影機之相對位移。此外，一損失函數或另一最佳化方法可用於確保橫跨多個圖框之經判定位移之一致縮放。神經網路可應用於連續影像圖框(儘管在一些實施例中，可跳過一些圖框)，且結果可在整個程序或其一部分期間儲存以允許追蹤程序中之任何點處之攝影機姿勢。例如，攝影機在一給定時間相對於一初始時間(例如，時間零)之姿勢可藉由串連針對各圖框對計算之相對位移來獲得。串連可使用(例如)最佳化演算法、平滑運算或任何其他適合細化程序來進一步細化。然而。熟習技術者檢視本發明將瞭解，可使用用於計算或估計姿勢之其他方法。
亦可識別一圖框中之表面之邊緣。邊緣可使用任何邊緣偵測演算法(例如坎尼法(Canny method)、索貝爾法(Sobel Method)、差分法、卷積法或任何其他方法)來判定。例如，在其中在一內視鏡檢查期間捕獲圖框之實施例中，一患者之結腸中之折疊邊緣可經偵測以分割圖框中所描繪之表面。經折疊邊緣及/或由邊緣界定之區域可隨後用於產生由操作者在醫療程序期間檢查之區域之資料表示。再者，可在操作者之回饋之呈現期間使用邊緣及/或由邊緣界定之區域。例如，操作者之導覽之圖形表示可使用邊緣及/或區域資訊分離或依其他方式分割，如本文中所進一步描述。因此，應理解，用於產生由操作者檢查之區域之資料表示之視覺屬性可用於其他目的，諸如給操作者之回饋。此外，上文所列之視覺屬性之類型僅供繪示且不意欲為詳盡的。
根據以上描述，空間特性(諸如深度、姿勢及邊緣)可使用一或多個機器學習網路判定。例如，一或多個神經網路可經訓練以藉由最小化一回歸損失經由監督學習自來自視覺特徵之一單一圖框直接回歸深度、姿勢及/或邊緣。作為另一實例，一或多個神經網路可經訓練以依一有監督(例如，藉由手動驗證)或無監督(例如，藉由一空間變壓器網路)方式預測來自兩個或更多個圖框之像差/深度及/或姿勢。機器學習網路可基於一或多個輸出(諸如正確或不正確深度、姿勢或邊緣計算)重新訓練。用於重新訓練之回饋可由系統或運算裝置自動產生，或其可由操作者或另一使用者(例如，透過一滑鼠或鍵盤或其他輸入裝置)手動輸入。機器學習網路之權重或其他參數可基於回饋來調整。另外，習知非機器學習演算法可單獨或結合機器學習網路或演算法用於判定一圖框中之空間特性，諸如深度、姿勢及/或邊緣。
再者，可在計算之後進一步細化經計算空間特性。例如，一視覺測距演算法可用於在計算之後細化一姿勢估計。視覺測距演算法可用於估計影像裝置之位置在多個圖框內隨時間之變化。視覺測距演算法可包含預處理步驟(例如扭曲移除等等)，儘管在一些實施例中可能無需預處理。可計算兩個或更多個圖框中之對應視覺特徵之間的一關聯。一運動流或圖案可隨後基於關聯來估計(例如，使用盧卡斯-卡納德法(Lucas-Kanade method)、霍恩-舒恩克法(Horn-Schunck method)、巴克斯頓-巴克斯頓法(Buxton-Buxton method)、布萊克-傑普森法(Black-Jepson method)或任何其他方法)。可取決於經計算之特定空間特性或任何其他資訊應用其他細化。
再次參考圖3之實例性方法，在步驟340中，至少一個處理器可自經識別圖框產生由與影像裝置互動之操作者檢查之一或多個進一步區域之資料表示。由操作者檢查之一或多個進一步區域之資料表示可依相同或類似於針操作者檢查之第一區域之方式產生，如上文所討論(例如，藉由運算一圖框中之視圖中或視圖周圍之空間特性，諸如深度、姿勢及邊緣，儘管其他視覺屬性可用於產生資料表示)。由操作者檢查之第一區域及一或多個進一步區域無需相鄰或按順序檢查，但可表示患者之身體之不同區域且可在醫療程序期間之不同時間檢查。
在步驟350中，至少一個處理器可將一第一區域之資料表示與一或多個進一步區域之資料表示聚合。多個資料表示可藉由連結在由操作者檢查之區域中彼此相鄰之表示來聚合。例如，兩個相鄰資料表示可使用二維資料、三維資料或兩者聚合成一單一資料表示。下文參考圖4描述用於使用經檢查區域之三維資料聚合資料表示之一實例性方法。聚合可使用用於界定資料表示之座標系(諸如一x、y及z座標系)來執行。例如，帶有具有相同x、y及z座標之一或多個重疊點之兩個資料表示可使用此等重疊點作為參考來聚合。在一些實施例中，一內插或一填充演算法可在資料表示含有遺失或損壞資料導致資料表示中之「孔洞」時執行，以藉由移除此等孔洞產生一單一無縫資料表示。此外，在一些實施例中，可應用一距離臨限值或其他標準以判定兩個或更多個資料表示在一座標空間中彼此是否足夠接近以保證聚合。應瞭解，資料表示無需聚合成一單一資料表示但可經計算且儲存為多個單獨資料表示。
在圖3之步驟360中，至少一個處理器可使用經聚合資料表示判定由操作者檢查之區域之一檢查品質水準。如本文中所使用，一「檢查品質水準」可係指由影像裝置捕獲的一區域之一操作者之檢查之一品質。一檢查品質水準可使用經聚合資料表示來判定，諸如藉由就散由操作者檢查之區域與一模型表面之一區域之間的一比率。一檢查品質水準亦可使用與影像裝置相關聯之資訊、經捕獲即時視訊或圖框或其他資訊(諸如影像裝置之軌跡、影像裝置之速度、以及運算裝置可用或由運算裝置產生之其他資訊)來判定。在又進一步實施例中，一檢查品質基於以下因數或資訊之一或多者判定：(i)一檢查或醫療程序之時序或與一檢查或醫療程序相關之時序，諸如自一身體器官(諸如盲腸之一底部)之一位置或區域之一撤出大於或等於一臨限時間(諸如6分鐘)；(ii)與由內視鏡醫生或操作者執行之動作相關之結腸鏡撤出時間(CWT)統計，統計由(例如)一背景分析器(例如，參閱題為「Systems and Methods for Contextual Image Analysis」之WO 2021/156159 A1，該案之揭示內容在本文中明確併入)運算且CWT統計與一或多個臨限值、軌跡、瞬時速度、速度統計及結腸或其他器官表面之經聚合資料(具有關於哪個部分(諸如腸黏膜)已經曝光且在何種角度及/或距離)表示比較，以上因數或資訊並非排他的而是互補的，且可組合檢視以判定檢查品質水準。
在一些實施例中，一檢查品質水準可為自一曝光水準判定之一醫療程序期間之一檢查之一品質水準。例如，為判定表面曝光之一水準(即，一「曝光水準」)，可計算由操作者檢查之區域與一模型表面之一區域之間的一比率。如本文中所使用，一「模型表面」可係指由操作者檢查之一事物或目標之一表示，諸如二維或三維模型。例如，在其中操作者用一內視鏡進行一檢查之實施例中，模型表面可為一患者之結腸之一模型。在此實例之後，模型表面可包括依一結腸之形狀排列之不同直徑之一系列圓柱體。使用模型表面，由操作者檢查之區域與模型表面之一區域之間的一比率可經計算以指示曝光水準。例如，一或多個圖框中所捕獲的一表面之二維資料表示之區域可與模型表面中之一對應二維區域表面之面積比較。作為另一實例，一或多個圖框中所捕獲的一表面之三維資料表示之表面可與模型表面中之一對應三維表面之表面比較。為判定表面曝光之水準，可因此基於比較計算一比率，其可依任何所要格式表達(例如，25%經檢查表面、45%經檢查表面等等)。
舉例而言，為用至少一個處理器判定曝光水準，可執行一圓柱形投影，其中二維投影經捕獲表面之經估計三維資料表示及結腸之一三維模型。結腸之三維模型可藉由一或多個方法產生，諸如(i)藉由應用基於單目視訊之自監督深度估計演算法且增強圖框與圖框一致性；(ii)在一結腸上使用三維感測器(例如，主動立體或立體攝影機)或經由活體外量測收集三維資料；及(iii)創建包含結腸形狀、結腸變形、結腸紋理等之三維合成資料集，其中合成結腸模型由(例如)一圖形設計者依一草圖或一參數化方式創建，且藉由參數擬合及/或估計提供一大資料集。投影軸可自三維結腸模型及三維重建模型估計。三維重建模型可使用諸如一迭代最近點(ICP)演算法之一習知演算法對準至三維結腸模型。在一些實施例中，投影成二維可基於患者之結腸之形狀或其之一估計循序或同時進行。一旦三維結腸模型及三維重建模型之投影可用，即可比較兩個投影之面積。在一些實施例中，圓柱形投影方法可能無需一結腸模型。在此等情況中，圓柱形投影可應用於三維重建模型且曝光區域可抵靠整個圓柱形比較。
在一些實施例中，一地表實況三維結腸重建模型可用於自三維表示估計表面檢查量。模型可在醫療程序期間用於檢查品質水準分析之前訓練、測試及驗證。在一些實施例中，地表實況三維結腸重建模型可基於來自一單目視圖系統之一最近深度產生。儘管使用此技術產生之三維模型之準確度可能很高，但此技術可為資源密集的。替代地，在一些實施例中，地表實況三維結腸重建模型可藉由使用一深度感測器且比較來自深度資料之重建與來自標準色彩圖框資料之重建來產生。在又其他實施例中，地表實況三維結腸重建模型可基於一合成模型及使用一圖形渲染工具產生一視訊序列來產生。一旦產生視訊序列，即可對視訊序列執行三維重建演算法且結果可與經創建合成模型比較。
在一些實施例中，至少一個三維結腸模型可用於自(若干)產生之三維表示估計曝光表面量。在一些實施例中，一或多個三維結腸模型可經提供且此等模型中之一特定模型可經選擇且基於(若干)三維表示之完整度與(若干)三維表示比較。舉例而言，若不具有未合併短期表示之一單一長期三維表示可用，則其可與標準結腸模型之一資料庫中之一結腸模型比較。若(若干)長期表示部分覆蓋結腸之一或多個部分，則(若干)長期表示可與結腸之一或多個部分(諸如一區段、一盲腸或升結腸)之一資料庫比較以估計一患者之結腸表面之曝光量。在一些實施例中，系統可產生多個短期表示或長期表示及一些未合併短期表示之一組合。在此等情況中，一圓柱形投影方法可用於判定可用之部分短期及長期表示之一適當擬合。
在其他實施例中，曝光可藉由將三維重建模型直接投影至三維結腸模型表面上來量測。在此等情況中，三維重建模型之各三維頂點或三維面可經投影至三維結腸模型上。曝光水準可自與經投影點或頂點匹配之三維結腸模型之面積與三維模型表面之總面積之間的一比率判定。
在不同患者之間，在患者之腸道之實體尺寸及特性方面可存在差異。然而，患者之腸道具有一共同解剖結構及一組標誌(屈肌、瓣膜、孔口等)。此等共同特性及標誌可用於建構腸道之一典型模型。此等模型可提供一足夠水準之準確度以在患者之結腸內定位一黏膜區域。此外，任何差異可由本發明之系統及方法透過對來自各種患者之資料之訓練解決。替代地或另外，與一患者之結腸相關之資訊(例如形狀、大小及其他特性)可用於選擇複數個結腸模型之一者作為一最佳擬合操作之部分或其可用於對一基礎結腸模型進行調整。
本發明之實施例亦可經組態以解決不同內視鏡攝影機之間的差異。此可完成以最小化對經收集影像資料及經判定曝光水準之任何影響。例如，可應用一或多個攝影機校準方法。在一些實施例中，一單目深度估計方法藉由應用一固有攝影機校準來改良，其可在(例如)安裝時及/或在每一醫療程序之前針對各影像裝置執行至少一次。更多先進演算法可應對未校準攝影機以提供卷積神經網路輸出中之攝影機參數之一估計。參閱(例如) ＜＜https://openaccess.thecvf.com/content_ICCV_2019/papers/Gordon_Depth_From_Videos_in_the_Wild_Unsupervised_Monocular_Depth_Learning_ICV_2019_paper.pdf＞＞。
在一些實施例中，一檢查品質水準可為在自影像裝置之一軌跡判定之一醫療程序期間之一檢查之一品質水準。影像裝置之一軌跡可使用任何適合估計估計演算法來判定。例如，可識別兩個或更多個圖框中之對應點。經識別對應點可隨後轉譯成一預定義座標系(例如，具有x、y及z座標之一座標系)中之座標。分別描述兩個或更多個圖框之旋轉及平移之一旋轉矩陣及一平移向量可接著使用經平移座標來計算。一擬合演算法(諸如隨機取樣一致性(RANSAC)、最大可能估測器取樣一致性(MLESAC)、PEARL、霍夫(Hough)、最小平方法或任何其他擬合演算法)可隨後用於藉由忽略離群點找到最佳旋轉矩陣及平移向量。經運算旋轉矩陣及平移向量可隨後經轉換成座標系以運算影像裝置相對於一起始點(例如一第一圖框)之一軌跡。以上程序可相對於即時視訊之多個其他圖框重複以在即時視訊之一部分期間創建影像裝置之一軌跡。然而，應理解，可利用其他軌跡估計演算法。
在一些實施例中，一檢查品質水準可為自影像裝置之一速度判定之一醫療程序期間之一檢查之一品質水準。影像裝置之一速度可使用任何適合速度估計演算法來判定。例如，在運算如上文所描述之影像裝置之軌跡之後，可計算兩個或更多個連續圖框(儘管可跳過一些圖框)之間的一相對速度。速度可基於影像裝置在兩個或更多個圖框之間的其軌跡期間行進之距離來計算。作為一進一步實例，一加速度計或一追蹤裝置可用於在操作者在一醫療程序期間與影像裝置互動時判定影像裝置之速度。然而，應理解，可利用用於估計速度之其他步驟或演算法。
在一些實施例中，一檢查品質水準可為使用特性之一組合判定之一醫療程序期間之一檢查之一品質水準。運算裝置可使用(例如)影像裝置之軌跡、影像裝置之速度、由操作者檢查之區域與一模型表面之一區域之間的比率及/或運算裝置可用或由運算裝置產生之任何其他資訊來判定一檢查品質水準。例如，一高檢查品質水準可為一良好影像裝置軌跡、一適當影像裝置速度及/或一高曝光水準(例如，經檢查表面相對於一模型表面之一高比率)之結果。相反，一低檢查品質水準可為一不良影像裝置軌跡、一不適當影像裝置速度及/或一低曝光水準(例如，經檢查表面相對於一模型表面之一低比率)之結果。一般而言，一軌跡可根據其平滑度、規則度、對稱度及/或與軌跡相關聯之任何其他屬性評估。作為一實例，針對一內視鏡，一良好影像裝置軌跡應遵循一螺旋或螺旋狀軌跡而非一筆直軌跡。亦可查驗軌跡之其他特性。舉例而言，一內視鏡攝影機之軌跡應最小化與黏膜之距離，最佳化相對於黏膜表面之角度使得觀察法向於黏膜表面，及/或提供結腸褶皺後面之黏膜之觀察。在一些實施例中，檢查品質水準可為一定性二進位值。定性二進位值之一些實例包含：良好或不良；低或高；可接受或不可接受；及不通過或通過。在一些實施例中，檢查品質水準可為一數值，諸如一連續標度上之一分數(例如，諸如0至1、1至10或1至100之一標度上之一分數)。
在一些實施例中，檢查品質水準可基於曝光之總面積之一臨限值判定。作為一實例，若曝光之器官之總面積係50%或更大，則檢查品質水準可被視為高或良好。然而，若曝光之器官之總面積小於50%，則檢查品質水準可被視為低或不良。應瞭解，可使用其他臨限值且可實施表達檢查品質水準之其他方式(例如通過或不通過)。
在一些實施例中，基於連續圖框中之攝影機姿勢之一估計判定軌跡。如本文中所揭示，針對一內視鏡攝影機，軌跡應最大化結腸褶皺後面之區域之可見度且最佳化觀察之方向及與黏膜表面之距離。一螺旋狀軌跡(底部)優於一直線軌跡。在一些實施例中，藉由在沿其軌跡移動時分析攝影機之時聚合視域來達成一更準確軌跡評估。
在一些實施例中，一檢查品質水準可僅基於影像裝置之速度或結合其他因數或資訊判定。例如，當速度在由最小程序時序指南推薦之預定義速度限制內時，及/或當其平穩且恆定時(例如，速度沒有過大峰值及/或下降)，速度可被視為最佳。另外或替代地，當影像裝置允許清楚觀察黏膜表面時，影像裝置之速度可被視為最佳。一良好影像裝置軌跡及最佳影像裝置速度之組合可為可期望的且導致一高檢查品質水準之一判定。作為一進一步實例，若影像裝置沿一良好軌跡但依一高於最佳速度移動使得黏膜表面未充分或清楚成像，則可判定檢查品質水準較低。在一些實施例中，一檢查品質水準可僅基於表面曝光或結合其他因數或資訊判定。例如，當經檢查表面相對於一模型表面之比率在一預定曝光範圍內且可基於局部或短期曝光及/或全域或長期曝光時，曝光可被視為充分的。如本文中所使用，「曝光」係指經觀察結腸表面積與總結腸表面積之比率。在又進一步實施例中，諸如軌跡、速度及/或曝光之一或多個分析因數可用於判定檢查品質水準。然而，其他經分析值或計算可用於判定檢查品質水準，如上文所解釋。
在一些實施例中，展示一個處理器可經進一步組態以在醫療程序期間即時判定檢查品質水準且在對患者執行醫療程序時更新經判定檢查品質水準。例如，一預定時間間隔可用於在醫療程序期間或在可在一指定時間段內之隨機間隔週期性地更新檢查品質水準(例如每(若干)毫秒、每(若干)秒、每(若干)分鐘、每(若干)小時等等)。作為另一實例，檢查品質水準可基於由操作者檢查之區域量(例如，檢查品質水準可每檢查幾厘米或英寸更新)、由影像裝置新進之距離(例如，檢查品質水準可每行進幾厘米或英寸更新)及/或其他適合間隔或潛在變數來更新。作為一進一步實例，檢查品質水準可基於由運算裝置之至少一個處理器執行之一動作更新，諸如在產生由操作者檢查之一區域之一資料表示之後，在聚合資料表示之後，或在由至少一個處理器執行之任何其他操作之後。上文所提供之實例僅供繪示且不意欲為詳盡的。
在圖3之實例性方法之步驟370中，至少一個處理器可在醫療程序期間在一顯示裝置上呈現指示由操作者檢查之區域之檢查品質水準。顯示裝置(諸如上文結合圖1所描述之顯示裝置180)可為一LCD顯示器、虛擬實境顯示器、擴增實境顯示器等等。檢查品質水準可依任何所要格式呈現，諸如百分比值、分類標籤、文數字字元、色彩、影像、視訊、圖表或任何其他格式。例如，檢查品質水準可呈現為對應於由操作者在一醫療程序期間檢查之區域之複數個區域，且其可取決於檢查品質水準呈現為不同色彩(例如，綠色用於一高檢查品質水準，且紅色用於一低檢查品質水準)。作為一進一步實例，可顯示一百分比值或一曝光分類以指示檢查品質水準，諸如當運算裝置判定操作者在醫療程序或醫療程序之一部分期間(例如，在一表面之最短區段、最後(幾)分鐘、整個醫療程序等等期間)已檢查僅25%之表面區域時之「25%曝光」或「低曝光」。作為一進一步實例，具有一或多個區段之二維或三維模型可顯示給操作者以指示各區段之檢查品質水準(例如，一綠色區段用於一高檢查品質水準，且紅色區段用於一低檢查品質水準)。作為又另一實例，圖形表示可指示由操作者檢查之區域與一模型表面之一區域及/或非檢查區域之間的一比率，其可表達為一百分比、值、分類或任何其他適合格式。圖12A及圖12B中繪示用於呈現一檢查品質水準或值之進一步實例性圖形表示。此等實例可經修改以包含其他資訊，諸如速度及/或軌跡資訊(例如，參閱圖5A及圖5B)。然而，如將自本發明瞭解，可使用其他圖形表示。
在一些實施例中，至少一個處理器可經進一步組態以在經判定檢查品質水準在醫療程序期間更新時修改圖形表示。作為非限制性實例，至少一個處理器可經組態以修改圖形表示之一色彩、一圖案、一影像、一視訊或一文數字字元之至少一者。例如，在其中檢查品質水準經呈現為對應於由操作者檢查之區域之複數個區域之實施例中，區域之色彩可取決於檢查品質水準之變化而變化(例如，自綠色變成紅色以指示一高檢查品質水準變成一低檢查品質水準，或自紅色變成綠色以指示一低檢查品質水準變成一高檢查品質水準)。作為一進一步實例，在其中檢查品質水準經呈現為一百分比值或一曝光分類之實施例中，百分比或分類可取決於檢查品質水準之變化而變化(例如，自「25%檢查品質水準」變成「50%檢查品質水準」以指示檢查品質水準自25%增大至50%，或自「低檢查品質水準」變成「高檢查品質水準」以指示自一低檢查品質水準增加至一高檢查品質水準)。作為又另一實例，在其中檢查品質水準經呈現為具有一或多個區段之二維或三維模型之實施例中，模型之一視覺屬性可取決於檢查品質水準之變化而變化(例如，一區段可在綠色變成紅色以指示檢查品質水準自一高檢查品質水準降低至一低檢查品質水準，或一區段可自紅色變成綠色以指示檢查品質水準自一低檢查品質水準增加至一高檢查品質水準)。然而，如將自本發明瞭解，圖形表示之其他修改可用於指示一曝光變化。
圖4繪示根據本發明之實施例之用於產生經檢查區域之三維表示之一實例性方法400。方法400可對識別為圖框之圖框執行，一操作者在該等圖框期間與影像裝置互動以檢查患者之一器官之區域用於分析。實例性方法400可用一或多個處理器(諸如運算裝置160之至少一個處理器或(若干)處理器230)實施且作為用於判定一檢查品質水準或值之一程序之部分執行(例如，參閱圖3之實例性方法)。應瞭解，方法400係一非限制性實例。
如圖4中所展示，在步驟410中，可產生一經檢查第一區域之一第一三維表示，且在步驟420中，可產生一經檢查第二區域之一第二三維表示，兩者可在具有x、y及z座標之一座標系中呈一點雲形式。此外，在一些實施例中，所產生三維表示(及/或二維表示)可用於產生資料表示。如上文所討論，產生資料表示可涉及運算一圖框中之視圖中及視圖周圍之空間特性，諸如深度、姿勢及邊緣。隨後，在步驟430中，可判定第一三維表示與第二三維表示在座標系空間中之一接近度。接近度可藉由比較點沿第一及第二三維表示之座標及判定兩個點之間的最小距離來計算。若第一與第二三維表示之間存在一重疊，則可將接近度判定為零。若不存在重疊，則一臨限值可用於判定接近度是否落在一預定臨限內，其指示第一及第二三維表示在座標系空間中彼此相對足夠接近。若接近度落在臨限值內，則在步驟440中，第一及第二三維表示之至少一部分可經合併以產生一單一三維表示。在步驟450中，操作者未檢查之區域可使用經合併部分識別，諸如藉由比較經合併部分與一表面模型，如本文中所進一步描述。在方法400完成之後，可判定使用經聚合三維表示之一檢查品質水準，如本文中所解釋。
各三維表示可在其產生時基於其自身座標。在一些實施例中，一合併程序可合併兩個或更多個三維表示。舉例而言，一合併程序可包含合併由至少一個處理器執行之一合併演算法以將兩個或更多個三維表示帶入一共同參考圖框中。合併演算法可使用與各三維表示相關聯之先前資訊以估計表示之間的初始相對位置。例如，合併演算法可使用一三維表示之最後圖框與成功表示之第一圖框之間的一時間差。在一些實施例中，合併程序可進一步包含執行幾何對準演算法，諸如迭代最近點(ICP)及光度演算法。若第一與第二三維表示之間發現任何重疊，則對準可為成功的。在無任何重疊之情況下，對準可為成功的，且一長期三維表示可被視為不可用的。
在一些實施例中，方法可包含藉由聚合自由一操作者檢查之一器官之部分之連續圖框建構之多個三維表示來產生一經檢查區域之短期表示。多個三維表示之聚合可由包含(但不限於)攝影機突然移動、攝影機聚焦於水或撞擊黏膜、一背景評估模型之一觸發、一演算法失效等等之因數中斷。在來自多個三維表示之一第一短期表示之一中斷之情況下，方法可包含自可形成之多個三維表示初始化一第二短期表示。在形成兩個或更多個短期表示之後，一合併程序可(例如)藉由執行如上文所討論之一合併演算法來執行以合併至少兩個短期表示以形成一長期表示。在一些實施例中，所有短期表示可經合併以形成一長期表示使得不存在未合併短期表示。然而，在一些實施例中，合併程序可導致一長期表示及一些未合併短期表示之形成。合併程序之輸出可用於形成一患者之器官(諸如患者之一結腸)之經檢查表面之三維重建模型。
此外，在一些實施例中，一檢查品質水準可基於包含裝置之速度、軌跡及黏膜曝光之比率之一估計之因數之一組合來估計。在一些實施例中，黏膜曝光之比率可(例如)自基於短期及長期表示之比率之一加權平均值作為一全域分數來估計。在一些實施例中，黏膜曝光之比率可基於所產生長期三維表示與一患者之器官之一完整三維模型之一比較來估計。
如本文中所揭示，可產生及顯示資訊或統計以指示操作者之導覽之品質及/或反應或判定一檢查品質水準或值。例如，速度及/或軌跡資訊可經判定且呈現於一顯示裝置上供一操作者使用(例如圖1中之顯示器180)。此資訊可經單獨顯示(例如，在一單獨顯示器或輸出上)或作為與來自影像裝置之即時視訊重疊之擴增資訊(例如，在顯示器180上)。在一些實施例中，速度及/或軌跡資訊可作為一或多個圖形表示之部分顯示。圖形表示可經組合及/或包含一檢查品質水準或值之一圖形表示。舉例而言，圖5A及圖5B繪示可經產生且呈現給一操作者之速度及軌跡資訊之例示性圖形表示(例如單獨地或作為擴增資訊)。圖5A及圖5B之例示性資訊可在一醫療程序期間判定及呈現以提供關於醫療程序期間之操作者之導覽之配置之回饋。此外，速度及/或軌跡資訊可在一醫療程序期間(例如，依預定時間間隔)因為一操作者之動作即時更新及顯示。上文描述用於判定速度及軌跡資訊之實例性方法及演算法。下文亦描述進一步實施例(例如，參閱圖6之實例性方法)。
在圖5A中，例如，一圖形表示520展示影像裝置之速度。儘管在圖5A中描繪成一速度錶盤，但速度可依任何其他適合格式表示，諸如一經判定速度(例如一「1 mm/sec」)、一速度分類(例如「快」或「慢」)、一影像(例如，一停止標誌以指示一快速速度)、一視訊或移動影像(例如，一閃光以指示一快速或慢速速度)或任何其他適合格式。此外，速度資訊可在一醫療程序期間依預定時間間隔因為一操作者之動作或在任何其他時間即時更新及顯示。例如，圖5A之速度錶盤可在影像裝置之速度增加或降低時分別移動至右邊或左邊。在圖5B中，一圖形表示540展示影像裝置之軌跡。儘管在圖5B中描繪成「良好」或「不良」軌跡之一二進位分類，但軌跡可依任何其他適合格式表示，諸如一軌跡線(一患者之結腸之一二維或三維表示中之一連續線)、一滑動標度或錶盤(例如，類似於圖5A之速度錶盤之一標度)、其他分類(例如「非常好」、「非常差」或「一般」)、一影像(例如，一停止標誌以指示一不良軌跡)、一視訊或移動影像(例如，一閃光以指示一良好或不良軌跡)或任何其他適合格式。此外，軌跡表示可在一醫療程序期間依預定時間間隔或因為一操作者之動作即時更新。例如，當操作者之軌跡在醫療程序期間自一不可接受水準變成一可接受水準時，可突顯圖5B中之用語「良好」而非用語「不良」。
圖6繪示根據本發明之實施例之用於處理一視訊之圖框之一例示性系統。如圖6中所展示，系統600可包括一影像裝置610、一背景評估器620、一資料表示產生器630、一檢查品質評估器640及一顯示裝置680。影像裝置610可相同或類似於上文結合圖1所描述之影像裝置140 (例如一內視鏡檢查機、一X射線機、一CT機、一MRI機或任何其他醫療成像裝置)，且顯示裝置680可相同或類似於上文亦結合圖1所描述之顯示裝置180 (例如一LCD、LED或OLED顯示器、一擴增實境顯示器、一虛擬實境顯示器或任何其他適合顯示裝置)。影像裝置610可經組態以捕獲視訊或即時視訊，其在一些實施例中可在一醫療程序(例如一內視鏡程序)期間捕獲，如上文所描述。影像裝置610可經組態以將經捕獲即時視訊饋送至背景評估器620。
背景評估器620可包括實施一或多個機器學習網路或演算法、習知演算法或兩者之一組合之一或多個處理器，如上文所描述。背景評估器620可經組態以識別經捕獲視訊之一或多個圖框中之一操作者與影像裝置610之互動類型。例如，背景評估器620可基於此等圖框中之操作者之動作(諸如將水噴灑於一區域上，放大一區域，檢測一病變，移除一病變，執行一活檢，執行影像裝置之一插入，執行影像裝置之一撤出或任何其他動作，根據上文之描述)分類經捕獲視訊之一圖框或一組圖框。背景評估器620可經進一步組態以基於經識別互動判定操作者是否正在與影像裝置互動以檢查患者之區域用於分析。系統600可進一步處理經識別為其中操作者正在曝光區域之圖框之(若干)圖框，而未被識別為如此之(若干)圖框可被系統600丟棄或忽略。例如，經分類成「檢測」或「探索」之圖框可經識別為其中操作者正在與影像裝置互動以檢查患者之區域用於分析之圖框，同時經分類成「噴灑」或「移除」之圖框可能並非如此。背景評估器620可將前者饋送至資料表示產生器630用於進一步處理。
資料表示產生器630可包含經組態以自由背景評估器620識別為其中操作者正在與影像裝置互動以檢查患者之區域用於分析之圖框之圖框產生資料表示。資料表示可基於三維資料、二維資料或兩者產生，如上文所討論。資料表示產生器630可經進一步組態以聚合所產生資料表示之至少一部分。在一些實施例中，一距離臨限值或其他標準可用於判定是否保證聚合，如上文所描述。此外，在一些實施例中，當未保證或需要聚合時，可不執行聚合。資料表示產生器630可隨後將經聚合(或未聚合)資料表示饋送至檢查品質評估器640。
檢查品質評估器640可包含經組態以判定由操作者檢查之區域之一檢查品質水準之一或多個處理器。判定可在一局部或短期基礎(例如，藉由分析在一或多個特定圖框中檢查之區域)、一全域或長期基礎(例如，藉由分析在一整個醫療程序或其一部分期間檢查之區域)或兩者上執行。如上文所描述，檢查品質水準可基於與一區域之操作者之檢查品質相關聯之資訊(諸如自由操作者檢查之區域與一模型表面之一區域之間的一比率判定之一曝光水準、影像裝置之軌跡、影像裝置之速度及/或系統600可用或由系統600產生之任何其他資訊)來判定。如圖6中所展示，例如，檢查品質評估器640可包含用於分析操作者之檢查品質之特定特性之一或多個電腦執行組件，諸如用於分析影像裝置之軌跡之軌跡評估器650、用於分析影像裝置之速度之速度評估器660及用於比較由操作者檢查之區域與一模型表面之一區域之曝光評估器670。然而，應理解，檢查品質評估器640可包含此等組件之任一或多者。此外，取決於特定應用或背景，檢查品質評估器640可包括除圖6中所展示之組件之外之用於分析操作者之檢查品質之其他特定特性之其他組件。
儘管圖6中未展示，但系統600可包括一或多個運算裝置(諸如運算裝置160)，其等包含經組態以用擴增資訊(包含由檢查品質評估器640計算之檢查品質水準或值之一或多個圖形表示、由軌跡評估器650計算之軌跡、由速度評估器660計算之速度、由曝光評估器670計算之面積之比率及/或任何其他所要資訊)修改來自影像裝置610之視訊之一或多個處理器。經擴增視訊可經饋送至顯示裝置680以供影像裝置610之操作者及其他使用者在醫療程序期間觀看(例如，與醫療程序即時)。
在一些實施例中，檢查品質水準可經計算為一或多個短期檢查品質水準及一或多個長期檢查品質水準之組合。一短期檢查品質水準可表示當前由操作者檢查之一區域之一檢查品質水準。一長期檢查品質水準可表示先前由操作者在一整個醫療程序或其一部分期間檢查之一檢查品質水準。一短期檢查品質水準可依相同或類似於上文相對於檢查品質水準所描述之方式運算，諸如藉由計算影像裝置之軌跡、影像裝置之速度、由操作者檢查之區域與一模型表面之一區域之間的一比率及/或運算裝置可用或由運算裝置產生之任何其他因數或資訊。一長期檢查品質水準可為兩個或更多個短期檢查品質水準之組合，且可經計算為兩個或更多個短期檢查品質水準之一總和、平均值、均值、中值、眾數、分佈或任何其他表示。
圖7繪示根據本發明之實施例之用於判定短期及長期檢查品質水準之一實例性方法700。方法700可用至少一個處理器(例如，圖1中之運算裝置160之至少一個處理器或圖2中之(若干)處理器230)實施。應瞭解，方法700係一非限制性實例。如圖7中所展示，在步驟701中，可捕獲(例如，藉由圖1中之影像裝置140)且由至少一個處理器接收一新圖框。在步驟703中，至少一個處理器可執行背景評估以識別圖框中之一操作者與一影像裝置(例如，圖1中之影像裝置140)之互動類型。例如，至少一個處理器可基於操作者之動作(諸如將水噴灑於一區域上，放大一區域，檢測一病變，移除一病變，執行一活檢，執行影像裝置之一插入，執行影像裝置之一撤出，或任何其他動作，根據以上描述)分類經捕獲視訊之圖框。
在步驟703中，至少一個處理器可判定操作者是否正在與影像裝置互動以檢查圖框中之區域，其等可基於(若干)經識別動作。在步驟707中，若至少一個處理器判定操作者並非正在與影像裝置互動以檢查圖框中之區域，則可基於當前圖框及/或先前圖框之至少一個處理器之分析產生統計或其他資料。例如，在步驟725中，經判定統計量或資料稍後可呈現為一圖表、表或顯示或依其他方式提供為輸出之其他圖形表示。儘管圖7中未展示，但此一圖表、表或其他圖形表示可與指示對應於判定之圖框之百分比(諸如當35%之圖框經識別為其中操作者自一個區域移動至另一區域之圖框之「探查35%」，及當20%之圖框經識別為其中操作者移除一息肉或其他關注目標之「移除20%」)之標籤及/或數字一起呈現給操作者。然而，在一些實施例中，可不輸出統計量或資料。在任一情況中，圖框之處理可在步驟725中結束。然而，若至少一個處理器判定操作者正在與影像裝置互動以檢查圖框中之區域，則圖框之處理可在步驟709及717中繼續。
在步驟709中，至少一個處理器可執行圖框之一短期曝光評估。短期曝光評估可包含產生對應於圖框中之表面之短期資料表示711，其可基於三維資料、二維資料或兩者，如上文所討論。短期曝光評估亦可包含判定對應於圖框中之表面之操作者之檢查品質之短期檢查品質水準713。短期檢查品質水準可藉由分析短期資料表示判定，諸如藉由計算短期資料表示之區域與一模型表面之一區域之間的一比率。如將自本發明瞭解，可使用判定圖框中之表面之短期曝光水準之其他方式。如圖7之實例性方法中所展示，短期檢查品質水準可藉由計算捕獲圖框時與影像裝置相關聯之資訊(諸如短期軌跡/速度715)來判定。可在步驟725中輸出經判定短期檢查品質水準713及短期軌跡/速度715。儘管圖7中未展示，但經判定短期檢查品質水準713及短期軌跡/速度715可使用一顯示裝置或透過任何其他方式呈現給操作者及/或其他使用者。
在步驟717中，至少一個處理器可執行圖框之一長期曝光評估。長期曝光評估可包含將短期資料表示711與其他先前產生之資料表示聚合成長期資料表示719，其可基於三維資料、二維資料或兩者，如上文所討論。長期曝光評估亦可包含判定對應於整個醫療程序或其一部分期間之表面之操作者之檢查品質之長期估計品質水準721。長期估計品質水準可藉由分析長期資料表示來判定，諸如藉由計算長期資料表示之區域與一模型表面之一區域之間的一比率。如將自表面瞭解，可使用判定整個醫療程序或其一部分期間之表面之長期曝光水準之其他方式。如圖7中所進一步展示，長期檢查品質水準可藉由計算整個醫療程序或其一部分期間之與影像裝置相關聯之資訊(諸如長期軌跡/速度723)來判定。可在步驟725中顯示經判定長期檢查品質水準721及長期軌跡/速度723或依其他方式提供為輸出。儘管圖7中未展示，但經判定長期檢查品質水準721及長期軌跡/速度723可使用一顯示裝置或透過任何其它方式呈現給操作者及/或其他使用者。
圖8繪示根據本發明之實施例之用於產生短期及長期資料表示之一實例性方法800。可對經識別為其中一操作者正在與影像裝置互動以檢查患者之一器官之區域用於分析之圖框之圖框執行方法800 (例如，如連通圖7之方法700所描述)。與方法800同時或在方法800之後，短期及長期評估可經執行以分別判定短期及長期檢查品質水準，如本文中所描述。實例性方法800可用一或多個處理器(例如圖1中之運算裝置之至少一個處理器160或圖2中之(若干)處理器230)實施。應瞭解，圖8係一非限制性實例且可對方法800進行修改，包含藉由添加、移除、修改及/或重新排序本文中所繪示及描述之步驟。
如圖8中所展示，在步驟810中，可藉由至少一個處理器(例如圖1中之運算裝置之至少一個處理器160或圖2中之(若干)處理器230)接收一新圖框。在步驟820中，一或多個先前捕獲的圖框亦可視情況藉由至少一個處理器接收用於步驟830中之處理。先前捕獲的圖框可經儲存且自(例如)一記憶體、資料庫或緩衝器擷取。然而，在一些實施例中，可在不處理先前捕獲的圖框以及新近捕獲的圖框之情況下在一逐圖框基礎上執行處理。在步驟830中，一短期資料表示(例如，使用二維資料、三維資料或兩者)可藉由新近捕獲的圖框且視情況基於一或多個先前捕獲的圖框產生。如上文所討論，一資料表示可藉由運算一圖框中之視圖中及視圖周圍之空間特性(諸如深度、姿勢及邊緣)來產生。例如，一短期資料表示可包括一組連續(或非連續)影像及其等深度、各對連續(或非連續)圖框之間的姿勢及與短期資料表示相關聯之區域之三維點雲或表面。如將瞭解，取決於特定應用及背景，額外、更少或不同資料可為短期資料表示之部分。
在步驟840中，至少一個處理器可視情況擷取與一長期資料表示相關聯之資料。與長期資料表示相關聯之資料可自一記憶體、資料庫或任何其他資訊源擷取。然而，在一些實施例中，諸如當經捕獲圖框係自其產生一資料表示之第一圖框時，可能無法擷取屬於一先前儲存之長期資料表示之資料。此外，在一些實施例中，多個資料表示無需聚合成一長期資料表示但可產生且儲存為單一資料表示。在步驟850中，所產生短期資料表示及經擷取長期資料表示可經聚合以形成一新連續長期資料表示。如上文所討論，此可涉及偵測兩個資料表示中之重疊區域，及/或應用一距離臨限值或其他標準以判定是否保證聚合。此外，如步驟840與850之間的雙箭頭所指示，新近產生之長期資料表示可經保存(例如，在一記憶體或資料庫中)以替換將用於方法800之一後續迭代中之舊的經擷取長期資料表示。例如，根據以上描述，一長期資料表示可包括一組稀疏影像及其等深度、圖框對之間的姿勢及與長期資料表示相關聯之區域之一三維點雲或表面。如將瞭解，取決於特定應用及背景，額外、較少或不同資料可為長期資料表示之部分。
在步驟860中，選用後處理步驟可對經聚合資料表示執行。例如，一內插或一填充演算法可用於解決經聚合資料表示中之任何遺失或損壞資訊。其他適合後處理步驟可單獨或組合應用，諸如扭曲減少、雜訊減少、形狀細化及/或其他細化步驟。此外，儘管此等步驟在圖8中展示為在聚合之後發生，但細化步驟亦可在聚合之前及聚合之後兩者、僅在聚合之前執行或可不執行細化步驟。另外，後處理步驟可在保存新近產生之長期資料表示之前執行。在步驟870中，至少一個處理器可輸出資訊，諸如經聚合資料表示(或無聚合之單一資料表示)。如本文中所揭示，經聚合資料表示可由其他程序用於判定一檢查品質水準或值。
圖9繪示根據本發明之實施例之用於自短期及長期資料表示判定一長期檢查品質水準及/或其他資訊之一實例性方法900。方法900可與短期及長期資料表示之產生同時或在短期及長期資料表示之產生之後執行(例如，如上文結合圖8之方法800所描述)。實例性方法900可用一或多個處理器(例如，圖1之運算裝置160之至少一個處理器或圖2中之(若干)處理器230)實施。應瞭解，圖9係一非限制性實例且可對方法900進行修改，包含藉由添加、移除、修改及/或重新排序本文中所繪示及描述之步驟。
如圖9中所展示，在步驟910中，可產生(例如，藉由運算一圖框中之視圖中及視圖周圍之空間特性，諸如深度、姿勢及邊緣)及/或擷取(例如，自一記憶體、資料庫或其他資訊源)一短期資料表示。在步驟920中，可產生(例如，藉由運算一圖框中之視圖中及視圖周圍之空間特性，諸如深度、姿勢及邊緣)及/或擷取(例如，自一記憶體、資料庫或其他資訊源)一長期資料表示。在方法900之實例性實施例中，短期資料表示910及長期資料表示920可包含由一操作者檢查之區域之二維及三維資訊兩者。然而，如本文中所揭示，資料表示可僅含有二維資訊、僅三維資訊或空間及/或視覺資訊之任何組合或類型。
在步驟930中，屬於短期資料表示910及長期資料表示920之二維資訊可經分析以產生一新連續長期資料表示。二維資料分析可使用任何適合演算法來執行，諸如藉由擷取與短期資料表示910及長期資料表示920相關聯之先前捕獲的圖框。先前捕獲的圖框中之對應點及/或特徵可經匹配以識別一重疊。經擷取圖框可經變換或依其他方式修改以促進分析，且一關聯或其他度量可經運算以判定一最佳匹配，包含相對於短期及長期資料表示中之可區分特徵點。
在步驟940中，屬於短期資料表示910及長期資料表示920之三維資訊亦可經分析以產生一新連續長期資料表示。三維資料分析可使用任何適合演算法來執行以對準短期及長期資料表示。例如，三維分析可藉由利用一點雲配準演算法識別對準兩個或更多個點雲之一空間變換來執行，包含(但不限於)迭代最近點(ICP)演算法、穩健點匹配(RPM)、内核關聯(KC)演算法、相關點漂移(CPD)演算法、排序對應空間(SCS)演算法、貝氏相關點漂移(BCPD)演算法及/或其等之一組合。作為另一實例，三維分析可藉由利用一範圍成像演算法自二維影像圖框估計三維結構來執行，包含(但不限於)運動恢復結構(SfM)演算法、飛時測距(ToF)演算法、立體三角測量、雷射三角測量、結構光、干涉測量、編碼孔徑及/或其等之一組合。經估計三維結構中之對應點及/或特徵可經匹配以識別一重疊。經估計三維結構可經變換或依其他方式修改以促進分析，且一關聯或其他度量可經運算以判定一最佳匹配。
在步驟950中，一新長期資料表示可由區塊930中之二維資料之分析及區塊940中之三維資料之分析產生。例如，一或多個三維對準演算法(例如ICP、RMP、KC、CPD、SCS和/或BCPD演算法)可用於首先使用其等各自三維資料(例如三維點雲)獲得短期與長期資料表示之間的一大致對準。接著，一或多個二維對準演算法(例如關鍵點匹配及/或影像配準演算法)可用於使用其等各自二維資料(例如影像圖框)來執行短期與長期資料表示之間的一精細對準。如熟習技術者在閱讀本發明之後將瞭解，亦可使用利用三維及/或二維資訊之其他方法。例如，一替代方法可包含基於三維及/或二維資料迭代地最小化對準誤差。因此，在一些實施例中，藉由組合二維資訊(例如，透過影像擷取)及三維資訊(例如，透過點雲配準)，可透過將短期資料合併成長期資料最大化新長期資料表示之準確度。此外，在步驟960中，可鑑於新長期資料表示950運算與操作者之檢查品質相關聯之資訊。如圖9中所展示，例如，可計算一長期檢查品質水準、一長期軌跡及/或一長期速度判定。例如，可將新長期資料表示950之總面積與一模型表面比較以判定一長期檢查品質水準。再者，捕獲短期資料表示910及長期資料表示920期間之一攝影機軌跡可經計算(若未先前計算)及組合以到達新長期資料表示950之一長期軌跡。類似地，捕獲短期資料表示910及長期資料表示920期間之一攝影機速度可經計算(若未先前計算)及組合以到達新長期資料表示950之一長期速度。在步驟970中，可輸出資訊，諸如長期檢查品質水準、軌跡、速度及/或與估計在步驟960中計算之新長期資料表示之操作者之檢查品質相關聯之任何其他資訊。
當建構結腸表面之一三維表示時，各三維點可記錄有以下資訊之一或多者：最佳及平均觀察方向；與攝影機之最近及平均距離；曝光時間及曝光速度。例如，黏膜表面之一些區域可僅自遠處觀察。因而，在一些實施例中，二元遮罩不僅用於曝光觀察(如同圖10，下文將描述)，亦產生一熱圖，其中各像素或區域之色彩與觀察品質相關聯，自非常高品質(例如，附近，法向於表面，慢速)至零品質(例如，從不在內視鏡視野中)。在一些實施例中，可在三維模型上或平坦二維投影上運算或視覺化一熱圖(如同圖10，下文將描述)。
圖10繪示根據所揭示實施例之一實例性長期資料表示1000。如圖10中所展示，實例性長期資料表示1000可表示為在一程序期間檢查之一患者之器官(在此情況中，一結腸)之一圓柱形投影。然而，取決於經檢查之特定器官或區域，一長期資料表示可表示為其他形狀。再者，儘管為此繪示目的描繪成一影像，但應理解，一長期資料表示可包括各種資訊，不論二維及/或三維，諸如一或多個影像、深度資料、姿勢資料及/或一三維點雲或表面資料。如圖10中所進一步展示，長期資料表示可經分成多個解剖區段，結腸之不同部分包含直腸、乙狀結腸、降結腸、橫結腸、升結腸或盲腸。長期資料表示1000可指示一操作者在檢查期間所檢查之區域，在圖10中展示為類似於一解剖結構之灰階區域或實施為一操作者之一顯示裝置上之彩色區域(未展示)。相反，諸如區域1020a、1020b、1020c、1020d及1020e之暗區可指示操作者檢查不良或根本未檢查之區域。如進一步所展示，一暗區可跨越多個解剖區段，如跨越直腸段1010a及乙狀結腸段1010b之區域1020a所繪示。因此，長期資料表示1000可用於追蹤操作者在整個醫療程序或其一部分期間之檢查品質水準(或任何其他屬性，諸如速度、軌跡或曝光)。
圖11繪示根據本發明之實施例之用於處理在一醫療程序期間捕獲的視訊之一實例性方法1100。實例性方法1100借助至少一個處理器(例如圖1中之運算裝置160之至少一個處理器或圖2中之(若干)處理器230)實施。應瞭解，圖11係一非限制性實例且可對方法1100進行修改，包含藉由添加、移除、修改及/或重新排序本文中所繪示及描述之步驟。
如圖11中所展示，在步驟1110中，至少一個處理器可接收在對一患者之一醫療程序期間自一影像裝置捕獲的即時視訊，即時視訊包含複數個圖框。在步驟1120中，至少一個處理器可分析複數個圖框以識別圖框，一操作者在圖框期間與影像裝置互動以檢查患者之區域用於分析。如本文中所揭示，一操作者與影像裝置之互動類型可藉由使用任何適合影像分類演算法、經訓練神經網路或兩者之一組合將圖框分析且分類成複數個動作之一或多者來判定。在步驟1130中，至少一個處理器可自經識別圖框產生由與影像裝置互動之操作者檢查之各局部區域之資料表示。如本文中所使用，一「局部區域」可對應於當前由操作者分析之一區域。資料表示可藉由運算一圖框中之視圖中及視圖周圍之空間特性來產生，諸如深度、姿勢及邊緣。如將自本發明瞭解，其他視覺屬性可用於產生資料表示。在步驟1140中，至少一個處理器可聚合各局部區域之資料表示。各局部區域之資料表示可藉由結合在由操作者檢查之區域中彼此相鄰之表示來聚合，如本文中所描述。在一些實施例中，兩個或更多個局部區域之資料表示可經聚合以產生由操作者在一整個醫療程序或其一部分期間分析之區域之一資料表示以產生一長期資料表示。在步驟1150中，至少一個處理器可使用各局部區域之經聚合資料表示判定由操作者檢查之部分之一短期檢查品質水準。短期檢查品質水準可(例如)藉由計算由操作者檢查之一局部區域與一模型表面之一區域之間的一比率、影像裝置之軌跡、影像裝置之速度及/或運算裝置可用或由運算裝置產生之任何其他資訊來判定。在步驟1160中，至少一個處理器可在醫療程序期間在一顯示裝置上呈現指示由操作者檢查之各局部區域之短期檢查品質水準之一圖形表示。經判定檢查品質水準可依任何所要格式呈現，諸如百分比值、分類標籤、文數字字元、色彩、影像、視訊、圖表或任何其他格式。另外，如本文中所揭示，其他資訊及統計量可與經判定檢查品質水準一起顯示。
圖12A及圖12B繪示根據所揭示實施例之用於指示檢查品質水準及/或操作者之導覽之其他屬性(例如速度、軌跡及/或曝光)之例示性圖形表示。圖12A及圖12B之圖形表示或類似表示可經更新及呈現以在各檢查品質水準判定或操作者之導覽之任何其他屬性之判定之後顯示，如本文中所描述。此等圖形表示可經單獨顯示(例如，在一單獨顯示器或輸出上)或作為與來自影像裝置之即時視訊重疊之擴增資訊(例如，在顯示器180上)。在一些實施例中，與檢查品質水準、軌跡、速度、曝光及/或檢查之其他屬性相關聯之資訊可作為一或多個圖形表示之部分顯示。例如，一檢查品質水準之一圖形表示可經組合及/或包含其他經判定資訊(例如速度及/或軌跡資訊)之一圖形表示。圖12A及圖12B之例示性資訊可在一醫療程序期間經判定及呈現以在醫療程序期間提供關於檢查品質水準、軌跡、速度、曝光及/或檢查之其他屬性之回饋。此外，與檢查品質水準或任何其他屬性相關聯之資訊可在一醫療程序期間(例如，依預定時間間隔)因為一操作者之動作即時更新及顯示。
在圖12A中，例如，展示包含配置成環之一系列區段之檢查品質水準及/或操作者之導覽之其他屬性之一實例性圖形表示1200A。一環(諸如環1210)可包括一或多個區段1212、1214、1216及1218。各環可表示沿一或多個圖框中之一視圖之一不同深度。例如，最內環1210可表示最遠離影像裝置之圖框中之區域，而最外環1230可表示最靠近影像裝置之圖框中之區域。儘管環1210、1220及1230經繪示為同心環，但可適當使用諸如非同心環之其他配置。此外，環之各區段可具有不同色彩以指示各區段中之檢查品質水準、軌跡、深度、曝光及/或檢查之其他屬性。例如，一綠色可指示對應於區段較高之表面之檢查品質水準(或任何其他屬性)，而一紅色可指示對應於區段較低之表面之檢查品質水準(或任何其他屬性)。由於在一醫療程序期間迭代地判定檢查品質水準，所以可更新及改變經顯示色彩以反映一患者之一器官之操作者之檢查，如上文所提及。在一些實施例中，一環之各區段可由包含(但不限於)一色彩、一圖案、一形狀或其他特性之一不同視覺特性表示。
在圖12B中，提供反映一檢查品質水準及/或操作者之導覽之其他屬性之一圖形表示之另一實例。在此實例中，圖形表示基於經檢查區域(諸如一患者之結腸)之一模型1200B，如圖12B中所展示。模型1200B可為二維的、三維的或兩者之一組合。如所繪示，模型1200B可表示為包括一或多個區段。結腸中之各區段(諸如區段1240、1242或1244)可表示操作者在一醫療程序期間檢查之一或多個表面。各區段可具有不同色彩以指示各區段中之檢查品質水準、軌跡、速度、曝光及/或檢查之其他屬性。如同圖12A，例如，一綠色可指示對應於區段較高之表面之檢查品質水準(或任何其他屬性)，而一紅色可指示對應於區段較低之表面之檢查品質水準(或任何其他屬性)。色彩可在醫療程序期間更新及/或改變，如上文所提及。應理解，其他圖形表示可用於指示檢查品質水準且圖12A及圖12B之實例不限於本發明之範疇。
圖13A、圖13B及圖13C繪示根據所揭示實施例之用於指示檢查品質水準及/或操作者之導覽之其他屬性(例如速度、軌跡或曝光)之例示性圖形表示。如所展示，圖13A至圖13C之例示性圖形表示作為一視訊圖框之資訊之重疊或修改。此等圖形表示可經更新及呈現以在一醫療程序期間顯示(例如，在顯示器180上)以在醫療程序期間向一操作者提供關於檢查品質為誒准、軌跡、速度、曝光及/或檢查之其他屬性之回饋。此外，圖13A至圖13C之例示性資訊可在醫療程序期間因為一操作者之動作即時更新。
例如，圖13A描繪用於指示一檢查品質水準及/或操作者之導覽之其他屬性之一實例性圖形表示1310，類似於圖12A之圖形表示，其包含配置成三個環之一系列區段。如同圖12A，各環可表示沿圖13A中所展示之影像圖框之視圖之一不同深度。例如，最內環可表示影像圖框內最遠離影像裝置之圖框中之區域，而最外環可表示最靠近影像裝置之圖框中之區域。此外，根據以上描述，環之各區段可具有不同色彩以指示各區段中之檢查品質水準、軌跡、速度、曝光及/或檢查之其他屬性。例如，一綠色可指示對應於區段較高之表面之檢查品質水準(或其他屬性)，而一紅色可指示對應於區段較低之表面之檢查品質水準(或其他屬性)。由於在一醫療程序期間迭代地判定檢查品質水準，所以可更新及改變經顯示色彩以反映一患者之一器官之操作者者檢查，如上文所討論。
在圖13B中，提供反映一檢查品質水準及/或重疊於一影像圖框上方之操作者之導覽之其他屬性之一圖形表示之另一實例。在此實例中，圖形表示可基於由操作者在醫療程序期間拍攝之軌跡，儘管一圖形表示可基於操作者之導覽之其他因數或屬性。如圖13B中所展示，圖形表示可為可指示檢查品質位置、軌跡、速度、曝光及/或此位置處之其他屬性之色彩變動之一線。例如，線段1320可為綠色以指示檢查之一高檢查品質水準(或其他屬性)。類似地，線段1330可為紅色以指示導覽之一低檢查品質水準(或其他屬性)。此外，儘管展示為一連續線，但可使用任何其他圖形表示，諸如點、箭頭、斷續線、圖標、字母(例如「良好」或「不良」)或任何其他視覺表示。色彩可在醫療程序期間更新及/或改變，如上文所提及。
圖13C繪示反映一檢查品質水準及/或重疊於一影像圖框上方之操作者之導覽之其他屬性之另一例示性圖形表示。在此實例中，圖形表示可用於引起對操作者可能檢查不良或可能完全遺漏之患者器官中之一特定區域的注意。如圖13C中所展示，諸如圖標1340之一影像可用於指向關注區域。在一些實施例中，圖標1340可與另一圖形表示(例如，圖13A之圖形表示1310或圖13B之1320/1330)同時顯示，或圖形表示可在彼此直接交替(例如，基於時間、與關注區域之距離或因為一操作者動作，諸如一按鈕按壓或透過一設置變化)。儘管圖13C之圖標1340經展示為帶有斜線之一眼鏡，但應理解，任何其他視覺表示可用於引起對區域的注意，諸如用語(例如「MISSED AREA」)、形狀(例如一箭頭)、其他圖標或其他圖形表示或圖標。圖標及/或任何其視覺屬性(例如，色彩或大小)可在醫療程序期間更新及改變，如上文所提及。應理解，其他圖形表示可用於指示檢查品質水準及/或任何其他屬性且圖13A至圖13C之實例不限於本發明之範疇。
上文所描述之圖式及圖式中之組件繪示根據本發明之各種實例性實施例之系統、方法及電腦硬體或軟體產品之可行實施方案之架構、功能性及操作。例如，一流程圖或圖式中之各區塊可表示一模組、區段或碼段，其包含用於實施指定邏輯功能之一或多個可執行指令。亦應理解，在一些替代實施方案中，一區塊中所指示之功能可不按圖式中所註明之順序發生。舉例而言，取決於所涉及之功能性，連續展示之兩個區塊或步驟可實質上同時執行或實施或兩個區塊或步驟有時可依相反順序執行。此外，可省略一些區塊或步驟。亦應理解，圖式之各區塊或步驟及區塊或步驟之組合可藉由執行指定功能或動作之專用基於硬體之系統或藉由專用硬體及電腦指令之組合實施。電腦程式產品(例如軟體或程式指令)亦可基於所描繪實施例及所繪示實例實施。
應瞭解，上述系統及方法可依諸多方式改變且不同特徵可依不同方式組合。特定而言，並非每一實施例或實施方案中都需要上文在一特定實施例或實施方案中所展示之所有特徵。以上特徵及實施方案之進一步組合亦被視為在本文中所揭示之實施例或實施方案之範疇內。
儘管本文中已描述及繪示特定實施例及實施方案之特徵，但熟習技術者將明白修改、替代、變化及等效物。因此，應理解，隨附申請專利範圍意欲涵蓋落在所揭示實施例之範疇及所繪示實施方案之特徵內之所有此等修改及改變。亦應理解，本文中所描述之實施例已僅藉由實例而非限制方式呈現，且可進行形式及細節之各種改變。本文中所描述之系統及/或方法之任何部分可依任何組合實施，除相互排斥組合之外。舉例而言，本文中所描述之實施方案可包含所描述之不同實施例之功能、組件及/或特徵之各種組合及/或子組合。
再者，儘管本文中已描述繪示性實施例，但本發明之範疇包含具有基於本文中所揭示之實施例之等效元素、修改、省略、組合(例如各種實施例中之態樣)、調適或更改之任何及所有實施例。此外，申請專利範圍中之元素將基於申請專利範圍中所採用之語言廣義解譯且不限於本文中所描述或本申請案之審查期間之實例。相反，此等實例將被解釋為非排斥性的。因此，本文中之說明書及實例意欲僅被視為例示性的，且一實際範疇及精神藉由以下申請專利範圍及其等等效物之全部範疇指示。
100:電腦執行系統 120:操作者 140:影像裝置 160:運算裝置 180:顯示裝置 200:運算裝置 210:I/O裝置 220:儲存裝置 230:處理器 240:記憶體 245:記憶體部分 250:匯流排/網路 300:方法 310:步驟 320:步驟 330:步驟 340:步驟 350:步驟 360:步驟 370:步驟 400:方法 410:步驟 420:步驟 430:步驟 440:步驟 450:步驟 520:圖形表示 540:圖形表示 600:系統 610:影像裝置 620:背景評估器 630:資料表示產生器 640:檢查品質評估器 650:軌跡評估器 660:速度評估器 670:曝光評估器 680:顯示裝置 700:方法 701:步驟 703:步驟 705:步驟 707:步驟 709:步驟 711:短期資料表示 713:短期檢查品質水準 715:短期軌跡/速度 717:步驟 719:長期資料表示 721:長期估計品質水準 723:長期軌跡/速度 725:步驟 800:方法 810:步驟 820:步驟 830:步驟 840:步驟 850:步驟 860:步驟 870:步驟 900:方法 910:步驟 920:步驟 930:步驟 940:步驟 950:步驟 960:步驟 970:步驟 1000:長期資料表示 1010a:直腸段 1010b:乙狀結腸段 1020a:區域 1020b:區域 1020c:區域 1020d:區域 1020e:區域 1100:方法 1110:步驟 1120:步驟 1130:步驟 1140:步驟 1150:步驟 1160:步驟 1200A:圖形表示 1200B:模型 1210:環 1212:區段 1214:區段 1216:區段 1218:區段 1220:環 1230:環 1240:區段 1242:區段 1244:區段 1310:圖形表示 1320:線段 1330:線段 1340:圖標
構成本說明書之一部分之以下圖式繪示本發明之若干實施例且與描述一起用於解釋所揭示實施例之原理及特徵。在圖式中：
圖1係根據本發明之實施例之用於處理即時視訊之一實例性電腦執行系統之一示意表示。
圖2繪示可結合圖1之實例性系統及本發明之其他實施例採用之一實例性運算裝置。
圖3繪示根據本發明之實施例之用於處理在一醫療程序期間捕獲的視訊之一實例性方法。
圖4繪示根據本發明之實施例之用於產生經檢查區域之三維表示之一實例性方法。
圖5A及圖5B繪示根據本發明之實施例之用於指示速度及軌跡資訊之圖形表示之實例。
圖6繪示根據本發明之實施例之用於處理一視訊之圖框之一實例性系統。
圖7繪示根據本發明之實施例之用於判定短期及長期檢查品質水準之一實例性方法。
圖8繪示根據本發明之實施例之用於產生短期及長期資料表示之一實例性方法。
圖9繪示根據本發明之實施例之用於自短期及長期資料表示判定一長期檢查品質水準及/或其他資訊之一實例性方法。
圖10繪示根據本發明之實施例之一實例性長期資料表示。
圖11繪示根據本發明之實施例之用於處理在一醫療程序期間捕獲的視訊之一實例性方法。
圖12A及圖12B繪示根據本發明之實施例之用於指示操作者之導覽之檢查品質水準及/或其他屬性之圖形表示之實例。
圖13A至圖13C繪示根據本發明之實施例之用於指示操作者之導覽之檢查品質水準及/或其他屬性之圖形表示之進一步實例。
300:方法
310:步驟
320:步驟
330:步驟
340:步驟
350:步驟
360:步驟
370:步驟

Claims (40)

  1. 一種用於處理在一醫療程序期間捕獲的一視訊之電腦執行系統，該系統包括： 至少一個處理器，其經組態以在對一患者執行之一醫療程序期間： 接收在對一患者之一醫療程序期間自一影像裝置捕獲的一視訊，該視訊包含複數個圖框； 識別來自該視訊之圖框，一操作者在該等圖框期間與該影像裝置互動以檢查該患者之一器官之區域用於分析； 自該等經識別圖框產生藉由該操作者與該影像裝置互動來檢查之一第一區域之資料表示； 自該等經識別圖框進一步產生藉由該操作者與該影像裝置互動來檢查之一或多個進一步區域之資料表示； 將該第一區域之該等資料表示與該一或多個進一步區域之該等資料表示聚合； 使用該等經聚合資料表示判定由該操作者檢查之該等區域之一檢查品質水準；及 在一顯示裝置上呈現指示由該操作者檢查之該等區域之該經判定檢查品質水準之一圖形表示。
  2. 如請求項1之系統，其中該至少一個處理器經進一步組態以基於該影像裝置之一軌跡、該影像裝置之一速度或由該操作者檢查之該等區域與一模型表面之一區域之間的一比率之至少一者來判定該檢查品質水準。
  3. 如請求項1之系統，其中該第一區域及該一或多個進一步區域之該等資料表示包含二維資料及三維資料之至少一者。
  4. 如請求項1之系統，其進一步包括經調適以執行一背景評估以識別該即時視訊之該複數個圖框中之圖框之一神經網路，該操作者在該等圖框期間與該影像裝置互動以檢查該患者之區域用於分析。
  5. 如請求項1之系統，其中該至少一個處理器經進一步組態以在該醫療程序期間即時判定該檢查品質水準且在對該患者執行該醫療程序時更新該經判定檢查品質水準。
  6. 如請求項5之系統，其中該至少一個處理器經進一步組態以在該經判定檢查品質水準在該醫療程序期間更新時修改該圖形表示。
  7. 如請求項6之系統，其中對該圖形表示之該修改包含對該圖形表示之一色彩、一圖案、一影像、一視訊或一文數字字元之至少一者之修改。
  8. 如請求項1之系統，其中該至少一個處理器經進一步組態以針對由該操作者檢查之一區域產生一短期資料表示，及針對由該操作者在對該患者執行之該醫療程序期間檢查之複數個區域產生一長期資料表示。
  9. 如請求項8之系統，其中該至少一個處理器經進一步組態以： 使用該短期資料表示判定一短期檢查品質水準；及 使用該長期資料表示判定一長期檢查品質水準。
  10. 如請求項1之系統，其中該醫療程序包括一內視鏡檢查、一上消化道內視鏡檢查、一結腸鏡檢查、一乙狀結腸鏡檢查、一內鏡膽胰管造影術或一腸鏡檢查。
  11. 如請求項1之系統，其中該醫療程序期間之該等經檢查區域包括該患者之一器官之部分。
  12. 如請求項1之系統，其中該至少一個處理器經進一步組態以： 自該等經識別圖框產生該患者之該經檢查第一區域之一第一三維表示； 自該等經識別圖框進一步產生該患者之一經檢查第二區域之一第二三維表示； 判定該第一三維表示與該第二三維表示在三維空間中之一接近度； 當該經判定接近度在一臨限值內時，合併該第一三維表示之至少一部分與該第二三維表示之至少一部分；及 使用該第一及第二三維表示之該等經合併部分識別該操作者在該醫療程序期間未檢查之區域。
  13. 如請求項12之系統，其中該至少一個處理器經進一步組態以產生指示由該操作者檢查之該等區域與該操作者未檢查之該等區域之間的一比率之一圖形表示。
  14. 一種用於處理一視訊之方法，該方法包括在對一患者執行之一醫療程序期間由至少一個處理器執行之以下操作： 接收在對一患者之一醫療程序期間自一影像裝置捕獲的一視訊，該視訊包含複數個圖框； 識別來自該視訊之圖框，一操作者在該等圖框期間與該影像裝置互動以檢查該患者之一器官之區域用於分析； 自該等經識別圖框產生藉由該操作者與該影像裝置互動來檢查之一第一區域之資料表示； 自該等經識別圖框進一步產生藉由該操作者與該影像裝置互動來檢查之一或多個進一步區域之資料表示； 將該第一區域之該等資料表示與該一或多個進一步區域之該等資料表示聚合； 使用該等經聚合資料表示判定由該操作者檢查之該等區域之一檢查品質水準；及 在一顯示裝置上呈現指示由該操作者檢查之該等區域之該經判定檢查品質水準之一圖形表示。
  15. 如請求項14之方法，其進一步包括基於該影像裝置之一軌跡、該影像裝置之一速度或由該操作者檢查之該等區域與一模型表面之一區域之間的一比率之至少一者來判定該檢查品質水準。
  16. 如請求項14之方法，其中該第一區域及該一或多個進一步區域之該等資料表示包含二維資料及三維資料之至少一者。
  17. 如請求項14之方法，其進一步包括使用一神經網路執行一背景評估以識別一即時視訊之複數個圖框中之圖框，該操作者在該等圖框期間與該影像裝置互動以檢查該患者之區域用於分析。
  18. 如請求項14之方法，其進一步包括在該醫療程序期間即時判定該檢查品質水準且在對該患者執行該醫療程序時更新該經判定檢查品質水準。
  19. 如請求項18之方法，其進一步包括在該醫療程序期間更新該經判定檢查品質水準時修改該圖形表示。
  20. 如請求項19之方法，其中修改該圖形表示包含修改該圖形表示之一色彩、一圖案、一影像、一視訊或一文數字字元之至少一者。
  21. 如請求項14之方法，其進一步包括針對由該操作者檢查之一區域產生一短期資料表示，及針對由該操作者在對該患者執行之該醫療程序期間檢查之複數個區域產生一長期資料表示。
  22. 如請求項21之方法，其進一步包括： 使用該短期資料表示判定一短期檢查品質水準；及 使用該長期資料表示判定一長期檢查品質水準。
  23. 如請求項14之方法，其中該醫療程序包括一內視鏡檢查、一上消化道內視鏡檢查、一結腸鏡檢查、一乙狀結腸鏡檢查、一內鏡膽胰管造影術或一腸鏡檢查。
  24. 如請求項14之方法，其中該醫療程序期間之該等經檢查區域包括該患者之一器官之部分。
  25. 如請求項14之方法，其進一步包括由該至少一個處理器執行之以下操作： 自該等經識別圖框產生該患者之該經檢查第一區域之一第一三維表示； 自該等經識別圖框進一步產生該患者之一經檢查第二區域之一第二三維表示； 判定該第一三維表示與該第二三維表示在三維空間中之一接近度； 當該經判定接近度在一臨限值內時，合併該第一三維表示之至少一部分與該第二三維表示之至少一部分；及 使用該等第一及第二三維表示之該等經合併部分識別該操作者在該醫療程序期間未檢查之區域。
  26. 如請求項25之方法，其進一步包括產生指示由該操作者檢查之該等區域與該操作者未檢查之該等區域之間的一比率之一圖形表示。
  27. 一種用於處理在一醫療程序期間捕獲的視訊之電腦執行系統，該系統包括經組態以進行以下之至少一個處理器： 接收在對一患者之一醫療程序期間自一影像裝置捕獲的即時視訊，該即時視訊包含複數個圖框； 分析該複數個圖框以識別圖框，一操作者在該等圖框期間與該影像裝置互動以檢查該患者之區域用於分析； 自該等經識別圖框產生藉由該操作者與該影像裝置互動來檢查之各局部區域之資料表示； 使用各局部區域之該等資料表示判定由該操作者檢查之部分之一短期檢查品質水準；及 在該醫療程序期間在一顯示裝置上呈現指示由該操作者檢查之各局部區域之該短期檢查品質水準之一圖形表示。
  28. 如請求項27之系統，其中該至少一個處理器經進一步組態以： 聚合各局部區域之該等資料表示；及 使用該等經聚合資料表示判定由該操作者檢查之該等部分之該短期檢查品質水準。
  29. 如請求項27之系統，其中該短期檢查品質水準係基於該影像裝置之一軌跡、該影像裝置之一速度或一表面曝光之至少一者。
  30. 如請求項29之系統，其中該表面曝光係基於由該操作者檢查之該等區域與一模型表面之一區域之間的一比率。
  31. 如請求項27之系統，其中該至少一個處理器經進一步組態以將由該操作者檢查之複數個局部區域之資料表示聚合成一長期資料表示。
  32. 如請求項31之系統，其中該至少一個處理器經進一步組態以基於該長期資料表示判定一長期檢查品質水準，該長期檢查品質水準指示整個醫療程序內之檢查區域之一總量。
  33. 如請求項31之系統，其中該複數個局部區域之該等資料表示包含二維資料及三維資料，且其中該至少一個處理器經進一步組態以使用一點雲建構各局部區域之至少一模型。
  34. 如請求項27之系統，其進一步包括經調適以執行一背景評估以在該複數個圖框中識別圖框之一神經網路，該操作者在該等圖框期間與該影像裝置互動以檢查該患者之區域用於分析。
  35. 如請求項27之系統，其中該至少一個處理器經進一步組態以針對各經識別圖框判定一深度、一攝影機位置或邊緣之至少一者。
  36. 如請求項27之系統，其中該至少一個處理器經進一步組態以在該醫療程序期間即時判定該短期檢查品質水準且在對該患者執行該醫療程序時更新該經判定短期檢查品質水準。
  37. 如請求項36之系統，其中該至少一個處理器經進一步組態以在該醫療程序期間更新該經判定短期檢查品質水準時修改該圖形表示。
  38. 如請求項37之系統，其中該至少一個處理器經進一步組態以修改該圖形表示之一色彩、一圖案、一影像、一視訊或一文數字字元之至少一者。
  39. 如請求項27之系統，其中該醫療程序包含一內視鏡檢查、一上消化道內視鏡檢查、一結腸鏡檢查、一乙狀結腸鏡檢查、一內鏡膽胰管造影術或一腸鏡檢查之至少一者。
  40. 如請求包含27之系統，其中該醫療程序期間之該等經檢查區域包含該患者之一器官之部分。
TW111138220A 2021-10-08 2022-10-07 用於分析內視鏡程序之檢查品質之電腦執行系統及方法 TW202322744A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163253700P 2021-10-08 2021-10-08
US63/253,700 2021-10-08

Publications (1)

Publication Number Publication Date
TW202322744A true TW202322744A (zh) 2023-06-16

Family

ID=84043972

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111138220A TW202322744A (zh) 2021-10-08 2022-10-07 用於分析內視鏡程序之檢查品質之電腦執行系統及方法

Country Status (6)

Country Link
US (1) US20230110263A1 (zh)
AR (1) AR127744A1 (zh)
AU (1) AU2022360153A1 (zh)
CA (1) CA3232715A1 (zh)
TW (1) TW202322744A (zh)
WO (1) WO2023057986A2 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011156001A1 (en) * 2010-06-07 2011-12-15 Sti Medical Systems, Llc Versatile video interpretation,visualization, and management system
US10861151B2 (en) * 2015-08-07 2020-12-08 The Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
WO2020242949A1 (en) * 2019-05-28 2020-12-03 Google Llc Systems and methods for video-based positioning and navigation in gastroenterological procedures
MX2022004757A (es) 2020-02-03 2022-06-08 Cosmo Artificial Intelligence Ai Ltd Sistemas y metodos para el analisis de imagenes contextual.
US11918178B2 (en) * 2020-03-06 2024-03-05 Verily Life Sciences Llc Detecting deficient coverage in gastroenterological procedures

Also Published As

Publication number Publication date
US20230110263A1 (en) 2023-04-13
AR127744A1 (es) 2024-02-28
CA3232715A1 (en) 2023-04-13
WO2023057986A2 (en) 2023-04-13
WO2023057986A3 (en) 2023-05-19
AU2022360153A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
Zhang et al. Polyp detection during colonoscopy using a regression-based convolutional neural network with a tracker
Freedman et al. Detecting deficient coverage in colonoscopies
US10957043B2 (en) AI systems for detecting and sizing lesions
Hong et al. 3D reconstruction of virtual colon structures from colonoscopy images
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2009103046A2 (en) Medical image reporting system and method
CN112766416B (zh) 一种消化内镜导航方法和系统
Szczypiński et al. A model of deformable rings for interpretation of wireless capsule endoscopic videos
US20230007982A1 (en) Computer-implemented systems and methods for object detection and characterization
WO2020232374A1 (en) Automated anatomic and regional location of disease features in colonoscopy videos
Yao et al. Motion-based camera localization system in colonoscopy videos
Nadeem et al. Depth reconstruction and computer-aided polyp detection in optical colonoscopy video frames
WO2022155454A1 (en) Methods and apparatuses for generating anatomical models using diagnostic images
Nadeem et al. Computer-aided detection of polyps in optical colonoscopy images
Sivagami et al. Deep Analysis of Covid-19 Receptors Recognition and Locating in Pulmonary Ultrasound
Yao et al. Employing topographical height map in colonic polyp measurement and false positive reduction
TW202322744A (zh) 用於分析內視鏡程序之檢查品質之電腦執行系統及方法
US20230267679A1 (en) Method and System for Reconstructing the Three-Dimensional Surface of Tubular Organs
Figueiredo et al. Dissimilarity measure of consecutive frames in wireless capsule endoscopy videos: a way of searching for abnormalities
CN113409386A (zh) 用于基于图像的定位的方法、系统和介质
Jeong et al. Depth estimation of endoscopy using sim-to-real transfer
Liu et al. Dense Depth Completion Based on Multi-Scale Confidence and Self-Attention Mechanism for Intestinal Endoscopy
EP4191531A1 (en) An endoscope image processing device
Li et al. Object dimension measurement based on monocular endoscope and 5-DOF sensor
EP4303808A1 (en) Computer-implemented systems and methods for intelligent image analysis using spatio-temporal information