KR20240075911A - 내시경 시술에 대한 검사 품질을 분석하기 위한 컴퓨터-구현 시스템들 및 방법들 - Google Patents
내시경 시술에 대한 검사 품질을 분석하기 위한 컴퓨터-구현 시스템들 및 방법들 Download PDFInfo
- Publication number
- KR20240075911A KR20240075911A KR1020247015217A KR20247015217A KR20240075911A KR 20240075911 A KR20240075911 A KR 20240075911A KR 1020247015217 A KR1020247015217 A KR 1020247015217A KR 20247015217 A KR20247015217 A KR 20247015217A KR 20240075911 A KR20240075911 A KR 20240075911A
- Authority
- KR
- South Korea
- Prior art keywords
- examined
- operator
- frames
- medical procedure
- quality level
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 268
- 238000003384 imaging method Methods 0.000 claims abstract description 143
- 238000007689 inspection Methods 0.000 claims description 103
- 210000000056 organ Anatomy 0.000 claims description 71
- 230000007774 longterm Effects 0.000 claims description 70
- 238000012545 processing Methods 0.000 claims description 40
- 238000004458 analytical method Methods 0.000 claims description 37
- 238000013528 artificial neural network Methods 0.000 claims description 32
- 238000001839 endoscopy Methods 0.000 claims description 13
- 230000004048 modification Effects 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000002052 colonoscopy Methods 0.000 claims description 7
- 238000002181 esophagogastroduodenoscopy Methods 0.000 claims description 6
- 238000002579 sigmoidoscopy Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims 5
- 230000014509 gene expression Effects 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 83
- 210000001072 colon Anatomy 0.000 description 47
- 238000010801 machine learning Methods 0.000 description 32
- 230000015654 memory Effects 0.000 description 28
- 238000012360 testing method Methods 0.000 description 22
- 230000000007 visual effect Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 21
- 238000012549 training Methods 0.000 description 17
- 238000003860 storage Methods 0.000 description 16
- 230000003190 augmentative effect Effects 0.000 description 12
- 239000003086 colorant Substances 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 230000002776 aggregation Effects 0.000 description 10
- 238000004220 aggregation Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 9
- 230000003902 lesion Effects 0.000 description 9
- 238000002059 diagnostic imaging Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000007921 spray Substances 0.000 description 5
- 238000005507 spraying Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 208000037062 Polyps Diseases 0.000 description 4
- 238000007635 classification algorithm Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 231100000727 exposure assessment Toxicity 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 210000001815 ascending colon Anatomy 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 210000004534 cecum Anatomy 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 210000004877 mucosa Anatomy 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 239000002775 capsule Substances 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000000112 colonic effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 210000001731 descending colon Anatomy 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 210000000664 rectum Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 210000003384 transverse colon Anatomy 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 208000034656 Contusions Diseases 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 206010000269 abscess Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 210000004347 intestinal mucosa Anatomy 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002558 medical inspection Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000002663 nebulization Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000001599 sigmoid colon Anatomy 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Urology & Nephrology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
시술자가 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용하는 동안 프레임들을 식별하기 위해 실시간 비디오로부터 복수의 프레임들을 분석하도록 구성되는 적어도 하나의 프로세서를 포함하는 컴퓨터-구현 시스템이 제공된다. 적어도 하나의 프로세서는 식별된 프레임들로부터, 이미지 디바이스와 상호작용하는 시술자에 의해 검사되는 제1 부위의 데이터 표현들을 생성하고, 또한 이미지 디바이스와 상호작용하는 시술자에 의해 검사되는 하나 이상의 추가 부위들의 데이터 표현들을 추가로 생성하도록 추가로 구성된다. 적어도 하나의 프로세서는 또한 제1 부위의 데이터 표현들을 하나 이상의 추가 부위들의 데이터 표현들과 종합하고, 종합된 데이터 표현들을 사용하여, 시술자에 의해 검사되는 부위들의 검사 품질 수준을 결정하고 시술자에 의해 검사되는 부위들의 검사 품질 수준을 나타내는 그래픽 표현을 의료 시술 동안에 디스플레이 디바이스 상에 제시하도록 구성된다.
Description
관련 출원(들)에 대한 상호 참조
본 출원은 2021년 10월 8일에 출원된 미국 가출원 번호 제63/253,700호에 대한 우선권을 주장하며, 이 출원의 내용들은 그 전체가 참조로 본 명세서에 포함된다.
기술 분야
본 개시내용는 일반적으로 이미징 시스템 또는 디바이스로부터의 비디오를 처리하기 위한 이미징 시스템들과 컴퓨터-구현 시스템들 및 방법들의 분야에 관한 것이다. 보다 구체적으로, 본 개시내용은 이미징 디바이스로부터 비디오의 프레임들을 처리하고 검사 품질 분석과 같은 분석을 수행하기 위한 시스템들, 방법들 및 컴퓨터-판독 가능 매체들에 관한 것이지만, 이에 제한되지는 않는다. 본 명세서에 개시된 시스템들 및 방법들은 환자를 검사하기 위한 의료 시술 동안을 포함하여, 다양한 응용 분야들에서 사용될 수 있다. 본 명세서에 개시된 시스템들 및 방법들은 또한 의료 이미징 디바이스를 활용하는 시술 동안 실시간으로 검사 품질 수준 분석을 결정하고 제공하는 것과 같은 실시간 이미지 처리 기능들을 제공하도록 구현될 수 있다.
현대의 의료 시술들에서는 환자의 신체와 기관들에 대한 정밀하고 정확한 검사가 필요하다. 예를 들어, 내시경 시술자가 결장의 각 부위를 주의 깊고 철저하게 검사할 때 내시경 검사 중에 악성 종양들의 발견 비율이 증가될 수 있다. 반대로, 시술자가 환자의 신체 부위를 실수로 건너뛰거나 제대로 검사하지 않는 경우 악성 종양을 놓칠 수 있다. 기량, 피로 정도, 및 특정 부위가 검사되었는지 여부에 대한 기억 회상을 포함하는 여러 요인들이 시술자의 검사 수준에 영향을 미칠 수 있다.
지금까지 다양한 의료 이미징 및 검사 시스템들이 개발되었으나, 많은 시스템들이 하나 이상의 단점들 또는 결함들을 안고 있다. 예를 들어, 현존하는 솔루션들은 시술자에 대한 특정 부위의 검사 품질이나 수준에 관한 아무런 분석이나 시각적 피드백도 제공하지 못한다. 또한, 현존하는 시스템들 및 방법들은 시술자의 검사 기술에 대한 실시간 분석 및 피드백을 제공하지 못하며, 이는 시술자가 환자의 신체 또는 기관들을 검사하는 동안 그 자신의 기술을 보정하는 데 도움이 될 수 있다. 더욱이, 현존하는 시스템들 및 방법들은 특정 부위(들)의 검사에 관해서 뿐만 아니라, 전체 의료 시술 또는 그 일부에 관한 피드백을 평가하거나 제공하지 못한다.
따라서, 환자를 검사하는 의료 시술들에 사용되는 것들을 포함하여 이미징 시스템들 및 방법들의 개선이 필요하다. 무엇보다도, 예를 들어 의료 시술 동안에 시술자의 검사 기술의 품질이나 수준에 대한 컴퓨터-구현 분석 및 피드백을 제공할 필요가 있다. 환자의 신체나 기관들을 탐색하고 검사할 때 실시간으로 데이터를 분석하고 검사 품질 수준들을 결정하기 위해서는 컴퓨터-구현 시스템들 및 방법들도 또한 필요하다. 본 개시내용의 실시예들은 그러한 개선점들을 제공하고, 현존하는 솔루션들의 상술한 결함들 또는 단점들 중 하나 이상을 해결할 수 있다.
본 개시내용의 실시예들은 내시경 검사와 같은 의료 시술 동안에 검사 품질을 분석하기 위한 시스템들, 방법들 및 컴퓨터-판독 가능 매체들을 포함한다. 일부 개시된 실시예들에 따르면, 예를 들어 내시경 시술 동안, 비디오의 프레임들을 처리하고 표면 노출, 궤적 및/또는 속도 분석을 수행하기 위한 시스템들, 방법들 및 컴퓨터-판독 가능 매체들이 제공된다. 본 개시내용의 실시예들은 또한 시술자가 환자의 신체 또는 기관들을 검사할 때 시술자와 이미징 디바이스의 상호작용들을 식별하고 검사 품질 수준들을 실시간으로 결정하기 위한 시스템들 및 방법들에 관한 것이다. 본 명세서에 개시된 바와 같이, 검사 품질 수준 분석은 노출, 궤적 및/또는 속도와 같은 요인들의 조합에 기초할 수 있다. 노출, 궤적 및/또는 속도를 포함하는 이러한 요인들 중 하나 이상이 환자의 신체나 기관들을 검사하는 동안 시술자에게 개별적으로 또는 공동으로 제시될 수 있다. 이들 및 다른 실시예들, 특징들 및 구현들이 본 명세서에 기술된다.
본 개시내용에 따르면, 하나 이상의 컴퓨터들로 구성된 시스템은 동작 중에 유발되는 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합이 시스템에 설치되게 함으로써 동작들 또는 작업들을 수행하도록 구성될 수 있거나, 또는 시스템으로 하여금 이들 동작들 또는 작업들을 수행하도록 할 수 있다. 하나 이상의 컴퓨터 프로그램들은 데이터 처리 장치(예를 들어, 하나 이상의 프로세서들)에 의해 실행될 때 장치로 하여금 그러한 동작들 또는 작업들을 수행하도록 하는 명령들을 포함함으로써 동작들 또는 작업들을 수행하도록 구성될 수 있다.
하나의 일반적인 양태는 내시경 검사와 같은 의료 시술 동안에 캡처된 비디오를 처리하기 위한 컴퓨터-구현 시스템을 포함한다. 컴퓨터-구현 시스템은 환자에 대해 수행되는 의료 시술 동안에 이미지 디바이스로부터 캡처된 비디오를 수신하도록 구성된 적어도 하나의 프로세서를 포함할 수 있으며, 비디오는 복수의 프레임들을 포함한다. 적어도 하나의 프로세서는: 시술자가 분석을 위한 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용하고 있는 프레임들을 식별하기 위해 복수의 프레임들을 분석하고; 식별된 프레임들로부터, 이미지 디바이스와 상호작용하는 시술자에 의해 검사되는 제1 부위의 데이터 표현들을 생성하고; 식별된 프레임들로부터, 이미지 디바이스와 상호작용하는 시술자에 의해 검사되는 하나 이상의 추가 부위들의 데이터 표현들을 추가로 생성하고; 제1 부위의 데이터 표현들을 하나 이상의 추가 부위들의 데이터 표현들과 종합하도록 추가로 구성될 수 있다. 또한, 적어도 하나의 프로세서는 종합된 데이터 표현들을 사용하여, 시술자에 의해 검사되는 부위들의 검사 품질 수준을 결정하고; 시술자에 의해 검사되는 부위들의 결정된 검사 품질 수준을 나타내는 그래픽 표현을 디스플레이 디바이스 상에 제시하도록 구성될 수 있다. 다른 실시예들은 대응하는 컴퓨터 방법들, 장치, 및 하나 이상의 컴퓨터 저장 디바이스들 상에 기록된 컴퓨터 프로그램들을 포함하며, 각각은 위의 동작들 또는 특징들을 수행하도록 구성된다.
구현들에는 다음의 특징들 중 하나 이상을 포함할 수 있다. 검사 품질 수준은 이미지 디바이스의 궤적, 이미지 디바이스의 속도, 및/또는 시술자에 의해 검사되는 부위들과 모델 표면의 부위 사이의 비율 중 하나 이상에 기초할 수 있다. 제1 부위 및 하나 이상의 추가 부위들에 대한 데이터 표현은 2차원 데이터와 3차원 데이터 중 적어도 하나를 포함할 수 있다. 이 시스템은 시술자가 분석을 위한 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용하는 동안 복수의 프레임들 중에서 프레임들을 식별하기 위해 맥락 평가(contextual evaluation)를 수행하도록 구성된 신경망을 포함할 수 있다.
적어도 하나의 프로세서는 의료 시술 동안에 실시간으로 검사 품질 수준을 결정하고, 의료 시술이 환자에 대해 수행됨에 따라 결정된 검사 품질 수준을 업데이트하도록 추가로 구성될 수 있다. 적어도 하나의 프로세서는 결정된 검사 품질 수준이 의료 시술 동안에 업데이트됨에 따라 그래픽 표현을 수정하도록 추가로 구성될 수 있다. 또한, 적어도 하나의 프로세서는 그래픽 표현의 색상, 패턴, 이미지, 비디오 또는 영숫자 문자 중 적어도 하나를 수정하도록 구성될 수 있다. 적어도 하나의 프로세서는, 환자에게 대해 수행되는 의료 시술 동안에 시술자에 의해 검사되는 부위에 대한 단기 검사 품질 수준과, 시술자에 의해 검사되는 복수의 부위들에 대한 장기 검사 품질 수준을 결정하도록 추가로 구성될 수 있다. 의료 시술은 내시경 검사, 식도 위 십이지장 내시경 검사, 대장 내시경 검사, 구불 결장 내시경 검사, 내시경 담췌관 조영술 또는 소장 내시경 검사 중 적어도 하나를 포함할 수 있다. 의료 시술 동안에 검사되는 부위들은 환자의 결장 부분들을 포함할 수 있다.
적어도 하나의 프로세서는 식별된 프레임들로부터, 환자의 검사되는 제1 부위의 제1의 3차원 표현을 생성하고; 식별된 프레임들로부터, 환자의 검사되는 제2 부위의 제2의 3차원 표현을 추가로 생성하고; 3차원 공간에서 제1의 3차원 표현과 제2의 3차원 표현의 근접성을 결정하고; 결정된 근접성이 임계값 내에 있을 때 제1의 3차원 표현의 적어도 일부를 제2의 3차원 표현의 적어도 일부와 병합하고; 제1 및 제2의 3차원 표현들의 병합된 부분들을 사용하여, 의료 시술 동안에 시술자에 의해 검사되지 않은 부위들을 식별하도록 추가로 구성될 수 있다. 설명된 기술들의 구현들은 하드웨어, 방법 또는 프로세스, 또는 컴퓨터-액세스 가능 매체 상의 컴퓨터 소프트웨어를 포함할 수 있다.
다른 일반적인 양태는 의료 시술 동안에 캡처된 비디오를 처리하기 위한 컴퓨터-구현 시스템을 포함한다. 컴퓨터-구현 시스템은 환자에 대해 수행되는 의료 시술 동안에 이미지 디바이스로부터 캡처된 비디오를 수신하도록 구성된 적어도 하나의 프로세서를 포함할 수 있으며, 비디오는 복수의 프레임들을 포함한다. 적어도 하나의 프로세서는 시술자가 분석을 위한 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용하는 동안 프레임을 식별하기 위해 복수의 프레임들을 분석하고, 식별된 프레임들로부터, 이미지 디바이스와 상호작용하는 시술자에 의해 검사되는 각각의 국소 부위의 데이터 표현들을 생성하도록 추가로 구성될 수 있다. 또한, 적어도 하나의 프로세서는: 각각의 국소 부위에 대한 데이터 표현들을 사용하여, 시술자에 의해 검사되는 부분들에 대한 단기 검사 품질 수준을 결정하고; 시술자에 의해 검사되는 각각의 국소 부위에 대한 단기 검사 품질 수준을 나타내는 그래픽 표현을 의료 시술 동안에 디스플레이 디바이스 상에 제시하도록 구성될 수 있다. 다른 실시예들은 대응하는 컴퓨터 방법들, 장치, 및 하나 이상의 컴퓨터 저장 디바이스들 상에 기록된 컴퓨터 프로그램들을 포함하며, 각각은 위의 동작들 또는 특징들을 수행하도록 구성된다.
구현들은 다음의 특징들의 하나 이상을 포함할 수 있다. 적어도 하나의 프로세서에 의해 각각의 국소 부위에 대한 데이터 표현들이 종합될 수 있고 적어도 하나의 프로세서에 의해 종합된 데이터 표현들을 사용하여 단기 검사 품질 수준이 결정될 수 있다. 추가적으로 또는 대안적으로, 컴퓨터-구현 시스템에서, 단기 검사 품질 수준은 이미지 디바이스의 궤적, 이미지 디바이스의 속도 또는 표면 노출 중 적어도 하나에 기초할 수 있다. 표면 노출은 시술자에 의해 검사되는 부위들과 모델 표면의 부위 사이의 비율에 기초할 수 있다. 적어도 하나의 프로세서는 시술자에 의해 검사되는 복수의 국소 부위들의 데이터 표현들을 장기 데이터 표현으로 종합하도록 추가로 구성될 수 있다. 적어도 하나의 프로세서는 장기 데이터 표현에 기초하여, 장기 검사 품질 수준을 결정하도록 추가로 구성될 수 있으며, 장기 검사 품질 수준은 전체 의료 시술에 걸쳐 검사되는 부위들의 총량을 나타낸다. 복수의 국소 부위들에 대한 데이터 표현들은 2차원 데이터 및 3차원 데이터를 포함할 수 있으며, 적어도 하나의 프로세서는 점구름을 사용하여 적어도 각각의 국소 부위의 모델을 구축하도록 추가로 구성될 수 있다. 이 시스템은 시술자가 분석을 위한 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용하는 동안에 복수의 프레임들 중에서 프레임들을 식별하기 위해 맥락 평가를 수행하도록 구성된 신경망을 포함할 수 있다.
적어도 하나의 프로세서는 각각의 식별된 프레임에 대해 깊이, 카메라 위치 또는 가장자리들 중 적어도 하나를 결정하도록 추가로 구성될 수 있다. 적어도 하나의 프로세서는 의료 시술 동안에 실시간으로 단기 검사 품질 수준을 결정하고, 의료 시술이 환자에 대해 수행됨에 따라 결정된 단기 검사 품질 수준을 업데이트하도록 추가로 구성될 수 있다. 적어도 하나의 프로세서는 결정된 단기 검사 품질 수준이 의료 시술 동안에 업데이트됨에 따라 그래픽 표현을 수정하도록 추가로 구성될 수 있다. 적어도 하나의 프로세서는 그래픽 표현의 색상, 패턴, 이미지, 비디오 또는 영숫자 문자 중 적어도 하나를 수정하도록 추가로 구성될 수 있다. 의료 시술은 내시경 검사, 식도 위 십이지장 내시경 검사, 대장 내시경 검사, 구불 결장 내시경 검사, 내시경 담췌관 조영술 또는 소장 내시경 검사 중 적어도 하나를 포함할 수 있다. 의료 시술 동안에 검사되는 부위들은 환자의 결장 부분들을 포함할 수 있다.
본 개시내용에 따른 시스템들 및 방법들은 소프트웨어, 펌웨어 및 하드웨어의 임의의 적절한 조합을 사용하여 구현될 수 있다. 본 개시내용의 구현들은 개시된 동작들 또는 작업들과 연관된 기능들을 수행하기 위해 특별히 기계적으로 구성되고 및/또는 프로그래밍되는 프로그램들 또는 명령들을 포함할 수 있다. 또한, 본 명세서에 기술된 단계들 및/또는 방법들을 수행하기 위해 적어도 하나의 프로세서에 의해 실행 가능한 프로그램 명령들을 저장하는 비일시적 컴퓨터-판독 가능 저장 매체들이 사용될 수 있다.
전술한 일반적인 설명 및 다음의 상세한 설명은 단지 예시적이고 설명적인 것일 뿐, 개시된 실시예들을 제한하지 않는다는 것이 이해될 것이다.
본 명세서의 일부를 구성하는 다음의 도면들은 본 개시내용의 여러 실시예들을 예시하고, 설명과 함께 개시된 실시예들의 원리들 및 특징들을 설명하는 역할을 한다. 도면들에서:
도 1은 본 개시내용의 실시예들에 따라, 실시간 비디오를 처리하기 위한 예시적인 컴퓨터-구현 시스템의 개략도이다.
도 2는 도 1 및 본 개시내용의 다른 실시예들의 예시적인 시스템과 관련하여 사용될 수 있는 예시적인 컴퓨팅 디바이스를 도시한다.
도 3은 본 개시내용의 실시예들에 따라, 의료 시술 동안에 캡처된 비디오를 처리하기 위한 예시적인 방법을 도시한다.
도 4는 본 개시내용의 실시예들에 따라, 검사되는 부위들의 3차원 표현을 생성하기 위한 예시적인 방법을 도시한다.
도 5a 및 도 5b는 본 개시내용의 실시예들에 따라, 속도 및 궤적 정보를 나타내기 위한 그래픽 표현들의 예들을 도시한다.
도 6은 본 개시내용의 실시예들에 따라, 비디오의 프레임들을 처리하기 위한 예시적인 시스템을 도시한다.
도 7은 본 개시내용의 실시예들에 따라, 단기 및 장기 검사 품질 수준들을 결정하기 위한 예시적인 방법을 도시한다.
도 8은 본 개시내용의 실시예들에 따라, 단기 및 장기 데이터 표현들을 생성하기 위한 예시적인 방법을 도시한다.
도 9는 본 개시내용의 실시예들에 따라, 단기 및 장기 데이터 표현들로부터 장기 검사 품질 수준 및/또는 다른 정보를 결정하기 위한 예시적인 방법을 도시한다.
도 10은 본 개시내용의 실시예들에 따라, 예시적인 장기 데이터 표현을 도시한다.
도 11은 본 개시내용의 실시예들에 따라, 의료 시술 동안에 캡처된 비디오를 처리하기 위한 예시적인 방법을 도시한다.
도 12a 및 도 12b는 본 개시내용의 실시예들에 따라, 검사 품질 수준들 및/또는 시술자 네비게이션의 다른 속성들을 나타내기 위한 그래픽 표현들의 예들을 도시한다.
도 13a 내지 도 13c는 본 개시내용의 실시예들에 따라, 검사 품질 수준들 및/또는 시술자 네비게이션의 다른 속성들을 나타내기 위한 그래픽 표현들의 추가 예들을 도시한다.
도 1은 본 개시내용의 실시예들에 따라, 실시간 비디오를 처리하기 위한 예시적인 컴퓨터-구현 시스템의 개략도이다.
도 2는 도 1 및 본 개시내용의 다른 실시예들의 예시적인 시스템과 관련하여 사용될 수 있는 예시적인 컴퓨팅 디바이스를 도시한다.
도 3은 본 개시내용의 실시예들에 따라, 의료 시술 동안에 캡처된 비디오를 처리하기 위한 예시적인 방법을 도시한다.
도 4는 본 개시내용의 실시예들에 따라, 검사되는 부위들의 3차원 표현을 생성하기 위한 예시적인 방법을 도시한다.
도 5a 및 도 5b는 본 개시내용의 실시예들에 따라, 속도 및 궤적 정보를 나타내기 위한 그래픽 표현들의 예들을 도시한다.
도 6은 본 개시내용의 실시예들에 따라, 비디오의 프레임들을 처리하기 위한 예시적인 시스템을 도시한다.
도 7은 본 개시내용의 실시예들에 따라, 단기 및 장기 검사 품질 수준들을 결정하기 위한 예시적인 방법을 도시한다.
도 8은 본 개시내용의 실시예들에 따라, 단기 및 장기 데이터 표현들을 생성하기 위한 예시적인 방법을 도시한다.
도 9는 본 개시내용의 실시예들에 따라, 단기 및 장기 데이터 표현들로부터 장기 검사 품질 수준 및/또는 다른 정보를 결정하기 위한 예시적인 방법을 도시한다.
도 10은 본 개시내용의 실시예들에 따라, 예시적인 장기 데이터 표현을 도시한다.
도 11은 본 개시내용의 실시예들에 따라, 의료 시술 동안에 캡처된 비디오를 처리하기 위한 예시적인 방법을 도시한다.
도 12a 및 도 12b는 본 개시내용의 실시예들에 따라, 검사 품질 수준들 및/또는 시술자 네비게이션의 다른 속성들을 나타내기 위한 그래픽 표현들의 예들을 도시한다.
도 13a 내지 도 13c는 본 개시내용의 실시예들에 따라, 검사 품질 수준들 및/또는 시술자 네비게이션의 다른 속성들을 나타내기 위한 그래픽 표현들의 추가 예들을 도시한다.
이하, 첨부된 도면들을 참조하여 예시적인 실시예들이 기술된다. 도면들이 반드시 축적으로 도시된 것은 아니다. 개시된 원리들의 예들 및 특징들이 본 명세서에 기술되어 있지만, 개시된 실시예들의 사상 및 범위를 벗어나지 않으면서 수정들, 적응들 및 다른 구현들이 가능하다. 또한, “포함하는(comprising, containing, including)” 및 “갖는(having)”이라는 단어들 및 기타 유사한 형태들은 의미가 동일하고 이러한 단어들 중 어느 하나를 따르는 항목 또는 항목들이 이러한 항목 또는 항목들의 전체적인 나열을 의미하지 않거나 나열된 항목 또는 항목들에만 제한되는 것을 의미하지 않는다는 점에서 개방적이다. 본 명세서 및 첨부된 청구범위에서 사용된 단수 형태들(“a”, “an” 및 “the”)은 문맥상 명확하게 달리 지시하지 않는 한 복수형 참조들을 포함한다는 점에도 또한 유의해야 한다.
다음 설명에서, 다양한 작업 예들이 예시의 목적으로 제공된다. 그러나, 본 개시내용은 이들 세부사항들 중 하나 이상 없이도 실시될 수 있다는 것이 이해될 것이다.
본 개시내용 전체에 걸쳐, 본 명세서에 기술된 독창적인 아이디어들, 개념들 및/또는 발현들의 예들을 의미하는 “개시된 실시예들(disclosed embodiments)”에 대한 언급이 있다. 본 개시내용 전체에 걸쳐 많은 관련 및 관련되지 않은 실시예들이 기술된다. 일부 “개시된 실시예들”이 특징 또는 특성을 나타내는 것으로 기술된다는 사실은 다른 개시된 실시예들이 반드시 해당 특징 또는 특성을 공유한다는 것을 의미하는 것이 아니다.
본 명세서에 기술된 실시예들은 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금 방법 또는 동작들의 세트를 수행하도록 하는 명령들을 포함하는 비일시적 컴퓨터-판독 가능 매체를 포함한다. 비일시적 컴퓨터-판독 가능 매체들은 메모리에 저장된 방법들 또는 임의의 다른 명령들을 수행하기 위해 프로세서를 갖춘 임의의 컴퓨팅 디바이스에 의해 읽힐 수 있는 방식으로 임의의 메모리에 데이터를 저장할 수 있는 임의의 매체일 수 있다. 비일시적 컴퓨터-판독 가능 매체는 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어는 바람직하게는 부품, 특정 디바이스들 및/또는 디바이스들의 조합으로 구성된 프로그램 저장 유닛 또는 컴퓨터 판독 가능 매체 상에 유형적으로 구현된 애플리케이션 프로그램으로 구현될 수 있다. 애플리케이션 프로그램은 임의의 적절한 아키텍처를 포함하는 기계에 업로드되고 그에 의해 실행될 수 있다. 바람직하게는, 기계는 하나 이상의 중앙 처리 유닛들(“CPUs: central processing units”), 메모리 및 입력/출력 인터페이스들과 같은 하드웨어를 갖춘 컴퓨터 플랫폼 상에서 구현될 수 있다. 컴퓨터 플랫폼은 운영 체제와 마이크로 명령 코드도 또한 포함할 수 있다. 본 개시내용에 기술된 다양한 프로세스들 및 기능들은 마이크로 명령 코드의 일부이거나 응용 프로그램의 일부이거나, 또는 이들의 임의의 조합일 수 있으며, 이는 컴퓨터 또는 프로세서가 명시적으로 표시되는지 여부에 관계없이 CPU에 의해 실행될 수 있다. 또한, 추가적인 데이터 저장 유닛, 인쇄 유닛과 같은 다양한 다른 주변 유닛들이 컴퓨터 플랫폼에 연결될 수 있다. 또한, 비일시적 컴퓨터-판독 가능 매체는 일시적인 전파 신호를 제외한 임의의 컴퓨터 판독 가능 매체일 수 있다.
메모리는 랜덤 액세스 메모리(RAM: Random Access Memory), 읽기-전용 메모리(ROM: Read-Only Memory), 하드 디스크, 광 디스크, 자기 매체, 플래시 메모리, 다른 영구, 고정, 휘발성 또는 비휘발성 메모리를 포함하여, 전자 데이터 또는 명령들을 저장하기 위한 임의의 메커니즘을 포함할 수 있다. 메모리는 데이터 구조들, 명령들 또는 임의의 다른 데이터를 저장할 수 있는 모이거나 분산되는 하나 이상의 별도의 저장 디바이스들을 포함할 수 있다. 메모리는 프로세서가 실행하기 위한 명령들을 포함하는 메모리 부분을 더 포함할 수 있다. 메모리는 또한 프로세서들의 작업 메모리 디바이스나 임시 저장소로 사용될 수도 있다.
일부 실시예들은 적어도 하나의 프로세서를 포함시킬 수 있다. 프로세서는 입력 또는 입력들에 대한 논리 연산을 수행하는 전기 회로를 갖춘 임의의 물리적 디바이스 또는 디바이스들의 그룹일 수 있다. 예를 들어, 적어도 하나의 프로세서는, 주문형 집적 회로(ASIC: application-specific integrated circuit), 마이크로칩들, 마이크로컨트롤러들, 마이크로프로세서들, 중앙 처리 유닛(CPU)의 전부 또는 일부, 그래픽 처리 유닛(GPU: graphics processing unit), 디지털 신호 프로세서(DSP: digital signal processor), 필드-프로그래밍 가능 게이트 어레이(FPGA: field-programmable gate array), 서버, 가상 서버, 또는 명령들을 실행하거나 논리 연산들을 수행하는 데 적절한 다른 회로들을 포함하는 하나 이상의 집적 회로들(IC: integrated circuit)를 포함할 수 있다. 적어도 하나의 프로세서에 의해 실행되는 명령들은 예를 들어 제어기와 통합되거나 제어기에 내장된 메모리에 사전-로딩될 수 있거나 별도의 메모리에 저장될 수 있다.
일부 실시예들에서, 적어도 하나의 프로세서는 하나보다 많은 프로세서를 포함할 수 있다. 각각의 프로세서는 유사한 구성을 가질 수도 있고, 프로세서들이 서로 전기적으로 연결되거나 연결 해제되는 서로 다른 구성들을 가질 수도 있다. 예를 들어, 프로세서들은 별도의 회로들일 수도 있고 단일 회로에 통합될 수도 있다. 하나보다 많은 프로세서들이 사용되는 경우, 프로세서들은 독립적으로 또는 협력적으로 동작하도록 구성될 수 있다. 프로세서들은 전기적으로, 자기적으로, 광학적으로, 음향적으로, 기계적으로 또는 상호작용을 허용하는 다른 수단에 의해 결합될 수 있다.
본 개시내용에 따른 실시예들은 네트워크를 포함시킬 수 있다. 네트워크는 데이터 교환에 사용되는 임의의 유형의 물리적 또는 무선 컴퓨터 네트워킹 배치를 구성할 수 있다. 예를 들어, 네트워크는 인터넷, 사설 데이터 네트워크, 공중 네트워크를 이용한 가상 사설 네트워크, Wi-Fi 네트워크, 근거리 네트워크(“LAN: local area network”), 광역 네트워크(“WAN: wide area network”), 및/또는 시스템의 다양한 구성요소들 간의 정보 교환을 가능하게 할 수 있는 다른 적절한 연결들일 수 있다. 일부 실시예들에서, 네트워크는 이더넷, 동축 케이블, 연선 케이블들, 광섬유들, 또는 데이터 교환을 위한 임의의 다른 적절한 물리적 매체와 같이 데이터를 교환하는 데 사용되는 하나 이상의 물리적 링크들을 포함할 수 있다. 네트워크는 또한, 사설 네트워크, 공중 전화 교환망(“PSTN: public switched telephone network”), 인터넷 및/또는 무선 셀룰러 네트워크와 같은 하나 이상의 네트워크들을 포함할 수 있다. 네트워크는 보안된 네트워크일 수도 있고 보안되지 않은 네트워크일 수도 있다. 다른 실시예들에서, 시스템의 하나 이상의 구성요소들은 전용 통신 네트워크를 통해 직접 통신할 수 있다. 직접 통신들은 BLUETOOTH™, BLUETOOTH LE™(BLE), Wi-Fi, 근거리 무선 통신(NFC: near field communications), 또는 별도의 엔티티들 사이에서 데이터 및/또는 정보 교환을 위한 매체를 제공하는 기타 적절한 통신 방법들을 포함하는 임의의 적절한 기술들을 사용할 수 있다.
일부 실시예들에서, 기계 학습 네트워크들 또는 알고리즘들은 예를 들어 후술되는 경우들에서 트레이닝 예들을 사용하여 트레이닝될 수 있다. 이러한 기계 학습 알고리즘들의 일부 비제한적인 예들은 분류 알고리즘들, 데이터 회귀 알고리즘들, 이미지 분할 알고리즘들, 시각적 감지 알고리즘들(예를 들어, 대상 감지기들, 얼굴 감지기들, 사람 감지기들, 동작 감지기들, 가장자리 감지기들 등), 시각적 인식 알고리즘들(예를 들어, 얼굴 인식, 사람 인식, 대상 인식 등), 음성 인식 알고리즘들, 수학적 임베딩 알고리즘들, 자연어 처리 알고리즘들, 지원 벡터 머신들, 랜덤 포레스트들, 최근접 이웃 알고리즘들, 딥 러닝 알고리즘들, 인공 신경망 알고리즘들, 컨벌루션 신경망 알고리즘들, 재귀 신경망 알고리즘들, 선형 기계 학습 모델들, 비선형 기계 학습 모델들, 앙상블 알고리즘들 등을 포함할 수 있다. 예를 들어, 트레이닝된 기계 학습 네트워크 또는 알고리즘은 예측 모델, 분류 모델, 회귀 모델, 클러스터링 모델, 분할 모델, 인공 신경망(예를 들어, 심층 신경망, 컨볼루션 신경망, 재귀 신경망 등), 랜덤 포레스트, 지원 벡터 머신 등과 같은 추론 모델을 포함할 수 있다. 일부 예들에서, 트레이닝 예들은 예시 입력들에 대응하는 원하는 출력들과 함께 예시 입력들을 포함할 수 있다. 또한, 일부 예들에서, 트레이닝 예들을 이용한 트레이닝 기계 학습 알고리즘들은 트레이닝된 기계 학습 알고리즘을 생성할 수 있고, 트레이닝된 기계 학습 알고리즘은 트레이닝 예들에 포함되지 않은 입력들에 대한 출력들을 추정하는 데 사용될 수 있다. 트레이닝은 감독될 수 있거나 감독되지 않을 수 있거나, 또는 이들의 조합일 수 있다. 일부 예들에서, 기계 학습 알고리즘들을 트레이닝하는 엔지니어들, 과학자들, 프로세스들 및 기계들이 검증 예들 및/또는 테스트 예들을 추가로 사용할 수 있다. 예를 들어, 검증 예들 및/또는 테스트 예들은 예시 입력들에 대응하는 원하는 출력들과 함께 예시 입력들을 포함할 수 있으며, 트레이닝된 기계 학습 알고리즘 및/또는 중간 트레이닝된 기계 학습 알고리즘이 검증 예들 및/또는 테스트 예들의 예시 입력들에 대한 출력들을 추정할 수 있고, 추정된 출력들은 대응하는 원하는 출력들과 비교될 수 있으며, 트레이닝된 기계 학습 알고리즘 및/또는 중간 트레이닝된 기계 학습 알고리즘은 비교 결과에 기초하여 평가될 수 있다. 일부 예들에서, 기계 학습 알고리즘은 파라미터와 하이퍼 파라미터들을 가질 수 있으며, 여기서 하이퍼 파라미터들은 사람에 의해 수동으로 설정되거나 기계 학습 알고리즘 외부의 프로세스(예를 들어, 하이퍼 파라미터 검색 알고리즘)에 의해 자동으로 설정되며, 기계 학습 알고리즘의 파라미터들은 트레이닝 예들에 따라 기계 학습 알고리즘에 의해 설정된다. 일부 구현들에서, 하이퍼-파라미터들이 트레이닝 예들 및 검증 예들에 따라 설정되고, 파라미터들이 트레이닝 예들 및 선택된 하이퍼-파라미터들에 따라 설정된다. 기계 학습 네트워크들 또는 알고리즘들은 임의의 출력에 기초하여 추가로 리트레이닝될 수 있다.
본 명세서에 개시된 특정 실시예들은 일련의 단계들을 포함하는 방법들 또는 동작들을 수행하기 위한 컴퓨터-구현 시스템들을 포함할 수 있다. 컴퓨터-구현 시스템들 및 방법들은 실시간 비디오를 처리하도록 구성된, 본 명세서에 기술된 하나 이상의 프로세서들을 포함할 수 있는 하나 이상의 컴퓨팅 디바이스들에 의해 구현될 수 있다. 컴퓨팅 디바이스는 하나 이상의 컴퓨터들 또는 데이터를 처리할 수 있는 임의의 다른 디바이스들일 수 있다. 이러한 컴퓨팅 디바이스들은 LCD 디스플레이, 증강 현실(AR: augmented reality) 또는 가상 현실(VR: virtual reality) 디스플레이와 같은 디스플레이를 포함할 수 있다. 그러나 컴퓨팅 디바이스는 또한, 백 엔드 구성요소(예를 들어, 데이터 서버)를 포함하거나, 미들웨어 구성요소(예를 들어, 애플리케이션 서버)를 포함하거나, 또는 프런트 엔드 구성요소(예를 들어, 사용자가 본 명세서에 기술된 시스템들 및 기술들의 구현과 상호작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖춘 사용자 디바이스)를 포함하거나, 또는 이러한 백 엔드, 미들웨어 또는 프런트 엔드 구성요소들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수도 있다. 시스템 및/또는 컴퓨팅 디바이스의 구성요소들은 디지털 데이터 통신의 임의의 형태 또는 매체(예를 들어, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크들의 예들은 LAN 네트워크, WAN 네트워크 및 인터넷을 포함한다. 컴퓨팅 디바이스는 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있으며 통상적으로 통신 네트워크를 통해 상호작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터들 상에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들로 인해 발생한다.
도 1은 본 개시내용의 실시예들에 따라, 실시간 비디오를 처리하기 위한 예시적인 컴퓨터-구현 시스템(100)을 도시한다. 도 1에 도시된 바와 같이, 시스템(100)은 이미지 디바이스(140)와 시술자(120)를 포함하며, 시술자(120)는 시술자(120)로부터 이미지 디바이스(140)로 전송된 제어 신호들을 통해 이미지 디바이스(140)를 동작시키고 제어한다. 예를 들어, 비디오 피드가 의료 비디오를 포함하는 실시예들에서, 시술자(120)는 환자에 대해 의료 시술을 수행하는 의사나 다른 의료 전문가일 수 있다. 이미지 디바이스(140)는 내시경 이미징 디바이스, X-선 기계, 컴퓨터 단층촬영(CT: computed tomography) 기계, 자기 공명 이미징(MRI: magnetic resonance imaging) 기계, 또는 인체 또는 그 일부의 비디오들 또는 하나 이상의 이미지들을 생성하는 임의의 다른 의료 이미징 디바이스와 같은 의료 이미징 디바이스를 포함할 수 있다. 시술자(120)는 무엇보다도, 예를 들어 환자 또는 개인의 인체를 통해 또는 그에 관해, 이미지 디바이스(140)의 캡처 속도 및/또는 이미지 디바이스(140)의 이동 또는 탐색을 제어함으로써 환자에 대해 수행되는 의료 시술 동안에 이미지 디바이스(140)와 상호작용하고 제어할 수 있다. 일부 실시예들에서, 이미지 디바이스(140)는 인체의 강을 통해 삽입되는 종래의 내시경 이미징 디바이스와는 대조적으로 삼킬 수 있는 캡슐 디바이스 또는 다른 형태의 캡슐 내시경 디바이스를 포함할 수 있다.
도 1의 예에서, 환자에 대해 수행되는 의료 시술 동안, 이미지 디바이스(140)는 캡처된 비디오를 복수의 이미지 프레임들로서 컴퓨팅 디바이스(160)에 전송할 수 있다. 컴퓨팅 디바이스(160)는 본 명세서에 기술된 바와 같이 비디오를 처리하기 위한 하나 이상의 프로세서들을 포함할 수 있다(예를 들어, 도 2 참조). 일부 실시예들에서, 프로세서들 중 하나 이상은 컴퓨팅 디바이스(160)의 일부는 아니지만 그와 네트워크 통신하는 별도의 구성요소(들)(도시되지 않음)로 구현될 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(160)의 하나 이상의 프로세서들은 트레이닝된 신경망들과 같은 하나 이상의 네트워크들을 구현할 수 있다. 신경망들의 예들은 대상 감지 네트워크, 분류 감지 네트워크, 상호작용 감지 네트워크 및/또는 다른 네트워크들을 포함한다. 컴퓨팅 디바이스(160)는 이미지 디바이스(140)로부터 복수의 이미지 프레임들을 수신하고 처리할 수 있다. 일부 실시예들에서, 제어 또는 정보 신호들은 하나 이상의 증강 비디오들의 생성을 제어, 지시 및/또는 유발하기 위한 목적으로 컴퓨팅 디바이스(160)와 시술자(120) 사이에서 교환될 수 있다. 이들 제어 또는 정보 신호들은 이미지 디바이스(140)를 통해 또는 시술자(120)로부터 컴퓨팅 디바이스(160)로 직접 데이터로서 전달될 수 있다. 제어 및 정보 신호들의 예들은 본 명세서에 기술된 기계 학습 알고리즘들과 같은 컴퓨팅 디바이스(160)의 구성요소들을 제어하기 위한 신호들을 포함한다.
도 1의 예에서, 컴퓨팅 디바이스(160)는 이미지 디바이스(140)로부터 수신된 비디오를 처리하고 증강한 다음 증강 비디오를 디스플레이 디바이스(180)에 전송할 수 있다. 일부 실시예들에서, 비디오 증강 또는 수정은 비디오 프레임들 내에서 또는 그와 함께 하나 이상의 오버레이들, 영숫자 문자들, 형상들, 다이어그램들, 이미지들, 애니메이션 이미지들 또는 임의의 다른 적절한 그래픽 표현을 제공하는 단계를 포함할 수 있다. 도 1에 도시된 바와 같이, 컴퓨팅 디바이스(160)는 또한 이미지 디바이스(140)로부터 증강되지 않은 원본 비디오를 디스플레이 디바이스(180)로 직접 중계하도록 구성될 수 있다. 예를 들어, 컴퓨팅 디바이스(160)는 오버레이가 없거나 또는 다른 증강 또는 수정이 생성되지 않는 경우와 같은 미리 결정된 조건들 하에서 직접 중계를 수행할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(160)는 시술자(120)가 그렇게 하기 위해 제어 신호의 일부로서 명령을 컴퓨팅 디바이스(160)에 전송하는 경우 직접 중계를 수행할 수 있다. 시술자(120)로부터의 명령들은 마우스 클릭, 커서 호버, 마우스 오버, 버튼 누르기, 키보드 입력, 음성 명령, 가상 또는 증강 현실에서 수행되는 상호작용 또는 임의의 다른 입력과 같이, 시술자 디바이스 및/또는 입력 디바이스(도시되지 않음) 상에 포함된 버튼(들) 및/또는 키(들)의 동작에 의해 생성될 수 있다.
비디오를 증강하기 위해, 컴퓨팅 디바이스(160)는 이미지 디바이스(140)로부터의 비디오를 단독으로 또는 시술자(120)로부터의 제어 또는 정보 신호들과 함께 처리하고 수정된 비디오 스트림을 생성하여 디스플레이 디바이스(180)에 전송할 수 있다. 수정된 비디오는 디스플레이 디바이스(180)를 통해 시술자에게 디스플레이될 증강 정보가 있는 오리지널 이미지 프레임을 포함한다. 증강 정보는 결정된 검사 품질 수준 또는 값의 하나 이상의 그래픽 표현들을 단독으로 또는 노출, 속도, 및/또는 궤적 정보와 같은 다른 정보와 조합하여 포함할 수 있다. 수정된 비디오 스트림에서, 그래픽 표현(들)은 비디오 상에 오버레이될 수 있으며 메인 카메라 뷰 또는 시야로부터 멀리 배치될 수 있다(예를 들어, 디스플레이의 상단 또는 하단 모서리 또는 메인 카메라 뷰 또는 시야를 방해하지 않는 다른 위치). 일부 실시예들에서, 그래픽 표현(들)은 선택적으로 디스플레이될 수 있고(예를 들어, ON/OFF 또는 시술자의 다른 제어 신호들에 응답하여) 별도의 패널 또는 디스플레이(즉, 이미지 디바이스(140)로부터의 실시간 비디오에 대한 오버레이가 아닌 별도의 비디오 출력)에 제시될 수 있다. 디스플레이 디바이스(180)는 LCD, LED 또는 OLED 디스플레이, 증강 현실 디스플레이 또는 가상 현실 디스플레이와 같은 비디오 또는 수정된 비디오를 디스플레이하기 위한 임의의 적절한 디스플레이 또는 유사한 하드웨어를 포함할 수 있다.
도 2는 본 개시내용의 실시예들에 따라 실시간 비디오를 처리하기 위한 예시적인 컴퓨팅 디바이스(200)를 도시한다. 컴퓨팅 디바이스(200)는 도 1의 예시적인 시스템(예를 들어 컴퓨팅 디바이스(160)를 포함)의 구현과 관련하여 사용될 수 있다. 일부 실시예들에서 컴퓨팅 디바이스는 클라우드 컴퓨팅 시스템들, 서버들 및/또는 실시간 비디오를 수신하고 처리하기 위한 임의의 다른 적절한 구성요소들과 같은 다중 서브-시스템들을 포함할 수 있다는 것이 이해되어야 한다.
도 2에 도시된 바와 같이, 컴퓨팅 디바이스(200)는 하나 이상의 프로세서(들)(230)를 포함할 수 있으며, 하나 이상의 프로세서(들)(230)는, 위에서 언급한 바와 같이, 예를 들어 주문형 집적 회로(ASIC), 마이크로칩들, 마이크로컨트롤러들, 마이크로프로세서들, 중앙 처리 유닛(CPU)의 전부 또는 일부, 그래픽 처리 유닛(GPU), 디지털 신호 프로세서(DSP), 필드-프로그래밍 가능 게이트 어레이(FPGA), 서버, 가상 서버, 또는 명령들을 실행하거나 논리 연산들을 수행하는 데 적절한 다른 회로들을 포함하는 하나 이상의 집적 회로들(IC)을 포함할 수 있다. 일부 실시예들에서, 프로세서(들)(230)는 하나 이상의 프로세서들로 구현되는 더 큰 처리 유닛을 포함하거나 그 구성요소일 수 있다. 하나 이상의 프로세서들(230)은 범용 마이크로프로세서들, 마이크로컨트롤러들, 디지털 신호 프로세서들(DSPs), 필드 프로그래밍 가능 게이트 어레이들(FPGAs), 프로그래밍 가능 논리 디바이스들(PLDs), 제어기들, 상태 머신들, 게이트 논리, 개별 하드웨어 구성요소들, 전용 하드웨어 유한 상태 머신들, 또는 정보의 계산들이나 기타 조작들을 수행할 수 있는 임의의 다른 적절한 엔티티들의 임의의 조합으로 구현될 수 있다.
도 2에 추가로 도시된 바와 같이, 프로세서(들)(230)는 버스 또는 네트워크(250)를 통해 메모리(240)에 통신 가능하게 연결될 수 있다. 버스 또는 네트워크(250)는 데이터 및 다른 형태의 정보를 전달하도록 구성될 수 있다. 메모리(240)는 프로세서(들)(230)에 의해 실행될 때, 본 명세서에 더욱 상세히 기술된 동작들 및 방법들을 수행하는 명령들을 포함하는 메모리 부분(245)을 포함할 수 있다. 메모리(240)는 경우에 따라, 프로세서(들)(230), 임시 저장소 및 다른 메모리 또는 저장소 역할들을 위한 작업 메모리로 사용될 수도 있다. 예를 들어, 메모리(240)는 랜덤 액세스 메모리(RAM)와 같은 휘발성 메모리일 수 있지만 이에 제한되지 않거나, 또는 플래시 메모리와 같은 비휘발성 메모리(NVM)일 수 있지만 이에 제한되지는 않는다.
프로세서(들)(230)는 또한 버스 또는 네트워크(250)를 통해 하나 이상의 I/O 디바이스(210)에 통신 가능하게 연결될 수 있다. I/O 디바이스(210)는 임의 유형의 입력 및/또는 출력 디바이스 또는 주변 디바이스를 포함할 수 있다. I/O 디바이스(210)는 하나 이상의 네트워크들 인터페이스 카드들, API들, 데이터 포트들, 및/또는 네트워크(250)를 통한 프로세서(들)(230)와의 연결을 지원하기 위한 다른 구성요소들을 포함할 수 있다.
도 2에 추가로 도시된 바와 같이, 프로세서(들)(230) 및 컴퓨팅 디바이스(200)의 다른 구성요소들(210, 240)은 데이터베이스 또는 저장 디바이스(220)에 통신 가능하게 연결될 수 있다. 저장 디바이스(220)는 조직화된 형식, 구조 또는 파일들의 세트로 데이터를 전자적으로 저장할 수 있다. 저장 디바이스(220)는 데이터 저장 및 검색을 용이하게 하는 데이터베이스 관리 시스템을 포함할 수 있다. 도 2에서는 단일 디바이스로서 예시되었지만, 저장 디바이스(220)가 모이거나 분산되는 다수의 디바이스들을 포함할 수 있다는 것을 이해해야 한다. 일부 실시예들에서, 저장 디바이스(220)는 클라우드 저장소와 같은 원격 네트워크 상에서 구현될 수 있다.
프로세서(들)(230) 및/또는 메모리(240)는 또한 소프트웨어 또는 명령들의 세트들을 저장하기 위한 기계-판독 가능 매체들을 포함할 수 있다. 본 명세서에 사용되는 “소프트웨어(Software)”는 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어 등으로 지칭되는 임의의 유형의 명령들을 광범위하게 지칭한다. 명령들은 코드(예를 들어, 소스 코드 형식, 이진 코드 형식, 실행 가능한 코드 형식 또는 임의의 다른 적절한 코드 형식)를 포함할 수 있다. 명령들은 하나 이상의 프로세서들(230)에 의해 실행될 때, 프로세서(들)로 하여금 본 명세서에 더욱 상세히 기술된 다양한 동작들 및 기능들을 수행하도록 할 수 있다.
컴퓨팅 디바이스(200)의 구현들은 도 2에 도시된 예시적인 실시예에 제한되지 않는다. 구성요소들(210, 220, 230, 240)의 개수 및 배치는 수정될 수 있고 재배치될 수 있다. 또한, 도 2에는 도시되지 않았지만, 컴퓨팅 디바이스(200)는 인터넷, 근거리 네트워크, 광역 네트워크, 대도시 네트워크, 및 컴퓨팅 아키텍처의 요소들 사이의 통신을 가능하게 할 수 있는 다른 네트워크들을 포함하는 다른 네트워크(들)와 전자 통신할 수 있다. 또한, 컴퓨팅 디바이스(200)는 저장 디바이스(220)를 포함하는 임의의 소스로부터 뿐만 아니라 네트워크(들) 또는 다른 데이터베이스(들)로부터 본 명세서에 기술된 데이터 또는 다른 정보를 검색할 수 있다. 또한, 컴퓨팅 디바이스(200)는 본 명세서에 기술된 신경망들을 구현하는 데 사용되는 하나 이상의 기계-학습 모델들을 포함할 수 있으며 기계-학습 모델의 가중치들 또는 파라미터들, 트레이닝 정보 또는 트레이닝 피드백, 및/또는 본 명세서에 기술된 임의의 다른 데이터 및 정보를 검색하거나 수신할 수 있다.
도 3은 본 개시내용의 실시예들에 따라 의료 시술 동안에 캡처된 비디오를 처리하기 위한 예시적인 방법(300)을 도시한다. 예시적인 방법(300)은 적어도 하나의 프로세서(예를 들어, 컴퓨팅 디바이스(160) 또는 프로세서(들)(230)의 적어도 하나의 프로세서), 또는 CPU, FPGA, ASIC, 또는 컴퓨팅 디바이스의 다른 처리 구조(들) 또는 저장 매체와 같은 비일시적 컴퓨터 판독 가능 매체의 도움으로 구현될 수 있다. 도 3에 도시된 바와 같이, 단계(310)에서, 적어도 하나의 프로세서는 환자에 대한 의료 시술 동안에 이미지 디바이스로부터 캡처된 실시간 비디오를 수신할 수 있다. 본 명세서에 사용된 “실시간 비디오(Real-time video)”는 비디오 소스(예를 들어, 이미지 디바이스)로부터 적어도 하나의 프로세서, 컴퓨팅 디바이스 및/또는 시스템에 의해 인지 가능한 지연 없이 수신되는 비디오를 의미할 수 있다. 예를 들어, 적어도 하나의 프로세서는 환자에 대해 수행되는 의료 시술 동안에 의료 이미지 디바이스로부터 캡처된 실시간 비디오를 수신하도록 구성될 수 있다. 의료 이미지 디바이스는 상술한 바와 같이, 내시경 디바이스, X-선 기계, CT 기계 또는 MRI 기계와 같이 인체 또는 그 일부의 비디오들 또는 하나 이상의 이미지들을 생성할 수 있는 임의의 디바이스일 수 있다. 의료 시술은 환자 상태를 검사, 결정, 감지, 측정 및/또는 진단하기 위해 수행되는 임의의 작업 또는 동작들의 세트일 수 있다. 의료 시술의 예들로는 내시경 검사, 식도 위 십이지장 내시경 검사, 대장 내시경 검사, 구불 결장 내시경 검사, 내시경 담췌관 조영술 또는 소장 내시경 검사 중 적어도 하나를 포함할 수 있다. 의료 시술 동안에, 시술자는 분석을 위한 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용할 수 있다. 시술자가 분석을 위해 검사할 수 있는 인체 내 위치들로는 직장, 구불 결장, 하행 결장, 횡행 결장, 상행 결장 또는 맹장을 포함한다. 일부 실시예들에서, 의료 시술은 내시경 시술을 포함할 수 있다. 예를 들어, 내시경 시술 동안에 시술자는 관심 대상들(예를 들어, 병변들 또는 용종들)을 식별하도록 환자의 결장 부위들을 검사하기 위해 이미지 디바이스와 상호작용할 수 있다. 그러나, 개시된 시스템들 및 방법들은 다른 시술들 및 응용 분야들에 채용될 수 있다는 것이 이해되어야 한다.
의료 시술 동안에 이미지 디바이스로부터 수신된 실시간 비디오는 개시된 실시예들에 따라 복수의 프레임들을 포함할 수 있다. 본 명세서에 사용된 “프레임(frame)”은 실시간 비디오의 장면 또는 시야를 나타내는 픽셀들의 모음과 같은 임의의 디지털 표현을 지칭할 수 있다. 이러한 실시예들에서, 픽셀은 (예를 들어, RGB, RYB, CMY, CMYK 또는 YUV 색상 모델들에 기초하여) 색상 공간의 값 또는 세기를 특징으로 하는 개별 요소를 나타낼 수 있다. 프레임은 공동 사진 전문가 그룹(JPEG: Joint Photographic Experts Group) 형식, 그래픽 교환 형식(GIF: Graphics Interchange Format), 비트맵 형식, 확장 가능한 벡터 그래픽(SVG: Scalable Vector Graphics) 형식, 밀봉형 포스트스크립트(EPS: Encapsulated PostScript) 형식 또는 임의의 다른 형식과 같은 임의의 적절한 형식으로 인코딩될 수 있다. “비디오(video)”라는 용어는 복수의 프레임들의 시퀀스로 구성된 관심 부위 또는 장면의 임의의 디지털 표현을 지칭할 수 있다. 비디오는 움직이는 화상 전문가 그룹(MPEG: Moving Picture Experts Group) 형식, 플래시 비디오 형식, 오디오 비디오 인터리브(AVI: Audio Video Interleave) 형식 또는 임의의 다른 형식과 같은 임의의 적절한 형식으로 인코딩될 수 있다. 그러나 비디오는 인코딩될 필요가 없으며 더욱 일반적으로 복수의 프레임들을 포함할 수 있다. 프레임들은 무작위 순서를 포함하여 임의의 순서일 수 있다. 일부 실시예들에서, 비디오 또는 복수의 프레임들이 오디오와 연관되거나 페어링될 수 있다.
복수의 프레임들은 관심 대상의 표현들을 포함할 수 있다. 본 명세서에 사용된 “관심 대상(object of interest)”은 감지 또는 특성화가 바람직할 수 있는 복수의 프레임들 내의 임의의 시각적 항목 또는 특징을 지칭할 수 있다. 예를 들어, 관심 대상은 사람, 장소, 엔티티, 특징, 부위 또는 임의의 다른 구별 가능한 시각적 항목이나 사물일 수 있다. 복수의 프레임들이 의료 이미징 디바이스로부터 캡처된 이미지들을 포함하는 실시예들에서, 예를 들어 관심 대상은 인체 조직의 형성물 또는 인체 조직 상의 형성물, 한 유형의 세포에서 다른 유형의 세포로의 인체 조직의 변화, 인체 조직이 예상되는 위치에서의 인체 조직의 부재 또는 병변 중 적어도 하나를 포함할 수 있다. 이미지 디바이스에 의해 캡처된 비디오의 관심 대상들의 예들로는 용종(위장 점막에서 튀어나온 혹), 종양(신체 일부의 부종), 타박상(건강한 세포들에서 변색된 세포들로의 변화), 함몰(인체 조직의 부재), 또는 궤양이나 농양(손상을 입은 조직, 즉 병변) 등을 포함할 수 있다. 관심 대상들의 다른 예들로는 본 개시내용으로부터 명백해질 것이다.
도 3을 다시 참조하면, 단계(320)에서, 적어도 하나의 프로세서는 환자에 대해 수행되는 의료 시술 동안에 이미지 디바이스로부터 수신된 비디오(본 명세서에서는 “실시간 비디오”라고도 함)로부터 프레임들을 식별할 수 있다. 의료 시술 동안에 시술자는 분석을 위한 환자의 장기 부위들을 검사하기 위해 이미지 디바이스와 상호작용할 수 있다. 시술자의 이미지 디바이스와의 상호작용 유형은 이미지 디바이스로부터의 비디오의 복수 프레임들을 분석하고 예를 들어 이미지 분류 알고리즘 또는 신경망을 사용하여 프레임들을 복수의 작업들 중 하나 이상으로 분류함으로써 결정될 수 있다. 예를 들어, 의료 시술 동안에, 시술자는 한 부위에 물을 분무하거나, 이미지 디바이스의 카메라를 장기 또는 다른 기관 주변으로 네비게이팅하여(navigate) 하나 이상의 부위들을 조사하거나, 부위를 확대하거나, 병변 또는 다른 형성물 또는 대상을 조사하거나, 병변 또는 다른 형성물 또는 대상을 제거하거나, 조직 검사를 수행하거나, 이미지 디바이스를 삽입하거나, 이미지 디바이스를 회수하거나, 또는 환자의 분석 또는 치료에 도움이 될 수 있는 다른 작업들을 수행할 수 있다. 각각의 프레임 또는 프레임들의 그룹은 시술자에 의해 수행되는 작업(들)에 기초하여 분류될 수 있다. 비제한적인 예들로서, 프레임(들)에서 물줄기 또는 물의 파열이 감지되면 프레임 또는 프레임들의 그룹은 “분무(spraying)”로 분류될 수 있고; 프레임(들)에서 수술 도구가 감지되면 프레임(들)은 “제거(removal)”로 분류될 수 있고; 프레임(들)에서 대상의 부위가 큰 것으로 판단되어 시술자가 대상을 분석하기 위해 확대했음을 나타내면 프레임(들)은 “조사(inspection)”로 분류될 수 있고; 및/또는 프레임(들)의 뷰가 실질적으로 환자의 신체 기관의 축을 따라 시술자가 기관으로 전방(또는 후방) 이동하고 있음을 나타내면 프레임(들)은 “탐색(exploration)”으로 분류될 수 있다. 프레임들을 하나 이상의 작업들로 분류하는 것은 시술자가 분석을 위한 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용하고 있음을 나타낼 수 있다. 예를 들어, “조사” 또는 “탐색”으로 분류된 프레임들은 시술자가 분석을 위한 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용하고 있는 프레임으로 식별될 수 있는데, 이러한 작업들은 시술자가 환자의 장기(들) 또는 다른 신체 부분(들)을 네비게이팅하여 관심 대상들을 식별하고 있음을 나타낼 수 있기 때문이다. 반대로, “분무” 또는 “제거”로 분류된 프레임들은 시술자가 분석을 위한 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용하고 있지 않는 프레임들로 식별될 수 있는데, 이러한 작업들은 시술자가 다른 작업들을 하고 있고 관심 대상들을 식별하기 위해 환자의 장기(들) 또는 다른 신체 부분(들)을 네비게이팅하지 않음을 나타낼 수 있기 때문이다. 분류들은 숫자 범주들(예를 들어, 탐색의 경우 “1”, 조사의 경우 “2”, 분류 없음의 경우 “0” 등), 영숫자 범주들(예를 들어, “탐색”, “제거”, “해당 없음” 등) 또는 임의의 다른 형식과 같은 임의의 형태로 표현되고 결정될 수 있다. 하나 이상의 프레임들을 범주화하고 및/또는 시술자가 분석을 위한 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용하고 있음을 결정하기 위해 임의의 적절한 분류들 또는 맥락이 사용될 수 있다는 것이 이해되어야 하며, 상술한 예들은 단지 예시적인 것이며 본 개시내용에 따른 실시예들에 제한하지 않는다.
일부 실시예들에서, 신경망은 시술자가 분석을 위한 환자의 기관 부위들을 검사하기 위해 이미지 디바이스와 상호작용하는 동안 복수의 프레임들 중에서 프레임들을 식별하기 위해 맥락 평가를 수행하도록 구성될 수 있다. 예를 들어, 복수의 프레임들은 상술한 바와 같은 복수의 프레임들을 분류하도록 트레이닝된 하나 이상의 신경망들(예를 들어, 심층 신경망, 컨볼루션 신경망, 재귀 신경망 등), 랜덤 포레스트, 지원 벡터 머신 또는 임의의 다른 적절한 모델에 공급될 수 있다. 신경망은 하나 이상의 작업 분류들에 기초하여 라벨이 붙여진 복수의 트레이닝 프레임들 또는 그 일부들을 사용하여 트레이닝될 수 있다. 예를 들어, 시술자가 작업(예를 들어, 부위에 물을 분무)을 수행하는 제1 세트의 트레이닝 프레임들(또는 프레임들의 일부들)은 해당 작업(예를 들어, “분무”)으로 라벨이 붙여질 수 있고, 시술자가 해당 작업을 수행하지 않거나(예를 들어, “분무하지 않음(not spraying)”) 완전히 다른 작업을 수행하는(예를 들어, “탐색”) 제2 세트의 트레이닝 프레임들(또는 프레임들의 일부들)은 그에 따라 라벨이 붙여질 수 있다. 다른 라벨링 규칙들은 이진(예를 들어, “조사(inspecting)” 대 “조사하지 않음(not inspecting)”) 및 여러 분류들(예를 들어, “조사” 대 “제거” 대 “분무”)에서 모두 사용될 수 있다. 신경망의 가중치들 또는 기타 파라미터들은 수렴 또는 다른 메트릭이 달성될 때까지 라벨이 붙여지지 않은 제3 세트의 트레이닝 프레임들(또는 프레임들의 일부들)에 대한 출력에 기초하여 조정될 수 있으며, 이 프로세스는 본 명세서에 기술된 바와 같이 추가 트레이닝 프레임들(또는 그 일부들) 또는 라이브 데이터로 반복될 수 있다.
기계 학습 알고리즘들, 모델들 또는 가중치들은 컴퓨팅 디바이스 및/또는 시스템에 저장될 수 있거나, 처리에 앞서 네트워크 또는 데이터베이스로부터 가져올 수 있다. 일부 실시예들에서, 기계 학습 네트워크 또는 알고리즘은 정확하거나 부정확한 분류 출력들과 같은 출력들 중 하나 이상에 기초하여 리트레이닝될 수 있다. 리트레이닝을 위한 피드백은 시스템이나 컴퓨팅 디바이스에 의해 자동으로 생성될 수도 있거나, 시술자나 다른 사용자에 의해 수동으로 입력될 수도 있다(예를 들어, 마우스, 키보드 또는 다른 입력 디바이스를 통해). 기계 학습 네트워크 또는 알고리즘의 가중치들 또는 다른 파라미터들은 피드백에 기초하여 조정될 수 있다. 또한, 복수의 프레임들을 분류하기 위해, 기존의 비기계 학습 분류 알고리즘들은 단독으로 또는 기계 학습 분류 네트워크들 또는 알고리즘들과 조합하여 사용될 수 있다.
일부 실시예들에서, 식별된 시술자 작업들을 지정하는 정보 및/또는 시술자가 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용하고 있는지 여부의 결정이 임의의 적절한 그래픽 표현으로 디스플레이되도록 제시될 수 있다. 이러한 정보는 식별된 시술자 작업들이 발생하여 예를 들어 디스플레이 디바이스 상에 실시간으로 제시되는 시기를 나타낼 수 있다. 이 정보는 또한 시간이 지남에 따라(예를 들어, 의료 시술 과정 동안) 수집되고 업데이트될 수 있으며 각각의 작업에 대한 누적량이 디스플레이 디바이스 상에 제시될 수 있다. 예를 들어, 원형 차트는, 복수의 프레임들 중 35%가 시술자가 한 부위에서 다른 부위로 이동한 프레임들로서 식별될 때 “35% 탐색(exploring 35%)”, 그리고 복수의 프레임들 중 20%가 시술자가 용종 또는 다른 관심 대상을 제거한 프레임들로 식별될 때 “20% 제거(removing 20%)”와 같이, 결정들에 대응하는 프레임들의 백분율(예를 들어, 의료 시술 시작 이후)을 나타내는 라벨들 및/또는 숫자들과 함께 제시될 수 있다. 다른 유형의 차트들(예를 들어, 막대 그래프), 영숫자 문자들(예를 들어, 라벨들 및/또는 백분율들만), 기호들(예를 들어, 분무를 표시하기 위한 물방울 아이콘), 비디오들 또는 애니메이션 이미지들(예를 들어, 제거 비디오) 및/또는 임의의 다른 시각적 표현과 같은 다른 유형의 그래픽 디스플레이들 및 표현들이 사용될 수 있다.
도 3의 단계(330)에서, 적어도 하나의 프로세서는 식별된 프레임들로부터 이미지 디바이스와 상호작용하는 시술자에 의해 검사되는 제1 부위의 데이터 표현들을 생성할 수 있다. 한 부위의 데이터 표현은 2차원 정보(예를 들어, x 및 y 좌표로 정의된 좌표계 상의 평면 정보), 3차원 정보(예를 들어, x, y 및 z 좌표로 정의된 좌표계 상의 점구름 정보) 또는 둘의 조합으로 표현될 수 있다. 예를 들어, 데이터 표현은 깊이, 자세 및 가장자리들과 같은 프레임의 뷰 내부 및 주변의 공간적 특성들을 계산하여 생성될 수 있지만, 임의의 다른 시각적 속성들이 데이터 표현들을 생성하는 데 사용될 수 있다.
예를 들어, 깊이는 두 프레임들의 대응하는 이미지 포인트들 사이의 차이를 계산함으로써 결정될 수 있다. 예를 들어, 두 대 이상의 카메라들을 포함하는 실시예들에서, 깊이는 다음 수학식에 따라 계산될 수 있다:
여기서 z는 깊이이고, f는 초점 거리(즉, 이미지 디바이스의 렌즈와 캡처 센서 사이의 거리), b는 기준 거리(즉, 제1 프레임과 제2 프레임의 캡처 지점들 사이의 거리)이고, x1은 제1 프레임의 대응점이고, x2는 제2 프레임의 대응점이다. 다른 예를 들면, 단일 또는 단안 카메라를 포함하는 실시예들에서, 하나 이상의 신경망들은 단안 깊이 추정(monocular depth estimation)을 수행하도록 트레이닝될 수 있다. 예를 들어, 하나 이상의 신경망들은 딥 러닝 접근법을 사용하여 트레이닝될 수 있으며, 그에 따라 하나 이상의 신경망들은 계산된 깊이 정보를 가진 이미지 프레임들의 세트를 포함하는 데이터베이스 또는 저장 디바이스를 사용하여 트레이닝된다. 신경망들은 출력에 기초하여 리트레이닝될 수 있다. 하나 이상의 신경망들은 가장자리 감지, 노이즈 감소, 형태학적 연산들, 평활화 알고리즘들 및 임의의 다른 시각-기반 처리와 같은 다른 이미지 처리 알고리즘들과 쌍을 이룰 수 있다. 하나 이상의 신경망들을 사용한 깊이 추정은 순서대로 캡처된 두 개의 인접한 프레임들, 서로 순서 없이 캡처된 두 개의 프레임들(예를 들어, 하나 이상의 프레임들을 건너뛸 수 있음), 규칙에 따라 선택된 두 개의 프레임들(예를 들어, 프레임들의 그룹 중 가장 높은 품질을 갖는 두 개의 프레임들), 무작위 또는 이들의 조합에 대해 수행될 수 있다. 그러나 깊이를 계산하거나 추정하기 위한 다른 알고리즘들 및 방법들이 사용될 수도 있으며, 이는 본 개시내용을 검토함으로써 당업자로부터 이해될 수 있을 것이다.
좌표계에 대해 이미지 디바이스의 위치 및/또는 회전을 결정하기 위한 임의의 적절한 알고리즘을 사용하여 자세가 계산될 수도 있다. 일부 실시예들에서, 자세는 카메라의 자세에 대한 프록시로서 사용될 수 있는 2개 이상의 이미지 프레임들로부터 카메라의 상대적 변위를 추정하도록 트레이닝된 하나 이상의 신경망들을 사용하여 추정될 수 있다. 일부 실시예들에서, 이러한 신경망들은 카메라의 상대적인 변위를 결정하기 위해 각 프레임에 대한 깊이 정보를 활용할 수 있다. 또한, 다수의 프레임들에 걸쳐 결정된 변위의 일관된 스케일링을 보장하기 위해 손실 함수 또는 다른 최적화 접근법이 사용될 수 있다. 신경망들은 연속적인 이미지 프레임들에 적용될 수 있고(그러나 일부 실시예들에서는, 일부 프레임들을 건너뛸 수 있음), 전체 시술 또는 그 일부 동안 결과들이 저장되어 시술의 임의의 시점에서 카메라의 자세를 추적할 수 있다. 예를 들어, 초기 시간(예를 들어, 시간 0)에 대해 주어진 시간에서 카메라의 자세는 각 프레임 쌍에 대해 계산된 상대 변위들을 결부시킴으로써 얻어질 수 있다. 이러한 결부는 예를 들어 최적화 알고리즘들, 평활화 동작들, 또는 임의의 다른 적절한 개선 프로세스를 사용하여 더욱 개선될 수 있다. 그러나 본 개시내용을 검토하는 당업자라면 이해할 수 있는 바와 같이, 자세를 계산하거나 추정하기 위한 다른 방법들이 사용될 수도 있다.
프레임의 표면들의 가장자리들도 또한 식별될 수 있다. 가장자리들은 임의의 적절한 가장자리 감지 알고리즘(예를 들어, 캐니(Canny) 방법, 소벨(Sobel) 방법, 미분 방법, 컨볼루션 방법, 또는 임의의 다른 방법들)을 사용하여 결정될 수 있다. 예를 들어, 내시경 동안에 프레임이 캡처되는 실시예들에서, 프레임에 묘사된 표면들을 분할하기 위해 환자 결장의 접힌 가장자리들이 감지될 수 있다. 감지된 가장자리들 및/또는 가장자리들에 의해 규정된 부위들은 이후에 의료 시술 동안에 시술자에 의해 검사되는 부위들의 데이터 표현들을 생성하는 데 사용될 수 있다. 더욱이, 가장자리들 및/또는 가장자리들에 의해 규정된 부위들은 시술자에게 피드백을 제시하는 동안 사용될 수 있다. 예를 들어, 시술자 내비게이션들의 그래픽 표현들은 본 명세서에 추가로 기술되는 바와 같이 가장자리 및/또는 부위 정보를 사용하여 분리되거나 분할될 수 있다. 따라서, 시술자에 의해 검사되는 부위들의 데이터 표현들을 생성하는 데 사용되는 시각적 속성들은 시술자에 대한 피드백과 같은 다른 목적으로 사용될 수 있음을 이해해야 한다. 또한 위에 나열된 시각적 속성들의 유형들은 설명할 목적으로만 제공되며 포괄적인 것은 아니다.
위의 설명에 따라, 깊이, 자세 및 가장자리들과 같은 공간적 특성들은 하나 이상의 기계 학습 네트워크들을 사용하여 결정될 수 있다. 예를 들어, 하나 이상의 신경망들은 회귀 손실을 최소화함으로써, 지도 학습(supervised learning)을 통해 시각적 특징들로부터 단일 프레임으로부터 직접 깊이, 자세 및/또는 가장자리들을 회귀하도록 트레이닝될 수 있다. 다른 예를 들면, 하나 이상의 신경망들은 지도(예를 들어, 수동 검증들) 또는 비지도(예를 들어, 공간 변환기 네트워크) 방식으로 두 개 이상의 프레임들에서 차이들/깊이 및/또는 자세를 예측하도록 트레이닝될 수 있다. 기계 학습 네트워크들은 정확하거나 부정확한 깊이, 자세 또는 가장자리 계산들과 같은 하나 이상의 출력들에 기초하여 리트레이닝될 수 있다. 리트레이닝을 위한 피드백은 시스템이나 컴퓨팅 디바이스에 의해 자동으로 생성될 수도 있거나, 시술자나 다른 사용자에 의해 수동으로 입력될 수도 있다(예를 들어, 마우스, 키보드 또는 다른 입력 디바이스를 통해). 기계 학습 네트워크들의 가중치들 또는 다른 파라미터들은 피드백에 기초하여 조정될 수 있다. 또한, 기존의 비기계 학습 알고리즘들은 프레임에서 깊이, 자세 및/또는 가장자리들과 같은 공간 특성들을 결정하기 위해 단독으로 또는 기계 학습 네트워크들 또는 알고리즘들과 조합하여 사용될 수 있다.
또한, 계산된 공간 특성들은 계산 후에 더욱 개선될 수 있다. 예를 들어, 계산 후 자세 추정을 개선하기 위해 시각적 주행 거리 측정 알고리즘이 적용될 수 있다. 시각적 주행 거리 측정 알고리즘은 여러 프레임들에 걸쳐 시간이 지남에 따른 이미지 디바이스의 위치 변화를 추정하는 데 사용될 수 있다. 시각적 주행 거리 측정 알고리즘은 전처리 단계들(예를 들어, 왜곡 제거 등)을 포함할 수 있지만, 일부 실시예들에서는 전처리가 필요하지 않을 수도 있다. 두 개 이상의 프레임들에서 대응하는 시각적 특징들 사이의 상관관계가 계산될 수 있다. 모션 흐름이나 패턴은 이후에 상관관계들에 기초하여 추정될 수 있다(예를 들어, 루카스-카나데(Lucas-Kanade) 방법, 호른-?크(Horn-Schunck) 방법, 벅스턴-벅스턴(Buxton-Buxton) 방법, 블랙-젭슨(Black-Jepson) 방법 또는 임의의 다른 방법을 사용). 계산된 특정 공간 특성들이나 임의의 다른 정보에 따라 다른 개선들이 적용될 수 있다.
도 3의 예시적인 방법을 다시 참조하면, 단계(340)에서, 적어도 하나의 프로세서는 식별된 프레임들로부터, 이미지 디바이스와 상호작용하는 시술자에 의해 검사되는 하나 이상의 추가 부위들의 데이터 표현들을 생성할 수 있다. 시술자에 의해 검사되는 하나 이상의 추가 부위들의 데이터 표현들은 위에서 논의된 바와 같이 시술자에 의해 검사되는 제1 부위와 동일하거나 유사한 방식으로 생성될 수 있다(예를 들어, 깊이, 자세, 가장자리들과 같은 프레임의 뷰 내부 및 주변의 공간 특성들을 계산함으로써, 그러나 다른 시각적 속성들이 데이터 표현들을 생성하는 데 사용될 수 있다). 시술자에 의해 검사되는 제1 부위 및 하나 이상의 추가 부위들이 인접하거나 순차적으로 검사될 필요는 없으며, 오히려 환자 신체의 상이한 부위들을 나타낼 수 있고 의료 시술 동안에 상이한 시간들에서 검사될 수 있다.
단계(350)에서, 적어도 하나의 프로세서는 제1 부위의 데이터 표현들을 하나 이상의 추가 부위들의 데이터 표현들과 종합할 수 있다. 여러 데이터 표현들은 시술자에 의해 검사되는 부위들에서 서로 인접한 표현들을 결합하여 종합될 수 있다. 예를 들어, 두 개의 인접한 데이터 표현들은 2차원 데이터, 3차원 데이터 또는 둘 다를 사용하여 단일 데이터 표현으로 종합될 수 있다. 검사되는 부위들의 3차원 데이터를 사용하여 데이터 표현들을 종합하는 예시적인 방법이 도 4를 참조하여 후술된다. 종합은 x, y 및 z 좌표계와 같이 데이터 표현들을 정의하는 데 사용되는 좌표계를 사용하여 수행될 수 있다. 예를 들어, 동일한 x, y 및 z 좌표를 갖는 하나 이상의 중첩 지점들이 있는 두 개의 데이터 표현들은 이러한 중첩 지점들을 참조로 사용하여 종합될 수 있다. 일부 실시예들에서, 데이터 표현들이 누락되거나 손상된 데이터를 포함하여 데이터 표현들에 “구멍들(holes)”이 생길 때 보간 또는 채움 알고리즘이 수행되어, 이러한 구멍들을 제거함으로써 단일 이음매 없는 데이터 표현을 생성할 수 있다. 또한, 일부 실시예들에서, 두 개 이상의 데이터 표현들이 종합을 보장할 만큼 좌표 공간에서 서로 충분히 가까이 있는지 여부를 결정하기 위해 거리 임계값 또는 다른 기준이 적용될 수 있다. 데이터 표현들은 단일 데이터 표현으로 종합될 필요가 없으며 오히려 여러 개의 개별 데이터 표현들로 계산되고 저장될 수 있다는 것이 이해될 것이다.
도 3의 단계(360)에서, 적어도 하나의 프로세서는 종합된 데이터 표현들을 사용하여, 시술자에 의해 검사되는 부위들의 검사 품질 수준을 결정할 수 있다. 본 명세서에서 사용되는 “검사 품질 수준(examination quality level)”이란, 이미지 디바이스에 의해 캡처된 부위에 대한 시술자의 검사 품질을 지칭할 수 있다. 검사 품질 수준은 시술자에 의해 검사되는 부위들과 모델 표면의 부위 사이의 비율을 계산하는 것과 같이 종합된 데이터 표현들을 사용하여 결정될 수 있다. 검사 품질 수준은 또한 이미지 디바이스, 캡처된 실시간 비디오 또는 프레임들과 관련된 정보, 또는 이미지 디바이스의 궤적, 이미지 디바이스의 속도, 및 컴퓨팅 디바이스에서 사용 가능하거나 컴퓨팅 디바이스에 의해 생성된 다른 정보와 같은 기타 정보를 사용하여 결정될 수도 있다. 또 다른 실시예들에서, 검사 품질은 다음 요소들 또는 정보 중 하나 이상에 기초하여 결정된다: (ⅰ) 신체 기관의 위치 또는 부위로부터의 회수와 같이, 임계 시간(예를 들어, 6분) 이상인 검사 또는 의료 시술의 타이밍 또는 이와 관련된 타이밍(맹장의 기저부 등); (ⅱ) 예를 들어 맥락 분석기에 의해 계산되는 내시경 의사 또는 시술자에 의해 수행되는 작업들과 관련된 대장 내시경 회수 시간(CWT: colonoscopy withdrawal time) 통계(예를 들어 발명의 명칭이“Systems and Methods for Contextual Image Analysis”인 WO 2021/156159 A1호를 참조하며, 이것의 개시내용은 본 명세서에 명시적으로 포함되어 있음)로서, 하나 이상의 임계값들과 비교되는, 상기 CWT 통계; 궤적; 순간 속도; 속도 통계; 그리고 어떤 부분들(예를 들어, 장 점막)이 노출되었는지, 어떤 각도 및/또는 거리인지에 관한 정보를 이용하여 결장 또는 다른 장기 표면의 종합된 데이터 표현들. 위의 요인들이나 정보는 배타적인 것이 아니라 보완적인 것이며, 검사 품질 수준을 결정하기 위해 조합하여 검토될 수 있다.
일부 실시예들에서, 검사 품질 수준은 노출 수준으로부터 결정되는 의료 시술 동안의 검사의 품질 수준일 수 있다. 예를 들어, 표면 노출의 수준(즉, “노출 수준(exposure level)”)을 결정하기 위해, 시술자에 의해 검사되는 부위들과 모델 표면의 부위 사이의 비율이 계산될 수 있다. 본 명세서에서 사용된 “모델 표면(model surface)”은 2차원 또는 3차원 모델과 같이 시술자에 의해 검사되고 있는 것 또는 대상의 표현을 지칭할 수 있다. 예를 들어, 시술자가 내시경 검사를 수행하는 실시예들에서 모델 표면은 환자의 결장 모델일 수 있다. 이 예에 따르면, 모델 표면은 결장 형상으로 배열된 다양한 직경들의 일련의 원통들을 포함할 수 있다. 모델 표면을 사용하여, 시술자에 의해 검사되는 부위들과 모델 표면의 부위 사이의 비율이 노출 수준을 나타내기 위해 계산될 수 있다. 예를 들어, 하나 이상의 프레임들에 캡처된 표면의 2차원 데이터 표현 부위는 모델 표면의 대응하는 2차원 부위 표면 부위와 비교될 수 있다. 다른 예를 들면, 하나 이상의 프레임들에서 캡처된 표면의 3차원 데이터 표현의 표면은 모델 표면의 대응하는 3차원 표면의 표면과 비교될 수 있다. 표면 노출의 수준을 결정하기 위해, 임의의 원하는 형식(예를 들어, 검사되는 표면 25%, 검사되는 표면 45% 등)으로 표현될 수 있는 비교에 기초하여 비율이 계산될 수 있다.
예를 들면, 적어도 하나의 프로세서로 노출 수준을 결정하기 위해, 캡처된 표면의 추정된 3차원 데이터 표현과 결장의 3차원 모델이 2차원에 투영되는 원통형 투영이 수행될 수 있다. 결장의 3차원 모델은 (ⅰ) 단안 비디오에 기초한 자체-지도 깊이 추정 알고리즘을 적용하고 프레임 간 일관성을 강화하는 방법; (ⅱ) 생체-외 측정들을 통해 또는 결장에서 3차원 센서들(예를 들어, 능동형 스테레오 또는 스테레오 카메라들)을 사용하여 3차원 데이터를 수집하는 방법; (ⅲ) 결장 형상, 결장 변형들, 결장 질감 등을 포함하는 3차원 합성 데이터 세트를 생성하는 방법과 같은 하나 이상의 방법들에 의해 생성될 수 있으며, 여기서 합성 결장 모델은 예를 들어 그래픽 디자이너가 스케치로서 또는 파라미터 피팅(fitting) 및/또는 추정을 통해 대규모 데이터 세트를 제공하는 파라메트릭 방식으로 생성된다. 투영 축은 3차원 결장 모델과 3차원 재구성 모델로부터 추정될 수 있다. 3차원 재구성 모델은 반복 최근접점(ICP: iterative closest point) 알고리즘과 같은 기존의 알고리즘을 이용하여 3차원 결장 모델과 정렬될 수 있다. 일부 실시예들에서, 2차원으로의 투영은 환자의 결장의 형상 또는 그에 대한 추정에 기초하여 순차적으로 또는 동시에 수행될 수 있다. 3차원 결장 모델과 3차원 재구성 모델의 투영이 이용 가능해지면, 두 투영들의 부위가 비교될 수 있다. 일부 실시예들에서, 원통형 투영 접근법은 결장 모델을 필요로 하지 않을 수 있다. 그러한 경우에는 원통형 투영이 3차원 재구성 모델에 적용될 수 있으며 노출된 부위는 전체 원통형과 비교될 수 있다.
일부 실시예들에서, 지상 실측 3차원 결장 재구성 모델은 3차원 표현으로부터 표면 검사의 양을 추정하는 데 사용될 수 있다. 모델은 의료 시술들 동안에 검사 품질 수준 분석에 사용되기 전에 트레이닝되고, 테스트되고 및 검증될 수 있다. 일부 실시예들에서, 지상 실측 3차원 결장 재구성 모델은 단안 뷰 시스템으로부터의 최신 깊이에 기초하여 생성될 수 있다. 이 기술을 사용하여 생성된 3차원 모델의 정확도는 높을 수 있지만, 이 기술은 리소스-집약적일 수 있다. 대안적으로, 일부 실시예들에서, 깊이 센서를 사용하고 깊이 데이터로부터의 재구성을 표준 색상 프레임 데이터로부터의 재구성과 비교함으로써 지상 실측 3차원 결장 재구성 모델이 생성될 수 있다. 또 다른 실시예들에서, 지상 실측 3차원 결장 재구성 모델은 합성 모델에 기초하고 비디오 시퀀스를 생성하기 위해 그래픽 렌더링 도구를 사용하여 생성될 수 있다. 비디오 시퀀스가 생성되면, 비디오 시퀀스에 대해 3차원 재구성 알고리즘이 수행될 수 있고 그 결과들은 생성된 합성 모델과 비교될 수 있다.
일부 실시예들에서, 생성된 3차원 표현(들)으로부터 노출된 표면의 양을 추정하기 위해 적어도 하나의 3차원 결장 모델이 사용될 수 있다. 일부 실시예들에서, 하나 이상의 3차원 결장 모델들이 제공될 수 있으며, 이들 모델들 중에서 특정 모델이 선택되어 3차원 표현(들)의 완전성에 기초하여 3차원 표현(들)과 비교될 수 있다. 예를 들어, 병합되지 않은 단기 표현들이 없는 단일 장기 3차원 표현을 이용할 수 있다면, 표준 결장 모델들의 데이터베이스의 결장 모델과 비교될 수 있다. 장기 표현(들)이 결장의 하나 이상의 부분들을 부분적으로 커버하는 경우, 장기 표현(들)은 세그먼트, 맹장 또는 상행 결장과 같은 결장의 하나 이상의 부분들의 데이터베이스와 비교되어 환자의 결장 표면의 노출량을 추정할 수 있다. 일부 실시예들에서, 시스템은 다수의 단기 표현들 또는 장기 표현들과 병합되지 않은 일부 단기 표현들의 조합을 생성할 수 있다. 이러한 경우, 원통형 투영 접근법을 사용하여 사용 가능한 부분 단기 및 장기 표현들에 대한 적절한 피트(fit)를 결정할 수 있다.
다른 실시예들에서, 노출은 3차원 재구성 모델을 3차원 결장 모델 표면 상으로 직접 투영함으로써 측정될 수 있다. 그러한 경우, 3차원 재구성 모델의 각각의 3차원 꼭지점 또는 3차원 면이 3차원 결장 모델 상으로 투영될 수 있다. 노출 수준은 투영된 점들 또는 꼭지점들과 매칭되는 3차원 결장 모델의 부위와 3차원 모델 표면의 전체 부위 사이의 비율로 결정될 수 있다.
환자마다, 환자의 장기들의 물리적 크기들과 특성들의 관점에 차이가 있을 수 있다. 그러나 장기들은 환자들 전체에 걸쳐 공통적인 해부학적 구조와 랜드마크들(굴곡, 판막, 오리피스 등)의 세트를 가지고 있다. 이러한 공통 특성들과 랜드마크들은 장기의 표준 모델을 구축하는 데 사용될 수 있다. 이러한 모델들은 환자의 결장 내 점막 부위를 국소화하는 데 충분한 수준의 정확도를 제공할 수 있다. 또한, 다양한 환자들로부터의 데이터에 대한 트레이닝을 통해 본 개시내용의 시스템들 및 방법들에 의해 임의의 차이점들이 해결될 수 있다. 대안적으로 또는 추가적으로, 환자의 결장과 관련된 정보(예를 들어, 형상, 크기 및 다른 특성들)는 최상의 피트 수술의 일부로서, 복수의 결장 모델들 중 하나를 선택하는 데 사용될 수 있거나 기본 결장 모델을 조정하는데 사용될 수 있다.
본 개시내용의 실시예들은 또한 상이한 내시경 카메라들 사이의 차이점들을 해결하도록 구성될 수 있다. 이는 수집된 이미지 데이터와 결정된 노출 수준에 대한 임의의 영향들을 최소화하기 위해 수행될 수 있다. 예를 들어, 하나 이상의 카메라 보정 방법들이 적용될 수 있다. 일부 실시예들에서, 단안 깊이 추정 접근법은 예를 들어 설치 시 및/또는 모든 의료 시술 전에 각각의 이미지 디바이스에 대해 적어도 한 번 수행될 수 있는 고유 카메라 보정을 적용함으로써 개선된다. 더욱 발전된 알고리즘들은 보정되지 않은 카메라들을 처리하여 컨볼루션 신경망 출력에서 카메라 파라미터들에 대한 추정을 제공할 수 있다. 예를 들어,
<<https://openaccess.thecvf.com/content_ICCV_2019/papers/Gordon_Depth_From_Videos_in_the_Wild_Unsupervised_Monocular_Depth_Learning_ICV_2019_paper.pdf>>를 참조한다.
일부 실시예들에서, 검사 품질 수준은 이미지 디바이스의 궤적으로부터 결정되는 의료 시술 동안의 검사의 품질 수준일 수 있다. 이미지 디바이스의 궤적은 임의의 적절한 궤적 추정 알고리즘을 사용하여 결정될 수 있다. 예를 들어, 두 개 이상의 프레임들에서 대응점들이 식별될 수 있다. 식별된 대응점들은 이후에 미리 정의된 좌표계(예를 들어, x, y 및 z 좌표를 갖는 좌표계)의 좌표로 변환될 수 있다. 두 개 이상의 프레임들의 회전 및 병진을 각각 기술하는 회전 행렬 및 병진 벡터는 변환된 좌표를 사용하여 계산될 수 있다. 무작위 샘플 일치(RANSAC: Random Sample Consensus), 최대 우도 추정량 샘플 일치(MLESAC: Maximum Likelihood Estimator Sample Consensus), PEARL, 허프(Hough), 최소 제곱 피팅(Least Squares Fitting) 또는 임의의 다른 피팅 알고리즘과 같은 피팅 알고리즘이 이후에 적용되어 이상점들을 무시함으로써 최상의 회전 행렬 및 병진 벡터를 찾을 수 있다. 계산된 회전 행렬과 병진 벡터는 이후 좌표계로 변환되어 시작점(예를 들어, 제1 프레임)에 대한 이미지 디바이스의 궤적을 계산할 수 있다. 실시간 비디오의 일부 동안 이미지 디바이스의 궤적을 생성하기 위해 실시간 비디오의 여러 다른 프레임들에 대해 위의 프로세스가 반복될 수 있다. 그러나 다른 궤적 추정 알고리즘들이 활용될 수도 있다는 것이 이해되어야 한다.
일부 실시예들에서, 검사 품질 수준은 이미지 디바이스의 속도로부터 결정되는 의료 시술 동안의 검사의 품질 수준일 수 있다. 이미지 디바이스의 속도는 임의의 적절한 속도 추정 알고리즘을 사용하여 결정될 수 있다. 예를 들어, 상술한 바와 같이 이미지 디바이스의 궤적을 계산한 후, 두 개 이상의 연속 프레임들(일부 프레임들을 건너뛸 수 있음) 사이의 상대 속도가 계산될 수 있다. 속도는 두 개 이상의 프레임들 사이의 궤적 동안 이미지 디바이스에 의해 이동된 거리에 기초하여 계산될 수 있다. 다른 예를 들면, 가속도계 또는 추적 디바이스는 의료 시술 동안에 시술자가 이미지 디바이스와 상호작용할 때 이미지 디바이스의 속도를 결정하는 데 사용될 수 있다. 그러나 속도를 추정하기 위한 다른 단계들 또는 알고리즘들이 활용될 수 있다는 것이 이해되어야 한다.
일부 실시예들에서, 검사 품질 수준은 특성들의 조합을 사용하여 결정되는 의료 시술 동안의 검사의 품질 수준일 수 있다. 컴퓨팅 디바이스는 예를 들어 이미지 디바이스의 궤적, 이미지 디바이스의 속도, 시술자에 의해 검사되는 부위들과 모델 표면의 부위 사이의 비율, 및/또는 컴퓨팅 디바이스에 의해 생성되거나 이에 이용 가능한 임의의 다른 정보를 이용하여 검사 품질 수준을 결정할 수 있다. 예를 들어, 높은 검사 품질 수준은 좋은 이미지 디바이스 궤적, 적절한 이미지 디바이스 속도 및/또는 높은 노출 수준(예를 들어, 모델 표면에 대한 검사 표면의 높은 비율)의 결과일 수 있다. 반대로, 낮은 검사 품질 수준은 나쁜 이미지 디바이스 궤적, 부적절한 이미지 디바이스 속도 및/또는 낮은 노출 수준(예를 들어, 모델 표면에 대한 검사 표면의 낮은 비율)의 결과일 수 있다. 일반적으로, 궤적은 그 매끄러움, 규칙성, 대칭성 및/또는 궤적과 연관된 임의의 다른 속성의 관점에서 평가될 수 있다. 예를 들어, 내시경의 경우, 좋은 이미지 디바이스 궤적은 직선 궤적이 아니라 나선 또는 나선형 궤적을 따라야 한다. 궤적의 다른 특성들도 확인할 수 있다. 예를 들어, 내시경 카메라의 궤적은 점막으로부터의 거리를 최소화하고, 관찰 방향이 점막 표면에 수직이 되도록 점막 표면에 대한 각도를 최적화하고 및/또는 접힌 결장 뒤쪽의 점막의 관찰을 제공해야 한다. 일부 실시예들에서, 검사 품질 수준은 정성적 이진 값일 수 있다. 정성적 이진 값의 몇 가지 예들은: 좋은 또는 나쁜; 낮은 또는 높은; 허용 가능 또는 허용 불가능; 그리고 불합격 또는 합격을 포함한다. 일부 실시예들에서, 검사 품질 수준은 연속 스케일의 점수(예를 들어, 0에서 1, 1에서 10, 또는 1에서 100과 같은 스케일의 점수)와 같은 숫자 값일 수 있다.
일부 실시예들에서, 검사 품질 수준은 노출된 전체 부위의 임계값에 기초하여 결정될 수 있다. 예를 들어, 노출된 기관의 전체 부위가 50% 이상인 경우에는 검사 품질 수준이 높거나 좋은 것으로 간주될 수 있다. 그러나, 노출된 기관의 전체 부위가 50% 미만인 경우에는 검사 품질 수준이 낮거나 나쁜 것으로 간주될 수 있다. 다른 임계값들이 사용될 수 있고 검사 품질 수준을 표현하는 다른 방식들(예를 들어 합격 또는 불합격)이 구현될 수 있다는 것이 이해될 것이다.
일부 실시예들에서, 궤적은 연속 프레임들에서의 카메라 자세의 추정에 기초하여 결정된다. 본 명세서에 개시된 바와 같이, 내시경 카메라의 경우, 궤적은 접힌 결장 뒤쪽의 부위들의 가시성을 최대화하고 관찰 방향 및 점막 표면으로부터의 거리를 최적화해야 한다. 나선형 궤적(최하단)이 직선 궤적보다 선호된다. 일부 실시예들에서, 카메라의 궤적을 따라 이동하는 동안 카메라의 총 시야를 분석함으로써 더욱 정확한 궤적 평가가 달성된다.
일부 실시예들에서, 검사 품질 수준은 이미지 디바이스의 속도에 단독으로 기초하여 또는 다른 요인들이나 정보와 조합하여 결정될 수 있다. 예를 들어, 속도는 최소 시술 타이밍들에 대한 지침들에 의해 권장되는 미리 규정된 속도 제한들 내에 있을 때 및/또는 평활하고 일정할 때(예를 들어, 속도에 과도한 최고점들 및/또는 하강들이 없을 때) 최적인 것으로 간주될 수 있다. 추가적으로 또는 대안적으로, 이미지 디바이스의 속도는 점막 표면을 명확하게 관찰할 수 있을 때 최적인 것으로 간주될 수 있다. 일부 실시예들에서, 좋은 이미지 디바이스 궤적과 최적의 이미지 디바이스 속도의 조합이 바람직할 수 있으며 결과적으로 높은 검사 품질 수준이 결정될 수 있다. 다른 예를 들면, 이미지 디바이스가 좋은 궤적을 따라 움직이지만 점막 표면이 적절하거나 명확하게 이미지화되지 않도록 최적 속도보다 높은 경우에는 검사 품질 수준이 낮은 것으로 결정될 수 있다. 일부 실시예들에서, 검사 품질 수준은 표면 노출에 단독으로 기초하거나 다른 요인들 또는 정보와 조합하여 결정될 수 있다. 예를 들어, 모델 표면에 대한 검사되는 표면의 비율이 미리 결정된 노출 범위 내에 있을 때 노출이 적절한 것으로 간주될 수 있으며, 이는 국부적 또는 단기적 노출 및/또는 전체적 또는 장기적 노출에 기초할 수 있다. 본 명세서에서 사용된 “노출(exposure)”은 총 결장 표면 부위에 대한 관찰된 결장 표면 부위의 비율을 지칭한다. 또 다른 실시예들에서, 궤적, 속도 및/또는 노출과 같은 하나 이상의 분석된 요인들이 검사 품질 수준을 결정하는 데 사용될 수 있다. 그러나, 상술한 바와 같이, 검사 품질 수준을 결정하기 위해 다른 분석된 값들이나 계산들이 사용될 수 있다.
일부 실시예들에서, 적어도 하나의 프로세서는 의료 시술 동안에 실시간으로 검사 품질 수준을 결정하고 의료 시술이 환자에게 수행됨에 따라 결정된 검사 품질 수준을 업데이트하도록 추가로 구성될 수 있다. 예를 들어, 미리 결정된 시간 간격을 사용하여 의료 시술 동안에 검사 품질 수준을 주기적으로 업데이트할 수 있거나(예를 들어, 매 밀리초(들)마다, 매 초(들)마다, 매 분(들)마다, 매 시간(들)마다 등), 또는 지정된 시간 기간 내에서 있는 무작위 간격들로 업데이트할 수 있다. 다른 예를 들면, 검사 품질 수준은 시술자에 의해 검사되는 부위의 양(예를 들어 검사 품질 수준은 시술자에 의해 검사된 부위의 양(예를 들어, 검사 품질 수준은 검사되는 매 수 센티미터마다 또는 인치마다 업데이트될 수 있음), 이미지 디바이스에 의해 이동된 거리(예를 들어, 검사 품질 수준은 이동된 매 수 센티미터마다 또는 인치마다 업데이트될 수 있음), 및/또는 기타 적절한 간격 또는 기본 변수에 기초하여 업데이트될 수 있다. 다른 예를 들면, 검사 품질 수준은 시술자에 의해 검사되는 부위의 데이터 표현을 생성한 후, 데이터 표현들을 종합한 후 또는 적어도 하나의 프로세서에 의해 수행되는 임의의 다른 동작 후와 같이, 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 수행된 작업에 기초하여 업데이트될 수 있다. 위에 제공된 예들은 단지 예시하기 위한 것일 뿐 포괄하려는 것이 아니다.
도 3의 예시적인 방법의 단계(370)에서, 적어도 하나의 프로세서는 의료 시술 동안에 디스플레이 디바이스 상에, 시술자에 의해 검사되는 부위들의 검사 품질 수준을 나타내는 그래픽 표현을 제시할 수 있다. 도 1과 관련하여 상술한 디스플레이 디바이스(180)와 같은 디스플레이 디바이스는 LCD 디스플레이, 가상 현실 디스플레이, 증강 현실 디스플레이 등이 될 수 있다. 검사 품질 수준은 백분율 값들, 분류 라벨들, 영숫자 문자들, 색상들, 이미지들, 비디오들, 그래프들 또는 임의의 다른 형식과 같이, 임의의 원하는 형식으로 제시될 수 있다. 예를 들어, 검사 품질 수준은 의료 시술 동안에 시술자에 의해 검사되는 부위들에 대응하는 복수의 부위들로 제시될 수 있으며, 검사 품질 수준에 따라 서로 다른 색상들(예를 들어, 검사 품질 수준이 높은 경우 녹색, 그리고 검사 품질 수준이 낮은 경우 적색)로 제시될 수 있다. 다른 예를 들면, 컴퓨팅 디바이스가 표면 부위들의 단지 25%만이 의료 시술 또는 의료 시술의 일부 동안(예를 들어, 표면의 마지막 섹션, 마지막 순간(들), 전체 의료 시술 등)에 시술자에 의해 검사된 것으로 결정하는 경우 “25% 노출(25% Exposure)” 또는 “낮은 노출(Low Exposure)”과 같은 검사 품질 수준을 나타내는 백분율 값 또는 노출 분류가 디스플레이될 수 있다. 다른 예를 들면, 각 섹션에 대한 검사 품질 수준을 나타내는 하나 이상의 섹션들을 갖는 2차원 또는 3차원 모델이 시술자에게 디스플레이될 수 있다(예를 들어, 검사 품질 수준이 높은 경우 녹색 섹션, 검사 품질 수준이 낮은 경우 적색 섹션). 또 다른 예를 들면, 그래픽 표현은 시술자에 의해 검사되는 부위들과 모델 표면의 부위 및/또는 검사되지 않은 부위들 사이의 비율을 나타낼 수 있으며, 이는 백분율, 값, 분류 또는 임의의 다른 적절한 형식으로 표현될 수 있다. 검사 품질 수준 또는 값을 제시하기 위한 다른 예시적인 그래픽 표현들이 도 12a 및 도 12b에 도시되어 있다. 이러한 예들은 속도 및/또는 궤적 정보와 같은 다른 정보를 포함하도록 수정될 수 있다(예를 들어, 도 5a 및 도 5b 참조). 그러나 본 개시내용으로부터 이해되는 바와 같이, 다른 그래픽 표현들이 사용될 수도 있다.
일부 실시예들에서, 적어도 하나의 프로세서는 결정된 검사 품질 수준이 의료 시술 동안에 업데이트됨에 따라 그래픽 표현을 수정하도록 추가로 구성될 수 있다. 비제한적인 예를 들면, 적어도 하나의 프로세서는 그래픽 표현의 색상, 패턴, 이미지, 비디오 및/또는 영숫자 문자 중 적어도 하나를 수정하도록 구성될 수 있다. 예를 들어, 검사 품질 수준이 시술자에 의해 검사되는 부위들에 대응하는 복수의 부위들로 제시되는 실시예들에서, 검사 품질 수준의 변화에 따라 부위들의 색상이 변화될 수 있다(예를 들어, 높은 검사 품질 수준에서 낮은 검사 품질 수준으로의 변화를 나타내기 위해 녹색에서 적색으로 변화되거나, 또는 낮은 검사 품질 수준에서 높은 검사 품질 수준으로의 변화를 나타내기 위해 적색에서 녹색으로 변화). 다른 예를 들면, 검사 품질 수준이 백분율 값 또는 노출 분류로 제시되는 실시예들에서, 백분율 또는 분류는 검사 품질 수준의 변화에 따라 변화될 수 있다(예를 들어, 검사 품질 수준이 25%에서 50%로의 증가를 나타내기 위해“25% 검사 품질 수준(25% Examination Quality Leve)”에서 “50% 검사 품질 수준(50% Examination Quality Level)”으로 변화, 또는 낮은 검사 품질 수준에서 높은 검사 품질 수준으로의 증가를 나타내기 위해 “낮은 검사 품질 수준(Low Examination Quality Level)”에서 “높은 검사 품질 수준(High Examination Quality Level)”으로 변화). 또 다른 예를 들면, 검사 품질 수준이 하나 이상의 섹션들을 갖는 2차원 또는 3차원 모델로 제시되는 실시예들에서, 모델의 시각적 속성은 검사 품질 수준의 변화에 따라 변화될 수 있다(예를 들어, 섹션은 높은 검사 품질 수준에서 낮은 검사 품질 수준으로의 감소를 나타내기 위해 녹색에서 적색으로 변화될 수 있거나, 또는 섹션이 낮은 검사 품질 수준에서 높은 검사 품질 수준으로의 증가를 나타내기 위해 적색에서 녹색으로 변화될 수 있다). 그러나, 본 개시내용으로부터 이해될 수 있는 바와 같이, 그래픽 표현에 대한 다른 수정들이 노출의 변화를 나타내기 위해 사용될 수 있다.
도 4는 본 개시내용의 실시예들에 따라, 검사되는 부위들의 3차원 표현을 생성하기 위한 예시적인 방법(400)을 도시한다. 방법(400)은 시술자가 분석을 위한 환자의 기관 부위들을 검사하기 위해 이미지 디바이스와 상호작용하는 동안의 프레임들로서 식별된 프레임들에 대해 수행될 수 있다. 예시적인 방법(400)은 컴퓨팅 디바이스(160)의 적어도 하나의 프로세서 또는 프로세서(들)(230)와 같은 하나 이상의 프로세서들로 구현될 수 있고 검사 품질 수준 또는 값을 결정하기 위한 프로세스의 일부로서 수행될 수 있다(예를 들어, 도 3의 예시적인 방법 참조). 방법(400)은 비제한적인 예라는 것이 이해될 것이다.
도 4에 도시된 바와 같이, 단계(410)에서 검사되는 제1 부위의 제1의 3차원 표현이 생성될 수 있고, 단계(420)에서 검사되는 제2 부위의 제2의 3차원 표현이 생성될 수 있으며, 이들 둘 다 x, y, z 좌표를 갖는 좌표계에서 점구름의 형태일 수 있다. 또한, 일부 실시예들에서, 생성된 3차원 표현(및/또는 2차원 데이터)은 데이터 표현들을 생성하는 데 사용될 수 있다. 위에서 논의된 바와 같이, 데이터 표현들을 생성하는 것은 깊이, 자세 및 가장자리들과 같은 프레임의 뷰 내부 및 주변의 공간 특성들을 계산하는 것을 포함할 수 있다. 이어서, 단계(430)에서, 좌표계 공간에서 제1의 3차원 표현과 제2의 3차원 표현의 근접성이 결정될 수 있다. 근접성은 제1 및 제2의 3차원 표현들을 따라 점들의 좌표를 비교하고 두 점들 사이의 최소 거리를 결정함으로써 계산될 수 있다. 제1 및 제2의 3차원 표현들 사이에 중첩이 있는 경우, 근접성은 0으로 결정될 수 있다. 중첩이 없는 경우, 근접성이 미리 결정된 임계값 내에 있는지 여부를 결정하기 위해 임계값이 적용될 수 있으며, 근접성은 제1 및 제2의 3차원 표현들이 좌표계 공간에서 서로에 대해 충분히 가깝다는 것을 나타낸다. 근접성이 임계값 내에 있으면, 단계(440)에서, 제1 및 제2의 3차원 표현들의 적어도 일부가 병합되어 단일 3차원 표현을 생성할 수 있다. 단계(450)에서, 시술자에 의해 검사되지 않은 부위들은 본 명세서에 추가로 기술된 바와 같이, 병합된 부분들을 사용하여 이를 표면 모델과 비교함으로써 식별될 수 있다. 방법(400)이 완료된 후, 본 명세서에 설명된 바와 같이, 종합된 3차원 표현을 사용하여 검사 품질 수준이 결정될 수 있다.
각각의 3차원 표현은 그것이 생성될 때 자체 좌표에 기초하여 할 수 있다. 일부 실시예들에서, 병합 프로세스는 두 개 이상의 3차원 표현들을 병합할 수 있다. 예를 들어, 병합 프로세스는 두 개 이상의 3차원 표현들을 공통 기준 프레임으로 가져오기 위해 적어도 하나의 프로세서에 의해 실행되는 병합 알고리즘을 포함할 수 있다. 병합 알고리즘은 각 3차원 표현과 연관된 사전 정보를 사용하여 표현들 사이의 초기 상대 위치를 추정할 수 있다. 예를 들어, 병합 알고리즘은 3차원 표현의 마지막 프레임과 다음 표현의 제1 프레임 사이의 시간 차이를 이용할 수 있다. 일부 실시예들에서, 병합 프로세스는 반복 최근접점(ICP) 및 측광 알고리즘들과 같은 기하학적 정렬 알고리즘들을 실행하는 것을 더 포함할 수 있다. 제1의 3차원 표현과 제2의 3차원 표현 사이에 중첩하는 부분이 발견되면 정렬이 성공적일 수 있다. 중첩하는 부분이 없으면, 정렬이 성공적이지 않을 수 있으며, 장기 3차원 표현이 불가능한 것으로 간주될 수 있다.
일부 실시예들에서, 방법은 시술자에 의해 검사되는 기관 부분들의 연속 프레임들로부터 구축된 다수의 3차원 표현들을 종합함으로써 검사되는 부위의 단기 표현들을 생성하는 단계를 포함할 수 있다. 다수의 3차원 표현들의 종합은 여러 요인들 중에서, 갑작스러운 카메라 움직임, 물에 초점을 맞춘 카메라 또는 점막에 닿은 카메라, 맥락 평가 모델로부터의 트리거, 알고리즘 실패를 포함하지만 이에 제한되지 않는 요인들에 의해 중단될 수 있다. 다수의 3차원 표현들로부터 제1 단기 표현이 중단되는 경우, 방법은 형성될 수 있는 다수의 3차원 표현들로부터 제2 단기 표현을 초기화하는 단계를 포함할 수 있다. 두 개 이상의 단기 표현들의 형성에 이어, 예를 들어 위에서 논의한 병합 알고리즘을 실행하여 병합 프로세스가 수행되어, 적어도 두 개의 단기 표현들을 병합하여 장기 표현을 형성할 수 있다. 일부 실시예들에서, 모든 단기 표현들이 병합되어 병합되지 않은 단기 표현이 없도록 장기 표현을 형성할 수 있다. 그러나 일부 실시예들에서, 병합 프로세스는 장기 표현 및 병합되지 않은 일부 단기 표현들의 형성을 유발할 수 있다. 병합 프로세스의 출력은 환자의 결장과 같은 환자 기관의 검사되는 표면의 3차원 재구성 모델을 형성하는 데 사용될 수 있다.
또한, 일부 실시예들에서, 검사 품질 수준은 속도, 디바이스의 궤적 및 점막 노출 비율의 추정을 포함하는 요인들의 조합에 기초하여 추정될 수 있다. 일부 실시예들에서, 점막 노출 비율은 예를 들어 단기 및 장기 표현들에 기초한 노출들의 가중 평균으로부터 전체 점수로 추정될 수 있다. 일부 실시예들에서, 점막 노출의 비율은 생성된 장기 3차원 표현과 환자 기관의 완전한 3차원 모델의 비교에 기초하여 추정될 수 있다.
본 명세서에 개시된 바와 같이, 정보 또는 통계는 시술자의 네비게이션의 품질을 나타내고 및/또는 검사 품질 수준 또는 값을 반영하거나 결정하기 위해 생성되고 디스플레이될 수 있다. 예를 들어, 속도 및/또는 궤적 정보가 결정되어 시술자를 위한 디스플레이 디바이스(예를 들어, 도 1의 디스플레이(180)) 상에 제시될 수 있다. 이 정보는 별도로(예를 들어, 별도의 디스플레이 또는 출력 상에) 디스플레이되거나 이미지 디바이스로부터의 실시간 비디오와 오버레이되는 증강 정보로서(예를 들어 디스플레이(180)에) 디스플레이될 수 있다. 일부 실시예들에서, 속도 및/또는 궤적 정보는 하나 이상의 그래픽 표현들의 일부로 디스플레이될 수 있다. 그래픽 표현들은 검사 품질 수준 또는 값의 그래픽 표현을 조합 및/또는 포함할 수 있다. 예를 들어, 도 5a 및 도 5b는, 생성되어 시술자에게 제시될 수 있는(예를 들어, 별도로 또는 증강 정보로서) 속도 및 궤적 정보의 예시적인 그래픽 표현들을 도시한다. 도 5a 및 도 5b의 예시적인 정보는 의료 시술 동안에 시술자의 네비게이션 품질에 대한 피드백을 제공하기 위해 의료 시술 동안에 결정되고 제시될 수 있다. 또한, 속도 및/또는 궤적 정보는 시술자의 작업들의 결과로 의료 시술 동안에 실시간으로(예를 들어 미리 정해진 시간 간격들로) 업데이트되어 디스플레이될 수 있다. 속도 및 궤적 정보를 결정하기 위한 예시적인 방법들 및 알고리즘들은 상술되어 있다. 추가 실시예들도 또한 후술되어 있다(예를 들어, 도 6의 예시적인 방법 참조).
예를 들어, 도 5a에는 이미지 디바이스의 속도에 대한 그래픽 표현(520)이 도시된다. 도 5a에 속도 다이얼로서 도시되어 있지만, 속도는 결정된 속도(예를 들어, “1mm/sec”), 속도 분류(예를 들어, “빠른(fast)” 또는 “느린(slow)”), 이미지(예를 들어, 빠른 속도를 나타내는 정지 신호), 비디오 또는 동영상(예를 들어, 빠르거나 느린 속도를 나타내는 깜박이는 조명) 또는 임의의 다른 적절한 형식과 같은 임의의 다른 적절한 형식으로 표현될 수 있다. 또한, 속도 정보는 의료 시술 동안에 실시간으로, 미리 결정된 시간 간격들로, 시술자의 작업들의 결과로서, 또는 임의의 다른 시간에 업데이트되어 디스플레이될 수 있다. 예를 들어, 도 5a의 속도 다이얼은 이미지 디바이스의 속도가 각각 증가하거나 감소함에 따라 오른쪽으로 또는 왼쪽으로 이동할 수도 있다. 도 5b에서, 이미지 디바이스의 궤적의 그래픽 표현(540)이 도시된다. 도 5b에서 “좋은(GOOD)” 또는 “나쁜(BAD)” 궤적의 이진 분류로서 도시되어 있지만, 궤적은 궤적 라인(예를 들어, 환자의 결장의 2차원 또는 3차원 표현의 연속 라인), 슬라이딩 스케일 또는 다이얼(예를 들어, 도 5a의 속도 다이얼과 유사한 스케일), 다른 분류들(예를 들어, “매우 좋은(VERY GOOD)”,“매우 불량(VERY POOR)” 또는 “평균(EVERAGE)”), 이미지(예를 들어, 불량한 궤적을 나타내는 정지 신호), 비디오 또는 동영상(예를 들어, 좋은 궤적 또는 나쁜 궤적을 나타내는 깜박이는 조명) 또는 임의의 다른 적절한 형식과 같은 임의의 다른 적절한 형식으로 표현될 수 있다. 또한, 궤적 표현은 의료 시술 동안에 실시간으로, 미리 결정된 시간 간격들로, 또는 시술자의 작업들의 결과로서 업데이트될 수 있다. 예를 들어, 의료 시술 동안에 시술자의 궤적이 허용할 수 없는 수준에서 허용할 수 있는 수준으로 변화되면 도 5b에서 “좋은(GOOD)”이라는 단어가“나쁜(BAD)”이라는 단어 대신에 강조 표시될 수 있다.
도 6은 본 개시내용의 실시예들에 따라, 비디오의 프레임들을 처리하기 위한 예시적인 시스템을 도시한다. 도 6에 도시된 바와 같이, 시스템(600)은 이미지 디바이스(610), 맥락 평가기(620), 데이터 표현 생성기(630), 검사 품질 평가기(640) 및 디스플레이 디바이스(680)를 포함할 수 있다. 이미지 디바이스(610)는 도 1과 관련하여 상술한 이미지 디바이스(140)와 동일하거나 유사할 수 있고(예를 들어, 내시경 기계, X-선 기계, CT 기계, MRI 기계, 또는 임의의 다른 의료 이미징 디바이스), 디스플레이 디바이스(680)는 또한 도 1과 관련하여 상술한 디스플레이 디바이스(180)와 동일하거나 유사할 수 있다(예를 들어, LCD, LED 또는 OLED 디스플레이, 증강 현실 디스플레이, 가상 현실 디스플레이 또는 임의의 다른 적절한 디스플레이 디바이스). 이미지 디바이스(610)는 비디오 또는 실시간 비디오를 캡처하도록 구성될 수 있으며, 일부 실시예들에서는 상술한 바와 같이 의료 시술(예를 들어, 내시경 시술) 동안에 캡처될 수 있다. 이미지 디바이스(610)는 캡처된 실시간 비디오를 맥락 평가기(620)에 공급하도록 구성될 수 있다.
맥락 평가기(620)는 상술한 바와 같이, 하나 이상의 기계 학습 네트워크들, 알고리즘들, 기존 알고리즘들, 또는 이들 둘의 조합을 구현하는 하나 이상의 프로세서들을 포함할 수 있다. 맥락 평가기(620)는 캡처된 비디오의 하나 이상의 프레임들에서 이미지 디바이스(610)와 시술자의 상호작용 유형을 식별하도록 구성될 수 있다. 예를 들어, 상황 평가기(620)는 위의 설명에 따라 부위 상에 물 분무하기, 부위 확대하기, 병변 조사하기, 병변 제거하기, 생체 검사 수행하기, 이미징 디바이스 삽입 수행하기, 이미징 디바이스 회수 수행하기 또는 임의의 다른 작업과 같이, 프레임(들)에서의 시술자의 작업에 기초하여 캡처된 비디오의 프레임 또는 프레임들의 그룹을 분류할 수 있다. 맥락 평가기(620)는 식별된 상호작용에 기초하여, 시술자가 분석을 위한 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용하고 있는지 여부를 결정하도록 추가로 구성될 수 있다. 시술자가 부위들을 노출하고 있는 것으로 식별된 프레임(들)은 시스템(600)에 의해 추가로 처리될 수 있는 반면, 그렇게 식별되지 않은 프레임(들)은 시스템(600)에 의해 폐기되거나 무시될 수 있다. 예를 들어, “조사” 또는“탐색”으로 분류된 프레임들은 시술자가 분석을 위한 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용하고 있는 프레임들로 식별될 수 있지만 “분무” 또는 “제거”로 분류된 프레임들은 그렇지 않을 수 있다. 맥락 평가기(620)는 추가 처리를 위해 전자를 데이터 표현 생성기(630)에 공급할 수 있다.
데이터 표현 생성기(630)는 시술자가 분석을 위한 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용하고 있는 프레임들로서 맥락 평가기(620)에 의해 식별된 프레임들로부터 데이터 표현들을 생성하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 데이터 표현들은 위에서 논의한 바와 같이, 3차원 데이터, 2차원 데이터 또는 둘 다에 기초하여 생성될 수 있다. 데이터 표현 생성기(630)는 생성된 데이터 표현들의 적어도 일부를 종합하도록 추가로 구성될 수 있다. 일부 실시예들에서, 상술한 바와 같이, 종합이 보증되는지 여부를 결정하기 위해 거리 임계값 또는 다른 기준이 적용될 수 있다. 또한, 일부 실시예들에서는, 보증되지 않거나 필요하지 않은 경우 종합이 수행되지 않을 수 있다. 데이터 표현 생성기(630)는 이후 종합된(또는 종합되지 않은) 데이터 표현들을 검사 품질 평가기(640)에 공급할 수 있다.
검사 품질 평가기(640)는 시술자에 의해 검사되는 부위들의 검사 품질 수준을 결정하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 결정은 국부 또는 단기적 기준(예를 들어, 하나 이상의 특정 프레임들에서 검사되는 부위들을 분석함으로써), 전체 또는 장기적 기준(예를 들어, 전체 의료 시술 또는 그 일부 동안에 검사되는 부위들을 분석함으로써) 또는 둘 다에 기초하여 수행될 수 있다. 상술한 바와 같이, 검사 품질 수준은 시술자에 의해 검사되는 부위들과 모델 표면의 부위의 비율로부터 결정되는 노출 수준, 이미지 디바이스의 궤적, 이미지 디바이스의 속도, 및/또는 시스템(600)에서 이용 가능하거나 이에 의해 생성된 임의의 다른 정보와 같이, 시술자의 부위 검사의 품질과 연관된 정보에 기초하여 결정될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 검사 품질 평가기(640)는 이미지 디바이스의 궤적을 분석하기 위한 궤적 평가기(650), 이미지 디바이스의 속도를 분석하기 위한 속도 평가기(660), 및 시술자에 의해 검사되는 부위들을 모델 표면의 부위와 비교하는 노출 평가기(670)와 같이, 시술자의 검사 품질의 특정 특성들을 분석하기 위한 하나 이상의 컴퓨터-구현된 구성요소들을 포함할 수 있다. 그러나 검사 품질 평가기(640)는 이러한 구성요소들 중 임의의 하나 이상을 포함할 수 있다는 것을 이해해야 한다. 또한, 검사 품질 평가기(640)는 특정 응용 분야나 맥락에 따라, 도 6에 도시된 것 외에 시술자의 검사 품질의 다른 특정 특성들을 분석하기 위한 다른 구성요소들을 포함할 수 있다.
도 6에는 도시되지 않았지만, 시스템(600)은, 검사 품질 평가기(640)에 의해 계산된 검사 품질 수준 또는 값, 궤적 평가기(650)에 의해 계산된 궤적, 속도 평가기(660)에 의해 계산된 속도, 노출 평가기(670)에 의해 계산된 비율 또는 부위, 및/또는 임의의 다른 원하는 정보의 하나 이상의 그래픽 표현들을 포함하는 증강 정보로 이미지 디바이스(610)로부터의 비디오를 수정하도록 구성된 하나 이상의 프로세서들을 포함할 수 있는 하나 이상의 컴퓨팅 디바이스들(예를 들어, 컴퓨팅 디바이스(160))를 포함할 수 있다. 증강 비디오는 의료 시술 동안(즉, 의료 시술과 함께 실시간으로) 이미지 디바이스(610)의 시술자 및 다른 사용자들이 볼 수 있도록 디스플레이 디바이스(680)에 공급될 수 있다.
일부 실시예들에서, 검사 품질 수준은 하나 이상의 단기 검사 품질 수준들과 하나 이상의 장기 검사 품질 수준들의 조합으로 계산될 수 있다. 단기 검사 품질 수준은 현재 시술자에 의해 검사되고 있는 부위의 검사 품질 수준을 나타낼 수 있다. 장기 검사 품질 수준은 전체 의료 시술 또는 그 일부 동안에 시술자에 의해 이전에 검사되었던 부위들의 검사 품질 수준을 나타낼 수 있다. 단기 검사 품질 수준은, 이미지 디바이스의 궤적, 이미지 디바이스의 속도, 시술자에 의해 검사된 부위들과 모델 표면의 부위 사이의 비율, 및/또는 컴퓨팅 디바이스에 이용 가능하거나 이에 의해 생성된 임의의 다른 요인들 또는 정보를 계산하는 것과 같이, 상술한 검사 품질 수준과 동일하거나 유사한 방식으로 계산될 수 있다. 장기 검사 품질 수준은 두 개 이상의 단기 검사 품질 수준들의 조합일 수 있으며, 두 개 이상의 단기 검사 품질 수준들의 합계, 평균(average), 평균(mean), 중앙값, 모드, 분포 또는 임의의 다른 표현으로 계산될 수 있다.
도 7은 본 개시내용의 실시예들에 따라, 단기 및 장기 검사 품질 수준들을 결정하기 위한 예시적인 방법(700)을 도시한다. 예시적인 방법(700)은 적어도 하나의 프로세서(예를 들어, 도 1의 컴퓨팅 디바이스(160)의 적어도 하나의 프로세서 또는 도 2의 프로세서(들)(230))로 구현될 수 있다. 방법(700)은 비제한적인 예라는 것이 이해될 것이다. 도 7에 도시된 바와 같이, 단계(701)에서 새로운 프레임이 캡처되고(예를 들어, 도 1의 이미지 디바이스(140)에 의해) 적어도 하나의 프로세서에 의해 수신될 수 있다. 단계(703)에서, 적어도 하나의 프로세서는 프레임에서 이미지 디바이스(예를 들어, 도 1의 이미지 디바이스(140))와 시술자의 상호작용 유형을 식별하기 위해 맥락 평가를 수행할 수 있다. 예를 들어, 적어도 하나의 프로세서는, 위의 설명에 따라, 부위 상에 물 분무하기, 부위 확대하기, 병변 조사하기, 병변 제거하기, 생체 검사 수행하기, 이미지 디바이스 삽입 수행하기, 이미지 디바이스 회수 수행하기 또는 임의의 다른 작업과 같이, 시술자의 작업에 기초하여 캡처된 비디오의 프레임들을 분류할 수 있다.
단계(703)에서, 적어도 하나의 프로세서는 시술자가 식별된 작업(들)에 기초할 수 있는 프레임에서 부위들을 검사하기 위해 이미지 디바이스와 상호작용하고 있는지 여부를 결정할 수 있다. 단계(707)에서, 적어도 하나의 프로세서가 시술자가 프레임에서 부위들을 검사하기 위해 이미지 디바이스와 상호작용하고 있지 않다고 결정하면, 현재 프레임 및/또는 이전 프레임들에 대한 적어도 하나의 프로세서의 분석에 기초하여 통계 또는 다른 데이터가 생성될 수 있다. 예를 들어, 단계(725)에서, 결정된 통계 또는 데이터는, 디스플레이되거나 출력으로 제공되는 차트, 표, 또는 다른 그래픽 표현으로 나중에 제시될 수 있다. 도 7에 도시되지는 않았지만, 이러한 차트, 표 또는 다른 그래픽 표현은, 프레임들의 35%가 시술자가 한 부위에서 다른 부위로 이동한 프레임들로서 식별될 때 “35% 탐색”, 그리고 프레임들의 20%가 시술자가 용종 또는 다른 관심 대상을 제거한 프레임들로 식별될 때 “20% 제거”와 같이, 결정들에 대응하는 프레임들의 백분율을 나타내는 라벨들 및/또는 숫자들과 함께 시술자에게 제시될 수 있다. 그러나 일부 실시예들에서는 통계나 데이터가 출력되지 않을 수도 있다. 어느 경우든, 프레임의 처리는 단계(725)에서 종료될 수 있다. 그러나 적어도 하나의 프로세서가 시술자가 프레임에서 부위들을 검사하기 위해 이미지 디바이스와 상호작용하고 있다고 결정하면, 프레임의 처리는 단계들(709 및 717)에서 계속될 수 있다.
단계(709)에서, 적어도 하나의 프로세서는 프레임의 단기 노출 평가를 수행할 수 있다. 단기 노출 평가는 프레임에서 표면에 대응하는 단기 데이터 표현(711)을 생성하는 것을 포함할 수 있으며, 이는 위에서 논의된 바와 같이, 3차원 데이터, 2차원 데이터, 또는 둘 다에 기초할 수 있다. 단기 노출 평가는 또한 프레임에서 표면에 대한 시술자의 검사 품질에 대응하는 단기 검사 품질 수준(713)을 결정하는 것을 포함할 수 있다. 단기 검사 품질 수준은 단기 데이터 표현의 부위들과 모델 표면의 부위 사이의 비율을 계산하는 것과 같이, 단기 데이터 표현을 분석하여 결정될 수 있다. 본 개시내용으로부터 이해되는 바와 같이, 프레임에서 표면의 단기 노출 수준을 결정하기 위한 다른 방법들이 사용될 수 있다. 도 7의 예시적인 방법에 도시된 바와 같이, 단기 검사 품질 수준은 단기 궤적/속도(715)와 같이, 프레임이 캡처된 당시의 이미지 디바이스와 연관된 정보를 계산하여 결정될 수 있다. 결정된 단기 검사 품질 수준(713) 및 단기 궤적/속도(715)는 단계(725)에서 출력될 수 있다. 도 7에 도시되지 않았지만, 결정된 단기 검사 품질 수준(713) 및 단기 궤적/속도(715)는 디스플레이 디바이스를 사용하여 또는 임의의 다른 수단을 통해 시술자 및/또는 다른 사용자들에게 제시될 수 있다.
단계(717)에서, 적어도 하나의 프로세서는 프레임의 장기 노출 평가를 수행할 수 있다. 장기 노출 평가는 단기 데이터 표현(711)을 이전에 생성된 다른 데이터 표현들과 함께 장기 데이터 표현(719)으로 종합하는 것을 포함할 수 있으며, 이는 위에서 논의한 바와 같이, 3차원 데이터, 2차원 데이터 또는 둘 다에 기초할 수 있다. 장기 노출 평가는 또한 전체 의료 시술 또는 그 일부 동안 시술자의 표면들의 검사 품질에 대응하는 장기 추정 품질 수준(721)을 결정하는 것을 포함할 수 있다. 장기 추정 품질 수준은 장기 데이터 표현의 부위들과 모델 표면의 부위 사이의 비율을 계산하는 것과 같이, 장기 데이터 표현을 분석하여 결정될 수 있다. 본 개시내용으로부터 이해되는 바와 같이, 전체 의료 시술 또는 그 일부 동안 표면들의 장기 노출 수준을 결정하는 다른 방법들이 사용될 수 있다. 도 7에 추가로 도시된 바와 같이, 장기 궤적/속도(723)와 같이, 전체 의료 시술 또는 그 일부 동안에 이미지 디바이스와 연관된 정보를 계산하여 장기 검사 품질 수준이 결정될 수 있다. 결정된 장기 검사 품질 수준(721) 및 장기 궤적/속도(723)는 단계(725)에서 출력으로서 디스플레이되거나 제공될 수 있다. 도 7에 도시되지 않았지만, 결정된 장기 검사 품질 수준(721) 및 장기 궤적/속도(723)는 디스플레이 디바이스를 사용하여 또는 임의의 다른 수단을 통해 시술자 및/또는 다른 사용자들에게 제시될 수 있다.
도 8은 본 개시내용의 실시예들에 따라 단기 및 장기 데이터 표현들을 생성하기 위한 예시적인 방법(800)을 도시한다. 방법(800)은 시술자가 분석을 위한 환자의 장기 부위들을 검사하기 위해 이미지 디바이스와 상호작용하고 있는 프레임들로 식별된 프레임들에 대해 수행될 수 있다(예를 들어, 도 7의 방법(700)과 관련하여 기술된 바와 같음). 방법(800)과 동시에 또는 그에 따라, 본 명세서에 기술된 바와 같이, 단기 및 장기 검사 품질 수준들을 각각 결정하기 위해 단기 및 장기 평가들이 수행될 수 있다. 예시적인 방법(800)은 하나 이상의 프로세서들(예를 들어, 도 1의 컴퓨팅 디바이스(160)의 적어도 하나의 프로세서 또는 도 2의 프로세서(들)(230))로 구현될 수 있다. 도 8은 비제한적인 예이며, 본 명세서에 도시되고 기술된 단계들을 추가, 제거, 수정 및/또는 재정렬하는 것을 포함하여 방법(800)에 대한 수정들이 이루어질 수 있다는 것이 이해될 것이다.
도 8에 도시된 바와 같이, 단계(810)에서, 새로운 프레임이 적어도 하나의 프로세서(예를 들어, 도 1의 컴퓨팅 디바이스(160)의 적어도 하나의 프로세서 또는 도 2의 프로세서(들)(230))에 의해 수신될 수 있다. 단계(820)에서, 하나 이상의 이전에 캡처된 프레임들은 선택적으로 단계(830)의 처리를 위해 적어도 하나의 프로세서에 의해 수신될 수도 있다. 이전에 캡처된 프레임들은 예를 들어 메모리, 데이터베이스 또는 버퍼로부터 저장되고 검색될 수 있다. 그러나 일부 실시예들에서는 이전에 캡처된 프레임들을 새롭게 캡처된 프레임과 함께 처리하지 않고 프레임 단위로 처리가 수행될 수 있다. 단계(830)에서, 단기 데이터 표현(예를 들어, 2차원 데이터, 3차원 데이터 또는 둘 모두를 사용하여)이 새롭게 캡처된 프레임에 기초하고 선택적으로 하나 이상의 이전에 캡처된 프레임들에 기초하여 생성될 수 있다. 위에서 논의된 바와 같이, 데이터 표현은 깊이, 자세 및 가장자리들과 같은 프레임의 뷰 내부 및 주변의 공간 특성들을 계산함으로써 생성될 수 있다. 예를 들어, 단기 데이터 표현은 연속(또는 비연속) 이미지들의 세트와 그 깊이, 연속(또는 비연속) 프레임들의 각 쌍 사이의 자세, 및 단기 데이터 표현과 연관된 부위의 표면 또는 3차원 점구름을 포함할 수 있다. 알 수 있는 바와 같이, 특정 응용 분야 및 맥락에 따라, 추가적인 데이터, 더 적은 데이터 또는 상이한 데이터가 단기 데이터 표현의 일부일 수 있다.
단계(840)에서, 적어도 하나의 프로세서는 장기 데이터 표현과 연관된 데이터를 선택적으로 검색할 수 있다. 장기 데이터 표현과 연관된 데이터는 메모리, 데이터베이스 또는 임의의 다른 정보원으로부터 검색될 수 있다. 그러나 일부 실시예들에서, 캡처된 프레임이 데이터 표현이 생성되는 제1 프레임인 경우와 같이, 이전에 저장된 장기 데이터 표현에 속하는 데이터가 검색되지 않을 수 있다. 또한, 일부 실시예들에서, 다수의 데이터 표현들은 장기 데이터 표현으로 종합될 필요가 없으며 오히려 단일 데이터 표현들로 생성되어 저장될 수 있다. 단계(850)에서, 생성된 단기 데이터 표현과 검색된 장기 데이터 표현이 종합되어 새로운 연속적인 장기 데이터 표현을 형성할 수 있다. 위에서 논의한 바와 같이, 이는 두 개의 데이터 표현들에서 겹치는 영역들을 감지하는 것 및/또는 종합이 보증되는지 여부를 결정하기 위해 거리 임계값 또는 다른 기준을 적용하는 것을 포함할 수 있다. 또한, 단계들(840과 850) 사이의 이중 화살표로 표시된 바와 같이, 새롭게 생성된 장기 데이터 표현은 방법(800)의 후속 반복에 사용되도록 이전에 검색된 장기 데이터 표현을 대체하기 위해 (예를 들어, 메모리 또는 데이터베이스에) 저장될 수 있다. 예를 들어, 위의 설명에 따라, 장기 데이터 표현은 이미지들의 희소 세트와 이미지의 깊이, 프레임들의 쌍 사이의 자세, 및 장기 데이터 표현과 연관된 부위의 표면 또는 3차원 점구름을 포함할 수 있다. 알 수 있는 바와 같이, 특정 응용 분야 및 맥락에 따라, 추가적인 데이터, 더 적은 데이터 또는 상이한 데이터가 장기 데이터 표현의 일부일 수 있다.
단계(860)에서, 선택적인 후처리 단계들이 종합된 데이터 표현에 대해 수행될 수 있다. 예를 들어, 보간 또는 채움 알고리즘이 적용되어 종합된 데이터 표현에서 누락되거나 손상된 정보를 해결할 수 있다. 왜곡 감소, 잡음 감소, 형상 개선 및/또는 다른 개선 단계들과 같은 다른 적절한 후처리 단계들이 단독으로 또는 조합하여 적용될 수 있다. 또한, 이러한 단계들이 도 8에서 종합 후에 발생하는 것으로 도시되어 있지만, 개선 단계들은 종합 전과 후에 모두 수행될 수도 있거나, 종합 전에만 수행될 수 있거나, 개선 단계들이 모두 수행되지 않을 수도 있다. 또한 새롭게 생성된 장기 데이터 표현을 저장하기 전에 후처리 단계들이 수행될 수도 있다. 단계(870)에서, 적어도 하나의 프로세서는 종합된 데이터 표현(또는 종합이 없는 단일 데이터 표현)과 같은 정보를 출력할 수 있다. 본 명세서에 개시된 바와 같이, 종합된 데이터 표현은 검사 품질 수준 또는 값을 결정하기 위한 다른 프로세스들에 의해 사용될 수 있다.
도 9는 본 개시내용의 실시예들에 따라, 단기 및 장기 데이터 표현들로부터 장기 검사 품질 수준 및/또는 다른 정보를 결정하기 위한 예시적인 방법(900)을 도시한다. 방법(900)은 단기 및 장기 데이터 표현들의 생성과 동시에 또는 그 후에 수행될 수 있다(예를 들어, 도 8의 방법(800)과 관련하여 상술한 바와 같이). 예시적인 방법(900)은 하나 이상의 프로세서들(예를 들어, 도 1의 컴퓨팅 디바이스(160)의 적어도 하나의 프로세서 또는 도 2의 프로세서(들)(230))로 구현될 수 있다. 도 9는 비제한적인 예이며, 본 명세서에 도시되고 기술된 단계들을 추가, 제거, 수정 및/또는 재정렬하는 것을 포함하여 방법(900)에 대한 수정들이 이루어질 수 있다는 것이 이해될 것이다.
도 9에 도시된 바와 같이, 단계(910)에서, 단기 데이터 표현이 생성될 수 있으며(예를 들어, 깊이, 자세 및 가장자리들과 같은 프레임의 뷰 내부 및 주변의 공간 특성들을 계산함으로써) 및/또는 검색될 수 있다(예를 들어, 메모리, 데이터베이스 또는 다른 정보원으로부터). 단계(920)에서, 장기 데이터 표현이 생성될 수 있으며(예를 들어, 깊이, 자세 및 가장자리들과 같은 프레임의 뷰 내부 및 주변의 공간 특성들을 계산함으로써) 및/또는 검색될 수 있다(예를 들어, 메모리, 데이터베이스 또는 다른 정보원으로부터). 방법(900)의 예시적인 실시예에서, 단기 데이터 표현(910) 및 장기 데이터 표현(920)은 시술자에 의해 검사되는 부위들의 2차원 정보와 3차원 정보 모두를 포함할 수 있다. 그러나, 본 명세서에 개시된 바와 같이, 데이터 표현들은 2차원 정보만, 3차원 정보만, 또는 공간 및/또는 시각적 정보의 임의의 조합이나 유형을 포함할 수 있다.
단계(930)에서, 단기 데이터 표현(910) 및 장기 데이터 표현(920)에 속하는 2차원 정보가 분석되어 새로운 연속적인 장기 데이터 표현을 생성할 수 있다. 2차원 데이터 분석은 단기 데이터 표현(910) 및 장기 데이터 표현(920)과 연관된 이전에 캡처된 프레임들을 검색하는 것과 같은 임의의 적절한 알고리즘을 사용하여 수행될 수 있다. 이전에 캡처된 프레임들의 대응점들 및/또는 특징들이 매칭되어 중복을 식별할 수 있다. 검색된 프레임들은 분석을 용이하게 하기 위해 변환되거나 수정될 수 있으며, 단기 및 장기 데이터 표현들의 구별 가능한 특징점들에 관한 것을 포함하여 최상의 매칭을 결정하기 위해 상관관계 또는 다른 메트릭이 계산될 수 있다.
단계(940)에서, 단기 데이터 표현(910) 및 장기 데이터 표현(920)에 속하는 3차원 정보가 또한 분석되어 새로운 연속적인 장기 데이터 표현을 생성할 수 있다. 3차원 데이터 분석은 단기 및 장기 데이터 표현들을 정렬하기 위해 임의의 적절한 알고리즘을 사용하여 수행될 수 있다. 예를 들어, 3차원 분석은 반복 최근접점(ICP) 알고리즘, 견고한 점 매칭(RMP: Robust Point Matching) 알고리즘, 커널 상관관계(KC: Kernel Correlation) 알고리즘, 코히런트 점 드리프트(CPD: Coherent Point Drift) 알고리즘, 대응 공간 정렬(SCS(Sorting the Correspondence Space) 알고리즘, 베이지안 코히런트 점 드리프트(BCPD: Bayesian Coherent Point Drift) 알고리즘 및/또는 이들의 조합을 포함하지만 이에 제한되지 않는 둘 이상의 점구름들을 정렬하는 공간 변환을 식별하기 위해 점구름 등록 알고리즘을 활용하여 수행될 수 있다. 또 다른 예를 들면, 3차원 분석은 모션으로부터의 구조(SfM: Structure from Motion) 알고리즘, 비행-시간(Time-of-Flight) 알고리즘, 입체 삼각측량, 광시트 삼각측량, 구조광, 간섭계, 코딩된 조리개 및/또는 이들의 조합을 포함하지만 이에 제한되지 않는, 2차원 이미지 프레임들로부터 3차원 구조들을 추정하기 위해 거리 이미징 알고리즘을 활용하여 수행될 수 있다. 추정된 3차원 구조들의 대응점들 및/또는 특징들이 매칭되어 중첩을 식별할 수 있다. 추정된 3차원 구조들은 분석을 용이하게 하기 위해 변환되거나 수정될 수 있으며, 최상의 매칭을 결정하기 위해 상관관계 또는 다른 메트릭이 계산될 수 있다.
단계(950)에서, 블록(930)에서 2차원 데이터를 분석하고 블록(940)에서 3차원 데이터를 분석하여 새로운 장기 데이터 표현이 생성될 수 있다. 예를 들어, 하나 이상의 3차원 정렬 알고리즘들(예를 들어, ICP, RMP, KC, CPD, SCS 및/또는 BCPD 알고리즘들)은 각각의 3차원 데이터(예를 들어, 3차원 점구름들)를 사용하여 단기 데이터 표현과 장기 데이터 표현 사이의 대략적인 정렬을 먼저 획득하기 위해 활용될 수 있다. 다음으로, 하나 이상의 2차원 정렬 알고리즘들(예를 들어, 키포인트 매칭 및/또는 이미지 등록 알고리즘들)은 각각의 2차원 데이터(예를 들어, 이미지 프레임들)를 사용하여 단기 데이터 표현과 장기 데이터 표현 사이의 정밀한 정렬을 수행할 수 있다. 3차원 및/또는 2차원 정보를 활용하는 다른 접근법들도 또한 사용될 수 있으며, 이는 당업자가 본 개시내용을 읽으면 이해할 수 있는 것이다. 예를 들어, 대안적인 접근법은 3차원 및/또는 2차원 데이터에 기초하여 정렬 오류를 반복적으로 최소화하는 것을 포함할 수 있다. 따라서, 일부 실시예들에서, 2차원 정보(예를 들어, 이미지 검색을 통해)와 3차원 정보(예를 들어, 점구름 등록을 통해)를 조합함으로써, 단기 데이터에서 장기 데이터로 병합을 통해 새로운 장기 데이터 표현의 정확도가 최대화된다. 또한, 단계(960)에서, 새로운 장기 데이터 표현(950)을 고려하여, 시술자의 검사 품질과 연관된 정보가 계산될 수 있다. 도 9에 도시된 바와 같이, 예를 들어, 장기 검사 품질 수준, 장기 궤적 및/또는 장기 속도 결정이 계산될 수 있다. 예를 들어, 새로운 장기 데이터 표현(950)의 전체 부위는 장기 검사 품질 수준을 결정하기 위해 모델 표면과 비교될 수 있다. 또한, 단기 데이터 표현(910) 및 장기 데이터 표현(920)을 캡처하는 동안의 카메라 궤적이 계산되고(이전에 계산되지 않은 경우) 조합되어 새로운 장기 데이터 표현(950)에 대한 장기 궤적에 도달할 수 있다. 유사하게, 단기 데이터 표현(910) 및 장기 데이터 표현(920)을 캡처하는 동안 카메라 속도가 계산되고(이전에 계산되지 않은 경우) 조합되어 새로운 장기 데이터 표현(950)에 대한 장기 속도에 도달할 수 있다. 단계(970)에서, 장기 검사 품질 수준, 궤적, 속도, 및/또는 단계(960)에서 계산된 새로운 장기 데이터 표현에 대한 시술자의 검사 품질을 추정하는 것과 관련된 임의의 다른 정보와 같은 정보가 출력될 수 있다.
결장 표면에 대한 3차원 표현을 구축할 때, 각각의 3차원 점은 다음 정보 중 하나 이상과 함께 기록될 수 있다: 관찰의 최상 및 평균 방향; 카메라로부터 가장 가까운 및 평균 거리; 노출 시간; 및 노출 속도. 예를 들어, 점막 표면의 일부 부위들이 멀리서만 관찰되는 경우도 있었다. 따라서, 일부 실시예들에서, 이진 마스크는 노출 관찰을 위해 생성될 뿐만 아니라(후술되는 도 10과 같이) 각 픽셀 또는 부위에 대해 색상이 매우 높은 품질(예를 들어, 근처, 표면에 정상, 느린 속도)에서 0 품질(예를 들어, 내시경 시야에 전혀 없음)까지 관찰 품질과 연관되는 히트 맵도 생성된다. 일부 실시예들에서, 히트 맵은 3차원 모델 또는 평평한 2차원 투영에서 계산되거나 시각화될 수 있다(후술되는 도 10과 같이).
도 10은 개시된 실시예들에 따라, 예시적인 장기 데이터 표현(1000)을 도시한다. 도 10에 도시된 바와 같이, 예시적인 장기 데이터 표현(1000)은 시술 동안 검사되는 환자의 기관, 이 경우에는 결장의 원통형 투영으로 표현될 수 있다. 그러나 장기 데이터 표현은 검사되는 특정 기관이나 부위에 따라 다른 형상들로 표현될 수 있다. 또한, 이 예시를 위해 이미지로 표시되었지만, 장기 데이터 표현은 하나 이상의 이미지들, 깊이 데이터, 자세 데이터 및/또는 3차원 점구름 또는 표면 데이터와 같이 2차원 및/또는 3차원 여부에 관계없이 다양한 정보를 포함할 수 있음을 이해해야 한다. 도 10에 추가로 도시된 바와 같이, 장기 데이터 표현(1000)은 직장, 시그마, 하행 결장, 횡행 결장, 상행 결장 또는 맹장을 포함하는 결장의 상이한 부분들과 같은 다수의 해부학적 세그먼트들로 분리될 수 있다. 장기 데이터 표현(1000)은 도 10에 해부학적 구조와 유사한 회색조 부위들로서 도시되거나 시술자를 위한 디스플레이 디바이스(도시되지 않음) 상의 색상있는 부위들로 구현되는, 검사 동안 시술자에 의해 검사되는 부위들을 나타낼 수 있다. 반대로, 부위들(1020a, 1020b, 1020c, 1020d 및 1020e)과 같이 어두운 부위들은 시술자가 제대로 검사하지 않거나 전혀 검사하지 않은 부위들을 나타낼 수 있다. 추가로 도시된 바와 같이, 직장 세그먼트(1010a)와 시그마 세그먼트(1010b)에 걸쳐 있는 부위(1020a)로 예시된 바와 같이, 어두운 부위는 다중 해부학적 세그먼트들에 걸쳐 있을 수 있다. 따라서, 장기 데이터 표현(1000)은 전체 의료 시술 또는 그 일부 동안 시술자의 검사 품질 수준(또는 속도, 궤적 또는 노출과 같은 임의의 다른 속성)을 추적하는 데 사용될 수 있다.
도 11은 본 개시내용의 실시예들에 따라, 의료 시술 동안에 캡처된 비디오를 처리하기 위한 예시적인 방법(1100)을 도시한다. 예시적인 방법(1100)은 적어도 하나의 프로세서(예를 들어, 도 1의 컴퓨팅 디바이스(160)의 적어도 하나의 프로세서 또는 도 2의 프로세서(들)(230))의 도움으로 구현될 수 있다. 도 11은 비제한적인 예이며, 본 명세서에 도시되고 기술된 단계들을 추가, 제거, 수정 및/또는 재정렬하는 것을 포함하여 방법(1100)에 대한 수정이 이루어질 수 있다는 것이 이해될 것이다.
도 11에 도시된 바와 같이, 단계(1110)에서, 적어도 하나의 프로세서는 환자에 대한 의료 시술 동안에 이미지 디바이스로부터 캡처된 실시간 비디오를 수신할 수 있으며, 실시간 비디오는 복수의 프레임들을 포함한다. 단계(1120)에서, 적어도 하나의 프로세서는 시술자가 분석을 위한 환자의 부위들을 검사하기 위해 이미지 디바이스와 상호작용하고 있는 프레임들을 식별하기 위해 복수의 프레임들을 분석할 수 있다. 본 명세서에 개시된 바와 같이, 시술자의 이미지 디바이스와의 상호작용 유형은 임의의 적절한 이미지 분류 알고리즘, 트레이닝된 신경망, 또는 이들 둘의 조합을 사용하여 프레임들을 분석하고 복수의 작업들 중 하나 이상으로 분류함으로써 결정될 수 있다. 단계(1130)에서, 적어도 하나의 프로세서는 식별된 프레임들로부터, 이미지 디바이스와 상호작용하는 시술자에 의해 검사되는 각각의 국소 부위의 데이터 표현을 생성할 수 있다. 본 명세서에 사용된 바와 같이, “국소 부위(local area)”는 현재 시술자에 의해 분석되고 있는 부위에 대응할 수 있다. 데이터 표현들은 깊이, 자세 및 가장자리들과 같은 프레임의 뷰 내부 및 주변의 공간 특성들을 계산하여 생성될 수 있다. 본 개시내용으로부터 이해될 수 있는 바와 같이, 데이터 표현들을 생성하기 위해 다른 시각적 속성들이 사용될 수 있다. 단계(1140)에서, 적어도 하나의 프로세서는 각 국소 부위의 데이터 표현들을 종합할 수 있다. 각 국소 부위의 데이터 표현들은 본 명세서에 기술된 바와 같이, 시술자에 의해 검사되는 부위들에서 서로 인접한 표현들을 결합함으로써 종합될 수 있다. 일부 실시예들에서, 2개 이상의 국소 부위들의 데이터 표현들이 종합되어 전체 의료 시술 또는 그 일부 동안 시술자에 의해 분석되는 부위들의 데이터 표현을 생성하여 장기 데이터 표현을 생성할 수 있다. 단계(1150)에서, 적어도 하나의 프로세서는 각 국소 부위에 대해 종합된 데이터 표현들을 이용하여, 시술자에 의해 검사되는 부분들에 대한 단기 검사 품질 수준을 결정할 수 있다. 단기 검사 품질 수준은, 예를 들어, 시술자에 의해 검사되는 국소 부위와 모델 표면 부위 사이의 비율, 이미지 디바이스의 궤적, 이미지 디바이스의 속도, 및/또는 이미지 디바이스에 이용 가능하고 그에 의해 생성되는 임의의 다른 정보를 계산하여 결정될 수 있다. 단계(1160)에서, 적어도 하나의 프로세서는 의료 시술 동안에 디스플레이 디바이스 상에, 시술자에 의해 검사되는 각 국소 부위에 대한 단기 검사 품질 수준을 나타내는 그래픽 표현을 제시할 수 있다. 결정된 검사 품질 수준은 백분율 값들, 분류 라벨들, 영숫자 문자들, 색상들, 이미지들, 비디오들, 그래프들 또는 임의의 다른 형식과 같은 임의의 원하는 형식으로 제시될 수 있다. 또한, 본 명세서에 개시된 바와 같이, 결정된 검사 품질 수준과 함께 다른 정보나 통계가 디스플레이될 수도 있다.
도 12a 및 도 12b는 개시된 실시예들에 따라, 검사 품질 수준들 및/또는 시술자의 네비게이션의 다른 속성들(예를 들어, 속도, 궤적 및/또는 노출)을 나타내기 위한 예시적인 그래픽 표현들을 도시한다. 도 12a 및 도 12b의 그래픽 표현들 또는 유사한 표현들은 본 명세서에 기술된 바와 같이, 각각의 검사 품질 수준 결정 또는 시술자의 네비게이션의 임의의 다른 속성의 결정 후에 업데이트되어 디스플레이를 위해 제시될 수 있다. 이러한 그래픽 표현들은 별도로 디스플레이되거나(예를 들어, 별도의 디스플레이 또는 출력 상에) 이미지 디바이스로부터 실시간 비디오와 오버레이되는 증강 정보로서 디스플레이될 수 있다(예를 들어, 디스플레이(180) 상에). 일부 실시예들에서, 검사 품질 수준, 궤적, 속도, 노출 및/또는 검사의 다른 속성들과 연관된 정보는 하나 이상의 그래픽 표현들의 일부로 디스플레이될 수 있다. 예를 들어, 검사 품질 수준의 그래픽 표현은 조합될 수 있고 및/또는 다른 결정된 정보(예를 들어, 속도 및/또는 궤적 정보)의 그래픽 표현을 포함할 수 있다. 도 12a 및 도 12b의 예시적인 정보는 의료 시술 동안에 검사 품질 수준, 궤적, 속도, 노출 및/또는 검사의 다른 속성들에 대한 피드백을 제공하기 위해 의료 시술 동안에 결정되고 제시될 수 있다. 또한, 검사 품질 수준 또는 임의의 다른 속성과 연관된 정보는 시술자의 작업들의 결과로 의료 시술 동안에 실시간으로(예를 들어, 미리 결정된 시간 간격들로) 업데이트되고 디스플레이될 수 있다.
도 12a에는 예를 들어, 링들로 배열된 일련의 섹션들을 포함하는 검사 품질 수준 및/또는 시술자의 네비게이션의 다른 속성들에 대한 예시적인 그래픽 표현(1200A)이 도시되어 있다. 링(1210)과 같은 링은 하나 이상의 섹션들(1212, 1214, 1216 및 1218)을 포함할 수 있다. 각 링은 하나 이상의 프레임들에서 뷰를 따라 상이한 깊이를 나타낼 수 있다. 예를 들어, 가장 안쪽 링(1210)은 이미지 디바이스로부터 가장 멀리 떨어진 프레임의 부위들을 나타낼 수 있는 반면, 가장 바깥쪽 링(1230)은 이미지 디바이스에 가장 가까운 프레임의 부위들을 나타낼 수 있다. 링들(1210, 1220 및 1230)이 동심 링들로 도시되어 있지만, 적절하게는 비동심 링들과 같은 다른 배열들이 사용될 수 있다. 또한, 링들의 각 섹션은 검사 품질 수준, 궤적, 속도, 노출 및/또는 각 섹션의 검사의 다른 속성들을 나타내는 상이한 색상들을 가질 수 있다. 예를 들어, 녹색 색상은 해당 섹션에 대응하는 표면의 검사 품질 수준(또는 임의의 다른 속성)이 높다는 것을 나타낼 수 있고, 적색 색상은 해당 섹션에 대응하는 표면의 검사 품질 수준(또는 임의의 다른 속성)이 낮다는 것을 나타낼 수 있다. 검사 품질 수준이 의료 시술 동안에 반복적으로 결정되므로 위에서 언급한 바와 같이, 디스플레이된 색상들은 환자 기관에 대한 시술자의 검사를 반영하도록 업데이트되고 변경될 수 있다. 일부 실시예들에서, 링의 각 섹션은 색상, 패턴, 형상 또는 기타 특성들을 포함하지만 이에 제한되지 않는 상이한 시각적 특성으로 표현될 수 있다.
도 12b에는 검사 품질 수준 및/또는 시술자 네비게이션의 다른 속성들을 반영하는 그래픽 표현의 다른 예가 제공된다. 이 예에서, 그래픽 표현은 도 12b에 도시된 바와 같이, 환자의 결장과 같은 검사 부위의 모델(1200B)에 기초한다. 모델(1200B)은 2차원, 3차원 또는 이 둘의 조합일 수 있다. 도시된 바와 같이, 모델(1200B)은 하나 이상의 섹션들을 포함하는 것으로 표현될 수 있다. 결장의 섹션들(1240, 1242 또는 1244)과 같은 각 섹션은 의료 시술 동안에 시술자에 의해 검사되는 하나 이상의 표면들을 나타낼 수 있다. 각 섹션에는 검사 품질 수준, 궤적, 속도, 노출 및/또는 각 섹션의 다른 검사 속성을 나타내는 상이한 색상들이 있을 수 있다. 도 12a에서와 같이, 예를 들어, 녹색 색상은 해당 섹션에 대응하는 표면의 검사 품질 수준(또는 임의의 다른 속성)이 높다는 것을 나타낼 수 있고, 적색 색상은 해당 섹션에 대응하는 표면의 검사 품질 수준(또는 임의의 다른 속성)이 낮다는 것을 나타낼 수 있다. 색상들은 위에서 언급한 바와 같이, 의료 시술 동안에 업데이트 및/또는 변경될 수 있다. 검사 품질 수준들을 나타내기 위해 다른 그래픽 표현들이 사용될 수 있고 도 12a 및 12b의 예들은 본 개시내용의 범위를 제한하지 않는다는 것이 이해되어야 한다.
도 13a, 도 13b 및 도 13c는 개시된 실시예들에 따라, 검사 품질 수준들 및/또는 시술자의 네비게이션의 다른 속성들(예를 들어, 속도, 궤적 또는 노출)을 나타내기 위한 예시적인 그래픽 표현을 도시한다. 도시된 바와 같이, 도 13a 내지 도 13c의 예시적인 그래픽 표현들은 비디오 프레임에 정보를 수정하거나 오버레이들로 제공된다. 이러한 그래픽 표현들은 의료 시술 동안에 검사 품질 수준 궤적, 속도, 노출 및/또는 다른 검사 속성들에 대한 피드백을 시술자에게 제공하기 위해 의료 시술 동안에 업데이트되어 디스플레이(예를 들어, 디스플레이(180) 상에) 제공될 수 있다. 또한, 도 13a 및 도 13c의 예시적인 정보는 의료 시술 동안에 실시간으로 시술자의 작업들의 결과로 업데이트될 수 있다.
예를 들어, 도 13a는 도 12a의 그래픽 표현과 유사하게, 3개의 링들로 배열된 일련의 섹션들을 포함하는 시술자의 네비게이션의 검사 품질 수준 및/또는 다른 속성들을 나타내기 위한 예시적인 그래픽 표현(1310)을 도시한다. 도 12a와 마찬가지로, 각각의 링은 도 13a에 도시된 이미지 프레임의 뷰를 따라 상이한 깊이를 나타낼 수 있다. 예를 들어, 가장 안쪽 링은 이미지 프레임 내의 이미지 디바이스로부터 가장 멀리 떨어진 프레임의 부위들을 나타낼 수 있는 반면, 가장 바깥쪽 링은 이미지 디바이스에 가장 가까운 프레임의 부위들을 나타낼 수 있다. 또한, 위의 설명에 따라, 링들의 각 섹션은 검사 품질 수준, 궤적, 속도, 노출 및/또는 각 섹션의 다른 검사 속성을 나타내는 상이한 색상들을 가질 수 있다. 예를 들어, 녹색 색상은 해당 섹션에 대응하는 표면의 검사 품질 수준(또는 임의의 다른 속성)이 높다는 것을 나타낼 수 있고, 적색 색상은 해당 섹션에 대응하는 표면의 검사 품질 수준(또는 임의의 다른 속성)이 낮다는 것을 나타낼 수 있다. 검사 품질 수준은 의료 시술 동안에 반복적으로 결정되므로, 위에서 논의한 바와 같이, 디스플레이된 색상들은 환자 기관에 대한 시술자의 검사를 반영하도록 업데이트되고 변경될 수 있다.
도 13b에는 검사 품질 수준 및/또는 이미지 프레임 위에 오버레이되는 시술자의 네비게이션의 다른 속성들을 반영하는 그래픽 표현의 또 다른 예가 제공된다. 이 예에서, 그래픽 표현은 의료 시술 동안에 시술자에 의해 취해진 궤적에 기초할 수 있지만, 그래픽 표현은 시술자의 네비게이션의 다른 요인들 또는 속성들에 기초할 수 있다. 도 13b에 도시된 바와 같이, 그래픽 표현은 검사 품질 수준, 궤적, 속도, 노출 및/또는 해당 위치의 다른 속성들을 나타낼 수 있는 다양한 색상들의 라인일 수 있다. 예를 들어, 라인 세그먼트(1320)는 검사의 높은 검사 품질 수준(또는 임의의 다른 속성)을 나타내기 위해 녹색일 수 있다. 마찬가지로, 라인 세그먼트(1330)는 내비게이션의 낮은 검사 품질 수준(또는 임의의 다른 속성)을 나타내기 위해 적색일 수 있다. 또한, 연속적인 라인으로 도시되었으나, 점들, 화살표들, 간헐적인 라인들, 아이콘들, 문자들(예를 들어, “좋은(GOOD)” 또는 “나쁜(BAD)”) 또는 임의의 다른 시각적 표현들과 같이, 임의의 다른 그래픽 표현들이 사용될 수 있다. 위에서 언급한 바와 같이, 의료 시술 동안에 색상들이 업데이트 및/또는 변경될 수 있다.
도 13c는 검사 품질 수준 및/또는 이미지 프레임 위에 오버레이되는 시술자의 내비게이션의 다른 속성들을 반영하는 또 다른 예시적인 그래픽 표현을 도시한다. 이 예에서, 그래픽 표현은 시술자가 제대로 검사하지 않았거나 완전히 놓쳤을 수 있는 환자 기관의 특정 부위에 주의를 환기시키는 데 사용될 수 있다. 도 13c에 도시된 바와 같이, 아이콘(1340)과 같은 이미지는 관심 부위를 가리키는데 사용될 수 있다. 일부 실시예들에서, 아이콘(1340)은 다른 그래픽 표현(예를 들어, 도 13a의 그래픽 표현들(1310) 또는 도 13b의 그래픽 표현들(1320/1330))과 동시에 디스플레이될 수 있거나, 그래픽 표현들이 서로 번갈아 나올 수 있다(예를 들어, 시간, 관심 부위로부터의 거리에 기초하여, 또는 버튼 누르기와 같은 시술자 작업의 결과로서 또는 설정 변경을 통해). 도 13c의 아이콘(1340)이 슬래시 있는 눈으로 도시되어 있지만, 그 부위에 관심을 끌기 위해, 단어들(예를 들어, “놓친 부위(MISSED AREA)”), 형상(예를 들어, 화살표), 다른 아이콘들, 또는 다른 그래픽 표현이나 아이콘과 같은 임의의 다른 시각적 표현이 사용될 수 있다는 것을 이해해야 한다. 아이콘 및/또는 아이콘의 임의의 시각적 속성들(예를 들어, 색상 또는 크기)은 위에 언급된 바와 같이, 의료 시술 동안에 업데이트되고 변경될 수 있다. 검사 품질 수준들 및/또는 임의의 다른 속성을 나타내기 위해 다른 그래픽 표현들이 사용될 수 있고 도 13a 내지 도 13c의 예들은 본 개시내용의 범위를 제한하지 않는다는 것이 이해되어야 한다.
상술한 도면들의 다이어그램들 및 구성요소들은 본 개시내용의 다양한 예시적인 실시예들에 따른 시스템들, 방법들 및 컴퓨터 하드웨어 또는 소프트웨어 제품들의 가능한 구현들의 아키텍처, 기능 및 동작을 예시한다. 예를 들어, 흐름도 또는 다이어그램의 각 블록은 지정된 논리 기능들을 구현하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 일부 대안적인 구현들에서, 블록에 표시된 기능들은 도면들에 표시된 순서와 다르게 발생할 수 있다는 것도 이해해야 한다. 예를 들면, 연속적으로 도시된 두 개의 블록들 또는 단계들은 실질적으로 동시에 실행되거나 구현될 수 있거나, 또는 두 개의 블록들 또는 단계들은 관련된 기능에 따라, 때때로 역순으로 실행될 수 있다. 또한, 일부 블록들이나 단계들이 생략될 수도 있다. 또한 다이어그램들의 각 블록이나 단계, 그리고 블록들이나 단계들의 조합은 지정된 기능들이나 작동들을 수행하는 특수 목적의 하드웨어-기반 시스템들에 의해, 또는 특수 목적의 하드웨어와 컴퓨터 명령들의 조합들에 의해 구현될 수 있다는 점도 이해해야 한다. 컴퓨터 프로그램 제품들(예를 들어, 소프트웨어 또는 프로그램 명령들)도 또한 기술된 실시예들 및 예시된 예들에 기초하여 구현될 수 있다.
상술한 시스템들 및 방법들은 다양한 방식들로 변경될 수 있으며, 상이한 특징들이 상이한 방식들로 조합될 수 있다는 것이 이해되어야 한다. 특히, 실시예 또는 구현에서 위에 도시된 모든 특징들이 모든 실시예 또는 구현에서 필요한 것은 아니다. 위의 특징들과 구현들의 추가 조합들도 본 명세서에 개시된 실시예들 또는 구현들의 범위 내에 있는 것으로 간주된다.
특정 실시예들 및 구현들의 특징들이 본 명세서에 기술되고 예시되었지만, 수정들, 대체들, 변경들 및 등가물들은 당업자에게 명백할 것이다. 따라서, 첨부된 청구범위는 개시된 실시예들 및 예시된 구현예들의 특징들의 범위 내에 속하는 그러한 모든 수정들 및 변경들을 포괄하도록 의도된다는 것이 이해되어야 한다. 또한, 본 명세서에 기술된 실시예들은 제한이 아닌 단지 예의 방식으로 제시되었으며, 형태 및 세부사항들에서 다양한 변경들이 이루어질 수 있다는 것을 이해해야 한다. 본 명세서에 기술된 시스템들 및/또는 방법들의 임의의 부분은 상호 배타적인 조합들을 제외하고, 임의의 조합으로 구현될 수 있다. 예를 들어, 본 명세서에 기술된 구현들은 기술된 상이한 실시예들의 기능들, 구성요소들 및/또는 특징들의 다양한 조합들 및/또는 하위 조합들을 포함할 수 있다.
더욱이, 예시적인 실시예들이 본 명세서에 기술되었지만, 본 개시내용의 범위는 본 명세서에 개시된 실시예들에 기초하여 등가 요소들, 수정들, 생략들, 조합들(예를 들어, 다양한 실시예들에 걸친 양태들의), 적응들 또는 변경들을 갖는 임의의 및 모든 실시예들을 포함한다. 또한, 청구범위의 요소들은 청구범위에 사용된 언어에 기초하여 광범위하게 해석되어야 하며, 본 명세서에 기술된 예들 또는 본 출원의 진행 중의 예들로 제한되지 않는다. 대신, 이러한 예들은 비배타적인 것으로 해석되어야 한다. 따라서, 본 명세서의 명세 및 예들은 단지 예시적인 것으로 간주되며, 실제 범위 및 정신은 다음 청구범위 및 그 등가물의 전체 범위에 의해 표시된다.
Claims (40)
- 의료 시술 동안에 캡처된 비디오를 처리하기 위한 컴퓨터-구현 시스템에 있어서:
적어도 하나의 프로세서를 포함하고, 상기 프로세서는 환자에 대해 수행되는 의료 시술 동안에:
환자에 대한 의료 시술 동안에 이미지 디바이스로부터 캡처된 비디오를 수신하고, 상기 비디오는 복수의 프레임들을 포함하며;
시술자가 분석을 위한 상기 환자의 기관 부위들을 검사하기 위해 상기 이미지 디바이스와 상호작용하는 동안 상기 비디오로부터 프레임들을 식별하고;
상기 식별된 프레임들로부터, 상기 이미지 디바이스와 상호작용하는 상기 시술자에 의해 검사되는 제1 부위의 데이터 표현들을 생성하고;
상기 식별된 프레임들로부터, 상기 이미지 디바이스와 상호작용하는 상기 시술자에 의해 검사되는 하나 이상의 추가 부위들의 데이터 표현들을 추가로 생성하고;
상기 제1 부위의 상기 데이터 표현들을 상기 하나 이상의 추가 부위들의 상기 데이터 표현들과 종합하고(aggregate);
상기 종합된 데이터 표현들을 사용하여, 상기 시술자에 의해 검사되는 상기 부위들의 검사 품질 수준을 결정하고;
상기 시술자에 의해 검사되는 상기 부위들의 상기 결정된 검사 품질 수준을 나타내는 그래픽 표현을 디스플레이 디바이스 상에 제시하도록 구성되는, 컴퓨터-구현 시스템. - 제1항에 있어서, 상기 적어도 하나의 프로세서는, 상기 이미지 디바이스의 궤적, 상기 이미지 디바이스의 속도, 또는 상기 시술자에 의해 검사되는 상기 부위들과 모델 표면의 부위 사이의 비율 중 적어도 하나에 기초하여 상기 검사 품질 수준을 결정하도록 추가로 구성되는, 컴퓨터-구현 시스템.
- 제1항에 있어서, 상기 제1 부위 및 상기 하나 이상의 추가 부위들에 대한 상기 데이터 표현들은 2차원 데이터와 3차원 데이터 중 적어도 하나를 포함하는, 컴퓨터-구현 시스템.
- 제1항에 있어서, 상기 시술자가 분석을 위한 상기 환자의 부위들을 검사하기 위해 상기 이미지 디바이스와 상호작용하는 동안 상기 실시간 비디오의 상기 복수의 프레임들 중에서 프레임들을 식별하기 위해 맥락 평가(contextual evaluation)를 수행하도록 구성된 신경망을 더 포함하는 컴퓨터-구현 시스템.
- 제1항에 있어서, 상기 적어도 하나의 프로세서는 상기 의료 시술 동안에 실시간으로 상기 검사 품질 수준을 결정하고, 상기 의료 시술이 상기 환자에 대해 수행됨에 따라 상기 결정된 검사 품질 수준을 업데이트하도록 추가로 구성되는 컴퓨터-구현 시스템.
- 제5항에 있어서, 상기 적어도 하나의 프로세서는 상기 결정된 검사 품질 수준이 상기 의료 시술 동안에 업데이트됨에 따라 상기 그래픽 표현을 수정하도록 추가로 구성되는, 컴퓨터-구현 시스템.
- 제6항에 있어서, 상기 그래픽 표현에 대한 상기 수정은 상기 그래픽 표현의 색상, 패턴, 이미지, 비디오 또는 영숫자 문자 중 적어도 하나에 대한 수정을 포함하는, 컴퓨터-구현 시스템.
- 제1항에 있어서, 상기 적어도 하나의 프로세서는 상기 환자에게 대해 수행되는 상기 의료 시술 동안에 상기 시술자에 의해 검사되는 부위에 대한 단기 데이터 표현과 상기 시술자에 의해 검사되는 복수의 부위들에 대한 장기 데이터 표현을 생성하도록 추가로 구성되는, 컴퓨터-구현 시스템.
- 제8항에 있어서, 상기 적어도 하나의 프로세서는:
상기 단기 데이터 표현을 사용하여 단기 검사 품질 수준을 결정하고;
상기 장기 데이터 표현을 사용하여 장기 검사 품질 수준을 결정하도록 추가로 구성되는, 컴퓨터-구현 시스템. - 제1항에 있어서, 상기 의료 시술은 내시경 검사, 식도 위 십이지장 내시경 검사, 대장 내시경 검사, 구불 결장 내시경 검사, 내시경 담췌관 조영술 또는 소장 내시경 검사를 포함하는, 컴퓨터-구현 시스템.
- 제1항에 있어서, 상기 의료 시술 동안에 상기 검사되는 부위들은 상기 환자의 기관의 일부들을 포함하는, 컴퓨터-구현 시스템.
- 제1항에 있어서, 상기 적어도 하나의 프로세서는:
상기 식별된 프레임들로부터, 상기 환자의 상기 검사되는 제1 부위의 제1의 3차원 표현을 생성하고;
상기 식별된 프레임들로부터, 상기 환자의 검사되는 제2 부위의 제2의 3차원 표현을 추가로 생성하고;
3차원 공간에서 상기 제1의 3차원 표현과 상기 제2의 3차원 표현의 근접성을 결정하고;
상기 결정된 근접성이 임계값 내에 있을 때 상기 제1의 3차원 표현의 적어도 일부를 상기 제2의 3차원 표현의 적어도 일부와 병합하고;
상기 제1 및 제2의 3차원 표현들의 상기 병합된 부분들을 사용하여, 상기 의료 시술 동안에 상기 시술자에 의해 검사되지 않은 부위들을 식별하도록 추가로 구성되는, 컴퓨터-구현 시스템. - 제12항에 있어서, 상기 적어도 하나의 프로세서는 상기 시술자에 의해 검사되는 부위들과 상기 시술자에 의해 검사되지 않은 부위들 사이의 비율을 나타내는 그래픽 표현을 생성하도록 추가로 구성되는, 컴퓨터-구현 시스템.
- 비디오를 처리하는 방법에 있어서:
환자에 대해 수행되는 의료 시술 동안에 적어도 하나의 프로세서에 의해 수행되는 다음의 동작들:
환자에 대한 의료 시술 동안에 이미지 디바이스로부터 캡처된 비디오를 수신하는 단계로서, 상기 비디오는 복수의 프레임들을 포함하는, 상기 캡처된 비디오 수신 단계;
시술자가 분석을 위한 상기 환자의 기관의 부위들을 검사하기 위해 상기 이미지 디바이스와 상호작용하는 동안에 상기 비디오로부터 프레임들을 식별하는 단계;
상기 식별된 프레임들로부터, 상기 이미지 디바이스와 상호작용하는 상기 시술자에 의해 검사되는 제1 부위의 데이터 표현들을 생성하는 단계;
상기 식별된 프레임들로부터, 상기 이미지 디바이스와 상호작용하는 상기 시술자에 의해 검사되는 하나 이상의 추가 부위들의 데이터 표현들을 추가로 생성하는 단계;
상기 제1 부위의 상기 데이터 표현들을 상기 하나 이상의 추가 부위들의 상기 데이터 표현들과 종합하는 단계;
상기 종합된 데이터 표현들을 사용하여, 상기 시술자에 의해 검사되는 상기 부위들의 검사 품질 수준을 결정하는 단계; 및
상기 시술자에 의해 검사되는 상기 부위들의 상기 결정된 검사 품질 수준을 나타내는 그래픽 표현을 디스플레이 디바이스 상에 제시하는 단계를 포함하는 비디오 처리 방법. - 제14항에 있어서, 상기 이미지 디바이스의 궤적, 상기 이미지 디바이스의 속도, 또는 상기 시술자에 의해 검사되는 부위들과 모델 표면의 부위 사이의 비율 중 적어도 하나에 기초하여 상기 검사 품질 수준을 결정하는 단계를 더 포함하는 비디오 처리 방법.
- 제14항에 있어서, 상기 제1 부위 및 상기 하나 이상의 추가 부위들에 대한 상기 데이터 표현들은 2차원 데이터 및 3차원 데이터 중 적어도 하나를 포함하는, 비디오 처리 방법.
- 제14항에 있어서, 상기 시술자가 분석을 위한 상기 환자의 부위들을 검사하기 위해 상기 이미지 디바이스와 상호작용하는 동안 실시간 비디오의 상기 복수의 프레임들 중에서 프레임들을 식별하기 위해 신경망을 사용하여 맥락 평가를 수행하는 단계를 더 포함하는 비디오 처리 방법.
- 제14항에 있어서, 상기 의료 시술 동안에 실시간으로 상기 검사 품질 수준을 결정하고, 상기 의료 시술이 상기 환자에 대해 수행됨에 따라 상기 결정된 검사 품질 수준을 업데이트하는 단계를 더 포함하는 비디오 처리 방법.
- 제18항에 있어서, 상기 결정된 검사 품질 수준이 상기 의료 시술 동안에 업데이트됨에 따라 상기 그래픽 표현을 수정하는 단계를 더 포함하는 비디오 처리 방법.
- 제19항에 있어서, 상기 그래픽 표현을 수정하는 단계는 상기 그래픽 표현의 색상, 패턴, 이미지, 비디오 또는 영숫자 문자 중 적어도 하나를 수정하는 단계를 포함하는, 비디오 처리 방법.
- 제14항에 있어서, 상기 환자에게 대해 수행되는 상기 의료 시술 동안에 상기 시술자에 의해 검사되는 부위에 대한 단기 데이터 표현 및 상기 시술자에 의해 검사되는 복수의 부위들에 대한 장기 데이터 표현을 생성하는 단계를 더 포함하는 비디오 처리 방법.
- 제21항에 있어서,
상기 단기 데이터 표현을 사용하여 단기 검사 품질 수준을 결정하는 단계; 및
상기 장기 데이터 표현을 사용하여 장기 검사 품질 수준을 결정하는 단계를 더 포함하는 비디오 처리 방법. - 제14항에 있어서, 상기 의료 시술은 내시경 검사, 식도 위 십이지장 내시경 검사, 대장 내시경 검사, 구불 결장 내시경 검사, 내시경 담췌관 조영술 또는 소장 내시경 검사를 포함하는, 비디오 처리 방법.
- 제14항에 있어서, 상기 의료 시술 동안에 상기 검사되는 부위들은 상기 환자의 기관의 일부들을 포함하는, 비디오 처리 방법.
- 제14항에 있어서, 상기 적어도 하나의 프로세서에 의해 수행되는 다음의 동작들:
상기 식별된 프레임들로부터, 상기 환자의 상기 검사되는 제1 부위의 제1의 3차원 표현을 생성하는 단계;
상기 식별된 프레임들로부터, 상기 환자의 검사되는 제2 부위의 제2의 3차원 표현을 추가로 생성하는 단계;
3차원 공간에서 상기 제1의 3차원 표현과 상기 제2의 3차원 표현의 근접성을 결정하는 단계;
상기 결정된 근접성이 임계값 내에 있을 때 상기 제1의 3차원 표현의 적어도 일부를 상기 제2의 3차원 표현의 적어도 일부와 병합하는 단계; 및
상기 제1 및 제2의 3차원 표현들의 상기 병합된 부분들을 사용하여, 상기 의료 시술 동안에 상기 시술자에 의해 검사되지 않은 부위들을 식별하는 단계를 더 포함하는 비디오 처리 방법. - 제25항에 있어서, 상기 시술자에 의해 검사되는 부위들과 상기 시술자에 의해 검사되지 않은 부위들 사이의 비율을 나타내는 그래픽 표현을 생성하는 단계를 더 포함하는 비디오 처리 방법.
- 의료 시술 동안에 캡처된 비디오를 처리하기 위한 컴퓨터-구현 시스템에 있어서:
적어도 하나의 프로세서를 포함하고, 상기 프로세서는:
환자에 대한 의료 시술 동안에 이미지 디바이스로부터 캡처된 실시간 비디오를 수신하고, 상기 실시간 비디오는 복수의 프레임들을 포함하며;
시술자가 분석을 위한 상기 환자의 부위들을 검사하기 위해 상기 이미지 디바이스와 상호작용하는 동안 상기 프레임들을 식별하기 위해 상기 복수의 프레임들을 분석하고;
상기 식별된 프레임들로부터, 상기 이미지 디바이스와 상호작용하는 상기 시술자에 의해 검사되는 각각의 국소 부위의 데이터 표현들을 생성하고;
각각의 국소 부위에 대한 상기 데이터 표현들을 사용하여, 상기 시술자에 의해 검사되는 부분들에 대한 단기 검사 품질 수준을 결정하고;
상기 시술자에 의해 검사되는 각각의 국소 부위에 대한 상기 단기 검사 품질 수준을 나타내는 그래픽 표현을 상기 의료 시술 동안에 디스플레이 디바이스 상에 제시하도록 구성되는, 컴퓨터-구현 시스템. - 제27항에 있어서, 상기 적어도 하나의 프로세서는:
각각의 국소 부위의 상기 데이터 표현들을 종합하고;
상기 종합된 데이터 표현들을 사용하여, 상기 시술자에 의해 검사되는 부분들에 대한 상기 단기 검사 품질 수준을 결정하도록 추가로 구성되는, 컴퓨터-구현 시스템. - 제27항에 있어서, 상기 단기 검사 품질 수준은 상기 이미지 디바이스의 궤적, 상기 이미지 디바이스의 속도 또는 표면 노출 중 적어도 하나에 기초하는, 컴퓨터-구현 시스템.
- 제29항에 있어서, 상기 표면 노출은 상기 시술자에 의해 검사되는 부위들과 모델 표면의 부위 사이의 비율에 기초하는, 컴퓨터-구현 시스템.
- 제27항에 있어서, 상기 적어도 하나의 프로세서는 상기 시술자에 의해 검사되는 복수의 국소 부위들의 데이터 표현들을 장기 데이터 표현으로 종합하도록 추가로 구성되는, 컴퓨터-구현 시스템.
- 제31항에 있어서, 상기 적어도 하나의 프로세서는 상기 장기 데이터 표현에 기초하여 장기 검사 품질 수준을 결정하도록 추가로 구성되며, 상기 장기 검사 품질 수준은 전체 의료 시술에 걸쳐 검사되는 부위들의 총량을 나타내는, 컴퓨터-구현 시스템.
- 제31항에 있어서, 상기 복수의 국소 부위들의 상기 데이터 표현들은 2차원 데이터 및 3차원 데이터를 포함하고, 상기 적어도 하나의 프로세서는 점구름(point cloud)을 사용하여 적어도 각각의 국소 부위의 모델을 구축하도록 추가로 구성되는, 컴퓨터-구현 시스템.
- 제27항에 있어서, 상기 시술자가 분석을 위한 상기 환자의 부위들을 검사하기 위해 상기 이미지 디바이스와 상호작용하는 동안 상기 복수의 프레임들 중에서 프레임들을 식별하기 위해 맥락 평가를 수행하도록 구성된 신경망을 더 포함하는 컴퓨터-구현 시스템.
- 제27항에 있어서, 상기 적어도 하나의 프로세서는 각각의 식별된 프레임에 대해 깊이, 카메라 위치 또는 가장자리들 중 적어도 하나를 결정하도록 추가로 구성되는, 컴퓨터-구현 시스템.
- 제27항에 있어서, 상기 적어도 하나의 프로세서는, 상기 의료 시술 동안에 실시간으로 상기 단기 검사 품질 수준을 결정하고, 상기 의료 시술이 상기 환자에 대해 수행됨에 따라 상기 결정된 단기 검사 품질 수준을 업데이트하도록 추가로 구성되는, 컴퓨터-구현 시스템.
- 제36항에 있어서, 상기 적어도 하나의 프로세서는 상기 결정된 단기 검사 품질 수준이 상기 의료 시술 동안에 업데이트됨에 따라 상기 그래픽 표현을 수정하도록 추가로 구성되는, 컴퓨터-구현 시스템.
- 제37항에 있어서, 상기 적어도 하나의 프로세서는 상기 그래픽 표현의 색상, 패턴, 이미지, 비디오 또는 영숫자 문자 중 적어도 하나를 수정하도록 추가로 구성되는, 컴퓨터-구현 시스템.
- 제27항에 있어서, 상기 의료 시술은 내시경 검사, 식도 위 십이지장 내시경 검사, 대장 내시경 검사, 구불 결장 내시경 검사, 내시경 담췌관 조영술 또는 소장 내시경 검사 중 적어도 하나를 포함하는, 컴퓨터-구현 시스템.
- 제27항에 있어서, 상기 의료 시술 동안에 상기 검사되는 부위들은 상기 환자의 기관의 일부들을 포함하는, 컴퓨터-구현 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163253700P | 2021-10-08 | 2021-10-08 | |
| US63/253,700 | 2021-10-08 | ||
| PCT/IB2022/059632 WO2023057986A2 (en) | 2021-10-08 | 2022-10-07 | Computer-implemented systems and methods for analyzing examination quality for an endoscopic procedure |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240075911A true KR20240075911A (ko) | 2024-05-29 |
Family
ID=84043972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247015217A KR20240075911A (ko) | 2021-10-08 | 2022-10-07 | 내시경 시술에 대한 검사 품질을 분석하기 위한 컴퓨터-구현 시스템들 및 방법들 |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US20230110263A1 (ko) |
| EP (1) | EP4412554A2 (ko) |
| JP (1) | JP2024537198A (ko) |
| KR (1) | KR20240075911A (ko) |
| CN (1) | CN118076315A (ko) |
| AR (1) | AR127744A1 (ko) |
| AU (1) | AU2022360153A1 (ko) |
| CA (1) | CA3232715A1 (ko) |
| IL (1) | IL311279A (ko) |
| MX (1) | MX2024004270A (ko) |
| TW (1) | TW202322744A (ko) |
| WO (1) | WO2023057986A2 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024096840A1 (en) * | 2022-11-02 | 2024-05-10 | Cem Simsek | Method and device for endoscopy evaluation |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110301447A1 (en) * | 2010-06-07 | 2011-12-08 | Sti Medical Systems, Llc | Versatile video interpretation, visualization, and management system |
| US10861151B2 (en) * | 2015-08-07 | 2020-12-08 | The Arizona Board Of Regents On Behalf Of Arizona State University | Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy |
| US20220254017A1 (en) * | 2019-05-28 | 2022-08-11 | Verily Life Sciences Llc | Systems and methods for video-based positioning and navigation in gastroenterological procedures |
| AU2021216168A1 (en) | 2020-02-03 | 2022-03-10 | Cosmo Artificial Intelligence - AI Limited | Systems and methods for contextual image analysis |
| US11918178B2 (en) * | 2020-03-06 | 2024-03-05 | Verily Life Sciences Llc | Detecting deficient coverage in gastroenterological procedures |
-
2022
- 2022-10-06 AR ARP220102732A patent/AR127744A1/es unknown
- 2022-10-07 EP EP22797491.2A patent/EP4412554A2/en active Pending
- 2022-10-07 IL IL311279A patent/IL311279A/en unknown
- 2022-10-07 MX MX2024004270A patent/MX2024004270A/es unknown
- 2022-10-07 WO PCT/IB2022/059632 patent/WO2023057986A2/en active Application Filing
- 2022-10-07 CA CA3232715A patent/CA3232715A1/en active Pending
- 2022-10-07 AU AU2022360153A patent/AU2022360153A1/en active Pending
- 2022-10-07 US US17/961,764 patent/US20230110263A1/en active Pending
- 2022-10-07 CN CN202280067787.6A patent/CN118076315A/zh active Pending
- 2022-10-07 TW TW111138220A patent/TW202322744A/zh unknown
- 2022-10-07 JP JP2024520966A patent/JP2024537198A/ja active Pending
- 2022-10-07 KR KR1020247015217A patent/KR20240075911A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| MX2024004270A (es) | 2024-04-25 |
| WO2023057986A2 (en) | 2023-04-13 |
| CA3232715A1 (en) | 2023-04-13 |
| CN118076315A (zh) | 2024-05-24 |
| AU2022360153A1 (en) | 2024-03-14 |
| JP2024537198A (ja) | 2024-10-10 |
| EP4412554A2 (en) | 2024-08-14 |
| WO2023057986A3 (en) | 2023-05-19 |
| US20230110263A1 (en) | 2023-04-13 |
| IL311279A (en) | 2024-05-01 |
| AR127744A1 (es) | 2024-02-28 |
| TW202322744A (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Freedman et al. | Detecting deficient coverage in colonoscopies | |
| US11918178B2 (en) | Detecting deficient coverage in gastroenterological procedures | |
| US20110032347A1 (en) | Endoscopy system with motion sensors | |
| US20230007982A1 (en) | Computer-implemented systems and methods for object detection and characterization | |
| EP2244633A2 (en) | Medical image reporting system and method | |
| CN112766416B (zh) | 一种消化内镜导航方法和系统 | |
| Szczypiński et al. | A model of deformable rings for interpretation of wireless capsule endoscopic videos | |
| Yao et al. | Motion-based camera localization system in colonoscopy videos | |
| EP4278322A1 (en) | Methods and apparatuses for generating anatomical models using diagnostic images | |
| US20230110263A1 (en) | Computer-implemented systems and methods for analyzing examination quality for an endoscopic procedure | |
| Liu et al. | Self-supervised monocular depth estimation for gastrointestinal endoscopy | |
| KahsayGebreslassie et al. | Automated gastrointestinal disease recognition for endoscopic images | |
| Posner et al. | C 3 fusion: consistent contrastive colon fusion, towards deep slam in colonoscopy | |
| CN116324897A (zh) | 用于重建管状器官的三维表面的方法和系统 | |
| Jeong et al. | Depth estimation of endoscopy using sim-to-real transfer | |
| CN113409386A (zh) | 用于基于图像的定位的方法、系统和介质 | |
| US20240296560A1 (en) | Computer-implemented systems and methods for object detection and characterization | |
| Mathew et al. | SoftEnNet: Symbiotic Monocular Depth Estimation and Lumen Segmentation for Colonoscopy Endorobots | |
| Armin | Automated visibility map from colonoscopy video to support clinical diagnosis and improve the quality of colonoscopy | |
| Xue | Deep Generative Models for Medical Images and Beyond | |
| CN117651970A (zh) | 用于对象检测和表征的计算机实现的系统和方法 | |
| Rau et al. | Monocular 3D Reconstruction of the Colon Using CNNs Trained on Synthetic Data | |
| Huang | Learning based feature tracking for SLAM in colonoscopy | |
| Zhang | 3D Reconstruction of Colon Structures and Textures from Colonoscopic Videos | |
| Regef et al. | Laryngeal surface reconstructions from monocular endoscopic videos: a structure from motion pipeline for periodic deformations |