KR20220051234A - 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법 - Google Patents

내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20220051234A
KR20220051234A KR1020227009550A KR20227009550A KR20220051234A KR 20220051234 A KR20220051234 A KR 20220051234A KR 1020227009550 A KR1020227009550 A KR 1020227009550A KR 20227009550 A KR20227009550 A KR 20227009550A KR 20220051234 A KR20220051234 A KR 20220051234A
Authority
KR
South Korea
Prior art keywords
image
image frame
map
endoscopic
current image
Prior art date
Application number
KR1020227009550A
Other languages
English (en)
Other versions
KR102630074B1 (ko
Inventor
니라즈 프라사드 라우니야
로버트 제이. 리커
티모시 폴 하라
Original Assignee
보스톤 싸이엔티픽 싸이메드 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 보스톤 싸이엔티픽 싸이메드 인코포레이티드 filed Critical 보스톤 싸이엔티픽 싸이메드 인코포레이티드
Priority to KR1020247002652A priority Critical patent/KR20240017960A/ko
Publication of KR20220051234A publication Critical patent/KR20220051234A/ko
Application granted granted Critical
Publication of KR102630074B1 publication Critical patent/KR102630074B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G06T3/04—
    • G06T3/12—
    • G06T3/14—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00292—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/00296—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means mounted on an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Abstract

내시경 시스템은 생체 내 표적 부위의 영상 프레임을 캡처하도록 구성된, 내시경 이미저, 및 프로세서로서, 공간 변환을 영상 프레임의 예비 세트에 적용하고, 상기 공간 변환은 영상 프레임을 원통 좌표로 변환하도록, 공간적으로 변환된 영상 프레임으로부터 맵 영상을 계산하고, 상기 맵 영상의 각각의 픽셀 위치는 고정된 치수의 벡터로 정의되도록, 현재 영상 프레임을 맵 영상과 정렬하고 현재 영상 프레임에 공간 변환을 적용하도록, 융합된 영상을 생성하기 위해 공간적으로 변환된 현재 영상 프레임을 맵 영상에 융합하도록; 그리고 현재 영상 프레임보다 더 큰 공간 해상도를 갖는 향상된 현재 영상 프레임을 생성하기 위해 융합된 영상에 역 공간 변환을 적용하도록 구성된 프로세서를 포함한다. 상기 시스템은 또한 상기 향상된 현재 영상 프레임을 표시하도록 구성된 디스플레이를 포함한다.

Description

내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법
우선권 청구
본 개시는 2019년 9월 23일에 출원된 미국 가특허 출원 제62/904,408호를 우선권으로 청구하며, 이 미국 가특허 출원의 개시 내용은 인용에 의해 본원에 포함된다.
분야
본 개시는 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법에 관한 것이다.
내시경 이미저(endoscopic imager)는 다양한 의료 개입 동안 사용될 수 있다. 이미저에 의해 제공되는 환자 해부학 구조의 관측(view)은 스코프의 시야 및 해상도에 의해 제한된다. 이러한 해부학 구조의 제한된 관측은 개입을 연장하고 수술을 수행하는 의사에게 개입을 수행하는 데 필요한 모든 정보를 제공하는 데 실패할 수 있다.
본 개시는 내시경 시스템에 관한 것으로, 상기 내시경 시스템은 생체 내의 표적 부위의 영상 프레임(image frame)을 캡처(capture)하도록 구성된 내시경 이미저 및 프로세서를 포함하고, 상기 프레임은 예비 영상 프레임 세트에 공간 변환을 적용하도록 구성되고, 공간 변환은 영상 프레임을 원통 좌표로 변환하고; 공간적으로 변환된 영상 프레임으로부터 맵 영상(map image)을 계산하고, 맵 영상의 각각의 픽셀 위치는 고정된 치수의 벡터로 정의되고; 현재 영상 프레임을 맵 영상과 정렬하고 현재 영상 프레임에 공간 변환을 적용하고; 융합된 영상을 생성하기 위해 공간적으로 변환된 현재 영상 프레임을 맵 영상에 융합(fuse)하고; 그리고 상기 융합된 영상에 역 공간 변환을 적용하여 현재 영상 프레임보다 더 큰 공간 해상도를 갖는 향상된 현재 영상 프레임을 생성하도록 구성된다. 상기 시스템은 또한 향상된 현재 영상 프레임을 표시하는 디스플레이를 포함한다.
일 실시예에서, 공간 변환은 내시경 이미저의 광학적 기하학적 구조에 기초하여 생성된다.
일 실시예에서, 맵 영상은 내시경 이미저의 해상도보다 큰 정수배인 해상도를 갖는다.
일 실시예에서, 현재 영상 프레임은 현재 영상 프레임과 맵 영상 사이의 유사도가 측정되는 상호 상관 관계에 기초하여 맵 영상과 정렬된다.
일 실시예에서, 프로세서는 공간적으로 변환된 현재 영상 프레임을 둘러싸는 맵 영상의 영역에 기초하여 현재 영상 프레임과 비교하여 향상된 현재 영상 프레임의 시야를 확장하도록 더 구성된다.
일 실시예에서, 프로세서는 공간적으로 변환된 현재 영상 프레임을 맵 영상에 추가하도록 더 구성된다.
일 실시예에서, 맵 영상에서 주어진 픽셀 위치가 가득 차면, 새로운 샘플이 추가될 때 가장 오래된 샘플이 삭제된다.
본 개시는 또한 생체 내의 표적 부위의 영상 프레임을 캡처하도록 구성된 내시경 이미저 및 프로세서를 포함하는 내시경 시스템에 관한 것이다. 프로세서는: 영상 프레임의 예비 세트에 공간 변환을 적용하고, 상기 공간 변환은 영상 프레임을 원통 좌표로 변환하고; 공간적으로 변환된 영상 프레임으로부터 맵 영상을 계산하고, 맵 영상의 각각의 픽셀 위치는 고정된 치수의 벡터로 정의되고; 맵 영상의 스케일 공간 표현(scale space representation)을 계산하고; 복수의 독립 영역을 포함하는 추가 영상을 캡처하고; 각각의 독립 영역에 대한 미리 결정된 양의 영상 데이터가 획득되었을 때 독립 영역 각각에 대한 독립 공간 변환을 포함하는 비선형 공간 변환을 전개하고; 비선형 공간 변환으로부터 움직임 기반 구조(structure from motion; SFM) 깊이 맵을 유도하도록 구성된다.
일 실시예에서, SFM 깊이 맵은 내시경 이미저에 대한 추적 정보에 더 기초하고, 추적 정보는 캡처된 영상들 사이의 내시경 이미저의 변화하는 포즈(changing pose)를 포함한다.
일 실시예에서, 프로세서는 영상 프레임의 예비 세트에서 스코프-관련 대상(scope-relative object) 및 관심 대상을 식별 및 분할하고; 공간 변환이 영상의 예비 세트에 적용될 때 식별된 스코프-관련 대상을 제외한다.
일 실시예에서, 프로세서는 현재 영상 프레임에서 깊이 정보 및 각도 크기에 기초하여 관심 대상에 대한 크기를 추정하도록 더 구성된다.
일 실시예에서, 내시경 시스템은 주석이 달린 관심 대상과 함께 현재 영상 프레임을 디스플레이하도록 구성된 디스플레이를 더 포함한다.
일 실시예에서, 관심 대상은 신장 결석이다.
일 실시예에서, 내시경 시스템은 내시경 이미저에 대한 6 자유도 위치(six degree-of-freedom position)를 포함하는 추적 데이터를 제공하도록 구성된 내시경 이미저에 부착된 전자기(EM) 추적기를 더 포함한다. 프로세서는 표적 부위의 이전에 획득한 3D 영상 볼륨을 분할하도록 더 구성된다. 추적 데이터는 분할된 영상 볼륨 및 SFM 깊이 맵과 결합되어 내시경 이미저의 위치 추정을 제공한다.
일 실시예에서, 프로세서는 추적 데이터가 분할된 영상 볼륨의 표면을 브리칭(breaching)하는 것으로 표시될 때 분할된 영상 볼륨을 변형하도록 더 구성된다.
또한, 본 발명은 방법에 관한 것으로, 상기 방법은 생체 내 표적 부위의 예비 영상 프레임 세트에 공간 변환을 적용하는 단계로서, 상기 공간 변환은 상기 영상 프레임을 원통 좌표로 변환하는, 단계, 상기 공간적으로 변환된 영상 프레임으로부터 맵 영상을 계산하는 단계로서, 맵 영상의 각각의 픽셀 위치는 고정된 치수의 벡터로 정의되는, 단계; 현재 영상 프레임을 맵 영상과 정렬하고 현재 영상 프레임에 공간 변환을 적용하는 단계; 공간적으로 변환된 현재 영상 프레임을 맵 영상에 융합하여 융합된 영상을 생성하는 단계; 및 상기 융합된 영상에 역 공간 변환을 적용하여 현재 영상 프레임보다 더 큰 공간 해상도를 갖는 향상된 현재 영상 프레임을 생성하는 단계를 포함한다.
일 실시예에서, 공간 변환은 내시경 이미저의 광학적 기하학적 구조에 기초하여 생성된다.
일 실시예에서, 맵 영상은 내시경 이미저의 해상도보다 큰 정수배인 해상도를 갖는다.
일 실시예에서, 현재 영상 프레임은 현재 영상 프레임과 맵 영상 사이의 유사도가 측정되는 상호 상관 관계에 기초하여 맵 영상과 정렬된다.
일 실시예에서, 상기 방법은 공간적으로 변환된 현재 영상 프레임을 둘러싸는 맵 영상의 영역에 기초하여 현재 영상 프레임과 비교하여 향상된 현재 영상 프레임의 시야를 확장하는 단계를 더 포함한다.
도 1은 본 개시의 다양한 예시적인 실시예에 따른 비뇨기과 절차를 수행하기 위한 시스템을 도시한다.
도 2는 제 1의 예시적인 실시예에 따른 내시경 비디오의 세부 및/또는 시야를 개선하기 위한 방법을 도시한다.
도 3은 영상 좌표로부터 원통 좌표로의 공간 변환의 다이어그램을 도시한다.
도 4는 제 2의 예시적인 실시예에 따른 내시경 비디오를 개선하기 위한 방법을 도시한다.
도 5는 내시경 비디오에 대상 크기 정보를 주석으로 붙이는 방법을 도시한다.
도 6은 신장 결석이 괄호로 표시된(bracket) 예시적인 내시경 비디오 디스플레이를 도시한다.
도 7은 제 1의 예시적인 실시예에 따른 연속적으로 변형되는 해부학적 구조에 대한 내시경 위치를 추적하기 위한 방법을 도시한다.
도 8은 제 2의 예시적인 실시예에 따른 관형 구조의 내시경 비디오에서 움직임 추적을 위한 방법을 도시한다.
도 9는 도시된 추적 주석을 갖는 예시적인 내시경 비디오 디스플레이를 도시한다.
도 10은 제 3의 예시적인 실시예에 따른 관형 구조의 내시경 비디오에서 움직임 추적을 위한 방법을 도시한다.
도 11은 방광경 비디오 피드를 분석하고 레이저 치료 수술을 알리기 위한 주석을 제공하는 방법을 도시한다.
도 12는 도시된 전립선 레이저 주석을 갖는 예시적인 내시경 비디오 디스플레이를 도시한다.
본 개시는 다음의 설명 및 첨부된 도면을 참조하여 추가로 이해될 수 있으며, 여기서 유사한 요소는 동일한 참조 번호로 참조된다. 예시적인 실시예는 내시경 수술을 위한 내시경 디스플레이에 대한 개선을 설명한다. 개선 사항에는 특히 비뇨기과 수술의 경우 비디오 대상 특성에 대한 내시경 관측 및 정량적 피드백의 향상이 포함된다. 몇 가지 일반적인 비뇨기과 수술은 신장 결석 관리(예: 쇄석술), BPH(양성 전립선 비대증) 수술(예: GreenLightTM 레이저 수술), 전립선 절제술, 방광 종양 절제, 자궁 근종 관리, 진단 등을 포함한다. 이러한 수술 중 다수는 "관측 및 치료(see and treat)”로서 설명될 수 있다.
전형적인 절차는 영상화 매체(예를 들어, LithoVueTM 또는 임의의 다른 내시경 이미저), (시야를 제거하고 및/또는 공동을 팽창시키기 위해) 유체를 제공하는 메커니즘 및 치료 메커니즘(예를 들어, 레이저, RF 에너지)을 갖는다. 예시적인 실시예는 물리적 크기 추정, 결석 조성의 가능한 상관 관계, 다양한 유형의 조직 구별 등을 포함하는 비디오 대상 특성에 대한 정량적 피드백을 통해 의사의 결정을 개선할 수 있다. 수술의 인지 부하 및 효율성은 또한 예를 들어, 레이저 수술 중 스와이프 속도, 기포 크기, 및 밀도, 신장 검사 중 랜들(Randall)의 플라크 측정, 수증기 요법(예: RezumTM) 중 삽입 지점 측정 또는 BPH 수술 중 캡슐 깊이에 대한 외과적 지침을 통해 개선될 수 있다.
예시적인 일 실시예에서, 일련의 저해상도 내시경 영상, 예를 들어 요관경 또는 방광경 영상으로부터 고해상도 맵 영상을 생성하고 조합된 영상이 맵 영상의 해상도를 갖도록 현재 영상을 맵 영상에 융합하도록 초해상도 기술이 구현된다. 예시적인 기술은 특히 비뇨기과 수술에 적합하지만, 특정 실시예는 주변 조직이 연속적이고 조직 상의 고유한 위치가 후술되는 바와 같이 종방향 및 반경 방향 좌표에 기초하여 매핑될 수 있도록 배치되는 한 다른 환자의 일반적으로 관형인 해부학적 구조(예: 정맥, 식도 등) 또는 환자의 비관형 해부학적 구조(예: 위)의 내시경 관측을 개선할 수 있다. "초해상도(super-resolution)"는 일반적으로 저해상도 영상을 융합하여 생성된 개선된 해상도 영상으로 정의될 수 있다.
본 설명에서 "초해상도"라는 용어는 일반적으로 내시경 개입 동안 비디오 디스플레이를 개선하기 위해 해부학 구조를 매핑하기 위한 영상 공간의 생성을 의미한다. 관련 실시예는 움직임 기반 구조(SFM) 깊이 맵의 유도를 설명한다. 다른 예시적인 기술은 다른 방식으로 디스플레이를 개선할 수 있다. 예를 들어, 적절하게 설계된 심층 컨볼루션 신경망(CNN)은 영상의 노이즈를 억제하고 및/또는 조직 관류의 차이를 강조하기 위해 픽셀 데이터에 직접 적용될 수 있다. 설명된 기술은 단독으로 또는 조합하여 사용될 수 있으며, 이하에서 자세히 설명한다.
도 1은 본 개시의 다양한 예시적인 실시예에 따른 비뇨기과 절차를 수행하기 위한 시스템(100)을 도시한다. 시스템(100)은 비뇨기과 절차 동안 환자 해부학 구조의 영상 프레임을 획득하기 위한 이미저(104) 및 이미저(104)의 시야를 손상시킬 수 있는 혈액 및 파편을 제거하기 위해 해부학적 구조에 유체(예: 식염수)를 제공하기 위한 유체 메커니즘(106)을 구비한 내시경(102)을 포함한다. 이 실시예의 내시경(102)은 아래에서 더 상세히 설명되는 바와 같이 연속적으로 변형되는 환자 해부학적 구조에 대한 내시경(102)의 위치 결정을 알리기 위한 선택적인 전자기(EM) 추적기(108)를 포함한다.
상기 시스템(100)은 비뇨기과 수술의 특성에 따라 선택되는 치료 장치(110)를 더 포함할 수 있다. 치료 장치(110)는 내시경(102)을 통해 작동될 수 있거나 내시경(102) 외부에 있을 수 있다. 예를 들어, 치료 장치(110)는 예를 들어, 신장 결석을 부수기 위한 레이저 또는 충격파 발생기 또는 전립선 조직을 제거하기 위한 절제경일 수 있다. 비뇨기과 수술이 진단 목적(즉, 해부학적 구조의 검사를 위한 것이지 상태를 치료하기 위한 것이 아님)인 경우 사용되는 치료 장치가 없을 수 있다. 예시적인 실시예는 비뇨기과 영상화에 대하여 설명하였으나, 예시적인 실시예는 이에 제한되지 않는다. 특정 실시예는 유체 메커니즘이 사용되지 않는 경우(예: 식도 영상화)에 적용될 수 있다.
시스템(100)은 이미저(104)에 의해 제공되는 영상 프레임을 처리하고 처리된 영상을 디스플레이(114)에 제공하는 컴퓨터(112)를 포함한다. 컴퓨터(112) 및 디스플레이(114)는 내시경 타워와 같은 통합 스테이션에 제공될 수 있다. 비뇨기과 수술을 수행하기 위한 다른 특징은 예를 들어 유체 메커니즘(106)을 통해 전달되는 유체의 유량을 제어하는 액추에이터를 포함하여 내시경 타워에서 구현될 수 있다. 예시적인 실시예는 일반적으로 연속적으로 또는 임의의 다른 원하는 방식으로 표시된 영상을 변경하고 향상시키기 위한 알고리즘 프로세스를 설명한다.
도 2는 제 1의 예시적인 실시예에 따른 내시경 비디오 디스플레이의 상세 및/또는 시야를 개선하기 위한 방법(200)을 도시한다. 상기 방법(200)은 관형 구조, 예를 들어 요도의 근거리 내시경 영상화에 특히 적합한 초해상도 기술로 간주될 수 있다. 205에서, 공간 변환이 생성되어 도 3에 도시된 바와 같이, 영상 좌표에서 원통 좌표로 영상을 변환한다. 공간 변환은 이미저(104)의 광학 기하학 구조를 기반으로 생성된다. 도 3에서 가장 안쪽 원은 작은 반경에서는 비디오 디스플레이에서 사용할 수 있는 데이터 포인트의 수가 너무 적어 유용하지 않을 수 있다는 예상으로 매핑될 수 있거나 매핑되지 않을 수 있다. 당업자라면 알 수 있는 바와 같이, 왼쪽의 검은색 원의 수는 오른쪽의 검은색 수평선의 수와 일치해야 한다.
210에서, 이미저(104)의 해상도의 정수배인 해상도로 원통형 공간에 맵 영상을 생성하기 위한 변환 세트가 생성된다. 예를 들어, 맵 영상은 해상도, 즉, 이미저(104) 해상도의 3배인 맵 영상을 구성하는 데 사용되는 다수의 픽셀을 가질 수 있다. 맵의 각각의 픽셀 위치는 고정된 치수의 벡터로 표시된다. 예를 들어, 주어진 위치의 벡터는 예를 들어 여러 영상 프레임에 걸쳐 해당 위치에서 축적된 8개의 샘플을 나타내는 8개의 요소를 가질 수 있다.
215에서, 이미저(104)에 의해 캡처된 영상의 예비 세트는 원통 좌표계에서 정렬되도록 상관된다. 220에서, 공간 변환을 다중 영상 샘플에 적용하여 영상을 원통 좌표로 변환하고 샘플에서 맵 영상을 계산한다. 맵 영상에는 이상치 거부가 적용된 벡터에서 정의된 각각의 영상 위치를 갖는다. 예를 들어, 이상치 거부는 중앙값 필터일 수 있다.
225에서, 현재 영상은 이미저에 의해 캡처되고 공간 변환이 적용될 때 원통형 공간에서 영상의 정렬을 최적화하기 위해 맵 영상과 상관된다. 예를 들어, 상관 관계는 영상 간의 유사도를 측정하고 유사도를 최대화하기 위해 영상을 정렬하기 위한 영상 간의 상호 상관 관계일 수 있다. 230에서, 상관 관계에 기초하여 공간 변환이 영상에 적용된다. 235에서, 현재 변환된 영상과 맵 영상이 조합되고, 예를 들어, 원통 좌표계에서 융합된다. 맵 영상이 현재 영상의 시야 주변 영역에 충분한 데이터를 갖는 경우 확대될 수 있다.
240에서, 역 공간 변환이 조합된 영상에 적용되어 스코프 좌표 시스템에서 향상된 공간 해상도를 갖는 영상을 생성한다. 245에서, 향상된 해상도 영상은 스코프 해상도에서 초기에 캡처된 영상과 비교하여 향상된 세부 사항 및/또는 향상된 시야로 내시경 수술을 안내하기 위해 디스플레이(114)에 표시된다.
250에서, 대응하는 맵 벡터에 픽셀 값을 추가함으로써 영상 프레임의 원통 좌표 변환이 맵 영상에 추가된다. 벡터는 샘플이 추가된 시간을 기반으로 순차적으로 정렬될 수 있으므로 벡터가 가득 차면 가장 오래된 샘플이 삭제되고 새 픽셀 값이 빈 자리에 추가된다.
새로운 영상 프레임이 이미저(104)에 의해 캡처됨에 따라 위에서 논의된 영상 처리 단계는 연속적으로 수행되지만, 당업자라면 이해할 수 있는 바와 같이, 영상 처리를 위한 다른 스케줄이 사용될 수 있다. 따라서, 각각의 새로운 영상 프레임은 새로운 프레임과 맵 영상의 융합을 기반으로 개선된 해상도로 시각적으로 향상된다.
도 4는 제 2의 예시적인 실시예에 따른 내시경 비디오를 개선하기 위한 방법(300)을 도시한다. 상기 방법(300)은 상기 방법(200)과 유사하지만, 방법(300)은 광학적 왜곡, 조직 움직임 및 시점(POV) 변화를 더 잘 보상하기 위해 비강성 등록 프로세스를 설명한다. 비강성 등록은 일반적으로 참조 영상(이 경우 맵 영상)과 더 잘 관련되도록 영상에 대한 복수의 국부 변환을 적용하는 것을 의미한다. 본 실시예에서, 영상들의 상이한 영역들은 영역들 사이의 위치 변화를 더 잘 포착하기 위해 독립적으로 변형될 수 있다.
305에서, 상기 방법(200)의 단계(205-220)에 따라 맵 영상이 계산된다. 310에서, 맵 영상의 스케일 공간 표현이 계산된다. 스케일 공간 표현은 일반적으로 서로 다른 스케일에서 점진적으로 평활화된 영상 세트로 영상 데이터의 표현을 나타낸다. 예를 들어 맵 영상의 대규모 구조는 강조되고 미세 스케일 구조는 억제된다.
315에서, 초기에 낮은 공간 주파수에서 현재 영상이 캡처되고 맵 영상과 상관된다. 320에서, 현재 영상은 맵 영상과 융합되고 방법(200)의 단계(230-250)에 따라 향상된다. 새로운 영상이 획득될 때 영상 처리 단계가 반복된다. 그러나, 맵 영상을 채우기 위해 영상 데이터가 계속 수집됨에 따라, 325에서, 점진적으로 더 높은 공간 주파수 스케일에서 점진적으로 더 작은 영역을 최적화함으로써 다중 독립 지역 변환이 개발된다. 해부학적 구조 관련 움직임이 추정될 수 있다.
330에서, 움직임 기반 구조(SFM) 깊이 맵이 비선형 변환에 기초하여 유도된다. SFM은 일반적으로 움직이는 POV에 의해 캡처된 일련의 영상에서 3차원 구조의 매핑을 나타내며, 여기에서 이미저의 변화하는 위치와 방향(포즈)이 추적된다. 새로운 영상이 수집되면 깊이 맵이 계속 채워진다.
전술한 영상 처리 방법(200, 300)의 요소는 다음 절차 특정 방식으로 디스플레이를 추가로 향상시키는 데 사용될 수 있다.
레이저 쇄석술과 같은 신장 결석 치료는 결석을 다양한 크기의 많은 조각으로 단편화하는 것을 포함할 수 있으며, 그 중 일부는 추가 축소가 필요하고 일부는 자연적으로 회수되거나 배출될 만큼 충분히 작을 수 있다. 요관경 비디오에서 결석 입자를 추적하고 결석 입자의 크기를 추론하고 의사에게 적절한 주석을 제공하면 이러한 중재의 속도, 확신 및 정확성을 향상시킬 수 있다. 다음은 신장 결석에 대한 물체 크기 조정을 설명하지만, 예를 들어 병변, 성장 및 기타 조직 특징과 같은 다른 영상 특징이 내시경 디스플레이에서 크기 조정되고 주석이 달릴 수 있다.
도 5는 물체 크기 정보로 내시경 비디오에 주석을 달기 위한 방법(400)을 도시한다. 405에서, 방법(200)의 단계(205-215)에 따라 공간 변환 및 영상 맵이 생성되고 영상의 예비 세트가 캡처되고 상관된다.
410에서, 스코프-관련 대상은 영상의 예비 세트에서 식별되고 분할된다. 스코프-관련 대상은 예를 들어 레이저 쇄석술을 수행하기 위한 레이저 섬유를 포함할 수 있다. 스코프-관련 대상 분할은 미리 정의된 기능 맵과 제한된 등록 기하학 구조를 사용하여 구현된다.
415에서, 관심 대상이 식별되고 예비 영상 세트에서 분할된다. 관심 대상은 예를 들어 신장 결석이 포함될 수 있다. 관심 대상 분할은 당업자에게 공지된 바와 같이, 영상 특징 및 얼룩(blob) 찾기 알고리즘을 사용하여 구현된다.
420에서, 공간 변환이 영상의 예비 세트에 적용되고 초해상도 장면 맵이 식별된 스코프-관련 대상을 제외하고 계산된다.
425에서, 방법(300)의 단계(310-330)에 따라 확률적 깊이 맵이 유도된다. 깊이 맵은 초해상도 맵 정렬 및 암시적 카메라 포즈 변환으로부터의 독립적인 지역 변환에 기초한다. 단계(310-330)는 영상의 연속적인 획득 및 장면 맵의 해상도를 지속적으로 개선하기 위한 장면 맵에 대한 상관/추가를 포함한다.
430에서, 이전에 식별된 관심 대상의 크기는 현재 캡처된 영상의 깊이 정보 및 각도 범위에 기초하여 추정된다.
435에서, 관심 대상, 예를 들어 신장 결석은 현재 캡처된 영상의 디스플레이에 주석이 달린다. 일 실시예에서, 대상의 치수는 디스플레이 상에 직접적으로 제공될 수 있다. 다른 실시예에서, 대상은 대상의 경계를 나타내기 위해 괄호로 주석이 달릴 수 있다. 상기 괄호는 대상에 대한 크기 추정치를 미리 정의된 처리 임계값과 비교함으로써 물체의 크기 분류를 나타내도록 색상으로 코딩될 수 있다(color-coded). 예를 들어, 크기 추정치가 대상을 더 줄여야 한다고 표시하면 상기 괄호는 빨간색으로 표시될 수 있고, 크기 추정치가 대상이 회수할 수 있을 만큼 작지만 자연적으로 배출되기에는 너무 크다는 것을 표시하면 상기 괄호는 노란색으로 표시될 수 있으며, 크기 추정치가 대상이 자연스럽게 통과될 수 있다는 것을 표시하면 상기 괄호는 녹색으로 표시될 수 있다. 즉, 신장 결석이 들어갈 수 있는 가장 작은 튜브 크기를 나타내기 위해 신장 결석에 주석을 달 수 있다. 도 6은 신장 결석이 괄호로 표시된 예시적인 내시경 비디오 디스플레이를 도시한다.
대안적인 실시예에서, 위에서 설명된 프레임-대-프레임 상관 관계 또는 초해상도 맵은 각각의 분할된 픽셀에서 다수의 샘플로부터 컬러 및 알베도(albedo)의 통계적 설명을 구축하는 데 사용된다. 클러스터링 알고리즘과 생체 내 훈련 데이터를 사용한 기계 학습(machine learning)은 식별된 크기 그룹 내에서 멤버십 확률을 예측하기 위한 구성 맵을 만드는 데 사용된다.
SFM 기술은 내시경 절차 동안 내시경 위치를 추적하기 위한 프로세스를 알리는 데 사용될 수 있다. 내시경 비디오에서 결정된 내시경에 대한 SFM 포즈 추정은 EM 추적기(108)의 위치 정보 및 지속적으로 변형되는 환자의 해부학적 구조에 대해 내시경에 대한 위치 결정을 개선하기 위해 이전에 획득한 영상에서 유도된 환자 해부학 구조의 분할된 3D 재구성과 함께 사용될 수 있다.
도 7은 제 1의 예시적인 실시예에 따라 연속적으로 변형되는 해부학 구조에 대한 내시경의 위치를 추적하기 위한 방법(500)을 도시한다. 505에서, 해부학 구조의 표적 부분의 이전에 획득된 3D 영상 볼륨이 수신되고 분할된다. 3D 볼륨은 이전에 캡처한 CT 영상 또는 유사한 영상 매체에서 캡처한 영상에 의해 생성될 수 있다. 510에서, SFM 깊이 맵은 방법(300)의 단계(305-330)에 따라 유도된다. 깊이 맵은 해부학 구조 관련 움직임, 위치 추정 및 위치 추정에 대한 신뢰 레벨을 제공한다.
515에서, 내시경(102)에 대한 6자유도(6DOF) 위치는 내시경(102)의 팁 근처에 배치된 EM 추적기(108)를 사용하여 결정된다. 515로부터의 6DOF 위치 및 510으로부터의 SFM 깊이 맵을 채우는 영상은 실질적으로 동시에 수신되고 상관될 수 있다.
520에서, EM 추적기(108)로부터의 위치 데이터, SFM 맵으로부터의 위치 데이터, 및 해부학적 구조의 고정 체적은 내시경(102)을 해부학적 구조의 표면 경계 내에서 유지하기에 충분한 해부학적 구조의 최소 변형을 추정하기 위해 결합된다. 결과 모델은 위치 데이터가 스코프(102)가 분할된 표면 모델과 접촉했음을 나타낼 때까지 스코프(102)가 공동 내에서 자유롭게 움직이는 것으로 가정한다. 위치 데이터가 고정 모델의 표면을 브리칭하는 것으로 표시되면 해부학적 구조가 변형되어 표면 내에서 스코프(102) 위치를 유지한다. 예를 들어, 해부학적 구조는 표면 방향에 수직으로 변위된다.
525에서, 결합된 모델 및 6DOF 내시경 위치는 SFM 깊이 맵으로부터 위치 추정을 알리고 개선한다. 개선된 추정은 잡음의 폭주 통합을 방지한다.
530에서, 처리된 영상은 라이브 주석 탐색 피드백과 함께 디스플레이(114)에 표시된다. 일 실시예에서, 주석은 이전 영상화로부터의 결석 또는 입자의 위치를 반영할 수 있다. 또한, 자기 공명(MR) 추적 또는 광학 추적을 통합함으로써, 주석에 이미 탐색된 경로가 반영될 수 있다. 이 방법은 영상이 획득될 때 계속 반복된다.
대안적인 실시예에서, 방법(300)에서 유도된 SFM 깊이 맵보다 당업계에 공지된 SFM 기술이 사용될 수 있다. 예를 들어 카메라 모션으로 인한 변환과 같은 일반적인 변환을 나타내는 데 필요한 적은 비선형으로, 방법(300)으로부터 SFM 깊이 맵은 더 간단한 기하학적 구조를 갖는다. 기존 SFM 알고리즘도 카메라 광학에 대한 기하학적 보정이 필요하지만 이러한 보정은 표면 연속성 및 방향에 대한 가정으로 확장되지 않는다. 이러한 가정이 유효하면, 솔루션의 수치적 복잡성이 급격히 감소하여 성능이 향상되고 오류가 줄어든다.
양성 전립선 비대증(benign prostate hyperplasia; BPH)은 다양한 최소 침습성 경요도 내시경 수술(invasive transurethral endoscopic procedure)을 통해 치료될 수 있는 상태이다. 해부학적 랜드마크에 대한 내시경의 위치에 대한 지식은 내시경 비디오의 주석을 허용하여 거리를 측정하고 진행 중인 다단계 개입을 추적하는 의사에게 도움을 제공한다.
도 8은 제 2의 예시적인 실시예에 따른 관형 구조, 예를 들어 요도의 내시경 비디오에서 모션 추적을 위한 방법(600)을 도시한다. 상기 방법(600)은 해부학적 랜드마크에 대한 현재 위치, 의도된 개입과 관련된 원하는 위치, 및 해당 개입에 대한 진행 표시기를 포함하는 주석을 제공할 수 있다.
605에서, 카메라 회전의 중심과 이동 방향이 매핑된다. 610에서, 광학 시스템은 스코프의 POV에서 각각의 영상 픽셀과 스코프 이동 방향 사이의 물리적 각도를 유도하도록 매핑된다. 광학 시스템 매핑은 카메라 축선으로부터 각도 거리를 특정하는 영상의 각각의 픽셀에 대해 위도에서와 같이 스칼라를 효과적으로 정의한다(극에서 0°라는 점 그리고 적도에서 90°라는 점, 그 반대도 제외하고, 위도 유추에서 북극). 0°에서 영상에서의 "극(pole)" 위치는 카메라가 카메라 축선을 따라 정확히 전진하거나 후퇴할 때 동일한 위치에 지향되어 유지하는 지점이다.
615에서, 각각의 해부학적 구조 픽셀까지의 거리는 매핑 단계(605-610)에 기초하여 각각의 영상에 대해 결정된다. 거리는 스코프(102)에 수직인 기준 평면으로부터 픽셀에서 영상화되는 대상까지 측정된다.
620에서, 변형된 영상은 자체 축선에 대한 스코프의 결정된 거리 및 회전 각도에 기초하여 원통형 공간에서 계산된다. 변형된 영상은 스코프 회전 지점에서 스코프 비디오의 참조 방향 기능까지의 벡터에 대해 계산된다. 참조 방향을 정의하기 위해 임의의 기능이 선택되므로(예: 도 3에서 0° 각도 설정) 모든 후속 매핑은 참조 방향과 직간접적으로 관련된다.
625에서, 영상 특징이 식별된다. 예를 들어, 헤센 결정인자(Hessian determinants)와 같은 중요도 측정 기준(saliency metrics)은 영상 특징을 식별하기 위해 변형된 원통형 영상으로부터 스케일 공간에서 계산된다.
630에서, 특징 디스크립터(feature descriptor)는 무시되는 이미저(104)의 시야 내 개입 기구의 임의의 부분과 관련된 영상 특징으로 구축된다. 특징 디스크립터는 원통형 영상의 특징 영역 픽셀 값을 기반으로 한다. 635에서는 디스크립터를 기반으로 기능들이 일치된다. 일 실시예에서, 현재의 알고리즘은 영상을 다른 영상에 매칭시키는 경향이 있지만, 다른 실시예에서, 글로벌 맵이 가능하고 잠재적으로 유리하다. 이전 방법과 달리, 스케일 및 회전 불변 계산을 수행할 필요가 없다. 장면 맵의 기하학적 구조에 대한 추론을 통해, 피처의 기하학적 구조는 한 영상에서 다음 영상까지 일관된 크기와 방향을 유지해야 한다. 예를 들어, 형상의 방향은 외삽된 원통의 소실점에 대한 형상의 벡터를 기준으로 하므로, 스코프가 축선을 따라 실질적으로 회전된 상태에서 후속적으로 가까운 영상을 획득하면 이 방향 각도에 영향을 미치지 않아서 기능을 보다 직접적으로 일치시킬 수 있다.
640에서, 외부 일치는 거부되고 상대적인 카메라 포즈 변환은 영상 프레임 사이에서 추론된다. 주석은 참조 특징 및 참조 평면과의 관계로 표현되므로 카메라 포즈 변환이 알려지면 위치를 다시 영상 공간으로 변환할 수 있다.
도 9는 해부학적 랜드마크에 대한 현재 위치, 개입과 관련된 원하는 위치, 및 해당 개입에 대한 진행 표시기가 표시되는 예시적인 내시경 비디오 디스플레이를 도시한다.
도 10은 제 2의 예시적인 실시예에 따른 관형 구조의 내시경 비디오에서 모션 추적을 위한 방법(700)을 도시한다. 상기 방법(700)은 방법(600)과 유사하다. 705에서, 변형된 영상은 방법(600)의 단계(605-620)에 따라 원통형 공간에서 계산된다.
710에서, 기구 대상에 대응하는 픽셀이 무시되는 마스크 영상이 생성된다. 현재 영상이 제 1 영상인 경우, 715에서, 마스크 영상을 맵 영상으로 저장한다. 현재 영상이 후속 영상이면, 720에서, 적절한 정렬 기준에 따라 맵 영상과의 최적의 정렬을 계산한다. 예를 들어, 최적의 정렬은 헤센 결정인자 가중 상관 관계 또는 엔트로피-가중 상관 관계와 같은 상관을 기반으로 계산될 수 있다. 725에서, 영상은 최적의 정렬을 기반으로 하는 맵과 오버레이된다.
730에서, 맵 위치 샘플의 통계적 조합을 사용하여 업데이트된 맵 영상이 계산된다. 예를 들어, 맵 영상은 각각의 픽셀이 정의된 모든 영상에 걸쳐 각각의 색상 채널(color channel)의 중간 강도를 사용하여 계산될 수 있다. 735에서, 맵과의 정렬에서 카메라의 상대 위치를 추론한다.
BPH를 치료하기 위한 하나의 수술은 레이저 전립선 절제술이며, 이는 레이저를 전립선 조직 위로 통과시켜 전립선 조직을 수축시키거나 제거한다. 이 수술은 레이저에 대한 스위프 범위(즉, 레이저가 통과하는 각도 범위)와 스위프 속도(즉, 단위 시간당 각도 변화)를 특징으로 한다. 스위프 범위, 스위프 속도, 및 스위프 각도는 레이저의 출력 밀도, 조직에서 레이저까지의 거리, 조직의 유형, 레이저 주파수, 및 섬유 크기에 의해 결정된다. 내시경 비디오 피드에 주석을 통합하여 의사의 인식과 정확성을 높여 레이저 치료 수술을 용이하게 할 수 있다.
도 11은 방광경 비디오 피드를 분석하고 레이저 치료 수술, 예를 들어 GreenLightTM 레이저를 알리기 위해 주석을 제공하기 위한 방법(800)을 도시한다. 805에서, 영상 특징은 레이저 장치에 대해 저장된다. 810에서 영상이 캡처된다. 815에서, 이미저가 영상에서 레이저 장치의 적어도 일부를 캡처했다면 레이저 장치의 방향 및 카메라에 대한 거리가 계산된다.
820에서, 레이저 빔 산란의 분포는 컬러 필터링을 사용하여 결정된다. 825에서, 산란 피크가 영상에서 캡처되면 산란 피크를 기반으로 레이저 방향이 추정된다. 산란 피크는 반사된 레이저 광의 강도, 즉, 레이저 빔의 경로에서 직접 해부학적 구조에서의 위치를 추론하기 위해 레이저 펄스와 함께 왕래하는 밝은 점이다. 레이저 섬유의 단부의 직접 시각화와 결합하여 레이저 방향 추정(카메라 센서에 투영된 대로)이 결정된다.
830에서, 레이저 장치로부터 산란 피크까지의 거리의 사전 보정된 맵을 사용하여 절제 거리가 추정된다. 가능한 경우, 거리 추정은 단계(815)의 거리 계산을 사용하여 개선될 수 있다.
835에서, 최적의 레이저 스위프 속도는 거리 추정치 및 레이저 파워 설정에 기초하여 계산된다. 840에서, 최적의 스위프 속도를 보여주고 최적의 스위프 속도와 검출된 스위프 속도 사이의 관계를 나타내는 제1 주석이 디스플레이(114) 상에 제공된다.
845에서, 절제 깊이를 나타내는 제 2 주석이 디스플레이(114) 상에 제공된다. 표시된 절제 깊이는 전립선 캡슐까지의 거리와 관련될 수 있다.
850에서, 최적의 속도와 측정된 속도와 스위프 각도 사이의 관계와 적절한 속도를 설명하기 위해 시각적 신호가 제공된다.
도 12는 추정된 최적 범위에 대한 전력 수준, 레이저 표적 조직에 대한 겉보기 평균 깊이, 추정된 스위프 각도, 및 힘과 평균 깊이로부터 계산된 최적 스위프 각도/스위프 페이스를 포함하는, 도시된 전립선 레이저 주석을 구비한 예시적인 내시경 비디오 디스플레이를 도시한다.
대안적인 실시예에서, 각각의 스위프 각도에서의 겉보기 절제 깊이를 이전에 획득된 3D 영상 볼륨에서 측정된 투영된 요도 대 캡슐 거리와 비교하는 비디오 주석이 제공된다. 레이저 위치가 (이전) 요도 위치에 있기 때문에, 이전 영상화에서 캡슐 측정까지의 거리는 절제 절차에 대한 제한 깊이를 제공한다. 사용자는 캡슐 또는 그 이상에서 절제를 계속하지 않도록 선택할 수 있다.
또 다른 대안적인 실시예에서, 각도 및 깊이 추정치는 3D 기기 추적 시스템으로부터 계산된 레이저 각도 및 삽입 깊이 측정치와 결합된다.
내시경 관측에서 상이한 유형의 조직을 구별하는 것은 다양한 내시경 절차를 더욱 용이하게 할 수 있다. 정렬된 영상 프레임에서 아주 약간의 변동이라도 증폭하면 심장 위상 측정과의 상관 관계를 허용하고 조직 관류의 차이를 강조할 수 있다.
일 실시예에서, 적절하게 설계된 컨볼루션 신경망(convolutional neural network; CNN)은 필터링 및 증폭 매개변수의 임시 조정을 허용하여 이전 방법보다 더 유연한 구현을 생성할 수 있다. 제 1 컨볼루션 층을 공급하는 CNN의 입력 볼륨은 몇 초 분량의 비디오 프레임 정도의 깊이를 가지며, 적색, 녹색, 및 청색 색상 채널에 대해 3배이다. 출력 층은 비디오 프레임의 길이와 너비가 동일하고 깊이가 1이며 심장 상관도를 나타낸다. 네트워크는 지정된 심장 간격과 일치하도록 조정된 임의의 일련의 미리 정의된 웨이블릿(wavelet)에 대한 픽셀의 최대 시간 상관 관계를 측정하는 비용 함수를 사용하여 비압축 생체 내 내시경 비디오를 트레이닝한다. 결과 값 및 최대 웨이블릿은 신호 증폭을 드라이브하여 조직 관류의 차이를 유도하고 이와 관련하여 조직 구성의 차이를 강조할 수 있다. CNN을 사용하면 감독되지 않은 방식으로 파생이 가능하지만 이전 방법에는 원시 영상 프레임을 적절하게 필터링하기 위해 반복적인 사용자 개입이 필요하다.
CNN은 또한 노이즈가 적고 세부가 향상된 영상을 생성하는 데 사용될 수 있다. 심층 컨벌루션 신경망(CNN)은 내시경의 픽셀 데이터에 직접 적용될 수 있다. 이 비정형 CNN에서, 출력 볼륨은 입력 볼륨과 동일한 깊이(적색, 녹색, 및 청색 채널의 경우 3)를 갖지만 입력 폭과 높이의 정수배(초-해상도 승수)의 동일한 정수배인 폭 및 높이, 및 컨볼루션 층의 분수령(fractional striding)을 갖는다. 네트워크 트레이닝을 위한 오차 항은, 입력 데이터의 가장 높은 공간 주파수 성분이 나이퀴스트(Nyquist) 한계를 넘어 출력 데이터 변환에서 표현할 수 있는 가장 높은 공간 주파수에 해당하는 것을 제외하고, 출력 값뿐만 아니라 원본 픽셀에 대해 이산 하틀리(Hartley) 변환을 수행하고 제곱 차이를 최소화하여 계산된다. 대안적인 실시예에서, 입력 데이터의 공간 주파수 변환은 잡음 억제를 돕기 위해 상관 관계 기반 등록 변환을 사용하여 계산된 다중 프레임 평균 영상에 대해 수행된다.
다양한 기존의 초해상도 또는 SFM 방법은 기존 기술을 개선하기 위해 개시된 방법의 요소와 결합될 수 있다. 예를 들어, 방법(200)과 관련하여 논의된 바와 같이 내시경의 알려진/교정 가능한 광학 기하학은 기존의 초해상도 기술을 개선하기 위해 이용될 수 있다. 내시경의 광학적 기하학적 구조를 기반으로 생성된 영상 맵은 각각의 프레임에서 픽셀당 1개의 샘플을 가질 수 있으며 스코프 영상은 "이동 및 융합(shift and fusion)"과 같은 공지된 초해상도 기술로 변환될 수 있다.
영상을 향상시키기 위한 다른 기술은 대역, 중앙값 또는 고주파수 필터와 같은 픽셀 데이터에 다양한 필터를 적용하고, 흐리거나 탁한 환경을 통해 관심 대상에 대한 에지 검출을 사용하는 것을 포함한다. 이들 추가 기술은 단독으로 또는 전술한 실시예와 조합하여 사용될 수 있다.

Claims (15)

  1. 내시경 시스템으로서,
    생체 내 표적 부위의 영상 프레임(image frame)을 캡처(capture)하도록 구성된, 내시경 이미저(imager);
    프로세서로서,
    공간 변환을 영상 프레임의 예비 세트에 적용하고, 상기 공간 변환은 상기 영상 프레임을 원통 좌표로 변환하고;
    공간적으로 변환된 영상 프레임으로부터 맵 영상(map image)을 계산하고, 상기 맵 영상의 각각의 픽셀 위치는 고정된 치수의 벡터로 정의하고;
    현재 영상 프레임을 맵 영상과 정렬하고 상기 현재 영상 프레임에 상기 공간 변환을 적용하고;
    융합된 영상을 생성하기 위해 공간적으로 변환된 현재 영상 프레임을 상기 맵 영상에 융합(fuse)하고; 그리고
    현재 영상 프레임보다 더 큰 공간 해상도를 갖는 향상된 현재 영상 프레임을 생성하기 위해 융합된 영상에 역 공간 변환을 적용하도록 구성된 프로세서; 및
    상기 향상된 현재 영상 프레임을 표시하도록 구성된 디스플레이를 포함하는, 내시경 시스템.
  2. 제 1 항에 있어서,
    상기 공간 변환은 상기 내시경 이미저의 광학적 기하학적 구조에 기초하여 생성되는, 내시경 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 맵 영상은 상기 내시경 이미저의 해상도보다 큰 정수배인 해상도를 갖는, 내시경 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 현재 영상 프레임과 상기 맵 영상 사이의 유사도가 측정되는 상호 상관 관계에 기초하여 상기 현재 영상 프레임이 상기 맵 영상과 정렬되는, 내시경 시스템.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 프로세서는:
    공간적으로 변환된 현재 영상 프레임을 둘러싸는 상기 맵 영상의 영역에 기초하여, 상기 현재 영상 프레임과 비교하여, 상기 향상된 현재 영상 프레임의 시야를 확장하도록 더 구성되는, 내시경 시스템.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 프로세서는:
    공간적으로 변환된 현재 영상 프레임을 상기 맵 영상에 추가하도록 더 구성되는, 내시경 시스템.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 맵 영상에서 주어진 픽셀 위치가 가득 차면, 새로운 샘플이 추가될 때 가장 오래된 샘플이 삭제되는, 내시경 시스템.
  8. 내시경 시스템으로서,
    생체 내 표적 부위의 영상 프레임을 캡처하도록 구성된, 내시경 이미저; 및
    프로세서로서,
    공간 변환을 영상 프레임의 예비 세트에 적용하고, 상기 공간 변환은 상기 영상 프레임을 원통 좌표로 변환하고;
    공간적으로 변환된 영상 프레임으로부터 맵 영상을 계산하고, 상기 맵 영상의 각각의 픽셀 위치는 고정된 치수의 벡터로 정의하고;
    상기 맵 영상의 스케일 공간 표현(scale space representation)을 계산하고;
    복수의 독립 영역을 포함하는 추가 영상을 캡처하고;
    각각의 독립 영역에 대한 미리 결정된 양의 영상 데이터가 획득되었을 때 상기 독립 영역 각각에 대한 독립 공간 변환을 포함하는 비선형 공간 변환을 전개하고; 그리고
    상기 비선형 공간 변환에서 움직임 기반 구조(structure from motion; SFM) 깊이 맵을 유도(deriving)하도록 구성된, 프로세서를 포함하는, 내시경 시스템.
  9. 제 8 항에 있어서,
    상기 SFM 깊이 맵은 상기 내시경 이미저에 대한 추적 정보에 더 기초하고, 상기 추적 정보는 캡처된 영상 사이에서 상기 내시경 이미저의 변화하는 포즈(changing pose)를 포함하는, 내시경 시스템.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 프로세서는:
    영상 프레임의 상기 예비 세트에서 스코프-관련 대상(scope-relative object) 및 관심 대상을 식별하고 분할하고; 그리고
    상기 공간 변환이 영상의 상기 예비 세트에 적용될 때 상기 식별된 스코프-관련 대상을 제외하도록 더 구성되는, 내시경 시스템.
  11. 제 10 항에 있어서,
    상기 프로세서는:
    현재 영상 프레임의 깊이 정보와 각도 범위에 기초하여 관심 대상의 크기를 추정하도록 더 구성되는, 내시경 시스템.
  12. 제 11 항에 있어서,
    주석이 달린 상기 관심 대상으로 현재 영상 프레임을 표시하도록 구성된 디스플레이를 더 포함하는, 내시경 시스템.
  13. 제 12 항에 있어서,
    상기 관심 객체는 신장 결석인, 내시경 시스템.
  14. 제 8 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 내시경 이미저에 대한 6 자유도 위치(six degree-of-freedom position)를 포함하는 추적 데이터를 제공하도록 구성된 내시경 이미저에 부착된 전자기(EM) 추적기를 더 포함하고,
    상기 프로세서는 표적 부위의 이전에 획득된 3D 영상 볼륨을 분할하도록 더 구성되고,
    상기 추적 데이터는 상기 분할된 영상 볼륨 및 상기 SFM 깊이 맵과 결합되어 상기 내시경 이미저에 대한 위치 추정을 제공하는, 내시경 시스템.
  15. 제 14 항에 있어서,
    상기 프로세서는,
    상기 추적 데이터가 상기 분할된 영상 볼륨의 표면을 브리칭(breaching)하는 것으로 표시되면 상기 분할된 영상 볼륨을 변형하도록 더 구성되는, 내시경 시스템.
KR1020227009550A 2019-09-23 2020-08-27 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법 KR102630074B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247002652A KR20240017960A (ko) 2019-09-23 2020-08-27 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962904408P 2019-09-23 2019-09-23
US62/904,408 2019-09-23
PCT/US2020/048202 WO2021061335A1 (en) 2019-09-23 2020-08-27 System and method for endoscopic video enhancement, quantitation and surgical guidance

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247002652A Division KR20240017960A (ko) 2019-09-23 2020-08-27 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220051234A true KR20220051234A (ko) 2022-04-26
KR102630074B1 KR102630074B1 (ko) 2024-01-29

Family

ID=72433040

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020247002652A KR20240017960A (ko) 2019-09-23 2020-08-27 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법
KR1020227009550A KR102630074B1 (ko) 2019-09-23 2020-08-27 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020247002652A KR20240017960A (ko) 2019-09-23 2020-08-27 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법

Country Status (9)

Country Link
US (2) US11430097B2 (ko)
EP (2) EP4345733A2 (ko)
JP (2) JP7206438B2 (ko)
KR (2) KR20240017960A (ko)
CN (1) CN114423355A (ko)
AU (2) AU2020352836B2 (ko)
CA (2) CA3147447A1 (ko)
NZ (1) NZ785155A (ko)
WO (1) WO2021061335A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115988151A (zh) * 2022-12-29 2023-04-18 南京图格医疗科技有限公司 一种使用低像素时钟实时处理视频的方法及系统
CN116958147A (zh) * 2023-09-21 2023-10-27 青岛美迪康数字工程有限公司 基于深度图像特征的目标区域确定方法、装置和设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114423355A (zh) * 2019-09-23 2022-04-29 波士顿科学医学有限公司 用于内窥镜视频增强、定量和手术引导的系统和方法
US11918178B2 (en) * 2020-03-06 2024-03-05 Verily Life Sciences Llc Detecting deficient coverage in gastroenterological procedures
US11288771B2 (en) * 2020-04-29 2022-03-29 Adobe Inc. Texture hallucination for large-scale image super-resolution
US11778157B2 (en) * 2021-03-25 2023-10-03 Eys3D Microelectronics, Co. Image capture device and depth information calculation method thereof
US20220319031A1 (en) * 2021-03-31 2022-10-06 Auris Health, Inc. Vision-based 6dof camera pose estimation in bronchoscopy
CN113538522B (zh) * 2021-08-12 2022-08-12 广东工业大学 一种用于腹腔镜微创手术的器械视觉跟踪方法
CN116211260B (zh) * 2023-05-09 2023-07-21 西南医科大学附属医院 一种基于变焦扫描的肾结石形态三维成像系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071143A1 (en) * 2006-09-18 2008-03-20 Abhishek Gattani Multi-dimensional navigation of endoscopic video
US7813538B2 (en) * 2007-04-17 2010-10-12 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7381183B2 (en) * 2003-04-21 2008-06-03 Karl Storz Development Corp. Method for capturing and displaying endoscopic maps
US7420675B2 (en) * 2003-06-25 2008-09-02 The University Of Akron Multi-wavelength imaging system
JP4018679B2 (ja) 2004-08-24 2007-12-05 ザイオソフト株式会社 レンダリング処理方法、レンダリング処理プログラム、レンダリング処理装置
JP4563421B2 (ja) 2007-05-28 2010-10-13 ザイオソフト株式会社 画像処理方法及び画像処理プログラム
JP2011139734A (ja) 2010-01-05 2011-07-21 Hoya Corp 内視鏡装置
TWI428855B (zh) 2010-12-02 2014-03-01 Chung Shan Inst Of Science The Method of Restoring Three Dimensional Image of Capsule Endoscopy
US10231626B2 (en) * 2013-03-15 2019-03-19 The Regents Of The University Of California Imaging system and method for fluorescence guided surgery
JP6235921B2 (ja) * 2014-02-07 2017-11-22 国立大学法人広島大学 内視鏡画像診断支援システム
US9259231B2 (en) 2014-05-11 2016-02-16 Gyrus Acmi, Inc. Computer aided image-based enhanced intracorporeal lithotripsy
US20180174311A1 (en) * 2015-06-05 2018-06-21 Siemens Aktiengesellschaft Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
EP3103396B1 (en) * 2015-06-10 2018-10-24 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt GmbH Device and method for hybrid optoacoustic tomography and ultrasonography
EP3245932A1 (en) 2015-07-06 2017-11-22 Olympus Corporation Medical device, medical image generating method, and medical image generating program
US20170281102A1 (en) * 2016-03-31 2017-10-05 Weng-Dah Ken Non-contact angle measuring apparatus, mission critical inspection apparatus, non-invasive diagnosis/treatment apparatus, method for filtering matter wave from a composite particle beam, non-invasive measuring apparatus, apparatus for generating a virtual space-time lattice, and fine atomic clock
EP3468668B1 (en) * 2017-05-30 2020-01-01 Brainlab AG Soft tissue tracking using physiologic volume rendering
JP7236689B2 (ja) 2018-03-05 2023-03-10 リオン株式会社 ３次元形状データ作成システムの作動方法、及び３次元形状データ作成システム
GB2610712B (en) * 2018-06-15 2023-07-19 Canon Kk Medical image processing apparatus, optical coherence tomography apparatus, learned model, learning apparatus, medical image processing method and program
CN109342861B (zh) * 2018-12-10 2020-12-22 哈尔滨工业大学 一种霍尔推力器周向辐条特性测量方法及系统
CN114423355A (zh) * 2019-09-23 2022-04-29 波士顿科学医学有限公司 用于内窥镜视频增强、定量和手术引导的系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080071143A1 (en) * 2006-09-18 2008-03-20 Abhishek Gattani Multi-dimensional navigation of endoscopic video
US7813538B2 (en) * 2007-04-17 2010-10-12 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115988151A (zh) * 2022-12-29 2023-04-18 南京图格医疗科技有限公司 一种使用低像素时钟实时处理视频的方法及系统
CN116958147A (zh) * 2023-09-21 2023-10-27 青岛美迪康数字工程有限公司 基于深度图像特征的目标区域确定方法、装置和设备

Also Published As

Publication number Publication date
CN114423355A (zh) 2022-04-29
US20210090226A1 (en) 2021-03-25
JP7206438B2 (ja) 2023-01-17
CA3147447A1 (en) 2021-04-01
US11954834B2 (en) 2024-04-09
US11430097B2 (en) 2022-08-30
AU2020352836B2 (en) 2023-05-25
AU2023214320A1 (en) 2023-08-31
KR102630074B1 (ko) 2024-01-29
CA3232181A1 (en) 2021-04-01
JP2022546610A (ja) 2022-11-04
US20220366553A1 (en) 2022-11-17
JP2023038233A (ja) 2023-03-16
EP4035120A1 (en) 2022-08-03
AU2020352836A1 (en) 2022-03-10
NZ785155A (en) 2024-03-22
WO2021061335A1 (en) 2021-04-01
KR20240017960A (ko) 2024-02-08
EP4035120B1 (en) 2024-03-27
EP4345733A2 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
KR102630074B1 (ko) 내시경 비디오 향상, 정량화, 및 수술 안내를 위한 시스템 및 방법
Münzer et al. Content-based processing and analysis of endoscopic images and videos: A survey
US11071509B2 (en) Surgical devices and methods of use thereof
US20230372028A1 (en) Alignment techniques for percutaneous access
JP5795599B2 (ja) 内視鏡手術のための画像統合ベースレジストレーション及びナビゲーション
US9547940B1 (en) Systems and methods for providing augmented reality in minimally invasive surgery
US11172184B2 (en) Systems and methods for imaging a patient
Zhang et al. A markerless automatic deformable registration framework for augmented reality navigation of laparoscopy partial nephrectomy
JP2012525190A (ja) 単眼の内視鏡画像からのリアルタイム深度推定
JP2013517031A5 (ko)
US20230113035A1 (en) 3d pathfinder visualization
Hussain et al. Augmented reality for inner ear procedures: visualization of the cochlear central axis in microscopic videos
CN108430376B (zh) 提供投影数据集
EP3527159A2 (en) 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking
US20230230263A1 (en) Two-dimensional image registration
Liu et al. UDCR: Unsupervised Aortic DSA/CTA Rigid Registration Using Deep Reinforcement Learning and Overlap Degree Calculation
WO2023126754A1 (en) Three-dimensional model reconstruction
CN117355257A (zh) 荧光镜扫描视频的体积过滤器

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant