KR20170055526A - 방광의 진단 맵핑을 위한 방법 및 시스템 - Google Patents

방광의 진단 맵핑을 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20170055526A
KR20170055526A KR1020177010032A KR20177010032A KR20170055526A KR 20170055526 A KR20170055526 A KR 20170055526A KR 1020177010032 A KR1020177010032 A KR 1020177010032A KR 20177010032 A KR20177010032 A KR 20177010032A KR 20170055526 A KR20170055526 A KR 20170055526A
Authority
KR
South Korea
Prior art keywords
video frames
video
bladder
map
stitching
Prior art date
Application number
KR1020177010032A
Other languages
English (en)
Inventor
홍 린 호 덕
아밋 바산지
Original Assignee
타리스 바이오메디컬 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 타리스 바이오메디컬 엘엘씨 filed Critical 타리스 바이오메디컬 엘엘씨
Publication of KR20170055526A publication Critical patent/KR20170055526A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Abstract

방광과 같은 내부 기관 등의 내부 체강의 표면의 가시화를 생성하기 위한 방법 및 시스템을 제공한다. 이 방안은, 일반적으로, 내시경을 내부 체강 내에 삽입하고, 내부 체강을 획정하는 조직 표면들의 비디오를 획득하고, 비디오 프레임들을 함께 스티칭하여 내부 체강을 획정하는 조직 표면들의 파노라마 맵을 생성하고, 파노라마 맵을 표시하는 것을 포함한다.

Description

방광의 진단 맵핑을 위한 방법 및 시스템{METHODS AND SYSTEMS FOR DIAGNOSTIC MAPPING OF BLADDER}
관련 출원에 대한 상호 참조
본 출원은 2014년 9월 17일자로 가출원된 미국 가특허출원 제62/051,879호인 우선권을 주장하며, 이 우선권은 본원에 참고로 원용된다.
본 개시 내용은, 일반적으로 의료 촬상 분야에 관한 것으로서, 더욱 상세하게는 내부 체강의 표면의 진단 촬상을 위한 방법 및 시스템에 관한 것이다.
방광경을 사용하여 일상적으로 이용되는 방광 검사는 의사가 간질성 방광염이나 방광암과 같은 질환들의 가시적 증상을 검출하게 할 수 있다. 그러나, 방광에서 관찰되는 특징 혹은 특징부(feature)들에 관련된 데이터는, 방광에서의 치수 또는 색상 참조가 부족함으로 인해 본질적으로 정성적이며 주관적이다. 방광 표면의 사진이나 비디오를 얻을 수는 있지만, 관찰 내용에 대한 해석은 의사의 판단에 따르며, 이는 개인마다 다를 수 있다. 이러한 가변성의 한 결과로는, 사진이나 비디오와 같은 시각적 데이터에 대한 의견 일치를 내도록 임상 시험에서 여러 판독기를 사용한다는 점이 있다. 이에 따라, 질환의 진행과 눈에 보이는 증상을 추적하는 과정이 어려워질 수 있다.
방광 표면 특징부들의 치수(길이, 면적) 또는 색상과 같은 정량적 측정을 도입함으로써 더욱 객관적인 관찰이 가능해진다. 이러한 측정들은 질환 진행의 추적을 용이하게 할 수 있다. 그러나, 절대적 측정은 종래의 현재 종래의 방광경 검사법으로는 달성될 수 없다. 이는, 방광 벽으로부터의 거리에 관계없이 포커싱된 관찰을 가능하게 하고 방광경의 헤드에서의 장비를 단순화하도록 통상적으로 방광경이 무한한 초점 거리를 갖고 있기 때문이다. 화상을 찍은 방광 벽으로부터의 거리를 알지 못하면, 사진에 내부 참조가 없는 특징부의 치수를 추론할 수 없다. 색상의 경우, 통상적으로 화이트 밸런스가 방광경 시술 전에 수행되지만, 자동 밝기 설정으로 인해 검사 중에 광의 밝기가 변하면, 결과가 혼란스러울 수 있다. 광을 수동으로 조절하는 것은, 방광 내부의 광도에 대한 필요성이 바뀜으로 인해 조작자가 지속적인 재조정을 필요로 하므로, 실용적이지 못하다.
종래의 접근법에서, 방광은, 고정된 길이의 전기자(armature) 및 알려져 있는 초점 길이와 파노라마 스티칭을 보조하기 위한 사전 정의된 모션을 갖는 촬상 센서의 회전을 사용하여 맵핑된다. 그러나, 이 프로세스는, 획득 후 수행되며, 주어진 영역이나 프레임의 화질이 낮으면 재삽입/재촬상을 필요로 한다. 또한, 이 프로세스는, 바람직하지 못하게, 촬상을 수행하기 위해 특수한 센서 및 하드웨어(예를 들어, 형광 또는 모터식 방광경)의 사용을 필요로 하며, 이들은 모든 임상 현장에 대하여 적당하지 않거나 실현가능하지 않을 수도 있다. 또한, 예를 들어, 이러한 하드웨어의 고장 지점으로 인해, 재촬상은, 통증이 있거나 민감한 방광 병리를 가진 환자에겐 선택 사항이 아니다.
이에 따라, 방광을 촬상하고 방광을 정량적으로 관측하기 위한 개선된 방법 및/또는 시스템이 필요하다. 방광 질환의 존재 및/또는 진행(또는 퇴행)을 평가할 때 환자의 방광 표면에 대한 정량적 관측을 위한 개선된 수단을 제공하는 것이 바람직할 것이다.
일 양태에서는, 조직 표면들을 갖는 기관의 강(organ cavity)을 맵핑하는 방법을 제공하며, 이 방법은, 기관의 강 내에 내시경을 삽입하는 단계; 기관의 강을 획정하는 조직 표면들의 비디오를 획득하는 단계로서, 비디오는 복수의 비디오 프레임을 포함하는, 상기 획득하는 단계; 비디오 프레임들을 실시간으로 함께 스티칭(stitch)하여 기관의 강을 획정하는 조직 표면들의 파노라마 맵을 생성하는 단계; 및 파노라마 맵을 표시하는 단계를 포함한다.
다른 일 양태에서는, 환자의 요도를 통해 방광에 삽입된 방광경을 통해 획득된 방광의 비디오로부터 환자의 방광을 맵핑하는 방법을 제공하며, 이 방법은, 획득된 비디오로부터 복수의 비디오 프레임을 함께 스티칭하여 방광을 획정하는 조직 표면들의 파노라마 맵을 생성하는 단계; 및 파노라마 맵을 표시하는 단계를 포함한다.
또 다른 일 양태에서는, 환자의 질환 또는 병태의 진행을 추적하는 방법을 제공하며, 이 방법은, 제1 시간에 생성된 제1 파노라마 맵을 제2 시간에 생성된 제2 파노라마 맵과 비교하는 단계를 포함하며, 이러한 맵들은 본원에서 개시된 맵 생성 방법들 중 임의의 방법을 사용하여 생성된다.
또 다른 일 양태에서는, 기관의 강을 맵핑하기 위한 시스템을 제공하며, 이 시스템은, 내시경; 비디오 캡처 장치; 조명 장치; 컴퓨터 실행가능 명령어들을 저장하는 메모리; 적어도 하나의 메모리에 액세스하고, 컴퓨터 실행가능 명령어들을 실행하도록 구성된 프로세서; 및 표시 스크린을 포함하고, 컴퓨터 실행가능 명령어들은, (i) 기관의 강을 획정하는 조직 표면들의 비디오를 수신하고, 비디오는 내시경을 통해 기관의 강 내에 삽입된 비디오 캡처 장치에 의해 취득된 복수의 비디오 프레임을 포함하고, 비디오는 조직 표면들이 조명 장치에 의해 조명되는 동안 취득되는 것인, 상기 비디오를 수신하고, (ii) 복수의 비디오 프레임을 함께 실시간으로 스티칭하여 기관의 강을 획정하는 조직 표면들의 파노라마 맵을 생성하고, (iii) 파노라마 맵을 표시하기 위한 명령어들을 포함하고, 표시 스크린은 파노라마 맵을 예를 들어 실시간으로 표시하도록 구성된다.
이제, 제한적이 아니라 예시적인 것을 의미하는 도면을 참조하며, 유사한 요소들에는 유사한 번호가 매겨져 있다. 상세한 설명은, 동일한 참조 번호의 사용이 유사하거나 동일한 항목을 나타내는 본 개시 내용의 예들을 도시하는 첨부 도면을 참조하여 설명된다. 본 개시 내용의 몇몇 실시예는, 도면에 도시된 것과는 다른 요소, 구성요소 및/또는 구성을 포함할 수도 있으며, 도면에 도시된 요소, 구성요소, 및/또는 구성 중 일부는 몇몇 실시예에서는 존재하지 않을 수도 있다.
도 1은 내부 체강의 표면의 진단 촬상을 위한 시스템의 개략도이다.
도 2는 내부 체강의 표면의 진단 촬상 방법의 흐름도이다.
도 3은 복수의 비디오 프레임을 처리하기 위한 방법의 흐름도이다.
도 4는 질환 진행을 진단 또는 평가하기 위한 방법의 흐름도이다.
내부 체강을 한정하는 조직 표면의 비구조화된(unstructured) 파노라마 맵핑을 제공하기 위한 시스템 및 방법을 개발하였다. 시스템 및 방법은, 실질적으로 전체 내부 체강 표면을 치수 및 색상에 대한 참조로서 사용하여 상대 측정이 취득될 수 있다는 발견에 부분적으로 기초한다. 시스템 및 방법은 특히 병리의 길이방향 평가에 유용하다. 바람직한 실시예에서, 파노라마 맵핑은 실시간 또는 거의 실시간으로 발생한다.
본원에 개시된 장치 및 방법은, 남녀노소를 가리지 않고 인간에게 사용되거나 수의학 또는 가축에 응용하는 등과 같이 동물에게도 사용하도록 응용될 수 있다. 이에 따라, "환자"라는 용어는 인간 또는 다른 포유동물 대상을 지칭할 수도 있다.
본원에 설명된 방법 및 시스템은 임의의 내부 체강에 적용될 수 있지만, 바람직한 실시예는 방광을 참조하여 설명될 것이다. 방광은, 종래의 방광 방광경 검사가 상대적 측정을 취득하는 것을 어렵게 하는 방식으로 수행되기 때문에, 특히 본 시스템 및 방법에 적합하다. 본원에 기술된 방법 및 시스템과 함께 사용하는 데 적합한 체강의 다른 대표적인 예로는, 식도, 위, 십이지장, 소장, 대장(결장), 담관, 및 직장과 같은 위장관의 강; 코 또는 하부 호흡 기관과 같은 호흡 기관의 강; 귀; 요로의 강; 자궁 경부, 자궁, 및 난관과 같은 생식기 계통의 강이 있지만, 이에 한정되지 않는다.
도 1은 환자(104)의 내부 체강(102)의 표면의 진단 촬상을 위한 시스템(100)의 개략도이다. 도 1에 도시한 바와 같이, 시스템은 내시경(106)을 포함한다. 내시경(106)은 방광경과 같은 내부 체강을 들여다보는 데 사용되는 임의의 장치일 수 있다.
진단 촬상 시스템(100)은 또한 화상 캡처 장치(108)를 포함한다. 화상 캡처 장치(108)는, 관심 영역, 예를 들어, 내부 체강(102)의 표면으로부터 하나 이상의 화상을 획득하는 데 사용된다. 화상 캡처 장치(108)는 카메라와 같이 하나 이상의 화상을 캡처하기 위한 임의의 종래의 장치일 수 있다. 화상 캡처 장치(108)는 내시경(106)에 부분적으로 또는 전제적으로 통합되거나 내시경에 부분적으로 또는 전체적으로 결합될 수도 있다. 화상 캡처 장치(108)는 또한 내시경(106)이 없어도 된다.
진단 촬상 시스템(100)은 또한 조명 장치(110)를 포함한다. 조명 장치(110)는, 관심 영역, 예를 들어, 내부 체강(102)의 표면을 조명하는 데 사용된다. 조명 장치(110)는 임의의 종래 장치일 수 있다. 조명 장치(110)는 내시경(106)에 부분적으로 또는 전체적으로 통합되거나 내시경에 부분적으로 또는 전체적으로 결합될 수도 있다. 조명 장치(110)는 또한 내시경(106)이 없어도 된다. 조명 장치(110)는, 관심 영역을 적절한 전자기 파장으로 조명하기 위한 하나 이상의 광원을 포함한다. 예시적인 광원은, 광대역 또는 협대역 근적외선 광원, 여기 레이저 소스, 가시광원, 단색 광원, 다른 협대역 광원, 자외선 광원 등을 포함한다. 일 실시예에서, 조명 장치(110)는, 가시광 스펙트럼을 커버하여 종래의 컬러 화상의 획득을 용이하게 하는 백색 광원을 포함한다.
진단 촬상 시스템(100)은, 화상 캡처 장치(108)가 컴퓨터(114)와 통신하도록 구성되어, 화상 캡처 장치(108)의 출력, 예를 들어, 내부 체강의 표면의 획득된 하나 이상의 화상이 컴퓨터(114)에 의해 수신될 수 있다. 화상 캡처 장치(108)는 임의의 종래 수단에 의해 컴퓨터(114)와 통신할 수 있다. 예를 들어, 화상 캡처 장치(108)는 광섬유 케이블에 의해 무선으로 혹은 유선 또는 무선 컴퓨터 네트워크를 통해 컴퓨터(114)와 통신할 수도 있다.
컴퓨터(114)는 메모리(116)와 프로세서(118)를 구비한다. 메모리(116)는 컴퓨터 실행가능 명령어들을 저장할 수 있다. 프로세서(118)는 메모리(116)에 저장된 컴퓨터 실행가능 명령어들을 액세스 및 실행하도록 구성된다. 컴퓨터 실행가능한 명령어들은, 특히, 하나 이상의 수신된 화상을 처리하고, 수신된 화상들로부터 맵을 구성하고, 표시 장치(120) 상에 맵을 표시하기 위한 명령어들을 포함할 수도 있다.
진단 촬상 시스템(100)은, 컴퓨터(114)가 표시 장치(120)와 통신하도록 구성되어, 컴퓨터(114)의 출력, 예를 들어, 하나 이상의 화상으로 구성된 맵이 표시 장치(120)에 의해 수신될 수 있다. 컴퓨터(114)는 임의의 종래 수단에 의해 표시 장치(120)와 통신할 수 있다. 예를 들어, 컴퓨터(114)는, 비디오 케이블에 의해, 무선으로, 또는 유선이나 무선 컴퓨터 네트워크를 통해 표시 장치(120)와 통신할 수도 있다.
도 2는 내부 체강의 표면의 진단 촬상 방법의 흐름도이다. 단계(202)는 진단 촬상 절차를 위해 환자를 준비한다. 이 준비에는, 환자를 진정 또는 마취시키는 것과 같은 일반적인 준비 단계들이 포함될 수 있다. 몇몇 실시예에서, 환자는, 환자의 방광을 완전히 배수한 후 방광을 멸균 염수나 멸균 수 등의 용량이 알려져 있는 살균액으로 재충전함으로써 방광 표면의 진단 촬상을 위해 준비된다. 환자의 방광은, 통상의 기술자에게 알려진 임의의 다른 수단에 의해 배수되고 재충전될 수도 있다. 예를 들어, 방광은 환자의 배뇨에 의해 또는 삽입된 카테터를 통해 배수될 수도 있고, 방광은 종래의 방광 관개 기술을 사용하여 재충전될 수도 있다. 몇몇 실시예에서, 방광이 배수된 후 용량이 알려져 있는 살균액으로 방광을 재충전하고, 진단 촬상 절차의 적어도 일부 동안 방광을 알려져 있는 용량(예를 들어, 일정한 용량)으로 유지한다. 방광을 일정한 용량으로 유지함으로써, 실질적으로 전체의 방광 표면을 치수 및 색상에 대한 참조로서 이용하여 상대적 방광 측정값을 유리하게 취득할 수 있다.
단계(204)에서, 내시경의 적어도 일부, 화상 캡처 장치의 일부, 및 조명 장치의 일부가 내부 체강 내에 삽입된다. 화상 캡처 장치 및 조명 장치는, 내시경과 부분적으로 또는 전체적으로 일체이거나 내시경에 부분적으로 또는 전체적으로 결합될 수도 있다. 화상 캡처 장치와 조명 장치에는 또한 내시경이 없다. 바람직한 실시예에서, 내시경은, 디지털 비디오 화상 포착 및 백색 조명을 이용하는 종래의 수동 유도 방광경이다.
단계(206)에서, 화상 캡처 장치는 내부 체강의 실질적으로 전체 표면을 덮는 비디오 또는 하나 이상의 화상을 획득한다. 본원에서 사용되는 바와 같이, 내부 체강의 "실질적으로" 전체 표면은, 내부 체강의 전체 표면의 약 80% 초과, 85% 초과, 90% 초과, 95% 초과, 또는 97.5% 초과를 나타낸다.
바람직한 실시예에서, 내부 체강의 실질적으로 전체 표면의 비디오는 방광의 준-비구조화된(semi-unstructured) 방광경의 평가 중에 획득된다. 준-비구조화된 방광경 평가는, 전체는 아니더라도 적어도 하나의 평가 파라미터가 계획된 방광경 평가이다. 예를 들어, 준-비구조화된 방광경 평가는, 화상 캡처 장치를 패닝(panning)하기 위한 미리 정의된 시작점과 미리 정의된 방향을 가질 수도 있다. 다른 예에서, 준-비구조화된 방광경 평가는 미리 정의된 시작점 및 미리 정의된 다수의 다른 관심 지점들을 가질 수도 있다. 이 경우, 의사는, 시작점(예를 들어, 제1관심 지점)을 위치파악하고 촬상한 후, 화상 캡처 장치를 패닝하기 위한 미리 정의된 경로를 사용하지 않고 다른 관심 지점들의 비디오를 캡처하려 한다.
대체 실시예에서, 내부 체강의 실질적으로 전체 표면의 비디오는 방광의 완전히 비구조화된 방광경 평가 중에 획득된다. 완전히 비구조화된 방광경 평가는, 그 평가의 파라미터들이 계획되지 않은 방광경 평가이다. 예를 들어, 완전히 비구조화된 방광경 평가는, 화상 캡처 장치를 패닝하기 위한 미리 정의된 시작점, 미리 정의된 관심 지점, 및 미리 정의된 경로를 갖지 않을 수도 있다.
대체 실시예에서, 내부 체강의 실질적으로 전체 표면의 비디오는 방광의 완전히 구조화된 방광경 평가 중에 획득된다. 완전히 구조화된 방광경 평가는 그 평가의 모든 파라미터들이 계획된 방광경 평가이다. 예를 들어, 완전히 구조화된 방광경 평가는, 화상 캡처 장치를 패닝하기 위한 미리 정의된 시작점, 미리 정의된 관심 지점, 및 미리 정의된 경로를 가질 수도 있다.
몇몇 실시예에서, 의사는, 방광경 평가 시술, 또는 더욱 구체적으로, 비디오 획득 단계(206)와 관련된 정보를 갖는 디스플레이를 구비한다. 예를 들어, 디스플레이는, 미리 정의된 관심 지점들 또는 특징부들이 있는 내부 체강의 빈 맵을 나타낼 수도 있다. 미리 정의된 관심 지점들 또는 특징부들은, 내부 체강의 방광경 평가 중에 사용하기 위한 참조 프레임을 제공할 수 있으며, 내부 체강의 실질적으로 전체 표면을 획득하는 것을 확보하는 데 일조하도록 내부 체강의 화상 캡처 장치를 패닝하기 위한 참조로서 사용될 수 있다. 예를 들어, 디스플레이는 방광 및 대응하는 스캔 경로의 표현을 나타낼 수도 있다. 몇몇 실시예에서, 관심 지점들은 병리학 또는 표면 형태학의 영역(예를 들어, 표면 랜드마크)에 해당한다. 디스플레이에는 또한 다른 관련 정보가 포함될 수도 있다. 예를 들어, 디스플레이는, 촬상 절차와 관련하여 의사를 유도하는 것을 돕도록 예시적인 화상 또는 비디오를 포함할 수도 있다. 또한, 디스플레이는, 방광경 평가 시술 또는 비디오 획득 단계(206)에 대한 유용한 정보, 예를 들어, 방광경, 화상 캡처 장치, 및 조명 장치를 패닝하기 위한 방향 또는 경로, 방광경의 속도, 화상 캡처 장치, 조명 장치 이동, 조명 장치에 의해 출력되는 광의 밝기와 콘트라스트 레벨 등에 관한 정보를 포함할 수 있다.
몇몇 실시예에서, 의사는, 내부 체강의 나머지 표면의 화상 또는 비디오를 획득하기 전에 내부 체강의 표면 상의 제1관심 지점에서의 화상을 위치파악하고 획득한다. 몇몇 실시예에서, 의사는, 내부 체강의 표면에서 제1관심 지점을 찾거나 고정한 후, 다른 관심 지점들의 비디오를 패닝하거나 캡처하려 시도하는 동안 내부 체강을 통해 화상 캡처 장치를 패닝한다.
단계(208)에서, 단계(206)에서 획득된 비디오 또는 하나 이상의 화상은 컴퓨터에 의해 수신되고 처리된다. 바람직한 실시예에서, 단계(208)는 단계(206)와 동시에 수행된다. 그러나, 단계들(206, 208)은 또한 비동기적으로 수행될 수도 있다. 처리 단계(208)는 통상의 기술자에게 공지된 비디오 또는 화상을 처리하는 데 사용되는 임의의 개수의 종래의 방법들을 포함할 수도 있다. 몇몇 양태에서, 처리 단계(208)는, 표시 장치 상에 표시가능한 맵을 형성하도록 단계(206)에서 획득된 비디오 프레임들 또는 화상들을 결합하는 것을 용이하게 한다. 몇몇 실시예에서, 처리 단계(208)는, 각각의 획득된 비디오 프레임 또는 화상을, (1) 알려진 기하학적 변환에 기초하여 각 프레임 또는 화상을 언와핑(unwarping)하고, (2) 각 프레임 또는 화상으로부터 관련 특징 정보를 추출하고, 3) 각 프레임 또는 화상과 다른 프레임들 또는 화상들 간의 공통 특징점들을 결정하고, (4) 각 프레임 또는 화상과 다른 프레임들 또는 화상들 간의 호모그래피를 산출하는 알고리즘에 공급하는 것을 포함한다.
몇몇 실시예에서, 처리 단계(208)는 다양한 화질 메트릭에 대해 각각의 획득된 비디오 프레임 또는 화상을 테스트하는 것을 포함한다. 하나 이상의 화질 메트릭을 충족시키지 못하는 각각의 획득된 비디오 프레임 또는 화상은 불충분한 것으로 간주된다. 화질 메트릭은 통상의 기술자에게 공지되어 있다. 예시적인 화질 메트릭은, 신호대 잡음비, 화상 밝기, 화상 콘트라스트, 저 화질, 특징부 검출/매칭 실패 등을 포함할 수도 있다.
바람직하게, 의사는 획득된 비디오 프레임 또는 화상이 불충분하다는 것을 경고 받을 수도 있다. 예를 들어, 일 실시예에서, 불충분한 비디오 프레임 또는 화상은, 폐기되며, (표시 장치 상에 표시된) 내부 체강의 표면의 맵 상에 빈 프레임으로서 도시된다. 이러한 식으로, 맵을 보는 의사는, 맵 상의 비어 있는 영역들을 볼 것이고, 대체 비디오 또는 화상을 획득하기 위해 맵 상의 빈 영역들에 대응하는 내부 체강의 특정 표면들을 다시 스캔하는 것을 알 것이다. 대안적으로, 의사는 모든 캡처된 비디오 또는 화상을 폐기하고 화상 획득 절차를 완전히 다시 시작할 수 있다.
단계(210)에서, 처리된 비디오 프레임들 또는 화상들은 내부 체강의 표면의 맵을 생성하기 위해 함께 스티칭된다. 몇몇 실시예에서, 비디오 프레임들 또는 화상들은 함께 스티칭되어 2차원 맵 투영을 형성한다. 이러한 식으로, 치수는 내부 체강의 전체 표면과 관련하여 표현될 수 있다. 맵 투영은 원통 투영(즉, 메르카토르 투영)과 같은 임의의 적합한 투영일 수 있다. 몇몇 실시예에서는, 비디오 프레임들 또는 화상들은 함께 결합되어 방광의 파노라마 맵이 생성된다. 스티칭은, 축척과 회전이 불가능할 수 있다. 또한, 스티칭된 맵은 미리 정의된 내부 체강의 표면 형태를 포함할 수 있다. 바람직한 실시예에서, 단계(210)는 단계들(206, 208)과 동시에 수행된다. 그러나, 단계(210)는, 또한, 단계들(206, 208)로부터 비동기적으로 수행될 수도 있다.
몇몇 실시예에서, 각 비디오 프레임 또는 화상은 선행하는 비디오 프레임 또는 화상하고만 스티칭된다. 제1비디오 프레임 또는 화상은, 관심 지점들 또는 특징부들(예를 들어, 표면 형태)이 위에 표시된 내부 체강 표면의 빈 맵과 스티칭될 수도 있고 또는 스티칭되지 않을 수도 있다. 그러나, 몇몇 실시예에서, 비디오 프레임이나 화상이 선행하는 비디오 프레임이나 화상뿐만 아니라 기존의 다른 비디오 프레임(들)이나 화상(들)과 겹치면, 비디오 프레임이나 화상은 겹치지는 비디오 프레임들이나 화상들 모두와 스티칭된다. 이는, 다른 모든 겹치는 비디오 프레임들이나 화상들과 관련하여 각 비디오 프레임이나 화상을 정확하게 배치하는 것을 확보한다. 몇몇 실시예에서, 처리 단계(208)에 의해 불충분하다고 여겨지는 각 비디오 프레임 또는 화상은 맵 상에서 뱅크 영역으로서 표시된다.
단계(212)에서, 단계(210)로부터의 스티칭된 맵은 표시 장치 상에 표시된다. 바람직한 실시예에서, 단계(212)는 단계들(206, 208, 210)과 동시에 수행된다. 그러나, 단계(212)는 또한 단계들(206, 208, 210)로부터 비동기적으로 수행될 수도 있다. 단계(212)를 비디오 획득 단계(206), 처리 단계 (208), 및 스티칭 단계(210)와 함께 동시에 수행함으로써, 유리하게, 의사가 맵을 보고 어떤 내부 체강 표면 영역이 촬상되었는지를 식별할 수 있을 뿐만 아니라 이전에 스캔되었지만 불충분한 비디오 프레임 또는 화상을 생성하여 맵 상에 빈 영역들로서 도시될 수도 있는 내부 체강 표면 영역을 의사가 다시 스캔하게 할 수도 있다. 스티칭 결과 및 그 스티칭 결과를 나타내는 디스플레이가 새롭게 획득된 비디오 프레임들 또는 화상들로 연속적으로 그리고 즉시 업데이트되는 바람직한 실시예에서, 의사는 간단하게 자신의 비디오 또는 화상 획득의 경로를 추적함으로써 빈 영역을 다시 스캔할 수도 있다.
단계(214)에서, 의사는 내부 체강 표면의 표시된 맵이 수용가능한지 여부를 결정한다. 예를 들어, 맵이 실질적으로 완전하고 양호한 품질의 화상들 또는 비디오 프레임들로 구성된 경우, 의사는 맵을 수용할 수도 있고(즉, 맵이 완성되어 있고)， 내부 체강 표면의 진단 촬상 방법이 종료된다(216). 대안적으로, 맵이 실질적으로 완전하지 않고/않거나 양호한 품질의 화상들이나 비디오 프레임들로 구성되지는 않았지만 여전히 진단 용도로 충분하다면, 의사는 맵을 수용할 수 있고(즉, 맵이 완성되어 있고)， 내부 체강 표면의 진단 촬상을 위한 방법이 종료된다(216). 그러나, 맵이 실질적으로 완전하지 않고 양호한 품질의 화상들 또는 비디오 프레임들로 구성되지 않기나 불충분한 비디오 프레임들 또는 화상들에 대응하는 빈 영역들을 포함한다면, 의사는 맵을 수용하지 않을 수도 있다. 이 경우, 의사는 다음 단계로 이동한다.
단계(218)에서, 화상 캡처 장치는, 교체 비디오 또는 하나 이상의 화상을 획득하여 교체가 필요한 임의의 비디오 프레임 또는 화상과 교체한다. 단계(218)는, 소정의 비디오 프레임들 또는 화상들만이 교체될 필요가 있을 수도 있다는 사실 덕분에, 단계(218)가 단지 내부 체강의 실질적으로 전체 표면보다 작게 화상 캡처 장치를 패닝해야 할 수도 있다는 점을 제외하고는, 단계(206)와 실질적으로 동일한 방식으로 실행된다.
단계(220)에서는, 단계(218)에서 획득된 교체 비디오 또는 하나 이상의 화상이 컴퓨터에 의해 수신되어 처리된다. 단계(220)는 단계(208)와 실질적으로 동일한 방식으로 수행된다.
단계(222)에서, 단계(220)로부터 처리된 교체 비디오 프레임들 또는 화상들은, 서로 스티칭되고 이전에 스티칭된 프레임들과 함께 스티칭되어, 내부 체강 표면의 업데이트된 맵을 생성한다. 단계(222)는 단계(210)와 실질적으로 동일한 방식으로 수행된다.
단계(224)에서, 단계(222)로부터의 업데이트된 맵은 표시 장치 상에 표시된다. 단계(224)는 단계(212)와 실질적으로 동일한 방식으로 수행된다. 일단 표시되면, 의사는 단계(214)로 되돌아가서 내부 체강 표면의 업데이트된 맵이 수용가능한지 여부를 결정한다.
도 3은 복수의 비디오 프레임 또는 화상을 처리하는 방법의 흐름도이다. 단계(302)에서, 비디오 프레임 또는 화상은, 비디오 프레임 또는 화상을 언와핑하는 알고리즘에 공급된다. 비디오 프레임 또는 화상은 통상의 기술자에게 공지된 임의의 수단을 사용하여 제거될 수 있다.
단계(304)에서, 비디오 프레임 또는 화상은, 비디오 프레임 또는 화상으로부터 관련 특징 정보(예를 들어, 혈관)를 추출하는 알고리즘에 공급된다. 관련 특징 정보는 통상의 기술자에게 공지된 임의의 수단을 사용하여 추출될 수 있다. 몇몇 실시예에서는, 스펙트럼 기반 필터를 사용하여 비디오 프레임 또는 화상으로부터 관련 특징 정보를 추출한다.
단계(306)에서, 비디오 프레임 또는 화상은, 현재 비디오 프레임 또는 화상과 처리된 다른 비디오 프레임 또는 화상 간의 공통 특징점들을 결정하는 알고리즘에 공급된다. 현재 비디오 프레임 또는 화상과 처리된 다른 비디오 프레임 또는 화상 간의 공통 특징점을 결정하는 것은 통상의 기술자에게 공지된 임의의 수단을 사용하여 수행될 수 있다. 몇몇 실시예에서는, 스케일 불변 특징 변환(Scale-Invariant Feature Transform: SIFT) 또는 해리스 코너 검출기(harris corner detector)를 사용하여, 현재 비디오 프레임 또는 화상과 처리된 다른 비디오 프레임 또는 화상 간의 공통 특징점을 결정한다.
단계(308)에서, 비디오 프레임 또는 화상은, 현재 비디오 프레임 또는 화상과 처리된 다른 비디오 프레임 또는 화상 간의 호모그래피를 연산하고 이상점(outliers)을 제거하고 현재 비디오 프레임 또는 화상을 처리된 다른 비디오 프레임 또는 화상과 스티칭하기 위한 변환을 생성하는 알고리즘에 공급된다. 호모그래피를 연산하고, 이상점을 제거하고, 화상 스티칭을 위한 변환을 생성하는 것은 통상의 기술자에게 공지된 임의의 수단을 사용하여 수행될 수 있다. 몇몇 실시예에서, 현재 비디오 프레임 또는 화상과 처리된 다른 비디오 프레임 또는 화상 간의 호모그래피는, SIFT 기술자들의 개수를 줄이기 위해 랜덤 샘플 합의(Random Sample Consensus: RANSAC) 알고리즘을 사용하여 연산된다.
단계(310)에서, 알고리즘은 모든 캡처된 비디오 프레임 또는 화상들이 처리되었는지 여부를 결정한다. 대답이 "예"이면, 복수의 비디오 프레임 또는 화상을 처리하는 방법이 종료된다(312). 대답이 "아니오"이면, 새로운 비디오 프레임 또는 화상이 선택되고(314) 단계(302)로 공급된다.
도 4는 질환 진행을 진단 또는 평가하기 위한 방법의 흐름도이다. 단계(402)에서, 내부 체강의 실질적으로 전체 표면의 하나 이상의 맵은 본원에 개시된 방법들 또는 시스템들 중 임의의 것을 사용하여 취득된다. 몇몇 실시예에서는, 하나 이상의 맵이 환자에게 등록된다. 이러한 식으로, 내부 체강의 실질적으로 전체 표면의 맵들은 특정 환자에 연관된다. 특정 환자에 연관된 두 개 이상의 맵이 있는 경우, 그 맵들을 비교 분석할 수 있다.
몇몇 실시예에서, 내부 체강의 맵핑은 매주, 격주, 매월, 매년 등과 같이 주기적으로 수행된다. 질환이 예를 들어 치료제(예를 들어, 약물)로 치료되는 몇몇 실시예에서, 내부 체강의 맵핑은, 치료제에 의한 치료 전에, 치료 중에, 그리고 치료를 종료한 후에 수행될 수 있다.
단계(404)에서, 하나 이상의 맵은 질환의 진행을 진단, 평가, 또는 추적하는 데 사용된다. 몇몇 실시예에서, 단일 맵은 질환의 진행을 진단하거나 평가하는 데 사용된다. 바람직한 실시예에서, 두 개 이상의 맵은 질환의 진행을 진단, 평가, 또는 추적하도록 서로 비교된다. 두 개 이상의 맵은 임의의 적절한 수단에 의해 서로 비교될 수 있다. 예를 들어, 의사는, 각 맵 상의 특정 영역 또는 관심 영역들(예를 들어, 병리 영역들)을 위치파악할 수도 있고, 두 개 이상의 맵 상의 관심 영역 또는 관심 영역들 간의 관찰된 차이를 평가할 수도 있다. 맵 비교 프로세스는, 특히 방광과 같은 내부 체강 표면의 특정 영역에서의 병리의 길이방향/시간을 평가하는 데, 예를 들어, 치료 중재에 대한 반응을 평가하거나 질환 진행을 감시하는 데 이용될 수 있다.
맵 비교는, 예를 들어, 요로상피의 관찰 가능한 특징들을 포함하는 맵 내의 영역들의 크기 및/또는 개수를 비교하는 것을 포함할 수도 있다. 예를 들어, 관찰 가능한 특징들은 병변, 염증 등일 수 있다.
컴퓨터는, 통상의 기술자가 쉽게 인식할 수 있는 임의의 개수의 수단을 사용하여 질환의 진행을 진단, 평가 및 추적하거나 맵들을 서로 비교하는 것을 보조할 수 있다. 예를 들어, 컴퓨터 알고리즘은, 병리 영역 또는 표면 형태(예를 들어, 표면 랜드마크)와 같은 관심 지점들을 사용하여 두 개 이상의 맵을 정렬하거나 중첩할 수 있다. 일단, 컴퓨터 알고리즘을 사용하여 의사의 입력으로 검증된 두 개 이상의 맵을 정렬하거나 중첩함으로써, 인간 조작에 연관된 주관성을 제거하여 진단, 평가, 및 추적 프로세스에 일관성을 유리하게 제공할 수 있다. 마찬가지로, 컴퓨터 알고리즘은 관심 지점들에서의 변화, 예를 들어, 크기, 착색 등을 검출할 수 있으며, 이는 또한 맵들의 인간 판독에 연관된 소정의 주관성을 제거함으로써 질환의 진행을 진단, 평가, 또는 추적하는 것을 용이하게 한다.
몇몇 실시예에서는, 두 개 이상의 맵을 서로 비교하여, 훈너(Hunner)의 병변 또는 방광암과 같은 질환 치료가 필요한 환자에 대하여 선택된 치료법의 유효성을 평가한다. 예를 들어, 맵핑은 치료 전에, 치료 중에, 및 치료 후에 주기적으로 수행될 수 있으며, 이어서, 맵들을 비교하여 가시적인 병변 또는 종양이 선택된 치료제에 반응하는지를(예를 들어, 병변 또는 종양의 크기가 감소되었는지를) 정량적으로 평가할 수 있다. 이 정보는, 임상 시험에서 약물의 치료 효과 또는 내성을 측정하는 것을 포함하여 많은 목적들에 유용할 수 있다. 또한, 암과 같은 질환의 진행을 추적할 때, 비교 가능한 데이터를 제공하기 위해 환자가 평가될 때마다 정량적 데이터를 내부 체강(예를 들어, 방광)의 전체 표면에 대해 정규화할 수 있다. 몇몇 실시예에서, 내부 체강(예를 들어, 방광)의 표면의 배경색을 베이스라인으로서 사용하고, 채색의 변화를 분석한다. 몇몇 실시예에서, 관심 영역들의 표면 형태학의 크기 및 형태를 추종하고, 크기 및 형태의 변화를 분석한다. 맵들을 사용하여 질환 진행/상태를 진단 또는 평가한 후, 방법은 종료된다(406).
본원에 설명된 기술들은, 방광을 포함하지만 이에 한정되지 않는 다양한 상이한 내부 체강 표면을 맵핑하는 데 사용될 수 있다. 예를 들어, 기술들은, 스캔 궤적이 정의될 수 있고 조직이 스캔 및 스티칭 중에 능동적으로 조작되지 않으며 스캔 필드 내의 특징부들이 충분히 명확하게 구별될 수 있는 임의의 내시경 시술에 적용될 수 있다.
본원에서 인용된 간행물 및 그 간행물에서 인용되는 자료는 구체적으로 참고로 원용된 것이다. 본원에 기재된 방법 및 장치의 수정 및 변형은 전술한 상세한 설명으로부터 통상의 기술자에게 자명할 것이다. 이러한 수정 및 변형은 첨부된 청구범위의 범주 내에 있는 것으로 의도된다.

Claims (28)

  1. 기관의 강(organ cavity)의 맵핑 방법으로서,
    조직 표면들을 갖는 상기 기관의 강 내에 내시경을 삽입하는 단계;
    상기 기관의 강을 획정하는 상기 조직 표면들의 비디오를 획득하는 단계로서, 상기 비디오는 복수의 비디오 프레임을 포함하는, 상기 획득하는 단계;
    상기 비디오 프레임들을 실시간으로 함께 스티칭(stitch)하여 상기 기관의 강을 획정하는 상기 조직 표면들의 파노라마 맵을 생성하는 단계; 및
    상기 파노라마 맵을 표시하는 단계를 포함하는, 기관의 강의 맵핑 방법.
  2. 제1항에 있어서, 상기 기관의 강은 방광이며, 상기 비디오는 상기 방광을 획정하는 상기 조직 표면들의 실질적으로 전부를 캡처하는, 기관의 강의 맵핑 방법.
  3. 제1항에 있어서, 상기 내시경은, 비디오 화상 캡처와 조명 기능이 있는 수동 유도 방광경인, 기관의 강의 맵핑 방법.
  4. 제1항에 있어서, 상기 기관의 강으로부터 제1 유체를 배출한 후 상기 기관의 강을 체적이 알려져 있는 제2 유체로 채우는 단계를 더 포함하고,
    상기 기관의 강은 상기 획득하는 단계 동안 거의 일정한 체적을 유지하는, 기관의 강의 맵핑 방법.
  5. 제1항에 있어서, 상기 파노라마 맵은 2차원 원통형 투영인, 기관의 강의 맵핑 방법.
  6. 제1항에 있어서, 상기 획득하는 단계는, 준-비구조화(semi-unstructured) 방식으로 행해지고,
    상기 기관의 강의 조직 표면 상에 제1관심 지점을 위치파악하는 단계;
    상기 제1관심 지점에서 제1비디오 프레임을 취득하는 단계;
    상기 기관의 강을 통해 패닝(panning)을 행하는 단계; 및
    상기 기관의 강의 상기 조직 표면들 상의 하나 이상의 다른 관심 지점에서 하나 이상의 추가 비디오 프레임을 취득하는 단계를 포함하는, 기관의 강의 맵핑 방법.
  7. 제6항에 있어서, 복수의 상기 프레임의 각각을 처리하는 단계를 더 포함하고, 상기 처리하는 단계는,
    상기 복수의 비디오 프레임의 각각을 언와핑(unwarping)하는 단계;
    스펙트럼 기반 필터를 적용하여 상기 복수의 비디오 프레임의 각각으로부터 관련 특징 정보를 추출하는 단계;
    스케일 불변 특징 변환(scale invariant feature transform) 또는 해리스 코너 검출기(Harris corner detector)를 상기 복수의 비디오 프레임의 각각에 적용하여 상기 복수의 비디오 프레임의 각각과 적어도 하나의 다른 비디오 프레임 간의 공통 특징점들을 결정하는 단계; 및
    랜덤 샘플 합의(random sample consensus) 알고리즘을 사용하여 상기 복수의 비디오 프레임의 각각과 적어도 하나의 다른 비디오 프레임 간의 호모그래피를 연산하여, 상기 스케일 불변 특징 변환의 기술자들의 개수를 줄이고, 이상점(outlier) 스케일 불변 특징 변환 기술자들을 제거하고, 화상 스티칭을 위한 변환을 생성하는 단계를 포함하는, 기관의 강의 맵핑 방법.
  8. 제7항에 있어서, 상기 복수의 비디오 프레임 중 적어도 일부는, 스티칭되고 상기 패닝을 행하는 단계가 진행되는 동안 상기 파노라마 맵 상에 표시되는, 기관의 강의 맵핑 방법.
  9. 제8항에 있어서, 상기 파노라마 맵은, 저 화질을 갖거나 화상 스티칭을 위한 변환을 생성하지 못한 상기 복수의 비디오 프레임의 각각에 대응하는 빈 영역들을 포함하는, 기관의 강의 맵핑 방법.
  10. 제9항에 있어서, 상기 획득하는 단계, 상기 처리하는 단계, 상기 스티칭하는 단계, 및 상기 표시하는 단계는, 선택적으로, 저 화질을 갖거나 변환을 생성하지 못한 상기 복수의 비디오 프레임의 각각에 대응하는 상기 기관의 강의 하나 이상의 섹션에 대하여 반복되는, 기관의 강의 맵핑 방법.
  11. 제1항에 있어서, 상기 파노라마 맵은, 초기에 비어 있으며, 미리 정의된 하나 이상의 관심 지점을 포함하는, 기관의 강의 맵핑 방법.
  12. 제1항에 있어서, 상기 복수의 비디오 프레임의 각각을 처리하는 단계를 더 포함하고, 상기 획득하는 단계는 완전히 비구조화되며, 상기 처리하는 단계는,
    상기 복수의 비디오 프레임의 각각을 언와핑하는 단계;
    스펙트럼 기반 필터를 적용하여 상기 복수의 비디오 프레임의 각각으로부터 관련 특징 정보를 추출하는 단계;
    스케일 불변 특징 변환 또는 해리스 코너 검출기를 상기 복수의 비디오 프레임의 각각에 적용하여 상기 복수의 비디오 프레임의 각각과 적어도 하나의 다른 비디오 프레임 간의 공통 특징점들을 결정하는 단계; 및
    랜덤 샘플 합의 알고리즘을 사용하여 상기 복수의 비디오 프레임의 각각과 적어도 하나의 다른 비디오 프레임 간의 호모그래피를 연산하여, 상기 스케일 불변 특징 변환의 기술자들의 개수를 줄이고, 이상점 스케일 불변 특징 변환 기술자들을 제거하고, 화상 스티칭을 위한 변환을 생성하는 단계를 포함하는, 기관의 강의 맵핑 방법.
  13. 제3항에 있어서, 상기 복수의 비디오 프레임의 각각을 처리하는 단계를 더 포함하고, 실질적으로 전부 캡처된 상기 방광의 표면은, 상기 맵을 처리하고 스티칭하고 또는 표시하기 위한 참조로서 사용되는, 기관의 강의 맵핑 방법.
  14. 제13항에 있어서, 상기 관련 특징 정보는 색상을 포함하고, 상기 실질적으로 전부 캡처된 방광의 표면은 베이스라인 배경 색상을 갖는, 기관의 강의 맵핑 방법.
  15. 환자의 요도를 통해 방광에 삽입된 방광경을 통해 획득된 상기 방광의 비디오로부터 상기 환자의 상기 방광을 맵핑하는 방법으로서,
    획득된 상기 비디오로부터 복수의 비디오 프레임을 함께 스티칭하여 상기 방광을 획정하는 조직 표면들의 파노라마 맵을 생성하는 단계; 및
    상기 파노라마 맵을 표시하는 단계를 포함하는, 방광을 맵핑하는 방법.
  16. 제15항에 있어서, 상기 스티칭하는 단계와 상기 표시하는 단계는 상기 비디오의 획득과 함께 실시간으로 행해지는, 방광을 맵핑하는 방법.
  17. 환자의 질환 또는 병태의 진행을 추적하는 방법으로서,
    제1항 내지 제16항 중 어느 한 항에 따라 제1 시간에 생성된 제1 파노라마 맵을 제1항 내지 제16항 중 어느 한 항에 따라 제2 시간에 생성된 제2 파노라마 맵과 비교하는 단계를 포함하는, 환자의 질환 또는 병태의 진행을 추적하는 방법.
  18. 제17항에 있어서, 상기 기관의 강은 상기 환자의 방광인, 환자의 질환 또는 병태의 진행을 추적하는 방법.
  19. 제17항 또는 제18항에 있어서, 상기 비교의 결과를 이용하여 상기 질환 또는 병태에 대해 상기 환자에게 투여된 치료법의 유효성 또는 내성을 평가하는 단계를 더 포함하는, 환자의 질환 또는 병태의 진행을 추적하는 방법.
  20. 제19항에 있어서, 상기 질환 또는 병태는 훈너 병변(Hunner's lesions) 또는 방광암을 포함하는, 환자의 질환 또는 병태의 진행을 추적하는 방법.
  21. 기관의 강을 맵핑하기 위한 시스템으로서,
    내시경;
    비디오 캡처 장치;
    조명 장치;
    컴퓨터 실행가능 명령어들을 저장하는 메모리;
    적어도 하나의 상기 메모리에 액세스하고, 상기 컴퓨터 실행가능 명령어들을 실행하도록 구성된 프로세서; 및
    표시 스크린을 포함하되,
    상기 컴퓨터 실행가능 명령어들은,
    상기 기관의 강을 획정하는 조직 표면들의 비디오를 수신하고, 상기 비디오는 상기 내시경을 통해 상기 기관의 강 내에 삽입된 상기 비디오 캡처 장치에 의해 취득된 복수의 비디오 프레임을 포함하고, 상기 비디오는 상기 조직 표면들이 상기 조명 장치에 의해 조명되는 동안 취득되는 것인, 상기 비디오를 수신하고;
    상기 복수의 비디오 프레임을 함께 실시간으로 스티칭하여 상기 기관의 강을 획정하는 상기 조직 표면들의 파노라마 맵을 생성하고; 그리고
    상기 파노라마 맵을 표시하기 위한 명령어들을 포함하고,
    상기 표시 스크린은 상기 파노라마 맵을 실시간으로 표시하도록 구성된, 기관의 강을 맵핑하기 위한 시스템.
  22. 제21항에 있어서, 상기 컴퓨터 실행가능 명령어들은 상기 복수의 비디오 프레임의 각각을 처리하기 위한 명령어들을 더 포함하고,
    상기 복수의 비디오 프레임의 각각을 처리하기 위한 명령어들은,
    상기 복수의 비디오 프레임의 각각을 언와핑하고;
    스펙트럼 기반 필터를 적용하여 상기 복수의 비디오 프레임의 각각으로부터 상대 특징 정보를 추출하고;
    스케일 불변 특징 변환 또는 해리스 코너 검출기를 상기 복수의 비디오 프레임의 각각에 적용하여 상기 복수의 비디오 프레임의 각각과 적어도 하나의 다른 비디오 프레임 간의 공통 특징점들을 결정하고; 그리고
    랜덤 샘플 합의 알고리즘을 사용하여 상기 복수의 비디오 프레임의 각각과 적어도 하나의 다른 비디오 프레임 간의 호모그래피를 연산하여, 상기 스케일 불변 특징 변환의 기술자들의 개수를 줄이고, 이상점 스케일 불변 특징 변환 기술자들을 제거하고, 화상 스티칭을 위한 변환을 생성하는 것을 포함하는, 기관의 강을 맵핑하기 위한 시스템.
  23. 제21항 또는 제22항에 있어서, 컴퓨터 실행가능 명령어들은, 상기 복수의 비디오 프레임 중 적어도 일부를 함께 스티칭하고 상기 비디오 프레임들 중 적어도 일부가 여전히 캡처되고 있는 동안 상기 파노라마 맵을 표시하기 위한 명령어들을 더 포함하는, 기관의 강을 맵핑하기 위한 시스템.
  24. 제21항 내지 제23항 중 어느 한 항에 있어서, 상기 파노라마 맵은 2차원 원통형 투영인, 시스템.
  25. 제21항 내지 제24항 중 어느 한 항에 있어서, 상기 파노라마 맵은, 초기에 비어 있으며, 미리 정의된 하나 이상의 관심 지점을 포함하는, 기관의 강을 맵핑하기 위한 시스템.
  26. 제21항 내지 제25항 중 어느 한 항에 있어서, 상기 파노라마 맵은, 저 화질을 갖거나 화상 스티칭을 위한 변환을 생성하지 못한 상기 복수의 비디오 프레임의 각각에 대응하는 빈 영역들을 허용하도록 구성된, 기관의 강을 맵핑하기 위한 시스템.
  27. 제21항 내지 제26항 중 어느 한 항에 있어서, 상기 컴퓨터 실행가능 명령어들은, 선택적으로, 저 화질을 갖거나 변환을 생성하지 못한 상기 복수의 비디오 프레임의 각각에 대응하는 상기 기관의 강의 하나 이상의 섹션에 대하여 추가 비디오 프레임들을 수신, 처리, 스티칭, 및 표시하기 위한 명령어들을 더 포함하는, 기관의 강을 맵핑하기 위한 시스템.
  28. 제21항 내지 제27항 중 어느 한 항에 있어서, 상기 내시경은 환자의 요도를 통과하도록 구성된 방광경을 포함하는, 기관의 강을 맵핑하기 위한 시스템.
KR1020177010032A 2014-09-17 2015-09-17 방광의 진단 맵핑을 위한 방법 및 시스템 KR20170055526A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462051879P 2014-09-17 2014-09-17
US62/051,879 2014-09-17
PCT/US2015/050744 WO2016044624A1 (en) 2014-09-17 2015-09-17 Methods and systems for diagnostic mapping of bladder

Publications (1)

Publication Number Publication Date
KR20170055526A true KR20170055526A (ko) 2017-05-19

Family

ID=54249618

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177010032A KR20170055526A (ko) 2014-09-17 2015-09-17 방광의 진단 맵핑을 위한 방법 및 시스템

Country Status (10)

Country Link
US (1) US20170251159A1 (ko)
EP (1) EP3193692A1 (ko)
JP (1) JP2017534322A (ko)
KR (1) KR20170055526A (ko)
CN (1) CN106793939A (ko)
BR (1) BR112017005251A2 (ko)
CA (1) CA2961218A1 (ko)
IL (1) IL251121A0 (ko)
RU (1) RU2017112733A (ko)
WO (1) WO2016044624A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018046092A1 (de) * 2016-09-09 2018-03-15 Siemens Aktiengesellschaft Verfahren zum betreiben eines endoskops und endoskop
JP2018050890A (ja) * 2016-09-28 2018-04-05 富士フイルム株式会社 画像表示装置及び画像表示方法並びにプログラム
EP3549093A1 (en) * 2016-11-30 2019-10-09 Fraunhofer Gesellschaft zur Förderung der Angewand Image processing device and method for producing in real-time a digital composite image from a sequence of digital images of an interior of a hollow structure
EP3599982A4 (en) * 2017-03-20 2020-12-23 3dintegrated ApS 3D RECONSTRUCTION SYSTEM
JP7179837B2 (ja) * 2018-04-17 2022-11-29 富士フイルム株式会社 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法
RU2719929C1 (ru) * 2018-12-17 2020-04-23 Юрий Анатольевич Игнашов Способ выбора лечения женщин с синдромом болезненного мочевого пузыря
JP2020156800A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 医療用アームシステム、制御装置、及び制御方法
CN114340540B (zh) 2019-08-30 2023-07-04 奥瑞斯健康公司 器械图像可靠性系统和方法
JPWO2021149137A1 (ko) * 2020-01-21 2021-07-29
WO2021171464A1 (ja) * 2020-02-27 2021-09-02 オリンパス株式会社 処理装置、内視鏡システム及び撮像画像の処理方法
CN111524071B (zh) * 2020-04-24 2022-09-16 安翰科技(武汉)股份有限公司 胶囊内窥镜图像拼接方法、电子设备及可读存储介质
CN113058140A (zh) * 2020-07-06 2021-07-02 母宗军 输药泵体剂量控制系统以及相应终端
CN112365417B (zh) * 2020-11-10 2023-06-23 华中科技大学鄂州工业技术研究院 共聚焦内窥镜图像修正拼接方法、装置及可读存储介质
JP7124041B2 (ja) * 2020-11-25 2022-08-23 株式会社朋 ハンナ病変の指摘のためのプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US6173087B1 (en) * 1996-11-13 2001-01-09 Sarnoff Corporation Multi-view image registration with application to mosaicing and lens distortion correction
ATE553690T1 (de) * 2003-05-01 2012-05-15 Given Imaging Ltd Panorama-gesichtsfeld-darstellungsvorrichtung
US20070161854A1 (en) * 2005-10-26 2007-07-12 Moshe Alamaro System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
WO2008004222A2 (en) * 2006-07-03 2008-01-10 Yissum Research Development Company Of The Hebrew University Of Jerusalem Computer image-aided method and system for guiding instruments through hollow cavities
DE102009039251A1 (de) * 2009-08-28 2011-03-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Zusammenfügen von mehreren digitalen Einzelbildern zu einem Gesamtbild
EP3136943A4 (en) * 2014-05-01 2017-12-27 EndoChoice, Inc. System and method of scanning a body cavity using a multiple viewing elements endoscope

Also Published As

Publication number Publication date
CA2961218A1 (en) 2016-03-24
JP2017534322A (ja) 2017-11-24
US20170251159A1 (en) 2017-08-31
RU2017112733A (ru) 2018-10-18
IL251121A0 (en) 2017-04-30
CN106793939A (zh) 2017-05-31
EP3193692A1 (en) 2017-07-26
WO2016044624A1 (en) 2016-03-24
BR112017005251A2 (pt) 2017-12-12

Similar Documents

Publication Publication Date Title
KR20170055526A (ko) 방광의 진단 맵핑을 위한 방법 및 시스템
JP5580637B2 (ja) 画像処理装置、内視鏡装置の作動方法及びプログラム
US7744528B2 (en) Methods and devices for endoscopic imaging
JP5276225B2 (ja) 医用画像処理装置及び医用画像処理装置の作動方法
US20150025316A1 (en) Endoscope system and method for operating endoscope system
JP2004321796A (ja) カプセル形内視鏡装置のためのコンピュータ支援３次元画像形成方法、無線内視鏡装置および医療技術装置
JP2010279539A (ja) 診断支援装置および方法並びにプログラム。
CN107427202B (zh) 用于照射人类或动物身体内部的感兴趣结构的设备、系统和方法
JP2016189812A (ja) 内視鏡撮影部位特定装置、方法、プログラム
KR102267509B1 (ko) 달팽이관에서의 미세 혈류 측정 방법 및 장치
WO2018211674A1 (ja) 画像処理装置、画像処理方法およびプログラム
WO2021075418A1 (ja) 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体
CN111163678A (zh) 有助于体腔检查和诊断的数字设备
KR101921582B1 (ko) 의료 진단 시스템, 서버 및 방법
CN110573107B (zh) 医疗系统和相关方法
JP7441452B2 (ja) 教師データ生成方法、学習済みモデル生成方法、および発病予測方法
KR101719322B1 (ko) vSLAM 기법을 이용하여 병변과 주변조직의 3차원 정보를 측정할 수 있는 내시경 기기 및 이를 이용한 병변 측정 방법
JP2013048646A (ja) 診断システム
KR101542354B1 (ko) 거리 측정 모듈을 포함하는 내시경 장치, 이를 이용한 병변 크기 측정 시스템 및 방법
KR102141541B1 (ko) 뎁스 맵을 이용한 병변 부피 측정용 내시경 기기 및 이를 이용한 병변 부피 측정 방법
Wittenberg et al. First results of computer-enhanced optical diagnosis of bladder cancer
KR101656075B1 (ko) 적외선 반사광 강도 측정을 통한 깊이 추정을 이용하여 병변 혹은 물체의 크기를 측정할 수 있는 내시경 기기 및 이를 이용한 병변 크기 측정 방법
WO2023218523A1 (ja) 第２の内視鏡システム、第１の内視鏡システム、および内視鏡検査方法
US20230044280A1 (en) Accessory device for an endoscopic device
US11948303B2 (en) Method and apparatus for objective assessment of gastrointestinal conditions based on images captured in the GI tract