KR20120014242A - 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템 - Google Patents

하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템 Download PDF

Info

Publication number
KR20120014242A
KR20120014242A KR1020117024734A KR20117024734A KR20120014242A KR 20120014242 A KR20120014242 A KR 20120014242A KR 1020117024734 A KR1020117024734 A KR 1020117024734A KR 20117024734 A KR20117024734 A KR 20117024734A KR 20120014242 A KR20120014242 A KR 20120014242A
Authority
KR
South Korea
Prior art keywords
display
patient
landmark
computer model
endoscope
Prior art date
Application number
KR1020117024734A
Other languages
English (en)
Other versions
KR101764438B1 (ko
Inventor
쥬세페 프리스코
빈센트 듀인댐
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/411,515 external-priority patent/US8337397B2/en
Priority claimed from US12/411,501 external-priority patent/US10004387B2/en
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Publication of KR20120014242A publication Critical patent/KR20120014242A/ko
Application granted granted Critical
Publication of KR101764438B1 publication Critical patent/KR101764438B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

내시경 디바이스의 팁에 위치하는 이미지 캡처 디바이스에 의해 캡처되고, 디스플레이 스크린 상에 그 시간에 디스플레이되고 있는 현재 이미지와 인접하게 벡터의 그래픽 표현을 디스플레이함으로써 내시경의 운전자에게 랜드마크 방향 안내가 제공된다. 여기서, 벡터 포인트의 그래픽 표현은 내시경 팁이 조직 구조와 같은 연관된 랜드마크를 향해 이동하기 위해 조종되어야 하는 방향을 가리킨다.
길찾기 안내는 레퍼런스 프레임에 대한 내시경의 현재 위치 및 형상을 판정하고, 판정된 위치 및 형상에 따라 내시경 컴퓨터 모델을 생성하고, 그리고 내시경을 조종하는 동안 운전자가 볼 수 있도록 레퍼런스 프레임으로 레퍼런싱된 환자 컴퓨터 모델과 함께 내시경 컴퓨터 모델을 디스플레이함으로써, 운전자에게 제공될 수 있다.

Description

하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템{SYSTEM FOR PROVIDING VISUAL GUIDANCE FOR STEERING A TIP OF AN ENDOSCOPIC DEVICE TOWARDS ONE OR MORE LANDMARKS AND ASSISTING AN OPERATOR IN ENDOSCOPIC NAVIGATION}
본 발명은 일반적으로 조종가능한 내시경에 관한 것이고, 더욱 상세하게는 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 방법 및 시스템에 관한 것이다.
미소절개 수술은 적은 통증, 짧은 입원기간, 정상적인 생활로의 빠른 복귀, 최소 흉터, 짧은 회복 시간, 및 적은 조직 손상을 포함하는 종래의 개복 수술 기술을 능가하는 많은 이점을 제공하는 것으로 알려져 있다. 이러한 수술을 수행하기 위해, 환자 몸속으로의 삽입은 절개부 또는 자연개구부를 통해 이루어질 수 있다. 로봇 및 수동 작동식 미소절개 수술 디바이스가 모두 사용될 수 있다.
미소절개수술 로봇 시스템의 하나의 예는 캘리포니아 서니베일의 인튜어티브 서지컬 인코포레이티드의 다빈치®서지컬 시스템이다. 다빈치®서지컬 시스템은 수술부위에서 이미지 캡처 디바이스에 의해 캡처된 이미지를 수술의가 봄으로써 입력 디바이스의 움직임에 응답하여, 이미지 캡처 디바이스, 및 인튜어티브 서지컬의 소유의 엔도리스트®관절형 수술 기기와 같은, 부착된 의료용 디바이스를 이동시키는 다수의 로봇 암을 가진다. 각각의 의료용 디바이스는 환자 몸속으로 각각의 미소절개 삽입부를 통해 삽입될 수 있고, 수술부위에서 의료 시술을 수행하기 위해 위치조절될 수 있다. 삽입부는 수술 기기들이 의료 시술을 협동적으로 수행하기 위해 사용될 수 있도록 그리고 이미지 캡처 디바이스가 로봇 팔들이 수술동안 충돌하지 않고 볼 수 있도록, 환자의 몸에 접하여 위치한다.
내시경은 자연개구부 또는 수술의가 만든 개구부를 통해 디바이스를 삽입하고 그 디바이스를 환자 몸속의 타겟 위치로 안내함으로써, 내부 몸속 기관의 이미지를 캡처하고 문제를 진단할 수 있게 하는 의료용 기기이다. 몇몇 경우에, 내시경은 내부 몸속 기관에 의료 시술을 수행하기 위해 사용될 수도 있다. 내시경은 그 말단 팁이 길찾기(navigation) 목적으로 제어가능하게 방향조절될 수 있도록 조종가능할 수 있다. 스테레오스코픽 또는 모노스코픽 카메라와 같은 이미지 캡처 디바이스는 펄스펙티브(perspective)로부터 카메라에 의해 캡처된 이미지가 수술의에 의해 디스플레이 스크린 상에서 보여질 수 있도록, 말단 팁에 제공될 수 있다. 타겟 위치에서 다양한 의료 시술을 수행하기 위해, 절단, 잡기, 소작(cauterization) 등을 위해 사용되는 것과 같은 수술 도구들이 내시경의 말단 팁에서 뻗을 수 있다.
내시경은 복강경 수술에 사용되는 것과 같이 리지드형일 수 있고, 환자 내강(lumen)의 굴곡을 따를 수 있도록 플렉시블형일 수도 있다. 내시경은 또한 경화형(rigidizable)일 수 있고, 그리고/또는 로봇형일 수 있다. 경화형 내시경은 기계적 잠금 메커니즘에 의해 실질적으로 리지드하게 될 수 있는, 적어도 일부분의 유연한 몸체를 가진 내시경이다. 로봇형 내시경은 컴퓨터 제어식 서보 메커니즘에 의해 굽혀지는 적어도 하나의 섹션을 가지는 플렉시블 내시경이다. 내시경은 또한 운항 목적을 위해 제어가능하게 방향조절되지 않고, 중력, 조직(anatomy) 또는 다른 수술 디바이스에 의해 가해지는 힘에 의해 환자 조직 내에서 이동되는 경우에 올림푸스의 엔도캡슐, 및 테서드 캡슐과 같은 캡슐일 수 있다.
무흉터수술법("NOTES", Natural Orifice Transluminal Endoscopic Surgery)은 환자에게 수술을 수행하기 위해 조종가능한(steerable) 내시경을 사용할 수 있다. 예를 들어, 플렉시블 내시경은 외부에서 미소절개 삽입부를 통해서 아니라, 신체의 개구부 중 하나를 통해 안내될 수 있고 환자의 몸속으로부터 복부로 들어간다. 예를 들어, "위관통" 수술에서, 기기는 입을 통과하여 위로 들어간다. 그 다음 그 기기가 복부로 들어갈 수 있도록 그리고 수술의에 의해 복강 내부에서 의료수술을 수행하기 위해 사용될 수 있도록, 위장절개가 수행된다. 이러한 수술이 완료된 후, 이러한 기기들은 이러한 과정 동안 제거된 임의의 조직과 함께 인출되고, 삽입부는 다시 봉합된다. 내시경의 삽입을 수용하기 위해 환자 몸에 삽입부가 만들어지지 않기 때문에 NOTES는 미소절개 삽입부를 사용하는 수술보다 훨씬 덜 고통스러울 수 있다. 또한, 몸속으로 들어가기 위한 삽입부를 대신하여 자연개구부를 사용하므로, 일반적인 마취에 대한 필요성이 감소되고, 회복 시간을 더 빠르게 할 수 있다.
NOTES 애플리케이션에서처럼, 조종가능한 내시경의 작동 동안, 내시경 팁은 타겟 위치를 향해 이동하는 동안 여러번 그리고 상이한 방향으로 회전할 수 있다. 그 결과, 플렉시블 내시경은 그 내시경 둘레에 고리(looping)를 감을 수 있고, 캡처된 이미지가 타겟 위치에 대하여 현재 방향을 분명하게 지시할 수 없다면, 운전자가 내시경 팁의 현재 방향의 추적을 어렵게 만들도록 운전자를 혼란시킬 수 있다. 이와 대조적으로, 운전자는 종래의 복강경 수술에서 화면에 대한 비교적 단단한 연결을 가질 수 있다.
운전자가 내시경 팁을 뜻하지 않게 잘못된 방향으로 이동시킨다면, 그 팁은 의도하지 않은 구멍을 만들거나, 환자에게 해롭게 하는 조직 손상을 일으킬 수 있다. 이러한 손상은 내시경 팁을 주의 깊게 이동함으로써 피할 수 있지만, 환자 몸속의 타겟 위치에 대하여 내시경의 실제 방향을 반복적으로 확인하기 위해 추가적인 시간이 요구된다. 그러므로, 수술을 수행하기 위해 필요한 시간이 길어지고, 이는 수술 비용을 증가시키고, 건강과 안전상의 우려를 증가시킨다.
따라서, 본 발명의 하나 이상의 형태의 목적은 환자 몸속의 하나 이상의 랜드마크를 향해 내시경 디바이스를 조종하기 위해 운전자에게 시각적 안내를 제공하는 방법, 및 그 방법을 수행하는 시스템이다.
본 발명의 하나 이상의 형태의 다른 목적은 운전자가 환자 몸속의 하나의 위치를 향해 내시경을 조종하는 것을 돕기 위해 길찾기 안내를 제공하는 방법 및 그 방법을 수행하는 시스템이다.
본 발명의 하나 이상의 형태의 다른 목적은 내시경 팁이 현재 향하여 가리키는 방향을 시각적으로 나타내는 정보를 내시경의 운전자에게 제공하는 방법, 및 그 방법을 수행하는 시스템이다.
본 발명의 하나 이상의 형태의 또 다른 목적은 환자의 조직에 대하여 내시경의 현재 위치 및 형상을 시각적으로 나타내는 정보를 내시경의 운전자에게 제공하는 방법 및 그 방법을 수행하는 시스템이다.
이러한 목적 및 부가적인 목적은 본 발명의 다양한 형태에 의해 달성되는데, 간략히 말하자면, 하나의 형태는 하나 이상의 랜드마크를 항해 내시경 디바이스를 조종하기 위한 안내를 제공하는 컴퓨터 구현된 방법이다. 본 방법은 레퍼런스 프레임에 대하여 내시경 디바이스 상의 레펀런스 포인트의 현재 위치를 판정하는 단계, 레퍼런스 프레임에 대하여 제1 랜드마크의 위치에 대한 레퍼런스 포인트의 현재 위치로부터 제1 벡터를 판정하는 단계, 제1 벡터를 상기 레퍼런스 프레임으로부터 내시경 디바이스 팁에 위치한 이미지 캡처링 디바이스의 펄스펙티브에 대응하는 이미지 레퍼런스 프레임으로 변환하는 단계, 및 제1 랜드마크를 향해 내시경 디바이스의 팁을 조종하기 위해 방향을 나타내기 위해 디스플레이 스크린 상에 이미지 캡처 디바이스에 의해 캡처된 현재 이미지와 함께 변환된 제1 벡터의 그래픽 표현을 디스플레이하는 단계를 포함한다.
다른 형태는 디스플레이 스크린, 내시경 디바이스, 레퍼런스 프레임에 대하여 내시경 디바이스 상의 레퍼런스 포인트의 현재 위치를 판정하고, 레퍼런스 프레임에 대하여 제1 랜드마크의 위치에 대한 레퍼런스 포인트의 현재 위치로부터 제1 벡터를 판정하고, 제1 벡터를 상기 레퍼런스 프레임에서 내시경 디바이스의 팁에 위치한 이미지 캡쳐 디바이스의 펄스펙티브에 대응하는 이미지 레퍼런스 프레임으로 변환하고, 제1 랜드마크를 향해 내시경 디바이스의 팁을 조종하기 위해 방향을 나타내기 위해 디스플레이 스크린 상에 이미지 캡처 디바이스에 의해 캡처된 현재 이미지와 함께 변환된 제1 벡터의 그래픽 리프리젠테이션을 디스플레이하도록 조절된 하나 이상의 프로세서를 포함하는 시스템이다.
다른 형태는 운전자의 내시경 운항을 돕기 위한 컴퓨터 구현된 방법이고, 본 방법은 환자의 컴퓨터 모델을 레퍼런스 프레임으로 레퍼런싱하는 단계, 레퍼런스 프레임에 대하여 내시경 디바이스의 현재 위치 및 형상을 판정하는 단계, 판정된 현재 위치 및 형상에 따라 내시경 디바이스의 컴퓨터 모델을 생성하는 단계, 및 운전자에게 내시경 길찾기하는데 도움을 제공하기 위해 디스플레이 스크린 상에 내시경 디바이스의 컴퓨터 모델 및 환자를 디스플레이하는 단계를 포함한다.
다른 형태는 디스플레이 스크린, 내시경 디바이스, 및 환자의 컴퓨터 모델을 레퍼런스 프레임으로 레퍼런싱하고, 레퍼런스 프레임에 대하여 내시경 디바이스의 현재 위치 및 형상을 판정하고, 판정된 현재 위치 및 형상에 따라 내시경 디바이스의 컴퓨터 모델을 생성하고, 그리고 운전자에게 내시경 길찾기하는데 도움을 제공하기 위해 디스플레이 스크린 상에 내시경 디바이스의 컴퓨터 모델 및 환자를 디스플레이하도록 조절된 프로세서를 포함하는 시스템이다.
본 발명의 다양한 형태의 추가적인 목적, 특징, 및 장점들은 첨부된 도면과 함께 아래의 바람직한 실시예의 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명의 형태를 사용한 조종가능한 내시경 시스템을 도시한다.
도 2는 본 발명의 형태를 사용한 조종가능한 내시경 시스템의 프로세싱 부의 블록 다이어그램을 도시한다.
도 3은 본 발명의 형태를 사용한 조종가능한 내시경 시스템의 원격조작 부의 블록 다이어그램을 도시한다.
도 4는 본 발명의 형태를 사용한, 내시경 길찾기에서 운전자를 돕는 컴퓨터 구현된 방법의 흐름도를 도시한다.
도 5는 본 발명의 형태를 사용한 조종가능한 내시경 시스템의 위치 판정 부의 일부분을 도시한다.
도 6은 본 발명의 형태를 사용한 시스템에서 보여지는 조종가능한 내시경에 의해 캡처된 이미지를 디스플레이하는 주 디스플레이 스크린을 도시한다.
도 7은 본 발명의 형태를 사용한 시스템에 의해 생성된 내시경 디바이스 모델과 레지스터링된 환자의 앞-뒤 화면을 디스플레이하는 보조 디스플레이 스크린을 도시한다.
도 8은 본 발명의 형태를 사용한 시스템에 의해 생성된 내시경 디바이스 모델 및 환자의 비스듬한 화면을 디스플레이하는 보조 디스플레이 스크린을 도시한다.
도 9는 본 발명의 형태를 사용한 시스템에 의해 생성된 내시경 디바이스 모델과 환자의 측-중앙 화면을 디스플레이하는 보조 디스플레이 스크린을 도시한다.
도 10은 메인 윈도우 영역에 내시경 디바이스에 의해 캡처된 이미지를 디스플레이하고, 본 발명의 형태를 사용한 시스템에 의해 생성된 화면속화면 윈도우 영역에 환자 및 내시경 디바이스 모델의 경사진 화면을 디스플레이하는 주 디스플레이 스크린을 도시힌다.
도 11은 제1 영역에 내시경 디바이스에 의해 캡처된 이미지를 디스플레이하고, 제2 영역에 본 발명의 형태를 사용한 시스템에 의해 내시경 디바이스 모델 및 환자의 경사진 화면을 디스플레이하는 주 디스플레이 스크린을 도시한다.
도 12는 본 발명의 형태를 사용하여, 하나 이상의 랜드 마크로 내시경 디바이스를 조종하기 위한 방향 안내를 제공하는 컴퓨터 구현된 방법의 흐름도를 도시한다.
도 13은 본 발명의 형태를 사용하여, 랜드마크에 의해 내시경이 이동할 때 내시경 디바이스를 사용하여 랜드마크를 형성하는 컴퓨터 구현된 방법의 흐름도를 도시한다.
도 14는 환자 흉부와 그로 삽입된 내시경 디바이스의 경사진 화면, 및 본 발명의 하나의 형태를 사용하는 시스템에 사용된 다양한 랜드마크의 예를 도시한다.
도 15는 본 발명의 형태를 사용하는 방법에 따라, 하나의 랜드마크와 연관된 이미지와 함께 대응하는 랜드마크에 대한 방향을 나타내는 다양한 벡터의 그래픽 리프리젠테이션, 및 내시경 디바이스에 의해 캡처된 현재 이미지를 디스플레이하는 주 디스플레이 스크린을 도시한다.
도 1은, 예컨대, 내시경(110), 내시경(110) 내에 삽입된 광섬유 케이블(120), 위치 프로세서(130), 이미지 프로세서(140), 이미지 캡처 디바이스(141), 디스플레이 프로세서(150), 주 디스플레이 스크린(600), 및 보조 디스플레이 스크린(160)을 포함하는 시스템(100)을 도시한다. 개별적인 유닛으로 도시되어 있으나, 위치 프로세서(130), 이미지 프로세서(140), 및 디스플레이 프로세서(150)는 각각 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있으며, 서로 상호작용하거나, 도 2에 도시된 하나 이상의 컴퓨터(200)와 같은 하나 이상의 컴퓨터에 의해 수행될 수 있다. 주 및 보조 디스플레이 스크린(600 및 160)은 시스템(100)의 운전자에게 3차원 이미지를 디스플레이할 수 있는 컴퓨터 모니터인 것이 바람직하다. 그러나, 비용을 고려하여, 주 및 보조 디스플레이 스크린(600 및 160) 중 하나 또는 모두는 2차원 이미지만 디스플레이할 수 있는 표준 컴퓨터 모니터일 수도 있다.
내시경(110)은, 본 예에서, 플렉시블 몸체(114), 말단 끝부(111)에 있는 조종가능한 팁(112), 근단 끝부(115)에 있는 핸들 또는 전기기계식 인터페이스(116)를 포함한다. (도시되지 않은) 제어 케이블 또는 다른 제어 수단은 전형적으로 팁(112)이, 예컨대, 굽은 팁(112)이 점선 버전으로 도시된 바와 같이 제어가능하게 굽거나 회전될 수 있도록, 핸들 또는 전기기계식 인터페이스(116)에서 조종가능한 팁(112)까지 뻗어 있다. 본 예에서, 조종가능한 내시경이 서술되어 있으나, 본 발명은 이러한 타입의 내시경으로 제한되지 않으며, (리지드형, 경화형, 로봇형, 또는 캡슐 내시경과 같은) 다른 내시경 디바이스와 함께 실시될 수 있다.
스테레오스코픽 또는 모노스코픽 카메라(141)는 본 명세서에 서술된 본 발명의 다양한 형태에 따라, 이미지 프로세서(140) 및/또는 디스플레이 프로세서(150)에 의해 전송되고 프로세싱되고 주 디스플레이 스크린(600) 및/또는 보조 디스플레이 스크린(160)에 디스플레이되는 이미지를 캡처하기 위해 말단 끝부(111)에 제공된다. 복수의 광섬유 케이블(120) 중 하나는 말단 끝부(111)에 있는 조명 목적의 (도시되지 않은) 광원까지 그 근단 끝부에서 연결된다. 다른 광섬유 케이블(120)들은 광섬유 케이블을 통과하는 광이 말단 팁(112)의 방향을 포함한 내시경(110)의 현재 위치 및 형상을 판정하기 위해 위치 프로세서(130)에 의해 프로세싱되도록, 섬유 브래그 격자(또는 레일리 산란을 이용하는 것과 같은 다른 스트레인 센서)와 같은 굽힘(bend) 또는 형상 센서와 함께 구성될 수 있다. 내시경(110)을 통해 뻗어 있는 광섬유 케이블(120)와 더불어, 스트레인 센서와 함께 구성된 (도시되지 않은) 하나 이상의 추가적인 광섬유 케이블이 부착 지점에서 내시경(110)의 위치 정보를 제공하기 위해 내시경(110)에 부착될 수 있다.
조종가능한 내시경(110)이 운전자에 의해 수동적으로 조종될 때, 핸들(116)은 핸들(116)의 제어 메커니즘을 팁(112)에 연결하는 (도시되지 않은) 적절한 케이블을 당김으로써 내시경 팁(112)을 제어가능하게 방향조절하기 위한 적절한 레버 또는 다른 제어 메커니즘과 함께 사용된다. 한편, 조종가능한 내시경(110)이 운전자에 의해 원격 조종될 때, 전기기계식 인터페이스(116)가 핸들 대신 사용된다.
도 3에 도시된 바와 같이, 전기기계식 인터페이스(116)는 내시경(110)이 입력 디바이스(303)의 운전자 조종에 응답하여 컨트롤러(302)에 의해 그 움직임이 제어되는 로봇 팔(301)에 전기적으로 그리고 기계적으로 연결될 수 있게 한다. 인터페이스(116) 및 로봇 팔(301) 중 하나 또는 모두는 내시경 팁(112)을 조종하기 위해 사용되는 케이블을 구동시키는 모터를 포함한다. 내시경 팁(112)의 굽힘을 제어함과 더불어, 로봇 팔(301)은 또한 환자 몸속의 애퍼어처(예컨대, 자연개구부 또는 미소절개 삽입부)로 내시경(110)을 삽입하거나 그로부터 인출하고, 그 중심축에 대하여 내시경(110)을 회전시키고, 그리고/또는 그 애퍼어처에서 피벗 포인트에 대하여 전기기계식 인터페이스(116)를 회전시키도록 구성될 수 있다. 컨트롤러(302)는 프로세서(130, 140, 150)와 함께 하나 이상의 컴퓨터(200)에서 하드웨어, 펌웨어, 또는 소프트웨어(또는 이들의 조합)으로 구현되는 것이 바람직하다.
섬유 브래그 격자를 사용하여 내시경의 위치 및 굽힘을 판정하는 것에 대한 상세한 설명은, 예컨대, "섬유 브래그 격자를 사용하는 위치 센서를 포함하는 로봇 수술 시스팀"이란 제목의 U.S. 2007/0156019 A1, "레일리 산란을 기초로 한 광섬유 위치 및/또는 형상 센싱"이란 제목의 U.S. 2008/0212082 A1, "브래그 섬유 센서를 사용한 로봇 수술 기기 및 방법"이란 제목의 U.S. 2008/0218770 A1, 및 "광 섬유 형상 센서"란 제목의 미국특허 출원번호 제12/164,829호에서 찾을 수 있다. 종래의 조종가능한 내시경에 대한 상세한 설명은, 예컨대, "조종가능한 내시경 및 향상된 삽입 방법"이란 제목의 U.S. 6,869,396 B2에서 찾을 수 있다.
도 4는, 하나의 예로서, 환자 몸속의 하나의 위치를 향해 조종가능한 내시경(110)의 내시경 길찾기에 있어서 운전자를 돕기 위한 컴퓨터 구현된 방법(400)의 흐름도를 도시한다. 이러한 경우에 컴퓨터는 프로세서(130, 140, 150)를 포함하는 하나 이상의 컴퓨터(200)인 것이 바람직하다.
단계(401)에서, 메모리(155)에 저장된 환자 컴퓨터 모델은 먼저 수술대 위에 일반적으로 엎드려 있는 살아 있는 환자 상의 포인트를 고정된 레퍼런스 프레임과 레퍼런싱한 후, 그 레퍼런싱된 포인트를 환자 컴퓨터 모델 상의 대응하는 점과 연결시킴으로써, 고정 레퍼런스 프레임(즉, 내시경(110)을 사용하여 수행되는 의료 시술 동안 움직이지 않는 프레임)에 대하여여 레퍼런스된다.
예를 들어, (내시경 팁(112)과 같은) 포인터 디바이스의 팁 위치가 고정 레퍼런스 프레임에서 쉽게 판정될 수 있는 포인터 디바이스를 사용하여, 운전자는 환자 컴퓨터 모델의 입에 대응하는 제1 레퍼런스 포인트을 정립하기 위해 포인터 디바이스가 환자의 입을 먼저 터치하도록 포인터 디바이스를 이동시킬 수 있다. 운전자는 그 다음 환자 컴퓨터 모델의 장골(iliac)의 좌우 흉부에 대응하는 제2 레퍼런스 포인트을 정립하기 위해 포인터 디바이스가 환자의 장골의 좌우 흉부를 터치하도록 그 포인터 디바이스를 이동시킬 수 있다. 배꼽 및 좌우 팔과 같은 다른 포인트들 또한 더 많은 레퍼런스 포인트를 정립하기 위해 사용될 수 있다. 이러한 방식으로 환자 컴퓨터 모델을 환자에 레퍼런싱함으로써, 환자 컴퓨터 모델의 적합한 크기(즉, 길이 및 폭)가 고정 레퍼런스 프레임에서 그 위치와 환자와의 정렬과 마찬가지로 정립될 수 있다. 그러므로, 단지 수개의 포인트와 함께, 환자 컴퓨터 모델은 메모리(155) 내의 인체측정학(anthropometry) 데이터베이스 내의 모델 정보를 사용하여 그 환자에 대하여 적절하게 스케일링되고(scale) 정렬될 수 있다(즉, 순응될 수 있다).
수개의 환자 컴퓨터 모델이 메모리(155)에 저장될 수 있다. 예를 들어, 다수의 일반적인 환자 컴퓨터 모델은 환자의 나이, 성별, 크기 등에 따라 상이한 모델이 사용될 수 있도록 저장될 수 있다. 각각의 모델은 모든 자연개구부는 물론 환자에게 진단 또는 수술을 수행하기 위한 잠재적인 타겟 위치가 포함되도록 (도 7-9에 도시된 바와 같이) 적어도 머리 및 흉부를 포함하는 3차원 컴퓨터 모델인 것이 바람직하다. 실제 환자의 3차원 컴퓨터 모델은 또한, 사용가능하다면, 컴퓨터 단층 촬영(CT) 스캔을 사용하여 생성될 수 있는 것과 같은 현재의 시스템과 함께 저장되고 사용될 수 있다. 대안으로서, 수술의 또는 보조들이 그 프로파일을 맵핑시키기 위해 환자의 신체 표면 위로 말단 팁(112)을 이동시키고, 메모리(155)에 저장되는 환자의 3차원 컴퓨터 모델에 대한 정보를 생성하기 위해, 위치 프로세서(130)에 충분한 정보를 제공할 수 있다.
단계(402)에서, 운전자가 시작 안내 커맨드를 발생했는지 여부에 대한 판정이 이루어진다. 운전자는 조종가능한 내시경(110)이 원격 제어되고 있을 때 입력 디바이스(303) 상의 입력 버튼을 누르거나 스위치를 플립핑(flipping)하는 것, 또는 조종가능한 내시경(110)이 수동적으로 제어되고 있을 때 핸들(116) 상의 입력 버튼을 누르거나 스위치를 플립핑하는 것과 같은, 다양한 방법 중 하나로 스타트 안내 커맨드를 발생시킬 수 있다. 다른 방법은 하나 이상의 컴퓨터(200) 내에 구현되어 있거나, 동작적으로 연결되어 있는 (도시되지 않은) 마이크로폰 및 음성 인식 프로세스를 사용하는 음성 조작, 안내를 온 또는 오프시키기 위해 운전자에 의해 눌러질 수 있는 (도시되지 않은) 풋 페달, 및 운전자가 입력 디바이스를 사용하여 상호작용할 수 있는 보조 디스플레이 스크린(160), 주 디스플레이 스크린(600), 또는 (도시되지 않은) 다른 디스플레이 스크린을 사용하는 그래픽 사용자 인터페이스를 포함할 수 있다.
단계(402)에서의 판정이 NO라면(즉, 길찾기 안내 모드가 운전자에 의해 개시되지 않았다면), 본 방법은 YES 판정이 내려져 본 방법이 단계(403)로 진행할 때까지, 각각의 프로세스 사이클(또는 다른 프로그래밍된 사이클)에 걸쳐 단계(402)를 루프(loop)한다.
단계(403)에서, 내시경(110)의 현재 위치 및 형상(즉, 굽힘)이 내시경(110)의 플렉시블 몸체(114)로 삽입된 형상 센서와 함께 구성되어 있는 하나 이상의 광섬유로부터 수신된 정보를 사용하여 위치 프로세서(130)에 의해 판정된다. 이러한 광섬유의 하나의 예로서, 도 5를 참조하면, 광섬유(501)의 말단 끝부는 내시경 팁(112)으로 뻗어 있고, 그 근단 끝부는 베이스 포인트(502)에 부착되어 있는데, 이 베이스 포인트는 고정 레퍼런스 프레임 내에서의 그 위치가 위치 프로세서(130)에 의해 알고 있거나 쉽게 판정가능하다. 위치 프로세서(130)는 또한 위치 프로세서(130)가 베이스 포인트에서 광섬유(501)의 굽힘 센서로부터 정보를 수신할 수 있도록, 베이스 포인트(502)에 부착되거나 연결될 수 있다.
광섬유 케이블(501)의 길이를 알고 있고, 그 케이블의 근단 끝부가 주지된 위치에 고정되어 있고, 그 말단 끝부는 내시경 팁(112)까지 뻗어 있으므로, 고정 레퍼런스 프레임 내의 팁(112)의 현재 위치 및 방향은 굽힘 센서로부터 수신된 정보에 의해 지시되는 광섬유(501)의 현재 굽힘 상태로부터 쉽게 판정될 수 있다. 설명의 목적으로 하나의 광섬유 케이블(501)만 도시되어 있으나, 복수의 광섬유 또는 스트레인 센서와 함께 구성된 복수의 코어를 가진 하나의 광섬유가 참조문헌 U.S. 2007/0156019 A1, U.S. 2008/0212082 A1, 및 미국특허 출원번호 제12/164,829호에 형상 센서를 사용하여 서술된 바와 같이, 내시경 몸체(114) 및 말단 팁(112)의 형상을 판정하기 위해 사용되는 것이 바람직하다.
단계(404)에서, 플렉시블 내시경(110)의 현재 구성을 나타내는 컴퓨터 모델이 메모리(155)에 저장된 내시경의 모델을 사용하여, 그리고 형상 센서로 구성된 광섬유로부터 수신된 형상 정보를 반영하도록 그것을 수정하여 생성된다. 내시경(110)의 저장되고 생성된 컴퓨터 모델은 모두 3차원 모델인 것이 바람직하다.
단계(405)에서는, 단계(401)에서 생성된 환자 컴퓨터 모델과 단계(404)에서 생성된 내시경 컴퓨터 모델은 보조 디스플레이 스크린(160) 상에 고정 레퍼런스 프레임 내의 그들 각각의 위치에 따라 서로에 대하여 적절하게 함께 레지스터링(register)되어 디스플레이된다. 그러므로, 조종가능한 내시경(110)의 운전자는 환자 몸속의 타겟 위치로 내시경(110) 길찾기를 위한 운전자에게 안내를 제공하기 위해 환자의 몸에 대한 내시경(110)의 현재 형상의 화면을 제공받는다. 내시경(110)이 타겟 위치까지 그 경로를 통과하거나 만날 수 있는 임의의 조직 구조 또는 신체 내강의 컴퓨터 모델 또는 다른 지시와 함께, 타겟 위치의 시각적 지시가 또한 디스플레이될 수 있다.
환자 및 내시경 컴퓨터 모델이 보조 디스플레이 스크린(160)에 디스플레이되는 방식은 보조 디스플레이 스크린(160) 및/또는 주 디스플레이 스크린(600) 상에 제공된 클릭가능한 아이콘, 및 풀다운 메뉴와 같은 다수의 주지된 기술 중 임의의 하나 이상의 기술을 사용하여 운전자에 의해 선택가능한 것이 바람직하다. 예를 들어, 운전자가 도 7, 8, 및 9에 각각 도시된 바와 같은, 환자 및 내시경(110)의 앞뒤 화면(750), 경사진 화면(751), 또는 측면-중앙 화면(752)을 컴퓨터 마우스 또는 다른 적합한 디바이스를 사용하여 적합한 아이콘을 클릭함으로써 선택할 수 있도록 보조 디스플레이 스크린(160) 상에 아이콘이 제공될 수 있다.
도 7을 참조하면, 환자 컴퓨터 모델(720) 및 내시경 컴퓨터 모델(710)의 앞뒤 화면(750)이 보조 디스플레이 스크린(160) 상에 내시경의 경로를 따라 다양한 랜드마크(즉, 입, 식도, 위장입구, 및 결장)의 지시와 함께 도시되어 있다. 또한, (주 디스플레이 스크린(600)에 디스플레이되어 있는 도 6에 도시된 캡처된 이미지(650)와 같은) 내시경(110)에 의해 캡처된 실시간 이미지 또한 내시경 컴퓨터 모델(710)의 말단 끝부(711)와 인접한(또는 그로부터 뻗어나오도록 나타난) 보조 디스플레이 스크린(160) 상에 디스플레이될 수 있다.
보조 디스플레이 스크린(160) 상에 환자 및 내시경 컴퓨터 모델(720 및 710)을 디스플레이함과 더불어(또는 대신하여), 컴퓨터 모델은 캡처된 이미지(650)와 함께 주 디스플레이 스크린(600) 상에 디스플레이될 수 있다. 예를 들어, 경사진 화면(751)은 도 10에 도시된 바와 같이 주 디스플레이 스크린(600) 상에 캡처된 이미지(650)에 대한 화면 속 화면 삽입으로서 도시되거나, 도 11에 도시된 바와 같이 주 디스플레이 스크린(600) 상에 캡처된 이미지(650)에 인접한 윈도우 내에 도시될 수 있다.
도 4를 다시 참조하면, 단계(406)에서, 운전자가 안내 중지 커맨드를 발생하였는지 여부에 대한 판정이 이루어진다. 운전자가 안내 개시 커맨드를 발생하는 방식과 유사하지만 상보적인 다양한 방식 중 임의의 방식으로, 운전자는 안내 중지 커맨드를 발생할 수 있다.
단계(406)에서의 판정이 NO라면(즉, 길찾기 안내 모드가 운전자에 의해 중지되지 않았다면, 본 방법은 내시경(110)의 현재 위치 및 굽힘 상태를 갱신하고, 후속 프로세스 사이클(또는 다른 프로그래밍된 사이클) 동안 환자의 컴퓨터 모델과 함께, 내시경의 컴퓨터 모델을 디스플레이하기 위해 다시 단계(403)로 루프한다. 한편, 단계(406)에서의 판정이 YES라면(즉, 길찾기 안내 모드가 운전자에 의해 중지되었다면, 본 방법은 디스플레이 프로세서(150)가 환자 및 내시경의 컴퓨터 모델이 보조 디스플레이 스크린(160) 및/또는 주 디스플레이 스크린(600)에 더 이상 디스플레이되지 않게 하거나, 디스플레이 스크린 상의 컴퓨터 모델을 정지(freeze)시키는 단계(407)로 진행한다.
전체 내시경 수술 동안, 환자의 몸속으로 내시경(110)의 삽입으로부터 시작하여, 본 제안된 방법 및 발명은 카메라(141)에 의해 주기적으로 캡처된 이미지의 디지털 버전을 그 이미지가 캡쳐 되었던 시간에 (예컨대, 30HZ의 처리속도로) 환자 조직에 대한 (위치 프로세서(130)에 의해 판정된) 카메라(141)의 3차원(3-D) 위치 및 방향 정보와 함께 메모리 디바이스(155)에 저장한다. 이러한 시간을 나타내는 시간스탬프 또한 메모리 디바이스(155)에 저장된다. 결과적인 데이터베이스는 찾아갈 조직의 합성 2차원(2-D) 및 3차원(3-D) 화면을 계산할 목적으로 디스플레이 프로세서(150)에 의해 임의의 연속적인 시간에 액세스될 수 있는 고정 레퍼런스 프레임에서의 그 각각의 3-D 위치에 의해 트래깅되는 내시경 이미지들을 제공한다. 그러므로, 내시경 수술의 전체 기록이 메모리 디바이스(155)(바람직하게는 이러한 애플리케이션에 대하여 하드 드라이브와 같은, 대용량 저장 디바이스)에 저장될 수 있어, 교육 및/또는 기록 목적으로 디스플레이 스크린(600 및 160) 상에 다시 재생될 수 있다.
제1 합성 2-D 화면은 이웃한 3-D 위치로부터 얻어진 복수의 내시경 화면을 모자이킹으로 알려져 있는 주지된 컴퓨터 비전 기술에 따라 하나의 더 큰 파노라마 이미지로 어셈블링(함께 스티칭)함으로써 계산될 수 있다(예컨대, 알. 스줴리스키, 에이치.와이. 슘의, 전체 화면 파노라마 이미지 모자이크 및 주변 맵 생성, ACM SIGGRAPH의 회의록, 1997, 세미나 워크 참조). 내시경 파노라마는 더 넓은 시야를 제공함으로써 향상된 내시경 길찾기를 가능하게 하고, 내시경 카메라는 수술의에게 주변 조직의 더 높은 인식성을 전달할 수 있다. 그러므로, 주 디스플레이 스크린(600) 상의 본 명세서의 다수의 도면에 도시된 캡처된 이미지들은 카메라(141)에 의해 가장 최근에 캡처된 이미지를 나타내는, 메모리 디바이스(155)로부터 검색된 이미지를 모자이킹함으로써 디스플레이 프로세서(150)에 의해 생성된 파노라마 이미지인 것이 바람직하다.
부가적인 내시경 길찾기 도구로서, 환자 몸속의 앞서 정의된 랜드마크에 대한 조종 방향을 보여주는 그래픽 지시 또한 본 발명의 하나의 형태로 제공된다.
도 12는, 하나의 예로서, 환자 몸속의 하나 이상의 랜드마크로 조종가능한 내시경(110)을 조종하기 위한 방향 안내를 제공하는 컴퓨터 구현된 방법(1200)의 흐름도를 도시한다. 컴퓨터는 이러한 경우에 프로세서(130, 140, 150)를 포함하는 하나 이상의 컴퓨터(200)인 것이 바람직하다.
단계(1201)에서, 운전자가 랜드마크 방향 안내 모드를 켰는지 여부에 대한 판정이 내려진다. 운전자는 조종가능한 내시경(110)이 원격 제어되고 있을 때 입력 디바이스(303) 상의 입력 버튼을 누르거나 스위치를 플립핑하는 것, 또는 조종가능한 내시경(110)이 수동 제어되고 있을 때 핸들(116)상의 입력 버튼을 누르거나 스위치를 플립핑하는 것과 같은 다양한 방법 중 임의의 방법으로 이러한 모드를 턴 온 및/또는 오프할 수 있다. 다른 방법은 하나 이상의 컴퓨터(200) 내에 구현되어 있거나, 동작적으로 연결되어 있는 (도시되지 않은) 마이크로폰 및 음성 인식 프로세스를 사용하는 음성 조작, 이러한 모드를 온 또는 오프시키기 위해 운전자에 의해 눌러질 수 있는 (도시되지 않은) 풋 페달, 및 운전자가 이러한 모드를 온오프시키기 위해 도 2에 도시된 입력 디바이스(201)를 사용하여 상호작용할 수 있고, 본 명세서에 서술된 방법의 파라미터 또는 다른 형태들을 명시하는 디스플레이 스크린(600)을 사용하는 그래픽 사용자 인터페이스(GUI)(202)를 포함할 수 있다.
단계(1201)에서의 판정이 NO라면(즉, 랜드마크 방향 안내가 꺼지면), 본 방법은 YES 판정이 내려져 본 방법이 단계(1202)로 진행할 때까지, 단계(1201) 각각의 프로세스 사이클(또는 다른 프로그래밍된 사이클)을 루프한다.
단계(1202)에서, 고정 레퍼런스 프레임(즉, 내시경(110)을 사용하는 의료 시술의 진행 동안 움직이지 않는 레퍼런스 프레임) 내에서의 내시경 팁(112)의 현재 위치는 내시경(110)의 플렉시블 몸체(114)로 삽입된 스트레인 센서와 함께 구성되어 있는 광섬유(예컨대, 도 5의 광섬유(501))로부터 수신된 정보를 사용하여 위치 프로세서(130)에 의해 판정된다.
내시경 팁(112)의 현재 위치 및 방향은 광섬유의 길이를 알고 있고, (도 5에 도시된 바와 같이 광섬유(501)가 베이스 포인트(502)에 고정된 것과 같이) 그 근단 끝부가 알고 있는 위치에 고정되어 있고, 그 원단 끝부가 내시경 팁(112)까지 뻗어 있으므로, 스트레인 센서로부터 수신된 정보에 의해 지시되는 광섬유의 현재 굽힘 상태로부터, (도 4의 단계(403)를 참조하여 앞서 설명한 바와 같이) 고정 레퍼런스 프레임 내에서 쉽게 판정될 수 있다.
단계(1203)에서, 내시경 팁(112)의 현재 위치를 안내 지시가 제공되어야 하는 각각의 랜드마크의 위치에 연결하는 벡터는 단계(1202)에서 판정된 내시경 팁의 위치, 및 메모리 디바이스(155)에 저장된 랜드마크 위치를 사용하여 디스플레이 프로세서(150)에 의해 판정된다.
전형적으로, 랜드마크는 삽입 포인트에서 환자 몸속의 타겟 위치까지 그 경로를 따라 조종가능한 내시경(110)을 안내하는 운전자에 의해 정해진다. 하나의 예로서, 도 14는 조종가능한 내시경(110)이 환자의 입을 통해 삽입된 환자의 머리 및 흉부, 및 타겟 위치로 안내되는 내시경 팁(112)의 경사진 화면을 도시한다. 이 예에서, 내시경(110)은 식도를 통해 환자의 위장으로 안내된다. 그 다음 위장으로 삽입되고 내시경(110)은 타겟 위치로 안내된다. 이러한 방식에 따라, 랜드마크는 도 13을 참조하여 아래에 서술된 바와 같은 방법을 사용하여 구강 및 위장입구에서 결정된다.
대안으로서, 환자 몸속의 랜드마크의 위치는 CAT(computer axial tomography), 자기공명영상(MRI), 또는 X-레이에 의해 생성되는 것과 같은 수술전 측정된 데이터를 기초로 할 수 있다. 이러한 경우에, (수술대 위에 누워 있는) 환자의 몸은 고정 레퍼런스 프레임으로 레퍼런싱되고, 랜드마크는 그 각각의 위치가 환자의 몸에서의 각각의 위치에 의해 고정 레퍼런스 프레임 내에서 판정가능하도록, 환자의 몸과 레지스터링된다. 랜드마크 포지션은 그다음 메모리 디바이스(155)(또는, 디스플레이 프로세서(150)에 접근가능한 다른 저장 디바이스)에 저장된다. 이러한 방식으로 랜드마크를 정하는 것이 시간소비적이고 높은 비용일 수 있지만, 이는 본 명세서에 서술된 방법이 내시경 팁의 바로 뒤(즉, 환자로의 삽입점과 내시경 팁의 현재 위치 사이)가 아니라, 내시경 팁(112)의 앞(즉, 내시경 팁의 현재 위치와 타겟 위치 사이)의 랜드마크로의 방향 안내를 제공할 수 있게 한다.
단계(1204)에서는, 단계(1203)에서 판정된 벡터가 디스플레이 프로세서(150)에 의해 고정 레퍼런스 프레임에서 내시경 팁(112)(또는 카메라(141)에 연결된 레퍼런스 프레임으로 변환된다.
단계(1205)에서는, 단계(1204)에서 판정된 변환된 벡터를 나타내는 3-D 화살표(또는 다른 그래픽 표현)가 디스플레이 프로세서(150)에 의해 생성된다. 이 3-D 화살표의 방향은 화살표의 방향이 운전자가 앞서 서술한 바와 같이 핸들 또는 전기기계적 인터페이스(116)를 사용하여 내시경 팁(112)을 조종해야 하는 방향에 대응하도록 내시경 팁의 레퍼런스 프레임으로 레퍼런스된다.
한편, 3-D 화살표의 크기는 더 멀리 떨어진 랜드마크가 더 큰 화살표에 의해 표현되도록, 변환된 벡터의 크기에 비례하도록 생성될 수 있다. 하나의 대안으로서, 화살표의 크기는 더 멀리 떨어진 랜드마크가 더 작은 화살표로 표현되도록, 변환된 벡터의 크기에 반비례하도록 생성될 수도 있다. 또 다른 대안으로서, 화살표의 크기는 (도 15의 화살표(1511, 1512, 및 1513)에 의해 도시된 바와 같이, 각각 동일한 길이를 가지도록 생성될 수도 있다.
또한, 3-D 화살표는 각각의 화살표의 색상이 특정한 조직 구조와 고유하게 연관되도록 컬러-코딩될 수 있다. 예를 들어, 도 15를 참조하면, 구강 삽입부 랜드마크를 향하는 조종 방향을 나타내는 3-D 화살표(1511)는 적색일 수 있고, 위장 삽입부 랜드마크를 향하는 조종 방향을 나타내는 3-D 화살표(1512)는 노란색일 수 있고, 그리고 결장 삽입부 랜드마크를 향하는 조종 방향을 나타내는 3-D 화살표(1513)는 청색일 수 있다. 대안으로서, 디스플레이 스크린(600)의 에지는 랜드마크에 대응하는 색상일 수 있다. 본 명세서에 사용된 이러한 색상 스킴은 사용자 정의될 수 있고, MR 뷰어 상에 사용된 색상 스킴에 대응할 수 있다.
단계(1206)에서는, 단계(1205)에서 생성된 3-D 화살표(또는 다른 그래픽 표현) 및 내시경 팁(112)에서 현재 캡쳐되고 이미지 프로세서(140)에 의해 프로세싱되는) 현재 이미지(또는 현재 및 이전에 캡처된 이미지의 모자이킹을 사용하는 앞서 서술된 바와 같은 파노라마 이미지)가 디스플레이 프로세서(150)에 의해 주 디스플레이 스크린(600) 상에 디스플레이된다. 또한, 랜드마크의 이전에 캡처된 이미지는 또한 메모리 디바이스(155)로부터 선택적으로 또는 자동적으로 검색될 수 있고, 그 각각의 3-D 화살표에 인접하거나 근접하게 디스플레이될 수 있다. 3-D 화살표의 위치는 예컨대, 좌측을 가리키는 화살표는 이미지의 좌측에 위치하고, 우측을 가르키는 화살표는 이미지의 우측 상에 위치하도록, 변환된 벡터의 방향에 관련되도록 디스플레이 스크린(600) 상에 디스플레이될 수 있다. 대안으로서, 3-D 화살표는 모두 이미지의 동일한 측면 부근에 또는 그 이미지의 주변 공간에 위치될 수 있다. 디스플레이 스크린(600)의 에지가 랜드마크에 대응하는 색상인 경우에, 각각의 랜드마크에 대응하는 3-D 화살표는 그 3-D 화살표 및 랜드마크의 연관이 분명하도록 그 각각의 색상을 가진 에지 부근에 디스플레이된다.
주 디스플레이 스크린(600) 상의 현재 내시경 이미지에 또는 그 부근에 3-D 화살표와 같은 랜드마크를 나타내는 것과 더불어, 이러한 랜드마크는 저장된 랜드마크의 위치가 환자 컴퓨터 모델에 대하여 그들의 적합한 위치에 도시될 수 있는 보조 디스플레이 스크린(160)상에 디스플레이되고 있는 3-D 환자 및 내시경 컴퓨터 모델과 함께 디스플레이될 수 있다. 이러한 랜드마크는, 예컨대, 랜드마크 명칭, 썸네일, 랜드마크와 함께 캡처된 저장된 내시경 이미지, 랜드마크의 타입에 관련된 소형 그래픽 아이콘, 또는 랜드마크의 적절한 3-D 모델을 포함하는 텍스트 라벨에 의해 지시될 수 있다.
만약 있다면, 디스플레이될 랜드마크 이미지의 선택은, 예컨대, 모든 랜드마크 이미지가 디스플레이, 랜드마크 이미지가 디스플레이되지 않음, 및 가장 가까운 랜드마크 이미지 하나만 디스플레이됨을 포함하는 메뉴로부터 하나의 디스플레이 옵션을 선택하기 위해, 입력 디바이스(201) 및 GUI(202)를 사용하여, 운전자에 의해 이루어질 수 있다. 대안으로서, 운전자는 디스플레이 프로세서(150)에 사전 선택되고 프로그래밍된 옵션 및 선택을 제공받지 않을 수도 있다. 디스플레이 스크린(600) 상에 3-D 화살표를 디스플레이하기 위한 위치, 크기, 색상 및 다른 옵션은 도 2에 도시된 바와 같이 입력 디바이스(201) 및 GUI(202)를 사용하여 운전자에 의해 선택될 수 있다.
이러한 디스플레이의 하나의 예로서, 도 15는 각각 구강 삽입부, 위장 삽입부 및 결장 삽입부 랜드마크로의 방향 안내를 제공하는 화살표(1511, 1512, 및 1513)와 함께 디스플레이된 현재 이미지(1501)(즉, 내시경(110)에 의해 현재 캡처된 이미지, 또는 본 명세서에 서술된 파노라믹 이미지)를 포함하는 디스플레이 스크린(600)을 도시한다. 또한, 결장 삽입 랜드카므의 이전 캡처된 이미지(1523)는 내시경 팁(112)의 현재 위치와 가장 가까운 랜드마크일 수 있는 그것의 연관된 화살표(1513)와 인접한 윈도우 내에 디스플레이되어 보여진다.
단계(1207)에서, 운전자가 랜드마크 방향 안내 모드를 껐는지 여부가 판정된다. 운전자는 운전자가 랜드마크 안내 모드를 꼈던 것과 유사한 다양한 방법 중 하나의 방법으로(그러나, 그 반대의 방식으로)(예컨대, 스위치를 "오프" 대 "온" 위치로 놓음으로써) 랜드마크 방향 안내 모드를 끌 수 있다.
단계((1207)에서의 판정이 NO라면(즉, 랜드마크 방향 안내 모드가 운전자에 의해 꺼지지 않았다면), 본 방법은 랜드마크 방향 벡터(예컨대, 도 15의 1511, 1512, 1513)를 갱신하기 위해 내시경 팁(112)이 타겟 위치로 안내되고 있고, 내시경(110)에 의해 캡처된 현재 이미지와 함께 디스플레이 스크린(600) 상에 변환된 벡터의 갱신된 그래픽 표현을 디스플레이하는 단계(1202)로 다시 루핑한다. 한편, 단계(1207)에서의 판정이 YES이면(즉, 랜드마크 방향 안내 모드가 운전자에 의해 꺼지면), 본 방법은 디스플레이 프로세서(150)가 변환된 벡터의 그래픽 표현 및 임의의 대응하는 랜드마크 캡처된 이미지가 디스플레이 스크린(600) 상에 더 이상 디스플레이되지 않게 하는 단계(1208)로 진행한다.
랜드마크 방향 안내 모드가 꺼졌다 하더라도, 운전자는 여전히 타겟 위치를 향해 조종가능한 내시경(110)을 안내 받을 수 있고, 내시경 팁(112)에서 캡처되는(그리고 이미지 프로세서(130)에 의해 프로세싱되는) 지속적으로 갱신되는 이미지는 여전히 디스플레이 프로세서(150)에 의해 디스플레이 스크린(600)에 디스플레이될 수 있음을 이해해야 한다. 예를 들어, 도 15를 참조하면, 화살표(1511, 1512, 1513) 및 랜드마크 이미지(1523)는 운전자가 랜드마크 방향 안내 모드를 끈 후 더 이상 디스플레이 되지 않지만, 디스플레이 스크린(600)은 여전히 스크린에 디스플레이된 현재 또는 파노라마 이미지(1501)를 포함할 수 있다.
운전자가 방향 안내가 타겟 위치를 향해 조종가능한 내시경(110)을 안내하는 임의의 시간에 제공될 수 있는 랜드마크를 상호작용적으로 정할 수 있음을 이해해야 한다. 더욱 상세하게는, 랜드마크를 정하는 것은 랜드마크 방향 안내 모드가 켜진 동안 물론 꺼진 동안에도 수행될 수 있다.
도 13은 조종가능한 내시경(110)이 환자 몸을 통해 안내되는 조직 구조 랜드마크를 결정하기 위한 컴퓨터 구현된 방법(1300)을, 하나의 예로서, 도시한다. 도 12를 참조하여 서술된 방법(1200)의 경우와 마찬가지로, 이 경우의 컴퓨터는 프로세서(130, 140, 150)를 포함하는 하나 이상의 컴퓨터(200)인 것이 바람직하다. 더욱 상세하게는, 본 방법은 본 명세서에 서술된 디스플레이 프로세서(150)에 의해 수행되는 다른 행동과 동시에 디스플레이 프로세서(150)에 의해 수행되는 것이 바람직하다.
단계(1301)에서, 랜드마크 결정 요청이 운전자로부터 수신된다. 운전자는 랜드마크 방향 안내 모드를 켜고 끄는 것에 대하여 앞서 서술된 내용을 포함하는 다양한 주지된 상호작용 기술 중 임의의 기술로 이러한 요청을 개시할 수 있다(그러나, 두 액션을 혼동시키지 않기 위해 상이한 기술인 것이 바람직하다).
단계(1302)에서, 고정 레퍼런스 프레임에서의 내시경 팁(112)의 현재 위치가 판정된다. 랜드마크 방향 안내 모드가 켜져 있다면, 이 액션은 방법(1200)의 단계(1202)와 동일하고, 이러한 경우 단계(1202)로부터의 결과가 사용될 수 있으므로, 수행되지 않을 수 있음을 이해해야 한다(즉, 동일한 프로세스 사이클을 두번 수행할 필요가 없다).
단계(1303)에서, 내시경 팁(112)의 현재 위치는 그 다음 메모리 디바이스(155)에 저장되고, 결정이 요청된 랜드마크의 위치로 레퍼런싱된다. 단계(1304)에서, 내시경 팁(112)에 캡처된 현재 이미지는 랜드마크의 이미지로 식별되고, 단계(1305)에서, 그 이미지의 정보는 또한 메모리 디바이스(155)에 저장되고, 결정이 요청된 랜드마크의 이미지로 레퍼런싱된다.
방법(1300)을 수행함에 있어 알 수 있는 바와 같이, 액션(1302 및 1304)의 순서는 중요하지 않다. 실제로, 이미지 프로세서(140)는 위치 프로세서(130)가 내시경 팁(112)의 현재 위치를 판정하는 레이트와 상이한 레이트로 캡처된 이미지를 프로세싱할 수 있다. 그러므로, 두 액션은 두 액션이 각각 발생하는 시간은 물론 순서가 상이할 수 있다. 임의의 이벤트에서, 단계(1301)에서 랜드마크 결정 요청을 수신한 후, 어떤 것이 먼저 발생하였는지에 대한 염려 없이, 내시경 팁(112)의 다음 판정된 위치는 메모리 디바이스(155)에 저장되고, 위치 프로세서(130)로부터 수신된 다음 캡처된 이미지는 메모리 디바이스(155)에 저장된다.
환자 몸속에서 타겟 위치를 향해 내시경(110)을 길찾기하는 동안 랜드마크의 결정과 더불어, (식도, 위장, 결장 등과 같은) 조직 구조는 조직 구조의 하나의 끝부에서 다른 끝부로 이동할 때, 내시경 팁(112)의 위치 정보를 사용하여 측정될 수 있다. 측정된 조직 구조의 정보는 그 다음 조직 구조의 사전 측정된 데이터 또는 3D 모델을 환자 몸 내부의 그 적절한 위치로 정렬하고 크기조절하고, 보조 디스플레이 스크린(160) 상에 3-D 환자 컴퓨터 모델과 함께 조직 구조를 디스플레이하기 위해 사용될 수 있다. 하나의 예로서, 도 13는 구강 및 위장 삽입부 랜드마크의 측정된 위치가, 구강과 위장 삽입부를 연결하는 식도의 3D 모델을 정렬하고 크기조절하기 위해, 내시경의 중간 형상과 함께, 어떻게 사용되는지 보여준다. 식도 모델은 그 다음 3-D 굽은 보조 디스플레이 스크린(160) 상에 환자 및 내시경(110)의 3-D 모델과 함께, 튜브(1401)로서 디스플레이 가능하다.
본 발명의 다양한 형태가 하나 이상의 바람직한 실시예에 대하여 서술되었으나, 본 발명은 첨부된 청구항의 전체 범위 내에서 완전히 보호됨을 이해해야 한다.

Claims (60)

  1. 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법으로서,
    상기 내시경 디바이스 상의 레퍼런스 포인트의 현재 위치를 레퍼런스 프레임에 대하여 판정하는 단계;
    상기 레퍼런스 포인트의 상기 현재 위치로부터 상기 레퍼런스 프레임에 대한 제1 랜드마크의 위치까지의 제1 벡터를 판정하는 단계;
    상기 제1 벡터를 상기 레퍼런스 프레임에서 상기 내시경 디바이스의 팁에 배치된 이미지 캡처 디바이스의 펄스펙티브(perspective)에 대응하는 이미지 레퍼런스 프레임으로 변환하는 단계; 및
    상기 내시경 디바이스의 상기 팁을 상기 제1 랜드마크를 향해 조종하기 위한 하나의 방향을 지시하도록, 상기 이미지 캡처 디바이스에 의해 캡처된 현재 이미지와 함께 상기 변환된 제1 벡터의 그래픽 표현을 디스플레이 상에 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  2. 제 1 항에 있어서, 상기 내시경 디바이스의 위치 및 형상 정보를 제공하기 위해 상기 내시경 디바이스를 통해 스트레인 센서와 함께 구성된 하나 이상의 광섬유가 뻗어 있는 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  3. 제 1 항에 있어서, 상기 현재 이미지는 스테레오스코픽 이미지이고, 상기 디스플레이는 3차원 디스플레이이고, 상기 변환된 제1 벡터의 그래픽 표현은 상기 내시경 디바이스의 상기 팁을 상기 제1 랜드마크를 향하도록 조종하기 위한 상기 방향을 향해 가리키는 3차원 화살표인 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  4. 제 1 항에 있어서, 상기 제1 벡터를 판정하는 단계 이전에,
    상기 제1 랜드마크를 결정하기 위한 지시를 수신하는 단계;
    상기 제1 랜드마크를 결정하기 위한 지시를 수신한 때에, 상기 레퍼런스 포인트의 위치를 판정하는 단계;
    상기 제1 랜드마크를 결정하기 위한 지시를 수신한 때에, 상기 레퍼런스 포인트의 상기 위치를 메모리 디바이스에 저장하는 단계; 및
    상기 저장된 위치를 상기 제1 랜드마크의 상기 위치로 레퍼런싱하는 단계;를 더 포함하는 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  5. 제 4 항에 있어서, 상기 제1 벡터를 판정하는 단계 이전에,
    상기 제1 랜드마크를 결정하기 위한 지시를 수신한 후, 제1 기회(opportunity)에 상기 제1 랜드마크의 이미지를 캡처하는 단계;
    상기 제1 랜드마크의 상기 캡처된 이미지를 상기 메모리 디바이스에 저장하는 단계;를 더 포함하고,
    상기 디스플레이 상에 상기 현재 이미지와 함께 상기 변환된 제1 벡터의 상기 그래픽 표현을 디스플레이하는 단계는 상기 변환된 제1 벡터의 상기 그래픽 표현에 근접한 상기 디스플레이 상에 상기 제1 랜드마크의 상기 캡처된 이미지를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  6. 제 1 항에 있어서,
    상기 레퍼런스 포인트의 상기 현재 위치에서부터 상기 레퍼런스 프레임에 대한 제2 랜드마크의 위치까지의 제2 벡터를 판정하는 단계;
    상기 제2 벡터를 상기 레퍼런스 프레임으로부터 상기 이미지 레퍼런스 프레임으로 변환하는 단계; 및
    상기 내시경 디바이스의 상기 팁을 상기 제2 랜드마크를 향해 조종하기 위한 하나의 방향을 지시하도록, 상기 현재 이미지와 함께 상기 변환된 제2 벡터의 그래픽 표현을 상기 디스플레이 상에 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  7. 제 1 항에 있어서, 상기 현재 레퍼런스 포인트 위치의 판정, 상기 제1 벡터의 판정, 상기 제1 벡터의 변환, 및 상기 현재 이미지와 함께 상기 변환된 제1 벡터의 그래픽 표현을 상기 디스플레이 상에 디스플레이하는 것을 주기적 반복 액션을 정지하라는 지시가 수신될 때까지 주기적으로 반복하는 단계를 더 포함하는 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  8. 제 1 항에 있어서, 상기 변환된 제1 벡터의 상기 그래픽 표현의 크기는 상기 변환된 제1 벡터의 크기와 관련되는 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  9. 제 1 항에 있어서, 상기 변환된 제1 벡터의 상기 그래픽 표현의 색상은 상기 제1 랜드마크와 연관된 색상인 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  10. 제 1 항에 있어서, 상기 변환된 제1 벡터의 상기 그래픽 표현을 디스플레이하는 단계는 상기 내시경 디바이스의 상기 팁을 상기 제1 랜드마크를 향해 조종하기 위한 상기 방향을 나타내는 상기 디스플레이된 현재 이미지의 사이드와 인접하게 상기 그래픽 표현을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  11. 제 1 항에 있어서, 상기 레퍼런스 포인트의 상기 현재 위치로부터 상기 복수의 랜드마크의 위치까지의 벡터들을 판정하는 단계 이전에, 상기 제1 랜드마크의 상기 위치를 포함하는 복수의 랜드마크의 위치를 메모리 디바이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  12. 제 11 항에 있어서, 상기 복수의 랜드마크의 상기 위치들은 수술전 측정된 데이터를 기초로 하는 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  13. 제 1 항에 있어서, 상기 환자 및 상기 제1 랜드마크의 컴퓨터 모델을 제2 디스플레이 상에 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  14. 제 13 항에 있어서, 상기 변환된 제1 벡터의 상기 그래픽 표현의 색상은 상기 제2 디스플레이 상에 디스플레이되고 있는 상기 제1 랜드마크의 컴퓨터 모델과 동일한 생삭인 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  15. 제 1 항에 있어서, 상기 환자 및 상기 제1 랜드마크의 컴퓨터 모델을 상기 디스플레이 상에 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  16. 제 15 항에 있어서, 상기 변환된 제1 벡터의 상기 그래픽 표현의 색상은 상기 디스플레이 상에 디스플레이되고 있는 상기 제1 랜드마크의 컴퓨터 모델과 동일한 색상인 것을 특징으로 하는 내시경 디바이스를 하나 이상의 랜드마크를 향해 조종하는 안내를 제공하는 컴퓨터 구현된 방법.
  17. 디스플레이;
    내시경 디바이스; 및
    상기 내시경 디바이스 상의 레퍼런스 포인트의 현재 위치를 레퍼런스 프레임에 대하여 판정하고, 상기 레퍼런스 포인트의 상기 현재 위치로부터 상기 레퍼런스 프레임에 대한 제1 랜드마크의 위치까지의 제1 벡터를 판정하고, 상기 제1 벡터를 상기 레퍼런스 프레임에서 상기 내시경 디바이스의 팁에 배치된 이미지 캡처 디바이스의 펄스펙티브(perspective)에 대응하는 이미지 레퍼런스 프레임으로 변환하고, 그리고 상기 내시경 디바이스의 상기 팁을 상기 제1 랜드마크를 향해 조종하기 위한 방향을 지시하기 위해 상기 이미지 캡처 디바이스에 의해 캡처된 현재 위치와 함께 상기 변환된 제1 벡터의 그래픽 표현을 상기 디스플레이 상에 디스플레이하도록 조절된 하나 이상의 프로세서;를 포함하는 것을 특징으로 하는 시스템.
  18. 제 17 항에 있어서, 상기 하나 이상의 프로세서는 위치 프로세서를 포함하고, 상기 시스템은
    스트레인 센서와 함께 구성된 하나 이상의 광 섬유;를 더 포함하고,
    상기 하나 이상의 광섬유는 상기 위치 프로세서에 상기 내시경 디바이스의 위치 및 형상 정보를 제공하기 위해 상기 내시경 디바이스를 통해 뻗어 있는 것을 특징으로 하는 시스템.
  19. 제 17 항에 있어서, 상기 현재 이미지는 스테레오스코픽 이미지이고, 상기 디스플레이는 3차원 디스플레이이고, 그리고 상기 변환된 제1 벡터의 상기 그래픽 표현은 상기 내시경 디바이스의 상기 팁을 상기 제1 랜드마크를 향해 조종하는 상기 방향을 향해 가리키는 3차원 화살표인 것을 특징으로 하는 시스템.
  20. 제 17 항에 있어서, 상기 하나 이상의 프로세서는 디스플레이 프로세서를 포함하고, 상기 시스템은
    메모리 디바이스;를 더 포함하고,
    상기 디스플레이 프로세서는 상기 제1 랜드마크를 결정하기 위한 지시를 수신하고, 상기 제1 랜드마크를 결정하기 위한 상기 지시를 수신하는 프로세스 사이클 내에 상기 내시경 디바이스 상의 상기 레퍼런스 포인트의 위치를 판정하고, 상기 레퍼런스 포인트의 판정된 위치를 상기 메모리 디바이스에 저장하고, 그리고 상기 저장된 위치를 상기 제1 랜드마크의 위치로 레퍼런싱하도록 조절되어 있는 것을 특징으로 하는 시스템.
  21. 제 20 항에 있어서, 상기 디스플레이 프로세서는 상기 제1 랜드마크의 상기 이미지 캡처 디바이스에 의해 캡처된 이미지를 상기 제1 랜드마크를 결정하기 위한 상기 지시를 수신한 프로세스 사이클 내에 상기 메모리 디바이스 내에 저장하고, 그 다음 상기 변환된 제1 벡터가 상기 디스플레이 상에 상기 현재 이미지와 함께 디스플레이되고 있을 때, 상기 변환된 제1 벡터의 상기 그래픽 표현과 인접하게 상기 제1 랜드마크의 상기 저장된 캡처된 이미지를 검색하고 디스플레이하도록 조절되어 있는 것을 특징으로 하는 시스템.
  22. 제 17 항에 있어서, 상기 프로세서는 상기 내시경 디바이스 상의 상기 레퍼런스 포인트의 상기 현재 위치로부터 상기 레퍼런스 프레임에 대한 제2 랜드마크의 위치까지의 제2 벡터를 판정하고, 상기 제2 벡터를 상기 레퍼런스 프레임에서부터 상기 이미지 레퍼런스 프레임으로 변환하고, 그리고 상기 내시경 디바이스의 상기 팁을 상기 제2 랜드마크를 향해 조종하는 방향을 지시하기 위해 상기 디스플레이 상에 상기 현재 이미지와 함께 상기 변환된 제2 벡터의 그래픽 표현을 디스플레이하도록 조절되어 있는 것을 특징으로 하는 시스템.
  23. 제 17 항에 있어서, 상기 하나 이상의 프로세서는 상기 현재 레퍼런스 포인트 위치의 판정, 상기 제1 벡터의 판정, 상기 제1 벡터의 변환, 및 상기 디스플레이 상에 상기 현재 위치와 함께 상기 변환된 제1 벡터의 그래픽 표현을 디스플레이하는 것을, 각각의 프로세스 사이클의 시퀀스에서, 수행하도록 조절되어 있는 것을 특징으로 하는 시스템.
  24. 제 17 항에 있어서, 상기 하나 이상의 프로세서는 상기 그래픽 표현의 크기가 상기 변환된 제1 벡터의 크기와 관련되도록 상기 변환된 제1 벡터의 그래픽 표현을 디스플레이하도록 조절되어 있는 것을 특징으로 하는 시스템.
  25. 제 17 항에 있어서, 상기 하나 이상의 프로세서는 상기 그래픽 표현의 색상이 상기 제1 랜드마크와 연관된 색상이도록 상기 변환된 제1 벡터의 그래픽 표현을 디스플레이하도록 조절되어 있는 것을 특징으로 하는 시스템.
  26. 제 17 항에 있어서, 상기 하나 이상의 프로세서는 상기 내시경 디바이스의 상기 팁이 상기 제1 랜드마크를 향해 조종하기 위한 상기 방향을 나타내는 상기 디스플레이된 현재 이미지의 한 측과 인접하게 상기 변환된 제1 벡터의 그래픽 표현을 디스플레이하도록 조절되어 있는 것을 특징으로 하는 시스템.
  27. 제 17 항에 있어서, 메모리 디바이스를 더 포함하고, 상기 하나 이상의 프로세서는 상기 레퍼런스 포인트의 현재 위치에서부터 복수의 랜드마크의 위치까지의 벡터들을 판정하기 이전에, 상기 제1 랜드마크의 위치를 포함하는 복수의 랜드마크의 위치를 상기 메모리 디바이스에 저장하도록 조절되어 있는 것을 특징으로 하는 시스템.
  28. 제 27 항에 있어서, 상기 복수의 랜드마크의 위치는 수술전 측정된 데이터를 기초로 하는 것을 특징으로 하는 시스템.
  29. 제 17 항에 있어서, 상기 하나 이상의 프로세서는 환자와 상기 제1 랜드마크의 컴퓨터 모델을 제2 디스플레이에 디스플레이하도록 조절되어 있는 것을 특징으로 하는 시스템.
  30. 제 29 항에 있어서, 상기 하나 이상의 프로세서는 상기 변환된 제1 벡터의 그래픽 표현의 색상이 상기 제1 랜드마크의 컴퓨터 모델이 상기 제2 디스플레이 상에 디스플레이되고 있는 것과 동일한 색상이되도록 상기 제1 벡터의 그래픽 표현을 상기 디스플레이에 디스플레이하도록 조절되어 있는 것을 특징으로 하는 시스템.
  31. 제 17 항에 있어서, 상기 하나 이상의 프로세서는 상기 환자 및 상기 제1 랜드마크의 컴퓨터 모델을 상기 디스플레이에 디스플레이하도록 조절되어 있는 것을 특징으로 하는 시스템.
  32. 제 31 항에 있어서, 상기 하나 이상의 프로세서는 상기 변환된 제1 벡터의 그래픽 표현의 색상이 상기 제1 랜드마크의 컴퓨터 모델이 상기 디스플레이 상에 디스플레이되고 있는 것과 동일한 색상이되도록 상기 제1 벡터의 그래픽 표현을 상기 디스플레이 상에 디스플레이하도록 조절되어 있는 것을 특징으로 하는 시스템.
  33. 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법으로서,
    환자의 컴퓨터 모델을 레퍼런스 프레임으로 레퍼런싱하는 단계;
    상기 레퍼런스 프레임에 대한 상기 내시경 디바이스의 현재 위치 및 형상을 판정하는 단계;
    상기 판정된 현재 위치 및 형상에 따라 상기 내시경 디바이스의 컴퓨터 모델을 생성하는 단계; 및
    상기 운전자에게 내시경 길찾기하는데 도움을 제공하기 위해 상기 내시경 디바이스 및 환자의 상기 컴퓨터 모델을 디스플레이 상에 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법.
  34. 제 33 항에 있어서, 상기 환자의 컴퓨터 모델을 레퍼런스 프레임으로 레퍼런싱하는 단계는
    상기 환자 상의 하나 이상의 포인트를 상기 레퍼런스 프레임에 레퍼런싱하는 단계; 및
    상기 환자 상의 레퍼런싱된 하나 이상의 포인트 각각과 상기 환자의 상기 컴퓨터 모델의 대응하는 포인트를 연관시키는 단계;를 포함하는 것을 특징으로 하는 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법.
  35. 제 34 항에 있어서, 상기 환자의 컴퓨터 모델은 3차원 컴퓨터 모델이고, 상기 환자의 컴퓨터 모델을 레퍼런스 프레임에 레퍼런싱하는 단계는 상기 환자와 상기 환자 컴퓨터 모델의 상기 연관된 레퍼런스 포인트를 사용하여 상기 레퍼런스 프레임 내의 환자와 상기 환자의 컴퓨터 모델을 정렬시키는 단계를 포함하는 것을 특징으로 하는 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법.
  36. 제 34 항에 있어서, 상기 환자의 컴퓨터 모델은 3차원 컴퓨터 모델이고, 상기 환자의 컴퓨터 모델을 레퍼런스 프레임에 레퍼런싱하는 단계는 상기 환자 컴퓨터 모델과 상기 환자의 상기 연관된 레퍼런스 포인트를 오버레이함으로써 상기 환자의 컴퓨터 모델을 상기 환자에 맞게 일치시키는 단계;를 포함하는 것을 특징으로 하는 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법.
  37. 제 34 항에 있어서, 상기 환자 상의 하나 이상의 포인트를 상기 레퍼런스 프레임에 레퍼런싱하는 단계는 상기 포인트가 상기 환자 상의 상기 하나 이상의 포인트 중 대응하는 포인트와 맞닿은 때, 상기 내시경 디바이스 상의 포인트의 상기 레퍼런스 프레임 내의 위치를 판정하는 단계를 포함하는 것을 특징으로 하는 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법.
  38. 제 33 항에 있어서, 상기 내시경 디바이스의 형상 정보를 제공하기 위해 스트레인 센서와 함께 구성된 하나 이상의 광섬유가 상기 내시경 디바이스를 통해 뻗어 있는 것을 특징으로 하는 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법.
  39. 제 33 항에 있어서, 상기 내시경 디바이스의 위치 정보를 제공하기 위해 스트레인 센서와 함께 구성된 하나 이상의 광섬유가 상기 내시경 디바이스에 부착되어 있는 것을 특징으로 하는 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법.
  40. 제 33 항에 있어서, 상기 내시경 디바이스는 말단 팁, 및 상기 말단 팁의 펄스펙티브로부터 이미지를 캡처하도록 배치된 이미지 캡처 디바이스를 포함하고, 상기 방법은
    상기 이미지 캡처 디바이스로 이미지를 주기적으로 캡처하고 상기 캡처된 이미지를 메모리 디바이스에 저장하는 단계; 및
    상기 이미지를 캡처하는 시점에 상기 이미지 캡처 디바이스의 위치를 판정하고, 상기 위치를 상기 메모리 디바이스에 저장하는 단계;를 포함하는 것을 특징으로 하는 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법.
  41. 제 40 항에 있어서, 상기 이미지를 캡처하는 시점에 대응하는 시간스탬프를 상기 메모리 디바이스에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법.
  42. 제 40 항에 있어서, 복수의 상기 캡처된 이미지를 함께 모자이킹함으로써, 상기 메모리 디바이스에 저장된 상기 캡처된 이미지로부터 파노라마 이미지를 계산하는 단계를 더 포함하는 것을 특징으로 하는 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법.
  43. 제 42 항에 있어서,
    상기 디스플레이 상의 제1 영역에 상기 파노라마 이미지를 디스플레이하는 단계; 및
    상기 디스플레이 상의 제2 영역에 상기 내시경 및 환자의 컴퓨터 모델을 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법.
  44. 제 42 항에 있어서,
    상기 디스플레이 상에 상기 파노라마 이미지를 디스플레이하는 단계; 및
    상기 디스플레이 상에 상기 파노라마 이미지 위에, 상기 내시경 디바이스 및 환자의 컴퓨터 모델을 화면속화면(picture in picture)으로 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법.
  45. 제 42 항에 있어서, 상기 파노라마 이미지를 상기 디스플레이 상에 디스플레이되고 있는 상기 내시경 디바이스의 컴퓨터 모델의 말단 팁으로부터 투영되어 나타나도록 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법.
  46. 제 33 항에 있어서,
    상기 환자 몸속의 조직 구조상의 적어도 2개의 포인트에 대하여 상기 레퍼런스 프레임 내의 위치를 판정하는 단계; 및
    상기 조직 구조 상의 적어도 2개의 포인트에 대하여 상기 판정된 위치에 따라 상기 디스플레이 상에 상기 환자 및 내시경 디바이스의 컴퓨터 모델과 함께 상기 조직 구조의 컴퓨터 모델을 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 운전자의 내시경 길찾기를 돕기 위한 컴퓨터 구현된 방법.
  47. 디스플레이;
    내시경 디바이스; 및
    환자의 컴퓨터 모델을 레퍼런스 프레임에 레퍼런싱하고, 상기 레퍼런스 프레임에 대한 상기 내시경 디바이스의 현재 위치 및 형상을 판정하고, 상기 판정된 현재 위치 및 형상에 따라 상기 내시경 디바이스의 컴퓨터 모델을 생성하고, 그리고 상기 시스템의 운전자가 내시경 길찾기하는데 도움을 제공하기 위해 상기 디스플레이 상에 상기 내시경 디바이스 및 환자의 상기 컴퓨터 모델을 디스플레이하도록 조절된 프로세서;를 포함하는 것을 특징으로 하는 시스템.
  48. 제 47 항에 있어서, 상기 프로세서는
    상기 환자 상의 하나 이상의 포인트의 정보를 수신하고 상기 하나 이상의 포인트를 상기 레퍼런스 프레임에 레퍼런싱하기 위해 상기 수신된 정보를 프로세싱하고, 그리고
    상기 환자 상의 상기 레퍼런싱된 하나 이상의 포인트 각각을 상기 환자의 컴퓨터 모델의 대응하는 포인트와 연관시킴으로써, 상기 환자의 컴퓨터 모델을 상기 레퍼런스 프레임에 레퍼런싱하도록 조절되어 있는 것을 특징으로 하는 시스템.
  49. 제 48 항에 있어서, 상기 환자의 컴퓨터 모델은 3차원 컴퓨터 모델이고, 상기 프로세서는 상기 환자 및 상기 환자 컴퓨터 모델의 상기 연관된 레퍼런스 포인트를 사용하여 상기 레퍼런스 프레임 내에서 상기 환자와 상기 환자의 컴퓨터 모델을 정렬시킴으로써, 상기 환자의 컴퓨터 모델을 상기 레퍼런스 프레임에 레퍼런싱하도록 조절되어 있는 것을 특징으로 하는 시스템.
  50. 제 48 항에 있어서, 상기 환자의 컴퓨터 모델은 3차원 컴퓨터 모델이고, 상기 프로세서는 상기 환자 컴퓨터 모델과 상기 환자의 상기 연관된 레퍼런스 포인트를 오버레이함으로써 상기 환자의 컴퓨터 모델을 상기 환자에 맞게 일치시킴으로써, 상기 환자의 컴퓨터 모델을 상기 레퍼런스 프레임에 레퍼런싱하도록 조절되어 있는 것을 특징으로 하는 시스템.
  51. 제 48 항에 있어서, 상기 프로세서는 하나의 포인트가 상기 환자 상의 상기 하나 이상의 포인트 중 대응하는 포인트와 맞닿을 때, 상기 내시경 디바이스 상의 포인트의 상기 레퍼런스 프레임 내의 위치를 판정함으로써, 상기 환자 상의 상기 하나 이상의 포인트를 상기 레퍼런스 프레임에 레퍼런싱하도록 조절되어 있는 것을 특징으로 하는 시스템.
  52. 제 47 항에 있어서, 상기 내시경 디바이스의 형상 정보를 제공하기 위해 상기 내시경 디바이스를 통해 뻗어 있고, 스트레인 센서와 함께 구성된 하나 이상의 광섬유를 더 포함하는 것을 특징으로 하는 시스템.
  53. 제 47 항에 있어서, 상기 내시경 디바이스의 위치 정보를 제공하기 위해 상기 내시경 디바이스에 부착되어 있고, 스트레인 센서와 함께 구성된 하나 이상의 광섬유를 더 포함하는 것을 특징으로 하는 시스템.
  54. 제 47 항에 있어서,
    내시경 디바이스의 말단 팁에 위치하고, 상기 말단 팁의 펄스펙티브로부터 이미지를 캡처하기 위한 이미지 캡처 디바이스; 및
    메모리 디바이스;를 더 포함하고,
    상기 프로세서는 상기 이미지 캡처 디바이스로 주기적으로 이미지를 캡처하고 상기 캡처된 이미지를 상기 메모리 디바이스에 저장하고, 그리고 상기 이미지를 캡처한 시점에 상기 이미지 캡처 디바이스의 위치를 판정하고 상기 위치를 상기 메모리 디바이스에 저장하도록 조절되어 있는 것을 특징으로 하는 시스템.
  55. 제 54 항에 있어서, 상기 프로세서는 상기 이미지를 캡처하는 시점에 대응하는 시간스탬프를 상기 메모리 디바이스에 저장하도록 조절되어 있는 것을 특징으로 하는 시스템.
  56. 제 54 항에 있어서, 상기 프로세서는 복수의 상기 캡처된 이미지를 함께 모자이킹함으로써 상기 메모리 디바이스에 저장된 상기 캡처된 이미지로부터 파노라마 이미지를 계산하도록 조절되어 있는 것을 특징으로 하는 시스템.
  57. 제 56 항에 있어서, 상기 프로세서는 상기 파노라마 이미지를 상기 디스플레이 상의 제1 영역에 디스플레이하고, 상기 내시경 디바이스 및 환자의 컴퓨터 모델을 상기 디스플레이 상의 제2 영역에 디스플레이하도록 조절되어 있는 것을 특징으로 하는 시스템.
  58. 제 56 항에 있어서, 상기 프로세서는 상기 파노라마 이미지를 상기 디스플레이 상에 디스플레이하고, 상기 내시경 디바이스 및 환자의 컴퓨터 모델을 상기 디스플레이 상의 상기 파노라마 이미지 위에 화면속화면(picture in picture)으로 디스플레이하도록 조절되어 있는 것을 특징으로 하는 시스템.
  59. 제 56 항에 있어서, 상기 프로세서는 상기 디스플레이 상에 디스플레이되고 있는 상기 내시경 디바이스의 컴퓨터 모델의 말단 팁으로부터 투영되어 나타나도록 상기 파노라마 이미지를 디스플레이하도록 조절되어 있는 것을 특징으로 하는 시스템.
  60. 제 47 항에 있어서, 상기 프로세서는 상기 환자 몸속의 조직 구조 상의 적어도 2개의 포인트에 대하여 상기 레퍼런스 프레임 내의 위치를 판정하고, 상기 조직 구조 상의 상기 적어도 2개의 포인트에 대하여 상기 판정된 위치에 따라 상기 디스플레이 상에 상기 내시경 디바이스 및 상기 환자의 상기 컴퓨터 모델과 함께 상기 조직 구조의 컴퓨터 모델을 디스플레이하도록 조절되어 있는 것을 특징으로 하는 시스템.
KR1020117024734A 2009-03-26 2010-03-17 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템 KR101764438B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US12/411,515 2009-03-26
US12/411,501 2009-03-26
US12/411,515 US8337397B2 (en) 2009-03-26 2009-03-26 Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US12/411,501 US10004387B2 (en) 2009-03-26 2009-03-26 Method and system for assisting an operator in endoscopic navigation
PCT/US2010/027660 WO2010111090A1 (en) 2009-03-26 2010-03-17 System for providing visual guidance for steering a tip of an endoscopic device towards one or more landmarks and assisting an operator in endoscopic navigation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177021115A Division KR101903307B1 (ko) 2009-03-26 2010-03-17 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템

Publications (2)

Publication Number Publication Date
KR20120014242A true KR20120014242A (ko) 2012-02-16
KR101764438B1 KR101764438B1 (ko) 2017-08-02

Family

ID=42244093

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177021115A KR101903307B1 (ko) 2009-03-26 2010-03-17 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템
KR1020117024734A KR101764438B1 (ko) 2009-03-26 2010-03-17 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177021115A KR101903307B1 (ko) 2009-03-26 2010-03-17 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템

Country Status (4)

Country Link
EP (5) EP3023941B1 (ko)
KR (2) KR101903307B1 (ko)
CN (2) CN102449666B (ko)
WO (1) WO2010111090A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012046202A1 (en) * 2010-10-08 2012-04-12 Koninklijke Philips Electronics N.V. Flexible tether with integrated sensors for dynamic instrument tracking
JP6254846B2 (ja) * 2011-02-17 2017-12-27 タイト ケア リミテッド 自動の及び自己ガイドされる医学検査を行うためのシステム及び方法
AU2012219077B2 (en) 2011-02-17 2016-07-07 Tyto Care Ltd System and method for performing an automatic and remote trained personnel guided medical examination
DE102011005259A1 (de) * 2011-03-08 2012-09-13 Olympus Winter & Ibe Gmbh Verfahren und System zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops
US11064955B2 (en) 2011-03-31 2021-07-20 Koninklijke Philips N.V. Shape sensing assisted medical procedure
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
EP2538398B1 (en) * 2011-06-19 2015-08-26 Centrum Transferu Technologii Medycznych Park Technologiczny Sp. z o.o. System and method for transesophageal echocardiography simulations
WO2013030764A1 (en) * 2011-09-02 2013-03-07 Koninklijke Philips Electronics N.V. Rapid dense point cloud imaging using probabilistic voxel maps
WO2013057620A1 (en) * 2011-10-20 2013-04-25 Koninklijke Philips Electronics N.V. Shape sensing assisted medical procedure
JP6174676B2 (ja) * 2012-04-19 2017-08-02 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 術前及び術中３ｄ画像を用いて内視鏡を手動操作するガイダンスツール及びガイド下内視鏡ナビゲーションのための装置の作動方法
EP3470003A3 (en) 2012-05-14 2019-04-24 Intuitive Surgical Operations Inc. Systems for deformation compensation using shape sensing
EP2849640B1 (en) * 2012-05-18 2021-04-21 Koninklijke Philips N.V. Voxel tagging using fiber optic shape sensing
RU2686954C2 (ru) * 2012-06-28 2019-05-06 Конинклейке Филипс Н.В. Навигация с помощью оптоволоконного датчика для визуализации и мониторинга сосудов
US9370398B2 (en) 2012-08-07 2016-06-21 Covidien Lp Microwave ablation catheter and method of utilizing the same
US9861336B2 (en) 2012-09-07 2018-01-09 Gynesonics, Inc. Methods and systems for controlled deployment of needle structures in tissue
US9008757B2 (en) * 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
EP2903517A1 (en) * 2012-10-02 2015-08-12 Koninklijke Philips N.V. Volume mapping using optical shape sensors
JP6128792B2 (ja) * 2012-10-16 2017-05-17 オリンパス株式会社 観察装置、観察支援装置、観察装置の作動方法及びプログラム
CN104853820B (zh) * 2012-12-14 2018-08-14 皇家飞利浦有限公司 位置确定装置
EP4309613A3 (en) * 2013-01-16 2024-03-06 Stryker Corporation Navigation systems for indicating line-of-sight errors
US9993273B2 (en) 2013-01-16 2018-06-12 Mako Surgical Corp. Bone plate and tracking device using a bone plate for attaching to a patient's anatomy
JP6132585B2 (ja) * 2013-02-21 2017-05-24 オリンパス株式会社 被検体挿入システム
WO2015017270A1 (en) * 2013-07-29 2015-02-05 Intuitive Surgical Operations, Inc. Shape sensor systems with redundant sensing
CN111166274A (zh) * 2013-10-24 2020-05-19 奥瑞斯健康公司 机器人辅助腔内外科手术系统及相关方法
JP2017511712A (ja) 2014-02-04 2017-04-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 介入ツールの仮想ナビゲーションのための組織の非剛体変形のためのシステム及び方法
WO2015126466A1 (en) * 2014-02-21 2015-08-27 The University Of Akron Imaging and display system for guiding medical interventions
JP6667510B2 (ja) 2014-09-09 2020-03-18 インテュイティブ サージカル オペレーションズ， インコーポレイテッド フレキシブル医療器具
US10507056B2 (en) * 2015-10-01 2019-12-17 General Electric Company System and method for representation and visualization of catheter applied force and power
US10537395B2 (en) 2016-05-26 2020-01-21 MAKO Surgical Group Navigation tracker with kinematic connector assembly
CN106137103A (zh) * 2016-07-18 2016-11-23 王存金 内窥镜及内窥镜系统
TWI681751B (zh) * 2016-11-14 2020-01-11 鐿鈦科技股份有限公司 植入物環景影像檢視方法及其系統
CN110167477B (zh) 2017-02-01 2023-12-29 直观外科手术操作公司 图像引导手术的配准系统和方法
GB2599323B (en) 2017-02-07 2022-08-03 Cmr Surgical Ltd Mounting an endoscope to a surgical robot
DE102017103198A1 (de) * 2017-02-16 2018-08-16 avateramedical GmBH Vorrichtung zum Festlegen und Wiederauffinden eines Bezugspunkts während eines chirurgischen Eingriffs
CN107133941A (zh) * 2017-04-18 2017-09-05 重庆金山医疗器械有限公司 一种无线胶囊内窥镜图像突出血管奇变以及凸起部位的显示方法
CN108577977B (zh) * 2018-03-19 2020-10-30 山东大学 穿刺针及穿刺针运动轨迹的三维重建方法及系统
JP7179837B2 (ja) * 2018-04-17 2022-11-29 富士フイルム株式会社 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法
US11147629B2 (en) * 2018-06-08 2021-10-19 Acclarent, Inc. Surgical navigation system with automatically driven endoscope
CN111936030A (zh) * 2018-06-22 2020-11-13 奥林巴斯株式会社 界标估计方法及内窥镜装置
US11514576B2 (en) * 2018-12-14 2022-11-29 Acclarent, Inc. Surgical system with combination of sensor-based navigation and endoscopy
EP4018428A4 (en) * 2019-09-09 2023-12-20 Help Me See Inc. SURGICAL SIMULATOR SYSTEMS AND METHODS
CN110742690A (zh) * 2019-09-12 2020-02-04 东南大学苏州医疗器械研究院 一种用于配置内窥镜的方法及终端设备
CN113014871B (zh) * 2021-02-20 2023-11-10 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助系统
CN114770596B (zh) * 2022-04-28 2023-08-11 东南大学 基于主动视觉和听觉的医疗行为采集机器人及控制方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5776050A (en) * 1995-07-24 1998-07-07 Medical Media Systems Anatomical visualization system
US5638819A (en) * 1995-08-29 1997-06-17 Manwaring; Kim H. Method and apparatus for guiding an instrument to a target
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
JP4054104B2 (ja) * 1998-04-10 2008-02-27 オリンパス株式会社 内視鏡画像処理装置
US6511417B1 (en) * 1998-09-03 2003-01-28 Olympus Optical Co., Ltd. System for detecting the shape of an endoscope using source coils and sense coils
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6466815B1 (en) * 1999-03-30 2002-10-15 Olympus Optical Co., Ltd. Navigation apparatus and surgical operation image acquisition/display apparatus using the same
WO2001033165A1 (en) * 1999-10-29 2001-05-10 Advanced Sensor Technology, Llc Optical fiber navigation system
US6468203B2 (en) 2000-04-03 2002-10-22 Neoguide Systems, Inc. Steerable endoscope and improved method of insertion
US6610007B2 (en) * 2000-04-03 2003-08-26 Neoguide Systems, Inc. Steerable segmented endoscope and method of insertion
AU2001292836A1 (en) * 2000-09-23 2002-04-02 The Board Of Trustees Of The Leland Stanford Junior University Endoscopic targeting method and system
US6663559B2 (en) * 2001-12-14 2003-12-16 Endactive, Inc. Interface for a variable direction of view endoscope
US7998062B2 (en) * 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
WO2004039249A1 (ja) * 2002-10-29 2004-05-13 Olympus Corporation 内視鏡情報の処理装置および処理方法
JP2004251779A (ja) * 2003-02-20 2004-09-09 Fuji Photo Optical Co Ltd 長尺可撓部材の三次元形状検出装置
DE10322739B4 (de) * 2003-05-20 2006-10-26 Siemens Ag Verfahren zur markerlosen Navigation in präoperativen 3D-Bildern unter Verwendung eines intraoperativ gewonnenen 3D-C-Bogen-Bildes
US7232409B2 (en) * 2003-11-20 2007-06-19 Karl Storz Development Corp. Method and apparatus for displaying endoscopic images
WO2005058137A2 (en) * 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
CN100525699C (zh) * 2004-09-27 2009-08-12 奥林巴斯株式会社 弯曲控制装置
EP1918870A4 (en) * 2005-08-22 2012-05-02 Olympus Corp IMAGE DISPLAY DEVICE
US20090131955A1 (en) * 2005-09-29 2009-05-21 Corindus Ltd. Methods and apparatuses for treatment of hollow organs
US8190238B2 (en) * 2005-12-09 2012-05-29 Hansen Medical, Inc. Robotic catheter system and methods
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
DE102006014626A1 (de) * 2006-03-29 2007-10-11 Siemens Ag Verfahren zur Positionierung einer magnetisch mittels eines Magnetspulensystems navigierbaren Endoskopie-Kapsel
KR101422558B1 (ko) * 2007-01-29 2014-07-24 인튜어티브 서지컬 인코포레이티드 형상 센서를 이용하여 기계를 제어하는 시스템
WO2008097540A2 (en) * 2007-02-02 2008-08-14 Hansen Medical, Inc. Robotic surgical instrument and methods using bragg fiber sensors
US7813538B2 (en) * 2007-04-17 2010-10-12 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy
US8050523B2 (en) * 2007-04-20 2011-11-01 Koninklijke Philips Electronics N.V. Optical fiber shape sensing systems

Also Published As

Publication number Publication date
KR101903307B1 (ko) 2018-10-01
EP2411966B1 (en) 2016-05-11
CN105596005B (zh) 2019-01-22
EP3023941B1 (en) 2019-05-08
EP3553751A3 (en) 2019-12-18
EP3023941A2 (en) 2016-05-25
WO2010111090A1 (en) 2010-09-30
EP4012658A1 (en) 2022-06-15
CN105596005A (zh) 2016-05-25
KR101764438B1 (ko) 2017-08-02
CN102449666B (zh) 2016-01-20
EP3553751A2 (en) 2019-10-16
EP3859682A1 (en) 2021-08-04
CN102449666A (zh) 2012-05-09
EP2411966A1 (en) 2012-02-01
EP3023941A3 (en) 2016-08-03
KR20170090527A (ko) 2017-08-07

Similar Documents

Publication Publication Date Title
US11744445B2 (en) Method and system for assisting an operator in endoscopic navigation
US20210177299A1 (en) Method And System For Providing Visual Guidance To An Operator For Steering A Tip Of An Endoscopic Device Towards One Or More Landmarks In A Patient
KR101764438B1 (ko) 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템
US10813711B2 (en) Robot-assisted driving systems and methods
US6594517B1 (en) Method and apparatus for generating controlled torques on objects particularly objects inside a living body
US7961924B2 (en) Method of three-dimensional device localization using single-plane imaging
US8668638B2 (en) Method and system for automatically maintaining an operator selected roll orientation at a distal tip of a robotic endoscope
US6902528B1 (en) Method and apparatus for magnetically controlling endoscopes in body lumens and cavities
JP7402215B2 (ja) ゴースト器具情報を用いた管腔内ナビゲーション
WO2024033898A1 (en) User interfaces for navigating anatomical channels in medical procedures
CN116940298A (zh) 来自单个感应拾取线圈传感器的六个自由度
WO2023154246A1 (en) Bronchoscope graphical user interface with improved navigation

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant