KR102607065B1 - 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스 - Google Patents

영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스 Download PDF

Info

Publication number
KR102607065B1
KR102607065B1 KR1020227023371A KR20227023371A KR102607065B1 KR 102607065 B1 KR102607065 B1 KR 102607065B1 KR 1020227023371 A KR1020227023371 A KR 1020227023371A KR 20227023371 A KR20227023371 A KR 20227023371A KR 102607065 B1 KR102607065 B1 KR 102607065B1
Authority
KR
South Korea
Prior art keywords
examples
window
transitory computer
virtual
processors
Prior art date
Application number
KR1020227023371A
Other languages
English (en)
Other versions
KR20220104062A (ko
Inventor
빈센트 두인담
페데리코 바바글리
크리스티안 비안키
크리스토퍼 알 칼슨
티모씨 디 소퍼
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority to KR1020237040380A priority Critical patent/KR20230164237A/ko
Publication of KR20220104062A publication Critical patent/KR20220104062A/ko
Application granted granted Critical
Publication of KR102607065B1 publication Critical patent/KR102607065B1/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/04—Endoscopic instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097—Sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/04—Endoscopic instruments
    • A61B2010/045—Needles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2217/00—General characteristics of surgical instruments
    • A61B2217/002—Auxiliary appliance
    • A61B2217/005—Auxiliary appliance with suction drainage system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2217/00—General characteristics of surgical instruments
    • A61B2217/002—Auxiliary appliance
    • A61B2217/007—Auxiliary appliance with irrigation system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0803—Recording apparatus specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M2025/0166—Sensors, electrodes or the like for guiding the catheter to a target zone, e.g. image guided or magnetically guided

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pulmonology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Digital Computer Display Output (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

의료 시술 중에 그래픽 사용자 인터페이스를 사용하여 안내 정보를 디스플레이하기 위한 방법은 그래픽 사용자 인터페이스의 제1 모드에서, 신장된 장치의 원위 단부에 대응하는 시야로부터의 제1 영상 데이터를 디스플레이하는 단계를 포함한다. 제1 영상 데이터는 가상 로드맵을 포함한다. 방법은 그래픽 사용자 인터페이스의 제1 모드로부터 그래픽 사용자 인터페이스의 제2 모드로 전이하는 단계를 또한 포함한다. 전이는 트리거링 조건의 발생에 기초한다. 방법은 그래픽 사용자 인터페이스의 제2 모드에서, 신장된 장치의 원위 단부에 대응하는 시야로부터의 제2 영상 데이터를 디스플레이하는 단계를 또한 포함한다. 제2 영상 데이터는 목표 위치에 대응하는 목표 표식 및 목표 위치에서의 의료 시술의 예상 위치에 대응하는 정렬 표식을 포함한다.

Description

영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스{GRAPHICAL USER INTERFACE FOR DISPLAYING GUIDANCE INFORMATION IN A PLURALITY OF MODES DURING AN IMAGE-GUIDED PROCEDURE}
본 특허 출원은 2016년 6월 30일자로 출원된 발명의 명칭이 "영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스(Graphical User Interface for Displaying Guidance Information in a Plurality of Modes during an Image-Guided Procedure)"인 미국 가특허 출원 제62/357,258호 및 2017년 4월 18일자로 출원된 발명의 명칭이 "영상 안내식 시술을 모니터링하기 위한 그래픽 사용자 인터페이스(Graphical User Interface for Monitoring an Image-Guided Procedure)"인 미국 가특허 출원 제62/486,879호에 기초하여 우선권을 주장하고, 이들은 본원에서 전체적으로 참조로 통합되었다. 본 출원은 또한 2016년 6월 30일자로 출원된 발명의 명칭이 "영상 안내식 시술 중에 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스(Graphical User Interface for Displaying Guidance Information During an Image-Guided Procedure)"인 미국 가특허 출원 제62/327,217호에 관련되고, 이는 본원에서 전체적으로 참조로 통합되었다.
본 개시내용은 영상 안내식 시술을 수행하기 위한 시스템 및 방법, 및 특히 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 시스템 및 방법에 관한 것이다.
최소 침습적 의료 기술은 의료 시술 중에 손상되는 조직의 양을 감소시켜서, 환자 회복 시간, 불편함, 및 유해한 부작용을 감소시키도록 의도된다. 그러한 최소 침습적 기술은 환자의 해부학적 구조물 내의 자연적인 구멍을 통해 또는 하나 이상의 외과적 절개부를 통해 수행될 수 있다. 이러한 자연적인 구멍 또는 절개부를 통해, 의사는 목표 조직 위치에 도달하기 위해 (수술, 진단, 치료, 또는 생검 기구를 포함함) 최소 침습적 의료 기구를 삽입할 수 있다. 하나의 그러한 최소 침습적 기술은 해부학적 통로 내로 삽입되어 환자의 해부학적 구조물 내의 관심 영역을 향해 운행될 수 있는 가요성 카테터와 같은, 가요성 및/또는 조향 가능한 신장된 장치를 사용하는 것이다. 의료 인력에 의한 그러한 신장된 장치의 제어는 적어도 신장된 장치의 삽입 및 후퇴와 장치의 조향의 관리를 포함한 여러 자유도의 관리를 포함한다. 또한, 상이한 작동 모드가 또한 지원될 수 있다.
따라서, 최소 침습적 의료 기술 중에 사용하기에 적합한 조향 가능한 카테터와 같은 가요성 및/또는 조향 가능한 신장된 장치의 직관적인 제어 및 관리를 지원하는 그래픽 사용자 인터페이스를 제공하는 것이 유리하다.
본 발명의 실시예들은 상세한 설명에 이어지는 청구범위에 의해 가장 잘 요약된다.
몇몇 실시예에서, 의료 시술 중에 그래픽 사용자 인터페이스를 사용하여 안내 정보를 디스플레이하기 위한 방법은 그래픽 사용자 인터페이스의 제1 모드에서, 신장된 장치의 원위 단부에 대응하는 시야로부터의 제1 영상 데이터를 디스플레이하는 단계를 포함한다. 제1 영상 데이터는 가상 로드맵을 포함한다. 방법은 그래픽 사용자 인터페이스의 제1 모드로부터 그래픽 사용자 인터페이스의 제2 모드로 전이하는 단계를 또한 포함한다. 전이는 트리거링 조건의 발생에 기초한다. 방법은 그래픽 사용자 인터페이스의 제2 모드에서, 신장된 장치의 원위 단부에 대응하는 시야로부터의 제2 영상 데이터를 디스플레이하는 단계를 또한 포함한다. 제2 영상 데이터는 목표 위치에 대응하는 목표 표식 및 목표 위치에서의 의료 시술의 예상 위치에 대응하는 정렬 표식을 포함한다.
몇몇 실시예에서, 그래픽 사용자 인터페이스를 사용하여 안내 정보를 디스플레이하기 위한 시스템은 가요성 본체를 포함하는 신장된 장치를 포함한다. 시스템은 그래픽 사용자 인터페이스의 제1 모드에서, 신장된 장치의 원위 단부에 대응하는 시야로부터의 제1 영상 데이터를 디스플레이하도록 구성된 하나 이상의 프로세서를 또한 포함한다. 제1 영상 데이터는 가상 로드맵을 포함한다. 하나 이상의 프로세서는 또한 그래픽 사용자 인터페이스의 제1 모드로부터 그래픽 사용자 인터페이스의 제2 모드로 전이하도록 구성된다. 전이는 트리거링 조건의 발생에 기초한다. 하나 이상의 프로세서는 또한 그래픽 사용자 인터페이스의 제2 모드에서, 신장된 장치의 원위 단부에 대응하는 시야로부터의 제2 영상 데이터를 디스플레이하도록 구성된다. 제2 영상 데이터는 목표 위치에 대응하는 목표 표식 및 목표 위치에서의 의료 시술의 예상 위치에 대응하는 정렬 표식을 포함한다.
상기 일반적인 설명 및 다음의 상세한 설명 둘다는 본질적으로 예시적이며 설명적이고, 본 개시내용의 범주로부터 벗어남이 없이 본 개시내용의 이해를 제공하도록 의도됨을 이해하여야 한다. 이와 관련하여, 본 개시내용의 추가의 양태, 특징, 및 장점이 다음의 상세한 설명으로부터 본 기술 분야의 통상의 기술자에게 명백할 것이다.
특허 또는 출원 파일은 컬러로 작성된 적어도 하나의 도면을 포함한다. 컬러 도면(들)을 구비한 이러한 특허 또는 특허 출원 공보의 사본은 요청 및 필요한 수수료의 납부 시에 특허청에 의해 제공될 것이다.
도 1은 몇몇 실시예에 따른 원격 작동식 의료 시스템의 단순화된 도면이다.
도 2a는 몇몇 실시예에 따른 의료 기구 시스템의 단순화된 도면이다.
도 2b는 몇몇 실시예에 따른 연장된 의료 도구를 구비한 의료 기구의 단순화된 도면이다.
도 3a 및 도 3b는 몇몇 실시예에 따른 삽입 조립체 상에 장착된 의료 기구를 포함하는 환자 좌표 공간의 측면도의 단순화된 도면이다.
도 4a는 몇몇 실시예에 따른 횡단 모드에서의 다중 모드 그래픽 사용자 인터페이스의 단순화된 도면이다.
도 4b는 몇몇 실시예에 따른 정렬 모드에서의 다중 모드 그래픽 사용자 인터페이스의 단순화된 도면이다.
도 5는 몇몇 실시예에 따른 가상 내시경 영상을 디스플레이하기 위한 윈도우의 단순화된 도면이다.
도 6은 몇몇 실시예에 따른 횡단 모드에서의 가상 전체 영상을 디스플레이하기 위한 윈도우의 단순화된 도면이다.
도 7은 몇몇 실시예에 따른 힘 표식 정보를 디스플레이하기 위한 윈도우의 단순화된 도면이다.
도 8은 작동 정보를 디스플레이하기 위한 윈도우의 단순화된 도면이다.
도 9는 몇몇 실시예에 따른 정렬 모드에서 목표 안내 정보를 디스플레이하기 위한 윈도우의 단순화된 도면이다.
도 10은 몇몇 실시예에 따른 정렬 모드에서 가상 전체 영상을 디스플레이하기 위한 윈도우의 단순화된 도면이다.
도 11은 몇몇 실시예에 따른 영상 안내식 외과적 시술 중의 다중 모드 그래픽 사용자 인터페이스를 디스플레이하는 방법의 단순화된 도면이다.
도 12는 횡단 모드에서의 다중 모드 그래픽 사용자 인터페이스의 스크린샷이다.
도 13은 몇몇 실시예에 따른 정렬 모드에서의 다중 모드 그래픽 사용자 인터페이스의 스크린샷이다.
본 개시내용의 실시예 및 그의 장점은 다음의 상세한 설명을 참조함으로써 가장 잘 이해된다. 유사한 도면 부호는 도면들 중 하나 이상에 도시된 유사한 요소를 식별하도록 사용되고, 도면의 도시는 본 개시내용의 실시예를 예시할 목적이며 이를 제한할 목적이 아님을 이해하여야 한다.
다음의 설명에서, 구체적인 세부가 본 개시내용에 일치되는 몇몇 실시예를 설명하면서 설명된다. 많은 구체적인 세부는 실시예들의 완전한 이해를 제공하기 위해 설명된다. 그러나, 몇몇 실시예는 이러한 구체적인 세부 중 일부 또는 전부가 없이 실시될 수 있음이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 본원에서 설명되는 구체적인 실시예는 예시적이며 제한적이지 않도록 의도된다. 본 기술 분야의 통상의 기술자는 여기서 구체적으로 설명되지는 않지만, 본 개시내용의 범주 및 사상 내에 있는 다른 요소들을 인식할 수 있다. 또한, 불필요한 반복을 피하기 위해, 하나의 실시예와 관련하여 도시되고 설명된 하나 이상의 특징은 달리 구체적으로 설명되지 않으면 또는 하나 이상의 특징이 실시예를 비기능적으로 만들면, 다른 실시예 내로 통합될 수 있다.
몇몇 경우에, 공지된 방법, 절차, 구성요소, 및 회로는 실시예들의 양태를 불필요하게 모호하게 하지 않도록 상세하게 설명되지 않았다.
본 개시내용은 다양한 기구 및 기구의 일부를 그들의 3차원 공간 내에서의 상태의 측면에서 설명한다. 본원에서 사용되는 바와 같이, "위치"라는 용어는 3차원 공간(예컨대, 직교 x-, y-, 및 z-좌표를 따른 3개의 병진 이동 자유도) 내에서의 대상 또는 대상의 일 부분의 위치를 지칭한다. 본원에서 사용되는 바와 같이, "배향"이라는 용어는 대상 또는 대상의 일 부분의 회전 배치(3개의 회전 자유도 - 예컨대, 롤링, 피칭, 및 요잉)를 지칭한다. 본원에서 사용되는 바와 같이, "자세"라는 용어는 적어도 하나의 병진 이동 자유도 내에서의 대상 또는 대상의 일 부분의 위치, 및 적어도 하나의 회전 자유도(6개까지의 총 자유도) 내에서의 그러한 대상 또는 대상의 일부의 배향을 지칭한다. 본원에서 사용되는 바와 같이, "형상"이라는 용어는 대상을 따라 측정된 자세, 위치, 또는 배향의 세트를 지칭한다.
도 1은 몇몇 실시예에 따른 원격 작동식 의료 시스템(100)의 단순화된 도면이다. 몇몇 실시예에서, 원격 작동식 의료 시스템(100)은, 예를 들어, 수술, 진단, 치료, 또는 생검 시술 시에 사용하기에 적합할 수 있다. 도 1에 도시된 바와 같이, 의료 시스템(100)은 대체로 환자(P)에 대해 다양한 시술을 수행하는 데 있어서 의료 기구(104)를 작동하기 위한 원격 작동식 조작기 조립체(102)를 포함한다. 원격 작동식 조작기 조립체(102)는 수술 테이블(T)에 또는 그 부근에 장착된다. 마스터 조립체(106)가 작업자(예컨대, 도 1에 도시된 바와 같은 외과의사, 의료진, 또는 의사(O))가 중재술 부위를 관찰하고 원격 작동식 조작기 조립체(102)를 제어하도록 허용한다.
마스터 조립체(106)는 환자(P)가 위치되는 외과용 테이블의 측면에서와 같이, 수술 테이블(T)과 동일한 공간 내에 보통 위치되는 의사 콘솔에 위치될 수 있다. 그러나, 의사(O)는 환자(P)와 다른 공간 또는 완전히 다른 건물에 위치될 수 있음을 이해하여야 한다. 마스터 조립체(106)는 대체로 원격 작동식 조작기 조립체(102)를 제어하기 위한 하나 이상의 제어 장치를 포함한다. 제어 장치는 조이스틱, 트랙볼, 데이터 글러브, 트리거 건, 수작동 제어기, 음성 인식 장치, 신체 운동 또는 존재 센서 등과 같은, 임의의 개수의 다양한 입력 장치를 포함할 수 있다. 의사(O)에게 기구(104)를 직접 제어하는 강한 느낌을 제공하기 위해, 제어 장치는 관련된 의료 기구(104)와 동일한 자유도를 구비할 수 있다. 이러한 방식으로, 제어 장치는 제어 장치가 의료 기구(104)와 일체라는 원격 존재감 또는 인지를 의사(O)에게 제공한다.
몇몇 실시예에서, 제어 장치는 관련 의료 기구(104)보다 더 많거나 더 적은 자유도를 가지며, 여전히 의사(O)에게 원격 존재감을 제공할 수 있다. 몇몇 실시예에서, 제어 장치는 선택적으로, 6개의 자유도로 이동하며, 기구를 작동시키기 위한 (예를 들어, 파지 조오(jaw)를 폐쇄하고, 전극에 전위를 인가하고, 의료적 처치를 전달하는 등을 위한) 작동 가능한 손잡이를 또한 포함할 수 있는 수동 입력 장치일 수 있다.
원격 작동식 조작기 조립체(102)는 의료 기구(104)를 지지하고, 하나 이상의 비서보 제어식 링크(예컨대, 설치 구조물로 일반적으로 지칭되는, 수동으로 제 위치에 위치되어 로킹될 수 있는 하나 이상의 링크)의 동역학적 구조물 및 원격 작동식 조작기를 포함할 수 있다. 원격 작동식 조작기 조립체(102)는 제어 시스템(예컨대, 제어 시스템(112))으로부터의 명령에 응답하여 의료 기구(104)에 대한 입력을 구동하는 복수의 액추에이터 또는 모터를 선택적으로 포함할 수 있다. 액추에이터는 의료 기구(104)에 결합되었을 때, 의료 기구(104)를 자연적으로 또는 외과적으로 생성된 해부학적 구멍 내로 전진시킬 수 있는 구동 시스템을 선택적으로 포함할 수 있다. 다른 구동 시스템이 3개의 선형 운동도(예컨대, X, Y, Z 직교 축을 따른 선형 운동) 및 3개의 회전 운동도(예컨대, X, Y, Z 직교 축 둘레에서의 회전)를 포함할 수 있는, 복수의 자유도로 의료 기구(104)의 원위 단부를 이동시킬 수 있다. 추가로, 액추에이터는 생검 장치의 조오 내에 조직을 파지하는 등을 위해 의료 기구(104)의 굴절식 엔드 이펙터를 작동시키기 위해 사용될 수 있다. 리졸버, 엔코더, 전위차계, 및 다른 메커니즘과 같은 액추에이터 위치 센서가 모터 샤프트의 회전 및 배향을 기술하는 센서 데이터를 의료 시스템(100)에 제공한다. 이러한 위치 센서 데이터는 액추에이터에 의해 조작되는 물체의 운동을 결정하기 위해 사용될 수 있다.
원격 작동식 의료 시스템(100)은 원격 작동식 조작기 조립체(102)의 기구에 대한 정보를 수신하기 위한 하나 이상의 하위 시스템을 구비한 센서 시스템(108)을 포함할 수 있다. 그러한 하위 시스템은 위치/장소 센서 시스템(예컨대, 전자기(EM) 센서 시스템); 의료 기구(104)를 구성할 수 있는 가요성 본체를 따른 원위 단부 및/또는 하나 이상의 세그먼트의 위치, 배향, 속력, 속도, 자세, 및/또는 형상을 결정하기 위한 형상 센서 시스템; 및/또는 의료 기구(104)의 원위 단부로부터 영상을 포착하기 위한 시각화 시스템을 포함할 수 있다.
원격 작동식 의료 시스템(100)은 센서 시스템(108)의 하위 시스템에 의해 생성되는 수술 부위 및 의료 기구(104)의 영상 또는 표현을 디스플레이하기 위한 디스플레이 시스템(110)을 또한 포함한다. 디스플레이 시스템(110) 및 마스터 조립체(106)는 의사(O)가 의료 기구(104) 및 마스터 조립체(106)를 원격 존재감을 인지하여 제어할 수 있도록 배향될 수 있다.
몇몇 실시예에서, 의료 기구(104)는 수술 부위의 동시 또는 실시간 영상을 기록하고, 디스플레이 시스템(110)의 하나 이상의 디스플레이와 같은, 의료 시스템(100)의 하나 이상의 디스플레이를 통해 작업자 또는 의사(O)에게 영상을 제공하는 관찰경 조립체를 포함할 수 있는 (아래에서 더 상세하게 설명되는) 시각화 시스템을 가질 수 있다. 동시 영상은, 예를 들어, 수술 부위 내에 위치된 내시경에 의해 포착된 2차원 또는 3차원 영상일 수 있다. 몇몇 실시예에서, 시각화 시스템은 의료 기구(104)에 일체로 또는 제거 가능하게 결합될 수 있는 내시경 구성요소를 포함한다. 그러나, 몇몇 실시예에서, 별도의 조작기 조립체에 부착된 별도의 내시경이 수술 부위를 촬영하기 위해 의료 기구(104)와 함께 사용될 수 있다. 시각화 시스템은 제어 시스템(112)의 프로세서를 포함할 수 있는 하나 이상의 컴퓨터 프로세서와 상호 작용하거나 그에 의해 실행되는, 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로서 구현될 수 있다.
디스플레이 시스템(110)은 또한 시각화 시스템에 의해 포착된 수술 부위 및 의료 기구의 영상을 디스플레이할 수 있다. 몇몇 예에서, 원격 작동식 의료 시스템(100)은 의료 기구들의 상대 위치가 의사(O)의 눈과 손의 상대 위치와 유사하도록, 의료 기구(104) 및 마스터 조립체(106)의 제어부를 구성할 수 있다. 이러한 방식으로, 의사(O)는 작업 공간을 실질적인 사실적 존재감으로 관찰하는 것처럼 의료 기구(104) 및 손 제어부를 조작할 수 있다. 사실적 존재감은 영상의 제시가 의료 기구(104)를 물리적으로 조작하고 있는 의사의 시점을 시뮬레이팅하는 실제 투시 영상인 것을 의미한다.
몇몇 예에서, 디스플레이 시스템(110)은 컴퓨터 단층 촬영(CT), 자기 공명 촬영(MRI), 형광 투시법, 온도 기록법, 초음파, 광 간섭 단층 촬영(OCT), 열 촬영, 임피던스 촬영, 레이저 촬영, 나노튜브 X-선 촬영 등과 같은 촬영 기술로부터의 영상 데이터를 사용하여 수술전 또는 수술중에 기록된 수술 부위의 영상을 제시할 수 있다. 수술전 또는 수술중 영상 데이터는 2차원, 3차원, 또는 (예컨대, 시간 기반 또는 속도 기반 정보를 포함하는) 4차원 영상 및/또는 수술전 또는 수술중 영상 데이터 세트로부터 생성된 모델로부터의 영상으로서 제시될 수 있다.
몇몇 실시예에서, 흔히 영상 안내식 외과적 시술을 목적으로, 디스플레이 시스템(110)은 의료 기구(104)의 실제 위치가 수술전 또는 동시 영상/모델과 정합되는 (즉, 동적으로 참조되는) 가상 운행 영상을 디스플레이할 수 있다. 이는 의료 기구(104)의 시점으로부터의 내부 수술 부위의 가상 영상을 의사(O)에게 제시하기 위해 행해질 수 있다. 몇몇 예에서, 시점은 의료 기구(104)의 팁으로부터일 수 있다. 의료 기구(104)의 팁의 영상 및/또는 다른 그래픽 또는 영숫자 표식은 의료 기구(104)를 제어하는 의사(O)를 보조하기 위해 가상 영상 상에 중첩될 수 있다. 몇몇 예에서, 의료 기구(104)는 가상 영상 내에서 보이지 않을 수 있다.
몇몇 실시예에서, 디스플레이 시스템(110)은 외부 시점으로부터의 수술 부위 내의 의료 기구(104)의 가상 영상을 의사(O)에게 제시하기 위해 의료 기구(104)의 실제 위치가 수술전 또는 동시 영상과 정합되는 가상 운행 영상을 디스플레이할 수 있다. 의료 기구(104)의 일 부분의 영상, 또는 다른 그래픽 또는 영숫자 표식은 의료 기구(104)의 제어 시에 의사(O)를 보조하기 위해 가상 영상 상에 중첩될 수 있다. 본원에서 설명되는 바와 같이, 데이터 지점의 시각적 표현이 디스플레이 시스템(110)에 대해 렌더링될 수 있다. 예를 들어, 측정된 데이터 지점, 이동된 데이터 지점, 정합된 데이터 지점, 및 본원에서 설명되는 다른 데이터 지점은 시각적 표현으로 디스플레이 시스템(110) 상에 디스플레이될 수 있다. 데이터 지점은 디스플레이 시스템(110) 상의 복수의 지점 또는 점에 의해 또는 데이터 지점들의 세트에 기초하여 생성된 메시 또는 와이어 모델과 같은 렌더링된 모델로서 사용자 인터페이스 내에서 시각적으로 표현될 수 있다. 몇몇 예에서, 데이터 지점들은 그들이 표현하는 데이터에 따라 컬러 코딩될 수 있다. 몇몇 실시예에서, 시각적 표현은 각각의 처리 작업이 데이터 지점을 변경하기 위해 구현된 후에 디스플레이 시스템(110) 내에서 재생될 수 있다.
원격 작동식 의료 시스템(100)은 제어 시스템(112)을 또한 포함할 수 있다. 제어 시스템(112)은 적어도 하나의 메모리, 및 의료 기구(104), 마스터 조립체(106), 센서 시스템(108), 및 디스플레이 시스템(110) 사이에서의 제어를 달성하기 위한 적어도 하나의 컴퓨터 프로세서(도시되지 않음)를 포함한다. 제어 시스템(112)은 디스플레이 시스템(110)에 정보를 제공하기 위한 지시를 포함한, 본원에서 개시되는 양태에 따라 설명되는 방법들 중 일부 또는 전부를 구현하기 위한 프로그램된 지시(예컨대, 지시를 저장하는 비일과성 기계 판독 가능 매체)를 또한 포함한다. 제어 시스템(112)이 도 1의 단순화된 개략도에서 단일 블록으로서 도시되어 있지만, 시스템은 원격 작동식 조작기 조립체(102) 상에서 또는 그에 인접하여 선택적으로 수행되는 처리의 하나의 부분, 마스터 조립체(106)에서 수행되는 처리의 다른 부분 등을 구비한 2개 이상의 데이터 처리 회로를 포함할 수 있다. 제어 시스템(112)의 프로세서는 본원에서 개시되고 아래에서 더 상세하게 설명되는 처리에 대응하는 지시를 포함하는 지시를 실행할 수 있다. 광범위한 집중식 또는 분배식 데이터 처리 구조들 중 임의의 것이 채용될 수 있다. 유사하게, 프로그램된 지시는 다수의 별도의 프로그램 또는 서브루틴으로서 구현될 수 있거나, 본원에서 설명되는 원격 작동식 시스템의 다수의 다른 양태 내로 통합될 수 있다. 하나의 실시예에서, 제어 시스템(112)은 블루투스, IrDA, HomeRF, IEEE 802.11, DECT, 및 와이어리스 텔레메트리(Wireless Telemetry)와 같은 무선 통신 프로토콜을 지원한다.
몇몇 실시예에서, 제어 시스템(112)은 의료 기구(104)로부터 힘 및/또는 토크 피드백을 수신할 수 있다. 피드백에 응답하여, 제어 시스템(112)은 마스터 조립체(106)로 신호를 송신할 수 있다. 몇몇 예에서, 제어 시스템(112)은 원격 작동식 조작기 조립체(102)의 하나 이상의 액추에이터에 의료 기구(104)를 이동시키도록 지시하는 신호를 송신할 수 있다. 의료 기구(104)는 환자(P)의 신체 내의 개방부를 거쳐 환자(P)의 신체 내의 내부 수술 부위 내로 연장할 수 있다. 임의의 적합한 종래의 액추에이터 및/또는 특수화된 액추에이터가 사용될 수 있다. 몇몇 예에서, 하나 이상의 액추에이터는 원격 작동식 조작기 조립체(102)로부터 분리되거나 그와 통합될 수 있다. 몇몇 실시예에서, 하나 이상의 액추에이터 및 원격 작동식 조작기 조립체(102)는 환자(P) 및 수술 테이블(T)에 인접하여 위치된 원격 작동식 카트의 일부로서 제공된다.
제어 시스템(112)은 영상 안내식 외과적 시술 중에 의료 기구(104)를 제어할 때 의사(O)에게 운행 보조를 제공하기 위한 가상 시각화 시스템을 선택적으로 추가로 포함할 수 있다. 가상 시각화 시스템을 사용한 가상 운행은 해부학적 통로의 획득된 수술전 또는 수술중 데이터 세트에 대한 참조에 기초할 수 있다. 가상 시각화 시스템은 컴퓨터 단층 촬영(CT), 자기 공명 촬영(MRI), 형광 투시법, 온도 기록법, 초음파, 광 간섭 단층 촬영(OCT), 열 촬영, 임피던스 촬영, 레이저 촬영, 나노튜브 X-선 촬영 등과 같은 촬영 기술을 사용하여 촬영된 수술 부위의 영상을 처리한다. 수동 입력과 조합하여 사용될 수 있는 소프트웨어가 기록된 영상을 부분적인 또는 전체적인 해부학적 장기 또는 해부학적 영역의 분할된 2차원 또는 3차원 복합 표현으로 변환하기 위해 사용된다. 영상 데이터 세트가 복합 표현과 관련된다. 복합 표현 및 영상 데이터 세트는 통로들 및 이들의 연결부의 다양한 위치 및 형상을 기술한다. 복합 표현을 생성하기 위해 사용되는 영상은 임상적 시술 중에, 수술전 또는 수술중에 기록될 수 있다. 몇몇 실시예에서, 가상 시각화 시스템은 표준 표현(즉, 환자 비특이적), 또는 표준 표현 및 환자 특이적 데이터의 하이브리드를 사용할 수 있다. 복합 표현 및 복합 표현에 의해 생성된 임의의 가상 영상은 운동의 하나 이상의 시기 중의 (예컨대, 폐의 흡기/호기 사이클 중의) 변형 가능한 해부학적 영역의 정적 자세를 표현할 수 있다.
가상 운행 절차 중에, 센서 시스템(108)이 환자(P)의 해부학적 구조물에 대한 의료 기구(104)의 대략적인 위치를 계산하기 위해 사용될 수 있다. 위치는 환자(P)의 해부학적 구조물의 거시 수준 (외부) 추적 영상 및 환자(P)의 해부학적 구조물의 가상 내부 영상 둘다를 생성하기 위해 사용될 수 있다. 시스템은 가상 시각화 시스템으로부터의 것과 같은, 수술전에 기록된 수술 영상과 함께 의료 기구를 정합하고 디스플레이하도록 하나 이상의 전자기(EM) 센서, 광섬유 센서, 및/또는 다른 센서를 구현할 수 있다. 예를 들어, 본원에서 전체적으로 참조로 통합된 ("영상 안내식 수술을 위한 해부학적 구조물의 모델의 동적 정합을 제공하는 의료 시스템(Medical System Providing Dynamic Registration of a Model of an Anatomic Structure for Image-Guided Surgery)"을 개시하는) (2011년 5월 13일자로 출원된) 미국 특허 출원 제13/107,562호가 하나의 그러한 시스템을 개시한다. 원격 작동식 의료 시스템(100)은 조명 시스템, 조향 제어 시스템, 관류 시스템, 및/또는 흡입 시스템과 같은 선택적인 작업 및 지원 시스템(도시되지 않음)을 추가로 포함할 수 있다. 몇몇 실시예에서, 원격 작동식 의료 시스템(100)은 1개를 초과하는 원격 작동식 조작기 조립체 및/또는 1개를 초과하는 마스터 조립체를 포함할 수 있다. 원격 작동식 조작기 조립체의 정확한 개수는, 다른 요인 중에서도, 외과적 시술 및 수술실 내의 공간적 제약에 의존할 것이다. 마스터 조립체(106)는 공동 위치될 수 있거나, 분리된 장소들에 위치될 수 있다. 복수의 마스터 조립체들은 1인을 초과하는 작업자가 하나 이상의 원격 작동식 조작기 조립체를 다양한 조합으로 제어하도록 허용한다.
도 2a는 몇몇 실시예에 따른 의료 기구 시스템(200)의 단순화된 도면이다. 몇몇 실시예에서, 의료 기구 시스템(200)은 원격 작동식 의료 시스템(100)에서 수행되는 영상 안내식 의료 시술에서 의료 기구(104)로서 사용될 수 있다. 몇몇 예에서, 의료 기구 시스템(200)은 비원격 작동식 탐색 절차를 위해 또는 내시경과 같은 전통적인 수동 작동식 의료 기구를 포함하는 시술에서 사용될 수 있다. 선택적으로, 의료 기구 시스템(200)은 환자(P)와 같은 환자의 해부학적 통로 내에서의 위치에 대응하는 데이터 지점들의 세트를 모으기 위해 (즉, 측정하기 위해) 사용될 수 있다.
의료 기구 시스템(200)은 구동 유닛(204)에 결합된 신장된 장치(202)를 포함한다. 신장된 장치(202)는 근위 단부(217) 및 원위 단부(218)("팁 부분(218)"으로도 불림)를 갖는 가요성 본체(216)를 포함한다. 몇몇 실시예에서, 가요성 본체(216)는 대략 3mm 외경을 갖는다. 다른 가요성 본체 외경은 더 크거나 더 작을 수 있다.
의료 기구 시스템(200)은 아래에서 더 상세하게 설명되는 바와 같이 하나 이상의 센서 및/또는 촬영 장치를 사용하여 가요성 본체(216)를 따른 원위 단부(218)에서의 가요성 본체(216) 및/또는 하나 이상의 세그먼트(224)의 위치, 배향, 속력, 속도, 자세, 및/또는 형상을 결정하기 위한 추적 시스템(230)을 추가로 포함한다. 원위 단부(218)와 근위 단부(217) 사이에서의 가요성 본체(216)의 전체 길이는 세그먼트(224)들로 효과적으로 분할될 수 있다. 의료 기구 시스템(200)이 원격 작동식 의료 시스템(100)의 의료 기구(104)와 일치하면, 추적 시스템(230)은 도 1의 제어 시스템(112)의 프로세서를 포함할 수 있는, 하나 이상의 컴퓨터 프로세서와 상호 작용하거나 그에 의해 실행되는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로서 선택적으로 구현될 수 있다.
추적 시스템(230)은 형상 센서(222)를 사용하여 원위 단부(218) 및/또는 세그먼트(224)들 중 하나 이상을 선택적으로 추적할 수 있다. 형상 센서(222)는 (예컨대, 내부 채널(도시되지 않음) 내에 제공되거나 외부에 장착된) 가요성 본체(216)와 정렬된 광섬유를 선택적으로 포함할 수 있다. 하나의 실시예에서, 광섬유는 대략 200㎛의 직경을 갖는다. 다른 실시예에서, 치수는 더 크거나 더 작을 수 있다. 형상 센서(222)의 광섬유는 가요성 본체(216)의 형상을 결정하기 위한 광섬유 굽힘 센서를 형성한다. 하나의 대안예에서, 광섬유 브래그 격자(FBG)를 포함한 광섬유가 하나 이상의 치수에서의 구조물 내의 변형 측정을 제공하기 위해 사용된다. 3차원으로 광섬유의 형상 및 상대 위치를 모니터링하기 위한 다양한 시스템 및 방법이 ("광섬유 위치 및 형상 감지 장치 및 그에 관련된 방법(Fiber optic position and shape sensing device and method relating thereto)"을 개시하는) (2005년 7월 13일자로 출원된) 미국 특허 출원 제11/180,389호; ("광섬유 형상 및 상대 위치 감지(Fiber-optic shape and relative position sensing)"를 개시하는) (2004년 7월 16일자로 출원된) 미국 특허 출원 제12/047,056호; 및 ("광섬유 굽힘 센서(Optical Fiber Bend Sensor)"를 개시하는) (1998년 6월 17일자로 출원된) 미국 특허 제6,389,187호에 설명되어 있고, 이들은 모두 본원에서 전체적으로 참조로 통합되었다. 센서는 몇몇 실시예에서, 레일리(Rayleigh) 산란, 라만(Raman) 산란, 브릴루앙(Brillouin) 산란, 및 형광 산란과 같은 다른 적합한 변형 감지 기술을 채용할 수 있다. 몇몇 실시예에서, 가요성 본체(216)의 형상은 다른 기술을 사용하여 결정될 수 있다. 예를 들어, 가요성 본체(216)의 원위 단부 자세의 이력은 시간의 간격에 걸쳐 가요성 본체(216)의 형상을 재구성하기 위해 사용될 수 있다. 몇몇 실시예에서, 추적 시스템(230)은 위치 센서 시스템(220)을 사용하여 원위 단부(218)를 선택적으로 그리고/또는 추가적으로 추적할 수 있다. 위치 센서 시스템(220)은 외부 발생 전자기장을 받을 수 있는 하나 이상의 전도성 코일을 포함하는 EM 센서 시스템을 포함하거나 그의 구성요소일 수 있다. 위치 센서 시스템(220)을 구현하는 그러한 EM 센서 시스템의 각각의 코일은 그 다음 외부 발생 전자기장에 대한 코일의 위치 및 배향에 의존하는 특징을 갖는 유도 전기 신호를 생성한다. 몇몇 실시예에서, 위치 센서 시스템(220)은 6개의 자유도, 예컨대, 기본 지점의 3개의 위치 좌표(X, Y, Z) 및 피칭, 요잉, 롤링을 표시하는 3개의 배향 각도, 또는 5개의 자유도, 예컨대, 기본 지점의 3개의 위치 좌표(X, Y, Z) 및 피칭 및 요잉을 표시하는 2개의 배향 각도를 측정하도록 구성되고 위치될 수 있다. 위치 센서 시스템의 추가의 설명은 본원에서 전체적으로 참조로 통합된 ("추적되는 대상 상의 수동 트랜스폰더를 갖는 6-자유도 추적 시스템(Six-Degree of Freedom Tracking System Having a Passive Transponder on the Object Being Tracked)"을 개시하는) (1999년 8월 11일자로 출원된) 미국 특허 제6,380,732호에 제공되어 있다.
몇몇 실시예에서, 추적 시스템(230)은 대안적으로 그리고/또는 추가적으로 호흡과 같은 교대식 운동의 사이클을 따른 기구 시스템의 공지된 지점에 대해 저장된 자세 이력, 위치, 또는 배향 데이터에 의존할 수 있다. 이러한 저장된 데이터는 가요성 본체(216)에 대한 형상 정보를 발현하기 위해 사용될 수 있다. 몇몇 예에서, 위치 센서 시스템(220) 내의 센서와 유사한 전자기(EM) 센서와 같은, 일련의 위치 센서(도시되지 않음)들이 가요성 본체(216)를 따라 위치된 다음 형상 감지를 위해 사용될 수 있다. 몇몇 예에서, 시술 중에 취해진 이러한 센서들 중 하나 이상으로부터의 데이터의 이력이 특히 해부학적 통로가 대체로 정적이면, 신장된 장치(202)의 형상을 표현하기 위해 사용될 수 있다.
가요성 본체(216)는 의료 기구(226)를 수납하도록 크기 설정되고 형상화된 채널(221)을 포함한다. 도 2b는 몇몇 실시예에 따른 연장된 의료 기구(226)를 구비한 가요성 본체(216)의 단순화된 도면이다. 몇몇 실시예에서, 의료 기구(226)는 수술, 생검, 절제, 조명, 관류, 또는 흡입과 같은 시술을 위해 사용될 수 있다. 의료 기구(226)는 가요성 본체(216)의 채널(221)을 통해 전개되어 해부학적 구조물 내의 목표 위치에서 사용될 수 있다. 의료 기구(226)는, 예를 들어, 영상 포착 프로브, 생검 기구, 레이저 절제 섬유, 및/또는 다른 수술, 진단, 또는 치료 도구를 포함할 수 있다. 의료 도구는 메스, 무딘 블레이드, 광섬유, 전극 등과 같은 단일 작동 부재를 갖는 엔드 이펙터를 포함할 수 있다. 다른 엔드 이펙터는, 예를 들어, 겸자, 파지기, 가위, 클립 어플리케이터 등을 포함할 수 있다. 다른 엔드 이펙터는 전기 수술용 전극, 트랜스듀서, 센서 등과 같은 전기 활성화 엔드 이펙터를 추가로 포함할 수 있다. 다양한 실시예에서, 의료 기구(226)는 목표 해부학적 위치로부터 샘플 조직 또는 세포의 샘플을 제거하기 위해 사용될 수 있는 생검 기구이다. 의료 기구(226)는 가요성 본체(216) 내의 영상 포착 프로브와 함께 사용될 수 있다. 다양한 실시예에서, 의료 기구(226)는 디스플레이를 위해 시각화 시스템(231)에 의해 처리되고 그리고/또는 원위 단부(218) 및 세그먼트(224)들 중 하나 이상의 추적을 지원하기 위해 추적 시스템(230)으로 제공되는 (비디오 영상을 포함한) 영상을 포착하기 위해 가요성 본체(216)의 원위 단부(218)에서의 또는 그 부근의 입체 또는 평면 카메라를 구비한 원위 부분을 포함하는 영상 포착 프로브일 수 있다. 영상 포착 프로브는 포착된 영상 데이터를 송신하기 위해 카메라에 결합된 케이블을 포함할 수 있다. 몇몇 예에서, 영상 포착 기구는 시각화 시스템(231)에 결합하는, 섬유경과 같은 광섬유 다발일 수 있다. 영상 포착 기구는, 예를 들어 가시, 적외, 및/또는 자외 스펙트럼 중 하나 이상에서 영상 데이터를 포착하는, 단일 스펙트럼 또는 다중 스펙트럼일 수 있다. 대안적으로, 의료 기구(226) 자체가 영상 포착 프로브일 수 있다. 의료 기구(226)는 시술을 수행하기 위해 채널(221)의 개방부로부터 전진된 다음 시술이 완료되면 채널 내로 다시 후퇴될 수 있다. 의료 기구(226)는 가요성 본체(216)의 근위 단부(217)로부터 또는 가요성 본체(216)를 따른 다른 선택적인 기구 포트(도시되지 않음)로부터 제거될 수 있다.
의료 기구(226)는 의료 기구(226)의 원위 단부를 제어 가능하게 구부리기 위해 그의 근위 단부와 원위 단부 사이에서 연장되는 케이블, 링키지, 또는 다른 작동 제어부(도시되지 않음)를 추가로 수용할 수 있다. 조향 가능한 기구가 ("향상된 교치성 및 민감성을 구비한 최소 침습적 수술을 수행하기 위한 굴절식 외과용 기구(Articulated Surgical Instrument for Performing Minimally Invasive Surgery with Enhanced Dexterity and Sensitivity)"를 개시하는) (2005년 10월 4일자로 출원된) 미국 특허 제7,316,681호 및 ("외과용 기구를 위한 수동 예비 부하 및 캡스턴 구동부(Passive Preload and Capstan Drive for Surgical Instruments)"를 개시하는) (2008년 9월 30일자로 출원된) 미국 특허 출원 제12/286,644호에 설명되어 있고, 이들은 본원에서 전체적으로 참조로 통합되었다.
가요성 본체(216)는, 예를 들어, 원위 단부(218)의 파선 도시(219)에 의해 도시된 바와 같이 원위 단부(218)를 제어 가능하게 구부리기 위해 구동 유닛(204)과 원위 단부(218) 사이에서 연장하는 케이블, 링키지, 또는 다른 조향 제어부(도시되지 않음)를 또한 수용할 수 있다. 몇몇 예에서, 적어도 4개의 케이블이 원위 단부(218)의 피칭을 제어하기 위한 독립적인 "상하" 조향 및 원위 단부(281)의 요잉을 제어하기 위한 "좌우" 조향을 제공하기 위해 사용된다. 조향 가능한 카테터는 본원에서 전체적으로 참조로 통합된 ("제거 가능한 관측 프로브를 구비한 카테터(Catheter with Removable Vision Probe)"를 개시하는) (2011년 10월 14일자로 출원된) 미국 특허 출원 제13/274,208호에 상세하게 설명되어 있다. 의료 기구 시스템(200)이 원격 작동식 조립체에 의해 작동되는 실시예에서, 구동 유닛(204)은 원격 작동식 조립체의 액추에이터와 같은 구동 요소에 제거 가능하게 결합하여 그로부터 동력을 수신하는 구동 입력부를 포함할 수 있다. 몇몇 실시예에서, 의료 기구 시스템(200)은 파지 특징부, 수동 액추에이터, 또는 의료 기구 시스템(200)의 이동을 수동으로 제어하기 위한 다른 구성요소를 포함할 수 있다. 신장된 장치(202)는 조향 가능할 수 있거나, 대안적으로, 시스템은 원위 단부(218)의 굽힘의 작업자 제어를 위한 통합형 메커니즘이 없이 조향 불가능할 수 있다. 몇몇 예에서, 의료 기구가 그를 통해 전개되어 목표 수술 위치에서 사용될 수 있는 하나 이상의 루멘이 가요성 본체(216)의 벽 내에 형성된다.
몇몇 실시예에서, 의료 기구 시스템(200)은 폐의 검사, 진단, 생검, 또는 처치 시에 사용하기 위한, 기관지경 또는 기관지 카테터와 같은 가요성 기관지 기구를 포함할 수 있다. 의료 기구 시스템(200)은 또한 대장, 소장, 신장 및 신배, 뇌, 심장, 혈관을 포함한 순환계, 및/또는 기타를 포함한, 다양한 해부학적 계통 중 임의의 것 내에서, 자연적으로 또는 외과적으로 생성되어 연결된 통로를 거쳐, 운행 및 다른 조직의 처치에 대해 적합하다.
추적 시스템(230)으로부터의 정보는 운행 시스템(232)으로 보내질 수 있고, 여기서 이는 시각화 시스템(231)으로부터의 정보 및/또는 수술전에 획득된 모델과 조합되어, 실시간 위치 정보를 의사, 의료진, 외과의사, 또는 다른 작업자에게 제공한다. 몇몇 예에서, 실시간 위치 정보는 의료 기구 시스템(200)의 제어 시에 사용하기 위해 도 1의 디스플레이 시스템(110) 상에 디스플레이될 수 있다. 몇몇 예에서, 도 1의 제어 시스템(116)은 의료 기구 시스템(200)을 위치 설정하기 위한 피드백으로서 위치 정보를 이용할 수 있다. 수술 기구를 수술 영상과 정합시켜서 디스플레이하기 위해 광섬유 센서를 사용하기 위한 다양한 시스템이 본원에서 전체적으로 참조로 통합된, "영상 안내식 수술을 위한 해부학적 구조물의 모델의 동적 정합을 제공하는 의료 시스템(Medical System Providing Dynamic Registration of a Model of an Anatomic Structure for Image-Guided Surgery)"을 개시하는, 2011년 5월 13일자로 출원된 미국 특허 출원 제13/107,562호에 제공되어 있다.
몇몇 예에서, 의료 기구 시스템(200)은 도 1의 의료 시스템(100) 내에서 원격 작동될 수 있다. 몇몇 실시예에서, 도 1의 원격 작동식 조작기 조립체(102)는 직접 작업자 제어에 의해 대체될 수 있다. 몇몇 예에서, 직접 작업자 제어는 기구의 휴대 작동을 위한 다양한 손잡이 및 작업자 인터페이스를 포함할 수 있다.
도 3a 및 도 3b는 몇몇 실시예에 따른 삽입 조립체 상에 장착된 의료 기구를 포함하는 환자 좌표 공간의 측면도의 단순화된 도면이다. 도 3a 및 도 3b에 도시된 바와 같이, 수술 환경(300)은 플랫폼(302) 상에 위치된 환자(P)를 포함한다. 환자(P)는 전체 환자 움직임이 진정, 구속, 및/또는 다른 수단에 의해 제한되는 의미에서 수술 환경 내에서 고정적일 수 있다. 환자(P)의 호흡 및 심장 운동을 포함한 주기적인 해부학적 운동은 환자가 호흡 운동을 일시적으로 중지하기 위해 그의 호흡을 참도록 요구받지 않으면, 계속될 수 있다. 따라서, 몇몇 실시예에서, 데이터가 호흡 내의 특정 시기에 모아지고, 그러한 시기로 태깅되고 식별될 수 있다. 몇몇 실시예에서, 데이터가 수집되는 시기는 환자(P)로부터 수집된 생리학적 정보로부터 추정될 수 있다. 수술 환경(300) 내에서, 지점 수집 기구(304)가 기구 캐리지(306)에 결합된다. 몇몇 실시예에서, 지점 수집 기구(304)는 EM 센서, 형상 센서, 및/또는 다른 센서 양식을 사용할 수 있다. 기구 캐리지(306)는 수술 환경(300) 내에 고정된 삽입 스테이지(308)에 장착된다. 대안적으로, 삽입 스테이지(308)는 이동 가능할 수 있지만, 수술 환경(300) 내에서 (예컨대, 추적 센서 또는 다른 추적 장치에 의해) 공지된 위치를 가질 수 있다. 기구 캐리지(306)는 삽입 이동 (즉, A 축을 따른 이동) 및 선택적으로 요잉, 피칭, 및 롤링을 포함한 복수의 방향으로의 신장된 장치(310)의 원위 단부(318)의 이동을 제어하기 위해 지점 수집 기구(304)에 결합하는 원격 작동식 조작기 조립체(예컨대, 원격 작동식 조작기 조립체(102))의 구성요소일 수 있다. 기구 캐리지(306) 또는 삽입 스테이지(308)는 삽입 스테이지(308)를 따른 기구 캐리지(306)의 이동을 제어하는 서보 모터(도시되지 않음)와 같은 액추에이터를 포함할 수 있다.
신장된 장치(310)가 기구 본체(312)에 결합된다. 기구 본체(312)는 기구 캐리지(306)에 대해 결합되어 고정된다. 몇몇 실시예에서, 광섬유 형상 센서(314)가 기구 본체(312) 상의 근위 지점(316)에 고정된다. 몇몇 실시예에서, 광섬유 형상 센서(314)의 근위 지점(316)은 기구 본체(312)와 함께 이동 가능할 수 있지만, 근위 지점(316)의 위치는 (예컨대, 추적 센서 또는 다른 추적 장치에 의해) 공지될 수 있다. 형상 센서(314)는 근위 지점(316)으로부터 신장된 장치(310)의 원위 단부(318)와 같은 다른 지점까지의 형상을 측정한다. 지점 수집 기구(304)는 의료 기구 시스템(200)과 실질적으로 유사할 수 있다.
위치 측정 장치(320)가 기구 본체가 삽입 축(A)을 따라 삽입 스테이지(308) 상에서 이동할 때, 기구 본체(312)의 위치에 대한 정보를 제공한다. 위치 측정 장치(320)는 기구 캐리지(306)의 이동 및 결과적으로 기구 본체(312)의 이동을 제어하는 액추에이터의 회전 및/또는 배향을 결정하는 리졸버, 엔코더, 전위차계, 및/또는 다른 센서를 포함할 수 있다. 몇몇 실시예에서, 삽입 스테이지(308)는 선형이다. 몇몇 실시예에서, 삽입 스테이지(308)는 만곡될 수 있거나, 곡선 및 선형 섹션들의 조합을 가질 수 있다.
도 3a는 삽입 스테이지(308)를 따른 후퇴 위치의 기구 본체(312) 및 기구 캐리지(306)를 도시한다. 이러한 후퇴 위치에서, 근위 지점(316)은 축(A) 상의 위치(L0)에 있다. 삽입 스테이지(308)를 따른 이러한 위치에서, 근위 지점(316)의 위치의 A 성분이 삽입 스테이지(308) 상에서의 기구 캐리지(306) 및 근위 지점(316)의 위치를 기술하기 위한 기본 기준을 제공하기 위해 0 및/또는 다른 기준 값으로 설정될 수 있다. 기구 본체(312) 및 기구 캐리지(306)의 이러한 후퇴 위치에서, 신장된 장치(310)의 원위 단부(318)는 환자(P)의 진입 구멍 바로 내부에 위치될 수 있다. 또한, 이러한 위치에서, 위치 측정 장치(320)가 0 및/또는 다른 기준 값(예컨대, I=0)으로 설정될 수 있다. 도 3b에서, 기구 본체(312) 및 기구 캐리지(306)는 삽입 스테이지(308)의 선형 트랙을 따라 전진하였고, 신장된 장치(310)의 원위 단부(318)는 환자(P) 내로 전진하였다. 이러한 전진 위치에서, 근위 지점(316)은 축(A) 상의 위치(L1)에 있다. 몇몇 예에서, 삽입 스테이지(308)를 따른 기구 캐리지(306)의 이동을 제어하는 하나 이상의 액추에이터 및/또는 기구 캐리지(306) 및/또는 삽입 스테이지(308)와 관련된 하나 이상의 위치 센서로부터의 엔코더 및/또는 다른 위치 데이터가 위치(L0)에 대한 근위 지점(316)의 위치(LX)를 결정하기 위해 사용된다. 몇몇 예에서, 위치(LX)는 아울러 신장된 장치(310)의 원위 단부(318)가 환자(P)의 해부학적 구조물의 통로 내로 삽입되는 거리 또는 삽입 깊이의 표식으로서 사용될 수 있다.
도 4a 및 도 4b는 몇몇 실시예에 따른 디스플레이 시스템(110) 상에 디스플레이 가능한 다중 모드 그래픽 사용자 인터페이스(400)의 단순화된 도면이다. 도 1 - 도 3과 일치하는 몇몇 실시예에서, 다중 모드 그래픽 사용자 인터페이스(400)는 원격 작동식 의료 시스템(100) 및/또는 의료 기구 시스템(200)과 같은, 의료 기구 시스템의 작동 및/또는 제어 중에, 의사, 의료진, 또는 외과의사(O)와 같은 작업자를 보조하기 위해 사용될 수 있다. 예를 들어, 의료 기구 시스템은 신장된 장치(202)와 같은 신장된 장치, 및 신장된 장치의 가요성 본체 내로 삽입되는, 의료 기구(226)와 같은 하나 이상의 의료 기구를 포함할 수 있다.
다중 모드 그래픽 사용자 인터페이스(400)는 작업자에게 보여질 수 있는 하나 이상의 윈도우(410 - 480) 내에서 정보를 디스플레이한다. 단일 스크린 상의 5개 또는 6개의 동시에 관찰 가능한 윈도우가 각각 도 4a 및 도 4b에 도시되어 있지만, 그래픽 사용자 인터페이스(400)는 임의의 적합한 개수의 스크린 상에서 임의의 적합한 개수의 윈도우를 디스플레이할 수 있음을 이해하여야 한다. 몇몇 예에서, 동시에 관찰 가능한 윈도우의 개수는 윈도우를 열고 닫음으로써, 윈도우를 최소화 및 최대화함으로써, 다중 모드 그래픽 사용자 인터페이스(400)의 전경과 배경 사이에서 윈도우를 이동시킴으로써, 스크린들을 전환함으로써, 그리고/또는 시야로부터 윈도우를 완전히 또는 부분적으로 흐리게 함으로써, 변경될 수 있다. 유사하게, 윈도우(410 - 480)들의 배열 - 이들의 크기, 형상, 배향, (윈도우들을 중첩시키는 경우의) 순서 등을 포함함 - 이 변할 수 있고 그리고/또는 사용자 구성 가능할 수 있다.
몇몇 실시예에 따르면, 윈도우(410 - 480)들은 영상 데이터, 센서 데이터, 표식, 제어 모드, 및/또는 이들의 임의의 조합을 디스플레이할 수 있다. 몇몇 예에서, 영상 데이터는 수술전 또는 수술중 영상 데이터를 포함할 수 있다. 영상 데이터는 2차원, 3차원, 또는 4차원(예컨대, 시간 기반 정보 또는 속도 기반 정보를 포함함) 라이브 영상 및/또는 수술전 또는 수술중 영상 데이터 세트로부터 생성된 계산된 모델의 영상으로서 제시될 수 있다. 몇몇 예에서, 계산된 모델의 영상은 센서 데이터로부터 도출될 수 있고, 해부학적 구조물 내로 도입된 기구의 모델을 포함할 수 있다. 몇몇 예에서, 계산된 모델은 (영상 데이터에 추가하여 또는 그 대신에) 경험 데이터로부터 생성될 수 있고 그리고/또는 기구 및/또는 사람의 해부학적 구조물의 미리 결정된 기하학적 형상에 기초할 수 있다. 몇몇 예에서, 표식은 그래픽 및/또는 영숫자 표식을 포함할 수 있다. 몇몇 예에서, 제어부는 버튼, 문자 입력, 내비게이션 패널, 태스크바, 아이콘, 경보 등을 포함할 수 있다. 몇몇 실시예에 따르면, 다중 모드 그래픽 사용자 인터페이스(400)는 이용 가능한 제어 모드, 현재의 제어 모드, 및/또는 의료 기구와 관련된 설정들의 목록을 디스플레이하는 설정 윈도우(440)를 포함할 수 있다.
도 4a 및 도 4b는 각각 횡단 모드 및 정렬 모드에서의 다중 모드 그래픽 사용자 인터페이스(400)를 도시한다. 몇몇 실시예에 따르면, 횡단 모드는 신장된 장치가 상당한 거리에 걸쳐 환자의 신체를 통해 운행되고 있을 때, 예컨대, 삽입에 있어서의 상당한 변화와 조합하여 자세의 조정을 사용하여 해부학적 통로를 통해 목표 위치를 향해 운행되고 있을 때, 디스플레이에 대해 적합할 수 있다. 몇몇 실시예에 따르면, 목표 위치는 도 2a 및 도 2b에 대해 위에서 설명된 바와 같이, 목표 수술 위치 및/또는 목표 해부학적 위치에 대응할 수 있다. 정렬 모드는 생검 샘플을 수집하고 그리고/또는 목표 위치에서 레이저 절제를 수행할 때와 같은, 신장된 장치의 자세의 조정 및/또는 삽입의 작은 변화 중의 디스플레이에 적합할 수 있다.
몇몇 예에서, 횡단 모드는 신장된 장치의 원위 단부가 목표 위치로부터 멀고, 신장된 장치의 실질적인 이동(예컨대, 삽입, 후퇴, 굴절 등)이 예상될 때 사용된다. 예를 들어, 횡단 모드는 해부학적 통로를 탐색하기 위해 그리고/또는 목표 위치로 이어지는 미리 결정된 루트를 추적할 때 사용될 수 있다. 역으로, 정렬 모드는 신장된 장치의 원위 단부가 목표 위치 부근에 있고, 신장된 장치의 자세에 대한 미세한 조정이 예상될 때 (예컨대, 신장된 장치의 원위 단부를 니들의 성공적인 전달을 위한 목표 위치로부터의 최적의 각도 및/또는 거리에 수동 및/또는 자동으로 배향할 때) 사용된다. 예를 들어, 정렬은 신장된 장치가 목표 위치의 2 또는 3센티미터 내에 있을 때 그리고/또는 신장된 장치와 목표 위치 사이에 가시선이 있을 때 (즉, 신장된 장치로부터 목표 위치를 분리하는 해부학적 통로 내의 방해물 및/또는 굽힘부가 없을 때) 사용될 수 있다. 몇몇 예에서, 정렬 모드는 횡단 모드 중에 운행을 보조하기 위해 사용되는 내시경이 목표 위치에서의 외과적 시술을 위한 준비로 신장된 장치로부터 제거된 후와 같이, 신장된 장치의 원위 단부로부터의 라이브 카메라 피드가 이용 가능하지 않을 때 (즉, "보지 않고서" 구동할 때) 사용될 수 있다.
몇몇 예에서, 다중 모드 그래픽 사용자 인터페이스(400)는 수동 및/또는 자동으로 횡단 모드와 정렬 모드 사이에서 전이할 수 있다. 사용자 개시 전이가, 예를 들어, 버튼을 클릭함으로써, 스위치를 수동으로 전환함으로써, 페달을 누름으로써, 터치패드를 사용함으로써, 청각 명령을 발성함으로써, 그리고/또는 사용자로부터의 임의의 다른 적합한 절환 입력에 의해, 작업자에 의해 수행될 수 있다. 몇몇 예에서, 자동 전이는 의료 시술의 과정 중에 하나 이상의 트리거링 이벤트의 발생에 기초하여 수행될 수 있다. 예를 들어, 트리거링 조건은 신장된 장치로부터 카메라 프로브를 제거하는 것을 포함할 수 있고, 카메라 프로브는 횡단 모드에서 다중 모드 그래픽 사용자 인터페이스(400)를 거쳐 디스플레이되는 영상 데이터를 제공한다. 몇몇 예에서, 신장된 장치로부터의 카메라 프로브의 제거는 형상 센서를 포함하는 추적 시스템(230)과 같은, 추적 시스템을 사용하여 결정되는 바와 같이, 신장된 장치의 형상의 변화에 기초하여 검출될 수 있다. 몇몇 예에서, 신장된 장치로부터의 카메라 프로브의 제거는 영상 프로세서를 사용하여 결정되는 바와 같이, 카메라 프로브에 의해 제공되는 영상 데이터의 변화에 기초하여 검출될 수 있다. 몇몇 예에서, 영상 데이터의 변화는 컴퓨터 단층 촬영(CT), 자기 공명 영상(MRI), 형광투시법, 온도 기록법, 초음파, 광 간섭 단층 촬영(OCT), 열 촬영, 임피던스 촬영, 레이저 촬영, 또는 나노튜브 X-선 촬영과 같은 실제 촬영 기술로부터 제공될 수 있다. 영상 데이터의 변화는 목표에 대한 상이한 각도에서 또는 시술 내의 상이한 시간에서 촬영 기술을 사용하여 획득되는 새로운 영상을 포함할 수 있다. 트리거링 조건은 촬영 기술의 시스템으로의 부착 또는 그로부터의 분리를 포함할 수 있다. 몇몇 예에서, 트리거링 조건은 신장된 장치 내로 의료 기구를 삽입하는 것을 포함할 수 있다. 신장된 장치로부터의 카메라 프로브의 제거처럼, 신장된 장치 내로의 의료 기구의 삽입은 신장된 장치의 형상의 변화에 기초하여 결정될 수 있다. 몇몇 예에서, 트리거링 조건은 신장된 장치의 원위 단부가 2 또는 3센티미터와 같은, 목표 위치의 미리 결정된 거리 내에 있음을 검출하는 것을 포함할 수 있다. 몇몇 예에서, 트리거링 조건은 신장된 장치의 원위 단부와 목표 위치 사이에 가시선이 있음(즉, 해부학적 통로 내에 방해물 및/또는 굽힘부가 없음)을 결정하는 것을 포함할 수 있다. 몇몇 예에서, 트리거링 조건은 신장된 장치의 원위 단부와 목표 위치를 분리하는 해부학적 통로 내의 남아 있는 분지부가 없음을 검출하는 것을 포함할 수 있고, 이는 잘못된 분지부를 따라 운행함으로써 "길을 잃을" 위험이 남아 있지 않음을 의미한다. 몇몇 예에서, 트리거링 조건은 목표 위치로의 미리 결정된 루트의 끝에 도달하는 것을 포함할 수 있다. 몇몇 예에서, 트리거링 조건은 작업자가 신장된 장치를 삽입하는 것을 정지한 것 (즉, 신장된 장치가 "정지"된 때)를 검출하는 것을 포함할 수 있다. 몇몇 예에서, 작업자는 자동 모드 선택을 수동으로 변화시킴으로써 자동 모드 선택을 무효화하는 옵션을 가질 수 있다.
몇몇 예에서, 하나 이상의 트리거링 조건들의 임의의 적합한 조합이 횡단 모드와 정렬 모드 사이에서 자동으로 절환하기 위해 사용될 수 있다. 예를 들어, 트리거링 조건은 다음의 조건들이 동시에 만족됨을 검출하는 것을 포함할 수 있다: (1) 신장된 장치가 목표 위치의 미리 결정된 거리 내에 있음 및 (2) 작업자가 신장된 장치를 삽입하는 것을 정지함.
횡단 모드에서, 도 4a에 도시된 바와 같이, 다중 모드 그래픽 사용자 인터페이스(400)는 카메라 뷰 윈도우(410), 가상 내시경 뷰 윈도우(420), 가상 정면 뷰 윈도우(430), 상태 윈도우(435), 설정 윈도우(440), 힘 표식 윈도우(445), 및 작동 정보 윈도우(450)를 디스플레이할 수 있다. 카메라 뷰 윈도우(410)가 의료 기구(104)의 시각화 시스템과 같은, 시각화 시스템에 의해 포착된 카메라 데이터를 디스플레이한다. 예를 들어, 카메라 데이터는 신장된 장치의 원위 단부에서의 또는 그 부근에서의 내시경 및/또는 입체 또는 평면 카메라에 의해 포착된 라이브 비디오 피드를 포함할 수 있다. 하나 이상의 표식 및/또는 제어부가 신장된 장치를 제어하는 데 있어서 작업자를 보조하기 위해 영상 데이터 상에 중첩되고 그리고/또는 그와 나란히 디스플레이될 수 있다.
가상 내시경 뷰 윈도우(420)는 신장된 장치의 원위 단부에 대응하는 시점으로부터의 가상 영상 데이터를 디스플레이한다. 이와 관련하여, 가상 내시경 뷰 윈도우(420)는 내시경의 시계를 시뮬레이팅한다. 몇몇 실시예에 따르면, 가상 영상 데이터는, 예를 들어 수술전 영상 데이터 세트를 사용하여 제어 시스템(112)의 가상 시각화 시스템과 같은, 가상 시각화 시스템에 의해 발생될 수 있다. 몇몇 실시예에 따르면, 가상 내시경 뷰 윈도우(420)에 의해 디스플레이되는 가상 영상 데이터는 작업자에게 보충 안내 정보를 디스플레이하도록 증강될 수 있다. 가상 내시경 뷰 윈도우(420)의 일 실시예가 도 5를 참조하여 더 상세하게 설명된다.
가상 전체 뷰 윈도우(430)는 환자(P)의 축소된 뷰에 대응하는 시점으로부터의 가상 영상 데이터를 디스플레이한다. 이러한 방식으로, 가상 전체 뷰 윈도우(430)는 의사(O)와 같은, 관찰자의 시계를 시뮬레이팅한다. 몇몇 예에서, 뷰 배향은 수동 및/또는 자동으로 선택될 수 있다. 가상 내시경 뷰 윈도우(420)처럼, 가상 영상 데이터는 제어 시스템(112)의 가상 시각화 시스템과 같은, 가상 시각화 시스템에 의해 발생될 수 있다. 몇몇 예에서, 가상 영상 데이터는 환자의 해부학적 구조물 내에서의 신장된 장치의 실시간 위치를 디스플레이할 수 있다. 가상 전체 뷰 윈도우(430)의 일 실시예가 도 6을 참조하여 더 상세하게 설명된다.
윈도우(410 - 430)들이 동시에 디스플레이될 때, 윈도우(410 - 430)들 내에서 디스플레이되는 영상들은 유리하게는 작업자가 (카메라 뷰 윈도우(410) 및/또는 가상 내시경 뷰 윈도우(420)를 거쳐) 신장된 장치의 원위 단부의 주변과, 환자의 해부학적 구조물에 관련된 (가상 전체 뷰 윈도우(430)를 거친) 신장된 장치의 경계부 자세를 동시에 모니터링하고 그리고/또는 시각화하도록 허용한다.
상태 윈도우(435)는 시스템 설정 및/또는 시스템 사용 중의 시스템 상태를 디스플레이한다. 몇몇 예에서, 상태는 프로브의 존재, 의료 도구의 존재, 멸균 어댑터 또는 ISA의 맞물림, 오류 또는 FRL 상태, 신장된 장치의 올바른 배치, 및 신장된 장치가 위치를 변이했을 때의 신장된 장치의 잘못된 배치를 포함할 수 있다. 상태 윈도우는 또한 신장된 장치를 언제 설치 또는 제거하는 지, 시스템 고장으로부터 어떻게 회복하는 지, 또는 다른 작업 흐름 지시를 포함한 지시를 제공할 수 있다. 정보는 상대적 위급성, 유형, 또는 정보의 의도된 열람과 같은 특성에 기초하여 채색되거나 상이하게 크기 설정될 수 있다.
힘 표식 윈도우(445)는 신장된 장치의 전진 중에 액추에이터 또는 모터에 의해 가해지는 힘에 관한 정보를 디스플레이한다. 힘 표식은 시스템 상태에 관한 정보를 제공할 수 있다. 몇몇 예에서, 연장된 기간 동안의 힘의 높은 표식은 삽입 중에 포착되거나 고착된 드레이프, 의료 장치 등과 같은 시스템의 구성요소를 표시할 수 있다. 몇몇 예에서, 디스플레이되는 힘은 그러한 시간에서의 순간적인 힘일 수 있다. 다른 예에서, 디스플레이되는 힘은 힘의 몇몇 최근의 이력, 예를 들어 최근 30 - 120초에 걸친 힘의 그래프를 표시할 수 있다. 힘 표식 윈도우(455)의 일 실시예가 도 7을 참조하여 더 상세하게 설명된다.
작동 정보 윈도우(450)는 신장된 장치의 조향 가능한 부분의 작동에 관한 정보를 디스플레이한다. 몇몇 예에서, 작동 정보는 신장된 장치의 조향 중에 발생하는 문제점 및/또는 잠재적인 문제점에 대해 작업자에게 경고하기 위해 사용될 수 있다. 작동 정보는 추가로 검출된 문제점을 교정, 회피, 및/또는 경감시키는 데 있어서 작업자에 대한 보조를 제공할 수 있다. 작동 정보 윈도우(450)의 일 실시예가 도 8을 참조하여 아래에서 더 상세하게 설명된다.
정렬 모드에서, 도 4b에 도시된 바와 같이, 다중 모드 그래픽 사용자 인터페이스(400)는 목표 안내 뷰 윈도우(460), 가상 전체 뷰 윈도우(470, 480), 카메라 뷰 윈도우(410), 설정 윈도우(440), 힘 표식 윈도우(445), 및 작동 정보 윈도우(450)를 디스플레이할 수 있다. 목표 안내 뷰 윈도우(460)는 신장된 장치의 원위 단부에 대응하는 시점으로부터의 목표 위치를 디스플레이한다. 몇몇 예에서, 목표 안내 뷰 윈도우(460)는 다중 모드 그래픽 사용자 인터페이스(400)가 횡단 모드로부터 정렬 모드로 절환할 때 가상 내시경 뷰 윈도우(420)를 대체할 수 있다. 몇몇 실시예에 따르면, 목표 안내 뷰 윈도우(460)는 신장된 장치를 가까운 범위로부터 목표 위치로 조향하는 데 있어서 작업자를 보조하도록 설계된 안내 정보를 디스플레이할 수 있다. 목표 안내 뷰 윈도우(460)의 일 실시예가 도 9를 참조하여 아래에서 더 상세하게 설명된다.
가상 전체 뷰 윈도우(470, 480)는 가상 전체 뷰 윈도우(430)와 유사한 가상 영상 데이터를 디스플레이한다. 몇몇 실시예에 따르면, 가상 전체 뷰 윈도우(470, 480)들의 시야는 가상 전체 뷰 윈도우(430)에 대해 그리고/또는 서로에 대해 회전될 수 있다. 몇몇 예에서, 가상 전체 뷰 윈도우(470, 480)들의 시야는 수동 및/또는 자동으로 선택될 수 있다. 몇몇 예에서, 시야들은 시야들 중 하나를 회전시키는 것이 다른 시야가 대응하는 양만큼 자동으로 회전하게 하도록, 고정된 오프셋(예컨대, 직교성을 보존하기 위한 90° 오프셋)을 갖는다. 몇몇 예에서, 시야들 중 하나는 신장된 장치로부터 연장하는 니들이 평면 내에서 출현하도록 자동으로 선택될 수 있다. 몇몇 예에서, 시야들 중 하나는 시술을 관찰하기 위해 사용되는 형광투시법 촬영 장치의 뷰와 정합하도록 자동으로 선택될 수 있다. 몇몇 실시예에 따르면, 가상 전체 뷰 윈도우(470, 480) 내에서 디스플레이되는 가상 영상 데이터는 가상 영상 데이터를 발생시키기 위해 사용되는 처리의 양을 감소시키기 위해 가상 전체 뷰 윈도우(430)에 비해 단순화될 수 있다. 가상 전체 뷰 윈도우(470, 480)의 일 실시예가 도 10을 참조하여 아래에서 더 상세하게 설명된다.
카메라 뷰 윈도우(410)는 정렬 모드에서 다중 모드 그래픽 사용자 인터페이스(400) 내에 선택적으로 포함된다. 그러나, 몇몇 실시예에서, 카메라(예컨대, 내시경)는 다중 모드 그래픽 사용자 인터페이스(400)가 정렬 모드에 있을 때 불능화되고 그리고/또는 취출될 수 있다. 따라서, 다중 모드 그래픽 사용자 인터페이스(400)는 제2 모드에서 카메라 뷰 윈도우를 포함하지 않을 수 있다. 대안적으로 또는 추가적으로, 카메라 뷰 윈도우(410)는 카메라로부터의 영상 데이터가 이용 불가능함을 작업자에게 전달하기 위해, 텍스트와 같은 표식을 디스플레이할 수 있다.
몇몇 예에서, 다중 모드 그래픽 사용자 인터페이스(400)는 횡단 모드로부터 정렬 모드로 전이할 때 하나 이상의 추가의 시각적 표식을 제공할 수 있다. 몇몇 예에서, 그래픽 사용자 인터페이스(400)의 스크린 경계부가 횡단 모드에서의 제1 색깔, 텍스처, 색조, 및/또는 투명도로부터 정렬 모드에서의 제2 색깔, 텍스처, 색조, 및/또는 투명도로 전이할 수 있다. 예를 들어, 스크린 경계부는 횡단 모드에서의 황색으로부터 정렬 모드에서의 적색으로 변화할 수 있다. 몇몇 예에서, 다중 모드 그래픽 사용자 인터페이스(400)는 유사한 방식으로 색깔을 변화시키는 아이콘을 포함할 수 있다.
도 5는 몇몇 예에 따른 가상 내시경 영상을 디스플레이하기 위한 예시적인 윈도우(500)를 도시한다. 도 1 - 도 4와 일치하는 몇몇 실시예에 따르면, 윈도우(500)는 가상 내시경 뷰 윈도우(420)에 대응할 수 있다. 도 5에 도시된 바와 같이, 윈도우(500)는 환자의 신체 내로 삽입된 신장된 장치의 원위 단부로부터 전방을 보는 시야로부터의 해부학적 특징부(510)를 디스플레이한다. 몇몇 예에서, 해부학적 특징부(510)는 해부학적 통로, 혈관, 장기 등과 같은, 관심 해부학적 특징부를 포함할 수 있다. 해부학적 특징부(510)는 수술전 또는 수술중에 획득된 영상 데이터 세트로부터 발생되는 가상 렌더링 및/또는 영상을 사용하여 디스플레이될 수 있다. 몇몇 예에서, 해부학적 특징부(510)는 주어진 해부학적 특징부 내부 및/또는 후방의 특징부가 윈도우(500) 내에 동시에 디스플레이될 수 있도록, 투광성 특징부로서 그리고/또는 윤곽으로서 디스플레이될 수 있다.
윈도우(500) 내에 디스플레이되는 가상 로드맵(520)이 목표 위치로 이어지는 미리 결정된 루트를 표시한다. 가상 로드맵(520)은 환자의 해부학적 구조물을 통해 신장된 장치를 조향할 때 작업자에 대한 가이드로서 역할한다. 예를 들어, 가상 로드맵(520)은 신장된 장치를 해부학적 통로 내의 어떤 분지부를 향해 그리고/또는 그로부터 멀리 조향할 지를 표시할 수 있다. 도 5에 도시된 바와 같이, 가상 로드맵(520)은 미리 결정된 루트를 따라 해부학적 통로를 통해 권취되는 선으로서 디스플레이된다. 몇몇 예에서, 선의 색깔, 색조, 텍스처, 및/또는 투명도는 목표 위치에 대한 근접성, 미리 결정된 루트로부터의 편차, (임박한 곤란한 조종을 작업자에게 알리기 위해 미리 연산될 수 있는) 굽힘부, 분지부, 및/또는 수축부의 존재, 해부학적 통로의 직경, 및/또는 다른 보충 정보를 표시하기 위해 변할 수 있다. 몇몇 예에서, 다양한 대안적인 또는 추가적인 맵핑 표식이 가상 로드맵(520)의 일부로서 포함될 수 있다. 예를 들어, 가상 로드맵(520)은 조향해야 하는 방향을 표시하는 하나 이상의 화살표를 포함할 수 있다. 몇몇 예에서, 가상 로드맵(520)은 목표 위치까지의 잔여 거리, 목표 위치에 도달하기 위한 잔여 시간, 해부학적 통로의 식별(예컨대, 기관, RMB, B6 등) 등을 표시하는 하나 이상의 영숫자 표식을 포함할 수 있다. 몇몇 예에서, 가상 로드맵(520)은 목표까지의 거리 체크 표지와 같은 체크 표지를 포함할 수 있다. 몇몇 예에서, 신장된 장치를 미리 결정된 루트로부터 벗어난 잘못된 방향으로 운행하는 것은 가상 로드맵(520)이 방해물을 통해 보일 수 있도록 해부학적 통로의 하나 이상의 벽이 투명하게 렌더링되게 할 수 있다. 몇몇 예에서, 가상 로드맵(520)은 청각적 지시(예컨대, "우측으로 회전하세요.") 및/또는 햅틱 지시(예컨대, 신장된 장치가 미리 결정된 루트로부터 벗어날 때의 수술용 제어부의 진동)를 포함할 수 있다.
윈도우(500) 내에 디스플레이되는 장애물 표식(530)이 바람직하지 않은 해부학적 특징부 또는 해부학적 통로 및/또는 신장된 장치가 조향되지 않아야 하는 또는 조향될 수 없는 방향을 표시한다. 도 5에 도시된 바와 같이, 장애물 표식(530)은 해부학적 통로 위에 위치된 아이콘을 포함한다. 몇몇 예에서, 아이콘은 "진입 금지" 사인, 정지 사인, 주의 부호, 적색 또는 황색 라이트 등을 포함할 수 있다. 몇몇 예에서, 장애물 표식(530)은 신장된 장치가 이전에 조향된 해부학적 통로 상에 그리고/또는 그에 인접하여 위치될 수 있다. 그러한 실시예에 추가하여, 장애물 표식(530)은 상기 해부학적 통로 내에서 수행된 이전의 시험 및/또는 시술과 관련된 임상 정보(예컨대, "생검 결과 음성")를 디스플레이할 수 있다. 몇몇 예에서, 장애물 표식(530)은 신장된 장치를 조향하는 것이 위험하고 그리고/또는 불가능한 해부학적 통로 상에 그리고/또는 그에 인접하여 위치될 수 있다. 예를 들어, 장애물 표식(530)은 신장된 장치를 끼우기에 너무 좁은 해부학적 통로를 표지할 수 있거나, 또는 해부학적 통로의 굽힘부가 너무 급격할 수 있다 (예컨대, 굽힘 반경은 신장된 장치가 횡단하기에 너무 급격할 수 있다). 몇몇 예에서, 장애물 표식(530)은 회피되어야 하는 해부학적 통로의 색깔, 색조, 텍스처, 및/또는 투명도를 변경함으로써 디스플레이될 수 있다. 몇몇 예에서, 장애물 표식(530)은 청각적 피드백(예컨대, "경고" 또는 "정지") 및/또는 햅틱 피드백(예컨대, 신장된 장치가 금지된 루트를 향해 조향될 때의 수술용 제어부의 진동)을 포함할 수 있다. 몇몇 예에서, 장애물 표식(530)은 작업자가 신장된 장치를 잘못된 방향으로 조향하기를 시도할 때 출현할 수 있고, 이후에 (신장된 장치를 후퇴시키고 그리고/또는 신장된 장치를 다시 원하는 경로를 향해 조향함으로써) 작업자가 신장된 장치의 경로를 교정할 때 사라질 수 있다.
도 6은 몇몇 예에 따른 횡단 모드에서 가상 전체 영상을 디스플레이하기 위한 예시적인 윈도우(600)를 도시한다. 도 1 - 도 4와 일치하는 몇몇 실시예에 따르면, 윈도우(600)는 가상 전체 뷰 윈도우(420)에 대응할 수 있다. 도 6에 도시된 바와 같이, 윈도우(600)는 "전체" 시야(예컨대, 환자(P) 위에 서 있는 의사(O)의 시야)로부터의 해부학적 특징부(610) 및 신장된 장치(620)를 디스플레이한다. 몇몇 예에서, 해부학적 특징부(610)는 해부학적 통로, 혈관, 장기 등과 같은, 관심 해부학적 특징부를 포함할 수 있다. 해부학적 특징부(610)는, 예를 들어 수술전 또는 수술중에 획득된 의료 영상 데이터 세트로부터 발생된 가상 렌더링 및/또는 영상을 사용하여 디스플레이될 수 있다. 몇몇 예에서, 해부학적 특징부(610)는 주어진 해부학적 특징부 내부 및/또는 후방의 특징부가 윈도우(600) 내에 동시에 디스플레이될 수 있도록, 투광성 특징부로서 그리고/또는 윤곽으로서 디스플레이될 수 있다.
몇몇 예에서, 윈도우(600)의 시야는 배향 표식(615)을 사용하여 표시된다. 도 6에 도시된 바와 같이, 배향 표식(615)은 환자의 신체에 대한 전체 뷰의 배향을 나타내는 각도로 위치된 가상의 인물상을 포함할 수 있다. 몇몇 실시예에 따르면, 윈도우(600)의 시야는 시간에 걸쳐 변할 수 있고, 이러한 경우에 배향 표식(650)은 변화하는 관찰각을 반영하기 위해 연속적으로 갱신될 수 있다. 몇몇 예에서, 배향 표식(615)은 중력의 방향과 같은, 기준 축 또는 방향을 표시하는, 화살표와 같은 아이콘을 포함할 수 있다. 몇몇 실시예에서, 배향 표식(615)은 텍스트 라벨(예컨대, "정면 뷰" 또는 "측면 뷰")과 같은 영숫자 표식 및/또는 좌표 라벨(예컨대, 관찰각을 나타내는 극좌표)을 포함할 수 있다. 몇몇 예에서, 배향 표식(615)은 x-선 라벨링 체계에 기초한 텍스트 라벨(예컨대, 전후 뷰에 대한 "AP" 및 후전 뷰에 대한 "PA")을 이용할 수 있다. 배향 표식(615)은 윈도우(600) 내의 그리고/또는 그 부근의 임의의 적합한 위치 내에 위치될 수 있다. 몇몇 예에서, 배향 표식(615)은 가상 영상을 가리지 않도록 윈도우(600)의 외부에 위치될 수 있다.
몇몇 예에서, 시계 표식(625)이 신장된 장치(620)의 원위 단부에 디스플레이된다. 도 4a와 일치하는 몇몇 실시예에 따르면, 시계 표식(625)은 카메라 뷰 윈도우(410) 및/또는 가상 내시경 뷰 윈도우(420) 내에서 보이는 시계의 표현을 제공한다. 이러한 방식으로, 작업자는 각각의 윈도우 내에서 보이는 영상들 사이의 대응을 직관적으로 파악할 수 있다. 몇몇 예에서, 시계 표식(625)은 프리즘 및/또는 원추 형상으로서 디스플레이될 수 있다. 몇몇 예에서, 카메라 뷰 윈도우(410) 및/또는 가상 내시경 뷰 윈도우(420)의 소형 버전이 각각의 다양한 윈도우들 사이의 대응을 추가로 보강하기 위해 시계 표식(625)의 편평한 면 상으로 투사될 수 있다. 몇몇 예에서, 시계 표식(625)은 신장된 장치(620)의 원위 단부로부터 발산하는 광선으로서 나타내어질 수 있다.
현재의 목표 위치(630)가 윈도우(600) 내에 디스플레이된다. 도 1 - 도 4에서 위에서 설명된 실시예와 일치하여, 현재의 목표 위치(630)는 목표 수술 위치 및/또는 목표 해부학적 위치에 대응할 수 있다. 몇몇 예에서, 현재의 목표 위치(630)는 원, 구, 과녁(예컨대, 동심 원들), 십자선, 및/또는 임의의 다른 적합한 형상/디자인으로서 도시될 수 있다. 몇몇 예에서, 현재의 목표 위치(630)의 형상은 의료 촬영 데이터와 같은, 수술전 복셀 데이터를 사용하여 결정될 수 있다. 예를 들어, 현재의 목표 위치(630)는 종양의 형상을 사실적으로 도시할 수 있다. 몇몇 예에서, 현재의 목표 위치(630)의 색깔, 텍스처, 색조, 및/또는 투명도는 가변적일 수 있다. 몇몇 예에서, 현재의 목표 위치(630)는 점멸할 수 있고 그리고/또는 작업자의 주의를 끌기 위해 그의 외형에 대한 시변 양태를 가질 수 있다. 가상 로드맵(635)이 현재의 목표 위치(630)로 이어지는 미리 결정된 루트를 디스플레이할 수 있다. 몇몇 예에서, 가상 로드맵(635)은 도 5에 대해 이전에 설명된 바와 같이, 가상 로드맵(520)과 실질적으로 유사한 속성 및/또는 기능을 가질 수 있다.
몇몇 예에서, 하나 이상의 이전의 그리고/또는 미래의 목표 위치(640)가 또한 윈도우(600) 내에 디스플레이될 수 있다. 목표 위치(640)는 대체로 작업자를 배향시키는 것을 돕고 시술의 현재의 스테이지에 대한 맥락을 제공하기 위한 정보 제공 목적을 수행한다. 몇몇 예에서, 목표 위치(640)는 선택 가능할 수 있고, 이러한 경우에, 선택된 목표 위치는 현재의 목표 위치가 된다. 몇몇 예에서, 목표 위치(640)의 크기, 색깔, 텍스처, 색조, 및/또는 투명도는 현재의 목표 위치(630)의 속성과 상이하여 이들을 구분되게 만들 수 있다. 유사하게, 이력 경로(645)가 신장된 장치(620)가 시술 중에 이전에 이동되었던 경로 및/또는 경로의 일 부분을 표시할 수 있다. 예를 들어, 이력 경로(645)는 보정 중에, 이전의 목표 위치로의 운행 중에, 그리고/또는 현재의 목표 위치(630)로 운행하기 위한 이전의 시도 중에 취해진 경로를 나타낼 수 있다. 몇몇 예에서, 이력 경로(645)의 다양한 부분들이 경로의 특정 부분의 목적 및/또는 시간을 표시하기 위해 상이한 색깔, 텍스처, 색조, 및/또는 투명도를 사용하여 디스플레이될 수 있다 (예컨대, 보정, 현재의 목표 위치(630)에 도달하기 위한 이전의 시도, 및/또는 상이한 목표 위치들에 도달하기 위한 이전의 시도). 몇몇 예에서, 이력 경로(645)는 일시적으로 디스플레이되고 이후에 뷰로부터 숨겨질 수 있다. 예를 들어, 이력 경로(645)는 해부학적 특징부(610)와 이력 경로(645)의 정합을 검증하기 위해 일시적으로 디스플레이될 수 있다. 즉, 이력 경로(645)는 정합이 올바를 때 해부학적 특징부(610)와 정렬되고, 정합이 잘못되었을 때 오정렬될 것으로 예상된다. 정합이 잘못되었으면, 작업자는, 예를 들어, 신장된 장치(620)를 후퇴시키고 그리고/또는 적절하게 재보정함으로써, 문제점을 해결할 수 있다. 정합이 올바르면, 작업자는 이력 경로(645)를 불능화하고/숨기고, 목표 위치(630)로의 신장된 장치(620)의 운행을 진행할 수 있다.
도 7은 몇몇 실시예에 따른 힘 표식 정보를 디스플레이하기 위한 윈도우(700)의 단순화된 도면이다. 도 1 - 도 4와 일치하는 몇몇 실시예에 따르면, 윈도우(700)는 힘 표식 윈도우(445)에 대응할 수 있다. 몇몇 예에서, 정보는 신장된 장치를 전진시키기 위해 사용되는 모터 또는 액추에이터에 의해 가해지는 삽입력의 표현을 제공한다. 정보는 삽입력이 시간에 걸쳐 변화할 때의 삽입력의 이력을 제공하는 스크롤 바 그래프의 형태로 디스플레이될 수 있고, 그래프 상의 가장 좌측의 수직 막대는 가장 오래된 힘 측정을 나타내고, 그래프 상의 가장 우측의 수직 막대는 가장 최근의 힘 측정을 나타낸다. 몇몇 예에서, 가장 오래된 힘 측정과 가장 최근의 힘 측정 사이의 시간차는 90초일 수 있지만, 임의의 더 크거나 더 작은 기간을 나타낼 수 있다. 수직 막대의 크기는 힘 측정의 크기를 표시할 수 있다. 몇몇 예에서, 수직 막대는 힘 측정의 크기를 나타내는 상이한 색깔, 색조, 텍스처, 및/또는 투명도로 도시될 수 있다. 몇몇 예에서, 적색은 미리 설정된 임계치 위의 힘 측정을 표시하기 위해 사용될 수 있고, 황색은 미리 설정된 중간 임계 범위 내의 힘 측정을 표시하기 위해 사용될 수 있고, 녹색은 미리 설정된 임계치 아래의 힘 측정을 표시하기 위해 사용될 수 있다.
소정의 실시예에서, 힘 측정은 다양한 센서에 의해 얻어져서 다양한 알고리즘에 의해 연산될 수 있다. 예를 들어, 신장된 장치의 원위 단부에서의 힘 센서로부터의 힘 또는 삽입 모터에 의해 측정된 힘. 측정된 힘은 그 다음 아마도 모델링된 중력 또는 마찰력을 차감하여, 관심있는 힘을 연산하기 위해 사용될 수 있다.
도 8은 몇몇 실시예에 따른 작동 정보를 디스플레이하기 위한 예시적인 윈도우(800)를 도시한다. 도 1 - 도 4와 일치하는 몇몇 실시예에 따르면, 윈도우(800)는 작동 정보 윈도우(450)에 대응할 수 있다. 몇몇 예에서, 윈도우(800)는 신장된 장치의 길이를 따라 배치된, 광섬유 굽힘 센서와 같은, 형상 감지 프로브를 사용하여 측정된 신장된 장치의 가요성 본체의 굽힘 반경과 관련된 작동 정보를 디스플레이하기 위해 사용된다. 몇몇 실시예에 따르면, 윈도우(800)는 작동 정보 아이콘(810)을 포함한 하나 이상의 그래픽 표식을 디스플레이할 수 있다.
대체로, 작동 정보 아이콘(810)은 신장된 장치의 과도한 굽힘과 같은, 신장된 장치를 제어하면서 마주치는 문제점을 검출 및/또는 교정하는 데 있어서 작업자를 보조하는 작동 정보를 제공한다. 과도한 굽힘 상태는, 예를 들어, 시술 중에 사용되는 의료 기구가 과도한 굽힘 상태의 결과로서 신장된 장치를 통해 끼워질 수 없을 때, 문제가 될 수 있다. 몇몇 예에서, 작동 정보 아이콘(810)은 과도한 굽힘 상태에 대해 작업자에게 경고하기 위해 신장된 장치의 최소 굽힘 반경을 디스플레이하는 영숫자 표식(812)을 포함할 수 있다. 몇몇 예에서, 영숫자 표식은 가장 급격한 굽힘 반경이 변화할 때 연속적으로 갱신되지만, 가장 급격한 굽힘 반경이 기구의 통과를 안전하게 허용하는 것으로 미리 결정된 값과 동일할 때 문자 값(예컨대, 예 또는 통과)으로 전환되는 숫자 값을 디스플레이할 수 있다. 몇몇 예에서, 값은 통과 또는 실패, 예 또는 아니오를 디스플레이하는 문자 값, 및/또는 기구의 통과를 허용하기 위해 신장된 장치의 길이를 따른 충분히 큰 굽힘 반경의 다른 2진 표식일 수 있다.
몇몇 예에서, 작동 정보 아이콘(810)은 과도한 굽힘 상태를 경감시키기 위해 작업자가 신장된 장치를 어느 방향으로 조향해야 하는 지를 표시하는, 화살표와 같은 방향 표식(814)을 포함할 수 있다. 몇몇 예에서, 방향 표식(814)은 과도한 굽힘 상태가 검출되면 출현할 수 있고, 과도한 굽힘 상태가 경감되면 사라질 수 있다. 몇몇 예에서, 작동 정보 아이콘(810), 영숫자 표식(812), 및/또는 방향 표식(814)의 색깔, 크기, 텍스처, 및/또는 다른 속성은 작업자에게 보충 안내 정보를 전송하기 위해 동적일 수 있다. 예를 들어, 상이한 색깔들이 굽힘 반경의 상이한 범위에 대응할 수 있다 (예컨대, 적색은 1 - 10의 굽힘 반경에 대응하고, 녹색은 50을 초과하는 굽힘 반경에 대응하고, 황색 및/또는 적색으로부터 주황색으로 황색으로 그리고 녹색으로의 점진적으로 변이하는 색조는 11 - 49의 굽힘 반경에 대응한다). 색채 배합은 방향 표식(814) 및/또는 숫자 표식(812)과 같은 작동 정보 아이콘(810) 또는 그의 일부에 적용될 수 있다.
도 8에 도시된 예시적인 예에서, 신장된 장치의 최소 굽힘 반경(즉, 신장된 장치의 길이를 따른 가장 작은 굽힘 반경)은 영숫자 표식(812)에 의해 도시된 바와 같이, 11mm이다. 숫자가 작을수록, 굽힘 반경이 더 급격하다. 최소 굽힘 반경을 증가시키기 위해, 작업자는 방향 표식(814)의 화살표에 의해 도시된 바와 같이, 조이스틱, 트랙볼 등과 같은 제어 장치를 아래로 그리고 좌측으로 운행하도록 지시받는다. 예를 들어, 하나 이상의 실시예에서, 작동 정보 아이콘(810)은 신장된 장치의 조향 가능한 부분의 굽힘을 제어하기 위해 작업자에 의해 사용되는 트랙볼의 평면도를 도시할 수 있다. 그러한 실시예에 추가하여, 방향 표식(814)은 트랙볼이 신장된 장치의 조향 가능한 부분을 직선화하기 위해 굴려져야 하는 방향을 표시할 수 있다.
도 9는 몇몇 실시예에 따른 정렬 모드에서 목표 안내 정보를 디스플레이하기 위한 윈도우(900)를 도시한다. 도 1 - 도 4와 일치하는 몇몇 실시예에 따르면, 윈도우(900)는 목표 안내 윈도우(460)에 대응할 수 있다. 윈도우(460)는 신장된 장치의 원위 단부로부터 전방을 보는 것에 대응하는 시점으로부터의 목표 위치(910)에서의 목표 표식을 디스플레이한다. 몇몇 실시예에 따르면, 윈도우(900)는 신장된 장치를 가까운 범위로부터 목표 위치(910)와 정렬시키는 데 있어서 작업자를 보조하도록 설계된 안내 정보를 디스플레이할 수 있다. 가상 내시경 뷰 윈도우(420) 및/또는 윈도우(500)와 같은 가상 내시경 뷰와 달리, 윈도우(900)는 임의의 해부학적 특징부를 도시하지 않을 수 있다. 윈도우(900) 내에서의 해부학적 특징부의 결여는 목표 위치(910)에 대한 작업자의 관심을 끄는 장점을 갖는다. 윈도우(900) 내에서의 해부학적 특징부의 결여는 윈도우(900)를 렌더링하는 데 수반되는 연산적 복잡성을 감소시키는 추가의 장점을 갖고, 이는 지연을 감소시킨다. 몇몇 예에서, 임의의 해부학적 특징부가 없이 윈도우(900)를 디스플레이하는 것은 정렬 모드에서 가능하고, 이는 신장된 장치가 이미 목표 위치(910)의 가까운 범위 내로 (예컨대, 2 또는 3센티미터 이내로) 운행되었기 때문이다. 예를 들어, 신장된 장치의 원위 단부와 목표 위치(910) 사이에서 환자의 해부학적 구조물 내에 추가의 분지부, 굽힘부, 및/또는 방해물이 없을 수 있다. 그러나, 몇몇 실시예에서, 윈도우(900)는 해부학적 특징부의 표현, 해부학적 특징부들의 하위 세트, 및/또는 안전, 목표 위치(910)에 가까운 해부학적 구조물(예컨대, 병소)의 회피, 및/또는 다른 기능적 고려와 같은 목적의 해부학적 특징부의 단순화된 표현을 포함할 수 있다.
몇몇 예에서, 목표 위치(910)는 원 및/또는 동심 원들의 세트로서 나타내어질 수 있다. 몇몇 예에서, 목표 위치(910)의 형상은 수술전 의료 촬영 데이터를 사용하여 결정될 수 있다. 목표 위치(910)의 색깔, 크기, 텍스처, 색조, 및/또는 투명도는 신장된 장치의 원위 단부와 목표 위치(910) 사이의 거리에 의존하여 변할 수 있다. 몇몇 실시예에 따르면, 정렬 표식(920)이 의료 기구가 목표 위치(910)에 대해 조준되는 곳을 식별하기 위해 윈도우(900) 내에 디스플레이된다. 예를 들어, 정렬 표식(920)은 윈도우의 중심, 및/또는 중심 이탈되고 그리고/또는 다중 위치에 있을 수 있는, 의료 시술(예컨대, 생검 및/또는 레이저 절제)이 수행될 윈도우(900) 내의 위치를 표지하는 십자선을 포함할 수 있다. 십자선은 프로브 또는 생검 니들과 같은 신장된 장치를 통해 전달되는 기구를 중심선 축과 연관시키는 신장된 장치의 방사상 중심에 대응할 수 있다. 몇몇 실시예에 따르면, 정렬 표식(920)의 색깔, 텍스처, 색조, 및/또는 투명도는 정렬 표식(920)과 목표 위치(910) 사이의 정렬의 품질에 기초하여 변할 수 있다. 예를 들어, 정렬 표식(920)은 원하는 정렬이 달성되면 녹색으로, 정렬이 완전하지는 않지만 거의 정렬되면 황색으로, 그리고 오정렬되면 적색으로 변할 수 있다. 몇몇 예에서, 신장된 장치의 원위 단부와 목표 위치(910) 사이의 거리에 응답하여 변화하는 목표 위치(910)의 속성은 정렬에 응답하여 변화하는 정렬 표식(920)의 속성과 상이할 수 있다. 이러한 방식으로, 예를 들어, 목표 위치(910)와 정렬 표식(920)의 색깔들이 동시에 상이한 방식으로 변화하는 혼란스러운 상황이 회피된다. 정렬 표식(920)과 목표 위치(910) 사이의 정렬의 품질 및/또는 신장된 장치의 원위 단부와 목표 위치(910) 사이의 거리는 추적 시스템(230)과 같은, 추적 시스템에 기초한 신장된 장치의 감지된 위치 및/또는 배향에 의해 결정될 수 있다. 몇몇 예에서, 윈도우(900)는 추가적으로 또는 대안적으로 신장된 장치의 원위 단부와 목표 위치(910) 사이의 측면도를 디스플레이할 수 있다. 측면도는 거리가 도 9에 도시된 시야에 대해 수직이므로, 신장된 장치의 원위 단부와 목표 위치(910) 사이의 거리를 시각화하는 데 도움이 될 수 있다.
몇몇 예에서, 하나 이상의 표식(930)이 목표 위치(910)에서 수행된 이전의 시술의 위치를 표시하기 위해 윈도우(900) 내에 디스플레이될 수 있다. 예를 들어, 생검물이 이전에 다양한 진입 각도로부터 수집되었을 때, 작업자는 현재의 생검에 대해 배열할 때 상이한 이전의 접근들을 시각화하는 것이 유용함을 발견할 수 있다. 표식(930)은 저장된 니들 궤적 정보에 기초하여 디스플레이될 수 있다. 몇몇 예에서, 니들 궤적 정보는 작업자가 생검이 취해지고 있음을 수동으로 표시할 때 발생되어 저장되고, 이러한 시점에서, 니들 궤적은 신장된 장치의 현재의 위치 및 배향에 기초하여 계산된다. 몇몇 예에서, 생검의 시작은 니들이 신장된 장치의 원위 단부를 빠져나갈 때 신호를 발생시키는 신장된 장치의 원위 단부에서의 형상 센서로부터의 정보에 기초하여 자동으로 검출된다. 몇몇 예에서, 니들은 로봇 제어될 수 있고 그리고/또는 위치 센서를 포함할 수 있고, 이러한 경우에 니들 삽입의 시간 및 깊이가 직접 포착되어 저장될 수 있다. 몇몇 예에서, 형광투시법 촬영이 니들이 신장된 장치로부터 연장되는 때와 장소를 검출하기 위해 사용될 수 있다. 몇몇 예에서, 표식(930)은 넘버링되고, 타임 스탬핑되고, 그리고/또는 이전의 시도에 관련된 임상 정보로 보완될 수 있다.
몇몇 예에서, 이동 범위 한계 표식(940)이 신장된 장치가 특정 방향으로 더 이상 조향될 수 없거나 조향되지 않아야 함을 표시하기 위해 윈도우(900) 내에 디스플레이될 수 있다. 몇몇 예에서, 이동 범위 한계 표식(940)은 신장된 장치를 해부학적 통로의 벽 내로 조향할 때 그리고/또는 신장된 장치의 조향 가능한 부분의 이동 범위 한계가 접근 및/또는 초과될 때 발생할 수 있는 바와 같이, 압력 센서가 주어진 방향으로부터의 신장된 장치 상의 과도한 압력을 검출할 때 출현할 수 있다. 몇몇 예에서, 이동 범위 한계는 신장된 장치를 더 이상 구부리지 못하는 조향 메커니즘의 불능과 같은 물리적 구속 및/또는 의료 기구가 신장된 장치를 통해 안전하게 삽입될 수 없는 최소 굽힘 반경과 같은 실질적인 구속에 기초하여 결정될 수 있다. 이러한 방식으로, 이동 범위 한계 표식(940)은 하나 이상의 방향으로의 신장된 장치의 추가의 조향을 금지하는 하나 이상의 내장된 및/또는 외부 한계의 위반을 작업자에게 경고한다. 이동 범위 한계 표식(940)을 관찰하는 것에 응답하여, 작업자는 이동 범위 한계 표식(940)이 사라질 때까지 신장된 장치를 반대 방향으로 조향할 수 있고, 그리고/또는 조건이 해결되었음을 표시하도록 상태를 변화시킬 수 있다. 몇몇 실시예에 따르면, 이동 범위 한계 표식(940)은 원호로서 디스플레이될 수 있다. 반경, 각도, 길이, 폭, 색깔, 텍스처, 색조, 투명도 등과 같은, 원호의 다양한 속성이 한계 위반의 심각도를 표시하기 위해 변할 수 있다 (예컨대, 이동 범위 한계가 접근되고 있을 표시하기 위한 황색, 한계가 도달 및/또는 초과되었음을 표시하기 위한 적색).
도 10은 몇몇 예에 따른 정렬 모드에서 가상 전체 영상을 디스플레이하기 위한 윈도우(1000)를 도시한다. 도 1 - 도 4와 일치하는 몇몇 실시예에 따르면, 윈도우(1000)는 가상 전체 뷰 윈도우(470 - 480)에 대응할 수 있다. 도 6에 도시된 윈도우(600)처럼, 윈도우(1000)는 전체 시야로부터의 시계 표식(1025)과 함께 해부학적 특징부(1010) 및 신장된 장치(1020)를 디스플레이한다. 유사하게, 배향 표식(1015) 및 목표 위치(1030)가 각각 배향 표식(615) 및 목표 위치(1030)에 대체로 대응한다. 몇몇 예에서, 신장된 장치(1020)의 원위 단부로부터의 중심선(1027)이 작업자가 생검 니들과 같은 의료 기구의 목표 위치(1030) 내로의 삽입을 시각화하는 것을 돕기 위해 디스플레이된다.
몇몇 예에서, 윈도우(1000)는 윈도우(600)의 해부학적 특징부(610)에 비해 해부학적 특징부(1010)의 단순화된 도면을 제공할 수 있다. 예를 들어, 해부학적 특징부를 고도로 상세하고 그리고/또는 사실적으로 도시하기보다는, 해부학적 특징부(1010)는 해부학적 통로를 도시하기 위해 기본적인 2차원 및/또는 3차원 형상(예컨대, 직사각형, 입방체, 원통, 구)을 사용할 수 있다. 윈도우(900) 내에서의 해부학적 특징부의 결여와 유사하게, 기본적인 형상을 사용하여 해부학적 특징부(1010)를 도시하는 것은 윈도우(1000)를 렌더링하는 데 수반되는 연산적 복잡성을 감소시키는 장점을 갖고, 이는 지연을 감소시켜서 미세한 정렬 조정을 이루는 능력을 개선할 수 있다. 가상 로드맵(예컨대, 가상 로드맵(635))의 결여와 같은 추가의 단순화가 신장된 장치(1020)가 목표 위치(1030)의 가까운 범위 내에 있는 사실로 인해 정렬 모드에서 가능하고 그리고/또는 바람직하다.
몇몇 예에서, 의료 기구는 정렬 모드에서 신장된 장치(1020) 내로 삽입될 수 있다. 따라서, 삽입되어야 하는 의료 기구가 신장된 장치(1020)를 안전하게 통과할 수 있는 지를 아는 것이 바람직하다. 예를 들어, 신장된 장치(1020)의 임의의 부분이 과도하게 구부러지고 그리고/또는 달리 훼손(예컨대, 화학적, 열적, 기계적, 및/또는 생리학적 훼손)되는 지를 아는 것이 바람직하다. 이러한 문제를 해결하기 위해, 신장된 장치(1020)의 색채 배합(1040)이 그의 길이를 따른 상이한 위치들에서의 신장된 장치(1020)의 굽힘 반경 (및/또는 온도, 스트레인 등)을 표시한다. 색채 배합(1040)은 위치의 함수로서 신장된 장치(1020)의 색깔, 텍스처, 패턴, 투명도, 색조, 및/또는 다른 시각적 특성을 변경함으로써 측정된 굽힘 반경을 디스플레이하기 위해 사용될 수 있다. 색채 배합(1040)을 사용하여, 상이한 색깔 및/또는 색조가 굽힘 반경 값들의 범위에 할당될 수 있다 (예컨대, 녹색이 직선으로 간주되는 범위에 할당될 수 있고, 적색이 구부러진 것으로 간주되는 범위에 할당될 수 있으며, 황색이 중간 범위에 할당될 수 있다). 도 10에 도시된 바와 같이, 신장된 장치(1020)의 더 어두운 부분이 더 작은 굽힘 반경에 대응하는 색채 배합이 채택된다. 그러한 색채 배합은 과도하게 구부러지는 신장된 장치(1020)의 가능한 부분에 대해 작업자에게 경고할 수 있다. 예를 들어, 신장된 장치(1020)의 하나의 영역은 임계 값을 넘어 구부러질 때 적색으로 변할 수 있다. 몇몇 실시예에 따르면, 임계 값은 니들과 같은 장치가 신장된 장치(1020)를 더 이상 자유롭게 통과할 수 없는 굽힘 반경에 대응할 수 있다. 몇몇 예에서, 임계 값은 신장된 장치(1020)가 뒤틀림을 형성하기 쉬워지는 반경과 같은, 신장된 장치(1020)의 최소 굽힘 반경에 대응할 수 있다. 몇몇 실시예에서, 복수의 임계 값이 있을 수 있고, 각각의 임계 값은 더 극단의 임계치가 초과되었음을 표시하기 위한 적색의 더 어두운 색상으로의 전이와 같은, 색채 배합(1040)의 상이한 변화를 트리거링한다. 색깔들 사이의 전이가 갑작스러운 것으로 도시되어 있지만, 색채 배합(1040)은 색상, 휘도 등과 같은 색채 배합(1040)의 특성이 굽힘 반경의 함수로서 연산되도록, 몇몇 예에서 색깔들 사이에서 점진적으로 전이할 수 있다. 몇몇 예에서, 색채 배합(1040)은 신장된 장치(1020)의 전체 길이를 따라 적용될 수 있다. 몇몇 예에서, 색채 배합(1040)은 신장된 장치(1020)의 근위 부분이 과도하게 구부러지는 것에 대해 원위 부분만큼 민감하지 않을 수 있으므로, 신장된 장치(1020)의 원위 부분으로 제한될 수 있다.
대체로, 윈도우(500 - 900)들 중 임의의 하나는 임의의 다른 윈도우로부터의 특징을 적절하게 포함할 수 있다. 예를 들어, 윈도우(500)는 윈도우(600)의 배향 표식(615)과 같은, 배향 표식을 포함할 수 있다. 몇몇 예에서, 신장된 장치(620)는 신장된 장치(1020)의 색채 배합(1040)과 같은, 색채 배합을 포함할 수 있다. 몇몇 예에서, 윈도우(1000)는 윈도우(600)의 가상 로드맵(635)과 같은, 가상 로드맵을 포함할 수 있다. 몇몇 예에서, 윈도우(1000)는 윈도우(900)의 표식(930)과 같은, 목표 위치(1030)에서 수행된 이전의 시술의 위치의 표식을 포함할 수 있다. 몇몇 예에서, 윈도우(600)의 상세한 해부학적 특징부(610)는 렌더링 효율을 개선하기 위해, 해부학적 특징부(1010)와 유사하도록 단순화될 수 있다. 역으로, 윈도우(1000)의 단순화된 해부학적 특징부(1010)는 윈도우(1000)의 심미성을 개선하기 위해, 해부학적 특징부(610)와 유사하도록 향상될 수 있다.
몇몇 예에서, 신장된 장치가 "정지"되었을 때 (즉, 작업자가 신장된 장치를 삽입, 후퇴, 및/또는 굴절시키지 않을 때) 형상 센서를 사용하여 신장된 장치의 위치 및/또는 형상을 측정하는 것이 바람직할 수 있다. 예를 들어, 신장된 장치는 니들과 같은 의료 기구가 신장된 장치 내로 삽입되고 그리고/또는 그로부터 제거될 때, 변위될 수 있다. 다중 모드 그래픽 사용자 인터페이스(400) 내에서의 이러한 이동을 도시하기 위해, (변위되기 전의) 신장된 장치의 원래의 위치는 가상 전체 뷰 윈도우(430, 470, 및/또는 480)들 중 하나 이상에서 투광성 및/또는 반투광성 "고스트" 뷰로서 도시될 수 있다. 몇몇 예에서, 환자의 신체가 움직일 때 작업자에게 경고하는 것이 바람직할 수 있다. 예를 들어, 환자의 이동은 환자 패드 내의 센서 등을 사용하여 검출될 수 있다. 환자의 이동이 검출되면, 다중 모드 그래픽 사용자 인터페이스(400)의 하나 이상의 속성이 배경 및/또는 경계부 색깔이 적색으로 변화하는 것과 같이, 변화할 수 있다. 몇몇 예에서, 해부학적 특징부(610 및/또는 1010)의 표현과 같은 영상 데이터가 색깔, 색조, 텍스처, 및/또는 투명도를 변화시킬 수 있다. 몇몇 예에서, 이러한 변화는 환자의 이동이 하나 이상의 미리 결정된 임계치를 초과할 때 트리거링될 수 있다.
도 11은 몇몇 실시예에 따른 영상 안내식 외과적 시술 중에, 다중 모드 그래픽 사용자 인터페이스(400)와 같은, 다중 모드 그래픽 사용자 인터페이스를 도시하는 방법(1100)을 도시하는 흐름도이다. 방법(1100)은 작업 또는 공정(1110 - 1140)의 세트로서 도시되어 있다. 도시된 공정(1110 - 1140)들 중 전부가 방법(1100)의 모든 실시예에서 수행될 수 있는 것은 아니다. 추가로, 도 11에 명확하게 도시되지 않은 하나 이상의 공정이 공정(1110 - 1040)들 이전에, 이후에, 사이에, 또는 그의 일부로서 포함될 수 있다. 몇몇 실시예에서, 방법(1100)의 공정(1110 - 1140)들 중 하나 이상이 하나 이상의 프로세서(예컨대, 제어 시스템(112)의 프로세서)에 의해 실행될 때, 하나 이상의 프로세서가 공정(1110 - 1140)들 중 하나 이상을 수행하게 할 수 있는 비일과성의 유형의 컴퓨터 판독 가능 매체 상에 저장된 실행 가능한 코드 형태로 적어도 부분적으로 구현될 수 있다.
공정(1110)에서, 다중 모드 그래픽 사용자 인터페이스는 횡단 모드에서 디스플레이된다. 도 1 - 도 10과 일치하는 몇몇 실시예에서, 횡단 모드는 라이브 카메라 뷰 윈도우, 가상 내시경 뷰 윈도우, 가상 전체 뷰 윈도우, 설정 윈도우, 및/또는 작동 정보 윈도우를 포함할 수 있다. 몇몇 실시예에서, 횡단 모드는 신장된 장치의 삽입, 후퇴, 및/또는 굴절과 관련된 실질적인 이동이 예상되는, 환자의 신체를 통해 신장된 장치를 구동할 때 사용된다. 몇몇 예에서, 카메라 프로브는 신장된 장치 내로 삽입되고, 라이브 영상 데이터를 제공하기 위해 횡단 모드에서 신장된 장치의 원위 단부에 위치된다.
공정(1120)에서, 다중 모드 그래픽 사용자 인터페이스가 횡단 모드로부터 정렬 모드로 전이해야 함을 표시하는 제1 트리거링 이벤트가 검출된다. 제1 트리거링 이벤트는 사용자 개시 트리거 및/또는 자동 검출 트리거링 조건을 포함할 수 있다. 수동 트리거는, 예를 들어, 버튼을 클릭하는 것, 스위치를 전환하는 것, 터치패드를 사용하는 것, 및/또는 임의의 다른 적합한 수동 입력에 의한 작업자로부터의 물리적 입력을 포함할 수 있다. 몇몇 예에서, 자동 검출 트리거링 조건은 신장된 장치로부터 카메라 프로브를 제거하는 것을 포함할 수 있다. 몇몇 예에서, 신장된 장치로부터의 카메라 프로브의 제거는 형상 센서(222)와 같은 형상 센서를 사용하여 결정되는 바와 같이, 신장된 장치의 형상의 변화에 기초하여 검출될 수 있다. 몇몇 예에서, 신장된 장치로부터의 카메라 프로브의 제거는 영상 프로세서를 사용하여 결정되는 바와 같이, 카메라 프로브에 의해 제공되는 영상 데이터의 변화에 기초하여 검출될 수 있다. 몇몇 예에서, 영상 데이터의 변화는 컴퓨터 단층 촬영(CT), 자기 공명 영상(MRI), 형광투시법, 온도 기록법, 초음파, 광 간섭 단층 촬영(OCT), 열 촬영, 임피던스 촬영, 레이저 촬영, 또는 나노튜브 X-선 촬영과 같은 실제 촬영 기술로부터 제공될 수 있다. 영상 데이터의 변화는 목표에 대한 상이한 각도에서 또는 시술 내의 상이한 시간에서 촬영 기술을 사용하여 획득되는 새로운 영상을 포함할 수 있다. 트리거링 조건은 촬영 기술의 시스템으로의 부착 또는 그로부터의 분리를 포함할 수 있다. 몇몇 예에서, 트리거링 조건은 신장된 장치 내로 의료 기구를 삽입하는 것을 포함할 수 있다. 신장된 장치로부터의 카메라 프로브의 제거처럼, 신장된 장치 내로의 의료 기구의 삽입은 신장된 장치의 형상의 변화에 기초하여 결정될 수 있다. 몇몇 예에서, 트리거링 조건은 신장된 장치의 원위 단부가 목표 위치의 미리 결정된 거리(예컨대, 2 또는 3센티미터) 내에 있음을 검출하는 것을 포함할 수 있다. 몇몇 예에서, 트리거링 조건은 신장된 장치의 원위 단부와 목표 위치 사이에 가시선이 있음(즉, 해부학적 통로 내에 방해물 및/또는 굽힘부가 없음)을 결정하는 것을 포함할 수 있다. 몇몇 예에서, 트리거링 조건은 신장된 장치의 원위 단부와 목표 위치를 분리하는 해부학적 통로 내의 남아 있는 분지부가 없음을 검출하는 것을 포함할 수 있고, 이는 잘못된 분지부를 따라 운행함으로써 "길을 잃을" 위험이 남아 있지 않음을 의미한다. 몇몇 예에서, 트리거링 조건은 목표 위치로의 미리 결정된 루트의 끝에 도달하는 것을 포함할 수 있다. 몇몇 예에서, 트리거링 조건은 작업자가 신장된 장치를 삽입하는 것을 정지한 것 (즉, 신장된 장치가 "정지"된 때)를 검출하는 것을 포함할 수 있다. 몇몇 예에서, 트리거링 조건은 변화를 포함할 수 있다. 몇몇 예에서, 작업자는 수동 트리거를 제공함으로써 자동 트리거를 무효화하는 옵션을 가질 수 있다. 몇몇 예에서, 하나 이상의 트리거링 조건들의 임의의 적합한 조합이 횡단 모드와 정렬 모드 사이에서 자동으로 절환하도록 사용될 수 있다. 예를 들어, 트리거링 조건은 다음의 조건들이 동시에 만족됨을 검출하는 것을 포함할 수 있다: (1) 신장된 장치가 목표 위치의 미리 결정된 거리 내에 있음 및 (2) 작업자가 신장된 장치를 삽입하는 것을 정지함. 제1 트리거링 이벤트가 검출되면, 방법(1100)은 정렬 모드에서 다중 모드 그래픽 사용자 인터페이스를 디스플레이하기 위해 공정(1130)으로 진행할 수 있다.
공정(1130)에서, 다중 모드 그래픽 사용자 인터페이스는 정렬 모드에서 디스플레이된다. 도 1 - 도 10과 일치하는 몇몇 실시예에서, 정렬 모드는 목표 안내 윈도우, 하나 이상의 가상 전체 뷰 윈도우, 설정 윈도우, 및/또는 작동 정보 윈도우를 포함할 수 있다. 몇몇 실시예에서, 정렬 모드는 의료 시술(예컨대, 생검, 레이저 절제, 촬영 등)을 수행하기 위한 준비로 목표 위치에 관련된 신장된 장치의 위치 및/또는 배향을 최적화할 때 사용된다. 몇몇 예에서, 정렬 모드에서 신장된 장치 내에 삽입된 카메라 프로브가 없고, 따라서 신장된 장치는 "보지 않고서" 조향된다.
공정(1140)에서, 다중 모드 그래픽 사용자 인터페이스가 정렬 모드로부터 횡단 모드로 전이하여야 함을 표시하는 제2 트리거링 이벤트가 검출된다. 몇몇 예에서, 제2 트리거링 이벤트들은 제1 트리거링 이벤트들과 실질적으로 유사하지만 역순일 수 있다. 예를 들어, 신장된 장치로부터의 카메라 프로브의 제거를 검출하기보다는, 신장된 장치 내로의 카메라 프로브의 삽입이 제2 트리거링 이벤트의 일례로서 역할할 수 있다. 제2 트리거링 이벤트가 검출되면, 방법(1100)은 횡단 모드에서 다중 모드 그래픽 사용자 인터페이스를 디스플레이하기 위해 공정(1110)으로 진행할 수 있다.
도 12는 몇몇 실시예에 따른 횡단 모드에서의, 다중 모드 그래픽 사용자 인터페이스(400)와 같은, 다중 모드 그래픽 사용자 인터페이스의 스크린샷(1200)이다. 횡단 모드에서의 다중 모드 그래픽 사용자 인터페이스(400)처럼, 스크린샷(1200)은 5개의 동시에 관찰 가능한 프레임 또는 윈도우(1210 - 1250)를 도시한다. 윈도우(1210 - 1250)는 도 4a에 도시된 바와 같은, 윈도우(410 - 450)에 대체로 대응한다. 몇몇 예에서, 가상 내시경 뷰를 디스플레이하기 위한 윈도우(1220)는 목표 위치로 이어지는 녹색 선인 가상 로드맵(1225)을 포함한다. 몇몇 예에서, 가상 전체 뷰를 디스플레이하기 위한 윈도우(1230)는 신장된 장치의 원위 단부와 목표 위치 사이의 거리를 표시하기 위한 거리 표식(1231)을 포함한다.
도 13은 몇몇 실시예에 따른 정렬 모드에서의, 다중 모드 그래픽 사용자 인터페이스(400)와 같은, 다중 모드 그래픽 사용자 인터페이스의 스크린샷(1300)이다. 정렬 모드에서의 다중 모드 그래픽 사용자 인터페이스(400)처럼, 스크린샷(1300)은 6개의 동시에 관찰 가능한 프레임 또는 윈도우(1310, 1340 - 1380)를 도시한다. 윈도우(1310, 1340 - 1380)는 도 4b에 도시된 바와 같은 윈도우(410, 440 - 480)에 대체로 대응한다.
제어 유닛(130)과 같은, 제어 유닛의 몇몇 예는 하나 이상의 프로세서(예컨대, 프로세서(140))에 의해 실행될 때, 하나 이상의 프로세서가 그래픽 사용자 인터페이스(400)를 제공하거나 방법(1100)의 공정을 수행하게 할 수 있는 실행 가능한 코드를 포함하는 비일과성의 유형의 기계 판독 가능 매체를 포함할 수 있다. 그래픽 사용자 인터페이스(400)를 제공하거나 방법(1100)의 공정을 포함할 수 있는 기계 판독 가능 매체의 몇몇 일반적인 형태는, 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 천공 카드, 종이 테이프, 패턴화된 구멍을 구비한 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 및/또는 프로세서 또는 컴퓨터가 판독하도록 구성된 임의의 다른 매체이다.
추가의 예
A1. 의료 시술 중에 그래픽 사용자 인터페이스를 사용하여 안내 정보를 디스플레이하기 위한 방법이며, 신장된 장치의 원위 단부에 대응하는 시야로부터의 제1 영상 데이터 - 제1 영상 데이터는 환자의 해부학적 구조물의 해부학적 특징부를 포함함 - 를 디스플레이하는 단계; 환자의 해부학적 구조물 내의 목표 위치로의 가상 로드맵 - 가상 로드맵은 목표 위치로의 미리 결정된 루트를 표시함 - 을 디스플레이하는 단계; 및 신장된 장치의 원위 단부와 미리 결정된 루트 사이의 편차에 기초하여 가상 로드맵의 색깔, 색조, 텍스처, 및 투명도 중 하나 이상을 변화시키는 단계를 포함하는, 방법.
A2. 예 A1에 있어서, 가상 로드맵은 제1 영상 데이터 내에 포함된 해부학적 특징부 상에 중첩된 선으로서 디스플레이되는, 방법.
A3. 예 A1 또는 예 A2에 있어서, 가상 로드맵은 해부학적 특징부의 하나 이상의 속성에 기초하여 색깔, 색조, 텍스처, 및 투명도 중 하나 이상을 변화시키고, 하나 이상의 속성은 해부학적 통로의 직경, 해부학적 통로의 굽힘, 해부학적 통로의 수축, 및 해부학적 통로의 분지로 구성된 그룹으로부터 선택되는, 방법.
A4. 예 A1 - 예 A3 중 어느 하나에 있어서, 가상 로드맵은 신장된 장치의 원위 단부와 목표 위치 사이의 거리에 기초하여 색깔, 색조, 텍스처, 및 투명도 중 하나 이상을 변화시키는, 방법.
A5. 예 A1 - 예 A4 중 어느 하나에 있어서, 제1 영상 데이터를 디스플레이하는 단계는 장애물 표식을 디스플레이하는 단계를 추가로 포함하는, 방법.
A6. 예 A5에 있어서, 해부학적 특징부는 신장된 장치가 지향되지 않아야 하는 바람직하지 않은 해부학적 특징부를 포함하고, 장애물 표식은 바람직하지 않은 해부학적 특징부에 대응하는, 방법.
A7. 예 A5 또는 예 A6에 있어서, 장애물 표식은 해부학적 특징부의 하나 이상의 속성에 기초하여 결정되고, 하나 이상의 속성은 해부학적 특징부의 직경 또는 해부학적 특징부의 굽힘을 포함하는, 방법.
A8. 예 A1 - 예 A7 중 어느 하나에 있어서, 해부학적 특징부는 신장된 장치의 원위 단부와 목표 위치 사이의 거리에 기초하여 색깔, 색조, 텍스처, 및 투명도 중 하나 이상을 변화시키는, 방법.
A9. 예 A1 - 예 A8 중 어느 하나에 있어서, 신장된 장치의 원위 단부에 대응하는 시야로부터의 제2 영상 데이터를 디스플레이하는 단계를 추가로 포함하고, 제2 영상 데이터는 목표 위치에 대응하는 목표 표식 및 의료 시술의 예상 위치에 대응하는 정렬 표식을 포함하고, 목표 표식은 의료 시술의 예상 위치와 목표 위치 사이의 정렬에 기초하여 색깔, 색조, 텍스처, 및 투명도 중 하나 이상을 변화시키는, 방법.
A10. 예 A9에 있어서, 목표 표식은 수술전 복셀 데이터에 기초하여 모델링되는, 방법.
A11. 예 A9 또는 예 A10에 있어서, 목표 표식은 신장된 장치의 원위 단부와 목표 위치 사이의 거리에 기초하여 색깔, 색조, 텍스처, 및 투명도 중 하나 이상을 변화시키는, 방법.
A12. 예 A9 - 예 A11 중 어느 하나에 있어서, 목표 표식은 정렬 표식과 목표 표식 사이의 편차에 기초하여 색깔, 색조, 텍스처, 및 투명도 중 하나 이상을 변화시키는, 방법.
A13. 예 A9 - 예 A12 중 어느 하나에 있어서, 정렬 표식은 정렬 표식과 목표 표식 사이의 편차에 기초하여 색깔, 색조, 텍스처, 및 투명도 중 하나 이상을 변화시키는, 방법.
A14. 의료 시술 중에 그래픽 사용자 인터페이스를 사용하여 안내 정보를 디스플레이하기 위한 방법이며, 그래픽 사용자 인터페이스 정렬 모드에서 그리고 목표 위치에서 의료 시술을 수행하기 위한 신장된 장치의 원위 단부의 정렬 중에, 신장된 장치의 원위 단부에 대응하는 시야로부터의 제1 영상 데이터 - 제1 영상 데이터는 목표 위치에 대응하는 목표 표식 및 의료 시술의 예상 위치에 대응하는 정렬 표식을 포함함 - 를 디스플레이하는 단계; 목표 위치로 기구를 전달하는 단계 - 목표 위치로 기구를 전달하는 단계는 복수의 기구 궤적을 저장하는 단계를 포함함 -; 및 복수의 기구 궤적에 대응하여 복수의 이력 표식을 디스플레이하는 단계를 포함하는 방법.
A15. 예 A14에 있어서, 기구는 니들인, 방법.
A16. 예 A14 또는 예 A15에 있어서, 그래픽 사용자 인터페이스의 횡단 모드에서 그리고 해부학적 통로를 통한 신장된 장치의 횡단 중에, 신장된 장치의 원위 단부에 대응하는 시야로부터의 제2 영상 데이터를 디스플레이하는 단계를 추가로 포함하고, 제2 영상 데이터는 가상 로드맵 및 신장된 장치의 이력 경로를 포함하는, 방법.
A17. 예 A16에 있어서, 수동 입력에 기초하여 이력 경로를 숨기는 단계를 추가로 포함하는 방법.
A18. 예 A14 - 예 A17 중 어느 하나에 있어서, 수동 입력에 기초하여 이력 표식을 숨기는 단계를 추가로 포함하는 방법.
A19. 예 A14 - 예 A18 중 어느 하나에 있어서, 의료 시술은 생검 및 절제 중 하나 이상인, 방법.
A20. 예 A14 - 예 A19 중 어느 하나에 있어서, 힘 표식을 디스플레이하는 단계를 추가로 포함하고, 힘 표식은 신장된 장치를 전진시키기 위해 사용되는 모터 또는 액추에이터에 의해 가해지는 삽입력의 표현을 포함하는, 방법.
A21. 예 A20에 있어서, 힘 표식은 스크롤 바 그래프로서 디스플레이되는, 방법.
예시적인 실시예가 도시되고 설명되었지만, 광범위한 변형, 변화, 및 대체가 상기 개시내용에서 고려되고, 몇몇 경우에, 실시예들의 몇몇 특징은 다른 특징의 대응하는 사용이 없이 채용될 수 있다. 본 기술 분야의 통상의 기술자는 많은 변경, 대안, 및 변형을 인식할 것이다. 따라서, 본 발명의 범주는 다음의 청구범위에 의해서만 제한되어야 하고, 청구범위는 광범위하게 그리고 본원에서 개시되는 실시예들의 범주와 일치하는 방식으로 해석되어야 함이 적절하다.

Claims (15)

  1. 지시를 저장하는 비-일시적 컴퓨터-판독 가능 매체로서, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가,
    목표 위치에서 의료 시술을 수행하기 위한 신장된 장치의 원위 단부의 정렬 동안 및 그래픽 사용자 인터페이스의 정렬 모드에서, 신장된 장치의 원위 단부에 대응하는 시야로부터의 제1 영상 데이터 - 제1 영상 데이터는 목표 위치에 대응하는 목표 표식 및 의료 시술의 예상 위치에 대응하는 정렬 표식을 포함함 - 를 디스플레잉하고,
    목표 위치로 전달된 기구에 대한 복수의 이전 기구 궤적을 수신하고,
    복수의 이전 기구 궤적에 대응하는 복수의 이력 표식을 디스플레잉하도록 하는 지시를 저장하는, 비-일시적 컴퓨터-판독 가능 매체.
  2. 제1항에 있어서, 기구는 바늘인, 비-일시적 컴퓨터-판독 가능 매체.
  3. 제1항에 있어서, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가,
    환자의 해부학적 구조물의 제1 가상 전체 뷰 윈도우를 디스플레잉하고,
    환자의 해부학적 구조물의 제2 가상 전체 뷰 윈도우를 디스플레잉하도록 하는 지시를 저장하는, 비-일시적 컴퓨터-판독 가능 매체.
  4. 제3항에 있어서, 제1 가상 전체 뷰 윈도우 및 제2 가상 전체 뷰 윈도우는 고정된 오프셋과 상이한 시야를 갖고, 제1 가상 전체 뷰 윈도우의 시야를 회전시키는 것이 제2 가상 전체 뷰 윈도우의 시야를 자동으로 회전시키는, 비-일시적 컴퓨터-판독 가능 매체.
  5. 제3항에 있어서, 제1 가상 전체 뷰 윈도우는 평면 내에서 기구를 디스플레잉하도록 자동으로 선택된 시야를 갖는, 비-일시적 컴퓨터-판독 가능 매체.
  6. 제3항에 있어서, 제1 가상 전체 뷰 윈도우는 형광투시법 촬영 장치의 시야와 정합하도록 자동으로 선택된 시야를 갖는, 비-일시적 컴퓨터-판독 가능 매체.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가,
    그래픽 사용자 인터페이스의 횡단 모드에서 및 해부학적 통로를 통한 신장된 장치의 횡단 중에, 신장된 장치의 원위 단부에 대응하는 시야로부터 제2 영상 데이터를 디스플레잉하도록 하는 지시를 저장하고, 제2 영상 데이터는 가상 로드맵 및 신장된 장치의 이력 경로를 포함하는, 비-일시적 컴퓨터-판독 가능 매체.
  8. 제7항에 있어서, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가,
    그래픽 사용자 인터페이스의 횡단 모드에서, 환자의 해부학적 구조물의 가상 전체 뷰 윈도우를 디스플레잉하도록 하는 지시를 저장하고, 가상 전체 뷰 윈도우는 신장된 장치의 이력 경로를 포함하는, 비-일시적 컴퓨터-판독 가능 매체.
  9. 제7항에 있어서, 이력 경로의 상이한 부분들이 상이한 색깔, 텍스처, 색조 또는 투명도로 디스플레잉되어 이력 경로의 각 부분의 목적 또는 이력 경로의 각 부분의 시간을 표시하는, 비-일시적 컴퓨터-판독 가능 매체.
  10. 제1항 내지 제6항 중 어느 한 항에 있어서, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가,
    수동 입력에 기초하여 이력 표식을 숨기도록 하는 지시를 저장하는, 비-일시적 컴퓨터-판독 가능 매체.
  11. 제7항에 있어서, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가,
    정렬 모드 또는 횡단 모드 중 적어도 하나에서, 신장된 장치의 굽힘 반경과 관련된 작동 정보를 디스플레잉하도록 하는 지시를 저장하는, 비-일시적 컴퓨터-판독 가능 매체.
  12. 제11항에 있어서, 작동 정보는 작동 정보 아이콘을 포함하는 하나 이상의 그래픽 표식을 사용하여 디스플레잉되는, 비-일시적 컴퓨터-판독 가능 매체.
  13. 제12항에 있어서, 작동 정보 아이콘은 신장된 장치의 현재 최소 굽힘 반경을 디스플레잉하는 영숫자 표식을 포함하거나, 또는 작동 정보 아이콘은 작업자가 과도한 굽힘 상태를 경감시키기 위해 신장된 장치를 조향해야 하는 방향을 표시하는 방향 표식을 포함하는, 비-일시적 컴퓨터-판독 가능 매체.
  14. 제12항에 있어서, 작동 정보 아이콘의 색깔, 크기, 텍스처, 또는 투명도는 작업자에게 보충 안내 정보를 전송하기 위해 동적인, 비-일시적 컴퓨터-판독 가능 매체.
  15. 제1항 내지 제6항 중 어느 한 항에 있어서, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서가,
    신장된 장치를 전진시키기 위해 사용되는 모터 또는 액추에이터에 의해 가해지는 삽입력의 표현을 포함하는 힘 표식을 디스플레잉하도록 하는 지시를 저장하는, 비-일시적 컴퓨터-판독 가능 매체.
KR1020227023371A 2016-06-30 2017-06-29 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스 KR102607065B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237040380A KR20230164237A (ko) 2016-06-30 2017-06-29 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662357258P 2016-06-30 2016-06-30
US62/357,258 2016-06-30
US201762486879P 2017-04-18 2017-04-18
US62/486,879 2017-04-18
PCT/US2017/040067 WO2018005842A1 (en) 2016-06-30 2017-06-29 Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
KR1020197002490A KR102420386B1 (ko) 2016-06-30 2017-06-29 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197002490A Division KR102420386B1 (ko) 2016-06-30 2017-06-29 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237040380A Division KR20230164237A (ko) 2016-06-30 2017-06-29 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스

Publications (2)

Publication Number Publication Date
KR20220104062A KR20220104062A (ko) 2022-07-25
KR102607065B1 true KR102607065B1 (ko) 2023-11-29

Family

ID=60786498

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020197002490A KR102420386B1 (ko) 2016-06-30 2017-06-29 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
KR1020227023371A KR102607065B1 (ko) 2016-06-30 2017-06-29 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
KR1020237040380A KR20230164237A (ko) 2016-06-30 2017-06-29 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197002490A KR102420386B1 (ko) 2016-06-30 2017-06-29 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237040380A KR20230164237A (ko) 2016-06-30 2017-06-29 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스

Country Status (5)

Country Link
US (2) US11612384B2 (ko)
EP (2) EP4374768A3 (ko)
KR (3) KR102420386B1 (ko)
CN (2) CN114027987B (ko)
WO (1) WO2018005842A1 (ko)

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US20180325610A1 (en) * 2012-06-21 2018-11-15 Globus Medical, Inc. Methods for indicating and confirming a point of interest using surgical navigation systems
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US11227509B2 (en) 2014-12-29 2022-01-18 Help Me See Inc. Surgical simulator systems and methods
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
AU2016323982A1 (en) 2015-09-18 2018-04-12 Auris Health, Inc. Navigation of tubular networks
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
JP6619456B2 (ja) * 2016-01-14 2019-12-11 オリンパス株式会社 医療用マニピュレータシステムおよび医療用マニピュレータシステムの作動方法
EP3478355A4 (en) 2016-06-30 2020-03-04 Intuitive Surgical Operations Inc. ORIENTABLE ELONGATE DEVICE SYSTEMS AND METHODS
WO2018005842A1 (en) 2016-06-30 2018-01-04 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
WO2018005861A1 (en) 2016-06-30 2018-01-04 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
AU2018243364B2 (en) 2017-03-31 2023-10-05 Auris Health, Inc. Robotic systems for navigation of luminal networks that compensate for physiological noise
JP2020518326A (ja) 2017-04-18 2020-06-25 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導処置を監視するためのグラフィカル・ユーザインターフェイス
EP3613057A4 (en) 2017-04-18 2021-04-21 Intuitive Surgical Operations, Inc. GRAPHIC USER INTERFACE FOR PLANNING A PROCEDURE
JP7257331B2 (ja) * 2017-05-09 2023-04-13 ボストン サイエンティフィック サイムド，インコーポレイテッド 手術室デバイス、方法、及びシステム
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US11393015B1 (en) * 2017-07-26 2022-07-19 Amazon Technologies, Inc. Interface for item acquisition
US10512515B2 (en) 2017-07-31 2019-12-24 Intuitive Surgical Operations, Inc. Systems and methods for steerable elongate device
WO2019075074A1 (en) 2017-10-10 2019-04-18 Covidien Lp SYSTEM AND METHOD FOR IDENTIFICATION AND MARKING OF A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
CN110869173B (zh) 2017-12-14 2023-11-17 奥瑞斯健康公司 用于估计器械定位的系统与方法
US11160615B2 (en) 2017-12-18 2021-11-02 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
US10893842B2 (en) 2018-02-08 2021-01-19 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
KR102489198B1 (ko) 2018-03-28 2023-01-18 아우리스 헬스, 인코포레이티드 위치 센서의 정합을 위한 시스템 및 방법
CN110913791B (zh) 2018-03-28 2021-10-08 奥瑞斯健康公司 用于显示所估计的器械定位的系统和方法
US10058396B1 (en) * 2018-04-24 2018-08-28 Titan Medical Inc. System and apparatus for insertion of an instrument into a body cavity for performing a surgical procedure
TR201806307A2 (tr) * 2018-05-04 2018-06-21 Elaa Teknoloji Ltd Sti Akci̇ğer havayollarinda yönlendi̇rme si̇stemi̇ i̇le güvenli̇ bi̇yopsi̇ alinmasinin gerçekleşti̇ri̇lmesi̇ne yöneli̇k bi̇r yöntem ve algori̇tma
JP7250824B2 (ja) 2018-05-30 2023-04-03 オーリス ヘルス インコーポレイテッド 位置センサベースの分岐予測のためのシステム及び方法
JP7146949B2 (ja) 2018-05-31 2022-10-04 オーリス ヘルス インコーポレイテッド 画像ベースの気道分析及びマッピング
EP3801280B1 (en) 2018-05-31 2024-10-02 Auris Health, Inc. Robotic systems for navigation of luminal network that detect physiological noise
EP3801189B1 (en) 2018-05-31 2024-09-11 Auris Health, Inc. Path-based navigation of tubular networks
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
EP3849457A1 (en) * 2018-09-11 2021-07-21 Intuitive Surgical Operations, Inc. Generation of graphical representation of force
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US12076100B2 (en) * 2018-09-28 2024-09-03 Auris Health, Inc. Robotic systems and methods for concomitant endoscopic and percutaneous medical procedures
US12008721B2 (en) 2018-10-26 2024-06-11 Intuitive Surgical Operations, Inc. Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
KR20200071392A (ko) * 2018-12-11 2020-06-19 삼성메디슨 주식회사 초음파 영상 장치, 그 제어 방법, 및 컴퓨터 프로그램 제품
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
US10758309B1 (en) 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
US12089902B2 (en) 2019-07-30 2024-09-17 Coviden Lp Cone beam and 3D fluoroscope lung navigation
US12059281B2 (en) 2019-08-19 2024-08-13 Covidien Lp Systems and methods of fluoro-CT imaging for initial registration
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
JP7451686B2 (ja) 2019-08-30 2024-03-18 オーリス ヘルス インコーポレイテッド 器具画像信頼性システム及び方法
KR20220058569A (ko) 2019-08-30 2022-05-09 아우리스 헬스, 인코포레이티드 위치 센서의 가중치-기반 정합을 위한 시스템 및 방법
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US20210127949A1 (en) * 2019-10-31 2021-05-06 Aircraft Medical Limited User interface for steerable endoscope
EP4021686A1 (en) * 2019-11-19 2022-07-06 Google LLC Methods and systems for graphical user interfaces to control remotely located robots
US12102298B2 (en) 2019-12-10 2024-10-01 Covidien Lp Lymphatic system tracking
CN118383870A (zh) 2019-12-31 2024-07-26 奥瑞斯健康公司 用于经皮进入的对准界面
EP4084721A4 (en) 2019-12-31 2024-01-03 Auris Health, Inc. IDENTIFICATION OF AN ANATOMIC FEATURE AND AIMING
WO2021137109A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Alignment techniques for percutaneous access
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
JP7254742B2 (ja) * 2020-03-26 2023-04-10 Hoya株式会社 プログラム、情報処理方法、情報処理装置及び診断支援システム
CN111553979B (zh) * 2020-05-26 2023-12-26 广州雪利昂生物科技有限公司 基于医学影像三维重建的手术辅助系统及方法
US12064191B2 (en) 2020-06-03 2024-08-20 Covidien Lp Surgical tool navigation using sensor fusion
US11701492B2 (en) * 2020-06-04 2023-07-18 Covidien Lp Active distal tip drive
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
JP7434095B2 (ja) * 2020-07-29 2024-02-20 キヤノンメディカルシステムズ株式会社 超音波診断装置及びプログラム
EP3944834A1 (en) * 2020-07-30 2022-02-02 Koninklijke Philips N.V. Navigation operation instructions
CN112075988A (zh) * 2020-09-01 2020-12-15 北京唯迈医疗设备有限公司 一种介入手术机器人力反馈显示方法及装置
US11900590B2 (en) * 2020-10-21 2024-02-13 Baker Hughes Holdings Llc Inspection device articulation transformation based on image transformation
EP4248832A4 (en) * 2020-11-17 2024-05-08 FUJIFILM Corporation PROCESSOR DEVICE, OPERATING METHOD FOR PROCESSOR DEVICE, PROGRAM FOR PROCESSOR DEVICE AND ENDOSCOPE SYSTEM
US12042121B2 (en) * 2020-12-29 2024-07-23 Canon U.S.A., Inc. Medical system with medical device overlay display
US20220202500A1 (en) * 2020-12-30 2022-06-30 Canon U.S.A., Inc. Intraluminal navigation using ghost instrument information
WO2022146962A2 (en) * 2020-12-31 2022-07-07 Intuitive Surgical Operations, Inc. Systems and methods for updating a target location using intraoperative image data
CN116887774A (zh) * 2020-12-31 2023-10-13 直观外科手术操作公司 用于使用术中图像数据更新目标位置的系统
US20220261066A1 (en) * 2021-02-15 2022-08-18 Apple Inc. Systems, Methods, and Graphical User Interfaces for Automatic Measurement in Augmented Reality Environments
JP2022163562A (ja) * 2021-04-14 2022-10-26 ｉ－ＰＲＯ株式会社 内視鏡システム
GB2620529A (en) * 2021-05-06 2024-01-10 Prec Robotics Hong Kong Limited Method, equipment and storage medium for navigating a tubular component in a multifurcated channel
CN115686725A (zh) * 2021-06-24 2023-02-03 武汉联影智融医疗科技有限公司 术前规划的显示方法、装置、计算机设备和存储介质
WO2023055723A1 (en) 2021-09-28 2023-04-06 Intuitive Surgical Operations, Inc. Navigation assistance for an instrument
EP4275639A1 (en) 2022-05-10 2023-11-15 Koninklijke Philips N.V. System and method for assistance in a surgical procedure
WO2024030520A1 (en) * 2022-08-04 2024-02-08 Edwards Lifesciences Corporation Mechanized actuation of catheters
CN115363751B (zh) * 2022-08-12 2023-05-16 华平祥晟(上海)医疗科技有限公司 术中解剖结构指示方法
JP7544945B1 (ja) * 2023-03-16 2024-09-03 オリンパス株式会社 内視鏡システム及び内視鏡システムの作動方法
CN117243700B (zh) * 2023-11-20 2024-03-08 北京云力境安科技有限公司 一种内镜输送长度的检测方法和相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070293721A1 (en) 2004-03-29 2007-12-20 Pinhas Gilboa Endoscope Structures And Techniques For Navigating To A Target In Branched Structure
WO2015023665A1 (en) * 2013-08-15 2015-02-19 Intuitive Surgical Operations, Inc. Graphical user interface for catheter positioning and insertion
US20160000517A1 (en) 2014-07-02 2016-01-07 Covidien Lp Intelligent display

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2567149B1 (fr) 1984-07-06 1986-12-05 Solvay Procede pour l'extraction de poly-beta-hydroxybutyrates au moyen d'un solvant a partir d'une suspension aqueuse de micro-organismes
JP3589505B2 (ja) 1995-06-09 2004-11-17 株式会社日立メディコ ３次元画像処理表示装置
US5638819A (en) * 1995-08-29 1997-06-17 Manwaring; Kim H. Method and apparatus for guiding an instrument to a target
JP4166277B2 (ja) 1996-02-15 2008-10-15 バイオセンス・ウェブスター・インコーポレイテッド 体内プローブを用いた医療方法および装置
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
WO1998036236A1 (en) 1997-02-13 1998-08-20 Super Dimension Ltd. Six-degree tracking system
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
GB9713018D0 (en) 1997-06-20 1997-08-27 Secr Defence Optical fibre bend sensor
US6490474B1 (en) 1997-08-01 2002-12-03 Cardiac Pathways Corporation System and method for electrode localization using ultrasound
US6432041B1 (en) 1998-09-09 2002-08-13 Olympus Optical Co., Ltd. Endoscope shape detecting apparatus wherein form detecting processing is controlled according to connection state of magnetic field generating means
US6671538B1 (en) 1999-11-26 2003-12-30 Koninklijke Philips Electronics, N.V. Interface system for use with imaging devices to facilitate visualization of image-guided interventional procedure planning
DE10037491A1 (de) 2000-08-01 2002-02-14 Stryker Leibinger Gmbh & Co Kg Verfahren zum dreidimensionalen Visualisieren von Strukturen im Körperinneren
AU2001292836A1 (en) 2000-09-23 2002-04-02 The Board Of Trustees Of The Leland Stanford Junior University Endoscopic targeting method and system
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
JP2004251779A (ja) 2003-02-20 2004-09-09 Fuji Photo Optical Co Ltd 長尺可撓部材の三次元形状検出装置
EP1691666B1 (en) 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
JP4343723B2 (ja) * 2004-01-30 2009-10-14 オリンパス株式会社 挿入支援システム
US7781724B2 (en) 2004-07-16 2010-08-24 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US20060013523A1 (en) 2004-07-16 2006-01-19 Luna Innovations Incorporated Fiber optic position and shape sensing device and method relating thereto
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US8597193B2 (en) 2005-05-06 2013-12-03 Vasonova, Inc. Apparatus and method for endovascular device guiding and positioning using physiological parameters
US9492240B2 (en) 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
JP4130457B2 (ja) 2005-09-14 2008-08-06 ザイオソフト株式会社 画像処理方法および画像処理プログラム
EP1937176B1 (en) 2005-10-20 2019-04-17 Intuitive Surgical Operations, Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
WO2007137208A2 (en) 2006-05-19 2007-11-29 Neoguide Systems, Inc. Methods and apparatus for displaying three-dimensional orientation of a steerable distal tip of an endoscope
US8062211B2 (en) * 2006-06-13 2011-11-22 Intuitive Surgical Operations, Inc. Retrograde instrument
EP2086399B1 (en) * 2006-11-10 2017-08-09 Covidien LP Adaptive navigation technique for navigating a catheter through a body channel or cavity
US8374673B2 (en) * 2007-01-25 2013-02-12 Warsaw Orthopedic, Inc. Integrated surgical navigational and neuromonitoring system having automated surgical assistance and control
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US20090156895A1 (en) * 2007-01-31 2009-06-18 The Penn State Research Foundation Precise endoscopic planning and visualization
US20080275467A1 (en) 2007-05-02 2008-11-06 Siemens Corporate Research, Inc. Intraoperative guidance for endovascular interventions via three-dimensional path planning, x-ray fluoroscopy, and image overlay
JP4672031B2 (ja) * 2008-01-31 2011-04-20 オリンパスメディカルシステムズ株式会社 医療器具
US8219179B2 (en) * 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US8218846B2 (en) * 2008-05-15 2012-07-10 Superdimension, Ltd. Automatic pathway and waypoint generation and navigation method
EP2135575A1 (de) 2008-06-16 2009-12-23 BrainLAB AG Instrumentenausrichtungsverfahren mit freier Referenz
US20100076305A1 (en) 2008-06-25 2010-03-25 Deutsches Krebsforschungszentrum Stiftung Des Offentlichen Rechts Method, system and computer program product for targeting of a target with an elongate instrument
US9259274B2 (en) 2008-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Passive preload and capstan drive for surgical instruments
US8632468B2 (en) * 2009-02-25 2014-01-21 Koninklijke Philips N.V. Method, system and devices for transjugular intrahepatic portosystemic shunt (TIPS) procedures
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US8706184B2 (en) 2009-10-07 2014-04-22 Intuitive Surgical Operations, Inc. Methods and apparatus for displaying enhanced imaging data on a clinical image
US8460236B2 (en) * 2010-06-24 2013-06-11 Hansen Medical, Inc. Fiber optic instrument sensing system
US9095277B2 (en) 2010-07-09 2015-08-04 Mitralign, Inc. Delivery catheter with forward-looking ultrasound imaging
EP2612592A4 (en) * 2010-08-31 2014-06-25 Fujifilm Corp DEVICE AND METHOD FOR DISPLAYING MEDICAL TREATMENT INFORMATION AND PROGRAM THEREFOR
US8827934B2 (en) * 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
WO2012172474A1 (en) 2011-06-17 2012-12-20 Koninklijke Philips Electronics N.V. System and method for guided injection during endoscopic surgery
RU2627061C2 (ru) 2011-09-09 2017-08-03 Конинклейке Филипс Н.В. Устройство оптического мониторинга для мониторинга значения кривизны гибкого медицинского инструмента
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
EP3488803B1 (en) * 2012-02-03 2023-09-27 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing
WO2013126659A1 (en) * 2012-02-22 2013-08-29 Veran Medical Technologies, Inc. Systems, methods, and devices for four dimensional soft tissue navigation
CN104244800B (zh) 2012-04-19 2017-05-17 皇家飞利浦有限公司 使用手术前和手术中的3d图像来人工操纵内窥镜的引导工具
CN104379062B (zh) 2012-06-22 2017-10-31 皇家飞利浦有限公司 血管造影中的时间解剖靶标记
WO2014028394A1 (en) * 2012-08-14 2014-02-20 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
CA2899359C (en) * 2013-03-15 2017-01-17 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
CA2929702C (en) * 2013-03-15 2023-03-07 Synaptive Medical (Barbados) Inc. Systems and methods for navigation and simulation of minimally invasive therapy
CN106232001B (zh) 2014-04-23 2020-11-03 圣犹达医疗用品国际控股有限公司 用于显示心脏机械激活图案的系统和方法
US20150305650A1 (en) 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue
US20150366628A1 (en) 2014-06-18 2015-12-24 Covidien Lp Augmented surgical reality environment system
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9770216B2 (en) * 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
KR20170038012A (ko) 2014-07-28 2017-04-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술중 세그먼트화를 위한 시스템 및 방법
EP3174490B1 (en) 2014-07-28 2020-04-15 Intuitive Surgical Operations, Inc. Systems and methods for planning multiple interventional procedures
JP2016030125A (ja) 2014-07-30 2016-03-07 株式会社東芝 医用画像診断装置及びガイドシステム
JP6548730B2 (ja) 2014-08-23 2019-07-24 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導処置における病理学的データの表示のためのシステム及び方法
JP6736544B2 (ja) 2014-09-09 2020-08-05 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 異なる可撓性のガイド及びツールを備えるシステム
US10373719B2 (en) 2014-09-10 2019-08-06 Intuitive Surgical Operations, Inc. Systems and methods for pre-operative modeling
US10163262B2 (en) * 2015-06-19 2018-12-25 Covidien Lp Systems and methods for navigating through airways in a virtual bronchoscopy view
AU2016323982A1 (en) 2015-09-18 2018-04-12 Auris Health, Inc. Navigation of tubular networks
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
WO2018005842A1 (en) 2016-06-30 2018-01-04 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
EP3478355A4 (en) 2016-06-30 2020-03-04 Intuitive Surgical Operations Inc. ORIENTABLE ELONGATE DEVICE SYSTEMS AND METHODS
WO2018005861A1 (en) 2016-06-30 2018-01-04 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
EP3613057A4 (en) 2017-04-18 2021-04-21 Intuitive Surgical Operations, Inc. GRAPHIC USER INTERFACE FOR PLANNING A PROCEDURE
JP2020518326A (ja) 2017-04-18 2020-06-25 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導処置を監視するためのグラフィカル・ユーザインターフェイス

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070293721A1 (en) 2004-03-29 2007-12-20 Pinhas Gilboa Endoscope Structures And Techniques For Navigating To A Target In Branched Structure
WO2015023665A1 (en) * 2013-08-15 2015-02-19 Intuitive Surgical Operations, Inc. Graphical user interface for catheter positioning and insertion
US20160000517A1 (en) 2014-07-02 2016-01-07 Covidien Lp Intelligent display

Also Published As

Publication number Publication date
US20200078103A1 (en) 2020-03-12
KR102420386B1 (ko) 2022-07-13
KR20190014112A (ko) 2019-02-11
EP3478161B1 (en) 2024-05-29
WO2018005842A1 (en) 2018-01-04
CN109414180B (zh) 2022-01-07
CN114027987A (zh) 2022-02-11
EP4374768A2 (en) 2024-05-29
EP4374768A3 (en) 2024-08-07
EP3478161A4 (en) 2020-02-26
EP3478161A1 (en) 2019-05-08
US20230200790A1 (en) 2023-06-29
KR20230164237A (ko) 2023-12-01
US11612384B2 (en) 2023-03-28
CN114027987B (zh) 2024-09-13
CN109414180A (zh) 2019-03-01
KR20220104062A (ko) 2022-07-25

Similar Documents

Publication Publication Date Title
KR102607065B1 (ko) 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
KR102387222B1 (ko) 영상 안내식 시술 중에 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
JP6793780B2 (ja) カテーテルの位置付け及び挿入のためのグラフィカル・ユーザインターフェイス
US20230346487A1 (en) Graphical user interface for monitoring an image-guided procedure
US11672412B2 (en) Systems and methods for detecting environmental forces on an elongate device
US20190192234A1 (en) Systems and methods for monitoring patient motion during a medical procedure
US20230000354A1 (en) Systems and methods for medical procedures using optical coherence tomography sensing
KR20210068118A (ko) 해부학적 경계를 정의하기 위한 그래픽 사용자 인터페이스

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent