KR20080068640A - 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작 - Google Patents

의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작 Download PDF

Info

Publication number
KR20080068640A
KR20080068640A KR1020087006736A KR20087006736A KR20080068640A KR 20080068640 A KR20080068640 A KR 20080068640A KR 1020087006736 A KR1020087006736 A KR 1020087006736A KR 20087006736 A KR20087006736 A KR 20087006736A KR 20080068640 A KR20080068640 A KR 20080068640A
Authority
KR
South Korea
Prior art keywords
image
computer display
display screen
user
dimensional
Prior art date
Application number
KR1020087006736A
Other languages
English (en)
Other versions
KR101320379B1 (ko
Inventor
브라이언 호프만
라제쉬 쿠마
데이비드 라킨
주세페 프리스코
니티쉬 스와럽
광화 장
Original Assignee
인튜어티브 서지컬 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 인코포레이티드 filed Critical 인튜어티브 서지컬 인코포레이티드
Publication of KR20080068640A publication Critical patent/KR20080068640A/ko
Application granted granted Critical
Publication of KR101320379B1 publication Critical patent/KR101320379B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/71—Manipulators operated by drive cable mechanisms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1482—Probes or electrodes therefor having a long rigid shaft for accessing the inner body transcutaneously in minimal invasive surgery, e.g. laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00577—Ablation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00595—Cauterization
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00994—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combining two or more different kinds of non-mechanical energy or combining one or more non-mechanical energies with ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B2090/101—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis for stereotaxic radiosurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N7/00—Ultrasound therapy
    • A61N7/02—Localised ultrasound hyperthermia
    • A61N7/022—Localised ultrasound hyperthermia intracavitary
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Plasma & Fusion (AREA)
  • Otolaryngology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Manipulator (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgical Instruments (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

외과의사의 의료과정 수행을 보조하기 위해서, 일반적으로 치료될 해부학적 구조의 내부 디테일을 나타내는 보조 이미지가 일반적으로 해부학적 구조의 외부를 보는 것인 주 이미지를 보충하도록 외과의사에 의해 컴퓨터 표시부 화면상에 표시되고 조작된다. 제 1 모드에서 로봇 암을 제어하는 주 입력장치는 외과의사에 의해 제 2 모드로 전환될 수 있으며, 이로써 마우스-형 포인팅 장치를 대신하여 외과의사가 이러한 보조 정보의 표시 및 조작을 용이하게 수행할 수 있도록 기능한다.
의료용 로봇 시스템, 수술, 외과의사, 내시경, 복강경, 이미지, 해부학적 구조, 최소 침습 수술, 자기공명영상, 컴퓨터단층촬영, 컴퓨터 표시부, 화면

Description

의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의 표시 및 조작{AUXILIARY IMAGE DISPLAY AND MANIPULATION ON A COMPUTER DISPLAY IN A MEDICAL ROBOTIC SYSTEM}
관련 출원의 상호 참조
본 출원은 2005년 10월 20일자 제출된 미국 가 출원 S.N. 60/728,450의 우선권을 주장하며, 이것은 본원에 참고자료로 포함된다.
배경기술
본 발명은 일반적으로 의료용 로봇 시스템에 관한 것이며, 구체적으로는 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지를 표시하고 조작하는 것에 관한 것이다.
최소 침습 수술과정을 수행하는데 사용되는 것들과 같은 의료용 로봇 시스템들은 통증을 줄이고, 입원기간을 단축하고, 정상적인 활동으로의 회복을 빠르게 하고, 흉터를 최소화하고, 회복시간을 줄이고, 조직손상을 덜하게 하는 등 종래의 개복 수술기술에 비해 많은 이점을 제공한다. 그 결과, 의료용 로봇 시스템을 이용한 최소침습수술에 대한 요구가 강해지고 증대하고 있다.
의료용 로봇 시스템의 한 예로 캘리포니아 서니베일 소재 인튜어티브 서지컬 인코포레이티드 사의 daVinci
Figure 112008020074083-PCT00001
수술 시스템이 있다. daVinci
Figure 112008020074083-PCT00002
시스템은 외과의사용 콘솔, 환자측 카트, 고성능 3-D 비전 시스템, 및 인튜어티브 서지컬이 독점소유한 EndoWrist™ 관절식 기기를 포함하는데, 이것은 인간의 관절을 본뜬 것으로, 수술기구를 고정하고 있는 로봇 암 어젬블리의 동작에 더해졌을 때, 개복 수술시의 자연스런 동작과 비슷한 적어도 족히 6의 동작 자유도가 허용된다.
daVinci
Figure 112008020074083-PCT00003
외과의사용 콘솔은 2개의 전진식 스캔 양극선 관(CRT)을 갖춘 고-해상도 입체 비디오 표시부를 구비한다. 이 시스템은 편광, 셔터 아이글래스, 또는 다른 기술들에 비하여 높은 충실도를 제공한다. 각 눈은 별도의 CRT를 보게 되며, 이것들은 대물렌즈와 일련의 거울을 통해서 좌 또는 우측 눈에 원근감을 제공한다. 수술하는 동안 외과의사는 편안하게 앉아서 표시부를 바라보며, 이것은 외과의사가 수술-중 3-D 이미지를 표시하고 조작하기 위한 이상적인 장소가 된다.
표시부 화면에 표시되는 주 이미지에 더하여, 때로는 더 나은 통찰력을 얻거나, 의료과정의 수행을 보조하기 위해서 보조 정보를 동시에 볼 수 있는 것이 또한 바람직하다. 보조 정보는, 주 이미지 대응부와 관련하여 병합되고 적절히 오버레이된, 문자정보, 막대그래프, 2-차원 픽쳐-인-픽쳐 이미지, 및 2-차원 또는 3-차원 이미지와 같은 다양한 방식으로 제공될 수 있다.
보조 이미지는 초음파 촬영술, 자기공명영상, 컴퓨터단층촬영 및 형광투시법 등의 기술을 사용하여 수술 전 또는 수술 중에 캡처될 수 있으며, 치료될 해부학적 구조의 내부 디테일을 제공한다. 그 다음, 이 정보를 사용하여 국소적으로 위치되는 카메라에 의해 캡처된 것과 같은 외부에서 본 해부학적 구조를 보충할 수 있다.
보조 정보의 출처뿐만 아니라 그 정보를 표시하는 방식이 많이 있지만, 의료용 로봇 시스템을 가지고 의료과정을 수행하는데 있어서 외과의사를 더 잘 보조하기 위해서 보조 이미지를 표시하고 조작하는 것의 개선이 여전히 유용하다.
발명의 목적 및 개요
따라서, 본 발명의 여러 양태의 한 가지 목적은 치료과정에 의해 당시 치료될 해부학적 구조의 이미지에 대한 오버레이로서 또는 이미지와 관련된 오버레이로서 치료과정의 효과를 포함하는 보조 정보를 표시하기 위한 방법이다.
본 발명의 여러 양태의 다른 목적은 컴퓨터 표시부 화면상에 해부학적 구조의 주 이미지에 대한 병합된 오버레이로서 해부학적 구조의 보조 이미지의 볼륨 렌더링의 사용자 선택 부분을 사용자 지정 확대율로 표시하기 위한 방법이다.
본 발명의 여러 양태의 또 다른 목적은 컴퓨터 표시부의 3-차원 공간에서 이미지들을 수동 병합시키는데 사용될 수 있는 주 입력장치를 구비한 의료용 로봇 시스템이다.
본 발명의 여러 양태의 또 다른 목적은 컴퓨터 표시부의 3-차원 공간에서 해부학적 구조의 볼륨 렌더링의 절단-면을 한정하는데 사용될 수 있는 주 입력장치를 구비한 의료용 로봇 시스템이다.
본 발명의 여러 양태의 또 다른 목적은 컴퓨터 표시부의 3-차원 공간에서 해부학적 구조의 볼륨 렌더링의 부분들 또는 디테일을 선택적으로 변형하는데 사용될 수 있는 주 입력장치를 구비한 의료용 로봇 시스템이다.
본 발명의 여러 양태의 또 다른 목적은 컴퓨터 표시부 화면상에 표시되는 해부학적 구조의 렌더링을 위해 표시 파라미터를 변경하는데 사용될 수 있는 주 입력장치를 구비한 의료용 로봇 시스템이다.
본 발명의 여러 양태의 또 다른 목적은, 주 입력장치가 이미지 캡처 장치의 움직임을 제어하는 이미지 캡처 모드와 주 입력장치가 이미지 캡처 장치에 의해 캡처된 이미지들의 컴퓨터 표시부 화면상의 표시 및 조작을 제어하는 이미지 조작 모드 사이에서 전환될 수 있는 주 입력장치를 구비한 의료용 로봇 시스템이다.
이들 및 추가의 목적은 본 발명의 여러 양태에 의해 달성되는데, 간단히 말해서, 한 양태는 치료기기에 의해 해부학적 구조에 적용되는 치료과정의 효과를 컴퓨터 표시부 화면상에 표시하기 위한 방법으로서, 이것은 치료기기에 의해 해부학적 구조에 적용되는 치료과정의 효과를 나타내는 보조 이미지를 생성하는 단계; 및 치료과정 동안 컴퓨터 표시부 화면상에 해부학적 구조의 주 이미지와 보조 이미지를 오버레이하여 표시하는 단계를 포함한다.
또 다른 양태는, 해부학적 구조의 보조 이미지의 선택된 부분을 해부학적 구조의 주 이미지에 대한 오버레이로서 컴퓨터 표시부 화면상에 표시하기 위한 방법으로서, 이것은 이동가능한 창과 포인팅 장치를 연계시킴으로써, 포인팅 장치를 사용하여 컴퓨터 표시부 창에서 이동가능한 창을 위치시킬 수 있도록 하는 단계; 해부학적 구조의 주 이미지와 해부학적 구조의 보조 이미지를 병합하여 공통 기준 프레임 안에서 동일한 위치 및 방향에 있도록 하는 단계; 및 컴퓨터 표시부 화면상에 주 이미지를 표시하고, 이동가능한 창 안에 주 이미지에 대한 오버레이로서 이동가능한 창과 동일한 화면 좌표에 상응하는 병합된 보조 이미지 부분을 표시하는 단계를 포함한다.
또 다른 양태는, 이미지를 캡처하는 이미지 캡처 장치; 이미지 캡처 장치를 고정하는 로봇 암; 컴퓨터 표시부 화면; 다중 자유도 움직임 상태에서 사용자에 의해 조작 가능하도록 적합하게 된 주 입력장치; 및 주 입력장치가 이미지 캡처 모드 상태일 때는 주 입력장치의 사용자 조작에 따라 이미지 캡처 장치의 움직임을 제어하고, 주 입력장치가 이미지 조작 모드 상태일 때는 주 입력장치의 사용자 조작에 따라 캡처된 이미지로부터 파생된 이미지의 컴퓨터 표시부 화면상의 표시를 제어하도록 구성된 프로세서를 포함하는 의료용 로봇 시스템이다.
본 발명의 여러 양태의 추가의 목적, 특징 및 이점들은 첨부한 도면과 함께 설명되는 다음의 바람직한 구체예의 설명에 의해 명백해질 것이다.
도면의 간단한 설명
도 1은 본 발명의 양태들을 이용하는 의료용 로봇 시스템을 채택한 수술실의 전면도를 예시한다.
도 2는 본 발명의 양태들을 이용하는 의료용 로봇 시스템의 블록 선도이다.
도 3은 본 발명의 양태들을 이용하는 의료용 로봇 시스템에서 유용한 복강경 초음파 프로브를 예시한다.
도 4는 본 발명의 양태들을 이용하여, 치료기기에 의해 해부학적 구조에 적용되는 치료과정의 효과를 컴퓨터 표시부 화면상에 표시하는 방법의 순서도를 예시한다.
도 5는 치료과정을 수행하기 위해 치료기기가 해부학적 구조에 삽입된 해부학적 구조의 외부도를 예시한다.
도 6은 식별가능한 치료 효과가 나타나 있는 해부학적 구조의 내부도를 예시하며, 나타낸 식별가능한 치료 효과가 치료 감지 장치에 의해 캡처된다.
도 7은 본 발명의 양태들을 이용하는 방법에 의해 생성된, 치료과정에 의해 치료될 해부학적 구조와 치료과정의 효과를 병합하여 표시한 컴퓨터 표시부 화면을 예시한다.
도 8은 본 발명의 양태들을 이용하여, 컴퓨터 표시부 화면상에서 사용자 이동가능한 확대경 안에 해부학적 구조의 보조 이미지의 선택된 부분을 표시하는 방법의 순서도를 예시한다.
도 9는 본 발명의 양태들을 이용하여, 해부학적 구조의 내부도의 조작가능한 창을 지정 확대율로 표시하는 방법의 순서도를 예시한다.
도 10은 본 발명의 양태들을 이용하는 방법에 의해, 컴퓨터 표시부 화면상에서 확대경 안에 표시하기 위해 상이한 확대율로 나타낸 해부학적 구조의 보조 이미지 및 보조 이미지의 동심 영역을 예시한다.
도 11은 본 발명의 양태들을 이용하는 방법에 의해 표시된, 해부학적 구조의 주 이미지 및 확대경 렌즈 안에 보이는 해부학적 구조의 보조 이미지 오버레이 부분이 나타나 있는 컴퓨터 표시부 화면을 예시한다.
도 12는 본 발명의 양태들을 이용하여 컴퓨터 표시부 화면상에 표시된 대상을 조작하기 위해 의료용 로봇 시스템의 프로세서에 의해 수행되는 방법의 순서도를 예시한다.
바람직한 구체예의 상세한 설명
도 1은 의료용 로봇 시스템을 이용하는 수술실의 전면도를 예로서 예시한다. 이 경우, 의료용 로봇 시스템은, 수술대("O") 위에 눕혀진 환자("P")에게 1명 이상의 어시스턴트("A")의 도움을 받아 최소 침습 진단 또는 수술과정을 수행하는 동안 외과의사("S")에 의해 이용되는 콘솔("C)을 포함하는 최소 침습 로봇 수술("MIRS") 시스템(100)이다.
콘솔은 환자 체내의 수술부위에 대한 하나 이상의 이미지뿐만 아니라 대개는 기타 정보들을 외과의사에게 표시하기 위한 주 표시부(104)("표시부 화면" 또는 "컴퓨터 표시부 화면"이라고도 한다)를 포함한다. 또한, 주 입력장치(107, 108)("주 조작기"라고도 한다), 하나 이상의 풋 페달(105, 106), 외과의사로부터의 음성명령을 수신하기 위한 마이크로폰(103), 및 프로세서(102)가 포함된다. 주 입력장치(107, 108)는 조이스틱, 글러브, 트리거-건, 수-조종 컨트롤러, 그리퍼 등과 같은 다양한 입력장치 중 어느 한 가지 이상을 포함할 수 있다. 프로세서(102)는 바람직하게는 개인용 컴퓨터로서, 이것은 콘솔에 통합되거나, 아니면 종래 방식으로 콘솔에 접속될 수 있다.
외과의사는 주 입력장치(107, 108)를 조작함으로써 MIRS 시스템(100)을 사용하여 의료과정을 수행하며, 이로써 프로세서(102)에 의해서 주 입력장치(107, 108)에 각각 연계된 종속 암(121, 122)이 각 종속 암에 탈착 가능하게 짝을 이루어 고정된 수술기구(138, 139)("도구"라고도 한다)를 조작하게 되고, 이에 따라 외과의사는 주 표시부(104) 상에서 수술부위의 3-차원("3-D") 이미지를 보면서 의료과정을 수행할 수 있다.
바람직하게, 도구(138, 139)는 인튜어티브 서지컬이 독점소유한 EndoWrist™ 관절식 기기인데, 이것은 인간의 관절을 본뜬 것으로, 도구를 고정하고 있는 로봇 암의 동작이 가해졌을 때, 개복 수술시의 자연스런 동작과 비슷한 적어도 족히 6의 동작 자유도가 허용된다. 이러한 도구에 대한 추가의 상세한 내용은 본원에 참고자료로 포함되는 공동소유의 미국특허 제5,797,900호, 제목 "민첩성과 민감성이 증진된 최소침습수술을 수행하는 수술기구를 위한 관절식 메커니즘"에서 찾을 수 있다. 각 도구(138, 139)의 작동 단부에는 클램프, 글래스퍼, 시저, 스태플러, 블레이드, 니들, 니들홀더, 또는 전기구동 프로브와 같은 조작가능한 단부 작동기가 있다.
주 표시부(104)는 2개의 전진식 스캔 양극선 관("CRT")을 갖춘 고-해상도 입체 비디오 표시부를 구비한다. 이 시스템은 편광, 셔터 아이글래스, 또는 다른 기술들에 비하여 높은 충실도를 제공한다. 각 눈은 별도의 CRT를 보게 되며, 이것들은 대물렌즈와 일련의 거울을 통해서 좌 또는 우측 눈에 원근감을 제공한다. 수술하는 동안 외과의사는 편안하게 앉아서 표시부를 바라보며, 이것은 외과의사가 수술-중 3-D 이미지를 표시하고 조작하기 위한 이상적인 장소가 된다.
입체내시경(140)은 프로세서(102)에 좌우 카메라 시야를 제공하며, 이에 따라 프로세서는 프로그램된 지령에 따라서 정보를 처리하고, 그것을 주 표시부(104) 상에 표시할 수 있다. 복강경 초음파("LUS") 프로브(150)는 프로세서(102)에 해부학적 구조의 2-차원("2-D") 초음파 이미지 슬라이스를 제공하고, 이에 따라 프로세서(102)는 해부학적 구조의 3-D 초음파 컴퓨터 모델 또는 볼륨 렌더링을 생성할 수 있다.
각 도구(138, 139)뿐만 아니라 내시경(140) 및 LUS 프로브(150)는 바람직하게는 캐뉼러나 트로카(도시하지 않음) 또는 다른 도구 가이드를 통해 환자에 삽입되며, 절개부(161)와 같은 상응하는 최소 침습 절개부를 통해 수술부위를 향해 아래쪽까지 이르게 된다. 각 종속 암(121-124)은 종속 조작기 및 셋업 암을 포함한다. 종속 조작기는 모터 제어식 조인트("활성 조인트"라고도 한다)를 사용하여 로봇식으로 움직이며, 각각의 고정된 도구를 조작하고 및/또는 움직인다. 셋업 암은 정상 제동된 조인트("셋업 조인트"라고도 한다)를 해제시켜 종속 암(121-124)을 수평으로 또는 수직으로 위치시킴으로써 수동 조작되며, 이로써 각각의 도구가 캐뉼러에 삽입될 수 있다.
한 번에 사용되는 수술도구의 수와, 그에 따라 시스템(100)에서 사용되는 종속 암의 수는 일반적으로, 다른 요인들 중에서도 특히 수행될 의료과정 및 수술실의 공간적 제약에 좌우될 것이다. 수술과정 동안 사용되는 도구들 중 한 가지 이상을 교환할 필요가 있는 경우, 어시스턴트는 더 이상 사용하지 않을 도구를 종속 암으로부터 제거하고, 그것을 수술실 안의 트레이("T")에서 다른 도구, 예컨대 도구(131)로 교체할 수도 있다.
바람직하게, 주 표시부(104)는 외과의사의 손 근처에 위치되고, 외과의사가 수술부위를 위에서 아래쪽으로 실제 직접 보고 있다고 느낄 수 있는 방향으로 투영된 이미지를 표시할 것이다. 때문에, 도구(138, 139)의 이미지는 외과의사의 손이 위치하는 곳에 실질적으로 위치하도록 출현하는 것이 바람직하며, 이것은 관찰 포인트(즉, 내시경(140) 및 LUS 프로브(150)의 포인트)가 이미지의 시점에서 유래하지 않는 경우라 해도 마찬가지다.
추가하여, 실시간 이미지가 투시 이미지에 투영되는 것이 바람직하며, 이로써 마치 실질적으로 실재하는 작업공간을 보고 있는 것과 마찬가지로, 외과의사는 도구(138 또는 139)의 단부 작동기를 그것의 연계된 주 입력장치(107 또는 108)를 통하여 조작할 수 있다. 실재하는 이란 이미지의 표상이 도구를 물리적으로 조작하고 있는 오퍼레이터의 시점을 시뮬레이트한 사실상의 투시 이미지임을 의미한다. 따라서, 프로세서(102)는 도구의 좌표를 인식된 위치로 변환하며, 이에 따라 그 도구에서 내시경(140)으로 직접 보고 있는 경우라면 투시 이미지는 개복과정 동안 외과의사의 눈이 볼 수 있는 바로 그 이미지가 된다.
프로세서(102)는 시스템(100)에서 다양한 기능을 수행한다. 이것이 수행하는 한 중요한 기능은 주 입력장치(107, 108)의 기계적 동작을 번역하고, 버스(110)를 지나는 제어신호를 통해 연계된 종속 암(121, 122)으로 전송하는 것이며, 이로써 외과의사는 각 도구(138, 139)를 효과적으로 조작할 수 있다. 다른 중요한 기능은 도 4-12와 관련하여 본원에 설명된 여러 방법을 실시하는 것이다.
프로세서로서 설명되었지만, 프로세서(102)는 실제로 하드웨어, 소프트웨어 및 펌웨어의 어떤 조합에 의해서도 실시될 수 있음이 인정되어야 한다. 또한, 본원에 설명된 프로세서의 기능은 1개 유닛에 의해, 또는 상이한 구성요소들로 나누어져 수행될 수 있으며, 각 구성요소는 실제로 하드웨어, 소프트웨어 및 펌웨어의 어떤 조합에 의해 실시될 수 있다. 상이한 구성요소들로 나누어졌을 때, 구성요소들은 한 장소에 집중되어 있거나, 또는 분산처리 목적을 위해 시스템(100) 전체에 분산될 수 있다.
의료과정을 수행하기 전에, LUS 프로브(150)에 의해 캡처된 초음파 이미지, 입체내시경(140)에 의해 캡처된 좌우 2-D 카메라 이미지, 그리고 종속 암(121-124)의 운동학 및 감지된 조인트 위치를 이용하여 결정한 단부 작동기의 위치 및 방향이 보정되고, 서로 병합된다.
종속 암(123, 124)은 종속 암(121, 122)이 도구(138, 139)를 조작하는 것과 유사한 방식으로 내시경(140) 및 LUS 프로브(150)를 조작할 수 있다. 그러나, 주 입력장치(107, 108)와 같이 시스템에 단지 2개의 주 입력장치만이 있는 경우, 외과의사가 내시경(140)이나 LUS 프로브(150)의 움직임을 수동 제어하기 위해서는, 이미 연계된 도구와 종속 조작기는 제자리에 고정한 상태에서, 외과의사가 수동 제어하기를 원하는 내시경(140) 또는 LUS 프로브(150)와 주 입력장치(107, 108) 중 하나를 일시적으로 연계시키는 것이 필요할 수 있다.
이 예에서는 도시하지 않았지만, 해부학적 구조의 주 이미지 및 보조 이미지의 다른 출처가 시스템(100)에 포함될 수 있는데, 예를 들어 초음파, 자기공명, 컴퓨터단층촬영 및 형광투시 이미지를 캡처하는데 흔히 사용되는 것들이다. 이들 이미지 출처는 각각 수술 전에 사용될 수도 있고, 적합하고 실용적인 경우에는 수술 중에 사용될 수도 있다.
도 2는 시스템(100)의 블록 선도를 예로서 예시한다. 이 시스템에는 2개의 주 입력장치(107, 108)가 있다. 주 입력장치(107)는 제어전환 메커니즘(211)의 모드에 따라서 도구(138)나 입체내시경(140) 중 어느 하나의 움직임을 제어하고, 주 입력장치(108)는 제어전환 메커니즘(231)의 모드에 따라서 도구(139)나 LUS 프로브 (150) 중 어느 하나의 움직임을 제어한다.
제어전환 메커니즘(211 및 231)은 음성명령, 주 입력장치(107, 108)에 또는 근처에 물리적으로 위치된 스위치, 콘솔에 있는 풋 페달(105, 106), 또는 외과의사에 의해 선택되는 주 표시부(104) 또는 보조 표시부(도시하지 않는다) 상에 표시된 적합한 아이콘이나 다른 그래픽 방식 사용자 인터페이스 선택 수단을 사용하여 외과의사에 의해 제 1 또는 제 2 모드 중 어느 하나에 위치될 수 있다.
제어전환 메커니즘(211)이 제 1 모드에 위치되었을 때는, 주 컨트롤러(202)가 종속 컨트롤러(203)와 통신함으로써, 내시경(140)이 제자리에 고정된 상태에서, 외과의사에 의한 주 입력(107)의 조작에 의해 종속 암(121)에 따라서 도구(138)가 상응하여 움직이게 된다. 한편, 제어전환 메커니즘(211)이 제 2 모드에 위치되었을 때는, 도구(138)가 제자리에 고정된 상태에서, 외과의사에 의한 주 입력(107)의 조작에 의해 종속 암(123)에 따라서 내시경(140)이 상응하여 움직이게 된다.
유사하게, 제어전환 메커니즘(231)이 제 1 모드에 위치되었을 때는, 주 컨트롤러(108)가 종속 컨트롤러(223)와 통신함으로써, 외과의사에 의한 주 입력(108)의 조작에 의해 종속 암(122)에 따라서 도구(139)가 상응하여 움직이게 된다. 그렇지만, 이 경우에는 LUS 프로브(150)가 반드시 제자리에 고정될 필요는 없다. 이것의 움직임은 메모리(240)에 저장된 지령에 따라서 보조 컨트롤러(242)에 의해 안내될 수 있다. 또한, 보조 컨트롤러(242)는 LUS 프로브 힘 센서(247)에서 얻은 값을 반영하는 촉각 피드백을 주 입력(108)을 통해 외과의사에게 제공한다. 한편, 제어전환 메커니즘(231)이 제 2 모드에 위치되었을 때는, 주 컨트롤러(108)가 종속 컨트롤러(243)와 통신함으로써, 도구(139)가 제자리에 고정된 상태에서, 외과의사에 의한 주 입력(108)의 조작에 의해 종속 암(124)에 따라서 LUS 프로브 (150)가 상응하여 움직이게 된다.
제어전환 메커니즘을 제 1 모드 또는 정상 모드로 다시 전환하기 전에, 연계된 주 입력장치가 그것이 전환 전에 있던 장소에 다시 위치되는 것이 바람직하다. 또는 달리, 주 입력장치는 제어전환 메커니즘이 제 1 모드 또는 정상 모드로 다시 전환되었을 때 도구의 돌발적인 움직임이 발생하지 않도록 재조정된 주 입력장치와 그것의 연계된 도구 종속 암 사이의 운동학적 관계를 현 위치에서 유지할 수 있다. 제어전환에 대한 추가의 상세한 내용은, 예를 들어 본원에 참고자료로 포함되는 공동소유의 미국특허 제6,659,939호, 제목 "협력방식 최소 침습 원격수술 시스템"을 참조한다.
제 3 제어전환 메커니즘(241)이 제공되며, 이것을 이용하여 사용자는 제어전환 메커니즘(231)이 제 2 모드에 위치한 상태에서(즉, 주 입력장치(108)와 LUS 프로브(150)가 연계된 상태에서) 이미지 캡처 모드와 이미지 조작 모드 간의 전환을 행할 수 있다. 이것의 제 1 모드 또는 정상 모드(즉, 이미지 캡처 모드)에서 LUS 프로브(150)는 정상적으로는 상기 설명된 주 입력장치(108)에 의해 제어된다. 이것의 제 2 모드(즉, 이미지 조작 모드)에서는 LUS 프로브(150)가 주 입력장치(108)에 의해 제어되지 않으며, 주 입력장치(108)는 표시부 화면(104)상에 보조 이미지를 표시하고 조작하는 것 등의 다른 일들을 자유롭게 수행할 수 있는 상태로 있게 되는데, 특히 본원에 설명된 어떤 사용자 지정 기능들을 수행할 수 있다. 그러나, 주목할 점은, 제어전환 메커니즘(241)의 제 2 모드에서는 주 입력장치(108)에 의해 LUS 프로브(150)가 제어되지 않을 수 있지만, 그것은 여전히 자동으로 고정되어 있을 수도 있고, 아니면 메모리(240)에 저장된 지령에 따라서 보조 컨트롤러(242)의 제어하에 움직일 수 있는데, 이로써 LUS 프로브(150)에 의해 캡처된 일련의 2-D 초음파 이미지 슬라이스들로부터 인접한 해부학적 구조의 3-D 볼륨 렌더링이 생성될 수 있다는 것이다. LUS 프로브(150)의 이와 같은 그리고 다른 프로그램된 움직임에 대한 추가의 상세한 내용은 본원에 참고자료로 포함되는 공동소유의 미국특허출원 일련번호 제11/447,668호, 제목 "복강경 초음파 로봇 수술 시스템"을 참조한다.
또한, 보조 컨트롤러(242)는 LUS 프로브(150) 및 내시경(140)에 관련된 다른 기능들을 수행하기도 한다. 이것은 LUS 프로브(150)에 발휘된 힘을 감지하는 LUS 프로브 힘 센서(247)로부터의 출력을 수신하고, 힘 정보를 다시 주 컨트롤러(222)를 통해 주 입력장치(108)로 피드백하며, 이에 따라 외과의사는 LUS 프로브(150)의 움직임을 직접 제어하지 않는다 해도 당시의 힘을 느낄 수 있다. 따라서, 외과의사는 LUS 프로브(150)의 어떤 움직임을 즉시 중단할 수 있는 능력뿐만 아니라 그것의 움직임을 수동 제어할 수 있는 능력을 갖추게 되어 환자에 대한 잠재적 손상이 최소화된다.
보조 컨트롤러(242)의 다른 중요한 기능은 내시경(140) 및 LUS 프로브(150)로부터의 처리된 정보가 사용자 선택 표시 옵션에 따라서 주 표시부(104) 상에 표시되도록 하는 것이다. 이러한 처리과정의 예들로서는 초음파 프로세서(246)를 통해 LUS 프로브(150)로부터 수신된 2-D 초음파 이미지 슬라이스들로부터 3-D 초음파 이미지를 생성하기, 선택된 위치 및 방향에 상응하는 3-D 또는 2-D 초음파 이미지를 주 표시부(104)의 픽쳐-인-픽쳐 창에 표시하기, 해부학적 구조의 3-D 또는 2-D 초음파 이미지를 주 표시부(104) 상에 표시되는 해부학적 구조의 카메라 캡처 이미지에 오버레이하기, 그리고 도 4-12와 관련하여 하기 설명된 방법들을 수행하는 것이 있다.
별도의 실체로서 나타내지는 않았지만, 주 컨트롤러(202, 222), 종속 컨트롤러(203, 233, 223, 243) 및 보조 컨트롤러(242)는 바람직하게 프로세서(102)에 의해 실행되는 소프트웨어 모듈과 제어전환 메커니즘(211, 231, 241)의 양태를 전환하는 어떤 모드에 따라서 실시된다. 한편, 초음파 프로세서(246)와 비디오 프로세서(236)는 소프트웨어 모듈이거나, 또는 프로세서(102)와 짝을 이루고 있거나 통합되어 있는 적합한 슬롯에 삽입된 별도의 보드나 카드일 수 있으며, 이것은 이들 이미지 캡처 장치로부터 수신된 신호를 주 표시부(104) 상에 표시하기에 적합하고 및/또는 주 표시부(104) 상에 표시하기 전에 보조 컨트롤러(242)에 의해 추가로 처리하기에 적합한 신호로 전환한다.
본 예에서는 각 주 입력장치가 오직 1개의 미리 배정된 도구 종속 로봇 암과 1개의 미리 배정된 이미지 캡처 장치 로봇 암에 의해 공유되는 것을 가정하였지만, 대안적인 배합들도 실행이 가능하며, 이것들은 본 발명의 전 범위 내에 들어가도록 계획된다. 예를 들어, 각 주 입력장치가 도구 및 이미지 캡처 장치 로봇 암 중 어느 하나와 선택적으로 연계될 수 있는 다른 배합이 또한 가능하며, 최대 유연성을 위해서 더욱 바람직할 것이다. 또한, 이 예에서는 내시경 로봇 암이 단일 주 입력장치에 의해 제어되는 것을 나타내었지만, 이것은 또한 양쪽의 주 입력장치를 이용하여 제어될 수도 있으며, 이로써 "이미지를 잡아서" 그것을 다른 장소나 보기창으로 이동시키는 것이 가능하다. 추가하여, 이 예에서는 내시경 및 LUS 프로브만을 나타내었지만, 카메라, 초음파, 자기공명, 컴퓨터단층촬영, 및 형광투시 이미지를 캡처하는데 사용되는 것들과 같은 다른 이미지 캡처 장치도 시스템(100)에서 충분히 고려되는데, 그렇지만 이들 각 이미지 캡처 장치는 주 입력장치 중 하나에 의해 반드시 조작될 수 있는 것은 아니다.
도 3은 LUS 프로브(150)의 한 구체예의 측면도를 예시한다. LUS 프로브(150)는 바람직하게는 2의 원단부 자유도를 가진 정교한 도구이다. LUS 센서(301)의 근단부에 물리적으로 연결되어 연장 축(312)의 내부 통로를 통해 연장되어 있는 마주한 한 쌍의 드라이브 로드 또는 케이블(도시하지 않음)에 의해 종래의 푸시-풀 타입 작동을 이용하여 LUS 센서(301)의 피치가 제어되고 좌우 움직임이 조정된다.
LUS 센서(301)는 인접한 해부학적 구조의 2-D 초음파 슬라이스를 캡처하고, 그 정보를 LUS 케이블(304)을 통해 프로세서(102)로 다시 전송한다. 연장 축(312)의 밖에서 이어진 것을 나타내었지만, LUS 케이블(304)은 연장 축 내부에서 연장될 수도 있다. 클램쉘 외장(321)이 연장 축(312)과 LUS 케이블(304)을 덮고 있으며, 이로써 잘 봉해진 상태에서 캐뉼러(331)(또는 트로카)를 통해 통과될 수 있다. 비디오 추적 목적을 위한 기준선 마크(302 및 322)가 LUS 센서(301) 및 외장(321) 위에 위치된다.
도 4는 표시부 화면(104)상에 치료과정 또는 치료의 효과를 표시하는 방법의 순서도를 예로서 예시한다. 부재번호 401에서는 해부학적 구조의 주 이미지가 이미지 캡처 장치에 의해 캡처된다. 예로서, 도 5에 내시경(140)에 의해 캡처된 주 이미지가 예시되며, 이것은 해부학적 구조(501) 및 해부학적 구조(501) 안의 치료부위에서 치료과정을 수행하기 위해 해부학적 구조(501)에 부분적으로 삽입된 치료기기(511)를 포함한다. 다른 용도에서는 치료과정을 수행하기 위해 치료기기(511)가 단지 해부학적 구조(501)와 접촉하거나 거의 접촉하는 것만이 필요할 수 있다.
주 이미지는 치료과정 전에 또는 치료과정 중에 캡처될 수 있다. 치료과정 전에 캡처된 주 이미지는 "수술-전" 이미지라고 하고, 치료과정 중에 캡처된 주 이미지는 "수술-중" 이미지라고 한다. 주 이미지가 수술-전 이미지일 때, 이 이미지는 일반적으로 수술과정 중에 업데이트되지 않으므로, 본 방법은 일반적으로 오직 1개의 주 이미지만을 이용하게 된다. 한편, 주 이미지가 수술-중 이미지일 때, 이 이미지는 바람직하게 수술 중에 정기적으로 업데이트되므로, 이 경우 본 방법은 다수의 주 이미지를 이용하게 된다.
수술-전 이미지는 전형적으로 초음파 촬영술, 자기공명영상(MRI), 또는 컴퓨터단층촬영(CAT)와 같은 기술을 사용하여 캡처된다. 수술-중 이미지는 입체내시경 (140) 또는 LUS 프로브(150) 등의 이미지 캡처 장치에 의해 수술부위 또는 치료부위에서 캡처될 수도 있고, 또는 수술-전 이미지를 캡처하는데 사용된 것과 같은 기술들에 의해 외부에서 캡처될 수도 있다.
도 4의 부재번호 402에서는, 치료기기가 켜지거나, 또는 가동되거나 전기구동되며, 이로써 환자 체내의 해부학적 구조에 치료를 적용할 수 있게 된다. 기기는 일반적으로 질환 조직 또는 손상 조직과 같은 비정상 조직에 치료 에너지를 적용하기 위한 팁을 구비한다. 이러한 치료과정의 한 예로서, 고주파 절제술(RFA)을 사용하는데, 이 경우에는 RFA 프로브를 사용하여 질환 조직부위에 열을 적용함으로써 간과 같은 해부학적 구조 내에 자리 잡은 종양 등의 질환 조직을 파괴할 수 있다. 다른 과정의 예들로서는 고강도 초음파 집속술(HIFU) 및 소작술이 있다. 치료기기는 종속 암(121, 122)에 부착된 도구들(138, 139) 중 하나일 수 있으며, 이로써 외과의사는 주/종속 제어 시스템을 통해 치료기기를 치료부위로 이동시켜 조작할 수 있다.
부재번호 403에서는 보조 이미지가 생성되는데, 여기서 보조 이미지는 해부학적 구조에 대한 치료과정의 효과를 나타낸다. 보조 이미지는 치료과정의 효과를 감지할 수 있는 감지 장치에 의해 캡처된 정보로부터 제공 또는 생성되는 해부학적 구조의 실제 이미지일 수 있다. 또는 달리, 보조 이미지는 치료 효과를 나타내는 컴퓨터 모델일 수 있으며, 이것은 이러한 효과에 대한 경험상 유래된 또는 종래대로 결정된 공식을 이용하여 생성될 수 있다. 후자의 경우, 컴퓨터 모델은 일반적으로 치료기기 팁의 기하구조, 치료기기 팁에 의해 해부학적 구조에 적용되는 열이나 에너지 수준, 및 해부학적 구조 안의 치료과정을 받게 될 치료부위의 주변 조직의 특색과 같은 요인들에 의해 결정되는 볼륨이 있는 형상이다.
감지 장치에 의해 캡처된 정보로부터 제공 또는 파생되는 보조 이미지의 예로서, 도 6은 LUS 프로브(150)에 의해 캡처된 2-차원 초음파 슬라이스로부터 종래대로 파생된 해부학적 구조(601)의 3-차원 초음파 이미지를 예시한다. 이 예에 도시된 절제 볼륨(621)은 치료과정의 효과를 나타내며, 여기서는 RFA 프로브(612)의 팁(613)이 해부학적 구조(601)의 종양부위에 적용된다. 이 경우에는 종양부위 주변 조직의 가열 및 괴사에 의한 조직특성의 변화로 인한 절제 볼륨의 증가를 볼 수 있다.
부재번호 404에서는 주 이미지와 보조 이미지가 동일한 스케일로 공통 기준 프레임 안에서 동일한 위치와 방향에 있도록 병합된다. 이런 종류의 병합은 잘 알려져 있다. 예를 들어, 본원에 참고자료로 포함되는 미국특허 제6,522,906호, 제목 "수술과정의 수행 중에 오퍼레이터를 보조하기 위해서 원격수술 시스템의 이미지 표시부 상에 보조 정보를 표시하고 조절하기 위한 장치 및 방법"을 참조한다.
부재번호 405에서는 치료과정을 수행하는 동안 표시부 화면(104)상에 주 이미지가 표시되고, 바람직하게는 병합된 보조 이미지가 주 이미지 위에 오버레이되며, 이로써 각 이미지에서 상응하는 구조 또는 대상들이 동일한 크기로 그리고 동일한 장소 및 방향에서 표시부 화면(104)상에 출현하게 된다. 이 방식에서, 치료과정의 효과는 치료과정을 받게 될 해부학적 구조 위에 오버레이되어 나타난다.
도 7에서는 전형적인 표시부 화면(104)을 예로서 나타내는데, 여기서는 보조 이미지가 도 5의 주 이미지 위에 오버레이되어 있으며, 보조 이미지는 예시한 대로 점선으로 구별된다. 보조 이미지가 감지 장치에 의해 캡처된 정보에 의해 제공되거나 또는 그로부터 파생되는 경우에는, 치료 효과(521), 치료기기(512), 및 기기 팁(513)은 캡처된 정보에 의해 제공되거나 또는 그로부터 파생된다. 한편, 경험상 결정된 공식을 이용하여 볼륨이 있는 형상의 컴퓨터 모델로서 치료 효과(521)가 생성되는 경우에는, 치료기기(512) 및 기기 팁(513)은 조작중인 종속 암의 관절 위치에 적어도 일부 기초하는 종래의 도구 추적 컴퓨터 연산을 이용하여 결정될 수 있다.
그 다음, 도 4의 부재번호 406에서 본 방법은 치료기기가 꺼졌는지를 체크한다. 치료기기가 꺼졌다면, 이것은 치료과정이 완료되어 본 방법이 종료된 것을 의미한다. 한편, 치료기기가 여전히 켜진 상태라면, 본 방법은 치료과정이 아직 수행 중이라고 가정하고, 부재번호 407로 진행하여 새로운 주 이미지가 캡처되었는지를 결정한다. 예를 들어, 주 이미지가 수술-전 이미지여서 새로운 주 이미지가 캡처되지 않은 경우, 본 방법은 부재번호 403으로 다시 돌아가 보조 이미지를 업데이트하고, 치료기기가 꺼진 것이 탐지되어 치료과정이 완료되어야 한다고 결정될 때까지 부재번호 403-407을 계속 순환한다. 한편, 예를 들어, 주 이미지가 수술-중 이미지여서 새로운 주 이미지가 캡처된 경우, 본 방법은 부재번호 408에서 주 이미지를 업데이트한 후에 부재번호 403으로 다시 돌아가 보조 이미지를 업데이트하고, 치료기기가 꺼진 것이 탐지되어 치료과정이 완료되어야 한다고 결정될 때까지 부재번호 403-408을 계속 순환한다.
도 8은 해부학적 구조의 주 이미지와 병합된 오버레이로서 해부학적 구조의 보조 이미지를 확대경의 렌즈 영역으로서 한정된 창 안에 사용자 지정 확대율로 표시하는 방법의 순서도를 예로서 예시하며, 표시부 화면(104)상에 표시되는 확대경의 위치 및 방향은 연계된 포인팅 장치를 사용하여 사용자에 의해 조작될 수 있다.
부재번호 801에서, 본 방법은 확대경과 포인팅 장치를 연계시킴으로써 시작되는데, 포인팅 장치가 움직임에 따라서 표시부 화면(104)상에 표시되는 확대경(특히, 창으로서 생각될 수 있는 렌즈)이 상응하는 방식으로 움직인다. 이 경우, 연계는 포인팅 장치를 사용하여 확대경을 종래 방식으로 "잡거나", 또는 포인팅 장치의 커서를 효과적으로 확대경에 가져감으로써 수행될 수 있다. 표시부 화면(104)은 바람직하게는 3-차원 표시부이므로, 포인팅 장치도 상응하여 방향 지시 능력을 갖춘 3-차원 포인팅 장치인 것이 바람직하다.
부재번호 802에서는 현재 주 이미지 및 보조 이미지가 처리에 이용될 수 있다. 이 예에서, 주 이미지는 내시경(140)에 의해 캡처되고, 보조 이미지는 LUS 프로브(150)에 의해 캡처된다. 그러나, 주 이미지 및 보조 이미지의 다른 출처들도 또한 이용할 수 있으며, 본 발명을 실시하는데 있어서는 주 이미지와 보조 이미지를 동일한 출처로부터 캡처하는 것도 포함하여 고려된다. 마지막 경우의 예로서, 고-해상도 카메라가 표시부 화면상에 이미지를 표시하는데 사용되는 것 이상의 해상도로 이미지를 캡처할 수 있다. 이 경우, 카메라에 의해 캡처된 고-해상도 이미지는 보조 이미지로서 다뤄질 수 있고, 표시부 화면상에 표시되는 다운사이징 이미지가 주 이미지로서 다뤄질 수 있다.
부재번호 803에서는 사용자 선택가능한 확대율을 지정한다. 확대율은, 예를 들어 포인팅 장치 위의 다이얼 또는 휠 타입 컨트롤에 의해 사용자에 의해 선택될 수 있다. 또는 달리, 그것은 사용자가 표시부 화면(104)상에 표시된 메뉴에서 항목을 선택함으로써, 또는 어떤 다른 종래의 사용자 선택가능한 파라미터 값 일람표 또는 메커니즘에 의해서 사용자에 의해 선택될 수 있다. 사용자가 선택하지 않은 경우, 디폴트값, 예를 들어 1.0의 확대율이 사용된다.
부재번호 804에서는 주 이미지와 보조 이미지가 동일한 스케일로 공통 기준 프레임 안에서 동일한 위치와 방향에 있도록 병합되며, 이로써 두 이미지에서 상응하는 구조 및 대상들이 동일한 좌표를 가지게 된다.
부재번호 805에서는 해부학적 구조를 3-차원으로 본 것과 같은 주 이미지가 표시부 화면(104)상에 표시되는데, 이 경우 해부학적 구조의 보조 이미지의 2-차원 슬라이스의 일부분이 확대경 렌즈 안에 오버레이되어 표시될 수 있다. 이 경우에는, 확대경 렌즈의 중심점과 동일한 위치 및 방향을 갖는 중심점을 가진 창 영역과 확대율에 의해 결정된 영역에 의해서 2-차원 슬라이스의 일부분이 한정되며, 이에 따라 2-차원 슬라이스의 일부분이 확대경의 렌즈에 맞게 확대되거나 축소될 수 있다. 확대경의 위치 및 방향은 포지셔닝 장치에 의해서 해부학적 구조가 가진 볼륨의 내부 공간을 비롯하여 표시부 화면(104)의 3-차원 공간 내의 어떤 위치로도 조작 가능하므로, 2-차원 슬라이스는 해부학적 구조 내의 어떤 사용자 선택 깊이에도 상응할 수 있다. 이것으로 보는 것은 물리적 확대경과 달리 해부학적 구조의 외부만을 조사하는데 제한되지 않는다. 부재번호 805에 대한 추가의 상세한 내용은 도 9와 관련한 하기 설명을 참조한다.
그 다음에, 본 방법은 부재번호 806에서, 예를 들어 확대경에 "잡힌" 이미지를 사용자가 해제하는 것에 의해서, 또는 어떤 종류의 종래의 전환 메커니즘을 사용하여 확대경과 포인팅 장치의 연계를 전환하는 것에 의해서 확대경 명령이 종결되었는지를 결정한다. 종결되었다면 본 방법은 종료된다. 한편, 그렇지 않은 경우, 본 방법은 부재번호 802로 다시 돌아가 확대경 명령이 종결된 것이 탐지될 때까지 부재번호 802-806을 계속 순환한다. 주목할 점은, 본 방법이 부재번호 802-806을 순환하는 때마다, 주 이미지와 보조 이미지의 업데이트 버전이 있을 경우에는, 사용자 선택가능한 확대율의 업데이트 값이 있을 경우 그에 따라 이미지의 업데이트 버전이 처리된다는 것이다. 따라서, 본 방법이 충분히 빠른 방식의 순환을 통해 진행될 경우, 확대경의 위치와 방향을 선택하여 해부학적 구조를 보면서 사용자가 다이얼이나 손잡이를 돌려서 확대율을 조정하는 경우에도 사용자는 어떤 유의한 지연을 인식하지 못할 것이다.
도 9는 사용자 이동가능한 확대경 렌즈 안에 해부학적 구조의 주 이미지 보기에 대한 오버레이로서 해부학적 구조의 보조 이미지 보기를 지정 확대율로 표시하는 방법의 순서도를 예로서 예시한다. 앞서 설명된 대로, 본 방법은 도 8의 부재번호 805를 수행하는데 사용될 수 있다.
부재번호 901에서, 확대경 렌즈의 중심점의 현 위치 및 방향은 표시부 화면 (104)의 3-차원 공간에서 결정된다. 부재번호 902에서, 보조 이미지의 병합된 볼륨이 있는 모델의 2-차원 슬라이스가 이 위치 및 방향을 투시하여 취해지며, 이 2-차원 슬라이스의 일부분이 바람직하게는 동일한 위치 및 방향의 중심점을 가진 보조 보기창 안에 한정되어 취해진다. 이 경우, 보조 보기창 영역은 확대경의 현재 확대율에 따르는 렌즈의 영역에 반비례한다. 그 다음, 부재번호 903에서 보조 보기창에 의해 한정된 2-차원 슬라이스의 일부분이 확대율까지 확대되어 확대경의 렌즈 영역에 맞춰지고, 부재번호 904에서는 해부학적 구조의 주 이미지가 표시부 화면(104)상에 표시되면서, 보조 이미지의 2-차원 슬라이스의 확대된 부분이 표시부 화면(104)상에 표시되는 확대경의 렌즈 영역 안에서 오버레이된다.
도 10-11은 부재번호 901-904을 그림으로 나타낸 예로서, 도 10에는 해부학적 구조의 보조 이미지의 2-차원 슬라이스(1001)가 2-차원 슬라이스 상의 2개의 원형 창(1021, 1022)과 함께 나타나 있다. 이 경우, 각 창(1021, 1022)은 해부학적 구조를 외부에서 본 주 이미지(1101)와 함께 표시부 화면(104)상에 표시되는 확대경(1120)의 렌즈(1121) 모양과 일치하며, 렌즈(1121) 중심점과 동일한 중심점을 가지는데, 이것을 도 11에 예시한다. 이 예에서, 창(1021) 영역은 렌즈(1121) 영역과 동일하므로, 확대율이 1.0일 경우, 창(1021)이 부재번호 902에서의 사용을 위해 선택될 것이다. 한편, 창(1022) 영역이 렌즈(1121) 영역보다 작을 때는, 확대율이 1.0 이상일 경우에만 창(1022)이 부재번호 902에서의 사용을 위해 선택될 수 있다. 주목할 점은, 확대경(1120)의 렌즈(1121)가 원형 모양으로서 묘사되었지만, 확대경은 직사각형 모양 등의 다른 일반적인 모양을 가질 수도 있다는 것이다.
도 12는 주 입력장치가 이미지 조작 모드에 있을 때, 연계된 주 입력장치의 상응하는 조작에 대응하여 의료용 로봇 시스템의 컴퓨터 표시부 화면상에 표시되는 이미지 대상을 조작하기 위해 의료용 로봇 시스템 내 프로세서에 의해 수행되는 방법의 순서도를 예로서 예시한다.
본 방법에 대한 전제로서, 의료용 로봇 시스템은 이미지를 캡처하는 이미지 캡처 장치(예를 들어, 내시경(140) 또는 LUS 프로브(150)); 이미지 캡처 장치를 고정하는 로봇 암(예를 들어, 내시경(140) 및 LUS 프로브(150)를 각각 고정하는 종속 암(123) 또는 종속 암(124)); 컴퓨터 표시부 화면(예를 들어, 표시부 화면(104)); 다중 자유도 움직임으로 사용자에 의해 조작 가능하도록 적합하게 된 주 입력장치(예를 들어, 주 입력장치(107) 또는 주 입력장치(108)); 및 주 입력장치가 이미지 캡처 모드에 있을 때는 주 입력장치의 사용자 조작에 따라 이미지 캡처 장치의 움직임을 제어하고, 주 입력장치가 이미지 조작 모드에 있을 때는 주 입력장치의 사용자 조작에 따라 캡처된 이미지로부터 파생된 이미지의 컴퓨터 표시부 화면상의 표시를 제어하도록 구성된 프로세서(예를 들어, 보조 컨트롤러(242))를 포함한다.
부재번호 1201에서는 사용자가 주 입력장치를 이미지 조작 모드에 위치시켰는지를 프로세서가 탐지한다. 이것을 실시할 수 있는 한 방식은 의료용 로봇 시스템에 제공된 마스터 클러치 메커니즘을 이용하는 것인데, 이것은 주 입력장치와 연계된 로봇 암의 연결을 해제함으로써 주 입력장치가 다시 위치될 수 있도록 뒷받침한다. 주 입력장치 위의 버튼을 사용자가 누르는 것, 풋 페달을 밟는 것, 또는 음성 활성화를 이용하는 것 등의 어떤 메커니즘에 의해 이 모드가 활성화된 경우, 연계된 로봇 암이 제자리에 고정되고, 컴퓨터 표시부 화면에 커서(명목상 손을 표시하는 아이콘, 예를 들어
Figure 112008020074083-PCT00004
)가 나타난다. 사용자가 이 모드에서 나갔을 때는, 커서가 숨겨지고, 필요할 경우 로봇 암의 위치를 재조정한 후 로봇 암의 제어를 다시 시작할 수 있다.
부재번호 1202에서는 종래의 마우스 위의 버튼을 누름으로써 발생하는 것과 같은 제어입력이 사용자에 의해 활성화되었는지를 프로세서가 결정한다. 이 경우, 제어입력은 주 입력장치 위에 제공된 버튼을 누름으로써 활성화되거나, 또는 주 입력장치 위에 제공된 그리퍼 또는 핀처 형태를 압박하는 것과 같은 어떤 다른 방식에 의해 활성화될 수 있다. 클러치 방식, 및 주 입력장치 위의 그리퍼 또는 핀처 형태에 대한 추가의 상세한 내용은, 예를 들어 본원에 참고자료로 포함되는 공동소유의 미국특허 제6,659,939호, 제목 "협력방식 최소 침습 원격수술 시스템"을 참조한다. 부재번호 1202에서 제어입력이 "예"(즉, 활성화)라고 결정되지 않은 경우에는, 프로세서는 "예" 지령이 수신되거나, 이미지 조작 방식에서 나갈 때까지 대기한다.
부재번호 1203에서는, "예"의 제어입력 지령을 수신한 후에, 컴퓨터 표시부 화면상에 표시되는 대상 위에(또는 대상에서 정해진 거리 내에) 커서가 위치되었는지를 프로세서가 체크한다. 그렇지 않을 경우, 부재번호 1204에서 프로세서가 사용자 선택가능한 항목 또는 실행 메뉴를 컴퓨터 표시부 화면상에 표시하고, 부재번호 1205에서는 프로세서가 사용자에 의해 선택된 메뉴를 수신하여 대응한다.
사용자 선택가능한 메뉴 항목의 예들로서는 확대경, 절단-면, 지우개, 및 이미지 병합이 있다. 사용자가 확대경 항목을 선택한 경우, 확대경 이미지가 컴퓨터 표시부 화면상에 표시되며, 도 8과 관련하여 설명된 방법이 프로세서에 의해 수행될 수 있다. 확대경 기능을 마친 다음에, 사용자는 어떤 종래의 방식으로 기능에서 나가기를 지시할 수 있고, 프로세서는 부재번호 1202로 되돌아간다.
사용자가 절단-면 항목을 선택한 경우, 평면(또는 고정된 크기 또는 사용자 조정가능한 크기의 직사각형 창)이 컴퓨터 표시부 화면상에 표시된다. 다음에, 주 입력장치가 이 평면과 연계될 수 있고, 사용자는 포인팅 장치를 이용하여 주 입력장치를 조작함으로써 평면을 컴퓨터 표시부 화면의 3-차원 공간에서 위치시키고 방향을 정할 수 있다. 평면을 해부학적 구조의 볼륨 렌더링과 교차하도록 이동시킨 경우, 이것은 교차점에서 볼륨 렌더링의 2-차원 슬라이스를 한정하는 절단-면으로서 기능한다. 다른 방식으로는, 주 입력장치가 해부학적 구조의 볼륨 렌더링과 연계될 수 있고, 이것을 표시된 평면과 교차하도록 이동시켜 절단-면을 한정할 수 있다. 평면이나 부피 렌더링과 포인팅 장치의 연계는 도 8의 부재번호 801과 관련하여 확대경에 관해서 설명한 것과 실질적으로 동일한 방식으로 수행될 수 있다.
다음에, 2-차원 슬라이스는 평면 자체에, 또는 픽쳐-인-픽쳐 방식과 같이 컴퓨터 표시부 화면상의 별도의 창에 보일 수 있다. 추가하여, 사용자는 절단-면 항목을 몇 번 더 선택하여, 볼륨 렌더링의 2-차원 슬라이스들을 추가로 한정할 수 있으며, 이것들은 컴퓨터 표시부 화면상의 각 평면들 또는 픽쳐-인-픽쳐 창들에서 동시에 볼 수 있다. 원하지 않는 절단-면 슬라이스들로 컴퓨터 표시부 화면이 복잡해지지 않도록 하기 위해 종래의 삭제 기능이 제공되며, 사용자는 어떤 절단-면과 그것의 상응하는 슬라이스를 선택적으로 삭제할 수 있다. 절단-면 기능을 마친 다음에, 사용자는 어떤 종래의 방식으로 기능에서 나가기를 지시할 수 있고, 프로세서는 부재번호 1202로 되돌아간다.
사용자가 지우개 항목을 선택한 경우에는 컴퓨터 표시부 화면상에 지우개가 표시된다. 다음에, 주 입력장치가 지우개와 연계되고, 사용자는 포인팅 장치를 이용하여 주 입력장치를 조작함으로써 지우개를 컴퓨터 표시부 화면의 3-차원 공간에 위치시키고 방향을 정할 수 있다. 이 경우, 지우개와 포인팅 장치의 연계는 도 8의 부재번호 801과 관련하여 확대경에 관해서 설명한 것과 실질적으로 동일한 방식으로 수행될 수 있다. 지우개를 해부학적 구조의 볼륨 렌더링과 교차하도록 이동시킨 경우, 지우개는 볼륨 렌더링을 지나가는 곳에서 이러한 렌더링을 완전히 또는 부분적으로 지우는 기능을 한다. 사용자가 부분적 지우기를 선택한 경우(또는 프로세서에 미리 프로그램된 경우), 지우개가 볼륨 렌더링을 지나갈 때마다 해부학적 구조의 디테일이 조금씩 지워질 수 있다. 이 경우, 디테일의 감소는 렌더링의 조악성/섬세성에 관한 것일 수도 있고, 또는 3-차원 볼륨 렌더링의 층을 벗기는 것일 수도 있다. 지우개 기능의 모든 이러한 특징 또는 옵션은 종래의 수단을 이용하여 사용자가 선택할 수 있다. 사용자가 부주의에 의해 볼륨 렌더링의 일부를 지운 경우에는 종래의 되살리기 기능이 제공되어 사용자는 삭제된 부분을 되살릴 수 있다. 지우개 기능을 마친 다음에, 사용자는 어떤 종래의 방식으로 기능에서 나가기를 지시할 수 있고, 프로세서는 부재번호 1202로 되돌아간다.
상기 설명된 지우개 기능에 더하여, 공간적으로 제한된 다른 변형 기능이 고려되는데, 이것은 가시성을 증진시키기 위한 표시된 이미지 일부분의 선택적 선명화, 밝기조정 또는 채색, 또는 선택된 영역의 강조를 포함하며, 이것들은 본 발명의 전 범위 내에 들어가는 것으로 간주된다. 이러한 공간적으로 제한된 변형 기능 각각은 지우개 기능과 관련하여 상기 설명된 것과 실질적으로 동일한 방법을 이용하여 수행될 수 있다.
사용자가 이미지 병합 항목을 선택한 경우, 프로세서는 부재번호 1212와 관련하여 하기 설명된 대로 추후에 실행하기 위해 이러한 선택을 기록한 다음, 부재번호 1202의 과정으로 다시 돌아간다. 이 경우, 이미지 병합은 전형적으로 해부학적 구조와 같은 대상의 보조 이미지와 이 대상의 상응하는 주 이미지의 수동 병합을 수반한다.
상기 설명된 메뉴 접근법에 대한 대안으로서, 이미지 조작 모드에 들어갔을 때 상기 설명된 선택가능한 각 항목들을 표시하는 각 아이콘이 컴퓨터 표시부 화면상에 표시될 수 있는데, 사용자는 이것들을 클릭함으로써 선택할 수 있고, 그 다음 프로세서에 의해 상응하는 메뉴 항목의 선택과 관련하여 상기 설명된 대로 수행되도록 진행된다.
이제, 도 12와 관련하여 설명된 방법에 계속해서, 부재번호 1201에서 "예"의 제어입력 지령을 수신하고, 부재번호 1202에서는 컴퓨터 표시부 화면상에 표시되는 대상(아이콘 아님) 위에 또는 근처에 커서가 위치되었는지를 결정한 후, 프로세서가 바람직하게는 커서를 손을 표시하는 아이콘에서, 예를 들어 잡힌 손을 표시하는 아이콘으로 변경하는데, 이것은 대상이 잡혔으며, 그것이 주 입력장치의 사용자 조작을 통해서 컴퓨터 표시부 화면의 3-차원 공간의 다른 위치 및/또는 방향으로 이동 또는 "드래그"될 준비가 되었다는 것을 나타낸다.
그 다음에, 부재번호 1206에서 프로세서는 사용자가 선택된 대상의 표시 파라미터의 조정을 지시했는지를 결정하고, 사용자가 그렇게 지시한 경우, 부재번호 1207에서 프로세서가 표상 조정을 수행한다. 예로서, 사용자가 주 입력장치 위의 다이얼을 돌려서 다이얼과 연계된 표시 파라미터에 대해 표상 조정을 지시하면, 다이얼의 회전량에 따라 선택된 대상에 대한 조정이 수행된다. 또는 달리, 그리퍼가 주 입력장치에 장착된 경우, 이 그리퍼가 다이얼로서 기능하여 회전될 수도 있다. 이 방식으로 조정될 수 있는 표시 파라미터의 예들로서는 밝기, 대비, 색, 및 컴퓨터 표시부 화면상에 표시되는 선택된 대상의 디테일 수준(예를 들어, 메시 조악성/섬세성, 또는 복셀 크기 및/또는 불투명성)이 있다.
다음에, 부재번호 1203에서의 확정적 결정 후에, 프로세서는 부재번호 1208로 진행하여 선택된 대상을 "잡은" 다음 커서가 이동하였는지를 결정한다. 이동하지 않은 경우라면, 이번에는 사용자가 단지 선택된 대상의 표시 파라미터의 조정만을 원했을 수 있으므로 프로세서는 부재번호 1202로 다시 돌아간다. 한편, 선택된 대상을 "잡은" 다음 커서가 이동한 경우에는, 부재번호 1209에서 프로세서가 선택된 대상을 새로운 커서 위치로 이동시킨다. 커서가 컴퓨터 표시부 화면의 3-차원 공간에서 조종되므로, 커서가 표시부 화면 "쪽으로" 이동할 때는, 예를 들어 크기를 점차 작게 하여 이러한 움직임을 나타낼 수 있다. 컴퓨터 표시부 화면의 3-차원 성질이 대상의 좌우 2-차원 보기를 사용하여 달성되고, 이때 깊이 값을 나타내는 두 보기의 공통 포인트가 같지 않은 경우, 좌우 보기창에서 커서의 이미지 깊이 값의 감소는 커서가 표시부 화면 "쪽으로" 이동하는 중임을 나타낸다.
부재번호 1210에서, 선택적으로, 촉각 피드백이 다시 주 입력장치에 제공될 수 있으며, 이로써 사용자는 부재번호 1209에서 "잡힌" 대상이 이동되는 동안 반영된 힘을 감지할 수 있다. 예로서, 대상의 실제 질량과 관성 특성을 연계시킴으로써 사용자와 대상의 상호작용이 사용자에게 촉각적으로 다시 반사될 수 있으며, 이로써 사용자는 가속/감속되는 것에 따라서 대상과 접촉하고 있을 때나 대상을 옮기거나 회전시킬 때 반영된 힘을 느끼게 된다. 이 부재번호 1210에서 수행되는 촉각 피드백은 어떤 종류의 대상에 대해서만 수행되고, 나머지 것들에 대해서는 수행되지 않거나, 또는 어떤 환경에서만 효과를 나타낼 수 있다. 또한, 이러한 촉각 피드백의 사용은 상기 설명된 확대경 및/또는 절단-면을 한정하기 위해 사용되는 평면의 움직임에도 적용될 수 있다. 그러나, 이러한 경우, 촉각 피드백은 확대경 또는 평면이 해당하는 해부학적 구조 안으로 들어간 후에 발생하는 것으로만 제한될 수 있다.
부재번호 1211에서, 프로세서는 제어입력이 여전히 "예" 상태인지를 결정한다. 제어입력이 여전히 "예" 상태인 경우, 프로세서는 부재번호 1208로 다시 돌아가 커서 움직임을 추적하고 대응한다. 한편, 예를 들어, 사용자가 처음에 제어입력을 "예"로 변경했음을 지시하려고 눌렀던 버튼을 해제하여 제어입력이 종결된 경우, 프로세서는 부재번호 1212에서 선택된 메뉴기능을 수행한다.
예를 들어, 부재번호 1204에서 프로세서 표시 메뉴에 대응하여 사용자가 이미지 병합 항목을 선택한 경우(또는 달리, 사용자가 이 항목을 표시하는 아이콘을 클릭한 경우), 이동된 대상이 이 대상의 다른 이미지와 병합되어 컴퓨터 표시부 화면상에 정렬되어 표시되며, 이로써 이들은 컴퓨터 표시부 화면의 프레임과 같은 공통 기준 프레임 안에서 동일한 좌표 및 방향 값을 가지게 된다. 이런 특징은, 예를 들어 해부학적 구조의 보조 이미지(LUS 프로브(150)를 사용하여 얻어진 것과 같은)와 해부학적 구조의 주 이미지(내시경(140)을 사용하여 얻어진 것과 같은)의 수동 병합을 용이하게 한다. 초기 병합 후, 주 이미지에서 상응하는 대상의 위치 및/또는 방향의 변경을 그대로 반영하여 보조 이미지에서 선택된 대상도 상응하여 변경할 수 있으며, 이로써 주 이미지에 대한 보조 이미지의 상대적인 위치/방향이 유지된다. 사용자가 이미지 병합 기능을 마친 다음에는, 프로세서는 부재번호 1202로 되돌아간다.
본 발명의 다양한 양태가 바람직한 구체예에 관해서 설명되었지만, 본 발명이 첨부된 청구항의 전 범위를 모두 보호하는 권리를 가짐이 이해될 것이다.

Claims (72)

  1. 치료기기에 의해 해부학적 구조에 적용되는 치료과정의 효과를 나타내는 보조 이미지를 생성하는 단계; 및
    해부학적 구조의 주 이미지와 보조 이미지를 오버레이하여 치료과정 동안 컴퓨터 표시부 화면상에 표시하는 단계
    를 포함하는, 치료기기에 의해 해부학적 구조에 적용되는 치료과정의 효과를 컴퓨터 표시부 화면상에 표시하는 방법.
  2. 제 1 항에 있어서, 의료용 로봇 시스템을 사용하여 치료과정을 수행하며, 외과의사가 의료용 로봇 시스템을 사용하여 치료기기를 로봇식으로 조작함으로써 치료과정을 수행하는 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서, 주 이미지를 치료과정 전에 캡처하는 것을 특징으로 하는 방법.
  4. 제 3 항에 있어서, 주 이미지가 초음파에 의해 생성된 수술-전 이미지인 것을 특징으로 하는 방법.
  5. 제 3 항에 있어서, 주 이미지가 자기공명영상에 의해 생성된 수술-전 이미지 인 것을 특징으로 하는 방법.
  6. 제 3 항에 있어서, 주 이미지가 컴퓨터단층촬영에 의해 생성된 수술-전 이미지인 것을 특징으로 하는 방법.
  7. 제 3 항에 있어서, 보조 이미지는 치료과정 동안 치료기기에 의해 적용되는 치료 효과의 컴퓨터 모델인 것을 특징으로 하는 방법.
  8. 제 7 항에 있어서, 컴퓨터 모델은 치료기기의 치료용 단부의 기하구조에 의해서 적어도 부분적으로 결정되는 볼륨이 있는 형상인 것을 특징으로 하는 방법.
  9. 제 7 항에 있어서, 컴퓨터 모델은 치료기기의 치료용 단부에 의해 해부학적 구조에 적용되는 열 수준에 의해서 적어도 부분적으로 결정되는 볼륨이 있는 형상인 것을 특징으로 하는 방법.
  10. 제 7 항에 있어서, 컴퓨터 모델은 치료과정이 적용되는 해부학적 구조의 주변 조직의 특색에 의해서 적어도 부분적으로 결정되는 볼륨이 있는 형상인 것을 특징으로 하는 방법.
  11. 제 1 항에 있어서, 주 이미지를 치료과정 중에 캡처하는 것을 특징으로 하는 방법.
  12. 제 11 항에 있어서, 주 이미지가 카메라 유닛에 의해 캡처된 수술-중 이미지인 것을 특징으로 하는 방법.
  13. 제 12 항에 있어서, 카메라 유닛은 한 쌍의 입체 카메라를 포함하는 것을 특징으로 하는 방법.
  14. 제 12 항에 있어서, 카메라 유닛이 내시경에 포함된 것을 특징으로 하는 방법.
  15. 제 14 항에 있어서, 내시경은 복강경인 것을 특징으로 하는 방법.
  16. 제 11 항에 있어서, 보조 이미지는 치료과정 동안 치료기기에 의해 적용되는 치료 효과의 컴퓨터 모델인 것을 특징으로 하는 방법.
  17. 제 16 항에 있어서, 컴퓨터 모델은 치료기기의 치료용 단부의 모양에 의해서 적어도 부분적으로 결정되는 볼륨이 있는 형상인 것을 특징으로 하는 방법.
  18. 제 16 항에 있어서, 컴퓨터 모델은 치료기기의 치료용 단부에 의해 해부학적 구조에 적용되는 열 수준에 의해서 적어도 부분적으로 결정되는 볼륨이 있는 형상인 것을 특징으로 하는 방법.
  19. 제 16 항에 있어서, 컴퓨터 모델은 치료과정이 적용되는 해부학적 구조의 주변 조직의 특색에 의해서 적어도 부분적으로 결정되는 볼륨이 있는 형상인 것을 특징으로 하는 방법.
  20. 제 11 항에 있어서, 보조 이미지는 초음파에 의해 생성된 수술-중 이미지인 것을 특징으로 하는 방법.
  21. 제 22 항에 있어서, 치료과정은 고주파 절제술을 이용하여 해부학적 구조의 비정상 조직을 파괴하는 것을 특징으로 하는 방법.
  22. 제 21 항에 있어서, 비정상 조직은 질환 조직을 포함하는 것을 특징으로 하는 방법.
  23. 제 22 항에 있어서, 질환 조직은 적어도 하나의 종양을 포함하는 것을 특징으로 하는 방법.
  24. 제 21 항에 있어서, 비정상 조직은 손상 조직을 포함하는 것을 특징으로 하 는 방법.
  25. 제 21 항에 있어서, 치료과정은 고주파 절제술, 고강도 초음파 집속술 및 소작술로 구성되는 군 중 하나인 것을 특징으로 하는 방법.
  26. 이동가능한 창과 포인팅 장치를 연계함으로써, 포인팅 장치를 사용하여 컴퓨터 표시부 창에서 이동가능한 창을 위치시킬 수 있도록 하는 단계;
    해부학적 구조의 보조 이미지와 해부학적 구조의 주 이미지를 병합하여 공통 기준 프레임 안에서 동일한 위치 및 방향에 있도록 하는 단계; 및
    컴퓨터 표시부 화면상에 주 이미지를 표시하고, 이동가능한 창 안에 주 이미지에 대한 오버레이로서 이동가능한 창과 동일한 화면 좌표에 상응하는 병합된 보조 이미지 부분을 표시하는 단계
    를 포함하는, 해부학적 구조의 보조 이미지의 선택된 부분을 해부학적 구조의 주 이미지에 대한 오버레이로서 컴퓨터 표시부 화면상에 표시하는 방법.
  27. 제 26 항에 있어서, 의료용 로봇 시스템을 사용하여 수행되는 최소 침습 수술과정 중에 이미지 캡처 장치에 의해서 주 이미지를 캡처하며, 이미지 캡처 장치는 의료과정을 수행하는 동안 의료용 로봇 시스템을 사용하여 로봇식으로 조작가능한 것을 특징으로 하는 방법.
  28. 제 26 항에 있어서, 이동가능한 창은 표시부 화면상에 원형 렌즈로서 출현하는 것을 특징으로 하는 방법.
  29. 제 26 항에 있어서, 이동가능한 창은 표시부 화면상에 직사각형 렌즈로서 출현하는 것을 특징으로 하는 방법.
  30. 제 26 항에 있어서, 주 이미지는 해부학적 구조의 3-차원 이미지이고, 컴퓨터 표시부 화면은 3-차원 컴퓨터 표시부 화면인 것을 특징으로 하는 방법.
  31. 제 26 항에 있어서, 이동가능한 창 안에 주 이미지에 대한 오버레이로서 이동가능한 창과 동일한 화면 좌표에 상응하는 병합된 보조 이미지의 전 부분을 표시하는 것을 특징으로 하는 방법.
  32. 제 26 항에 있어서, 이동가능한 창 안에 주 이미지에 대한 오버레이로서 이동가능한 창과 동일한 화면 좌표에 상응하는 병합된 보조 이미지의 일부분을 이동가능한 창에 맞춰 확대하여 표시함으로써, 보조 이미지를 확대하여 나타내는 것을 특징으로 하는 방법.
  33. 제 32 항에 있어서,
    컴퓨터 표시부 화면을 보는 사용자에 의해 선택된 확대율을 수신하는 단계; 및
    확대율을 적용하여 병합된 보조 이미지의 일부분을 이동가능한 창에 맞춰 확정하고, 주 이미지에 대한 오버레이로서 이동가능한 창 안에 표시하는 단계
    를 추가로 포함하는 것을 특징으로 하는 방법.
  34. 제 26 항에 있어서, 주 이미지 및 보조 이미지는 해부학적 구조의 3-차원 이미지이고, 컴퓨터 표시부 화면은 3-차원 컴퓨터 표시부 화면인 것을 특징으로 하는 방법.
  35. 제 26 항에 있어서, 이동가능한 창을 보조 이미지의 사용자 선택가능한 깊이와 연계시킴으로써, 사용자에 의해 선택된 깊이에 상응하는 보조 이미지의 2-차원 슬라이스를 주 이미지에 대한 오버레이로서 이동가능한 창 안에 표시하는 것을 특징으로 하는 방법.
  36. 제 26 항에 있어서, 주 이미지가 자기공명영상에 의해 생성된 수술-전 이미지인 것을 특징으로 하는 방법.
  37. 제 26 항에 있어서, 주 이미지가 컴퓨터단층촬영에 의해 생성된 수술-전 이미지인 것을 특징으로 하는 방법.
  38. 제 26 항에 있어서, 주 이미지가 카메라 유닛에 의해 캡처된 수술-중 이미지인 것을 특징으로 하는 방법.
  39. 제 38 항에 있어서, 카메라 유닛이 내시경에 포함된 것을 특징으로 하는 방법.
  40. 제 38 항에 있어서, 보조 이미지는 수술-전 캡처된 이미지인 것을 특징으로 하는 방법.
  41. 제 40 항에 있어서, 수술-전 캡처된 이미지를 자기공명영상에 의해 생성하는 것을 특징으로 하는 방법.
  42. 제 40 항에 있어서, 수술-전 캡처된 이미지를 컴퓨터단층촬영에 의해 생성하는 것을 특징으로 하는 방법.
  43. 제 40 항에 있어서, 수술-전 캡처된 이미지를 초음파에 의해 생성하는 것을 특징으로 하는 방법.
  44. 제 38 항에 있어서, 보조 이미지는 수술-중 캡처된 이미지인 것을 특징으로 하는 방법.
  45. 제 44 항에 있어서, 수술-중 캡처된 이미지를 초음파에 의해 생성하는 것을 특징으로 하는 방법.
  46. 제 44 항에 있어서, 수술-중 캡처된 이미지를 보조 카메라 유닛에 의해 생성하는 것을 특징으로 하는 방법.
  47. 이미지를 캡처하는 이미지 캡처 장치;
    이미지 캡처 장치를 고정하는 로봇 암;
    컴퓨터 표시부 화면;
    다중 자유도 움직임으로 사용자에 의해 조작 가능하도록 적합하게 된 주 입력장치; 및
    주 입력장치가 이미지 캡처 모드일 때는 주 입력장치의 사용자 조작에 따라 이미지 캡처 장치의 움직임을 제어하고, 주 입력장치가 이미지 조작 모드일 때는 주 입력장치의 사용자 조작에 따라 캡처된 이미지로부터 파생된 이미지의 컴퓨터 표시부 화면상의 표시를 제어하도록 구성된 프로세서
    를 포함하는 의료용 로봇 시스템.
  48. 제 47 항에 있어서, 주 입력장치는 6의 자유도로 조작 가능하도록 구성되며, 이로써 이미지 조작 모드 상태에서 주 입력장치는 3-차원 마우스로서 작동하는 것 을 특징으로 하는 의료용 로봇 시스템.
  49. 제 47 항에 있어서, 주 입력장치와 연계된 커서가 파생 이미지 위에 표시된 상태에서 사용자가 제어입력을 활성화했을 때는 컴퓨터 표시부 화면상에 표시되는 파생 이미지들 중 하나에 대해 잡는 기능을 수행하고, 이미지 조작 모드에 있을 때는 활성화된 제어입력을 유지한 상태에서 사용자가 주 입력장치를 움직였을 때 파생 이미지에 대한 이동 기능을 수행하도록 프로세서가 구성된 것을 특징으로 하는 의료용 로봇 시스템.
  50. 제 49 항에 있어서, 파생 이미지에 대한 이동 기능을 수행하는 동안 주 입력장치에 촉각 피드백을 제공하도록 프로세서가 추가로 구성된 것을 특징으로 하는 의료용 로봇 시스템.
  51. 제 50 항에 있어서, 파생 이미지에 대한 실제 질량과 관성 특성을 연계시킴으로써 촉각 피드백이 제공되며, 이로써 이미지 조작 모드 상태에서 주 입력장치의 사용자 조작에 대응하여 파생 이미지에 대한 잡는 기능 및 이동 기능을 프로세서가 수행할 때의 반영된 힘을 사용자가 느낄 수 있는 것을 특징으로 하는 의료용 로봇 시스템.
  52. 제 49 항에 있어서, 이미지 캡처 장치는 보조 이미지를 캡처하며, 주 이미지 캡처 장치에 의해 캡처된 주 이미지를 주 이미지 위에 파생 이미지들 중 하나의 적어도 일부분을 오버레이하여 컴퓨터 표시부 화면상에 표시하도록 프로세서가 구성된 것을 특징으로 하는 의료용 로봇 시스템.
  53. 제 52 항에 있어서, 사용자가 파생 이미지에 대한 잡는 기능 및 이동 기능을 수행함으로써 파생 이미지들 중 하나와 주 이미지의 수동 병합이 용이하게 되고, 이로써 이미지 조작 모드 상태에서 파생 이미지와 주 이미지를 병합하여 컴퓨터 표시부 화면상에 표시하도록 프로세서가 구성된 것을 특징으로 하는 의료용 로봇 시스템.
  54. 제 47 항에 있어서, 주 입력장치는 사용자의 손에 의해 압박되도록 적합하게 된 그러퍼를 구비하고, 이것은 주 입력장치가 이미지 조작 모드에 있을 때에 제어입력에 따라서 기능하는 것을 특징으로 하는 의료용 로봇 시스템.
  55. 제 54 항에 있어서, 주 입력장치가 이미지 조작 모드에 있는 상태에서 그리퍼가 압박되고 그리퍼 축을 기준으로 회전될 때에 파생 이미지들과 연계된 파라미터를 조정하도록 프로세서가 구성된 것을 특징으로 하는 의료용 로봇 시스템.
  56. 제 55 항에 있어서, 조정가능한 파라미터는 파생 이미지의 밝기인 것을 특징으로 하는 의료용 로봇 시스템.
  57. 제 55 항에 있어서, 조정가능한 파라미터는 파생 이미지의 색조인 것을 특징으로 하는 의료용 로봇 시스템.
  58. 제 55 항에 있어서, 조정가능한 파라미터는 파생 이미지의 디테일 수준인 것을 특징으로 하는 의료용 로봇 시스템.
  59. 제 58 항에 있어서, 파생 이미지를 한정하는 메시 구조의 조악성 수준에 의해서 파생 이미지의 디테일 수준이 결정되는 것을 특징으로 하는 의료용 로봇 시스템.
  60. 제 47 항에 있어서, 파생 이미지는 캡처된 이미지로부터 생성된 3-차원 볼륨이며, 컴퓨터 표시부 화면상에 3-차원 볼륨들 중 하나와 2-차원 창을 표시하고, 주 입력장치의 사용자 조작에 대응하여 컴퓨터 표시부 화면상에서 창의 위치와 방향을 조작하고, 창과 3-차원 볼륨의 교차에 의해 절단-면을 한정하여 3-차원 볼륨에 2-차원 슬라이스를 나타내도록 프로세서가 추가로 구성된 것을 특징으로 하는 의료용 로봇 시스템.
  61. 제 60 항에 있어서, 2-차원 슬라이스가 창 안에 표시되는 것을 특징으로 하는 의료용 로봇 시스템.
  62. 제 60 항에 있어서, 2-차원 슬라이스가 컴퓨터 표시부 화면의 픽쳐-인-픽쳐 창 안에 표시되는 것을 특징으로 하는 의료용 로봇 시스템.
  63. 제 60 항에 있어서, 컴퓨터 표시부 화면상에 사용자 선택가능한 수의 2-차원 창을 표시하고, 주 입력장치의 사용자 조작에 대응하여 컴퓨터 표시부 화면상에서 창들의 위치와 방향을 개별적으로 조작하고, 조작된 창들과 3-차원 볼륨의 교차에 의해 절단-면을 한정하여 3-차원 볼륨에 상응하는 2-차원 슬라이스를 나타내도록 프로세서가 추가로 구성된 것을 특징으로 하는 의료용 로봇 시스템.
  64. 제 63 항에 있어서, 2-차원 슬라이스가 컴퓨터 표시부 화면의 상응하는 픽쳐-인-픽쳐 창 안에 표시되는 것을 특징으로 하는 의료용 로봇 시스템.
  65. 제 60 항에 있어서, 컴퓨터 표시부 화면상에 표시되는 메뉴에 포함된 항목의 사용자 선택에 대응하여 컴퓨터 표시부 화면상에 2-차원 창을 표시하도록 프로세서가 구성된 것을 특징으로 하는 의료용 로봇 시스템.
  66. 제 60 항에 있어서, 표시부 화면상에 표시되는 아이콘의 사용자 선택에 대응하여 컴퓨터 표시부 화면상에 2-차원 창을 표시하도록 프로세서가 구성된 것을 특징으로 하는 의료용 로봇 시스템.
  67. 제 66 항에 있어서, 아이콘이 컴퓨터 표시부 화면의 외주 영역에 표시되며, 아이콘의 사용자 선택에 따라서 아이콘을 클릭하고 외주 영역으로부터 떨어진 장소로 아이콘을 드래그하는 사용자에 의한 마우스-타입의 실행을 해석하도록 프로세서가 추가로 구성된 것을 특징으로 하는 의료용 로봇 시스템.
  68. 제 67 항에 있어서, 이미지 캡처 장치는 초음파 프로브이고, 파생 이미지는 초음파 프로브에 의해 캡처된 2-차원 초음파 슬라이스로부터 컴퓨터에 의해 생성되는 해부학적 구조의 3-차원 초음파 이미지인 것을 특징으로 하는 의료용 로봇 시스템.
  69. 제 47 항에 있어서, 컴퓨터 표시부 화면상에 파생 이미지들 중 하나와 지우개 이미지를 표시하고, 주 입력장치의 사용자 조작에 대응하여 컴퓨터 표시부 상에서 적어도 지우개 이미지의 위치를 조작하고, 컴퓨터 표시부 화면상에서 지우개 이미지를 조작함에 따라서 지우개 이미지가 지나가는 컴퓨터 표시부 화면상에 표시되는 파생 이미지 중 하나의 어떤 부분이 지워지도록 프로세서가 추가로 구성된 것을 특징으로 하는 의료용 로봇 시스템.
  70. 제 69 항에 있어서, 지우개 이미지가 지나가는 파생 이미지 부분의 모든 디테일이 지워지도록 프로세서가 구성된 것을 특징으로 하는 의료용 로봇 시스템.
  71. 제 69 항에 있어서, 지우개 이미지가 지나가는 파생 이미지 부분의 디테일이 감소하도록 프로세서가 구성된 것을 특징으로 하는 의료용 로봇 시스템.
  72. 제 71 항에 있어서, 지우개 이미지가 지나가는 파생 이미지 부분의 디테일의 감소는 파생 이미지를 한정하는 메시 구조의 섬세성의 감소를 수반하는 것을 특징으로 하는 의료용 로봇 시스템.
KR1020087006736A 2005-10-20 2006-10-19 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작 KR101320379B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US72845005P 2005-10-20 2005-10-20
US60/728,450 2005-10-20
PCT/US2006/040754 WO2007047782A2 (en) 2005-10-20 2006-10-19 Auxiliary image display and manipulation on a computer display in a medical robotic system

Publications (2)

Publication Number Publication Date
KR20080068640A true KR20080068640A (ko) 2008-07-23
KR101320379B1 KR101320379B1 (ko) 2013-10-22

Family

ID=37744551

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087006736A KR101320379B1 (ko) 2005-10-20 2006-10-19 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작

Country Status (6)

Country Link
US (4) US20080033240A1 (ko)
EP (4) EP3162318B1 (ko)
JP (4) JP5322648B2 (ko)
KR (1) KR101320379B1 (ko)
CN (3) CN103142309B (ko)
WO (1) WO2007047782A2 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110036453A (ko) * 2009-10-01 2011-04-07 주식회사 이턴 수술용 영상 처리 장치 및 그 방법
WO2011040769A2 (ko) * 2009-10-01 2011-04-07 주식회사 이턴 수술용 영상 처리 장치, 영상 처리 방법, 복강경 조작 방법, 수술 로봇 시스템 및 그 동작 제한 방법
KR20110047929A (ko) * 2009-10-30 2011-05-09 주식회사 이턴 수술 로봇 시스템 및 그 동작 제한 방법
KR101039108B1 (ko) * 2009-09-01 2011-06-07 한양대학교 산학협력단 의료용 로봇 시스템 및 그 제어 방법
KR20150127277A (ko) * 2013-03-15 2015-11-16 9234438 캐나다 인크. 전기 외과용 지도화 도구 및 방법
KR20160105963A (ko) * 2016-08-26 2016-09-08 (주)미래컴퍼니 수술 로봇 시스템 및 그 동작 제한 방법
US9713460B2 (en) 2013-05-02 2017-07-25 Samsung Medison Co., Ltd. Ultrasound system and method for providing change information of target object
KR101876795B1 (ko) * 2009-10-07 2018-07-10 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치
KR20190095528A (ko) * 2010-05-14 2019-08-14 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 커플형 제어 모드를 사용한 의료 로봇 시스템
WO2021015449A3 (ko) * 2019-07-24 2021-03-18 경북대학교 산학협력단 수술위치 정보제공방법 및 수술위치 정보제공장치

Families Citing this family (175)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US9517106B2 (en) 1999-09-17 2016-12-13 Intuitive Surgical Operations, Inc. Systems and methods for commanded reconfiguration of a surgical manipulator using the null-space
US9155544B2 (en) * 2002-03-20 2015-10-13 P Tech, Llc Robotic systems and methods
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US9492240B2 (en) 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US8971597B2 (en) * 2005-05-16 2015-03-03 Intuitive Surgical Operations, Inc. Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
EP3162318B1 (en) 2005-10-20 2019-10-16 Intuitive Surgical Operations, Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
US7907166B2 (en) * 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
CN104688281B (zh) 2006-06-13 2017-04-19 直观外科手术操作公司 微创手术系统
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
WO2008076910A1 (en) * 2006-12-15 2008-06-26 The Board Of Trustees Of The Leland Stanford Junior University Image mosaicing systems and methods
US9980691B2 (en) * 2006-12-28 2018-05-29 David Byron Douglas Method and apparatus for three dimensional viewing of images
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
JP4916011B2 (ja) * 2007-03-20 2012-04-11 株式会社日立製作所 マスタ・スレーブ式マニピュレータシステム
WO2009034477A2 (en) * 2007-04-16 2009-03-19 The Governors Of The University Of Calgary Frame mapping and force feedback methods, devices and systems
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US20090069804A1 (en) * 2007-09-12 2009-03-12 Jensen Jeffrey L Apparatus for efficient power delivery
US9050120B2 (en) * 2007-09-30 2015-06-09 Intuitive Surgical Operations, Inc. Apparatus and method of user interface with alternate tool mode for robotic surgical tools
US8042435B2 (en) * 2007-11-26 2011-10-25 Thompson Ray P Special articulating tool holder
US9123159B2 (en) * 2007-11-30 2015-09-01 Microsoft Technology Licensing, Llc Interactive geo-positioning of imagery
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8155479B2 (en) 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
DE102008041867B4 (de) 2008-09-08 2015-09-10 Deutsches Zentrum für Luft- und Raumfahrt e.V. Medizinischer Arbeitsplatz und Bedienvorrichtung zum manuellen Bewegen eines Roboterarms
US8315720B2 (en) 2008-09-26 2012-11-20 Intuitive Surgical Operations, Inc. Method for graphically providing continuous change of state directions to a user of a medical robotic system
CN102224737B (zh) * 2008-11-24 2014-12-03 皇家飞利浦电子股份有限公司 组合三维视频和辅助数据
US8184880B2 (en) * 2008-12-31 2012-05-22 Intuitive Surgical Operations, Inc. Robust sparse image matching for robotic surgery
US8830224B2 (en) * 2008-12-31 2014-09-09 Intuitive Surgical Operations, Inc. Efficient 3-D telestration for local robotic proctoring
WO2010105237A2 (en) * 2009-03-12 2010-09-16 Health Research Inc. Method and system for minimally-invasive surgery training
US9155592B2 (en) * 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
JP5774596B2 (ja) 2009-10-30 2015-09-09 ザ・ジョンズ・ホプキンス・ユニバーシティー 外科的介入のための臨床上重要な解剖学的標識点の視覚的追跡／アノテーション
DE102010009295B4 (de) * 2010-02-25 2019-02-21 Siemens Healthcare Gmbh Verfahren zur Darstellung eines zu untersuchenden und/oder behandelnden Bereichs
US9298260B2 (en) * 2010-03-12 2016-03-29 Broadcom Corporation Tactile communication system with communications based on capabilities of a remote system
US8675939B2 (en) 2010-07-13 2014-03-18 Stryker Leibinger Gmbh & Co. Kg Registration of anatomical data sets
EP2636034A4 (en) * 2010-11-04 2015-07-22 Univ Johns Hopkins SYSTEM AND METHOD FOR ASSESSING OR ENHANCING CAPACITIES IN NON-INVASIVE SURGERY
US9486189B2 (en) 2010-12-02 2016-11-08 Hitachi Aloka Medical, Ltd. Assembly for use with surgery system
JP5717543B2 (ja) 2011-05-30 2015-05-13 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置及びその制御プログラム
WO2013005862A1 (en) 2011-07-07 2013-01-10 Olympus Corporation Medical master slave manipulator
JP5892361B2 (ja) * 2011-08-02 2016-03-23 ソニー株式会社 制御装置、制御方法、プログラム、及びロボット制御システム
JP6009840B2 (ja) 2011-08-04 2016-10-19 オリンパス株式会社 医療機器
JP5931497B2 (ja) 2011-08-04 2016-06-08 オリンパス株式会社 手術支援装置およびその組立方法
JP6000641B2 (ja) 2011-08-04 2016-10-05 オリンパス株式会社 マニピュレータシステム
JP6081061B2 (ja) 2011-08-04 2017-02-15 オリンパス株式会社 手術支援装置
WO2013018897A1 (ja) 2011-08-04 2013-02-07 オリンパス株式会社 術具及び医療用マニピュレータ
WO2013018861A1 (ja) 2011-08-04 2013-02-07 オリンパス株式会社 医療用マニピュレータおよびその制御方法
WO2013018908A1 (ja) 2011-08-04 2013-02-07 オリンパス株式会社 医療用マニピュレータおよび手術支援装置
JP6021353B2 (ja) 2011-08-04 2016-11-09 オリンパス株式会社 手術支援装置
JP5841451B2 (ja) 2011-08-04 2016-01-13 オリンパス株式会社 手術器具およびその制御方法
JP6005950B2 (ja) 2011-08-04 2016-10-12 オリンパス株式会社 手術支援装置及びその制御方法
JP5953058B2 (ja) 2011-08-04 2016-07-13 オリンパス株式会社 手術支援装置およびその着脱方法
JP6021484B2 (ja) 2011-08-04 2016-11-09 オリンパス株式会社 医療用マニピュレータ
JP5936914B2 (ja) 2011-08-04 2016-06-22 オリンパス株式会社 操作入力装置およびこれを備えるマニピュレータシステム
KR101828453B1 (ko) 2011-12-09 2018-02-13 삼성전자주식회사 의료용 로봇 시스템 및 그 제어 방법
US9956042B2 (en) 2012-01-13 2018-05-01 Vanderbilt University Systems and methods for robot-assisted transurethral exploration and intervention
CN111449756B (zh) 2012-02-15 2023-06-16 直观外科手术操作公司 使用模式区分操作员动作的机器人系统操作模式的用户选择
EP2650691A1 (en) 2012-04-12 2013-10-16 Koninklijke Philips N.V. Coordinate transformation of graphical objects registered to a magnetic resonance image
US9687303B2 (en) 2012-04-20 2017-06-27 Vanderbilt University Dexterous wrists for surgical intervention
US9549720B2 (en) 2012-04-20 2017-01-24 Vanderbilt University Robotic device for establishing access channel
US9539726B2 (en) * 2012-04-20 2017-01-10 Vanderbilt University Systems and methods for safe compliant insertion and hybrid force/motion telemanipulation of continuum robots
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US20130314418A1 (en) * 2012-05-24 2013-11-28 Siemens Medical Solutions Usa, Inc. System for Erasing Medical Image Features
WO2013181507A1 (en) 2012-06-01 2013-12-05 Intuitive Surgical Operations, Inc. Systems and methods for commanded reconfiguration of a surgical manipulator using the null-space
US9642606B2 (en) 2012-06-27 2017-05-09 Camplex, Inc. Surgical visualization system
US9216068B2 (en) 2012-06-27 2015-12-22 Camplex, Inc. Optics for video cameras on a surgical visualization system
CN104411248B (zh) 2012-06-28 2017-09-26 皇家飞利浦有限公司 在内窥镜外科手术中用于最佳图像采集的c型臂轨迹规划
US11278182B2 (en) * 2012-06-28 2022-03-22 Koninklijke Philips N.V. Enhanced visualization of blood vessels using a robotically steered endoscope
US9076227B2 (en) * 2012-10-01 2015-07-07 Mitsubishi Electric Research Laboratories, Inc. 3D object tracking in multiple 2D sequences
CN103054612B (zh) * 2012-12-10 2015-06-10 苏州佳世达电通有限公司 超声波探头鼠标及超声波仪
US9386908B2 (en) * 2013-01-29 2016-07-12 Gyrus Acmi, Inc. (D.B.A. Olympus Surgical Technologies America) Navigation using a pre-acquired image
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
KR102257034B1 (ko) 2013-03-15 2021-05-28 에스알아이 인터내셔널 하이퍼덱스트러스 수술 시스템
WO2014189969A1 (en) 2013-05-21 2014-11-27 Camplex, Inc. Surgical visualization systems
WO2015042483A2 (en) 2013-09-20 2015-03-26 Camplex, Inc. Surgical visualization systems
JP5781135B2 (ja) * 2013-09-27 2015-09-16 エフ・エーシステムエンジニアリング株式会社 ３ｄナビゲーション映像生成装置
JP5927348B2 (ja) * 2013-10-30 2016-06-01 オリンパス株式会社 内視鏡装置
JP6358463B2 (ja) 2013-11-13 2018-07-18 パナソニックＩｐマネジメント株式会社 マスタースレーブ装置用マスター装置及びその制御方法、及び、マスタースレーブ装置
US10057590B2 (en) * 2014-01-13 2018-08-21 Mediatek Inc. Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding
WO2015110928A1 (en) 2014-01-24 2015-07-30 Koninklijke Philips N.V. Virtual image with optical shape sensing device perspective
US10083278B2 (en) * 2014-02-12 2018-09-25 Edda Technology, Inc. Method and system for displaying a timing signal for surgical instrument insertion in surgical procedures
US10130436B2 (en) 2014-03-17 2018-11-20 Intuitive Surgical Operations, Inc. Automated structure with pre-established arm positions in a teleoperated medical system
CN106470634B (zh) 2014-03-17 2019-06-14 直观外科手术操作公司 用于遥控操作医疗系统中的器械的屏外指示的系统和方法
EP3119329B1 (en) 2014-03-17 2022-07-20 Intuitive Surgical Operations, Inc. Guided setup for teleoperated medical device
US10555788B2 (en) 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
JP6609616B2 (ja) 2014-03-28 2019-11-20 インテュイティブ サージカル オペレーションズ， インコーポレイテッド マルチポートの視点からの手術シーンの定量的な３次元イメージング
JP6854237B2 (ja) 2014-03-28 2021-04-07 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視野内の器具の定量的三次元視覚化
CN106456252B (zh) 2014-03-28 2020-05-08 直观外科手术操作公司 手术场景的定量三维成像
KR102405687B1 (ko) 2014-03-28 2022-06-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술용 임플란트의 정량적 3차원 영상화 및 프린팅
JP2015192697A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 制御装置および制御方法、並びに撮影制御システム
JP6305810B2 (ja) * 2014-03-31 2018-04-04 キヤノンメディカルシステムズ株式会社 医用画像診断装置
EP3136943A4 (en) * 2014-05-01 2017-12-27 EndoChoice, Inc. System and method of scanning a body cavity using a multiple viewing elements endoscope
CN105321202A (zh) * 2014-07-16 2016-02-10 南京普爱射线影像设备有限公司 医学二维图像和3d图像显示软件系统
JP6246093B2 (ja) 2014-07-25 2017-12-13 オリンパス株式会社 処置具及び処置具システム
US9815206B2 (en) * 2014-09-25 2017-11-14 The Johns Hopkins University Surgical system user interface using cooperatively-controlled robot
US10123846B2 (en) 2014-11-13 2018-11-13 Intuitive Surgical Operations, Inc. User-interface control using master controller
CN107106245B (zh) * 2014-11-13 2024-04-19 直观外科手术操作公司 用户界面与主控制器之间的交互作用
US10702353B2 (en) 2014-12-05 2020-07-07 Camplex, Inc. Surgical visualizations systems and displays
US11154378B2 (en) 2015-03-25 2021-10-26 Camplex, Inc. Surgical visualization systems and displays
CN104887175A (zh) * 2015-06-03 2015-09-09 皖南医学院 一种虚拟胃镜检查与诊断系统
JP6871929B2 (ja) * 2015-09-29 2021-05-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ロボット支援低侵襲手術のための器具コントローラ
US20180271613A1 (en) * 2015-10-02 2018-09-27 Sony Corporation Medical control apparatus, control method, program, and medical control system
EP3383247A4 (en) * 2015-11-25 2019-06-26 Camplex, Inc. SURGICAL VISUALIZATION SYSTEMS AND DISPLAYS
CN105376503B (zh) * 2015-12-14 2018-07-20 北京医千创科技有限公司 一种手术图像处理装置及方法
KR102584758B1 (ko) * 2016-06-09 2023-10-06 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 컴퓨터 보조 원격 조작 수술 시스템 및 방법
CN108024833B (zh) 2016-06-30 2021-06-04 直观外科手术操作公司 用于在图像引导过程期间显示引导信息的图形用户界面
KR102420386B1 (ko) 2016-06-30 2022-07-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
KR20190018743A (ko) * 2016-07-14 2019-02-25 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작 의료 시스템 내의 온스크린 메뉴들을 위한 시스템들 및 방법들
EP3500174A4 (en) * 2016-08-18 2020-01-22 Stryker European Holdings I, LLC METHOD FOR VISUALIZING AN OS
SG11201805714YA (en) * 2016-11-01 2018-07-30 Bio Medical Eng Hk Ltd Surgical robotic devices and systems for use in performing minimally invasive and natural orifice transluminal endoscopic surgical actions
EP3576596A4 (en) 2016-12-02 2021-01-06 Vanderbilt University STEERABLE ENDOSCOPE WITH CONTINUOUS MANIPULATOR
CN110290758A (zh) * 2017-02-14 2019-09-27 直观外科手术操作公司 计算机辅助远程操作手术中的多维可视化
US10839956B2 (en) * 2017-03-03 2020-11-17 University of Maryland Medical Center Universal device and method to integrate diagnostic testing into treatment in real-time
CN110621252B (zh) * 2017-04-18 2024-03-15 直观外科手术操作公司 用于监测图像引导程序的图形用户界面
US10918455B2 (en) 2017-05-08 2021-02-16 Camplex, Inc. Variable light source
CN110913749B (zh) * 2017-07-03 2022-06-24 富士胶片株式会社 医疗图像处理装置、内窥镜装置、诊断支持装置、医疗业务支持装置及报告书制作支持装置
JP7215809B2 (ja) * 2017-08-21 2023-01-31 リライン コーポレーション 関節鏡検査装置及び関節鏡検査方法
EP4279013A3 (en) * 2017-08-22 2023-11-29 Intuitive Surgical Operations, Inc. User-installable part installation detection techniques
US20200261180A1 (en) * 2017-09-06 2020-08-20 Covidien Lp 27-3systems, methods, and computer-readable media for providing stereoscopic visual perception notifications and/or recommendations during a robotic surgical procedure
US10967504B2 (en) 2017-09-13 2021-04-06 Vanderbilt University Continuum robots with multi-scale motion through equilibrium modulation
WO2019079126A1 (en) * 2017-10-17 2019-04-25 Verily Life Sciences Llc DISPLAYING PREOPERATIVE AND INTRA-OPERATIVE IMAGES
CN111356407A (zh) * 2017-10-20 2020-06-30 昆山华大智造云影医疗科技有限公司 超声检测装置、超声控制装置、超声系统及超声成像方法
US10980560B2 (en) 2017-10-30 2021-04-20 Ethicon Llc Surgical instrument systems comprising feedback mechanisms
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11399858B2 (en) 2018-03-08 2022-08-02 Cilag Gmbh International Application of smart blade technology
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
CN108836392B (zh) * 2018-03-30 2021-06-22 中国科学院深圳先进技术研究院 基于超声rf信号的超声成像方法、装置、设备及存储介质
KR20210010871A (ko) 2018-05-18 2021-01-28 아우리스 헬스, 인코포레이티드 로봇식 원격작동 시스템을 위한 제어기
CN109330690B (zh) * 2018-07-31 2020-06-16 深圳市精锋医疗科技有限公司 从操作设备组件及手术机器人
US20200073526A1 (en) * 2018-08-28 2020-03-05 Johnson Controls Technology Company Energy management system with draggable and non-draggable building component user interface elements
WO2020054566A1 (ja) * 2018-09-11 2020-03-19 ソニー株式会社 医療用観察システム、医療用観察装置及び医療用観察方法
WO2020060750A1 (en) 2018-09-17 2020-03-26 Auris Health, Inc. Systems and methods for concomitant medical procedures
EP3860426A4 (en) * 2018-10-02 2022-12-07 Convergascent LLC ENDOSCOPE WITH INERTIAL MEASUREMENTS AND/OR HAPTIC INPUT CONTROLS
CN109498162B (zh) * 2018-12-20 2023-11-03 深圳市精锋医疗科技股份有限公司 提升沉浸感的主操作台及手术机器人
US20220096164A1 (en) * 2019-02-12 2022-03-31 Intuitive Surgical Operations, Inc. Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system
US11298130B2 (en) 2019-02-19 2022-04-12 Cilag Gmbh International Staple cartridge retainer with frangible authentication key
US20220215539A1 (en) * 2019-05-31 2022-07-07 Intuitive Surgical Operations, Inc. Composite medical imaging systems and methods
US11903650B2 (en) 2019-09-11 2024-02-20 Ardeshir Rastinehad Method for providing clinical support for surgical guidance during robotic surgery
US11931119B1 (en) 2019-11-15 2024-03-19 Verily Life Sciences Llc Integrating applications in a surgeon console user interface of a robotic surgical system
US11918307B1 (en) * 2019-11-15 2024-03-05 Verily Life Sciences Llc Integrating applications in a surgeon console user interface of a robotic surgical system
JP2021091060A (ja) * 2019-12-12 2021-06-17 セイコーエプソン株式会社 制御方法およびロボットシステム
US20220087763A1 (en) * 2020-09-23 2022-03-24 Verb Surgical Inc. Deep disengagement detection during telesurgery
USD981425S1 (en) * 2020-09-30 2023-03-21 Karl Storz Se & Co. Kg Display screen with graphical user interface
CN114831738A (zh) * 2020-10-08 2022-08-02 深圳市精锋医疗科技股份有限公司 手术机器人及其图形化控制装置、图形化显示方法
USD1022197S1 (en) 2020-11-19 2024-04-09 Auris Health, Inc. Endoscope
CN112957107B (zh) * 2021-02-19 2021-11-30 南昌华安众辉健康科技有限公司 一种具有腹腔硬镜的胸腹腔手术器械
AU2022247392A1 (en) 2021-03-31 2023-09-28 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery
US11819302B2 (en) 2021-03-31 2023-11-21 Moon Surgical Sas Co-manipulation surgical system having user guided stage control
US11832909B2 (en) 2021-03-31 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having actuatable setup joints
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
US11844583B2 (en) 2021-03-31 2023-12-19 Moon Surgical Sas Co-manipulation surgical system having an instrument centering mode for automatic scope movements
CN113925615A (zh) * 2021-10-26 2022-01-14 北京歌锐科技有限公司 一种微创手术设备及其控制方法
US11717149B1 (en) 2022-04-27 2023-08-08 Maciej J. Kieturakis Methods and systems for robotic single-port laparoscopic access
CN115363751B (zh) * 2022-08-12 2023-05-16 华平祥晟(上海)医疗科技有限公司 术中解剖结构指示方法
US11839442B1 (en) 2023-01-09 2023-12-12 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5493595A (en) * 1982-02-24 1996-02-20 Schoolman Scientific Corp. Stereoscopically displayed three dimensional medical imaging
US5181514A (en) 1991-05-21 1993-01-26 Hewlett-Packard Company Transducer positioning system
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5279309A (en) * 1991-06-13 1994-01-18 International Business Machines Corporation Signaling device and method for monitoring positions in a surgical operation
US5182728A (en) * 1991-06-28 1993-01-26 Acoustic Imaging Technologies Corporation Ultrasound imaging system and method
US6963792B1 (en) * 1992-01-21 2005-11-08 Sri International Surgical method
US5361768A (en) * 1992-06-30 1994-11-08 Cardiovascular Imaging Systems, Inc. Automated longitudinal position translator for ultrasonic imaging probes, and methods of using same
US5397323A (en) * 1992-10-30 1995-03-14 International Business Machines Corporation Remote center-of-motion robot for surgery
US5788688A (en) * 1992-11-05 1998-08-04 Bauer Laboratories, Inc. Surgeon's command and control
WO1994024631A1 (en) * 1993-04-20 1994-10-27 General Electric Company Computer graphic and live video system for enhancing visualisation of body structures during surgery
US5842473A (en) * 1993-11-29 1998-12-01 Life Imaging Systems Three-dimensional imaging system
US6241725B1 (en) 1993-12-15 2001-06-05 Sherwood Services Ag High frequency thermal ablation of cancerous tumors and functional targets with image data assistance
US5765561A (en) * 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
JPH08111816A (ja) * 1994-10-11 1996-04-30 Toshiba Corp 医用画像表示装置
US5836880A (en) * 1995-02-27 1998-11-17 Micro Chemical, Inc. Automated system for measuring internal tissue characteristics in feed animals
US5797849A (en) * 1995-03-28 1998-08-25 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
US5817022A (en) * 1995-03-28 1998-10-06 Sonometrics Corporation System for displaying a 2-D ultrasound image within a 3-D viewing environment
JPH08275958A (ja) * 1995-04-07 1996-10-22 Olympus Optical Co Ltd 手術用マニピュレータ装置
US5887121A (en) * 1995-04-21 1999-03-23 International Business Machines Corporation Method of constrained Cartesian control of robotic mechanisms with active and passive joints
US5551432A (en) * 1995-06-19 1996-09-03 New York Eye & Ear Infirmary Scanning control system for ultrasound biomicroscopy
US6256529B1 (en) * 1995-07-26 2001-07-03 Burdette Medical Systems, Inc. Virtual reality 3D visualization for surgical procedures
JPH09173352A (ja) * 1995-12-25 1997-07-08 Toshiba Medical Eng Co Ltd 医用ナビゲーションシステム
US5797900A (en) 1996-05-20 1998-08-25 Intuitive Surgical, Inc. Wrist mechanism for surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US6642836B1 (en) * 1996-08-06 2003-11-04 Computer Motion, Inc. General purpose distributed operating room control system
US5810008A (en) * 1996-12-03 1998-09-22 Isg Technologies Inc. Apparatus and method for visualizing ultrasonic images
US5853367A (en) * 1997-03-17 1998-12-29 General Electric Company Task-interface and communications system and method for ultrasound imager control
JPH10322629A (ja) * 1997-05-16 1998-12-04 Canon Inc 撮像装置、撮像システム、及び記憶媒体
US6129670A (en) * 1997-11-24 2000-10-10 Burdette Medical Systems Real time brachytherapy spatial registration and visualization system
US5842993A (en) * 1997-12-10 1998-12-01 The Whitaker Corporation Navigable ultrasonic imaging probe assembly
JP3582348B2 (ja) * 1998-03-19 2004-10-27 株式会社日立製作所 手術装置
US6950689B1 (en) * 1998-08-03 2005-09-27 Boston Scientific Scimed, Inc. Dynamically alterable three-dimensional graphical model of a body region
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6951535B2 (en) * 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6799065B1 (en) * 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US6602185B1 (en) * 1999-02-18 2003-08-05 Olympus Optical Co., Ltd. Remote surgery support system
JP2000300579A (ja) * 1999-04-26 2000-10-31 Olympus Optical Co Ltd 多機能マニピュレータ
US6312391B1 (en) * 2000-02-16 2001-11-06 Urologix, Inc. Thermodynamic modeling of tissue treatment procedure
US6599247B1 (en) * 2000-07-07 2003-07-29 University Of Pittsburgh System and method for location-merging of real-time tomographic slice images with human vision
US6862561B2 (en) * 2001-05-29 2005-03-01 Entelos, Inc. Method and apparatus for computer modeling a joint
US6887245B2 (en) * 2001-06-11 2005-05-03 Ge Medical Systems Global Technology Company, Llc Surgical drill for use with a computer assisted surgery system
US7831292B2 (en) * 2002-03-06 2010-11-09 Mako Surgical Corp. Guidance system and method for surgical procedures with improved feedback
EP1531749A2 (en) * 2002-08-13 2005-05-25 Microbotics Corporation Microsurgical robot system
US20060161218A1 (en) * 2003-11-26 2006-07-20 Wicab, Inc. Systems and methods for treating traumatic brain injury
JP4377827B2 (ja) * 2004-03-30 2009-12-02 株式会社東芝 マニピュレータ装置
WO2006020792A2 (en) * 2004-08-10 2006-02-23 The General Hospital Corporation Methods and apparatus for simulation of endovascular and endoluminal procedures
JP2006055273A (ja) * 2004-08-18 2006-03-02 Olympus Corp 手術支援システム
US7396129B2 (en) * 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
JP2006320427A (ja) * 2005-05-17 2006-11-30 Hitachi Medical Corp 内視鏡手術支援システム
JP2006321027A (ja) * 2005-05-20 2006-11-30 Hitachi Ltd マスタ・スレーブ式マニピュレータシステム及びその操作入力装置
JP4398405B2 (ja) * 2005-05-30 2010-01-13 アロカ株式会社 医療システム
EP2289454B1 (en) * 2005-06-06 2020-03-25 Intuitive Surgical Operations, Inc. Laparoscopic ultrasound robotic surgical system
EP3162318B1 (en) * 2005-10-20 2019-10-16 Intuitive Surgical Operations, Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101039108B1 (ko) * 2009-09-01 2011-06-07 한양대학교 산학협력단 의료용 로봇 시스템 및 그 제어 방법
WO2011040769A3 (ko) * 2009-10-01 2011-09-15 주식회사 이턴 수술용 영상 처리 장치, 영상 처리 방법, 복강경 조작 방법, 수술 로봇 시스템 및 그 동작 제한 방법
WO2011040769A2 (ko) * 2009-10-01 2011-04-07 주식회사 이턴 수술용 영상 처리 장치, 영상 처리 방법, 복강경 조작 방법, 수술 로봇 시스템 및 그 동작 제한 방법
KR20110036453A (ko) * 2009-10-01 2011-04-07 주식회사 이턴 수술용 영상 처리 장치 및 그 방법
KR20180081168A (ko) * 2009-10-07 2018-07-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치
KR101876795B1 (ko) * 2009-10-07 2018-07-10 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 방법 및 장치
KR20190037374A (ko) * 2009-10-07 2019-04-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 수술 시스템
KR20200008067A (ko) * 2009-10-07 2020-01-22 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 임상 영상 상에 강화된 영상화 데이터를 표시하기 위한 수술 시스템
KR20110047929A (ko) * 2009-10-30 2011-05-09 주식회사 이턴 수술 로봇 시스템 및 그 동작 제한 방법
KR20190095528A (ko) * 2010-05-14 2019-08-14 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 커플형 제어 모드를 사용한 의료 로봇 시스템
KR20200122405A (ko) * 2010-05-14 2020-10-27 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 커플형 제어 모드를 사용한 의료 로봇 시스템
KR20150127277A (ko) * 2013-03-15 2015-11-16 9234438 캐나다 인크. 전기 외과용 지도화 도구 및 방법
US9713460B2 (en) 2013-05-02 2017-07-25 Samsung Medison Co., Ltd. Ultrasound system and method for providing change information of target object
KR20160105963A (ko) * 2016-08-26 2016-09-08 (주)미래컴퍼니 수술 로봇 시스템 및 그 동작 제한 방법
WO2021015449A3 (ko) * 2019-07-24 2021-03-18 경북대학교 산학협력단 수술위치 정보제공방법 및 수술위치 정보제공장치

Also Published As

Publication number Publication date
EP3155998B1 (en) 2021-03-31
JP5276706B2 (ja) 2013-08-28
JP2012055752A (ja) 2012-03-22
US20190388169A1 (en) 2019-12-26
US11197731B2 (en) 2021-12-14
JP5639223B2 (ja) 2014-12-10
CN103142309B (zh) 2015-06-17
KR101320379B1 (ko) 2013-10-22
JP2013150873A (ja) 2013-08-08
US20160235496A1 (en) 2016-08-18
CN103142309A (zh) 2013-06-12
JP5322648B2 (ja) 2013-10-23
CN101291635B (zh) 2013-03-27
EP3162318A2 (en) 2017-05-03
EP1937176A2 (en) 2008-07-02
EP1937176B1 (en) 2019-04-17
CN103251455B (zh) 2016-04-27
EP3524202A1 (en) 2019-08-14
WO2007047782A3 (en) 2007-09-13
JP2009512514A (ja) 2009-03-26
JP2012061336A (ja) 2012-03-29
CN103251455A (zh) 2013-08-21
EP3162318B1 (en) 2019-10-16
US20080033240A1 (en) 2008-02-07
US20220071721A1 (en) 2022-03-10
EP3155998A1 (en) 2017-04-19
JP5467615B2 (ja) 2014-04-09
EP3162318A3 (en) 2017-08-09
WO2007047782A2 (en) 2007-04-26
CN101291635A (zh) 2008-10-22

Similar Documents

Publication Publication Date Title
US11197731B2 (en) Auxiliary image display and manipulation on a computer display in a medical robotic system
JP6138227B2 (ja) 腹腔鏡超音波ロボット外科手術システム
CN106456148B (zh) 使用眼球凝视跟踪的医疗装置、系统和方法
JP5707449B2 (ja) コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標
KR20170035831A (ko) 인텔리전트 포지셔닝 시스템과 그것의 방법들
JP2009512514A5 (ko)
CN110226967A (zh) 用于远程操作医疗系统的结构调整系统和方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161007

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171005

Year of fee payment: 5