KR102512876B1 - 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법 - Google Patents

입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법 Download PDF

Info

Publication number
KR102512876B1
KR102512876B1 KR1020227005163A KR20227005163A KR102512876B1 KR 102512876 B1 KR102512876 B1 KR 102512876B1 KR 1020227005163 A KR1020227005163 A KR 1020227005163A KR 20227005163 A KR20227005163 A KR 20227005163A KR 102512876 B1 KR102512876 B1 KR 102512876B1
Authority
KR
South Korea
Prior art keywords
eye
user
light
right eye
surgeon
Prior art date
Application number
KR1020227005163A
Other languages
English (en)
Other versions
KR20220028139A (ko
Inventor
앤쏘니 마이클 자크
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority to KR1020237009137A priority Critical patent/KR20230042149A/ko
Publication of KR20220028139A publication Critical patent/KR20220028139A/ko
Application granted granted Critical
Publication of KR102512876B1 publication Critical patent/KR102512876B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G02B30/35—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers using reflective optical elements in the optical path between the images and the observer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00212—Electrical control of surgical instruments using remote controls
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/742—Joysticks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/744—Mouse
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20—Binocular arrangements
    • G02B21/22—Stereoscopic arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Endoscopes (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

수술 부위의 영상을 사용자에게 디스플레이하도록 구성되는 영상 디스플레이를 포함하는 눈 추적 시스템이 본 명세서에 기술되어 있다. 영상 디스플레이는 제1 파장 범위에서의 광을 방출하도록 구성된다. 본 시스템은 제2 파장 범위에서의 광을 방출하고 사용자의 우안의 제1 주시점에 관한 데이터를 측정하도록 구성되는 우 눈 추적기를 추가로 포함한다. 본 시스템은 제2 파장 범위에서의 광을 방출하고 사용자의 좌안의 제2 주시점에 관한 데이터를 측정하도록 구성되는 좌 눈 추적기를 추가로 포함한다. 본 시스템은 영상 디스플레이와 사용자의 우안 및 좌안 사이에 배치된 광학 어셈블리를 추가로 포함한다. 광학 어셈블리는, 좌 눈 추적기 및 우 눈 추적기가 사용자에게 보이는 일 없이, 제1 파장과 제2 파장이 좌안과 영상 디스플레이 사이의 좌 광학 경로의 적어도 일부분을 공유하고 우안과 영상 디스플레이 사이의 우 광학 경로의 적어도 일부분을 공유하도록, 제1 파장 범위 및 제2 파장 범위의 광을 지향시키도록 구성된다. 본 시스템은 사용자의 주시점이 향해 있는 디스플레이된 영상에서의 관찰 위치를 결정하기 위해 제1 주시점 및 제2 주시점에 관한 데이터를 처리하도록 구성되는 적어도 하나의 프로세서를 추가로 포함한다.

Description

입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법{MEDICAL DEVICES, SYSTEMS, AND METHODS INTEGRATING EYE GAZE TRACKING FOR STEREO VIEWER}
수술 과정이 원격 조작 의료 시스템(teleoperational medical system)을 사용하여 최소 침습 방식으로 수행될 수 있다. 최소 침습 수술의 이점은 널리 알려져 있으며, 종래의 개복 절개 수술과 비교할 때 보다 적은 환자 외상(patient trauma), 보다 적은 출혈, 및 보다 빠른 회복 시간을 포함한다. 그에 부가하여, 미국 캘리포니아주 서니베일 소재의 Intuitive Surgical, Inc.에 의해 상업화된 DA VINCI® Surgical System과 같은, 원격 조작 의료 시스템의 사용이 공지되어 있다. 이러한 원격 조작 의료 시스템은 수동 최소 침습 수술과 비교할 때 외과의사가 직관적 제어 및 증가된 정밀도로 수술을 할 수 있게 한다.
원격 조작 의료 시스템은 하나 이상의 로봇 아암들에 결합되는 하나 이상의 기구들을 포함할 수 있다. 본 시스템이 최소 침습 수술을 수행하는 데 사용되는 경우, 기구들은, 작은 절개부 또는, 예를 들어, 입, 요도 또는 항문과 같은 자연적 구멍(natural orifice) 등의, 환자의 하나 이상의 작은 개구(opening)들을 통해 수술 부위(surgical area)에 접근할 수 있다. 어떤 경우에, 기구(들)를 개구(들)를 통해 직접 삽입하기보다는, 캐뉼라(cannula) 또는 다른 안내 요소가 각각의 개구 내로 삽입될 수 있고, 기구가 수술 부위에 접근하기 위해 캐뉼라를 통해 삽입될 수 있다. 내시경과 같은 영상 도구(imaging tool)가 수술 부위를 보기 위해 사용될 수 있고, 영상 도구에 의해 포착된 영상이 수술 동안 외과의사가 보게 될 영상 디스플레이 상에 디스플레이될 수 있다.
최소 침습 의료 시술 동안 다양한 적용 분야들을 위해 눈 시선 추적을 효과적으로 그리고 정확하게 이용할 수 있는 원격 조작 의료 시스템을 제공하는 것이 바람직하다. 본원에 개시되는 시스템 및 방법은 종래 기술의 단점들 중 하나 이상을 극복한다.
하나의 예시적인 양태에서, 본 개시 내용은 영상 디스플레이, 우 눈 추적기(right eye tracker), 좌 눈 추적기(left eye tracker), 및 적어도 하나의 프로세서를 포함하는 눈 추적 시스템에 관한 것이다. 영상 디스플레이는 수술 부위(surgical field)의 영상을 사용자에게 디스플레이하도록 구성된다. 일 양태에서, 우 눈 추적기는 사용자의 우안의 제1 주시점(gaze point)에 관한 데이터를 측정하도록 구성된다. 일 양태에서, 우 눈 추적기는 우 입체 영상 디바이스(right stereo imaging device)를 포함한다. 일 양태에서, 좌 눈 추적기는 사용자의 좌안의 제2 주시점에 관한 데이터를 측정하도록 구성된다. 일 양태에서, 좌 눈 추적기는 좌 입체 영상 디바이스(left stereo imaging device)를 포함한다. 일 양태에서, 적어도 하나의 프로세서는 사용자의 주시점이 향해 있는 디스플레이된 영상에서의 관찰 위치를 결정하기 위해 제1 주시점 및 제2 주시점에 관한 데이터를 처리하도록 구성된다.
다른 예시적인 양태에서, 본 개시 내용은 영상 디스플레이, 우 눈 추적기, 좌 눈 추적기, 광학 어셈블리, 및 적어도 하나의 프로세서를 포함하는 눈 추적 시스템에 관한 것이다. 영상 디스플레이는 수술 부위의 영상을 사용자에게 디스플레이하도록 구성되고, 제1 파장 범위에서의 광을 방출하도록 구성된다. 일 양태에서, 우 눈 추적기는 제2 파장 범위에서의 광을 방출하고 사용자의 우안의 제1 주시점에 관한 데이터를 측정하도록 구성된다. 일 양태에서, 좌 눈 추적기는 제2 파장 범위에서의 광을 방출하고 사용자의 좌안의 제2 주시점에 관한 데이터를 측정하도록 구성된다. 일 양태에서, 광학 어셈블리는 영상 디스플레이와 사용자의 우안 및 좌안 사이에 배치되어 있다. 일 양태에서, 광학 어셈블리는, 좌 눈 추적기 및 우 눈 추적기가 사용자에게 보이는 일 없이, 제1 파장과 제2 파장이 좌안과 영상 디스플레이 사이의 좌 광학 경로(left optical path)의 적어도 일부분을 공유하고 우안과 영상 디스플레이 사이의 우 광학 경로(right optical path)의 적어도 일부분을 공유하도록, 제1 파장 범위 및 제2 파장 범위의 광을 지향시키도록 구성된다. 일 양태에서, 적어도 하나의 프로세서는 사용자의 주시점이 향해 있는 디스플레이된 영상에서의 관찰 위치를 결정하기 위해 제1 주시점 및 제2 주시점에 관한 데이터를 처리하도록 구성된다.
다른 예시적인 양태에서, 본 개시 내용은 의료 시술을 수행하는 원격 조작 의료 시스템에 관한 것이다. 일 양태에서, 원격 조작 의료 시스템은 눈 추적 시스템 및 제어 유닛을 포함한다. 일 양태에서, 눈 추적 시스템은 영상 디스플레이, 적어도 하나의 우 눈 추적기, 적어도 하나의 좌 눈 추적기, 및 적어도 하나의 프로세서를 포함한다. 영상 디스플레이는 수술 부위(surgical field)의 영상을 사용자에게 디스플레이하도록 구성된다. 일 양태에서, 적어도 하나의 우 눈 추적기는 사용자의 우안의 제1 주시점에 관한 데이터를 측정하도록 구성되고, 적어도 하나의 좌 눈 추적기는 사용자의 좌안의 제2 주시점에 관한 데이터를 측정하도록 구성된다. 일 양태에서, 적어도 하나의 프로세서는 사용자의 주시점이 향해 있는 디스플레이된 영상에서의 관찰 위치를 결정하기 위해 제1 주시점 및 제2 주시점에 관한 데이터를 처리하도록 구성된다. 일 양태에서, 제어 유닛은 결정된 관찰 위치에 기초하여 원격 조작 의료 시스템의 적어도 하나의 기능을 제어하도록 구성된다.
다른 예시적인 양태에서, 본 개시 내용은 영상 디스플레이, 적어도 하나의 우 눈 추적기, 적어도 하나의 좌 눈 추적기, 우안 광 방출기, 및 좌안 광 방출기, 광학 어셈블리, 및 적어도 하나의 프로세서를 포함하는 눈 추적 시스템에 관한 것이다. 영상 디스플레이는 수술 부위의 입체 영상을 사용자에게 디스플레이하도록 구성된다. 일 양태에서, 적어도 하나의 우 눈 추적기는 사용자의 우안의 제1 주시점에 관한 데이터를 측정하도록 구성되고, 적어도 하나의 좌 눈 추적기는 사용자의 좌안의 제2 주시점에 관한 데이터를 측정하도록 구성된다. 일 양태에서, 우안 광 방출기는 제1 파장 범위의 광을 사용자의 우안으로 방출하도록 구성되고, 좌안 광 방출기는 제1 파장 범위의 광을 사용자의 좌안으로 방출하도록 구성된다. 일 양태에서, 광학 어셈블리는 영상 디스플레이와 사용자의 양눈 사이에 위치되어 있다. 일 양태에서, 광학 어셈블리는 사용자의 양눈, 눈 추적기들, 및 광 방출기들 사이의 광 통신을 제공하도록 배열된 우안 거울 세트(right eye mirror set) 및 좌안 거울 세트(left eye mirror set)를 포함한다. 일 양태에서, 적어도 하나의 프로세서는 사용자의 주시점이 향해 있는 디스플레이된 입체 영상에서의 관찰 위치를 결정하기 위해 제1 주시점 및 제2 주시점에 관한 데이터를 처리하도록 구성된다.
이 실시예들 및 다른 실시예들이 이하의 도면들과 관련하여 이하에서 더 논의된다.
본 개시 내용의 양태들은 첨부 도면과 함께 읽을 때 이하의 상세한 설명으로부터 가장 잘 이해된다. 강조할 점은, 산업계에서의 표준 실무에 따라, 다양한 특징들이 축척에 따라 그려져 있지 않다는 것이다. 실제로, 다양한 특징들의 치수가 논의의 명확함을 위해 임의로 확대 또는 축소되어 있을 수 있다. 그에 부가하여, 본 개시 내용은 다양한 예들에서 참조 번호 및/또는 문자를 반복할 수 있다. 이 반복은 간단함 및 명확함을 위한 것이며, 그 자체로 논의되는 다양한 실시예들 및/또는 구성들 간의 관계에 영향을 미치지 않는다.
도 1a는 본 개시 내용의 일 실시예에 따른 예시적인 원격 조작 의료 시스템을 나타낸 도면.
도 1b, 도 1c, 및 도 1d는 본 개시 내용의 다양한 실시예들에 따른 원격 조작 의료 시스템의 예시적인 컴포넌트들을 나타낸 도면. 상세하게는, 도 1b는 본 개시 내용의 일 실시예에 따른 예시적인 원격 조작 어셈블리의 정면 입면도. 도 1c는 본 개시 내용의 일 실시예에 따른 예시적인 조작자 입력 시스템의 정면 입면도. 도 1d는 본 개시 내용의 일 실시예에 따른 예시적인 비전 카트 컴포넌트(vision cart component)의 정면도.
도 2a는 본 개시 내용의 일 실시예에 따른, 예시적인 영상 디스플레이 및 수술 부위에 상대적인 사용자의 3D 좌표 프레임(3D coordinate frame)의 블록도.
도 2b는 본 개시 내용의 일 실시예에 따른, 원격 조작 시스템 및/또는 수술 기구에 영향을 미치기 위해 눈 추적 유닛을 사용하는 예시적인 방법을 나타낸 플로우차트.
도 3a 내지 도 3d는 본 개시 내용에 따른, 도 1a, 도 1b, 및 도 1c의 원격 조작 의료 시스템에 의해 사용되는 입체 뷰어의 눈 추적 시스템의 다양한 실시예들을 개략적으로 도면.
도 4a는 본 개시 내용의 일 실시예에 따른, 도 3a 내지 도 3d의 눈 추적 시스템을 사용하여 외과의사의 3D 주시점을 결정하는 방법을 나타낸 도면.
도 4b는 본 개시 내용의 일 실시예에 따른, 미리 결정된 목표물(T)이 교정 프로세스 동안 디스플레이 상에 보여질 때 외과의사의 각막 반사 및 동공을 추적하는 눈 추적 유닛들의 일 예를 나타낸 개략도.
도 4c는 본 개시 내용의 일 실시예에 따른, 외과의사의 각막 반사 및 동공 위치에 대응하는 2D 좌표 프레임의 일 예를 나타낸 개략도.
본 개시 내용의 원리들의 이해를 돕기 위해, 도면들에 예시된 실시예들이 이제부터 참조될 것이고, 실시예들을 기술하기 위해 특정 표현이 사용될 것이다. 그럼에도 불구하고 본 개시 내용의 범주를 제한하는 것으로 의도되어 있지 않다는 것을 잘 알 것이다. 이하의 상세한 설명에서, 개시된 실시예들의 완전한 이해를 제공하기 위해 많은 구체적인 상세가 기재되어 있다. 그렇지만, 본 개시 내용의 실시예들이 이 구체적인 상세가 없어도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게는 명백할 것이다. 다른 경우에, 본 개시 내용의 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 널리 공지된 방법들, 절차들, 컴포넌트들 및 회로들이 상세히 기술되지 않았다.
본 개시 내용의 원리들의 기술된 디바이스들, 기구들, 방법들, 및 임의의 추가 적용 분야에 대한 임의의 대안들 및 추가의 수정들이 본 개시 내용에 관련되어 있는 기술 분야의 통상의 기술자에게는 통상적으로 안출될 것으로 충분히 생각되고 있다. 상세하게는, 일 실시예와 관련하여 기술되는 특징들, 컴포넌트들, 및/또는 단계들이 본 개시 내용의 다른 실시예들과 관련하여 기술되는 특징들, 컴포넌트들, 및/또는 단계들과 결합될 수 있다는 것이 충분히 생각되고 있다. 그에 부가하여, 본원에 제공되는 치수들은 특정의 예에 대한 것이며, 본 개시 내용의 개념들을 구현하기 위해 상이한 크기들, 치수들, 및/또는 비율들이 이용될 수 있다는 것이 생각되고 있다. 불필요한 설명 반복을 피하기 위해, 하나의 예시적인 실시예에 따라 기술되는 하나 이상의 컴포넌트들 또는 동작들이 적용가능한 경우 다른 예시적인 실시예들로부터 사용되거나 생략될 수 있다. 간결함을 위해, 이 조합들의 수많은 반복들이 개별적으로 기술되지 않을 것이다. 간단함을 위해, 어떤 경우에, 도면들 전체에 걸쳐 동일하거나 유사한 부분들을 지칭하기 위해 동일한 참조 번호가 사용된다.
이하의 실시예들은 다양한 기구들 및 기구들의 부분들을 3차원 공간에서의 그들의 상태의 면에서 기술할 것이다. 본원에서 사용되는 바와 같이, 용어 "위치(position)"는 3차원 공간에서의 물체 또는 물체의 일부분의 위치를 지칭한다(예컨대, X, Y, Z 직교 좌표를 따라 3 개의 평행 이동 자유도(degree of translational freedom)). 본원에서 사용되는 바와 같이, 용어 "배향(orientation)"은 물체 또는 물체의 일부분의 회전 배치(rotational placement)를 지칭한다(3 개의 회전 자유도(degree of rotational freedom) - 예컨대, 롤(roll), 피치(pitch) 및 요(yaw) -). 본원에서 사용되는 바와 같이, 용어 "자세(pose)"는 적어도 하나의 평행 이동 자유도에서의 물체 또는 물체의 일부분의 위치 및 적어도 하나의 회전 자유도에서의 그 물체 또는 물체의 일부분의 배향을 지칭한다(최대 6 개의 총 자유도(total degree of freedom)). 본원에서 사용되는 바와 같이, 용어 "형상"은 가늘고 긴 물체를 따라 측정되는 자세들, 위치들, 또는 배향들의 세트를 지칭한다.
용어 "근위(proximal)"및 "원위(distal)"가 임상의(clinician)로부터 수술 부위까지 연장되는 기구의 단부를 조작하는 임상의와 관련하여 본원에서 사용된다는 것을 잘 알 것이다. 용어 "근위"는 임상의에 보다 가까운 기구의 부분을 지칭하고, 용어 "원위"는 임상의로부터 보다 멀리 떨어지고 수술 부위에 보다 가까운 기구의 부분을 지칭한다. 간결함 및 명확함을 위해, "수평", "수직", "위쪽" 및 "아래쪽"과 같은 공간 용어들이 도면들과 관련하여 본원에서 사용될 수 있다. 그렇지만, 수술 기구들이 많은 배향들 및 위치들에서 사용되고, 그 용어들은 제한하는 것으로 그리고 절대적인 것으로 의도되어 있지 않다.
본 개시 내용은 일반적으로, 진단, 수술, 및/또는 치료 과정(이들로 제한되지 않음)을 비롯한, 각종의 의료 시술에서 사용되는 원격 조작 의료 시스템 및/또는 기구의 사용 동안 사용자의 눈의 특성들을 관찰하고 측정하기 위해 눈 추적 시스템을 사용하는 것(예컨대, 눈 시선 추적)에 관한 것이다. 상세하게는, 일부 실시예에서, 본원에 개시되는 눈 추적 시스템은 수술 콘솔(surgical console) 상에서의 사용자의 눈 시선의 정확한 위치(예컨대, 2D 또는 3D 위치)를 추적할 수 있는 것에 의존한다. 일부 실시예에서, 눈 추적 시스템은 시스템 기구들을 직접 조작하는 것에 의해 그리고/또는 시스템 전체에 걸친 변경을 실시하기 위해 시스템 특성들에 영향을 미치는 것에 의해 원격 조작 시스템을 제어하는 데 사용될 수 있다. 상세하게는, 본 개시 내용의 일부 실시예는 조작자가 최소 침습 시술 중에 원격 조작 의료 시스템을 사용하는 동안 수술 콘솔 상에서의 조작자의 눈 시선을 정확하게 추적하는 것에 의한 시스템 및 기구 제어에 관한 것이다.
원격 조작되는 수술 시스템에서, 외과의사의 눈 주시점이 수술 동안, 입체 카메라와 같은, 하나 이상의 눈 추적기들에 의해 추적될 수 있다. 그렇지만, 눈 시선 추적이, 비제한적인 예로서, 사용자의 머리 위치의 변화 및 (예컨대, 입체 뷰를 생성하는) 각각의 눈에 대한 개별적인 영상 디스플레이들을 비롯한, 다양한 인자들로 인해 부정확할 수 있다. 예를 들어, 외과의사의 눈의 동공의 위치 및 각막 반사가 외과의사의 머리와 눈 배향의 조합에 의해 결정될 수 있다. 많은 경우에, 외과의사의 머리 움직임, 콘솔에 대한 외과의사의 머리 압력, 및/또는 수술 동안 눈 추적기들에 의한 영상 가려짐은 종래의 기법들을 사용하는 정확하고 효과적인 눈 시선 추적을 손상시킬 수 있다. 종래에, 눈 시선 추적 기법들은 눈 추적 프로세스 동안 사용되기 위해 원격 조작 수술 시스템 밖에 배치된 외부 디바이스를 필요로 한다. 예를 들어, 외부 디바이스가 수술 동안 외과의사에 의해 착용되는 안경에 장착될 수 있다. 보통 외부 눈 추적 디바이스와 외과의사의 양눈 사이에 거리 및 상대 운동이 있다. 따라서, 이러한 종류의 외부 눈 추적 디바이스는 외과의사에게 불편 및 거북한 느낌을 야기할 수 있을 뿐만 아니라, 외과의사의 수술의 정확도에도 영향을 미칠 수 있다. 대안적으로, 종래의 눈 시선 추적 디바이스는 접안경 근방에 위치될 수 있다. 이 구성은, 외과의사가 접안경을 들여다볼 때, 외과의사의 시야에 대한 방해를 야기할 수 있다. 예를 들어, 눈 시선 추적 디바이스의 가장자리가 외과의사의 시야에 보일 수 있고, 이는 외과의사를 산만케하거나 외과의사의 수술 부위의 뷰를 열화시킬 수 있다. 일부 실시예에서, 본 명세서에 기술되는 눈 시선 추적 디바이스는 눈 추적기들이, 외과의사에 보이지 않은 채로 있는 동안, 디스플레이된 영상과 동일한 광학 경로의 적어도 일부를 공유할 수 있게 하도록 구성된다.
본원에 개시되는 실시예들은, 비제한적인 예로서, 사용자 머리 움직임, 머리 압력, 카메라 또는 추적기에 의한 영상 가려짐, 및/또는 각각의 눈에의 독립적인 영상 디스플레이와 같은, 통상의 오류 유발 인자들을 보상하는 것에 의해 눈 추적 디바이스의 정확도를 개선시킨다. 본 명세서에 기술되는 실시예들은, 각각의 눈에 대한 하나 이상의 눈 추적기들로부터 획득된 위치 데이터 및 일정한 동공간 거리의 가정(및/또는 다른 눈 추적 특성들)에 기초하여 3D 눈 시선 위치를 보다 정확하게 예측하는 모델을 사용하는 것에 의해, 이 오류 유발 인자들을 참작한다. 상세하게는, 사용자의 각각의 눈이 그 자신의 독립적인 눈 추적기에 의해 측정된다. 본 기술 분야의 통상의 기술자는 본원에 개시되는 눈 추적 시스템이 보다 정확한 시선 지원 시스템 및/또는 기구 제어로부터 이득을 보는 유사한(예컨대, 비원격 조작) 응용 분야들에서 이용될 수 있다는 것을 잘 알 것이다. 본원에 개시되는 눈 추적 시스템 및 방법을 이용하는 것에 의해, 사용자는 원격 조작 의료 시스템과의 보다 직관적이고 보다 효율적인 상호작용을 경험할 수 있다.
다양한 실시예에 따르면, 기구 전달 및 조작을 안내하기 위해 원격 조작 시스템을 사용하여 최소 침습 의료 시술이 수행될 수 있다. 도면들 중 도 1a를 참조하면, 예를 들어, 진단, 치료, 또는 수술 과정을 비롯한 의료 시술에서 사용하기 위한 원격 조작 의료 시스템은 전체적으로 참조 번호(10)로 표시되어 있다. 기술될 것인 바와 같이 본 개시 내용의 원격 조작 의료 시스템은 외과의사의 원격 조작 제어 하에 있다. 대안의 실시예에서, 원격 조작 의료 시스템은 시술 또는 하위 시술(sub-procedure)을 수행하도록 프로그램된 컴퓨터의 부분적 제어 하에 있을 수 있다. 또 다른 대안의 실시예에서, 완전 자동 의료 시스템은, 시술 또는 하위 시술을 수행하도록 프로그램된 컴퓨터의 전면적 제어 하에서, 시술 또는 하위 시술을 수행하는 데 사용될 수 있다. 도 1에 도시된 바와 같이, 원격 조작 의료 시스템(10)은 일반적으로 환자(P)가 위치되어 있는 수술대(O) 근방에 있거나 그에 장착된 원격 조작 어셈블리(12)를 포함한다. 원격 조작 어셈블리(12)는 PSM(patient-side manipulator)이라고 지칭될 수 있다. 의료 기구 시스템(14)은 원격 조작 어셈블리(12)에 동작가능하게 결합되어 있다. 조작자 입력 시스템(16)은 외과의사 또는 다른 유형의 임상의(S)가 수술 부위의 영상 또는 수술 부위를 나타내는 영상을 볼 수 있게 하고 의료 기구 시스템(14)의 동작을 제어할 수 있게 한다. 조작자 입력 시스템(16)은 마스터 또는 외과의사의 콘솔이라고 지칭될 수 있다. 본 개시 내용에 기술되는 시스템들 및 기법들을 구현하는 데 사용될 수 있는 원격 조작 수술 시스템의 일 예는 미국 캘리포니아주 서니베일 소재의 Intuitive Surgical, Inc.에 의해 제조되는 da Vinci® Surgical System이다.
원격 조작 어셈블리(12)는 의료 기구 시스템(14)을 지지하고, 하나 이상의 비서보 제어 링크(non-servo controlled link)들(예컨대, 일반적으로 셋업 구조(set-up structure)라고 지칭되는, 제자리에 수동으로 위치되고 잠금될 수 있는 하나 이상의 링크들)의 운동학적 구조(kinematic structure) 및 원격 조작 매니퓰레이터(teleoperational manipulator)를 포함할 수 있다. (예컨대, 도 2를 참조) 원격 조작 어셈블리(12)는 의료 기구 시스템(14) 상에서의 입력들을 구동하는 복수의 모터들을 포함한다. 그 모터들은 제어 시스템(22)으로부터의 명령들에 응답하여 움직인다. 모터들은, 의료 기구 시스템(14)에 결합될 때, 의료 기구를 자연적으로 또는 외과적으로 생성된 해부학적 구멍 내로 전진시킬 수 있는 구동 시스템을 포함한다. 다른 모터 구동 시스템(motorized drive system)은, 3 개의 직선 운동 자유도(예컨대, X, Y, Z 직교좌표 축을 따른 직선 운동) 및 3 개의 회전 운동 자유도(예컨대, X, Y, Z 직교좌표 축을 중심으로 한 회전)를 포함할 수 있는, 다수의 자유도로 의료 기구의 원위 단부를 움직일 수 있다. 그에 부가하여, 모터가 기구의 관절운동가능 엔드 이펙터(articulable end effector)를 작동(actuate)시키는 데 사용될 수 있다.
원격 조작 의료 시스템(10)은 또한 내시경과 같은 영상 포착 디바이스, 및 연관된 영상 처리 하드웨어 및 소프트웨어를 포함하는 영상 포착 시스템(18)을 포함한다. 원격 조작 의료 시스템(10)은 또한 원격 조작 어셈블리(12)의 센서들, 모터들, 액추에이터들, 및 다른 컴포넌트들, 조작자 입력 시스템(16), 및 영상 포착 시스템(18)에 동작가능하게 연결되는 제어 시스템(22)을 포함한다.
조작자 입력 시스템(16)은, 수술대(O)와 동일한 방에 보통 위치되는, 외과의사의 콘솔에 위치될 수 있다. 그렇지만, 외과의사(S)가 환자(P)와 상이한 방 또는 완전히 상이한 건물에 위치될 수 있다는 것을 잘 알 것이다. 조작자 입력 시스템(16)은 일반적으로 의료 기구 시스템(14)을 제어하기 위한 하나 이상의 제어 디바이스(들)를 포함한다. 보다 구체적으로는, 외과의사의 입력 명령들에 응답하여, 제어 시스템(22)은 의료 기구 시스템(14)의 서보 기계식 움직임(servomechanical movement)을 달성한다. 제어 디바이스(들)는 손잡이, 조이스틱, 트랙볼, 데이터 글러브(data glove), 트리거 건(trigger-gun), 손 조작 제어기(hand-operated controller), 발 조작 제어기(foot-operated controller), 음성 인식 디바이스, 터치 스크린, 신체 동작 또는 프레즌스(presence) 센서 등과 같은, 임의의 수의 각종의 입력 디바이스들 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 제어 디바이스(들)는, 외과의사가 수술 현장에 있는 것처럼 기구들을 직접 제어한다는 강한 느낌을 갖도록 제어 디바이스(들)가 기구들과 일체로 되어 있다는 인지(perception)인, 텔레프레즌스(telepresence)를 외과의사에게 제공하기 위해 원격 조작 어셈블리의 의료 기구들과 동일한 자유도를 제공받을 것이다. 다른 실시예에서, 제어 디바이스(들)는 연관된 의료 기구들보다 많거나 적은 자유도를 가지며 텔레프레즌스를 외과의사에게 여전히 제공할 수 있다. 일부 실시예에서, 제어 디바이스(들)는 6 자유도로 움직이고 또한 기구들을 작동시키기 위한(예를 들어, 파지 조(grasping jaw)를 오므리는 것, 전극에 전위를 가하는 것, 약물 치료제를 전달하는 것 등을 위한) 작동가능 핸들(actuatable handle)을 포함할 수 있는 수동 입력 디바이스이다.
시스템 조작자는 조작자 입력 시스템(16)에 동작가능하게 결합되거나 그 내에 포함되는 디스플레이 시스템(20) 상에서 보도록 제시되는, 영상 포착 시스템(18)에 의해 포착된, 영상을 본다. 디스플레이 시스템(20)은 영상 포착 시스템(18)의 서브시스템들에 의해 발생되는 수술 부위 및 의료 기구 시스템(들)(14)의 영상 또는 표현을 디스플레이한다. 디스플레이 시스템(20) 및 조작자 입력 시스템(16)은 조작자가 텔레프레즌스의 인지와 함께 의료 기구 시스템(14) 및 조작자 입력 시스템(16)을 제어할 수 있도록 배향될 수 있다. 디스플레이 시스템(20)은, 조작자의 각각의 눈에 개별적인 영상을 제시하고 따라서 조작자가 입체 영상을 볼 수 있게 하기 위해, 개별적인 좌 디스플레이 및 우 디스플레이와 같은, 다수의 디스플레이들을 포함할 수 있다.
대안적으로 또는 그에 부가하여, 디스플레이 시스템(20)은 CT(computerized tomography), MRI(magnetic resonance imaging), 형광 투시(fluoroscopy), 서모그래피(thermography), 초음파, OCT(optical coherence tomography), 열 영상(thermal imaging), 임피던스 영상(impedance imaging), 레이저 영상(laser imaging), 나노튜브 X-선 영상(nanotube X-ray imaging) 등과 같은 영상 기술을 사용하여 수술 전에 또는 수술 중에 기록 및/또는 촬영된 수술 부위의 영상을 제시할 수 있다. 제시되는 수술 전 또는 수술 중 영상들은 2차원, 3차원, 또는 4차원(예컨대, 시간 기반 또는 속도 기반 정보를 포함함) 영상 및 영상을 재생하기 위한 연관된 영상 데이터 세트를 포함할 수 있다.
제어 시스템(22)은 적어도 하나의 메모리 및 적어도 하나의 프로세서(도시되지 않음), 그리고 원격 조작 시스템(12), 의료 기구 시스템(14), 조작자 입력 시스템(16), 영상 포착 시스템(18), 및 디스플레이 시스템(20) 사이의 제어를 수행하기 위한 전형적으로 복수의 프로세서들을 포함한다. 제어 시스템(22)은 또한 본원에 개시되는 양태들에 따라 기술된 방법들의 일부 또는 전부를 구현하기 위해 프로그램된 명령어들(예컨대, 명령어들을 저장하는 컴퓨터 판독가능 매체)을 포함한다. 제어 시스템(22)이 도 1의 간략화된 개략도에 단일 블록으로 도시되어 있지만, 이 시스템은 2개 이상의 데이터 처리 회로들을 포함할 수 있고, 처리의 한 부분은 임의로 원격 조작 어셈블리(12) 상에서 또는 그에 인접하여 수행되고, 처리의 다른 부분은 조작자 입력 시스템(16)에서 수행되며, 기타 등등이다. 아주 다양한 중앙집중형 또는 분산형 데이터 처리 아키텍처들 중 임의의 것이 이용될 수 있다. 이와 유사하게, 프로그램된 명령어들은 다수의 개별적인 프로그램들 또는 서브루틴들로서 구현될 수 있거나, 본 명세서에 기술되는 원격 조작 시스템들의 다수의 다른 양태들에 통합될 수 있다. 일 실시예에서, 제어 시스템(22)은, 블루투스, IrDA, HomeRF, IEEE 802.11, DECT, 및 무선 원격검침(Wireless Telemetry)과 같은, 무선 통신 프로토콜들을 지원한다.
일부 실시예에서, 제어 시스템(22)은 의료 기구 시스템(104)으로부터 힘 및/또는 토크 피드백을 수신하는 하나 이상의 서보 제어기들을 포함할 수 있다. 피드백에 응답하여, 서보 제어기들은 신호들을 조작자 입력 시스템(16)으로 전송한다. 서보 제어기(들)는 또한 환자 신체에서의 개구들을 통해 신체 내의 내부 수술 부위 내로 연장되는 의료 기구 시스템(들)(14)을 움직이라고 원격 조작 어셈블리(12)에 지시하는 신호들을 전송할 수 있다. 임의의 적당한 종래의 또는 특수 서보 제어기가 사용될 수 있다. 서보 제어기는 원격 조작 어셈블리(12)로부터 분리되어 있거나 그와 통합되어 있을 수 있다. 일부 실시예에서, 서보 제어기 및 원격 조작 어셈블리는 환자의 신체에 인접하여 위치되는 원격 조작 아암 카트(teleoperational arm cart)의 일부로서 제공된다.
이 실시예에서, 원격 조작 의료 시스템(10)은 또한 조작자 입력 시스템(16)에 동작가능하게 결합되거나 그에 포함될 수 있는 눈 추적 유닛(24)을 포함한다. 눈 추적 유닛(24)은 조작자가 디스플레이(20)를 보고 있고 그리고/또는 조작자 입력 시스템(16)에서 조작자 제어들을 조작하고 있는 동안 조작자의 양눈에 관련된 정보를 감지, 측정, 기록, 및 전달하기 위해 제어 시스템(22)에 동작가능하게 결합된다.
원격 조작 의료 시스템(10)은, 조명 시스템, 조향 제어(steering control) 시스템, 관주(irrigation) 시스템 및/또는 흡인(suction) 시스템과 같은, 임의적인 조작 및 지원 시스템들(도시되지 않음)을 추가로 포함할 수 있다. 대안의 실시예에서, 원격 조작 시스템은 하나 초과의 원격 조작 어셈블리 및/또는 하나 초과의 조작자 입력 시스템을 포함할 수 있다. 매니퓰레이터 어셈블리들의 정확한 개수는, 인자들 중에서도 특히, 수술 과정 및 수술실 내에서의 공간 제약조건들에 의존할 것이다. 조작자 입력 시스템들이 나란히 배치될 수 있거나, 개별적인 장소들에 위치될 수 있다. 다수의 조작자 입력 시스템들은 한 명 초과의 조작자가 하나 이상의 매니퓰레이터 어셈블리들을 다양한 조합으로 제어할 수 있게 한다.
도 1b는 일 실시예에 따른, 원격 조작 어셈블리(100)(예컨대, 도 1a에 도시된 원격 조작 어셈블리(12))의 정면 입면도이다. 어셈블리(100)는 바닥 위에 놓여 있는 베이스(102), 베이스(102) 상에 장착되어 있는 지지 타워(104), 및 수술 도구(surgical tool)들(영상 포착 시스템(18)의 부분들을 포함함)을 지지하는 몇 개의 아암들을 포함한다. 도 1b에 도시된 바와 같이, 아암들(106a, 106b, 106c)은 조직을 다루는 데 사용되는 수술 기구들을 지지하고 움직이는 기구 아암(instrument arm)이고, 아암(108)은 내시경을 지지하고 움직이는 카메라 아암이다. 도 1b는 기구 아암들(106a, 106b, 106c) 상에, 각각, 장착되는 교체가능한 수술 기구들(110a, 110b, 110c)을 추가로 나타내고 있고, 카메라 아암(108) 상에 장착된 내시경(112)을 나타내고 있다. 내시경(112)은 수술 부위의 입체 영상들을 포착하여 개별적인 입체 영상들을 디스플레이 시스템(20)에 제공하기 위한 입체 내시경일 수 있다. 정통한 자는 기구들 및 카메라를 지지하는 아암들이 또한 천장 또는 벽에 또는 어떤 경우에 수술실에 있는 다른 장비(예컨대, 수술대)에 장착된 베이스 플랫폼(고정되거나 이동가능함)에 의해 지지될 수 있다는 것을 잘 알 것이다. 마찬가지로, 정통한 자는 2개 이상의 개별적인 베이스들이 사용될 수 있다(예컨대, 하나의 베이스가 각각의 아암을 지지함)는 것을 잘 알 것이다.
도 1b에 추가로 예시된 바와 같이, 기구들(110a, 110b, 110c) 및 내시경(112)은 기구 인터페이스들(각각, 150a, 150b, 150c, 및 150d) 및 기구 샤프트들(각각, 152a, 152b, 152c, 및 152d)을 포함한다. 일부 실시예에서, 원격 조작 어셈블리(100)는 기구들(110a, 110b, 110c) 및 내시경(112)을 캐뉼라에 대해 고정시키는 캐뉼라에 대한 지지체를 포함할 수 있다. 일부 실시예에서, 기구 아암들(106a, 106b, 106c, 및 108) 각각의 부분들은 기구들(110a, 110b, 110c) 및 내시경(112)을 환자에 대해 위치시키기 위해 수술실에 있는 직원에 의해 조절가능할 수 있다. 아암들의 다른 부분들(106a, 106b, 106c, 및 108)은 (도 1c에 도시된 바와 같은) 조작자 입력 시스템(120)에서 조작자에 의해 작동되고 제어될 수 있다. 수술 기구들(110a, 110b, 110c) 및 내시경(112)이 또한 조작자 입력 시스템(120)에서 조작자에 의해 제어될 수 있다.
도 1c는 조작자 입력 시스템(120)(예컨대, 도 1a에 도시된 조작자 입력 시스템(16))의 정면 입면도이다. 조작자 입력 시스템(120)은, 수술 기구들(110a, 110b, 110c) 및 내시경(112)을 제어하는 데 사용되는 운동학적 연쇄(kinematic chain)인, 좌 및 우 다중 DOF(degree-of-freedom) 제어 인터페이스(122a 및 122b)를 갖춘 콘솔(121)을 포함한다. 외과의사는 제어 인터페이스들(122) 각각 상의 핀처 어셈블리(pincher assembly)(124a, 124b)를, 전형적으로 엄지손가락과 집게손가락으로, 파지하고, 핀처 어셈블리를 다양한 위치 및 배향으로 움직일 수 있다. 도구 제어 모델이 선택될 때, 제어 인터페이스들(122) 각각은 대응하는 수술 기구 및 기구 아암(106)을 제어하도록 구성된다. 예를 들어, 좌 제어 인터페이스(122a)는 기구 아암(106a) 및 수술 기구(110a)에 결합될 수 있고, 우 제어 인터페이스(122b)는 기구 아암(106b) 및 수술 기구(110b)에 결합될 수 있다. 제3 기구 아암(106c)이 수술 과정 동안 사용되고 좌측에 위치되면, 좌 제어 인터페이스(122a)는 아암(106a) 및 수술 기구(110a)를 제어하는 것으로부터 아암(106c) 및 수술 기구(110c)를 제어하는 것으로 전환될 수 있다. 마찬가지로, 제3 기구 아암(106c)이 수술 과정 동안 사용되고 우측에 위치되면, 우 제어 인터페이스(122a)는 아암(106b) 및 수술 기구(110b)를 제어하는 것으로부터 아암(106c) 및 수술 기구(110c)를 제어하는 것으로 전환될 수 있다. 어떤 경우에, 제어 인터페이스들(122a, 122b)과 아암(106a)/수술 기구(110a)의 조합 및 아암(106b)/수술 기구(110b)의 조합 사이의 제어 할당이 또한 교환될 수 있다. 이것은, 예를 들어, 내시경이 180도 롤링되는 경우, 내시경의 시야에서 움직이는 기구가 외과의사가 움직이고 있는 제어 인터페이스와 동일한 측면에 나타나도록, 행해질 수 있다. 핀처 어셈블리는 전형적으로 수술 기구(110)의 원위 단부에 있는 조를 갖는 수술용 엔드 이펙터(jawed surgical end effector)(예컨대, 가위, 파지 견인기(grasping retractor) 등)를 조작하는 데 사용된다.
부가의 제어들은 풋 페달(foot pedal)들(128)을 구비하고 있다. 풋 페달들(128) 각각은 기구들(110) 중 선택된 기구 상의 특정 기능을 활성화시킬 수 있다. 예를 들어, 풋 페달들(128)은 드릴 또는 소작 도구(cautery tool)를 활성화시킬 수 있거나, 관주, 석션, 또는 다른 기능들을 조작할 수 있다. 다수의 기구들이 페달들(128) 중 다수의 페달들을 누르는 것에 의해 활성화될 수 있다. 기구들(110)의 특정 기능이 다른 제어들에 의해 활성화될 수 있다.
외과의사의 콘솔(120)은 또한 입체 영상 뷰어 시스템(126)(예컨대, 도 1a에 도시된 디스플레이 시스템(20))을 포함한다. 입체 영상 뷰어 시스템(126)은 좌 접안경(125a) 및 우 접안경(125b)을 포함하고, 따라서 외과의사는 입체 영상 뷰어 시스템(126) 내에서 외과의사의 좌안과 우안을 사용하여, 각각, 좌 입체 영상과 우 입체 영상을 볼 수 있다. 외과의사가 디스플레이 시스템(예컨대, 도 1a에 도시된 디스플레이 시스템(20)) 상에서 3차원 영상으로서 인지하는 내시경(112)에 의해 포착된 좌측 영상과 우측 영상이 대응하는 좌 영상 디스플레이와 우 영상 디스플레이 상에 출력된다. 유리한 구성에서, 제어 인터페이스들(122)은, 디스플레이에 보여지는 수술 도구들의 영상들이 디스플레이 아래쪽에서 외과의사의 양손 근방에 위치되는 것처럼 보이도록, 입체 영상 뷰어 시스템(126) 아래쪽에 위치된다. 이 특징은 외과의사가 양손을 직접 보는 것처럼 3차원 디스플레이에서 다양한 수술 기구들을 직관적으로 제어할 수 있게 한다. 그에 따라, 연관된 기구 아암 및 기구의 서보 제어가 내시경 영상 기준 프레임(endoscopic image reference frame)에 기초한다.
내시경 영상 기준 프레임은 또한 제어 인터페이스들(122)이 카메라 제어 모드로 전환되는 경우에도 사용된다. 어떤 경우에, 카메라 제어 모드가 선택되면, 외과의사는 제어 인터페이스들(122) 중 하나 또는 둘 다를 한꺼번에 움직이는 것에 의해 내시경(112)의 원위 단부를 움직일 수 있다. 외과의사는 이어서, 영상을 자신의 양손으로 잡고 있는 것처럼 제어 인터페이스들(122)을 움직이는 것에 의해, 디스플레이된 입체 영상을 직관적으로 움직일 수 있다(예컨대, 패닝(pan), 틸팅(tilt), 줌잉(zoom)할 수 있다).
도 1c에 추가로 도시된 바와 같이, 헤드레스트(headrest)(130)가 입체 영상 뷰어 시스템(126) 위쪽에 위치되어 있다. 외과의사가 입체 영상 뷰어 시스템(126)을 통해 쳐다보고 있을 때, 외과의사의 이마는 헤드레스트(130)와 맞닿게 위치된다. 본 개시 내용의 일부 실시예에서, 내시경(112) 또는 다른 수술 기구들의 조작이 제어 인터페이스들(122)을 이용하는 대신에 헤드레스트(130)의 조작을 통해 달성될 수 있다. 일부 실시예에서, 헤드레스트(130)는, 예를 들어, 압력 센서, 로커 플레이트(rocker plate), 광학적으로 모니터링되는 슬립 플레이트(slip plate), 또는 외과의사의 머리의 움직임을 검출할 수 있는 다른 센서들을 포함할 수 있다. 내시경 카메라를 제어하기 위해 헤드레스트를 조작하는 데 감지 방법을 사용하는 것에 관한 추가 상세는, 예를 들어, 발명의 명칭이 "ENDOSCOPE CONTROL SYSTEM"인 미국 출원 제61/865,996호 - 참고로 본원에 포함됨 - 에서 찾아볼 수 있다.
도 1d는 수술 시스템의 비전 카트 컴포넌트(140)의 정면도이다. 예를 들어, 일 실시예에서, 비전 카트 컴포넌트(140)는 도 1a에 도시된 의료 시스템(10)의 일부이다. 비전 카트(140)는 수술 시스템의 중앙 전자 데이터 처리 유닛(142)(예컨대, 도 1a에 도시된 제어 시스템(22)의 전부 또는 부분들) 및 비전 장비(vision equipment)(144)(예컨대, 도 1a에 도시된 영상 포착 시스템(18)의 부분들)를 하우징하고 있다. 중앙 전자 데이터 처리 유닛(142)은 수술 시스템을 조작하는 데 사용되는 데이터 처리의 상당 부분을 포함한다. 그렇지만, 다양한 구현에서, 전자 데이터 처리가 외과의사 콘솔(120)과 원격 조작 어셈블리(100)에 분산될 수 있다. 비전 장비(144)는 내시경(112)의 좌 및 우 영상 포착 기능을 위한 카메라 제어 유닛들을 포함할 수 있다. 비전 장비(144)는 또한 수술 부위를 촬영하기 위한 조명을 제공하는 조명 장비(예컨대, 크세논 램프)를 포함할 수 있다. 도 1d에 도시된 바와 같이, 비전 카트(140)는, 어셈블리(100) 상에 또는 환자측 카트(patient side cart) 상에와 같은, 다른 곳에 장착될 수 있는 임의적인 터치 스크린 모니터(146)(예를 들어, 24-인치 모니터)를 포함한다. 비전 카트(140)는, 전기 수술 유닛(electrosurgical unit), 취입기(insufflator), 석션 관주 기구(suction irrigation instrument), 또는 써드파티 소작 장비(cautery equipment)와 같은, 임의적인 보조 수술 장비를 위한 공간(148)을 추가로 포함한다. 원격 조작 어셈블리(100) 및 외과의사의 콘솔(120)은, 예를 들어, 광섬유 통신 링크를 통해, 비전 카트(140)에 결합됨으로써, 3 개의 컴포넌트들이 함께 외과의사에게 직관적 텔레프레즌스를 제공하는 단일의 원격 조작 최소 침습 수술 시스템으로서 기능한다.
유의할 점은, 일부 실시예에서, 원격 조작 수술 시스템의 어셈블리(100)의 일부 또는 전부가 가상(시뮬레이트된) 환경에서 구현될 수 있고, 여기서 외과의사의 콘솔(120)에서 외과의사가 보게 되는 영상의 일부 또는 전부가 기구들 및/또는 해부 구조(anatomy)의 합성 영상일 수 있다는 것이다. 일부 실시예에서, 이러한 합성 영상이 비전 카트 컴포넌트(140)에 의해 제공되고 그리고/또는 외과의사의 콘솔(120)에서 (예컨대, 시뮬레이션 모듈을 통해) 직접 발생될 수 있다.
도 1a 내지 도 1d를 참조하여 기술되는 원격 조작 수술 시스템에 의한 전형적인 최소 침습 수술 과정 동안, 적어도 2 번의 절개가 환자의 신체에 (보통 연관된 캐뉼라를 위치시키기 위해 투관침(trocar)을 사용하여) 행해진다. 하나의 절개는 내시경 카메라 장비를 위한 것이고, 다른 절개들은 수술 기구들을 위한 것이다. 일부 수술 과정에서, 수술 부위에 대한 접근 및 촬영을 제공하기 위해 몇 개의 기구 및/또는 카메라 포트들이 사용된다. 절개가 종래의 개복 수술을 위해 사용되는 보다 큰 절개와 비교하여 비교적 작지만, 환자 외상을 추가로 감소시키기 위해 그리고 개선된 미용술을 위해 최소 횟수의 절개가 요망된다. 다른 실시예에서, 원격 조작 의료 시스템(10)은 환자 해부 구조에의 단일 절개 접근으로 또는 코, 입, 항문, 질(vagina) 등과 같은 자연적인 구멍을 통한 접근으로 사용될 수 있다.
전형적인 원격 조작 수술 동안, 외과의사가 수술 시스템, 영상 디바이스들, 및/또는 시스템과 연관된 다른 수술 기구들을 제어하기 위해 다양한 제어들을 물리적으로 조작하는 것이 종종 필요하다. 예를 들어, 외과의사는 디바이스를 안내하고 그에 영향을 미치기 위해 제어들을 물리적으로 조작하는 것에 의해 영상 디바이스의 시야를 조절할 필요가 있을 수 있다. 외과의사는, 수술 시스템에 로그인하기 위해, 내시경의 뷰 내에서 목표 수술 부위를 탐색하기 위해, 클램프(clamp)와 같은 수술 기구의 움직임을 조작하기 위해, 그리고/또는 시스템 설정 또는 디스플레이 설정을 조절하기 위해, 조이스틱 또는 마우스를 수동으로 제어하는 데 자신의 손을 사용하거나, 외과의사의 콘솔에서 풋 페달을 태핑(tap)하는 데 자신의 발을 사용할 수 있다. 종래의 방법들은 외과의사가 한쪽 손을 수술로부터 자유롭게 하는 것 또는 풋 페달을 태핑하기 위해 한쪽 발을 사용하는 것을 요구하고, 그 둘 다는 수술을 불필요하게 지연시키거나 방해할 수 있다. 예를 들어, 손 또는 발 동작이 외과의사의 시선 및 주의를 목표 수술 부위로부터 외과의사의 콘솔로 돌릴 수 있고, 이는 수술을 지연시키거나 방해할 수 있을 것이다. 요구된 수동 조절을 수행한 후에, 외과의사는 자신의 주의를 재집중하고 주시점을 목표 수술 부위에 재포커싱하는 데 부가 시간을 소비할 필요가 있을 수 있다.
본원에 개시되는 실시예들은 한 명 이상의 사용자들(예컨대, 외과의사 및/또는 교관)이 수술 시스템과 인터페이싱하는 방식을 향상시키기 위해 시선 검출을 이용한다. 사용자의 눈 시선(예컨대, 디스플레이 시스템 또는 다른 수술 시스템 컴포넌트에 상대적인 사용자의 눈 시선의 위치)을 수술 시스템으로 보내지는 명령들로 변환하는 것에 의해, 본원에 개시되는 실시예들은 종래의 제어 방법에 의해 제공되는 것보다 원격 조작 의료 시스템(10)에 대한 보다 빠르고 보다 효율적인 제어를 가능하게 할 수 있다. 눈 추적 또는 눈 시선 추적은 POG(point-of-gaze: 주시점)(즉, 전형적으로 3D 공간에서 사용자가 쳐다보고 있는 곳), 또는 머리에 상대적인 눈의 움직임 중 어느 하나를 측정하는 프로세스이다. 환언하면, POG는 사람의 시선이 향해 있는 공간에서의 지점이며, 또한 각각의 눈의 망막(즉, 중심와(fovea))의 최고 시력 영역(highest acuity region)의 중심에 결상되는 공간에서의 지점으로도 정의되었다.
도 2a는 영상 디스플레이(151)(예컨대, 도 1a에 도시된 영상 디스플레이 시스템(20)) 및 수술 부위(155)에 상대적인 사용자(U)(예컨대, 외과의사 또는 감독관)의 블록도를 나타낸 것이다. 사용자(및 사용자의 양눈)은 제1 3D 좌표 프레임(160)에 존재하고, 영상 디스플레이(151)는 제2 3D 좌표 프레임(165)을 포함하며, 수술 부위는 제3 3D 좌표 프레임(170)에 존재한다. 각각의 좌표 프레임(160, 165, 170)은 다른 것들과 상이한 차원들 및 특성들을 포함한다. 사용자가 제1 프레임(160)에서의 자신의 시선을 제2 프레임(165)에서의 영상 디스플레이(165)에 상대적으로 이동시킬 때, 본 명세서에 개시되는 실시예들은 그 눈 움직임을, 원격 조작 의료 시스템(10) 및/또는 디스플레이의 제2 프레임(165) 및/또는 수술 부위의 제3 프레임(170)에서의 수술 기구에 그에 대응하여 영향을 미치기 위해, 제어 신호로 변환할 수 있다.
일 양태에서, 눈 시선 추적 및 다른 눈 특성들의 관찰이 원격 조작 의료 시스템(10)과 통신하고 그리고/또는 그 전체의 거동에 영향을 미치기 위해 사용될 수 있다. 예를 들어, 도 1a에 도시된 눈 추적 유닛(24)에 의해 관찰된 눈 특성들 및 통태가 (예컨대, 망막 스캔과 유사한 방식으로) 외과의사 인식 및 로그인을 위해 사용될 수 있다. 어떤 경우에, 사용자의 눈 시선이 공간에서의(예컨대, 제3 좌표 프레임(170)에서의) 수술 기구들의 3D 위치들을 더 잘 교정하고 원격 로봇 아암 운동학적 연쇄의 가능한 부정확성을 고려하는 데 사용될 수 있다. 일부 실시예에서, 사용자 인터페이스(예컨대, 메뉴)가 영상 디스플레이 상에 보여지는 수술 부위의 영상 위에 오버레이될 수 있다. 어떤 경우에, 제1 좌표 프레임(160)에서의 사용자의 눈 시선은 제2 좌표 프레임(165)에서 영상 디스플레이(151) 상에서의 관찰 위치를 결정하는 데 사용될 수 있고, 결정된 관찰 위치에 대응하는 사용자 인터페이스의 사용자 선택가능 옵션들 중에서의 사용자의 선택을 식별해줄 수 있다. 어떤 경우에, 사용자의 시선의 3D 위치는 양눈 사이의 관찰된 동태에 기초하여 사용자가 입체 영상을 보고 있는지를 정량화하는 데 사용될 수 있다.
다른 양태에서, 비제한적인 예로서, 영상 디바이스 및/또는 에너지 전달 디바이스와 같은, 원격 조작 의료 시스템(10)에 결합되어 있는 개별 수술 기구들을 활성화, 비활성화, 그리고 다른 방식으로 제어하기 위해 실시간 눈 시선 추적이 사용될 수 있다. 예를 들어, 시스템(10)은, 제어 시스템(예컨대, 프로세서)이 관찰 위치가 미리 결정된 길이의 시간 동안 수술 기구의 위치와 일치하는 것으로 결정하면, 수술 기구를 활성화시키도록 구성될 수 있다.
도 2b는 원격 조작 의료 시스템(100) 및/또는 임의의 연관된 수술 기구들을 제어하고 그에 영향을 미치기 위해 눈 추적 유닛을 사용하는 예시적인 방법을 기술하는 플로우차트(180)를 나타낸 것이다. 본 명세서에 기술되는 방법 프로세스들 중 임의의 방법 프로세스는, 적어도 부분적으로, 하나 이상의 프로세서들에 의해 실행될 수 있는 비일시적, 유형적 머신 판독가능 매체 상에 저장된 실행가능 코드의 형태로 구현될 수 있다. 프로세스(182)에서, 도 2a에 도시된 제1 좌표 프레임(160)에 있는, 사용자(U)는, 제2 좌표 프레임(165)에 있는, 영상 디스플레이(151)에서의 특정의 3D 위치를 주시한다. 프로세스(184)에서, 눈 추적 유닛(예컨대, 도 1a에 도시된 눈 추적 유닛(24))의 좌 및 우 눈 추적기는 사용자(U)의 눈 특성(예컨대, 눈 시선을 반영하는 특성)을 관찰하고 측정한다. 일부 실시예에서, 좌 및 우 눈 추적기기는 영상 디스플레이(151)의 제2 좌표 프레임(165)에 상대적인 사용자의 각각의 눈의 눈 시선을 측정한다. 프로세스(186)에서, 제어 시스템(예컨대, 도 1a에 도시된 제어 시스템(22))은, 사용자의 양눈이 향해 있는 (제2 좌표 프레임(165) 내에서의) 영상 디스플레이(151) 상에서의 3D 위치를 결정하기 위해, 눈 추적기로부터의 측정된 눈 시선 데이터를 사용한다. 일부 실시예에서, 제어 시스템은 양눈으로부터의 반사로부터 눈 추적기에 의해 수광되는 광의 입사각을 추적하는 것에 의해 관찰된 위치를 결정할 수 있다. 일부 실시예에서, 프로세서(206)는 처음에 사용자가 영상 디스플레이(151) 상의 기지의 위치들에 디스플레이되는 목표 표식을 볼 때 기준 입사각(baseline incident angle)을 결정하기 위해 교정 프로세스(예컨대, 도 4a에 기술되는 교정 프로세스(302))를 수행하고, 검출된 각도와 영상 디스플레이(151) 상에서의 관찰된 위치 사이의 기능적 관계를 발생시킬 수 있다. 제어 시스템은 이어서 사용자가 영상 디스플레이(151) 상의 다른 위치를 볼 때 입사각을 추적하고, 발생된 기능적 관계를 대응하는 관찰된 위치를 결정(예컨대, 교정된 각도 및 위치로부터 외삽)하는 데 사용할 수 있다.
프로세스(188)에서, 제어 시스템은 사용자가 영상 디스플레이(151) 상의 디스플레이된 표식들 중 하나(예컨대, 메뉴 옵션)를 그 표식의 선택을 위한 정의된 조건을 충족시키는 방식으로 보고 있는지를 결정한다. 그러한 경우, 프로세스(190)에서, 사용자가 표식을 선택하는 것은 제어 시스템으로 하여금 디스플레이된 표식에 대응하는 기능을 개시하게 한다. 예를 들어, 일부 실시예에서, 사용자의 시선은 원격 조작 의료 시스템(100)에의 로그온, 또는 영상 디스플레이(151)의 조명, 또는 다양한 다른 시스템 설정과 연관된 표식의 선택을 나타낼 수 있다.
그렇지 않은 경우, 프로세스(192)에서, 제어 시스템은 제2 기준 프레임(165)에서의 보여진 3D 위치를 제3 좌표 프레임(170)에서의 수술 부위(155) 내의 대응하는 3D 위치에 서로 위치 맞춤(co-register)시킨다. 프로세스(194)에서, 제어 시스템은 사용자가 영상 디바이스 또는 다른 수술 기구를 조작하기 위한 정의된 조건을 충족시키는 방식으로 수술 부위를 쳐다보고 있는지를 결정한다. 그러한 경우, 프로세스(196)에서, 사용자가 수술 부위의 특정의 영역 또는 수술 부위 내의 특정의 기구를 주시하는 것은 제어 시스템(206)으로 하여금 사용자의 시선의 특성에 대응하는 방식으로 관련 기구에 영향을 미치게 한다. 예를 들어, 일부 실시예에서, 앞서 언급된 바와 같이, 사용자가 수술 부위(155)의 특정의 영역을 주시하면, 영상 디바이스는 사용자의 시선을 "따라가고" (예컨대, 영상 디바이스의 시야의 중앙을 사용자의 주시점에 위치시키기 위해) 영상 디바이스의 시야의 중앙을 재설정한다. 다른 실시예에서, 사용자가 특정의 수술 기구를 미리 정의된 길이의 시간 동안 주시하면, 수술 기구가 활성화될 수 있다. 그렇지 않은 경우, 프로세스(198)에서, 눈 추적기들은 가능한 지시들이 있는지 사용자의 시선을 계속하여 평가한다.
눈 움직임 및 시선 방향을 측정하기 위한 다수의 방법들이 있다. 본 명세서에 기술되는 하나의 방법에서, IR(infrared) 광 방출기는 IR 광을 사용자의 눈 쪽으로 방출한다. IR 광이 사용자의 망막으로부터 (동공을 통해) 다시 IR 유닛(예컨대, IR 카메라 또는 다른 영상 디바이스) 쪽으로 반사되고, 반사된 IR 광의 양은 방출기에 상대적인 사람의 시선의 방향에 기초한다. 일부 실시예에서, 반사된 IR 광이 특정 양의 시간 동안 특정의 문턱값에 도달하면 3D 공간에서의 사용자의 주시점이 결정될 수 있다. 시선의 짧은 소멸(small lapse)은 깜빡임으로서 해석될 수 있고, 전형적으로 무시된다. 다른 눈 추적 방법들은 비디오 영상 - 이로부터 눈 위치가 추출됨 - 을 사용하거나, 탐색 코일(search coil)을 사용하거나, 전기 안구도(electrooculogram)에 기초한다.
도 3a는 사용자의 주시점(예컨대, "사용자가 보고 있는 곳") 또는 머리에 상대적인 눈의 움직임을 결정하기 위해, 눈 위치 및 눈 움직임과 같은, 사용자의 눈 특성을 측정하는 눈 추적 시스템(220)을 개략적으로 나타낸 것이다. 눈 추적 시스템(200)은 영상 디스플레이(208), 적어도 하나의 광 방출기(210), 눈 추적 유닛(212), 및 광학 어셈블리(213)를 포함한다. 하나 이상의 눈 추적 시스템들(200)이 외과의사의 콘솔(120)에 통합될 수 있다. 광학 어셈블리(213)는 눈(202)과 광 방출기(210), 눈 추적 검출기(212), 및 영상 디스플레이(208) 사이의 광 전송 경로에 위치된다. 광학 어셈블리(213)는 광 방출기(210)로부터의 눈 추적 광(즉, IR 광)을 눈(202) 쪽으로, 영상 디스플레이(208)로부터의 가시광을 눈(202) 쪽으로, 그리고 눈(202)으로부터의 반사된 눈 추적 광(예컨대, IR 광)을 눈 추적 검출기(212) 쪽으로 지향시킨다. 이 실시예에서, 방출된 눈 추적 광, 반사된 눈 추적 광, 및 가시광은 눈(202)과 광학 어셈블리(213) 사이의 광학 경로를 공유한다. 도 3b, 도 3c, 및 도 3d에 보다 상세히 기술되는 바와 같이, 눈 추적 유닛은 2개 이상의 카메라 또는 다른 영상 디바이스를 이용하거나 단일의 입체 포착 영상 디바이스를 이용하는 입체 영상 디바이스일 수 있다. 각각의 눈 추적 시스템(200)은 외과의사의 좌안 또는 우안 중 어느 하나를 독립적으로 추적하는 데 사용될 수 있다. 예를 들어, 광학 어셈블리(213)가 광을 외과의사의 좌안(예컨대, 도 3b에 도시된 눈(202a)) 쪽으로 지향시키는 데 사용되는 경우, 눈 추적 시스템(200)은 좌안 시선을 나타내는 특성을 검출하도록 구성된다. 광학 어셈블리(213)가 광을 외과의사의 우안(예컨대, 도 3b에 도시된 눈(202b)) 쪽으로 지향시키는 데 사용되는 경우, 눈 추적 시스템(200)은 우안 시선을 나타내는 특성을 검출하도록 구성된다. 도 3b에 보다 상세히 기술되는 바와 같이, 눈 추적 시스템(200)은 눈 추적 검출기(212)에 의해 추적되는 눈(202)의 눈 특성 데이터(예컨대, 동공 위치 데이터 또는 각막 반사 데이터)를 처리하기 위해 하나 이상의 프로세서들과 결합될 수 있다.
도 3a에 도시된 바와 같이, 영상 디스플레이(208)로부터 방출되는 가시광(211a)은 광학 어셈블리(213)에 의해 외과의사의 눈(202) 쪽으로 지향된다. 광 방출기(210)에 의해 방출되는 눈 추적 광(예컨대, IR 광)(211b)은 광학 어셈블리(213)에 의해 외과의사의 눈 쪽으로 지향되고, 외과의사의 눈(202)에 의해 다시 광학 어셈블리(213) 쪽으로 반사된다. 광학 어셈블리(213)는 외과의사의 눈(202)로부터 반사된 눈 추적 광을 눈 추적 유닛(212) 쪽으로 지향시킨다.
일부 실시예에서, 광학 어셈블리(213)는 가시광 및 눈 추적 광 둘 다를 반사시키도록 배열된 하나 이상의 거울들을 포함한다. 대안의 실시예에서, 광학 어셈블리(213)는 어떤 광 빔은 반사시키면서 다른 광 빔은 투과시키는 빔 분할기 또는 다른 광학 필터링 요소를 포함할 수 있다. 예를 들어, 도 3c에 기술된 바와 같이, 광학 어셈블리는, IR 광과 같은, 특정의 파장 범위에서의 광은 선택적으로 통과시키면서, 가시광과 같은, 그 특정의 파장 범위 밖의 광은 반사시키도록 구성되는 이색성 요소(예컨대, 필터 또는 거울)를 포함할 수 있다. 광학 어셈블리(213)는 또한 임의의 다른 적당한 수 및 배열의 거울들 및/또는, 비제한적인 예로서, 이색성 거울(예컨대, 부분적으로 반사성이 있고 부분적으로 투과성이 있는 부분 반사 거울), 이색성 광학 코팅을 갖는 반사체, 이색성 거울을 갖는 프리즘(dichroic mirrored prism), 복굴절 재료, 및/또는 편광 빔 분할기와 같은, 다른 광학 디바이스들을 포함할 수 있다. 광학 어셈블리(213)는 눈 추적 시스템(200) 내의 컴포넌트들이 보다 많은 각종의 가능한 배열들을 가질 수 있게 하는데, 그 이유는, 눈 추적 유닛(212)으로부터의 광(211b)이 영상 디스플레이(208)로부터의 가시광과 동일한 광학 경로를 적어도 부분적으로 공유하더라도, 광학 어셈블리(213)의 거울들 및/또는 필터들이 눈 추적 유닛(212)을 외과의사에 보이지 않게 효과적으로 "감출" 수 있기 때문이다.
도 3b는 본 개시 내용의 일 실시예에 따른, 눈 추적 시스템(220)을 나타낸 도면이다. 눈 추적 시스템(220)은 도 1a, 도 1b, 및 도 1c의 원격 조작 의료 시스템(10)에 의해 사용될 수 있다. 예를 들어, 눈 추적 시스템(220)은 본 개시 내용의 일부 실시예에 따른 외과의사의 콘솔(120)에 있는 입체 뷰어(126)에 부분적으로 또는 전체적으로 포함될 수 있다. 눈 추적 시스템(220)은 좌 및 우 접안경(125a 및 125b), 좌안 및 우안 거울 세트(204a 및 204b)를 포함하는 광학 어셈블리(235), 좌안 및 우안 영상 디스플레이(208a 및 208b), 좌안 및 우안 광 방출기(210a 및 210b), 그리고 좌 및 우 눈 추적 유닛(212a 및 212b)을 포함한다. 도시된 실시예에서, 눈 추적 시스템(220)은 좌안 프로세서(214a), 우안 프로세서(214b), 및 적분기(216)를 포함한다.
시스템(220)의 좌 및 우 접안경(125a, 125b)은 외과의사의 콘솔(120)의 컴포넌트일 수 있다(도 1c를 참조). 좌 및 우 접안경(125a, 125b)은 렌즈를 포함하고, 외과의사는 외과의사의 좌안과 우안으로, 각각, 좌 및 우 접안경(125a, 125b)을 통해 좌 및 우 영상 디스플레이(208a, 208b)를 볼 수 있다. 렌즈는 광원(예컨대, 광 방출기(210a, 210b) 및/또는 영상 디스플레이(208a, 208b))으로부터의(예컨대, 광원으로부터 방출되거나 반사된) 광을 검출기(양눈(202a, 202b) 등) 쪽으로 집속시킬 수 있다. 렌즈는 목표물로부터의 광을 수집하고, 실상(real image)을 생성하기 위해, 그 광 빔을 집속시키는 대물 렌즈를 포함할 수 있다. 일부 실시예에서, 상이한 사용자들의 상이한 동공간 거리(interpupillary distance)를 참작하기 위해 좌 접안경(125a)과 우 접안경(125b) 사이의 거리가 조절가능하다. 일부 실시예에서, 좌 및 우 접안경(125a, 125b)은, 각각, 외과의사의 좌안 및 우안 시력의 요구에 기초하여 독립적으로 조절될 수 있다. 일부 실시예에서, 좌 및 우 접안경(125a, 125b)은 광 방출기 및/또는 좌안 및 우안 영상 디스플레이(208a, 208b)로부터의 광의 반사를 최소화하고 투과를 최대화하도록 구성되는 적당한 광학 코팅을 포함할 수 있다.
좌안 및 우안 광 방출기(210a, 210b)는, 각각, 외과의사의 좌안 및 우안을 조명하기 위해 광(211b)을 방출하고, 반사된 광이 좌안 및 우안에 대한 주시점을, 각각, 추적하기 위해 좌 및 우 눈 추적 유닛(212a, 212b)에 의해, 각각, 포착될 수 있다. 일부 실시예에서, 좌 및 우 광 방출기(210a 및 210b)는, IR LED(IR light emitting diode)와 같은, IR(infrared) 광 방출기일 수 있다. 일부 실시예에서, 각각의 눈에 대해 하나 초과의 광 방출기(예컨대, 각각의 눈에 대해 2개의 광 방출기)가 있을 수 있다. 각각의 광 방출기로부터 방출되는 광이 단일의 눈에 개별적인 반사들인 것처럼 보이도록, 각각의 눈에 대한 다수의 광 방출기들이 미리 결정된 거리만큼 떨어져 있을 수 있다. 일부 실시예에서, 하나 이상의 좌안 광 방출기들(210a)이 좌 눈 추적 유닛들(212a)과 서로 통합될 수 있고, 하나 이상의 우안 광 방출기들(210b)이 우 눈 추적 유닛들(212b)과 서로 통합될 수 있다. 다양한 실시예들은 각각의 눈에 대해 임의의 수의 추적 유닛들을 포함할 수 있다. 일부 실시예는 좌안과 우안에 대해 같지 않은 수의 추적 유닛들을 포함할 수 있다.
좌 눈 추적 유닛들(212a)은 외과의사의 좌안의 주시점을 추적하는 데 사용될 수 있고, 우 눈 추적 유닛들(212b)은 외과의사의 우안의 주시점을 추적하는 데 사용될 수 있다. 도 3b에 도시된 바와 같이, 눈 추적 유닛들(212a, 212b) 각각은 입체 눈 추적을 위한 2개의 눈 추적 카메라를 포함하는 3차원 영상 시스템이다. 각각의 눈 추적 유닛은 외과의사의 각자의 눈에 대한 동공 위치 및 각막 반사를 추적하는 데 사용될 수 있다. 예를 들어, 도시된 실시예에서, 2개의 좌안 추적 카메라(212a1, 212a2)는 외과의사의 좌안의 동공의 위치 및 각막 반사를 추적하는 데 사용된다. 이와 유사하게, 도시된 실시예에서, 2개의 우안 추적 카메라(212b1, 212b2)는 외과의사의 우안의 동공의 위치 및 각막 반사를 추적하는 데 사용된다. 각각의 동공의 위치 및 각막 반사의 입체 영상이 하나 초과의 눈 추적 유닛에 의해 독립적으로 추적될 수 있도록 각각의 눈에 대한 다수의 눈 추적 유닛들이 미리 결정된 거리만큼 서로로부터 떨어져 있게 위치되고, 각각의 동공의 위치 및 각막 반사의 3D 위치가 각각의 눈에 대한 독립적인 눈 추적 유닛들로부터 수집된 데이터에 기초하여 계산될 수 있다. 대안의 실시예에서, 눈 추적 유닛들 각각은, 예를 들어, 입체 카메라를 비롯한, 단일의 영상 디바이스를 포함할 수 있거나, 2개 초과의 영상 디바이스들을 포함할 수 있다.
일부 실시예에서, 눈 추적 유닛(212a 및 212b)은 CCD(charged coupled device) 카메라이다. 일부 실시예에서, 눈 추적 유닛(212a 및 212b)은 IR 광에 민감하고 IR 광 방출기로부터 방출된 적외선 광을 포착할 수 있는 IR 카메라이다. 일부 실시예에서, 눈 추적 유닛(212a 및 212b)은 양눈(예컨대, 동공)의 보다 높은 확대를 가지는 영상을 제공하기 위해 고배율 줌 렌즈(high zoom lens)를 포함할 수 있다.
일부 실시예에서, 눈 추적 유닛(212a, 212b) 및 광 방출기(210a, 210b)는 좌안 및 우안 영상 디스플레이(208a, 208b)의 베이스에, 각각, 위치된다. 일부 실시예에서, 눈 추적 유닛(212a, 212b)은 도 1c에 도시된 입체 영상 뷰어 시스템(126)에 위치될 수 있다. 광 방출기(210a 및 210b)는, 각각, 좌 및 우 눈 추적 유닛(212a 및 212b)과 함께 통합될 수 있다. 전형적으로, 사용자는 자신의 좌안과 우안을 좌안 및 우안 영상 디스플레이(125a, 125b)와, 각각, 직접 마주하도록 위치시킬 것이다. 이와 같이, 이 배열에 의해, 각각의 눈 추적 유닛(212a, 212b)은 추적될 눈과 직접 마주하도록 위치된다. 상세하게는, 좌 및 우 눈 추적 유닛(212a, 212b)은, 각각, 좌안 및 우안과 직접 마주하도록 위치된다. 본원에 개시되는 구성은 눈 추적 프로세스의 편의성 및 정확도를 개선시킬 수 있는데, 그 이유는 이 구성이, 안경과 같은, 외부 추적 디바이스를 필요 없게 해주기 때문이다. 그에 부가하여, 앞서 기술한 바와 같이, 종래의 눈 시선 추적 디바이스가 접안경 근방에 위치될 수 있고, 그로써 외과의사가 접안경을 들여다 볼 때 방해를 야기할 수 있다. 예를 들어, 눈 시선 추적 디바이스의 가장자리가 외과의사의 시야에 보일 수 있어, 어쩌면 외과의사를 산만케하거나 수술 부위의 뷰를 부분적으로 흐릿하게 할 수 있다. 이와 같이, 현재 구성은 외과의사의 시야 내의 임의의 불필요한 방해 영상을 제거하는 것에 의해 눈 추적 기술을 사용하는 데 있어서의 외과의사의 경험을 개선시킬 수 있다.
도시된 실시예에서 그리고 도 2a를 참조하면, 프로세서(214a, 214b)는 좌 및 우 눈 추적 유닛(212a, 212b)에, 각각, 결합되고, 영상 디스플레이(151)(예컨대, 디스플레이(208a, 208b))의 제2 좌표 프레임(165)과 관련한 외과의사의 주시점의 3D 위치를 계산하고 그 3D 위치를 수술 부위(155)의 제3 좌표 시스템(170)의 대응하는 3D 위치로 변환하도록(도 2a에 도시됨) 구성된다. 예를 들어, 좌 및 우 눈 추적 유닛(212a, 212b)에 의해 포착된 주시점이 정정(rectify)될 수 있고, 외과의사의 좌안과 우안의 주시점 사이의 시차(disparity)가 결정될 수 있다. 외과의사의 주시점의 3D 위치가 이어서 좌 및 우 눈 추적 유닛(212a, 212b) 사이의 거리, 좌 및 우 눈 추적 유닛(212a, 212b) 각각의 초점 거리에 관련된 파라미터들, 및 결정된 시차를 사용하여 계산될 수 있다.
수술 부위의 3D 입체 영상이 눈 추적 시스템(220)을 통해 외과의사에 의해 인지될 수 있다. 일부 실시예에서, 수술 동안 수술 부위(155)의 영상들을 포착하기 위해 원격 조작 어셈블리(100)에 위치된 내시경(112)이 조작될 수 있고(도 2a에 도시됨), 이 영상들이 좌 및 우 영상 디스플레이(208a, 208b) 상에 보여질 수 있다. 일부 실시예에서, 영상 디스플레이(208a, 208b)는 도 2a에 도시된 영상 디스플레이(151)와 동일하다. 일부 실시예에서, 내시경(112)은 입체 카메라를 포함한다. 내시경(112)에 의해 포착된 영상들은 이어서 좌 및 우 입체 영상을 발생시키기 위해 프로세서(214a, 214b)에 의해, 각각, 처리될 수 있다. 발생된 좌 및 우 입체 영상은, 각각, 좌 및 우 영상 디스플레이(208a 및 208b) 상에 보여질 수 있다. 상세하게는, 좌안 영상 디스플레이(208a)는 내시경(112)에 통신가능하게 결합되고, 수술 동안 수술 부위의 좌안 입체 영상을 디스플레이하도록 구성된다. 이와 유사하게, 우안 영상 디스플레이(208b)는 입체 카메라(112)에 결합되고, 수술 부위의 우안 입체 영상을 디스플레이하도록 구성된다. 좌안 입체 영상 및 우안 입체 영상은 입체 카메라(112)에 의해 포착되고, 각각, 좌안 및 우안 시야를 위해 처리된다. 좌안 및 우안 영상 디스플레이(208a, 208b)는 2D 또는 3D 디스플레이 화면일 수 있다. 일부 실시예에서, 좌안 및 우안 영상 디스플레이(208a, 208b)는 LCD(liquid crystal display) 화면이다. 어떤 경우에, 영상 디스플레이(208a, 208b)가 다수의 디스플레이 화면 또는 디바이스(예컨대, 외부 화면 또는 모바일 디바이스) 상에 동시에 제시될 수 있다.
앞서 언급된 바와 같이, 눈 추적 시스템(220)은 좌안 프로세서(214a), 우안 프로세서(214b), 및 적분기(216)를 포함한다. 프로세서(214a, 214b) 및 적분기(216)는 사용자의 주시점이 향해 있는 영상 디스플레이(208a, 208b) 상에서의 관찰 위치를 결정하기 위해 그리고 결정된 관찰 위치에 기초하여 원격 조작 의료 시스템(10)의 적어도 하나의 기능을 제어하기 위해 눈 추적 유닛(212a, 212b)으로부터 수신되는 주시점 데이터를 처리하도록 구성된다. 상세하게는, 프로세서(214a, 214b)는 좌 눈 및 우 눈 추적 유닛(212a, 212b)에 의해 수신되는 동공 위치 및 각막 반사 지점 데이터를 처리할 수 있다. 일부 실시예에서, 각각의 눈 추적 유닛에 의해 수신되는 동공 위치 및 각막 반사 지점 데이터는 동공의 위치 및 각막 반사의 3D 위치를 결정하기 위해 프로세서(214a 및 214b)에 의해 처리될 수 있다. 적분기(216)는 수술 동안 외과의사의 3D 주시점 또는 3D 주시 위치를 형성하기 위해 각각의 눈으로부터 수신되는 동공 위치 및 각막 반사 데이터를 적분하는 데 사용될 수 있다.
일부 실시예에서, 좌안 및 우안 프로세서(및/또는 적분기)의 기능들이 단일의 프로세서에 의해 수행될 수 있다. 일부 실시예에서, 적분기(216)는 사용자의 눈 주시 위치를 결정하고 처리하기 위해 양쪽 프로세서(214a, 214b)에 의해 수신되는 정보를 적분할 수 있다. 일부 실시예에서, 프로세서(214a, 214b) 및/또는 적분기(216)는 원격 조작 시스템(10) 내의 다른 곳에(예컨대, 중앙 전자 데이터 처리 유닛(142)의 일부로서 비전 카트(140) 내에, 원격 조작 어셈블리(100)에, 그리고/또는 외과의사의 콘솔(120) 내에) 위치될 수 있다. 일부 실시예에서, 프로세서(214a, 214b) 및/또는 적분기(216)는 또한 주시점 측정, 위치 맞춤(registration), 및 교정 데이터를 저장하기 위해 메모리에 결합될 수 있다. 일부 실시예에서, 프로세서(214a, 214b) 및/또는 적분기(216)는 외과의사의 주시점의 2D 위치를 계산하는 데 사용될 수 있다. 이하에서 더욱 상세히 기술되는 바와 같이, 일부 실시예에서, 동공의 위치 및 각막 반사의 3D 위치를 결정할 때 외과의사의 머리 움직임이 보상될 수 있다.
일부 실시예에서, 외과의사의 주시점의 계산된 2D 또는 3D 위치는, 외과의사의 주시점의 변화를 보여주는 점, 깃발, 또는 벡터와 같은, 각종의 적당한 표현들 중 임의의 것으로 디스플레이될 수 있다. 외과의사의 주시점이 좌 및 우 영상 디스플레이(208a, 208b) 상에 수술 부위(155)의 영상과 결합하여 디스플레이될 수 있다. 일부 실시예에서, 눈 추적 시스템(220)은 또한 시뮬레이션 모듈, 예컨대, da Vinci® Skills Simulator™와 통합된 외과의사의 콘솔(120)에서 사용될 수 있고, 여기서 가상 영상들이 좌 및 우 영상 디스플레이(208a 및 208b) 상에 보여질 수 있다.
광학 어셈블리(235)는 광 방출기(210)로부터의 IR 광을 양눈(202) 쪽으로, 영상 디스플레이(208)로부터의 가시광을 양눈(202) 쪽으로, 그리고 양눈(202)으로부터 (광 방출기(210)로부터 방출된) 반사된 IR 광을 눈 추적 유닛(212) 쪽으로 지향시키기 위해 양눈(202), 광 방출기(210), 눈 추적 유닛(212), 및 영상 디스플레이(208)에 상대적으로 배열되어 있다. 상세하게는, 광학 어셈블리(235)의 좌 및 우 거울 세트(204a, 204b) 각각은 좌 및 우 광 방출기(210a, 210b)로부터의 IR 광을, 각각, 외과의사의 좌안과 우안 내로, 각각, 반사시키도록 그리고 좌안과 우안으로부터의 IR 광을, 각각, 좌 및 우 눈 추적 유닛(212a, 212b) 내로 반사시키도록 배열된 복수의 거울들을 포함한다.
이와 같이, 좌안 거울 세트(204a)는 외과의사의 좌안, 좌 눈 추적 유닛(212a), 및 좌안 광 방출기(210a) 사이의 광 통신을 제공하도록 배열되어 있는 일련의 거울들을 포함한다. 예를 들어, 좌안 영상 디스플레이(208a) 상에 보여지는 입체 영상의 좌안 부분이 외과의사가 보게 가시광(211a)을 통해 외과의사의 좌안 내로 지향될 수 있도록, 거울들(204a)이, 도 3b에 도시된 바와 같이, 배열될 수 있다. 좌안 거울 세트(204a)는 또한 좌안 광 방출기(210a)로부터 방출되는 IR 광(211b)이 외과의사의 좌안 상으로 지향될 수 있게 한다. 외과의사의 좌안으로부터 반사된 IR 광(211b)은 좌안 거울 세트(204a)에 의해 좌 눈 추적 유닛(212a) 쪽으로 지향될 수 있고, 그로써 좌 눈 추적 유닛(212a)이 외과의사의 좌안의 주시점의 3D 위치를 결정하기 위해 반사된 IR 광을 추적할 수 있게 한다.
이와 유사하게, 우안 거울 세트(204b)는 외과의사의 우안, 우 눈 추적 유닛(212b), 및 우안 광 방출기(210b) 사이의 광 통신을 제공하도록 배열되어 있는 일련의 거울들을 포함한다. 예를 들어, 우안 영상 디스플레이(208b) 상에 보여지는 입체 영상의 우안 부분이 외과의사가 보게 가시광(211a)으로 외과의사의 우안 내로 지향될 수 있도록, 거울들(204b)이, 도 3b에 도시된 바와 같이, 배열될 수 있다. 우안 거울 세트(204b)는 또한 우안 광 방출기(210b)로부터 방출되는 IR 광(211b)이 외과의사의 우안 상으로 지향될 수 있게 한다. 외과의사의 우안으로부터 반사된 IR 광(211b)은 우안 거울 세트(204b)에 의해 우 눈 추적 유닛(212b) 쪽으로 지향될 수 있고, 그로써 우 눈 추적 유닛(212b)이 외과의사의 우안의 주시점의 3D 위치를 결정하기 위해 반사된 IR 광을 추적할 수 있게 한다. 도 3b에서, 방출된 IR 광(211b) 및 반사된 IR 광(211b)의 경로는 디스플레이(208a)와 눈(202a) 사이에서 그리고 디스플레이(208b)와 눈(202b) 사이에서 광학 경로를 가시광(211a)과 공유한다.
앞서 언급된 바와 같이, 일부 실시예에서, 좌 눈 및 우 눈 추적 유닛(212a, 212b)은 또한 (예컨대, 도 2a에 도시된 제1 좌표 프레임(160)에서) 외과의사의 3D 머리 움직임을 추적하기 위해 사용될 수 있다. 일부 실시예에서, 추적 유닛(212a, 212b)은 외과의사의 머리(예컨대, 얼굴을 포함함) 상의 고정 기준점을 모니터링하는 것에 의해 외과의사의 머리의 3D 움직임을 추적한다. 기준점이 외과의사의 눈 주시점과 연속적으로 동기화된 움직임을 갖지 않기 때문에, 기준점은 외과의사의 머리 위치 및 배향을 추정하는 데 사용될 수 있다. 기준점은 외과의사의 머리 상의 각종의 해부학적 랜드마크들 또는 특징들 중 임의의 것을 포함할 수 있다. 예를 들어, 기준점은 눈꺼풀 곡률, 눈의 코너, 홍채, 및/또는 눈썹과 같은 머리 특징을 포함할 수 있다. 일부 예에서, 기준점으로서 사용되는 머리 특징이 세그먼트화되어 추적될 수 있다. 예를 들어, 일 실시예에서, 눈의 코너는 눈의 2개의 스플라인의 교차점에 의해 검출되고 위치 확인될 수 있다. 2개의 입체 유닛(예컨대, 좌 눈 및 우 눈 추적 유닛(212a, 212b))이 사용될 때, 머리 특징이 3D 공간에서 추적될 수 있다. 외과의사의 좌안과 우안 사이의 동공간 거리가 일정한 것으로 가정되고, 그의 계산에서 프로세서에 의해 상수 인자로서 사용된다. 외과의사가 자신의 주시점을 이동시키는 일 없이 자신의 머리 또는 얼굴을 움직일 때, 외과의사의 동공은 눈 추적 유닛(212a, 212b)에 대해 움직이지 않은 채로 있다. 그에 따라, 외과의사의 동공이 눈 추적 유닛(212a, 212b)에 대해 고정된 채로 있는 동안 머리 상의 기준점은 움직인다. 따라서, 좌우 동공과 머리/얼굴 상의 기준점 사이에 상대 운동이 있다. 적절한 보상 값을 계산하기 위해, 이 상대 운동이 좌 눈 및 우 눈 추적 유닛(212a 및 212b)에 의해 추적되고 모니터링될 수 있다. 이 보상 값은 외과의사의 각각의 눈의 주시점의 3D 위치를 결정할 때 추적된 3D 머리 움직임을 보상하는 데 사용될 수 있다.
도 3c는 빔 분할기로서 동작하는 광학 어셈블리(255)를 포함하는 눈 추적 시스템(250)을 나타낸 도면이다. 눈 추적 시스템(250)은 도 3a의 눈 추적 시스템(200)의 예시적인 실시예이다. 눈 추적 시스템(250)은 본 개시 내용의 다양한 실시예들에 따른 외과의사의 콘솔(120) 상의 입체 영상 뷰어 시스템(126)에 부분적으로 또는 전체적으로 포함될 수 있다. 눈 추적 시스템(250)은 좌 눈 추적 유닛(212a)(눈 추적 카메라(212a1, 212a2)를 가짐), 우 눈 추적 유닛(212b)(눈 추적 카메라(212b1, 212b2)를 가짐), 좌안 광 방출기(210a), 우안 광 방출기(210b), 좌안 영상 디스플레이(208a), 우안 영상 디스플레이(208b), 좌안 프로세서(214a), 좌안 프로세서(214b), 및 적분기(216)를 포함한다. 그렇지만, 도 3c에 도시된 눈 추적 시스템(250)에서, 이 컴포넌트들은 눈 추적 시스템(220)에서와 상이한 구성으로 배열되어 있다. 도 3b에 도시된 눈 추적 시스템(220)에서는, 눈 추적 유닛(212a, 212b) 및 광 방출기(210a, 210b)는 (사용자에 대해) 영상 디스플레이(208a, 208b) 아래에 위치된다. 광학 어셈블리(235)는 영상 디스플레이(208a, 208b)와 접안경(125a, 125b) 사이에 위치된다. 이와 달리, 도 3c에 도시된 눈 추적 시스템(250)에서는, 좌 눈 및 우 눈 추적 유닛(212a, 212b)이 좌안 및 우안 영상 디스플레이(208a, 208b)와 광학 어셈블리(255) 사이의 영역 또는 공간에서 영상 디스플레이(208a, 208b)의 전방에 위치된다. 광학 어셈블리(255)는 좌안 거울 세트(204a) 및 우안 거울 세트(204b)를 포함한다. 좌안 거울 세트(204a)는 제1 광학 요소(256) 및 제2 광학 요소(257)를 포함한다. 우안 거울 세트(204b)는 제3 광학 요소(258) 및 제4 광학 요소(259)를 포함한다. 광학 요소(256, 257, 258, 및 259)는, 거울, 필터, 및 프리즘(이들로 제한되지 않음)을 비롯한, 각종의 광 투과 및/또는 광 반사 광학 디바이스들 중 임의의 것일 수 있다. 2개의 프로세서(214a, 214b)가 도 3c에 도시되어 있지만, 본 기술 분야의 통상의 기술자는 임의의 수의 프로세서들이 임의의 적절한 토폴로지로 배열될 수 있다는 것을 잘 알 것이다.
일부 실시예에서, 광학 어셈블리(255)는, 비제한적인 예로서, 이색성 거울 또는 이색성 필터와 같은, 빔 분할기를 포함하는 적어도 하나의 거울 세트를 포함한다. 빔 분할기는 상이한 파장 범위 내의 광을 투과시키는 것과 반사시키는 것 둘 다를 할 수 있는 임의의 디바이스를 포함할 수 있다. 예를 들어, 도 3c에 도시된 바와 같이, 좌안 거울 세트(204a)의 제2 광학 요소(257)는, 좌안 입체 영상 디스플레이(208a)로부터 방출되는 가시광과 같은, 가시광(211a)은 반사시키면서 IR 광(211b)은 통과시킬 수 있는 좌 빔 분할기(257)를 포함한다. 이와 같이, 좌안 광 방출기(210a)로부터 방출되는 IR 광(211b)은 좌안을 조명하기 위해 좌 빔 분할기(257)를 통과할 수 있고, 외과의사의 좌안(202a)으로부터 반사된 IR 광(112b)도 좌 눈 추적 유닛(212a)에 의해 포착되기 위해 좌 빔 분할기(257)를 통과할 수 있다. 이와 동시에, 좌안 영상 디스플레이(208a)로부터 방출되는 가시광(211a)은 외과의사의 좌안(202a)이 보도록 거울 세트(204a)의 광학 요소(256 및 257)에 의해 지향될 수 있다. 일부 실시예에서, 좌 빔 분할기(257)는 이색성 거울을 포함한다.
이와 유사하게, 우안 거울 세트(204b)의 제3 광학 요소(258)는, 우안 입체 영상 디스플레이(208b)로부터 방출되는 가시광과 같은, 가시광(211a)은 반사시키면서 IR 광(211b)은 통과시킬 수 있는 우 빔 분할기를 포함한다. 이와 같이, 우안 광 방출기(210b)로부터 방출되는 IR 광(211b)은 우안을 조명하기 위해 우 빔 분할기(258)를 통과할 수 있고, 외과의사의 우안(202b)으로부터 반사된 IR 광(211b)도 우 눈 추적 유닛(212b)에 의해 포착되기 위해 우 빔 분할기(258)를 통과할 수 있다. 이와 동시에, 우안 영상 디스플레이(208b)로부터 방출되는 가시광(211a)은 외과의사의 우안(202b)이 보도록 거울 세트(204b)(및 빔 분할기(258))에 의해 지향될 수 있다. 일부 실시예에서, 우 빔 분할기(258)는 이색성 거울을 포함한다.
빔 분할기(257, 258)를 광학 어셈블리(255)에 포함시키는 것은 눈 추적 유닛(212a, 212b)이, (예컨대, 영상 디스플레이(208a, 208b)에서) 외과의사에 보이지 않으면서, 영상 디스플레이(208a, 208b)로부터 나오는 디스플레이된 영상에 대한 광학 경로의 적어도 일부를 공유하는 구성을 가능하게 한다. 환언하면, 반사된 IR 광(211b)은 가시광(211a)의 광학 경로의 일부분, 즉 눈과 각자의 빔 분할기 사이의(예컨대, 눈(202a)과 빔 분할기(257) 사이의 그리고 눈(202b)과 빔 분할기(258) 사이의) 광학 경로의 일부분을 공유한다. 도 3c에 도시된 바와 같이, 좌 눈 및 우 눈 추적 유닛(212a, 212b)은 빔 분할기(203a, 203b) 뒤에 그리고 외과의사의 양눈과 직접 마주하게 위치된다. 이 구성은 눈 추적 유닛(212a, 212b)이, 가시광 경로를 방해함이 없이 그리고 어떤 광 반사 경로도 영상 디스플레이(208a, 208b)에 영향을 미치는 일 없이(예컨대, 영상 디스플레이(208a, 208b)가 외과의사의 양눈으로부터 어떤 반사된 IR 광도 수광하는 일 없이), 외과의사의 좌안과 우안(202a, 202b)으로부터, 각각, 정보를 포착할 수 있게 한다. 이와 달리, 도 3b에 도시된 바와 같이, 외과의사의 양눈(202a, 202b)으로부터 반사된 IR 광(파선 화살표로 도시됨)은 눈 추적 유닛(212a, 212b)에 의해 수광되기 위해 다시 영상 디스플레이(208a, 208b) 쪽으로 반사된다.
어떤 경우에, 빔 분할기(예컨대, 빔 분할기(257, 258))를 눈 추적 시스템(250)의 광학 어셈블리(255)에 포함시키는 것은, 눈 추적 유닛(212a, 212b)이 외과의사에 보이지 않으면서, 눈 추적 유닛(212a, 212b)으로부터의 광(211b)이 디스플레이된 영상으로부터의 가시광(211a)의 광학 경로의 적어도 일부를 공유할 수 있게 한다. 어떤 경우에, 외과의사는 방해 영상에 의해 덜 산만케될 수 있고 현재 시술에 더욱 집중할 수 있는데, 그 이유는 이 구성이 눈 추적 유닛으로부터의 방해 영상을 외과의사의 영상 디스플레이(208a, 208b)에서 제거할 수 있기 대문이다. 그에 부가하여, 도 3c에 도시된 구성은 또한 눈 추적 시스템(250)의 설계 및 제조에 대한 보다 많은 유연성 또는 컴팩트성(compactness)을 제공할 수 있다. 시스템(250)의 구성은 최소화된 공간 및 설계 제약조건을 수용하면서 디스플레이의 보다 깨끗한 뷰(눈 추적 유닛이 보이지 않음)를 생성할 수 있다.
도 3d는 본 개시 내용의 일 실시예에 따른, 빔 분할기로서 동작하는 광학 어셈블리(260)를 포함하는 예시적인 눈 추적 시스템(280)을 나타낸 도면이다. 눈 추적 시스템(280)은 도 3a에 도시된 눈 추적 시스템(200)의 다른 예시적인 실시예이다. 눈 추적 시스템(280)은 본 개시 내용의 일부 실시예에 따른 외과의사의 콘솔(120) 상의 입체 영상 뷰어 시스템(126)에 부분적으로 또는 전체적으로 포함될 수 있다. 눈 추적 시스템(280)은 좌 눈 추적 유닛(212a)(눈 추적 카메라(212a1, 212a2)를 가짐), 우 눈 추적 유닛(212b)(눈 추적 카메라(212b1, 212b2)를 가짐), 좌안 광 방출기(210a), 우안 광 방출기(210b), 좌안 영상 디스플레이(208a), 우안 영상 디스플레이(208b), 좌안 프로세서(214a), 좌안 프로세서(214b), 및 적분기(216)를 포함한다. 도 3d에 도시된 눈 추적 시스템(280)에서는, 이 컴포넌트들은 눈 추적 시스템(250)에서와 상이한 구성으로 배열되어 있다. 상세하게는, 도 3c에 도시된 눈 추적 시스템(250)에서는, 눈 추적 유닛(212a, 212b) 및 광 방출기(210a, 210b)는 영상 디스플레이(208a, 208b)와 광학 어셈블리(255) 사이에 위치된다. 이와 달리, 도 3d에 도시된 눈 추적 시스템(280)에서는, 눈 추적 유닛(212a, 212b) 및 광 방출기(210a, 210b)가 광학 어셈블리(260)에 인접하여(예컨대, 그의 측방에) 위치된다(또는 양눈에 대해 약 90° 회전되어 있음). 도 3d의 도시된 실시예에서, 광학 어셈블리(260)와 영상 디스플레이(208a, 208b) 사이의 공간이 비어 있고, 그로써 영상 디스플레이(208a, 208b)와 광학 어셈블리(260) 사이에 방해받지 않는 광학 경로를 제공한다.
도 3c에 도시된 광학 어셈블리(255)와 같이, 눈 추적 시스템(280)의 광학 어셈블리(260)는 빔 분할기로서 기능하는 2개의 광학 요소를 포함한다. 도 3d에 도시된 광학 어셈블리(260)에서는, 제1 및 제4 광학 요소(256 및 259)가 빔 분할기로서 기능한다. 상세하게는, 좌안 거울 세트(204a)의 제1 광학 요소(256)는 좌 빔 분할기를 포함하고, 우안 거울 세트(204b)의 제4 광학 요소(259)는 우 빔 분할기를 포함한다. 도 3d에 도시된 바와 같이, 좌안 거울 세트(204a)의 좌 빔 분할기(256)는, 좌안 입체 영상 디스플레이(208a)로부터 방출되는 가시광과 같은, 가시광(211a)은 반사시키면서 IR 광(211b)은 투과시킨다. 이와 같이, 좌안 광 방출기(210a)로부터 방출되는 IR 광(211b)은 좌안을 조명하기 위해 좌 빔 분할기(256)를 통과할 수 있고, 외과의사의 좌안(202a)으로부터 반사된 IR 광도 좌 눈 추적 유닛(212a)에 의해 포착되기 위해 좌 빔 분할기(256)를 통과할 수 있다. 이와 동시에, 좌안 영상 디스플레이(208a)로부터 방출되는 가시광은 외과의사의 좌안(202a)이 보도록 거울 세트(204a)(빔 분할기(256)를 포함함)에 의해 지향될 수 있다. 일부 실시예에서, 좌 빔 분할기(256)는 이색성 거울을 포함한다.
이와 유사하게, 우안 거울 세트(204b)의 우 빔 분할기(259)는, 우안 입체 영상 디스플레이(208b)로부터 방출되는 가시광과 같은, 가시광(211a)은 반사시키면서 IR 광(211b)은 투과시킨다. 이와 같이, 우안 광 방출기(210b)로부터 방출되는 IR 광(211b)은 우안을 조명하기 위해 우 빔 분할기(259)를 통과할 수 있고, 외과의사의 우안(202b)으로부터 반사된 IR 광(211b)도 우 눈 추적 유닛(212b)에 의해 포착되기 위해 우 빔 분할기(259)를 통과할 수 있다. 이와 동시에, 우안 영상 디스플레이(208b)로부터 방출되는 가시광(211a)은 외과의사의 우안(202b)이 보도록 거울 세트(204b)(및 빔 분할기(259))에 의해 지향될 수 있다. 일부 실시예에서, 우 빔 분할기(259)는 이색성 거울을 포함한다.
빔 분할기(257, 259)를 광학 어셈블리(260)에 포함시키는 것은, 눈 추적 유닛이 외과의사에 보이지 않으면서, 눈 추적 유닛(212a, 212b)으로부터의 광(211b)이 영상 디스플레이(208a, 208b)로부터 나오는 디스플레이된 영상에 대한 광학 경로의 적어도 일부를 공유하는 구성을 가능하게 한다. 상세하게는, 도 3d에 도시된 바와 같이, 좌 눈 및 우 눈 추적 유닛(212a, 212b)은 빔 분할기(257, 259) 뒤에 그리고 외과의사의 양눈에 어떤 각도(예컨대, 90°)로 위치된다. 이 구성은 눈 추적 유닛(212a, 212b)이, 디스플레이로부터의 가시광의 경로를 방해함이 없이 그리고 어떤 광 반사 경로도 영상 디스플레이(208a, 208b)에 영향을 미치는 일 없이(예컨대, 영상 디스플레이(208a, 208b)가 외과의사의 양눈으로부터 어떤 반사된 IR 광도 수광하는 일 없이), 외과의사의 좌안과 우안으로부터 정보를 포착할 수 있게 한다.
어떤 경우에, 빔 분할기(예컨대, 빔 분할기(256, 259))를 눈 추적 시스템(280)의 광학 어셈블리(260)에 포함시키는 것은, 눈 추적 유닛(212a, 212b)이 외과의사에 보이지 않으면서, 눈 추적 유닛(212a, 212b)으로부터의 광(211b)이 디스플레이된 영상으로부터의 가시광(211a)의 광학 경로의 적어도 일부를 공유할 수 있게 한다. 어떤 경우에, 외과의사는 방해 영상에 의해 덜 산만케될 수 있고 현재 시술에 더욱 집중할 수 있는데, 그 이유는 이 구성이 눈 추적 유닛으로부터의 방해 영상을 외과의사의 영상 디스플레이(208a, 208b)에서 제거할 수 있기 대문이다. 그에 부가하여, 도 3d에 도시된 구성은 또한 눈 추적 시스템(280)의 설계 및 제조에 대한 보다 많은 유연성 또는 컴팩트성을 제공할 수 있다. 시스템(280)의 구성은 최소화된 공간 및 설계 제약조건을 수용하면서 디스플레이의 보다 깨끗한 뷰(눈 추적 유닛이 보이지 않음)를 생성할 수 있다.
광 방출기(210)(예컨대, 좌안 및 우안 광 방출기(210a 및 210b))의 위치가 융통성이 있다는 것을 잘 알 것이다. 눈 추적 유닛(212)(예컨대, 좌 눈 및 우 눈 추적 유닛(212a 및 212b))의 위치도 융통성이 있다. 본 기술 분야의 통상의 기술자는, 외과의사의 시야에 대한 방해를 최소화하기 위해 그리고 눈 추적 프로세스의 정확도 및 효율성을 개선시키기 위해, 광 방출기(212) 및/또는 눈 추적 유닛(212)이 (예컨대, 외과의사 및 외과의사의 콘솔(120) 상의) 영상 디스플레이에 상대적인 임의의 적당한 위치에 위치될 수 있다는 것을 잘 알 것이다.
도 4a는 본 개시 내용의 일 실시예에 따른, 도 3a 내지 도 3d에 도시된 바와 같은 눈 추적 시스템을 사용하여 외과의사의 3D 주시점을 결정하는 방법(300)을 나타낸 것이다. 방법(300)은 2개의 프로세스 - 교정 프로세스(302) 및 측정 프로세스(304) - 를 포함한다. 일부 실시예에서, 교정 프로세스(302)는, 3D 공간에서의 외과의사의 주시점이 기지의 3D 위치 파라미터들을 갖는 3D 공간에서의 미리 결정된 목표물과 비교되는, 3D 교정 프로세스이다.
3D 공간에서 보여지는 목표물(T)의 영상이 좌 및 우 입체 영상으로 분리되고, 좌 및 우 영상 디스플레이(208a, 208b) 상에, 각각, 디스플레이될 수 있다. 좌안 및 우안 광 방출기(210a, 210b)는 좌 눈 및 우 눈 추적 유닛(212a, 212b)에 의해, 각각, 추적될 수 있는 광을 방출할 수 있다. 좌안 및 우안 영상 디스플레이(208a 및 208b) 상에 디스플레이되는 목표물의 좌안 및 우안 입체 영상이 반사되고 외과의사의 좌안(202a)과 우안(202b) 내로, 각각, 지향될 수 있도록 좌안 및 우안 거울 세트(204a 및 204b)가 배열될 수 있다. 일부 실시예에서, 도 3a 내지 도 3d에 도시된 바와 같이, 좌안 광 통신과 우안 광 통신 사이에 "크로스토크" 또는 공유 광학 경로가 없도록 좌안 및 우안 거울 세트(204a 및 204b)가 배열된다. 광 방출기(210a, 210b)로부터 방출되는, IR 광(211b)과 같은, 광이 또한 외과의사의 좌안(202a)과 우안(202b)을 조명하기 위해 좌안 및 우안 거울 세트(204a, 204b)를 통해 지향될 수 있다. 교정 프로세스 동안, 이하의 프로세스들에서 보상 값 및/또는 주시점 결정 모델을 결정하기 위해, 측정된 데이터가 목표 대상물의 미리 결정된 위치 데이터와 비교될 수 있도록, 목표물의 3D 위치가 미리 결정된다 - 예를 들어, 3D 공간에서 기지의 3D 위치 파라미터들을 가짐 -.
도 4b는 미리 결정된 목표물(T)(3D 좌표(aT, bT, cT)를 가짐)이 교정 프로세스 동안 좌안 영상 디스플레이(208a) 상에 보여질 때 좌 눈 추적 유닛(212a)이 외과의사의 좌안(202a)의 각막 반사 및 동공 위치를 추적하는 것의 일 예를 나타낸 것이다. 교정 프로세스(302)는 3D 공간에서 목표물(T)을 보여주는 프로세스(312)에서 시작될 수 있다. 도 4b에 도시된 바와 같이, 목표물(T)이 좌안 영상 디스플레이(208a) 상에서 (aT, bT, cT)의 좌표 값을 갖는 미리 결정된 3D 좌표 프레임(350)에 위치될 수 있다. 좌안 영상 디스플레이(208a) 상에 보여진 목표물(T)은 입체 유닛(112)에 의해 포착되고 프로세서(214a)에 의해 처리된 좌안 입체 영상일 수 있다. 다른 실시예에서, 목표물(T)은 가상적으로 생성된 영상일 수 있다. 도 3a 내지 도 3d와 관련하여 앞서 논의된 바와 같이, 좌안 거울 세트(204a)(도시되지 않음)는 좌 눈 추적 유닛(212a) 및 외과의사의 좌안(202a)에 상대적인 임의의 적당한 위치에 위치될 수 있다. 간략함을 위해 외과의사의 좌안의 하나의 각막 반사만이 도 4b에 도시되어 있지만, 각각의 눈(202)에 대한 하나 초과의 광 방출기(210)로부터의 하나 초과의 각막 반사가 있을 수 있다는 것을 잘 알 것이다.
일부 예에서, 목표물(T)은 3D 공간(350)에 보여지는 수술 도구 아이콘일 수 있다. 목표물(T)은 또한 움직이는 목표물, 또는 크기를 동적으로 변화시킬 수 있는 목표물일 수 있다. 대안적으로, 목표물은 또한 수술 부위에 있는 실제 수술 도구일 수 있고, 그의 위치는 임의의 적당한 도구 추적 기술을 사용하여 추적되고 식별될 수 있다. 예를 들어, 교정 프로세스(302)는 2005년 5월 16일자로 출원된, 발명의 명칭이 "Methods and system for performing 3D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery"인 미국 특허 공보 제2006/0258938호 - 이는 참고로 본원에 포함됨 - 에 개시된 특징들을 포함할 수 있다. 교정 프로세스(302) 동안, 이하의 단계들에서 다양한 모델들을 결정하기 위해, 측정된 데이터가 목표물(T)의 기지의 위치 파라미터들과 비교될 수 있도록, 목표물(T)의 3D 위치가 미리 결정된다 - 예를 들어, 3D 공간에서 기지의 3D 위치 파라미터들(예컨대, (aT, bT, cT)의 좌표 값)을 가짐 -.
도시된 실시예에서, 교정 프로세스(302)는 좌 눈 및 우 눈 추적 유닛(212a 및 212b)에 의해, 각각, 포착되는 좌안과 우안의 동공의 2D 위치 및 2D 각막 반사 데이터를 수신하는 단계(314)로 진행한다. 일부 실시예에서, 2D 동공 위치 및 2D 각막 반사 데이터는 좌표 값, 변위, 및/또는 각도를 포함할 수 있다. 일부 실시예에서, 외과의사의 좌안(202a)과 우안(202b)의 각막 반사가 추적되기 위해 좌 눈 및 우 눈 추적 유닛(212a, 212b) 내로, 각각, 지향될 수 있도록, 좌안 및 우안 거울 세트(204a 및 204b)가 도 3a 내지 도 3d에 도시된 바와 같이 배열된다. 추적된 2D 데이터는 이어서, 외과의사의 좌안(202a)과 우안(202b)의 3D 동공 위치 및 각막 반사 데이터를 획득하기 위해, 좌안 및 우안 프로세서(214a, 214b) 및/또는 적분기(216)에 의해 수신되어 처리될 수 있다.
도 4c는 외과의사의 각막에 대응하는 2D 좌표 프레임(360), 및 외과의사의 동공에 대응하는 2D 좌표 프레임(370)을 나타낸 것이다. 도 4c에 도시된 바와 같이, 좌안 광 방출기(210a)가 광을 외과의사의 눈(202a) 쪽으로 방출할 때, 광(예컨대, IR 광)은 외과의사의 좌안(202a)의 각막의 표면으로부터 반사되고, 반사 영상은 각막 반사 중심(365)(좌표 (uR, vR)을 가짐)이 미리 결정된 2D 좌표 프레임(360)에 위치되는 밝은 영상으로 된다. 어떤 경우에, 각막 반사 데이터는 눈마다 하나 초과의 각막 반사에 대한 추적 정보를 포함한다. 미리 결정된 2D 좌표 프레임(370)에서의 동공(375)의 중심(좌표 (xP, yP)를 가짐)이 또한 좌 눈 추적 유닛(212a)에 의해 추적될 수 있다.
교정 프로세스(302)는 좌안과 우안의 동공 위치 및 각막 반사 데이터를, 각각, 보다 정확하게 결정하기 위해 머리 움직임을 추적하는 프로세스(316)로 진행한다. 환언하면, 머리 움직임으로 인해 유발된 동공 위치 및 각막 반사 데이터의 부정확성을 보상하기 위해 머리 움직임 데이터가 사용될 수 있다. 예를 들어, 머리의 회전이 머리 움직임 데이터의 변화에 의해 근사화될 수 있다. 일부 실시예에서, 도 3a와 관련하여 앞서 기술된 바와 같이, 머리 움직임을 결정하기 위해 외과의사의 머리 특징(예컨대, 눈의 코너)이 추적될 수 있다. 일부 실시예에서, 외과의사는 적절한 보상 값 및/또는 보상 모델을 결정하기 위해 영상 디스플레이(208a, 208b)에서의 목표물(T)에 포커싱하면서 하나 이상의 머리 움직임들을 수행하도록 요청받을 수 있다. 예를 들어, 외과의사는 영상 디스플레이(208a, 208b) 상의 미리 결정된 목표물(T)에 포커싱하면서 자신의 머리를 접안경(125a, 125b)에 보다 가깝게 움직이라고 요청받을 수 있다. 외과의사는 또한 보다 많은 교정 정보를 수집하기 위해 자신의 머리를 일련의 움직임으로(예컨대, 상하로, 좌우로, 회전하여, 그리고/또는 접안경으로부터 더 멀어지는 쪽으로) 움직이라고 요청받을 수 있다.
좌 눈 및 우 눈 추적 유닛(212a 및 212b)은 얼굴/머리 움직임에 관련된 보상 값을 결정하기 위해 외과의사의 동공과 얼굴/머리 특징 사이의 상대 운동을 포착할 수 있다. 일부 실시예에서, 외과의사의 머리 움직임이 또한 헤드레스트(130) 상에 장착된 하나 이상의 센서들에 의해 추적될 수 있다. 계산된 2D 또는 3D 주시점 위치가 외과의사의 추적된 머리 움직임에 기초하여 추가로 조절되거나 보상될 수 있다. 보상 값을 결정하기 위해, 센서들에 의해 수집된 데이터가 프로세스(316)에서 획득된 데이터와 결합될 수 있다. 헤드레스트를 조작하기 위해 감지 방법을 사용하는 것에 관한 추가 상세는, 예를 들어, 발명의 명칭이 "ENDOSCOPE CONTROL SYSTEM"인 미국 출원 제61/865,996호에서 찾아볼 수 있다.
일부 실시예에서, 보상 값 및/또는 보상 모델이 장래의 측정 또는 계산을 위해 프로세서(214a, 214b) 및/또는 적분기(216)에 결합된 메모리에 저장될 수 있다. 일부 실시예에서, 사용자가 시스템에 다시 로그인할 때 동일한 사용자가 교정 프로세스를 반복할 필요가 없도록, 특정 사용자의 보상 값 및/또는 보상 모델이 사용자의 프로파일 데이터의 일부로서 메모리에 저장될 수 있다.
교정 프로세스(302)는 외과의사의 좌안(202a)과 우안(202b) 각각의 3D 동공 위치 및 3D 각막 반사 데이터를, 각각, 결정하는 프로세스(318)로 진행한다. 일부 실시예에서, 눈 추적 유닛(212a)은 입체 카메라를 포함하고, 2D 동공 위치 및 2D 각막 반사 데이터를 포함하는 입체 영상이 포착되고, 다수의 입체 영상 간의 시차를 계산하기 위해, 프로세서(214a)에 의해 처리될 수 있다. 예를 들어, 도 4b에 도시된 바와 같이, 하나 이상의 좌 눈 추적 유닛(212a)이 외과의사의 좌안(202a)의 입체 영상을 포착할 수 있는 입체 카메라를 포함할 때, 다수의 입체 영상들 사이의 시차를 계산하기 위해, 각각의 개별 좌 눈 추적 유닛(212a)으로부터의 2D 동공 위치(375)(xP, yP) 및 2D 각막 반사 데이터(365)(uR, vR)가 처리될 수 있다. 일부 실시예에서, 결정된 위치 데이터는 외과의사의 좌안(202a)의 2D 동공 위치 및 2D 각막 반사 데이터를 포함할 수 있다.
각각의 눈의 결정된 2D 데이터는 이어서 외과의사의 3D 눈 시선 위치를 추정하기 위해 결합될 수 있다. 일부 실시예에서, 결정된 위치 데이터는 동공의 3D 위치 및 3D 각막 반사 데이터를 포함할 수 있다. 시차-깊이 변환 맵은 교정 프로세스 동안 이 방법을 사용하여 획득될 수 있다. 외과의사의 동공의 깊이(좌표점 zP) 및 각막 반사의 깊이(좌표점 wR)를 비롯한 3D 데이터가 이어서 시차를 사용하여 추정될 수 있다. 예를 들어, 외과의사의 좌안(202a)의 3D 눈 시선 데이터가 좌 눈 추적 유닛들(212a) 사이의 거리, 좌 눈 추적 유닛들(212a) 각각의 초점 거리에 관련된 파라미터들, 및 계산된 시차를 사용하여 계산될 수 있다. 시차-깊이 변환 맵은 교정 프로세스 동안 이 방법을 사용하여 획득될 수 있다. 일부 실시예에서, 외과의사의 머리 움직임이 또한 좌 및 우 눈 추적기(204a 및 204b)에 의해 포착될 수 있다.
일부 실시예에서, 외과의사의 동공은, 상이한 깊이를 갖는 목표물(T)을 쳐다볼 때, (예컨대, 도 4b에 도시된 각도 γ로 표시된 바와 같이) 이접 운동(vergence)을 보여줄 수 있다. 외과의사의 동공 및 각막 반사의 깊이는 외과의사의 동공들 각각의 이접 운동(예컨대, 각도 γ)을 모니터링하는 것 및 측정된 동공간 거리와 3D 좌표 프레임(350)에서의 목표물(T)의 깊이 사이의 변환 차트를 형성하는 것에 의해 추정될 수 있다. 일부 실시예에서, 외과의사의 동공의 깊이(예컨대, zP) 및 각막 반사의 깊이(예컨대, wR)가 도 4b에 예시된 바와 같이 삼각측량법을 사용하여 계산될 수 있다. 예를 들어, 다수의 좌 눈 추적 유닛들(212a) 사이의 거리는 거리 dC(예컨대, 도 4b에서 지점 A와 지점 B 사이의 거리)로 설정되고, 외과의사의 눈이 3D 좌표 프레임(350)에서 상이한 위치에 있는 목표물(T)을 쳐다보고 있을 때 삼각측량 각도 α 및 β가 추적될 수 있다. 한 경우에, 목표물(T)이 상이한 깊이에 위치될 때, 각도 α 및 β가 그에 따라 변할 수 있고, 따라서 눈 추적 유닛(212a)과 동공 사이의 거리 dP(예컨대, 지점 C와 동공 사이의 거리)가 계산될 수 있다. 거리 값 dP는 또한 3D 동공 위치(예컨대, 좌표 (xP, yP, zP))를 계산하는 데 사용될 수 있다. 외과의사의 우안의 3D 동공 위치(예컨대, 좌표 (xP, yP, zP)) 및 각막 반사 데이터(예컨대, 좌표 (uR, vR, wR))가 외과의사의 좌안의 결정과 실질적으로 유사한 방식으로 결정될 수 있다.
교정 프로세스(302)의 프로세스(322)에서, 주시점 결정 모델을 결정하기 위해 결정된 3D 동공 위치 및 3D 각막 반사 데이터가 미리 결정된 목표물(T)의 미리 결정된 3D 위치 파라미터들과 비교된다. 환언하면, 3D 동공 위치 및 3D 각막 반사 데이터와 미리 결정된 목표물(T)의 3D 위치 사이의 관계를 결정하는 것에 의해 주시점 결정 모델이 형성될 수 있다. 일부 예에서, 하기의 관계식 또는 함수 f를 획득하기 위해 외과의사의 좌안(202a)의 결정된 3D 동공 위치(375')(좌표 (xP, yP, zP)) 및 3D 각막 반사 데이터(365')(좌표 ((uR, vR, wR))가 프로세스(312)에서 선택된 목표물(T)의 좌 입체 영상의 3D 위치 데이터(T)(좌표 (aT, bT, cT))와 비교된다:
(aT, bT, cT) = f (xP, yP, zP, uR, vR, wR)
일부 실시예에서, 복수의 교정 목표물들이 교정 프로세스를 위해 사용되고, 함수 f의 파라미터들이 교정 프로세스 동안 복수의 목표 지점들로부터 수집된 동공의 위치 및 각막 반사 데이터를 사용하여 결정될 수 있다. 일부 예에서, 최소 제곱 최적화(least squares optimization), 또는 최대 우도 추정(maximum likelihood estimation)과 같은 방법들이 함수 f의 파라미터들을 결정하는 데 사용될 수 있다. 일부 실시예에서, 각각의 눈에 대한 시선 방향 벡터는 각각의 눈의 3D 동공 위치 및 3D 각막 반사 데이터를 사용하여 형성될 수 있고, 각각의 시선 방향 벡터의 교차점이 외과의사의 주시점인 것으로 결정될 수 있다. 함수 f를 결정하기 위해, 결정된 주시점이 이어서 목표물(T)의 3D 위치 데이터와 비교될 수 있다. 일부 실시예에서, 교정 프로세스 동안, 함수 f를 사용하여 계산된 3D 위치와 목표물(T)의 실제의 결정된 위치 사이의 오차가, 최소 제곱 최적화, 최대 우도 추정과 같은, 최적화 방법을 사용하여 최소화될 수 있다. 일부 실시예에서, 주시점 결정 모델이 또한 외과의사의 양눈의 2D 위치 데이터, 목표물의 2D 위치 데이터, 및 외과의사의 동공의 이접 운동(예컨대, 각도 γ)을 사용하여 형성될 수 있다. 일부 실시예에서, 주시점 결정 모델은 또한 동공의 3D 위치 및 3D 각막 반사 데이터로부터 3D 공간에서의 좌표 시스템에서의 목표물(T)의 3D 위치로의 변환을 나타내는 행렬을 포함할 수 있다.
이와 유사하게, 외과의사의 우안(202b)의 3D 동공 위치 및 3D 각막 반사 데이터가 프로세스(312)에서 선택된 목표물(T)의 우 입체 영상의 3D 위치 데이터와 비교될 수 있다.
일부 실시예에서, 교정 프로세스(302)가 여러 번 반복될 수 있고, 따라서 주시점 결정 모델의 정확도는 정확도가 미리 결정된 시스템 요구사항을 충족시킬 때까지 개선될 수 있다. 일부 실시예에서, 제1 주시점 결정 모델(예컨대, 함수 f)이 형성된 후에, 제1 주시점 결정 모델의 정확도를 추정하기 위해 하나 이상의 실제 목표물들이 사용될 수 있다. 예를 들어, 실제 목표물(들)을 사용하여 매핑 최적화를 재실행함으로써, 제1 주시점 결정 모델이 제2 주시점 결정 모델을 형성하기 위해 업데이트될 수 있다. 보다 정확한 주시점 결정 모델이 형성될 수 있도록, 제1 모델과 제2 모델 간에 정확도가 비교되고 평가된다.
교정 프로세스(302)가 완료된 후에, 방법(300)은 측정 프로세스(304)로 진행한다. 측정 프로세스(304)는 수술 또는 수련 프로세스 동안 내시경 또는 입체 카메라(112)가 수술 부위의 영상을 포착하고 있을 때 수행될 수 있다. 일부 실시예에서, 교정 프로세스(302) 및 측정 프로세스(304)가 또한 시뮬레이트된 실습에서 시뮬레이션 모듈을 사용하여, 예를 들어, (예컨대, 외과의사의 콘솔(120)과 통합될 수 있는) da Vinci® Skills Simulator™을 사용하여 수행될 수 있다.
측정 프로세스(304)는 외과의사가 좌안 및 우안 영상 디스플레이(208a, 208b) 상에 디스플레이된 영상(예컨대, 수술 부위 또는 가상 영상)을 쳐다보고 있을 때 외과의사의 좌안(202a)과 우안(202b)의 2D 동공 위치 및 2D 각막 반사 데이터를 수신하는 단계(324)에서 시작된다. 프로세스(324)에 대한 구성 및 방법은 이전에 논의된 바와 같은 방법(300)의 프로세스(314)와 실질적으로 유사할 수 있다. 일부 실시예에서, 수술 부위의 영상은 내시경 또는 입체 카메라(112)에 의해 포착되고, 좌안 및 우안 영상 디스플레이(208a, 208b) 상에, 각각, 디스플레이되는 좌안 및 우안 입체 영상으로 분리되기 위해 처리될 수 있다. 외과의사의 좌안과 우안의 2D 동공 위치 및 2D 각막 반사 데이터는 좌 눈 및 우 눈 추적 유닛(212a, 212b)에 의해, 각각, 포착되고, 3D 동공 위치 데이터를 획득하기 위해 프로세서(214a, 214b) 및/또는 적분기(216)에 의해 처리된다.
측정 프로세스(304)는 프로세스(316)에서 결정된 보상 값 및/또는 보상 모델을 사용하여 외과의사의 좌안(202a)과 우안(202b) 각각에 대한 동공 위치 및 각막 반사 데이터를 추정하는 단계(326)로 진행한다. 일부 실시예에서, 단계(316)에서 포착된 머리/얼굴 움직임이 또한 동공의 위치 및 각막 반사 데이터 또는 외과의사의 3D 주시점을 보상하는 데 사용될 수 있다. 앞서 기술된 바와 같이, 교정 프로세스(302) 동안 좌 눈 및 우 눈 추적 유닛(212a, 212b)을 사용하여 머리 특징을 추적하는 것에 의해 머리 움직임 데이터가 추적될 수 있고, 보상 값 및/또는 보상 모델이 머리 움직임으로 인해 유발되는 동공 위치 및/또는 각막 반사 데이터의 변화를 계산하는 데 사용될 수 있다. 계산된 변화 값은 프로세스(324)에서 결정된 외과의사의 좌안과 우안에 대한 동공 위치 및 각막 반사 데이터를 조절하는 데(예컨대, 외과의사의 머리 움직임을 보상하는 데) 사용될 수 있다. 상세하게는, 교정 프로세스(302) 동안 머리 움직임과 눈 코너의 추적된 움직임 사이의 함수가 형성될 수 있다. 측정 프로세스(304) 동안, 머리/눈 특징의 움직임이 또한 추적될 수 있고, 외과의사의 머리 움직임이 교정 프로세스(302)로부터 형성된 함수를 사용하여 추정될 수 있다. 3D 동공 위치 및 3D 각막 반사 데이터가 이어서 단계(322)에서 획득된 주시점 결정 모델을 사용하여 프로세서(214)에 의해 외과의사의 3D 주시점 위치로 변환될 수 있다.
측정 프로세스(304)는 외과의사의 좌안(202a)과 우안(202b) 각각의 3D 동공 위치 및 3D 각막 반사 데이터를 결정하는 프로세스(328)로 진행한다. 3D 동공 위치 및 3D 각막 반사 데이터를 결정하는 프로세스는 이전에 논의된 바와 같은 방법(300)의 프로세스(318)와 실질적으로 유사할 수 있다. 일부 실시예에서, 좌 눈 추적 유닛들(212a) 각각으로부터 수신되는 2D 동공 위치 및 2D 각막 반사 데이터는 좌안 프로세서(214a)에 의해 처리될 수 있다. 좌안(202a)의 동공의 위치 및 각막 반사는 이어서 각막 반사의 각막 반사 중심(365)과 동공(375)의 중심 간의 상대 위치를 사용하여 계산될 수 있다(도 4c에 도시됨). 외과의사의 우안의 3D 동공 위치 및 3D 각막 반사 데이터가 외과의사의 좌안의 결정과 실질적으로 유사한 방식으로 결정될 수 있다. 예를 들어, 우 눈 추적 유닛들(212b)각각으로부터 수신되는 2D 동공 위치 및 2D 각막 반사 데이터는 우안 프로세서(214b)에 의해 처리될 수 있다. 우안(202b)의 동공의 위치 및 각막 반사는 이어서 우 각막 반사의 각막 반사 중심과 우 동공의 중심 간의 상대 위치를 사용하여 계산될 수 있다.
측정 프로세스(304)는 교정 프로세스(302)의 프로세스(322)에서 획득된 주시점 결정 모델을 사용하여 외과의사의 3D 주시점을 결정하는 프로세스(330)로 진행한다. 일부 실시예에서, 프로세스(328)에서 결정된 외과의사의 양쪽 눈의 3D 동공 위치 및 3D 각막 반사 데이터는 외과의사의 주시점의 3D 위치를 결정하기 위해 주시점 결정 모델을 사용하여 처리될 수 있다. 일부 예에서, 각각의 눈에 대한 시선 방향 벡터는 프로세스(328)에서 각각의 눈의 결정된 3D 동공 위치 및 3D 각막 반사 데이터를 사용하여 형성될 수 있다. 각각의 시선 방향 벡터의 교차점이 이어서 외과의사의 주시점을 결정하는 데 사용될 수 있다.
측정 프로세스(304) 후에, 일부 실시예에서, 결정된 3D 주시점 위치가 도 3a 내지 도 3d에 도시된 영상 디스플레이(208) 상에 보여질 수 있다. 3D 주시점 위치는 점, 선, 벡터, 화살표, 및 반투명 원(이들로 제한되지 않음)과 같은, 각종의 적당한 표현들 중 임의의 것으로 표현될 수 있다. 앞서 논의된 바와 같이 원격 조작 의료 시스템(10)에 의해 측정된 주시점이, 실시간 의료 시술 및 가상 수련 시술 둘 다를 비롯한, 다양한 응용 분야에서 사용될 수 있다.
예시적인 실시예들이 도시되고 기술되어 있지만, 전술한 개시 내용에서 광범위한 수정, 변경 및 치환이 생각되고, 어떤 경우에, 실시예들의 일부 특징들이 다른 특징들의 대응하는 사용 없이 이용될 수 있다. 본 기술 분야의 통상의 기술자라면 많은 변형들, 대안들 및 수정들을 잘 알 것이다. 이와 같이, 본 개시 내용의 범주는 이하의 청구항들에 의해서만 제한되어야 하고, 청구항들이 광의로 그리고 본원에 개시되는 실시예들의 범주와 부합하는 방식으로 해석되어야 하는 것은 당연하다.

Claims (15)

  1. 눈 추적 시스템을 포함하여 의료 시술을 수행하기 위한 원격 조작 의료 시스템이며, 상기 눈 추적 시스템은,
    수술 부위의 영상을 사용자에게 디스플레이하도록 구성되는 영상 디스플레이;
    사용자의 우안의 제1 주시점에 관한 데이터를 측정하도록 구성되는 적어도 하나의 우 눈 추적기;
    사용자의 좌안의 제2 주시점에 관한 데이터를 측정하도록 구성되는 적어도 하나의 좌 눈 추적기;
    상기 사용자의 제1 주시점 및 제2 주시점이 향해 있는 상기 디스플레이된 영상에서의 관찰 위치를 결정하기 위해 상기 제1 주시점 및 상기 제2 주시점에 관한 데이터를 처리하도록 구성되는 적어도 하나의 프로세서;
    제1 파장 범위의 광을 사용자의 우안으로 방출하도록 구성되는 우안 광 방출기;
    제1 파장 범위의 광을 사용자의 좌안으로 방출하도록 구성되는 좌안 광 방출기;
    제2 파장 범위의 광을 상기 영상 디스플레이로부터 사용자의 우안으로 지향시키고, 상기 제1 파장 범위의 광을 상기 우안 광 방출기로부터 사용자의 우안으로 지향시키며, 상기 제1 파장 범위의 반사된 광을 사용자의 우안으로부터 상기 적어도 하나의 우 눈 추적기로 지향시키도록 구성되는 우안 거울 세트;
    제2 파장 범위의 광을 상기 영상 디스플레이로부터 사용자의 좌안으로 지향시키고, 상기 제1 파장 범위의 광을 상기 좌안 광 방출기로부터 사용자의 좌안으로 지향시키며, 상기 제1 파장 범위의 반사된 광을 사용자의 좌안으로부터 상기 적어도 하나의 좌 눈 추적기로 지향시키도록 구성되는 좌안 거울 세트; 및
    결정된 관찰 위치에 기초하여 원격 조작 의료 시스템의 적어도 하나의 기능을 제어하도록 구성된 제어 유닛을 포함하는, 원격 조작 의료 시스템.
  2. 제1항에 있어서, 상기 영상 디스플레이는 상기 수술 부위의 3D 영상을 사용자에게 디스플레이하도록 구성된 3D 영상 디스플레이인, 원격 조작 의료 시스템.
  3. 제1항에 있어서, 수술 기구를 추가로 포함하고, 상기 제어 유닛은 디스플레이된 영상에서의 상기 결정된 관찰 위치에 기초하여 상기 수술 부위에서 수술 기구의 적어도 하나의 기능을 제어하도록 구성되는, 원격 조작 의료 시스템.
  4. 제1항에 있어서, 상기 영상 디스플레이는 복수의 기능 옵션들을 포함하는 사용자 인터페이스의 영상을 사용자에게 디스플레이하도록 구성되는, 원격 조작 의료 시스템.
  5. 제4항에 있어서, 상기 제어 유닛은, 상기 결정된 관찰 위치가 사용자 인터페이스의 디스플레이된 영상에서의 기능 옵션들의 위치와 일치하면, 상기 복수의 기능 옵션들 중 하나의 기능 옵션을 개시하도록 구성되는, 원격 조작 의료 시스템.
  6. 제1항에 있어서, 상기 적어도 하나의 프로세서는 일정한 동공간 거리에 대응하는 상수 인자에 기초하여 상기 관찰 위치를 결정하기 위해 상기 제1 주시점 및 상기 제2 주시점에 관한 데이터를 처리하도록 구성되는, 원격 조작 의료 시스템.
  7. 제1항에 있어서, 상기 적어도 하나의 우 눈 추적기는 상기 우안의 2D 각막 반사 데이터를 검출하도록 구성되고, 상기 적어도 하나의 좌 눈 추적기는 상기 좌안의 2D 각막 반사 데이터를 검출하도록 구성되는, 원격 조작 의료 시스템.
  8. 제1항에 있어서, 상기 적어도 하나의 우 눈 추적기는 상기 우안의 2D 동공 위치 데이터를 검출하도록 구성되고, 상기 적어도 하나의 좌 눈 추적기는 상기 좌안의 2D 동공 위치 데이터를 검출하도록 구성되는, 원격 조작 의료 시스템.
  9. 제1항에 있어서, 상기 적어도 하나의 우 눈 추적기 및 상기 적어도 하나의 좌 눈 추적기는 사용자의 머리 특징에 대응하는 고정 기준점에 관한 위치 데이터를 추적하도록 구성되는, 원격 조작 의료 시스템.
  10. 제9항에 있어서, 상기 적어도 하나의 프로세서는, 상기 제1 주시점 및 상기 제2 주시점에 관한 데이터를 처리하고 사용자의 머리 움직임들을 보상하여 상기 고정 기준점에 관한 상기 위치 데이터에 기초하여 관찰 위치를 결정하도록 구성되는, 원격 조작 의료 시스템.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제1항에 있어서, 상기 우안 거울 세트는 상기 영상 디스플레이로부터의 상기 제2 파장 범위의 광을 반사시키고 상기 우안 광 방출기로부터의 제1 파장 범위의 광을 투과시키도록 구성되고, 상기 좌안 거울 세트는 상기 영상 디스플레이로부터의 상기 제2 파장 범위의 광을 반사시키고 상기 좌안 광 방출기로부터의 제1 파장 범위의 광을 투과시키도록 구성되는, 원격 조작 의료 시스템.
  15. 제1항에 있어서, 상기 우안 거울 세트는, 제2 파장 범위의 광을 상기 영상 디스플레이로부터 사용자의 우안으로 반사시키고, 상기 제1 파장 범위의 광을 상기 우안 광 방출기로부터 사용자의 우안으로 투과시키고, 상기 제1 파장 범위의 반사된 광을 사용자의 우안으로부터 상기 적어도 하나의 우 눈 추적기로 투과시키도록 구성된 우 빔 분할기를 포함하고, 상기 좌안 거울 세트는 제2 파장 범위의 광을 상기 영상 디스플레이로부터 사용자의 좌안으로 반사시키고, 상기 제1 파장 범위의 광을 상기 좌안 광 방출기로부터 사용자의 좌안으로 투과시키며, 상기 제1 파장 범위의 반사된 광을 사용자의 좌안으로부터 상기 적어도 하나의 좌 눈 추적기로 투과시키도록 구성된 좌 빔 분할기를 포함하는, 원격 조작 의료 시스템.
KR1020227005163A 2014-03-19 2015-04-30 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법 KR102512876B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237009137A KR20230042149A (ko) 2014-03-19 2015-04-30 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461955334P 2014-03-19 2014-03-19
PCT/US2015/021315 WO2015143073A1 (en) 2014-03-19 2015-03-18 Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
KR1020167028656A KR102365889B1 (ko) 2014-03-19 2015-04-30 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167028656A Division KR102365889B1 (ko) 2014-03-19 2015-04-30 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237009137A Division KR20230042149A (ko) 2014-03-19 2015-04-30 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법

Publications (2)

Publication Number Publication Date
KR20220028139A KR20220028139A (ko) 2022-03-08
KR102512876B1 true KR102512876B1 (ko) 2023-03-24

Family

ID=54145284

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020227005163A KR102512876B1 (ko) 2014-03-19 2015-04-30 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법
KR1020237009137A KR20230042149A (ko) 2014-03-19 2015-04-30 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법
KR1020167028656A KR102365889B1 (ko) 2014-03-19 2015-04-30 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020237009137A KR20230042149A (ko) 2014-03-19 2015-04-30 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법
KR1020167028656A KR102365889B1 (ko) 2014-03-19 2015-04-30 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법

Country Status (6)

Country Link
US (4) US10432922B2 (ko)
EP (1) EP3119343A4 (ko)
JP (4) JP6689203B2 (ko)
KR (3) KR102512876B1 (ko)
CN (2) CN106659541B (ko)
WO (1) WO2015143073A1 (ko)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8556807B2 (en) * 2006-12-21 2013-10-15 Intuitive Surgical Operations, Inc. Hermetically sealed distal sensor endoscope
US8814779B2 (en) 2006-12-21 2014-08-26 Intuitive Surgical Operations, Inc. Stereoscopic endoscope
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
CN105813582B (zh) 2013-12-11 2019-05-28 柯惠Lp公司 用于机器人手术系统的腕组件及钳夹组件
EP3119343A4 (en) * 2014-03-19 2017-12-20 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
KR102404559B1 (ko) 2014-03-19 2022-06-02 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법
US10179407B2 (en) * 2014-11-16 2019-01-15 Robologics Ltd. Dynamic multi-sensor and multi-robot interface system
KR102333267B1 (ko) * 2014-12-10 2021-12-01 삼성전자주식회사 눈 위치 예측 장치 및 방법
AU2016220501B2 (en) 2015-02-19 2020-02-13 Covidien Lp Repositioning method of input device for robotic surgical system
WO2016144937A1 (en) 2015-03-10 2016-09-15 Covidien Lp Measuring health of a connector member of a robotic surgical system
US10488661B2 (en) * 2015-05-28 2019-11-26 North Inc. Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
US10779897B2 (en) 2015-06-23 2020-09-22 Covidien Lp Robotic surgical assemblies
CA2994442C (en) 2015-09-25 2024-01-02 Covidien Lp Robotic surgical assemblies and instrument drive connectors thereof
WO2017087439A1 (en) 2015-11-19 2017-05-26 Covidien Lp Optical force sensor for robotic surgical system
CA2995746C (en) * 2015-11-25 2020-06-30 Google Llc Prism-based eye tracking
JP6673684B2 (ja) 2015-12-11 2020-03-25 株式会社メディカロイド 遠隔操作装置及び遠隔手術システム
KR102463172B1 (ko) * 2016-01-08 2022-11-04 삼성전자주식회사 동공 거리 결정 방법 및 장치
US11576562B2 (en) 2016-04-07 2023-02-14 Titan Medical Inc. Camera positioning method and apparatus for capturing images during a medical procedure
CN109275333B (zh) * 2016-06-03 2022-05-17 柯惠Lp公司 用于控制机器人递送操纵器的系统、方法和计算机可读程序产品
CN107735040B (zh) 2016-06-03 2021-06-18 柯惠Lp公司 用于机器人手术系统的控制臂
CN107536598A (zh) * 2016-06-29 2018-01-05 沈阳新松机器人自动化股份有限公司 双目视觉瞳孔定位方法及相关设备
KR102548199B1 (ko) 2016-08-03 2023-06-28 삼성전자주식회사 전자 장치 및 전자 장치의 시선 추적 방법
CN110121689A (zh) * 2016-12-30 2019-08-13 托比股份公司 眼睛/注视追踪系统和方法
JP2020507377A (ja) 2017-02-15 2020-03-12 コヴィディエン リミテッド パートナーシップ 医療用ロボット用途の圧砕防止のためのシステムおよび機器
US11717361B2 (en) 2017-05-24 2023-08-08 Covidien Lp Electrosurgical robotic system having tool presence detection
EP3629980A4 (en) 2017-05-25 2021-03-10 Covidien LP ROBOTIC SURGICAL SYSTEM WITH AUTOMATED GUIDANCE
CN111093552A (zh) * 2017-08-16 2020-05-01 柯惠有限合伙公司 优化立体视觉内容的感知
CN110177516B (zh) 2017-09-05 2023-10-24 柯惠Lp公司 用于机器人手术系统的碰撞处理算法
WO2019049997A1 (ja) * 2017-09-10 2019-03-14 カイロス株式会社 内視鏡システム
DE102017217193B4 (de) 2017-09-27 2019-07-25 Audi Ag Anzeigevorrichtung, insbesondere für ein Fahrzeug, sowie Fahrzeug mit einer solchen Anzeigevorrichtung
CN107705164A (zh) * 2017-11-14 2018-02-16 宜宾维特瑞安科技有限公司 一种基于眼球追踪技术的市场调查装置、系统及方法
US11690677B2 (en) * 2017-12-31 2023-07-04 Asensus Surgical Us, Inc. Use of eye tracking for tool identification and assignment in a robotic surgical system
EP3735199A4 (en) 2018-01-04 2021-10-13 Covidien LP SYSTEMS AND ARRANGEMENTS FOR ATTACHING A SURGICAL ACCESSORY TO ROBOTIC SURGICAL SYSTEMS AND PROVIDING ACCESS THROUGH
WO2019155426A1 (en) 2018-02-09 2019-08-15 Gentex Corporation Adaptive lighting array with image-based control
US10517158B2 (en) * 2018-02-09 2019-12-24 Gentex Corporation Systems and methods for detection and illumination of regions of interest
EP3530173A1 (en) * 2018-02-23 2019-08-28 Leica Instruments (Singapore) Pte. Ltd. Medical observation apparatus with a movable beam deflector and method for operating the same
JP7071045B2 (ja) 2018-04-20 2022-05-18 コヴィディエン リミテッド パートナーシップ 外科用ロボットカートの配置のためのシステムおよび方法
WO2019213432A1 (en) * 2018-05-03 2019-11-07 Intuitive Surgical Operations, Inc. Systems and methods for measuring a distance using a stereoscopic endoscope
US10983604B2 (en) 2018-05-16 2021-04-20 Alcon Inc. Foot controlled cursor
US10895757B2 (en) 2018-07-03 2021-01-19 Verb Surgical Inc. Systems and methods for three-dimensional visualization during robotic surgery
WO2020009830A1 (en) 2018-07-03 2020-01-09 Covidien Lp Systems, methods, and computer-readable media for detecting image degradation during surgical procedures
US10888380B2 (en) * 2018-07-12 2021-01-12 Alcon Inc. Systems and methods for intraocular lens selection
CN110865467B (zh) * 2018-08-17 2022-03-08 安徽省东超科技有限公司 一种基于激光诱导的可交互体三维显示装置及其控制方法
US10866635B2 (en) * 2018-09-13 2020-12-15 Toyota Research Institute, Inc. Systems and methods for capturing training data for a gaze estimation model
US11998288B2 (en) 2018-09-17 2024-06-04 Covidien Lp Surgical robotic systems
US20210259789A1 (en) * 2018-10-12 2021-08-26 Sony Corporation Surgical support system, data processing apparatus and method
US10990168B2 (en) * 2018-12-10 2021-04-27 Samsung Electronics Co., Ltd. Compensating for a movement of a sensor attached to a body of a user
EP3671305A1 (en) * 2018-12-18 2020-06-24 Eberhard Karls Universität Tübingen Exoscope system and use of such an exoscope system
CN109498164B (zh) * 2018-12-20 2023-11-03 深圳市精锋医疗科技股份有限公司 具有目镜的主操作台及手术机器人
CN109498162B (zh) * 2018-12-20 2023-11-03 深圳市精锋医疗科技股份有限公司 提升沉浸感的主操作台及手术机器人
CN111381367A (zh) * 2018-12-27 2020-07-07 宏星技术股份有限公司 眼球追踪器与显示装置
CN109634431B (zh) * 2019-01-22 2024-04-26 像航（上海）科技有限公司 无介质浮空投影视觉追踪互动系统
US11576733B2 (en) 2019-02-06 2023-02-14 Covidien Lp Robotic surgical assemblies including electrosurgical instruments having articulatable wrist assemblies
US11204640B2 (en) 2019-05-17 2021-12-21 Verb Surgical Inc. Methods for determining if teleoperation should be disengaged based on the user's gaze
CN110215185B (zh) * 2019-06-05 2022-01-11 北京清华长庚医院 眼球突出度测量设备
CN113874709B (zh) 2019-06-20 2024-04-12 金泰克斯公司 用于自动模块化照明和部署的系统和方法
KR20220022475A (ko) 2019-06-20 2022-02-25 젠텍스 코포레이션 객체 추적을 위한 조명 시스템 및 방법
US11106279B2 (en) * 2019-06-21 2021-08-31 Verb Surgical Inc. Eye tracking calibration for a surgical robotic system
US11872007B2 (en) 2019-06-28 2024-01-16 Auris Health, Inc. Console overlay and methods of using same
EP3764367A1 (en) * 2019-07-11 2021-01-13 Milestone S.r.l. System and method for medical gross examination
US11850730B2 (en) * 2019-07-17 2023-12-26 Asensus Surgical Us, Inc. Double eye tracker configuration for a robot-assisted surgical system
CN110441901A (zh) * 2019-08-14 2019-11-12 东北大学 一种可实时追踪注视位置的光学显微镜系统及方法
WO2021074824A1 (en) 2019-10-15 2021-04-22 Gentex Corporation Flat panel light module with dynamic beam
USD963851S1 (en) 2020-07-10 2022-09-13 Covidien Lp Port apparatus
KR102465800B1 (ko) * 2020-09-23 2022-11-11 (주)엘비전테크 근안 영상 표시 장치에 적용되는 시스루 광학 시스템 및 시스루 광학 시스템에서의 시선 추적 방법
CN112315423B (zh) * 2020-11-06 2023-08-22 上海青研科技有限公司 眼球运动测量设备
US20240008942A1 (en) * 2020-11-25 2024-01-11 Intuitive Surgical Operations, Inc. Steerable viewer mode activation and de-activation
CN112926523B (zh) 2021-03-30 2022-07-26 青岛小鸟看看科技有限公司 基于虚拟现实的眼球追踪方法、系统
US11948226B2 (en) 2021-05-28 2024-04-02 Covidien Lp Systems and methods for clinical workspace simulation
WO2022254840A1 (ja) * 2021-06-03 2022-12-08 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US11994272B2 (en) 2021-08-20 2024-05-28 Gentex Corporation Lighting assembly and illumination system having a lighting assembly
WO2023069636A1 (en) * 2021-10-21 2023-04-27 Intuitive Surgical Operations, Inc. Adjustable headrest for a display unit

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090248036A1 (en) * 2008-03-28 2009-10-01 Intuitive Surgical, Inc. Controlling a robotic surgical tool with a display monitor
US20130114850A1 (en) * 2011-11-07 2013-05-09 Eye-Com Corporation Systems and methods for high-resolution gaze tracking

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1043292A (en) 1910-01-17 1912-11-05 Charles W Bowron Voting-machine.
US1027878A (en) 1912-03-22 1912-05-28 Marian Milewski Hasp-lock.
JPS61172552A (ja) * 1985-01-28 1986-08-04 株式会社トプコン 視線方向検出装置
US5204942A (en) 1989-01-10 1993-04-20 Kabushiki Kaisha Kobe Seiko Sho Robot control system for controlling a set of industrial robots for cooperative operation
US5631973A (en) 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
US5360971A (en) 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5762458A (en) 1996-02-20 1998-06-09 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US5517021A (en) 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
DE69417229T2 (de) 1993-05-14 1999-07-08 Stanford Res Inst Int Chirurgiegerät
JP3482228B2 (ja) 1993-11-02 2003-12-22 オリンパス株式会社 視線検出によるマニピュレータ制御システム
US5876325A (en) 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
JP3540362B2 (ja) 1994-06-14 2004-07-07 オリンパス株式会社 手術用マニピュレータの制御システム及びその制御方法
EP0788613B2 (de) * 1994-10-26 2008-06-04 Leica Microsystems (Schweiz) AG Mikroskop, insbesondere operationsmikroskop
US5553609A (en) 1995-02-09 1996-09-10 Visiting Nurse Service, Inc. Intelligent remote visual monitoring system for home health care service
JP3539645B2 (ja) 1995-02-16 2004-07-07 株式会社日立製作所 遠隔手術支援装置
US5882206A (en) 1995-03-29 1999-03-16 Gillio; Robert G. Virtual surgery system
US6496099B2 (en) 1996-06-24 2002-12-17 Computer Motion, Inc. General purpose distributed operating room control system
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6351273B1 (en) 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6459926B1 (en) 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US6951535B2 (en) 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
US6398726B1 (en) 1998-11-20 2002-06-04 Intuitive Surgical, Inc. Stabilizer for robotic beating-heart surgery
US8527094B2 (en) 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US6852107B2 (en) 2002-01-16 2005-02-08 Computer Motion, Inc. Minimally invasive surgical training using robotics and tele-collaboration
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6799065B1 (en) 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US6090051A (en) 1999-03-03 2000-07-18 Marshall; Sandra P. Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity
JP3381666B2 (ja) 1999-06-03 2003-03-04 日本電気株式会社 眼疲労警告装置
US6346887B1 (en) 1999-09-14 2002-02-12 The United States Of America As Represented By The Secretary Of The Navy Eye activity monitor
US6603491B2 (en) 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP3504222B2 (ja) 2000-09-04 2004-03-08 ファナック株式会社 ロボット制御装置
US6578962B1 (en) 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US6728599B2 (en) 2001-09-07 2004-04-27 Computer Motion, Inc. Modularity system for computer assisted surgery
AU2003214595A1 (en) 2002-03-07 2003-09-16 Yechezkal Evan Spero Enhanced vision for driving
AU2003224997A1 (en) 2002-04-16 2003-11-03 Michael Conditt Computer-based training methods for surgical procedures
CA2397431A1 (en) 2002-08-09 2004-02-09 Andrew Lohbihler Method and apparatus for a wireless position sensing interface device employing spread spectrum technology of one or more radio transmitting devices
GB0222265D0 (en) * 2002-09-25 2002-10-30 Imp College Innovations Ltd Control of robotic manipulation
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US8292433B2 (en) 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
JP2004309930A (ja) * 2003-04-09 2004-11-04 Olympus Corp 立体観察システム
US7899512B2 (en) 2004-03-22 2011-03-01 Vanderbilt University System and method for surgical instrument disablement via image-guided position feedback
US20110077548A1 (en) 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7245202B2 (en) 2004-09-10 2007-07-17 Immersion Corporation Systems and methods for networked haptic devices
US7331929B2 (en) 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US7501995B2 (en) 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
WO2006087689A2 (en) 2005-02-18 2006-08-24 Koninklijke Philips Electronics N. V. Automatic control of a medical device
US20060210111A1 (en) * 2005-03-16 2006-09-21 Dixon Cleveland Systems and methods for eye-operated three-dimensional object location
US20110020779A1 (en) 2005-04-25 2011-01-27 University Of Washington Skill evaluation using spherical motion mechanism
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
WO2008107832A1 (en) 2007-03-07 2008-09-12 Koninklijke Philips Electronics N.V. Stress estimation
GB0709405D0 (en) 2007-05-16 2007-06-27 Univ Edinburgh Testing vision
JP4943972B2 (ja) 2007-08-27 2012-05-30 昭和電工株式会社 記憶媒体、及び記憶装置
US8810631B2 (en) 2008-04-26 2014-08-19 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using a captured visible image combined with a fluorescence image and a captured visible image
US8820931B2 (en) * 2008-07-18 2014-09-02 Doheny Eye Institute Optical coherence tomography-based ophthalmic testing methods, devices and systems
CN102098967A (zh) 2008-08-14 2011-06-15 韩商未来股份有限公司 服务器和客户端类型的手术机器人系统
WO2010051037A1 (en) 2008-11-03 2010-05-06 Bruce Reiner Visually directed human-computer interaction for medical applications
JP2010152443A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd ヘッドマウントディスプレイ
US20100167248A1 (en) 2008-12-31 2010-07-01 Haptica Ltd. Tracking and training system for medical procedures
DE102009010263B4 (de) 2009-02-24 2011-01-20 Reiner Kunz Verfahren zur Navigation eines endoskopischen Instruments bei der technischen Endoskopie und zugehörige Vorrichtung
EP2309307B1 (en) 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
US9039419B2 (en) 2009-11-06 2015-05-26 International Business Machines Corporation Method and system for controlling skill acquisition interfaces
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US8935003B2 (en) 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20110228051A1 (en) 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
DE102010038800B4 (de) 2010-08-02 2024-03-07 Kuka Deutschland Gmbh Medizinischer Arbeitsplatz
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
JP2012128523A (ja) 2010-12-13 2012-07-05 Canon Inc 情報処理装置およびその動作方法
EP2668637A4 (en) 2011-01-30 2014-11-26 Ram Srikanth Mirlay ASSESSMENT OF ELIGIBILITY
CN106125921B (zh) * 2011-02-09 2019-01-15 苹果公司 3d映射环境中的凝视检测
JP5475893B2 (ja) 2011-05-20 2014-04-16 パナソニック株式会社 視覚疲労度測定装置およびその方法
US9380978B2 (en) 2011-06-29 2016-07-05 Bruce Reiner Method and apparatus for real-time measurement and analysis of occupational stress and fatigue and performance outcome predictions
US9345957B2 (en) 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
EP2774380B1 (en) 2011-11-02 2019-05-22 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
US9307694B2 (en) 2012-01-06 2016-04-12 Dickey-John Corporation Fault-tolerant sensing and monitoring communications bus system for agricultural applications
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
WO2013179427A1 (ja) 2012-05-30 2013-12-05 パイオニア株式会社 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
US9077973B2 (en) * 2012-06-29 2015-07-07 Dri Systems Llc Wide field-of-view stereo vision platform with dynamic control of immersive or heads-up display operation
US20140024889A1 (en) 2012-07-17 2014-01-23 Wilkes University Gaze Contingent Control System for a Robotic Laparoscope Holder
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
CN105188590B (zh) 2012-12-10 2019-04-26 直观外科手术操作公司 图像采集装置和可操纵装置活动臂受控运动过程中的碰撞避免
US9101297B2 (en) 2012-12-11 2015-08-11 Elwha Llc Time-based unobtrusive active eye interrogation
US20140160004A1 (en) 2012-12-11 2014-06-12 Biosense Webster (Israel), Ltd. Use of physician eye tracking during a procedure
DE102012025102A1 (de) 2012-12-20 2014-06-26 avateramedical GmBH Endoskop mit einem Mehrkamerasystem für die minimal-invasive Chirurgie
KR20140112207A (ko) 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
KR20140139840A (ko) 2013-05-28 2014-12-08 삼성전자주식회사 디스플레이 장치 및 그 제어방법
US10474793B2 (en) 2013-06-13 2019-11-12 Northeastern University Systems, apparatus and methods for delivery and augmentation of behavior modification therapy and teaching
US9625723B2 (en) * 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
WO2015023513A1 (en) 2013-08-14 2015-02-19 Intuitive Surgical Operations, Inc. Endoscope control system
KR102404559B1 (ko) 2014-03-19 2022-06-02 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법
EP3119343A4 (en) 2014-03-19 2017-12-20 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
US10722114B1 (en) 2017-06-28 2020-07-28 Bertec Corporation System and method for vision testing and/or training

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090248036A1 (en) * 2008-03-28 2009-10-01 Intuitive Surgical, Inc. Controlling a robotic surgical tool with a display monitor
US20130114850A1 (en) * 2011-11-07 2013-05-09 Eye-Com Corporation Systems and methods for high-resolution gaze tracking

Also Published As

Publication number Publication date
EP3119343A4 (en) 2017-12-20
JP2017516508A (ja) 2017-06-22
EP3119343A1 (en) 2017-01-25
US11438572B2 (en) 2022-09-06
US10432922B2 (en) 2019-10-01
US20220417492A1 (en) 2022-12-29
US20210235068A1 (en) 2021-07-29
WO2015143073A1 (en) 2015-09-24
KR20170136413A (ko) 2017-12-11
CN106659541B (zh) 2019-08-16
CN110200702A (zh) 2019-09-06
CN110200702B (zh) 2022-05-03
JP2024061720A (ja) 2024-05-08
US10965933B2 (en) 2021-03-30
US20170180720A1 (en) 2017-06-22
JP2020103907A (ja) 2020-07-09
CN106659541A (zh) 2017-05-10
JP7080915B2 (ja) 2022-06-06
US20200045301A1 (en) 2020-02-06
JP2022116156A (ja) 2022-08-09
JP6689203B2 (ja) 2020-04-28
US11792386B2 (en) 2023-10-17
CN110200702B9 (zh) 2022-05-31
KR102365889B1 (ko) 2022-02-23
WO2015143073A4 (en) 2015-12-10
KR20230042149A (ko) 2023-03-27
KR20220028139A (ko) 2022-03-08

Similar Documents

Publication Publication Date Title
US11792386B2 (en) Medical devices, systems, and methods using eye gaze tracking for stereo viewer
JP6891244B2 (ja) 視線追跡を使用する医療装置、システム、及び方法
US11950756B2 (en) Endoscope control system

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right