KR20190126331A - 외과수술 환경에서의 비접촉 제어를 위한 방법 및 시스템 - Google Patents

외과수술 환경에서의 비접촉 제어를 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20190126331A
KR20190126331A KR1020197026976A KR20197026976A KR20190126331A KR 20190126331 A KR20190126331 A KR 20190126331A KR 1020197026976 A KR1020197026976 A KR 1020197026976A KR 20197026976 A KR20197026976 A KR 20197026976A KR 20190126331 A KR20190126331 A KR 20190126331A
Authority
KR
South Korea
Prior art keywords
idu
image
menu
medical device
display
Prior art date
Application number
KR1020197026976A
Other languages
English (en)
Other versions
KR102471422B1 (ko
Inventor
니마 지라크니제드
프라나브 사제나
앤슐 포르왈
나밋 쿠마
Original Assignee
엔제트 테크놀러지스 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔제트 테크놀러지스 인크. filed Critical 엔제트 테크놀러지스 인크.
Publication of KR20190126331A publication Critical patent/KR20190126331A/ko
Application granted granted Critical
Publication of KR102471422B1 publication Critical patent/KR102471422B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00199—Electrical control of surgical instruments with a console, e.g. a control panel with a display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 방법은 수술실에서 의료기기장치의 비접촉 제어를 용이하게 한다. 이 방법은 메뉴 항목에 대응하는 체적 공간 영역 내에서 의사가 행한 하나 이상의 제스처에 의해 의사에 의해 선택 가능한 복수의 메뉴 항목을 포함하는 3차원 제어 메뉴를 제공하고; IDU(Interaction Display Unit) 이미지가 임의의 하나의 선택된 메뉴 항목의 표지를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하고; 의사의 시선을 추정하고; 추정된 시선이 제1의료기기장치 주위의 제1공간 범위 내로 향할 때, 의사가 제1의료기기장치를 바라 보고 있다고 결정하는 것을 포함한다. 이어서, 방법은 제1장치에 특화된 IDU 이미지를 표시하는 제1장치에 특화된 3차원 제어 메뉴를 제공하는 것을 포함한다.

Description

외과수술 환경에서의 비접촉 제어를 위한 방법 및 시스템
본 출원은 2017년 2월 17일자로 출원된 미국 출원 제62/460736호로부터 우선권을 주장하고, 미국에 대해서 본 출원은 미국 출원 제62/460736호의 35USC §119(e)에 따른 이익을 주장한다. 본 출원은 2015년 8월 13일자로 출원된 특허협력조약(PCT) 출원번호 PCT/CA2015/050764와 2016년 10월 17일자로 출원된 PCT 출원번호 PCT/IB2016/056228(함께, "PCT 출원"이라 함)에 개시되거나 및/또는 청구된 개념에 관련된 개념을 설명하거나 및/또는 청구한다. 미국출원 제62/460736호 및 상기 PCT 출원은 모든 목적을 위해 그 전문이 본 출원에 참조로 포함된다.
본 명세서에 개시된 기술은 의료(예를 들어, 외과수술) 환경에서 기기, 도구 및/또는 이와 유사한 것을 제어하거나 이와 상호작용하기 위한 방법 및 시스템에 관한 것이다.
의료 전문가 혹은 의사(예를 들어, 외과 의사, 중재 방사선 전문의, 간호사, 의료 보조원, 기타 의료 테크니션 등등)가 의료(예를 들어 수술) 환경에서 의료기기, 도구 및/또는 이와 유사한 것을 제어하거나 상호작용하기 위한 일반적인 요구가 있다.
비 제한적인 예로서, PCT 출원은 의료 전문가 혹은 의사가 수행중인 절차와 관련될 수 있는 의료 정보(예를 들어, 환자의 신체 및/또는 기관의 이미지)를 제공하는 정보 시스템과 상호작용하는 것이 바람직하다고 개시한다. 이러한 바람직한 의료 정보는 비 제한적인 예로서 방사선 이미지, 혈관 조영 이미지, 환자 신체의 다른 형태의 이미지, 의료 절차를 겪고 있는 환자와 관련된 기타 정보, 그 절차 자체와 관련된 기타 정보, 치료되는 상태와 관련된 정보 및/또는 그와 유사한 것들을 포함할 수 있다. 이러한 원하는 의료 정보는 절차를 수행하기 전에 및/또는 절차를 수행하는 동안 조달될 수 있고, 의료 전문가 혹은 의사가 이미지로 안내되는 의료 절차 동안 그들의 치료 계획을 공식화하거나 변경하게 할 수 있다.
그러나, 의료(예를 들어, 수술) 환경에서 의료기기, 도구 등을 제어하거나 이와 상호작용하는 것이 바람직하다는 것은 정보 시스템에 제한되지 않는다. 수술 환경에서 다른 유형의 의료기기, 도구 등을 제어하려는 요구가 있다. 비 제한적인 예로서, (예를 들어, 환자의 신체를 기울이기 위해) 조정 가능한 환자 베드의 자세(즉, 배향 및 위치); 광원의 밝기; 스포트라이트 또는 작업등의 방향성; 진단 기기(바이탈 사인 모니터)에 의해 표시되는 정보; 정맥 내 약물 전달 시스템 등의 주입 속도 및/또는 그와 유사한 것들을 제어하는 것이 바람직할 수 있다.
본 발명은 다수의 측면을 갖는다. 이들 양태는 개별적으로 또는 임의의 조합으로 적용될 수 있다. 일부 측면은 의료기기를 비접촉 방식으로 제어하기 위한 시스템 및 방법을 제공한다.
본 발명의 일 양태는, 수술실에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 방법을 제공한다. 상기 방법은, 메뉴 항목에 대응하는 체적 공간 영역(volumetric spatial region) 내에서 의사가 행한 하나 이상의 제스처에 의해 의사에 의해 선택 가능한 복수의 메뉴 항목을 포함하는 3차원 제어 메뉴를 제공하고; IDU(Interaction Display Unit) 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지(indicia)를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하고;의사의 시선을 추정하고;추정된 시선이 제1의료기기장치 주위의 제1공간 범위 내로 향할 때, 의사가 제1의료기기장치를 바라보고 있다고 결정하되, 의사가 제1의료기기장치를 바라보고 있다고 결정한 후에, 3차원 제어 메뉴를 제공하는 것은, 선택될 때, 제1의료기기장치에 대응하는 동작 명령을 전달하여 제1의료기기장치의 동작을 제어하도록, 제1장치에 특화된 메뉴 항목을 포함하는 제1장치에 특화된 3차원 제어 메뉴를 제공하고, 3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하는 것은, 제1장치에 특화된 메뉴 항목에 대응하는 그래픽 또는 텍스트를 포함하는 제1장치에 특화된 IDU 이미지를 표시하는; 것을 포함한다.
본 발명의 다른 양태는 수술실에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 시스템을 제공한다. 상기 시스템은, 센서의 감지 체적(sensing volume) 내에서 의사에 의해 만들어진 하나 이상의 제스처를 검출하기 위해 연결된 3D 광학 센서;3D 광학 센서로부터 3D 광학 데이터를 수신하도록 연결되고 3차원 제어 메뉴를 제공하도록 구성된 제어기로서, 3차원 제어 메뉴는 복수의 메뉴 항목을 포함하며, 각 메뉴 항목은, 메뉴 항목에 대응하고 3D 광학 데이터에 기초하여 제어기에 의해 검출되는 체적 공간 영역 내에서, 의사에 의해 만들어진 하나 이상의 제스처에 의해 의사에 의해 선택 가능한, 제어기;IDU 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지(indicia)를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하기 위한 IDU 디스플레이;를 포함한다. 제어기는 하나 이상의 센서로부터의 입력에 기초하여, 의사의 시선을 추정하도록 추가로 구성된다. 추정된 시선이 제1의료기기장치 주위의 제1공간 범위 내로 향할 때, 제어기는 의사가 제1의료기기장치를 바라보고 있다고 결정하도록 구성되되, 의사가 제1의료기기장치를 바라보고 있다고 결정한 후에, 제어기는,선택될 때, 제1의료기기장치의 동작을 제어하기 위해 대응하는 동작 명령을 제1의료기기장치에 전달하는, 제1장치에 특화된 메뉴 항목을 포함하는 제1장치에 특화된 3차원 제어 메뉴를 제공하고; IDU 디스플레이가 제1장치에 특화된 메뉴 항목에 대응하는 그래픽 또는 텍스트를 포함하는 제1장치에 특화된 IDU 이미지를 표시하도록; 구성된다.
본 발명의 다른 양태는 수술실에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 방법을 제공한다. 상기 방법은, 메뉴 항목에 대응하는 체적 공간 영역 내에서 의사가 행한 하나 이상의 제스처에 의해 의사에 의해 선택 가능한 복수의 메뉴 항목을 포함하는 3차원 제어 메뉴를 제공하고;IDU(Interaction Display Unit) 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지(indicia)를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하되;상기 메뉴 항목들 중 임의의 하나의 특정의 선택은 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하게 하고;의사 머리의 위치 및 의사 머리의 방향 중 적어도 하나를 추정하고; 의사 머리의 추정된 위치 및 의사 머리의 추정된 방향 중 적어도 하나에 적어도 부분적으로 기초하여 IDU 이미지의 표시를 조정하는; 것을 포함한다.
본 발명의 일 양태는 수술실에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 시스템을 제공한다. 상기 시스템은, 센서의 감지 체적 내에서 의사에 의해 만들어진 하나 이상의 제스처를 검출하기 위해 연결된 3D 광학 센서;3D 광학 센서로부터 3D 광학 데이터를 수신하도록 연결되고 3차원 제어 메뉴를 제공하도록 구성된 제어기로서, 3차원 제어 메뉴는 복수의 메뉴 항목을 포함하며, 각 메뉴 항목은 메뉴 항목에 대응하는 체적 공간 영역 내에서 의사에 의해 만들어진 하나 이상의 제스처에 의해 의사에 의해 선택 가능한, 제어기; 및 IDU 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지(indicia)를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하기 위한 IDU 디스플레이;를 포함한다. 상기 제어기는 상기 메뉴 항목들 중 임의의 하나의 선택을 결정하고 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해, 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하도록 구성된다. 상기 제어기는 하나 이상의 센서로부터의 입력에 기초하여, 의사 머리의 위치 및 의사 머리의 방향 중 적어도 하나를 추정하고, 의사 머리의 추정된 위치 및 의사 머리의 추정된 방향 중 적어도 하나에 적어도 부분적으로 기초하여, IDU 디스플레이에 의한 IDU 이미지의 표시를 조정하도록 구성된다.
본 발명의 다른 양태는 수술실에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 방법을 제공한다. 상기 방법은, 메뉴 항목에 대응하는 체적 공간 영역 내에서 의사가 행한 하나 이상의 제스처에 의해 의사에 의해 선택 가능한 복수의 메뉴 항목을 포함하는 3차원 제어 메뉴를 제공하고;IDU(Interaction Display Unit) 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지(indicia)를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 비평면 투영면 상에 투영하되;상기 메뉴 항목들 중 임의의 하나의 특정의 선택은 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하게 하고; 비평면 투영면의 프로파일의 추정치를 얻고;의사의 관찰 벡터를 투영 표면으로 추정하고; IDU 이미지를 투영하기 전에, IDU 이미지를, 비평면 투영면의 추정된 프로파일 및 추정된 관찰 벡터에 적어도 부분적으로 기초하여, 사전 조정하는; 것을 포함한다.
본 발명의 일 양태는 수술실에서 하나 이상의 의료기기장치 중 하나를 비접촉 제어하기 위한 시스템을 제공한다. 상기 시스템은, 센서의 감지 체적 내에서 의사에 의해 만들어진 하나 이상의 제스처를 검출하기 위해 연결된 3D 광학 센서;3D 광학 센서로부터 3D 광학 데이터를 수신하도록 연결되고 3차원 제어 메뉴를 제공하도록 구성된 제어기로서, 3차원 제어 메뉴는 복수의 메뉴 항목을 포함하며, 각 메뉴 항목은, 메뉴 항목에 대응하고 3D 광학 데이터에 기초하여 제어기에 의해 검출되는 체적 공간 영역 내에서, 의사에 의해 만들어진 하나 이상의 제스처에 의해 의사에 의해 선택 가능한, 제어기;IDU 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 비평면 투영면 상에 표시하기 위한 IDU 디스플레이로서, 상기 메뉴 항목 중 임의의 하나를 선택하면 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하는, IDU 디스플레이;를 포함한다. 상기 제어기는 하나 이상의 센서로부터의 입력에 기초하여 비평면 투영면의 프로파일을 추정하도록 구성된다. 상기 제어기는 하나 이상의 센서로부터의 입력에 기초하여, 비평면 투영면에 대한 의사의 관찰 벡터를 추정하도록 구성된다. 상기 IDU 디스플레이는 IDU 이미지를 투영하기 전에 IDU 이미지를 사전 조정하도록 구성되되, 사전 조정은 비평면 투영면의 추정된 프로파일 및 추정된 관찰 벡터에 적어도 부분적으로 기초한다.
본 발명의 일 측면은 수술실(operating room: OR)에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 방법을 제공한다. 상기 방법은, 메뉴 항목에 대응하는 체적 공간 영역 내에서 의사가 행한 하나 이상의 제스처에 의해 의사에 의해 선택 가능한 복수의 메뉴 항목을 포함하는 3차원 제어 메뉴를 제공하고;IDU(Interaction Display Unit) 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지(indicia)를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 비평면 투영면 상에 투영하되;상기 메뉴 항목들 중 임의의 하나의 특정의 선택은 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하게 하고;하나 이상의 3D 광학 센서를 이동 및 지향시키는 것 중 적어도 하나를 위해 로봇 포지셔닝 시스템(robotic positioning system)에 장착되는 하나 이상의 3D 광학 센서를 제공하고;수술실에서 3차원 제어 메뉴를 사용하여 제어할 수 있는 하나 이상의 의료기기장치를 찾아서 식별하기 위하여, 로봇 포지셔닝 시스템의 이동 및 지향하는 것 중 적어도 하나를 수행하며 수술실에서 관심 영역에 대응하는 3D 광학 데이터를 캡처하고 캡처된 3D 광학 데이터를 처리하는; 것을 포함한다.
본 발명의 일 양태는 수술실(OR)에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 시스템을 제공한다. 상기 시스템은, 하나 이상의 3D 광학 센서의 감지 체적 내에서 의사에 의해 만들어진 하나 이상의 제스처를 검출하기 위해 연결된 하나 이상의 3D 광학 센서로서, 하나 이상의 3D 광학 센서를 이동 및 지향시키는 것 중 적어도 하나를 위해 로봇 포지셔닝 시스템에 장착되는 하나 이상의 3D 광학 센서;3D 광학 센서로부터 3D 광학 데이터를 수신하도록 연결되고 3차원 제어 메뉴를 제공하도록 구성된 제어기로서, 3차원 제어 메뉴는 복수의 메뉴 항목을 포함하며, 각 메뉴 항목은, 메뉴 항목에 대응하고 3D 광학 데이터에 기초하여 제어기에 의해 검출되는 체적 공간 영역 내에서, 의사에 의해 만들어진 하나 이상의 제스처에 의해 의사에 의해 선택 가능한, 제어기;IDU 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 비평면 투영면 상에 표시하기 위한 IDU 디스플레이로서, 상기 메뉴 항목 중 임의의 하나를 선택하면 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하는, IDU 디스플레이;를 포함한다. 상기 하나 이상의 3D 광학 센서는 수술실의 관심 영역에 대응하는 3D 광학 데이터를 캡처하도록 구성되고, 제어기는, 수술실에서 3차원 제어 메뉴를 사용하여 제어할 수 있는 하나 이상의 의료기기장치를 찾아서 식별하기 위하여, 캡처된 3D 광학 데이터를 처리하도록 구성된다.
본 발명의 일 양태는 수술실(OR)에서 하나 이상의 의료기기장치의 비접촉 제어를위한 방법을 제공한다. 상기 방법은, 메뉴 항목에 대응하는 체적 공간 영역 내에서 의사가 행한 하나 이상의 제스처에 의해 의사에 의해 선택 가능한 복수의 메뉴 항목을 포함하는 3차원 제어 메뉴를 제공하고;IDU(Interaction Display Unit) 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지(indicia)를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 비평면 투영면 상에 투영하되;상기 메뉴 항목들 중 임의의 하나의 특정의 선택은 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하게 하고; IDU 이미지를 투영하기 위한 IDU 디스플레이를 제공하되, IDU 디스플레이는 IDU 디스플레이를 이동 및 지향시키는 것 중 적어도 하나를 위해 로봇포지셔닝 시스템에 장착되고;로봇 포지셔닝 시스템을 이동 및 지향시키는 것 중 적어도 하나를 수행하고 IDU 이미지를 제1표면 상에 투영하고;제1표면이 바람직하지 않다는 표시를 받거나 또는 의사가 수술실 내에서 움직였다고 결정한 후, 로봇 포지셔닝 시스템을 이동 및 지향시키는 것 중 적어도 하나를 수행하고 IDU 이미지를, 제1표면과는 상이한, 제2표면 상으로 투영하는; 것을 포함한다.
본 발명의 일 양태는 수술실(OR)에서 하나 이상의 의료기기장치의 비접촉 제어를위한 시스템을 제공한다. 상기 시스템은, 센서의 감지 체적 내에서 의사에 의해 만들어진 하나 이상의 제스처를 검출하기 위해 연결된 3D 광학 센서;3D 광학 센서로부터 3D 광학 데이터를 수신하도록 연결되고 3차원 제어 메뉴를 제공하도록 구성된 제어기로서, 3차원 제어 메뉴는 복수의 메뉴 항목을 포함하며, 각 메뉴 항목은, 메뉴 항목에 대응하고 3D 광학 데이터에 기초하여 제어기에 의해 검출되는 체적 공간 영역 내에서, 의사에 의해 만들어진 하나 이상의 제스처에 의해 의사에 의해 선택 가능한, 제어기;IDU 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 비평면 투영면 상에 표시하기 위한 IDU 디스플레이로서, IDU 디스플레이를 이동 및 방향시키는 것 중 적어도 하나를 위해 로봇 포지셔닝 시스템에 장착되는, IDU 디스플레이;를 포함한다. 상기 메뉴 항목들 중 임의의 하나의 특정의 선택은 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하게 한다. 상기 IDU 디스플레이는 상기 IDU 이미지를 제1표면 상에 투영하도록 구성된다. 제어기는 제1표면이 바람직하지 않다는 표시를 받거나 의사가 수술실 내에서 움직였다고 결정하도록 구성되고, 그러한 표시를 받거나 그러한 결정을 내릴 때, IDU 디스플레이는 IDU 이미지를 제2표면에 투영하도록 구성된다.
본 발명의 다른 양태 및 본 발명에 특화된 실시예의 특징이 여기에 기술되어 있다.
첨부된 도면은 본 발명의 비 제한적인 실시예를 도시한다.
도 1a 내지 도 1c는 본 발명의 실시예에 따른 의료기기의 비접촉 제어를 위한 시스템을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따라 물리적 디스플레이 상에 오버레이된(overlaid) IDU(Interaction Display Unit) 이미지를 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른, AR 헤드셋을 착용한 의사를 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 표면 재구성 방법의 블록도이다.
도 5는 표면을 나타내는 점 클라우드의 예시적인 표현을 도시한다.
도 6은 예측 스무딩 및 재구성이 도 5에 도시된 점 클라우드상에서 수행된 후 점 클라우드의 예를 개략적으로 도시한다.
도 7은 도 6에 도시된 점 클라우드상에서 복셀 필터링 프로세스가 수행된 후 점 클라우드의 예를 개략적으로 도시한다.
도 8은 외부 점들이 제거된 도 7에 도시된 점 클라우드를 개략적으로 도시한다.
도 9는 도 8에 도시된 점 클라우드로부터 생성된 트라이앵귤레이션된 표면 메시(triangulated surface mesh)의 예를 개략적으로 도시한다.
도 10은 도 11에 도시된 방법을 수행하는데 사용되는 본 명세서에 설명된 예시적인 시스템의 전형적인 셋업을 도시한다.
도 11은 본 발명의 일 실시예에 따른 투영 보정을 구현하기 위한 방법의 블록도이다.
도 12 및 13은 본 발명의 일 실시예에 따른, 도 11에 도시된 방법에 사용된 가상 장면을 개략적으로 도시한다.
도 14는 도 12 및 13에 도시된 가상 카메라에 의해 캡처된 왜곡된 이미지를 보여주는 스크린샷의 표현이다.
도 15는 본 발명의 일 실시예에 따른 관절식 로봇 암을 개략적으로 도시한다.
후술하는 상세한 설명을 통해, 본 발명의 보다 철저한 이해를 제공하기 위해 특정 세부 사항이 설명된다. 그러나, 본 발명은 이러한 세부 사항 없이 실시될 수 있다. 다른 경우에, 본 발명을 불필요하게 불명료하게 하는 것을 피하기 위해 잘 알려진 요소들은 도시되지 않았거나 상세히 설명되지 않았다. 따라서, 명세서 및 도면은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.
본 발명의 양태는 손 동작(예를 들어, 제스처 등)을 사용하는 의료(예를 들어, 수술) 환경에서 의료기기, 도구 및/또는 그와 유사한 것과의 비접촉 제어 또는 다른 상호작용을 위한 시스템 및 방법을 제공한다. 의료 전문가 혹은 의사(이하, '의사'라 함)는 의사 근처(예: 암(arm)이 닿는 범위 내)에 위치한 체적 공간 영역 내에 정의된 하나 이상의 조정 가능한 메뉴와 상호작용한다. 하나 이상의 메뉴가 있는 공간을 작업공간이라고 하고, 하나 이상의 메뉴를 3D 제어 메뉴라고 할 수 있다. 의사는 의사의 손(들) 및/또는 손가락(들)의 상대적 배치(포인팅, 손가락 태핑 등의 제스처), 위치 또는 움직임을 기반으로 손 동작을 사용하여 3D 제어 메뉴와 상호작용할 수 있다(일례로 메뉴 항목을 선택하거나 3D 제어 메뉴와 달리 상호작용할 수 있음). 3D 제어 메뉴는 의사의 손(들)이 3D 제어 메뉴와의 상호작용을 위해 적절한 손 동작(들)을 수행할 수 있는 복수의 체적 공간 영역(예를 들어 각각의 이러한 공간 영역은 메뉴 항목에 대응함)을 포함한다. 3D 제어 메뉴는, 적어도 하나의 3D 광학 센서로부터 데이터를 수신하고 3D 광학 센서로부터 수신된 광학 데이터를 처리하고 그 광학 데이터를 상기 3D 제어 메뉴와 의사의 상호작용으로 해석하는 머신 비전 알고리즘(machine vision algorithm)을 수행하는, 적절하게 구성된 제어기에 의해 구현될 수 있다. 제어기는 의사의 3D 제어 메뉴와의 상호작용에 기초하여 의료기기와 통신하거나 이와 달리 의료기기를 제어하도록 추가로 연결될 수 있다.
일반적으로, 의사와 3D 제어 메뉴와의 상호작용은 의료기기에 적절한 제어 명령을 전달할 수 있는 하나 이상의 메뉴 항목의 선택을 포함할 것이다. 상술한 바와 같이, 메뉴 항목은(물리적 객체가 아닌) 체적 공간 영역에 대응할 수 있다. 결과적으로, 의사는 메뉴 항목을 효과적으로 선택했거나 상호작용했음을 나타내는 피드백을 받는 것이 바람직할 수 있다. 의사가 3D 제어 메뉴와의 상호작용을 돕기 위해, 본 발명의 특정 실시예는 3D 제어 메뉴의 현재의 상대적 배치(예를 들어, 메뉴 항목에 대한 임의의 선택 또는 다른 상호작용을 보여주는 표시를 포함함)를 시각적으로 나타내는 상호작용 디스플레이 유닛(IDU: interaction Display Unit)을 포함함으로써, 선택과 메뉴 상호작용에 대해 의사에게 알려주는 유용한 실시간 피드백을 제공한다. IDU는 다수의 상이한 방식으로 구현될 수 있다. 비 제한적인 예로서, IDU는 3D 제어 메뉴를 적합한 표면(예를 들어 환자가 그 위에 위치할 수 있는 수술대, 의사의 손, 수술실 측면 테이블 및/또는 그와 유사한 것)에 투영하는데 사용될 수 있는 프로젝터를 포함할 수 있다. 다른 비 제한적인 예로서, IDU는 3D 제어 메뉴의 묘사하고 메뉴에 대한 의사의 손이나 다른 적절한 포인팅 장치 그래픽을 묘사할 수 있는 물리적 디스플레이를 포함할 수 있다. 이러한 디스플레이는 수행되는 의료 절차에서 사용되는 기존 디스플레이 내에 통합될 수 있거나 독립적인 디스플레이에서 개별적으로 구현될 수도 있다. 디스플레이는 스마트 안경, 스마트 시계, 증강/가상 현실 헤드셋 등과 같은 웨어러블 기술로도 선택적으로 구현될 수 있다. 또 다른 비 제한적인 예에서, IDU는 3D 제어 메뉴의 가상 묘사를 위한 증강 현실 헤드셋의 일부인 하나 이상의 프로젝터를 포함한다. 이들 예시적인 IDU 포맷들 각각은, 의사에게 선택된 메뉴 항목들 및/또는 작업 영역 내에서 혹은 작업 영역에 대한 그들의 손(들) 및/또는 손가락(들)의 위치를 알리는 표지(indicia)를 제공하도록 구성될 수 있다.
일부 실시 양태에서, IDU는 방사선 이미지, 혈관 조영 이미지, 또는 환자 신체의 다른 이미지와 같은 의료 이미지 데이터를 추가로 또는 대안적으로 표시할 수 있다. 이러한 의료 이미지 데이터는 대안적으로 IDU와 별개인 디스플레이(예를 들어, 별도의 프로젝터 스크린, 텔레비전, 모니터 등)에 표시될 수 있다.
● 시스템 개요(System Overview)
도 1a는 특정 실시예에 따른 의료기기(12A, 12B, 12C)(집합적으로 그리고 개별적으로, 의료장치(12) 또는 기기(12))의 비접촉 제어를 위한 시스템(10)을 개략적으로 도시한다. 시스템(10)은 특히 의사(25)의 신체 부위(예를 들어, 의사(25)의 손(들)(25A), 손가락(들) 및/또는 머리(25B))를 포함하여 작업공간(15) 내의 물체에 관한 3D 광학 정보를 얻는데 사용될 수 있는 하나 이상의 3D 광학 센서 유닛(들)(14)을 포함한다. 비 제한적인 예로서, 3D 광학 센서 유닛(들)(14)은 스테레오 카메라, TOF(Time of Flight) 카메라, 라이다(LIDAR) 센서 등을 포함할 수 있다. 시스템(10)은 또한 전술한 바와 같이 의사(25)에게 시각적 가이드 및 피드백을 제공하는 IDU 디스플레이 장치(16)를 포함한다. 도 1a에 도시된 특정 예시적인 실시예에서, IDU 디스플레이 장치(16)는 3D 제어 메뉴에 대응하는 IDU 이미지(18)를 환자(24)가 위치한 수술대(22)의 표면(20)에 투영하는 프로젝터(16A)를 포함한다. 다른 실시예들에서, 다른 형태의 IDU 디스플레이 장치는 전술한 바와 같이 상이한 방식으로 (예컨대, 물리적 디스플레이 또는 가상 현실 객체로) IDU 이미지를 표시할 수 있다.
시스템(10)은 또한 시스템 제어기(30)(제어기(30)라고도 함)를 포함한다. 시스템 제어기(30)는 본 명세서의 다른 곳에 기술된 바와 같이 적용 가능한 소프트웨어를 사용하여 적절하게 구성된 하나 이상의 프로그램 가능한 데이터 프로세스에 의해 구현될 수 있거나 그렇지 않을 수 있다. 도시된 도 1a의 실시예에서, IDU 디스플레이 장치(16), 3D 광학 센서(들)(14) 및 제어기(30)는 함께 작동하여 수술대(22)의 표면(20) 바로 위에 위치한 작업공간(15)에 3D 제어 메뉴(17)를 제공한다. 제어 메뉴(17)은 더 많은 메뉴 항목 19A, 19B, ... 19n (통칭하여 개별적으로 메뉴 항목(19))을 포함하되, 각 메뉴 항목(19)은 작업공간(15)의 체적 공간 영역에 대응한다. 의사(25)는, 의사 손(들) 및/또는 손가락(들)의 상대적 배치(포인팅, 손가락 태핑 등과 같은 제스처), 위치 또는 움직임에 기초한 손 동작을 사용하여, 3D 제어 메뉴(17)와 상호작용할 수 있다(예를 들어, 메뉴 항목(19)을 선택하거나 3D 제어 메뉴(17)와 다르게 상호작용할 수 있음).
시스템 제어기(30)는 또한 제어 모듈(32A, 32B, 32C)(통합적으로 그리고 개별적으로, 제어 모듈(32))을 통해 의료기기(12)를 제어하기 위해 3D 광학 센서(14)로부터 수신된 3D 광학 데이터를 사용한다. 제어 모듈(32)은 제어기(30)와 다양한 유형의 의료기기(12) 사이의 인터페이스 작업을 수행한다. 구체적으로, 제어 모듈(32)은 제어기(30)로부터 명령을 수신하고 다양한 형태의 통신 인터페이스(들) 및 프로토콜(들)을 사용하여 장비에 특정 명령을 제공한다. 비 제한적인 예로서, 제어 모듈(32)은 블루투스 통신 프로토콜, USB 동글, LAN 통신 인터페이스, WiFi 통신 인터페이스, 데이터 통신 프로토콜/수단(예를 들어, 직렬 통신 인터페이스) 및/또는 그와 유사한 것을 포함할 수 있다.. 일부 실시예에서, 제어 모듈(32)의 일부 또는 전부는 제어기(30)에 의해 전체적으로 또는 부분적으로 구현될 수 있다.
시스템(10)(및 시스템(10)에 의해 구현되는 방법)은 의사(25)가 수술실(36) 내부에 혹은 수술실(36)에 떨어져서 위치하는 다수의 장치 및 기기(12)와 비접촉 방식으로 상호작용 및 제어할 수 있게 한다. 의료영상저장전송시스템(PACS: Picture Archiving and Communication System) 워크스테이션과 같은 디스플레이 장치, 수술 중(intra-operative) 방사선 영상 워크스테이션, 수술용 조명, 환자 침대(수술대), 환자 진단 장비, 방사선 영상 획득 시스템, 형광 투시 장비(예: C-암), 다른 유형의 의료 영상 시스템, 약물 전달 시스템, 로봇 수술 기기, 로봇 수술 보조 기기, 다른 의료기기의 제어를 위한 제어 패널 및/또는 그와 유사한 것을 포함한다. 시스템(10)에 의해 제어될 수 있는 하나의 특정 유형의 기기(12)는 다른 의료기기를 제어하기 위한 제어 인터페이스(예를 들어, GUI, 터치 패널 인터페이스 및/또는 이와 유사한 것)이다. 현재, 다수의 이러한 장치(12)는 멸균 상태로 작동할 수 없기 때문에 수술 중에 의사(25)의 직접 제어로부터 벗어나 있다. 시스템(10)을 사용하여, 의사(25)는 그러한 장치(12)를 제어하기 위해 더 이상 수술이 수행되고 있는 멸균된 환경으로부터 벗어날 필요가 없거나 또는 멸균 환경 외부에 위치한 테크니션과 통신할 필요가 없고 또한 의사(25)가 멸균 환경 내부에 있는 테크니션이나 간호사에게 작업을 위임할 필요도 없다. 이러한 방해 요소를 제거함으로써 의사(25)는 수행중인 수술에 초점을 유지하는데 도움을 줄 수 있다.
도 1b는 다른 예시적인 실시예에 따른 의료기기(12)의 비접촉 제어를 위한 시스템(110)을 개략적으로 도시한다. 시스템(110)은 도 1a의 시스템(10)과 많은 점에서 유사하며 유사한 참조 번호는 유사한 구성요소를 지칭하기 위해 사용된다. 시스템(110)은 2 개의 3D 광학 센서(14A, 14B)를 포함하고, 그 중 하나는 작업공간(15)에서 (의사(25)의 손(25A)의 위치를 포함하는) 3D 정보를 감지하도록 구성되고 다른 하나는 센서에 대응하는 3D 정보를 감지하도록 구성된다. 시스템(110)은 또한 IDU 이미지(18A, 18B, 18C)(집합적으로 및 개별적으로 IDU 이미지(18))를 표시하는 3 개의 IDU 디스플레이 장치(16A, 16B, 16C)(집합적으로 그리고 개별적으로 IDU 디스플레이 장치(16))를 포함한다. 실제로, 모든 IDU 디스플레이 장치(16)가 필요한 것은 아니지만, 설명을 위해 다수의 IDU 디스플레이 장치(16) 및 그들의 대응하는 IDU 이미지(18)가 도 1b에 도시되어 있다. 도 1b에 도시된 예시적인 실시예에서, IDU 디스플레이 장치(16A)는 3D 제어 메뉴(17) 및 메뉴 항목(19)에 대응하는 IDU 이미지(18A)를 환자(24)가 위치하는 수술대(22)의 표면(20) 상으로 투영하는 프로젝터(16A)를 포함한다. 도 1b에 도시된 예시적인 실시예에서, IDU 디스플레이 장치(16B)는 디스플레이(16B)(실제로는 의료 이미지를 표시하는데 사용되는 의료기기(12)임)를 포함하고, 여기서 3D 제어 메뉴에 대응하는 IDU 이미지(18B)는 디스플레이 이미지 상에 오버레이된다(overlaid). 도 1b에 도시된 예시적인 실시예에서, IDU 디스플레이 장치(16C)는 3D 제어 메뉴에 대응하는 IDU 이미지(18C)를 표시하는 전용 IDU 디스플레이(16C)를 포함한다.
IDU 이미지(18)를 적절히 위치시키고 지향시키기 위해, 물리적 공간에서 월드 좌표 프레임(world coordinate frame)을 설정하는 것이 바람직할 수 있다. 이러한 좌표 프레임은 모든 위치 및 지향(orientation) 데이터가 참조되는 좌표 프레임을 제공할 수 있다. 월드 좌표 프레임은 3D 광학 센서(14A 또는 14B) 중 하나 또는 다른 적절한 센서 또는 마커를, 로봇 암(50)의 베이스, 카메라 프로젝터 마운트의 베이스, 수술대(22)의 베이스 및/또는 그와 유사한 것과 같은 알려진 물리적 위치에, 배치함으로써 제공될 수 있다. 이 물리적 위치는 모든 IDU 이미지, 3D 제어 메뉴 구성요소 및 수술실 내의 의료기기의 올바른 위치 참조를 위해 좌표 프레임의 원시점(origin)으로 정의될 수 있다.
시스템(110)은 또한 3D 광학 센서(14A, 14B)로부터 3D 광학 데이터를 수신하고 이러한 데이터를 사용하여 제어 모듈(32)을 통해 의료기기(12)를 제어하는 시스템 제어기(30)(제어기(30)라고도 함)를 포함한다. 도 1b의 실시예에서, 제어되는 의료기기(12)는 수술용 조명(12A), C-암(12B), 베드(12C) 및 의료 이미지 디스플레이(12D)를 포함하고, 이들은 각각 제어 모듈(32A, 32B, 32C, 32D)에 의해 인터페이스 된다.
도 1c는 다른 예시적인 실시예에 따른 의료기기(12)의 비접촉 제어를 위한 시스템(210)을 개략적으로 도시한다. 시스템(210)은 도 1a, 1b의 시스템(10, 110)과 많은 점에서 유사하며, 유사한 구성요소를 지칭하기 위해 유사한 참조 번호가 사용된다. 시스템(210)은 시스템(210)의 다수의 구성요소가 증강 현실(AR: augmented reality) 헤드셋(40)에 통합된다는 점에서 시스템(10, 110)과 다른데, AR 고글(40), 가상 현실(VR: virtual reality) 헤드셋(40) 또는 VR 고글(40)이라 불리기도 할 것이다. 구체적으로, 도 1a를 참조하면, 3D 광학 센서(들)(14), IDU 디스플레이 장치(16) 및 선택적으로 시스템 제어기(30) 및 시스템 제어기(30)에 의해 구현된 제어 모듈(32)의 임의의 구성요소는 AR 헤드셋(40)에 통합될 수 있다. AR 헤드셋(40)에 통합된 광학 센서(14)의 기능은 여기의 다른 곳에 기술된 광학 센서(14)의 것과 유사할 수 있다. 구체적으로, 이러한 광학 센서(14)는, 의사(25)의 관점으로부터 있을 수 있다는 것을 제외하고는, 3D 광학 데이터를 수집하여, 이러한 3D 광학 데이터가 의사(25)의 손, 손가락 및/또는 머리(25B)의 위치 및/또는 지향을 포함한다. 3D 광학 데이터는 수술실(OR: operating room)(36) 내에서 데이터를 위치시키고 지향시키기 위해 전술한 월드 좌표 프레임으로 변환될 수 있다.
AR 헤드셋(40)에 통합된 IDU 디스플레이 장치(16)는 여기의 다른 곳에 기술된 IDU 디스플레이 장치(16)와 유사한 기능을 제공할 수 있다. 그러나, AR 헤드셋(40)에 통합된 IDU 디스플레이 장치(16)는 IDU 이미지(18)를 의사(25)의 눈에 직접 투영할 수 있다. 이러한 IDU 이미지(18)는 반드시 3차원 이미지를 포함 할 수 있지만, 반드시 그런 것은 아니다. AR 헤드셋(40)에 통합된 IDU 디스플레이 장치(16)는 IDU 이미지(18)를 의사(25)의 눈에 직접 투영하기 때문에, 대응하는 IDU 이미지(18)는 의사(25)가 그 위치를 바라 보거나 및/또는 그 위치에 근접할 때마다 나타날 수 있다. 유사하게, AR 헤드셋(40)에 통합된 IDU 디스플레이 장치(16)는 의사(25)의 눈에 직접 이미지를 투영하기 때문에, 작업공간(15), 3D 제어 메뉴(17) 및 대응하는 메뉴 항목(19)은 의사(25)가 보고 있는 어느 곳에나 위치될 수 있다. 일부 실시예에서, 하나 이상의 3D 제어 메뉴(17)는 의사(25)가 어디를 바라보고 있는지에 관계없이 3D 공간 또는 의사의 시야에서 임의의 위치에 고정된 상태로 유지될 수 있다. 예를 들어, 3D 제어 메뉴(17)는 의사(25)의 눈에 투영된 IDU 이미지(18)의 코너에 고정된 상태로 유지될 수 있다. 의사(25)는 이들 3D 제어 메뉴(17)를 원하는 대로 재배치할 수 있다. 도 1c에 도시된 시스템(210)의 예시된 실시예의 특정한 경우에, AR 헤드셋(40)은 수술 광(12A)을 제어하기 위하여 작업공간(15A)에 3D 제어 메뉴(17A) 및 IDU 이미지(18A)를 생성하고, 수술대(12C)를 제어하기 위하여 작업공간(15C)에 3D 제어 메뉴(17C) 및 IDU 이미지(18C)를 생성하고, 의료 이미지 디스플레이(12D)를 제어하기 위하여 작업공간(15D)에 3D 제어 메뉴(17D) 및 IDU 이미지(18D)를 생성하는 것으로 도시되어 있다. 다른 실시예에서, 시스템(210)은 추가 또는 대체 의료기기(12)를 제어하기 위해 작업공간(15)에서 추가 또는 대안적인 3D 제어 메뉴(17) 및 IDU 이미지(18)를 생성할 수 있다. 일부 실시예에서, 도 1c의 경우와 같이, 3D 제어 메뉴(17) 및 IDU 이미지(18) 공간에서 만들어진다. 일부 실시예에서, 3D 제어 메뉴(17) 및 IDU 이미지(18)는 OR(36) 내의 적절한 표면에 투영될 수 있다. AR 헤드셋(40)에 의해 생성된 3D 제어 메뉴(17)와 상호작용하는 테크닉은 여기의 다른 곳에 기술된 투영된 3D 제어 메뉴(17)와 상호작용하는 것과 유사할 수 있다.
도시된 실시예에서, 시스템(210)은 AR 헤드셋(40) 외부에 위치한 하나 이상의 선택적 추가 3D 광학 센서(14)를 포함하는 것으로 도시되어 있다. 이러한 추가 3D 광학 센서(14)는 의사(25)를 OR(36) 내에서 및/또는 OR(36) 내의 의사(25)의 머리(25B)를 찾아내는데 이용될 수 있다. 이러한 선택적인 추가 광학 센서(14)는, 후술하는 바와 같이, 또한 OR(36) 내에서 의료기기(12)를 찾아내거나 및/또는 식별하고, OR(36) 내에서 인간을 추적하거나 또는 OR(36) 또는 OR(36)의 관련 부분의 3D 모델을 구성하는데 사용될 수 있다.
일부 실시예에서, AR 헤드셋(40)은 단독으로 또는 추가 광학 센서(14)와 함께 의사(25)의 머리(25B)의 위치 및/또는 지향을 검출하고 시스템 제어기(30)는 의사(25)의 머리가 의료기기(12)의 특정 구성요소를 향하는지에 기초하여, 의사(25)에게 표시할 특정 3D 제어 메뉴(17)를 결정할 수 있다. 예를 들어, 시스템 제어기(30)가 (AR 헤드셋(40) 및/또는 추가 광학 센서(14)로부터의 정보에 기초하여) 의사(25)의 머리(25B)가 의료 이미지 디스플레이(12D)를 향해 지향하고 있다고 결정하면, 제어기(30)는 (의료 이미지 표시(12D)를 제어할 수 있도록 특화된) 3D 제어 메뉴(17D) 및 대응하는 IDU 이미지(18D)를 적절한 작업공간(15D)에 표시하도록 선택할 수 있지만, 시스템 제어기(30)가 (AR 헤드셋(40) 및/또는 추가 광학 센서(14)로부터의 정보에 기초하여) 의사(25)의 머리(25B)가 광(12A)을 향해 지향하고 있다고 결정하면, 제어기(30)는 (광(12A)을 제어할 수 있도록 특화된) 3D 제어 메뉴(17A) 및 대응하는 IDU 이미지(18A)를 적절한 작업공간(15A)에 표시하도록 선택할 수 있다. 일부 실시예들에서, 의사(25)가 그러한 3D 제어 메뉴 및 IDU 이미지(18)가 제공될지 여부를 선택할 수 있도록, 각각의 3D 제어 메뉴(17) 및 IDU 이미지(18)에 대해 토글(toggle)이 제공될 수 있다. 일부 실시예들에서, 시스템 제어기(30)는 (AR 헤드셋(40) 및/또는 추가 광학 센서(14)로부터의 정보에 기초하여) 임의의 3D 제어 메뉴(17)를 표시하지 않도록 선택할 수 있다. 예를 들어, 시스템 제어기(30)는 의사(25)의 머리(25B)가 수술 받는 신체 부분을 향할 때 임의의 3D 제어 메뉴(17)를 표시하지 않도록 선택할 수 있다.
일부 실시예에서, AR 헤드셋(40)은 시선 추적(gaze tracking)을 구현하기에 적합한 하드웨어 및 소프트웨어를 추가로 또는 대안적으로 포함할 수 있으며, 이러한 시선 추적 테크닉은 또한 의료기기의 특정 구성요소 또는 수술받는 신체 부위를 향하는 시선 방향에 기초하여 특정 3D 제어 메뉴 및 IDU 이미지(18)를 표시하도록 선택하는데 사용될 수 있다. 다수의 적합한 시선 추적 테크닉 중 하나가 예를 들어 PCT/CA2008/000987에 기술되어 있으며, 이는 여기에 참조로 포함된다. 시선 추적은 머리 위치와 방향만을 추적하는 것만으로 가능한 것보다 더 세밀한 제어를 허용할 수 있다. 안구 추적의 구현은 추가로 또는 대안적으로 시선 깊이의 추정을 가능하게 한다. 시선 깊이 추정(gaze depth estimation)은 의사가 의사(25)와 의료기기(12)의 구성요소 사이에 있는 작업공간(15)에 위치한 3D 제어 메뉴(17) 또는 의료기기(12) 자체를 바라 보고 있을 때를 알기 위해 사용될 수 있다.
일부 실시예들에서, AR 헤드셋(40)은 지향 제어를 구현하기 위해 적절한 하드웨어 및/또는 소프트웨어를 추가로 또는 대안적으로 포함할 수 있다. 예를 들어, AR 헤드셋(40)은 의사(25)의 손(들)(25A)의 움직임 또는 지향을 감지 및/또는 해석하기 위한 하나 이상의 센서를 포함할 수 있다. 특정한 움직임/지향은 3D 제어 메뉴(17) 상의 특정 항목(19)의 선택에 대응할 수 있거나 IDU 이미지(18)를 (일례로 회전하거나 이동시키는 등으로) 조작할 수 있다. 지향 센서는 추가로 또는 대안적으로 의사(25)에 의해 착용된 핸드 헬드 장치 또는 장갑 상에 제공될 수 있다. 일부 실시예에서, 의사(25)는 3D 제어 메뉴(17) 상의 항목(19)의 선택 사이에서 손(들)(25A)을 적절한 방향으로 회전시킴으로써 이동할 수 있다. 이러한 회전은 의사(25)가 3D 제어 메뉴(17)의 체적 공간 영역들 사이에서 손(들)(25A)을 이동시킬 필요를 피할 수 있다. 메뉴를 제어한 결과, OR 내에 있는 언급된 임의의 기기를 제어하기 위해 지향 제어가 사용될 수 있다. 제어된 장치가 이미징 워크스테이션인 특정 경우에, 이 지향 제어 양태는 표시된 이미지(예를 들어, 이미지의 3D 회전, 변환 등)를 직접 조작하는 데 사용될 수 있다.
● 3D 광학 센서(3D Optical Sensor)
하나 이상의 3D 광학 센서(14)를 통한 3D 광학 감지에 의해, 여기에 기술된 시스템은 센서(14)의 시야(fields of view) 내에서 관심 대상의 실시간 위치 및 방향을 결정한다. 주로, (메뉴 상호작용을 위한) 의사의 손(25A) 및 (메뉴의 상대적 배치를 위한) 작업공간(15) 내의 장애물이 관심이다. 센서(14)의 시야를 증가시키거나 추가적인 3D 광학 센서(들)(14)를 제공함으로써, 의사(25)의 몸통 및/또는 머리(25B)는 또한 의사(25)의 위치 및 의사 머리 위치 및/또는 지향을 결정하기 위해 추적될 수 있다.
● 시스템 제어기 (System Controller)
시스템 제어기(30)는 3D 광학 센서(14), 제어 모듈(32) 및 IDU 디스플레이 장치(16)에 연결되는 하나 이상의 처리 유닛을 포함한다. 시스템 제어기(30)는 3D 광학 센서(14)로부터 3D 데이터를 처리하고 작업공간 내의 물체의 위치 및 지향을 결정한다. 이 3D 광학 정보에 기초하여, 시스템 제어기(30)는 (3D 제어 메뉴(17)과의 의사의 상호작용에 대응하는) 명령을 적절한 제어 모듈(32)을 통해 의료기기(12)로 전송할 수 있다.
● 제어 모듈(Control Modules)
제어 모듈(32)은 의료기기(12)와 인터페이스하여 시스템 제어기(30)로부터 명령을 전달한다. 구체적으로, 제어 모듈(32)은 임의의 적절한 유선 또는 무선 통신 프로토콜을 통해 시스템 제어기(30)로부터 전자적 명령을 수신하고, 이러한 명령을 대응하는 특정 제어 명령으로 변환할 수 있다. 즉, 제어 모듈(32)은 레거시(legacy) 의료기기(12)에 후발적으로 추가될 수 있다(추가로 또는 대안으로써 레거시 의료의기(12)의 기존 제어/통신 인터페이스에 후발적으로 추가될 수 있음). 일부 실시예에서, 제어 모듈(32)의 일부 또는 전부는 시스템 제어기(30)에 의해 구현될 수 있다. 일부 실시예에서, 제어 모듈(32)의 일부 또는 전부는 의료기기(12) 내에서 구현될 수 있다. 의료기기 내에 구현되는 시스템 제어기(30)는 이러한 의료기기(12)와 기본적으로 인터페이스할 수 있다.
제어 모듈(32)의 비 제한적인 예는 USB 동글이며, 방사선 영상 워크스테이션(12D)에 플러그될 수 있다. 동글은 시스템 제어기(30)로부터 무선으로 명령을 수신할 수 있고, 이들 명령을 마우스 및 키보드 명령으로 변환할 수 있으며, 이 명령은 방사선 이미지 워크스테이션(12D)으로 전송되어 그 위에 표시된 이미지를 조작한다.
일부 실시예에서, 제어 모듈(32)은 의료기기(12)의 각각의 구성요소에 상대적으로 근접하여 위치될 수 있는 디스플레이를 포함할 수 있다. 이러한 디스플레이는 대응하는 의료기기(12)의 일부일 수 있거나 레거시 의료기기(12)에 후발적으로 추가될 수 있다. 제어 모듈(32)의 디스플레이는 IDU 이미지(18)를 의사(25)에게 다시 표시하기 위한 IDU 디스플레이 장치(16)로서 사용될 수 있으므로, 의사(25)는 의료기기(12)를 볼 때(또는 보다 정확하게는 의료기기(12)에 대응하는 제어 모듈(32)의 디스플레이를 볼 때) 의료기기(12)의 구성요소를 비교적 쉽게 제어할 수 있다.
다수의 예시적이고 비 제한적인 유형의 의료기기(12) 및 인터페이스 제어 모듈(32)은 다음을 포함한다.
C-암 및/또는 다른 수술중(intra-op) 영상 장치와 같은 의료 이미징 장치(12)
- 일반 C-암(Arm) 포지셔닝 및 활성화(General C-암 positioning and activation)
● (C-암 및/또는 다른 의료 이미징 장치(12)와 같은) 의료 이미징 장치(12)는 자체 제어 패널(13)(예를 들어, 도 1b에 도시된 C-암 제어 패널(13B) 및 베드 제어 패널(13C))을 포함할 수 있어서, 장치에 연결되거나 천장 마운트에 매달려 있고 수술실 내에서 움직일 수 있다. 제어 모듈(32)은 이들 이미징 장치(12)의 제어 패널(13)과 인터페이스되어 여기에서 기술된 시스템이 이미징 장치(12)의 위치를 제어하고 수술 동안 환자(24)의 이미지를 획득하기 위한 장치(12)를 활성화시킬 수 있다.
- 로봇 C-암 조작(Robotic C-Arm manipulation): 의료 이미지 기기를 지원하는 데 사용되는 로봇 C-암은 수많은 의료기기 제조자에 의해 제공되는데, 비 한정적인 예로 지멘스 헬스케어(Siemens Healthcare)의 Artis ZeegoTM, 필립스(Philips)의 Veradius NeoTM 및/또는 이와 유사한 것을 포함함.
● C-암 장착 이미징 장치(12)는 확장된 범위 및 위치 결정 기능을 제공할 수 있고 또한 여기에 기술된 시스템에 의해 동일하거나 유사한 방식으로 제어될 수 있다.
● 많은 모델에서 수술 전에 특정 상대적 배치를 설정할 수 있어 환자 해부학 정보의 다양한 유형의 이미지를 얻을 수 있다.
● 여기에서 기술된 시스템은 의사(25)가 간단한 메뉴 인터페이스를 사용하여 이들 구성 중에서 선택할 수 있게 한다.
● C-암 및 그 위에 장착된 이미징 시스템 및/또는 기타 의료기기는 OR(36) 내의 영구 고정물이거나 C-암이 OR(36)내로 휠링(wheeling)(또는 이동)될 수 있도록 이동 가능해도 된다.
이미지 내비게이션 장치(image navigation devices)(12)
- PACS 워크스테이션: 수술전(pre-op) 또는 수술중(inter-op), 초음파 워크스테이션, 생검 포지셔닝
● 이러한 이미지 내비게이션 워크스테이션(12)은 일반적으로 표준 또는 특수 키보드에 의해 제어된다. 이러한 상황에서, 대응하는 제어 모듈(32)은 USB HID 프로토콜을 통해 이미지 내비게이션 워크스테이션(12)을 제어할 수 있는 USB 동글 형태를 취할 수 있다. 여기에 기술된 시스템이 이러한 제어 모듈(32)을 통해 수행 할 수 있는 명령의 비 제한적 예는 이미지 조작(밝기, 대비, 팬(pan), 줌(zoom), 스크롤(scroll), 회전과 2D 및 3D 공간에서의 다른 각도로의 지향 및/또는 그와 유사한 것을 포함함), 보기의 상대적 배치의 조정, 이미지 기반 (기하학적 및 공간적) 측정, 사용자가 그린 (통신 및 참조용) 표시 및 다양한 이미지 세트 선택을 포함한다.
수술실(OR) 컨트롤(Operating Room(OR) Control)(12)
- 모니터 컨트롤
● 일부 OR에는 여러 장치의 출력을 사용자가 정의 가능한 상대적 배치로 단일 화면에 표시할 수 있는 복합 화면이 있다. 다른 OR에서는 여러 개의 매달려 있는 모니터를 전환하여 다양한 장치의 출력을 표시할 수 있다. 여기에 기술된 시스템은 그러한 디스플레이를 위해 제어 패널(13)과 인터페이스된 제어 모듈(32)을 통해 디스플레이의 상대적 배치를 제어할 수 있다. 이 제어 모듈(32)을 통해, 여기에 기술된 시스템은 선택된 모니터 상에 원하는 데이터의 표시를 용이하게 할 수 있다.
- 수술실 조명(Room lighting) 및/또는 수술용 조명(Surgical lights)
● 특정 수술 중에 의사(25)가 수술실 내의 조명을 여러 번 조정하는 것이 일반적이다. 제어 모듈(32)은 조명 제어 패널(13)과 인터페이스하여 의사(25)가 여기에 기술된 시스템을 사용하여 수술실에서의 광의 세기를 스위칭 및 제어할 수 있게 한다.
- 전자적 환자 의료 데이터 액세스(Electronic patient medical data access)
● 때로는 OR 내부의 터치 스크린 또는 컴퓨터 패널을 통해 환자의 의료 데이터에 빠르게 액세스할 수 있다. 일부 경우에, 의사(25)가 환자(24)에 대한 특정 사실을 확인하기 위해 이러한 패널의 멸균 제어를 갖도록 하는 것이 유용할 수 있다. 여기에 기술된 시스템은 의사(25)가 3D 제어 메뉴를 사용하여 환자 데이터의 섹션을 탐색하고 원하는 대로 스크롤할 수 있게 한다. 이러한 환자 데이터는 프로젝터 또는 VR 안경과 같은 실제 화면 또는 가상 화면에 표시될 수 있다.
다양한 의료기기를 위한 입력 장치(들)의 교체
- (예를 들어) 의료 이미지 디스플레이 및/또는 의료 이미징 기기를 포함하는 기존의 다양한 의료기기는 현재 의사(25)에 의해 OR(36)에서 사용할 수 없는데, 이러한 기기가 수동 조작 입력 장치(일예로 키보드, 터치 스크린 및/또는 마우스)를 포함하기 때문이다.
● 여기에 기술된 시스템에 의해 제어 가능한 의료기기(12)는 이러한 의료기기를 포함할 수 있다. 이러한 의료기기의 수동식 입력 장치는, 3D 제어 메뉴(17) 및 수동 조작식 입력 장치의 명령을 대체하는, (3D 제어 메뉴(17)와의 의사의 상호작용에 기초한) 명령을 생성하는 제어 모듈(32)을 사용하여 우회될 수 있다. 예를 들어, 의사(25)는 여기에 기술된 시스템을 사용하여 수술용 로봇의 것을 포함하여 바닥 또는 천장에 장착된 다관절 암(articulated arm)의 임의의 수단을 제어할 수 있다.
● 상호작용 디스플레이 장치(IDU: Interaction Display Unit)
의사(25)와 상호작용하는 3D 제어 메뉴(17)는 가상적/비가시적이다. IDU (및 구체적으로 IDU 디스플레이 장치(16)와 그에 대응하는 IDU 이미지(18))의 목적은 의사(25)에게 3D 제어 메뉴(17)의 위치 및 상대적 배치를 시각적으로 알리고, 의사(25)의 상호작용에 관한 피드백을 제공하는 것이다. 이것은 의사(25)가 그들의 손(들)(25A)이 아니라 IDU에 초점을 맞출 수 있게 한다. 비 제한적인 예로서, IDU 이미지(18)는 특정 메뉴 항목(19)의 선택을 나타내는 표지(indicia)를 제공할 수 있다(예를 들어, 메뉴 항목은 의사(25)의 손(25A)이 특정 메뉴 항목 위에 놓일 때 색상이 변할 수 있음). 상술한 바와 같이, IDU 이미지(18)는 또한 의료 이미지 데이터를 포함할 수 있다. IDU 디스플레이 장치(16) 및 대응하는 IDU 이미지(18)는 여기서 기술된 바와 같이 다양한 형태를 취할 수 있다. 다수의 실시예들의 세부 사항들이 아래에 더 설명된다.
● 표면 프로젝션(Surface Projection)
IDU의 하나의 양태는 작업공간(15) 내의 표면 상에 (3D 제어 메뉴(17)의 메뉴 인터페이스 항목(19)를 나타내는 아이콘을 포함하는) IDU 이미지(18)를 투영하는 IDU 디스플레이 장치(16)를 포함한다. 이것은 일 예로, 도 1a에 도시된 시스템(10)의 IDU 디스플레이 장치(16) 및 IDU 이미지(18)와, 도 1b에 도시된 시스템(110)의 IDU 디스플레이 장치(16A) 및 IDU 이미지(18A)의 경우이다. 투영된 IDU 이미지(18)의 아이콘은, 3D 제어 메뉴(17)의 메뉴 인터페이스 항목(19)에 대응하고 대응하는 제어와 연관된 체적 공간 영역의 위치를 나타낼 수 있다. 의사(25)가 손(25A)을 특정 메뉴 항목(19)에 대응하는 체적 영역으로 이동시킬 때, 대응하는 아이콘은 체적 공간 영역 내에서 의사(25)에게 그(녀)의 손(25A)의 위치의 시각적 피드백 지시자(indicator)를 제공하도록 색상이 변하거나 달리 변경될 수 있다. 주어진 아이콘 위에 또는 그에 근접한 곳에서의 손가락 탭 제스처는 메뉴 항목(19)과 관련된 제어를 작동시키기 위해 검출될 수 있다. 다른 공통 제어(활성화 제스처, 일시 정지 제스처 등)를 위해 다른 유사한 제스처가 사용될 수 있다.
도 1a 및 도 1b의 도시된 실시예에서, IDU 디스플레이 장치(16)는 환자(24)가 위치한 수술대(22)의 표면(20) 상으로 투영한다. 이것이 필요적인 것은 아니다. 투영 타입 IDU 디스플레이 장치(16)는 OR(36)에서 임의의 주어진 표면에 IDU 이미지(18)를 추가로 또는 대안적으로 투영할 수 있다. 이러한 표면은 제어되는 장비(12)의 하나 이상의 구성요소 옆에 있는 평면 패널일 수 있다. 이러한 표면은 수술 중에 드레이프(drape) 또는 멸균 커버로 덮일 수 있다(즉, 그러한 드레이프 영역에 투영될 수 있음). IDU 디스플레이 장치(16)가 불규칙한 표면(예를 들어, 수술대(22)의 표면(20)) 상에 IDU 이미지(18)를 투영하는 경우, 투영된 IDU 이미지(18)는 투영 보정법(다른 곳에서 설명됨)을 사용하여 증강될 수 있어, 의사(25)는 왜곡되지 않은 IDU 이미지(18)를 볼 수 있다.
일부 실시예들에서, IDU 이미지(18)의 색상 및/또는 패턴은 더 나은 가시성을 위해 IDU 이미지(18)가 투영되는 표면으로부터의 대비를 향상시키도록 조정될 수 있다. 예를 들어, 표면에 혈액 튄 자국이 있는 경우, 불균일한 색상의 표면에 대한 대비를 향상시키기 위해 IDU 이미지(18)에서 교대 패턴이나 그와 유사한 것이 사용될 수 있다.
일부 실시예에서, IDU는 예를 들어 초음파를 통해 햅틱 피드백을 사용하여 구현된다. 이러한 실시예에서, IDU로부터의 정보는 그들의 시력보다는 터치의 감각을 통해 의사(25)에게 중계된다.
● 손 투영(Hand Projection):
IDU의 다른 양태는 작업공간(15) 내의 의사(25)의 손(25A)에 IDU 이미지(18)를 투영하는 IDU 디스플레이 장치(16)를 포함한다. 이 실시예는 3D 제어 메뉴(17)의 표현을 표면에 투영할 수 있지만, 이런 것이 전형적인 것은 아니다. 대신에, 이 실시예는, 의사의 손이 다양한 메뉴 항목(19)과 관련된 체적 공간 영역을 통해 이동할 때 의사(25)의 손(25A)에만 피드백을 투영하는 것을 포함할 수 있다. 의사(25)가 손(25A)을 주어진 메뉴 영역으로 이동시킬 때, 대응하는 제어를 나타내는 아이콘이 의사(25)의 손(25A)에 투영될 수 있다. 투영된 아이콘은 손(25A)의 곡률에 따라 확대되어 의사(25)에게 왜곡되지 않은 것으로 보일 수 있게 한다. 손(25A)을 그들 앞에서 옆으로 스윕(sweep)함으로써, 의사(25)는 3D 제어 메뉴(17)의 체적 공간 영역 사이를 이동할 수 있고 적절한 제스처(예를 들어, 점, 손가락 탭 및 그와 유사한 것)를 사용하여 대응하는 메뉴 항목(19)을 작동시킬 수 있다.
● 물리적 외부 표시(Physical External Display):
IDU의 다른 양태는 3D 제어 메뉴(17)의 2D 표현을 포함하는 IDU 이미지(18)를 표시하는 IDU 물리적 디스플레이(16)를 포함한다. IDU 이미지(18)를 표시하는 디스플레이는 전용 디스플레이를 포함하거나 3D 제어 메뉴(17)의 2D 표현이 (예를 들어 의료 이미지를 표시하기 위한 디스플레이 같은) 일부 다른 디스플레이 상에 "GUI 오버레이"로서 오버레이될 수 있어서, 그 디스플레이 자체가 여기에서 기술된 시스템에 의해 제어되는 의료기기(12)일 수 있다. GUI 오버레이(예를 들어, 도 2에 도시된 바와 같은 IDU 이미지(18))는 의사(25)에 의해 선택된 위치에서 의료 이미지 위에 마커가 그려 지거나 배치될 수 있게 한다. 의사(25) 손(25A)의 묘사는 또한 3D 제어 메뉴(17)에서 체적 공간 영역에 대한 손(25A)의 근접성 및 위치를 의사에게 알려줄 수 있도록 표시될 수도 있다. IDU 이미지(18)의 2D 표현은 실시간으로 수행된 손 움직임(예를 들어 제스처)에 관해 의사(25)에게 정보를 피드백하기 위해 특수한 아이콘 또는 애니메이션을 표시할 수 있다.
도 1b에 도시된 시스템(110)의 IDU 물리적 디스플레이(16B) 및 대응하는 IDU 이미지(18B)는 IDU 이미지(18B)가 의료 이미지 디스플레이(12D) 상의 GUI 오버레이를 포함하는 실시예의 예를 나타내는데, 그 디스플레이(12D)는 그 자체가 상기 시스템(110)에 의해 제어되는 의료기기(12D)이다. 의료 이미지가 OR에서 표시되는 동일한 디스플레이(12D) 상에 IDU 이미지(18)에 대응하는 GUI 오버레이가 오버레이될 수 있는 실시예에서, 의사(25)는 상호작용을 위해 투영된 3D 제어 메뉴를 내려다 보는 선택을 하거나 의료 이미지 디스플레이에서 IDU 영상(18)에 대응하는 GUI 오버레이를 사용하여 동일한 것을 수행하는 선택을 할 수 있게 된다. IDU 물리적 디스플레이(16)는 (도 2에 도시된 바와 같이) 의사(25) 손(25A)(또는 상호작용에 사용되는 임의의 다른 객체 - 예를 들어, 메스) 및 체적 메뉴 영역에 대한 그의 상대적 위치의 표현(18A)을 포함하는 IDU 이미지(18)를 표시할 수 있다.
그러한 실시예들에서, 의사(25)가 OR 기기의 제어(예를 들어, 의료 이미지 디스플레이(12D) 상에서의 방사선 이미지 탐색 또는 C-암(12B) 회전)에 초점을 맞추려고 시도하는 동안, 의사(25)는 투영된 3D 제어 메뉴(17)를 보기 위해 내려다 보지 않아도 된다. 의사(25)가 작업공간(15) 내에서 손(25A)을 이동할 때, GUI 오버레이는 IDU 이미지(18) 내에서 손 표현(18A)의 상대적 위치를 실시간으로 표시 할 것이다. 투영된 IDU 이미지(18)에 사용된 동일하거나 유사한 시각적 피드백 테크닉은 물리적 디스플레이 IDU 이미지(18)에 이용될 수 있다. 예를 들어, 선택 시 특정 아이콘을 하이라이트하는 것은 물리적 디스플레이(16)에 의해 도시된 IDU 이미지(18)에도 반영될 수 있다. 이 경우, IDU 이미지(18)와 투영된 3D 제어 메뉴(17)는 서로 독립적으로 작동한다는 점에 유의해야 한다. 물리적으로 표시된 IDU 이미지(18)는 기능하기 위해 투영된 3D 제어 메뉴(17)를 필요로 하지 않으며 그 반대도 마찬가지이다.
위에서 언급한 바와 같이, 물리적 IDU 디스플레이(16)는 다른 목적으로 사용되는 표시이거나 IDU 디스플레이(16)가 여기서 기술된 시스템에 의해 제어되는 의료기기(12)의 구성요소일 필요는 없다. 대신에, 일부 실시예들에서, IDU 디스플레이(16)는 IDU 이미지(18)를 표시하기 위한 전용 표시를 포함할 수 있다. 이것은 예를 들어, 전용 IDU 디스플레이(16C) 및 도 1b에 도시된 시스템(110)의 대응하는 IDU 이미지(18C)의 경우이다. 이러한 전용 IDU 디스플레이(16)는 이러한 목적을 위해 OR(36)의 임의의 편리한 위치에 위치될 수 있다(이상적으로는 이러한 의료기기(12)의 용이한 제어를 위해 여기서 기술된 시스템의 제어 하에 있는 의료기기(12)에 인접하게 위치될 수 있음).
전술한 바와 같이, 제어 모듈(32)은 의료기기(12)의 각각의 구성요소에 상대적으로 근접하여 위치될 수 있는 디스플레이를 포함할 수 있으며, 이러한 디스플레이는, 전용 IDU 디스플레이(16)로서나 다른 정보(예를 들어, 의료 이미지 데이터)를 또한 표시하는 디스플레이(16) 상에 오버레이된 IDU 이미지(18)로서, IDU 이미지(18)를 표시하기 위한 물리적 IDU 디스플레이(16)로 사용될 수 있다.
● 증강 현실 IDU 디스플레이(Augmented Reality IDU Display)
도 3은 예시적인 실시예에 따른 AR 헤드셋(40) 를 착용하는 의사(25)와 3D 제어 메뉴(17) 및 대응하는 IDU 이미지(18)를 개략적으로 도시한다. 전술한 바와 같이, 의사(25)가 AR 헤드셋(40)을 착용하는 경우, IDU 디스플레이 장치(16)는 AR 헤드셋(40)에 통합되고 AR 이미지(18)를 의사(25)의 눈에 직접 투영한다. 도 1C에 도시된 바와 같이. 일부 실시예들에서, 2 개의 개별 IDU 이미지가 의사(25)의 눈에 투영 될 수 있어서, 의사(25)는 3D IDU 이미지(18)를 볼 수 있다. 상술한 바와 같이, 의사(25)의 머리 지향 및/또는 시선 지향은 3D 제어 메뉴(17) 및 대응하는 IDU 이미지(18)가 표시되도록 할지 (또는 이러한 메뉴/이미지를 전혀 표시할지 여부) 사이에서 선택하기 위해 사용될 수 있다. 일부 실시예에서, 의사(25)는 3D 제어 메뉴(17) 및 대응하는 IDU 이미지(18)를 특정 위치에 "고정(pin)"할 수 있어서, 그러한 메뉴/이미지는 의사(25)의 머리 지향 및/또는 시선 지향이 그 위치로 향할 때만 나타난다.
AR 헤드셋(40)을 사용하는 시스템(210)과 같은 시스템은, 일부 상황에서 유리할 수 있는데, 이는 적합한 3D 제어 메뉴(17) 및 대응하는 IDU 이미지(18)가 대응하는 의료기기(12)의 방향으로 위치될 수 있어서 직관적이고 의사가 사용하기에 용이하기 때문이다. 그러나, 물리적 3D 제어 메뉴(17) 및 대응하는 IDU 이미지(18)는 다수의 의사(25)가 협력적으로 작업하는 경우 유리할 수 있다. 투영되거나 물리적인 형태의 3D 제어 메뉴(17) 및 대응하는 IDU 이미지(18)가 사용되는 경우, 한 의사(25)는 추가 장비 없이 다른 의사의 행동을 볼 수 있기 때문에 의사 소통 및 협업이 더 쉽다.
● 투영 보정(Projection Correction)
전술한 바와 같이, 일부 실시예에서, IDU 디스플레이 장치(16)는 3D 제어 메뉴(17) 및/또는 대응하는 IDU 이미지(18)에 대응하는 이미지를, 환자(24)가 위치할 수 있는, 예컨대 수술대(22)의 표면(20)과 같은 표면에 투영한다. 분주한 OR(36)의 전형적인 수술대(22)는, (예를 들어, 드레이프 주름, 환자(24)의 존재, 수술 도구의 존재 등) 기하학적 불규칙성 및 변형으로 인해 투영 표면으로서 작용하기에 이상적인 환경이 아니다. 이러한 불규칙한 표면은 그 위에 투영된 임의의 이미지에서 기하학적 왜곡을 야기할 수 있고, 투영된 이미지가 의사(25)의 관점에서 뒤틀린 것처럼 보이게 할 수 있다. 제어 메뉴(17) 및/또는 IDU 이미지(18)에 대응하는 이미지의 이러한 뒤틀림은 시스템 사용 및 사용자 선명도를 방해할 수 있다. 예를 들어, 의사(25)는 환자의 가슴 영역에서 수술 절차를 수행하고 있을 수 있다. 따라서 환자 신체의 상반부는 다양한 수술 도구 및 장치에 의해 둘러싸일 수 있다. 이 상황에서, 시스템은 환자의 하부 몸통/다리 위에 3D 제어 메뉴(17) 및/또는 IDU 이미지(18)를 투영할 수 있도록 최적으로 배치된다. 그러나, 불규칙하거나 곡면에 투영이 수행될 때마다, 투영된 IDU 이미지(18)는 뒤틀리고 보기 어려워질 수 있고, 결과적으로 해당 3D 제어 메뉴(17)는 사용하기 어려울 수 있다.
본 발명의 양태는 이러한 투영된 이미지의 뒤틀림을 상동적으로(homographic) 보정하기 위한 방법 및 시스템을 제공한다. 이러한 테크닉을 이용하여, 3D 제어 메뉴(17) 및/또는 IDU 이미지(18)는 투영된 그래픽 콘텐츠(투영된 조정된 이미지)가 의사(25)의 관점에서 왜곡되지 않은 것처럼 보이도록 사전 조정될 수 있다. 이들 테크닉은 투영 표면의 변형 및 불규칙성을 보상한다. 이들 테크닉은 임의의 투영 표면에 적용 가능하지만, 투영 표면이 환자(24)가 일반성을 잃지 않고 위치될 수 있는 수술대(22)의 표면(20)인 경우에 대해 이들 테크닉이 여기에서 기술된다. 유사하게, 이러한 테크닉들은 이미지를 투영하는 프로젝터가, 일반성을 잃지 않고, 도 1a 에 도시된 유형의 IDU 디스플레이 장치(16) 및 도 1b의 16A라고 가정한다.
불규칙한 투영면(20) 상에 3D 제어 메뉴(17) 및/또는 IDU 이미지(18)를 투영 할 때, 프로젝터(예를 들어, IDU 디스플레이 장치)(16)가 표면(20)에 대해 어떻게 위치 및 지향되는 지와 관계없이, 사전 조정이 없으면 결과 이미지는 의사의 관점에서 왜곡되어 보일 것이다. 그러나, 투영된 이미지가 완전히 선형이고 왜곡되지 않은 것처럼 보이는(즉, 뒤틀리지 않게 보이는) 공간의 한 점 - 프로젝터(16)의 위치가 있다. 임의의 관점(의사(25)의 관점으로 간주될 수 있음)으로부터 (3D 제어 메뉴(17) 및/또는 IDU 이미지(18)의) 왜곡되지 않은 투영 이미지를 보려면, 원본 이미지는 조정된 이미지를 제공하도록 사전 조정될 수 있고 조정된 이미지는 마치 상기 임의의 관점으로부터 투영된 것처럼 보이도록 투영될 수 있다.
투영면(20)은 3D 광학 센서(들)(14)를 사용하여 스캐닝될 수 있고, 센서(14)로부터 얻어진 투영면(20)에 관한 3D 데이터에 기초하여, 투영면(20)의 곡률이 특징화 될 수 있다. 투영면(20)상의 양의(positive) 곡률 영역과 정렬되는 원본 이미지의 부분은 동등한 음의(negative) 곡률에 의해 야기된 것과 동일한 정도의 왜곡으로 교정될 수 있으며, 그 반대의 경우도 음의 곡률을 나타내는 투영 표면의 영역에 대해 교정될 수 있다. 투영 표면(20) 상으로 투영될 때 결과적으로 조정된 이미지는 의사(25)의 관점에서 선형이거나 왜곡되지 않고 뒤틀리지 않은 것으로 보인다.
의사(25)의 위치 및 의사(25)의 시점은 원본 이미지를 조정하는 방법을 결정하여 조정된 이미지를 제공하기 위해 사용되는 파라미터이다. 구체적으로, 관찰자의 관점으로부터의 투영은 원본 이미지에 대해 만들어질 수 있는 조정을 결정하기 위해 시뮬레이션될 수 있다. 일부 실시예에서, 의사(25)의 머리(25B)의 위치 및/또는 지향에 관한 정보는, 상술한 바와 같이, 하나 이상의 광학 센서(14)에 의해 확인될 수 있다. 일부 실시예에서, 의사(25)의 머리(25B)의 위치는 전술한 하나 이상의 광학 센서(14)에 의해 확인될 수 있고 의사 머리(25B)의 지향은 그 위치로부터 추정될 수 있다. 일부 실시예에서, 하나 이상의 추가 3D 카메라 또는 지향 센서(예를 들어, 가속도계, 자이로스코프 등)가 의사의 머리(25B)의 위치 및/또는 지향을 결정하는데 사용될 수 있다. 머리 추적(head tracking) 테크닉의 추가 세부 사항은 아래에 설명되어 있다. 머리 위치 및 머리 지향은 실제로는 시선 지향에 대한 프록시(proxy)라는 것이 이해될 것이다. 일부 실시예들에서, 여기의 다른 곳에 기술된 것들과 같은 시선 추적 테크닉들은 의사(25)가 3D 제어 메뉴(17) 및/또는 IDU 이미지(18)를 보는 관점을 결정하는데 사용될 수 있다.
일부 실시예들에서, 하나 이상의 3D 광학 센서들(14) 및/또는 센서들(14)과 유사한 하나 이상의 전용 3D 광학 센서들은 OR(36) 및/또는 작업공간(15) 주위를 이동함에 따라 의사(25)를 추적하는데 사용될 수 있다. 투영된 3D 제어 메뉴(17) 및/또는 IDU 이미지(18)는 항상 의사(25)를 향한다. 하나 이상의 3D 광학 센서(14)는 OR(36)의 전부 또는 관련 부분을 스캔하는데 사용될 수도 있다. 그 후, 최상의 (예를 들어, 가장 평평한) 투영면(20)을 결정하기 위해, 스캔된 OR(36)에 대한 곡률 분석을 수행하기 위한 적절한 머신 비전 방법(예를 들어, 표면 법선 추정(surface normal estimation)에 의한 표면 특징 위치 결정(surface feature localization))이 사용될 수 있다. 이 후, (시스템 프로세서(30)의 제어 하에 있는) 관절식 로봇 암(50)이 사용되어, 원하는 투영면(20) 상에 투영하기에 적합한 위치에 IDU 디스플레이 프로젝터(16)를 자동으로 위치시킨다. 관절식 로봇 암(50)을 사용하는 이 프로세스는 아래에서 더 상세히 설명된다.
OR(36) 내의 의사(25)의 위치는 OR(36) 내에 적절하게 장착된 하나 이상의 3D 광학 센서(14)에 의해 생성된 점 클라우드(point clouds)를 사용하여 식별 및/또는 추적될 수 있다. 이러한 3D 광학 센서(14)는, 3D 제어 메뉴와의 상호작용을 검출하는데 사용되는 광학 센서(14)를 포함하거나 포함하지 않을 수 있다. 많은 그러한 방법이 의료 환경에서 채용될 수 있다. 이러한 알고리즘 프로세스는 (점 클라우드를 필터링(filtering) 및 스무딩(smoothing)하는) 전처리 테크닉 뿐만 아니라 인간의 머리와 상체에 명백한 것으로 알려진 모양과 곡률을 분석하는 테크닉을 활용한다.
시스템 프로세서(30)에 의해 수행될 수 있은 특정 실시예에 따른 투영 보정 방법은, 두 가지 구성요소 방법, 즉 표면 재구성(surface reconstruction); 및 투영 보정(projection correction)으로 나눠질 수 있다. 표면 재구성의 일부로서, 시스템 프로세서는 3D 광학 센서(예를 들어, 3D 광학 센서(14)) 또는 임의의 다른 적절한 센서로부터의 3D 데이터를 사용하여 투영 표면(20)의 메시 표현(mesh representation)을 구성한다.
도 4는 특정 실시예에 따른 표면 재구성을 위한 방법(300)을 개략적으로 도시한다. 방법(300)은 시스템 제어기(30)에 의해 수행될 수 있다. 방법(300)은 여기에 기술된 유형의 3D 광학 센서(14)를 사용하여 원시(raw) 3D 데이터를 캡처하는 것을 포함하는 블록(302)에서 시작한다. 블록(302)의 출력은 3D 공간 (302A)에서 복수의 점(점 클라우드 또는 3D 점 클라우드로 지칭됨)을 포함한다. 도 5는 특정 실시예에서 점 클라우드(302A)의 예시적인 표현을 도시한다. 도 5로부터 관찰될 수 있고 블록(302)에서 전형적인 바와 같이, 점 클라우드(302A)는 점 클라우드(302A)의 다양한 영역에 걸쳐 균일한 점 밀도를 갖지 않는다. 도 4의 표면 재구성 방법(300)의 예시된 실시예의 관점에서는, 점 클라우드에서 비교적 더 균일한 점 밀도에 대한 것이 바람직하다.
방법(300)은 블록(302)에서 획득된 점 클라우드(302A)를 스무딩하는 단계를 포함하는 블록(304)으로 진행한다. 비록 이용 가능한 스무딩 테크닉(블록 304에서 사용될 수 있은 테크닉)이 많이 있지만, 현재 바람직한 실시예의 블록(304)은 무빙 리스트 스퀘어스(MLS: moving least squares) 예측 스무딩(predictive smoothing) 테크닉을 사용한다. MLS 예측 스무딩은 점 클라우드(302A)의 불규칙성을 제거하고 평활하게 하는 리샘플링 방법이다. 이러한 불규칙성은, 예를 들어, 3D 광학 센서(들)(14)로부터 오는 작은 거리 측정 에러(small distance measurement errors)에 의해 야기될 수 있다. 블록(304) MLS 방법은 3D 점 클라우드(302A) 내의 점을 보다 규칙적으로 분포되도록, 주변 점을 기준으로 보간법(interpolations)을 사용하여 저밀도 영역의 점들을 채움으로써, 수정하려고 시도하는 것을 포함한다.
방법(300)은 그 후 블록(306)으로 진행하여, 블록(302)에서 3D 광학 센서(14)에 의해 원하는 밀도로 캡처되지 않은 일부 영역의 구멍을 채우는 것을 도울 수 있는 3D 점 클라우드의 재구성을 포함한다. 블록(306) 재구성 절차를 수행하기 위한 하나의 특정 테크닉은 푸아송 재구성(Poisson reconstruction)으로 지칭된다. 푸아송 재구성은 3D 광학 센서(14)에 의해 충분한 밀도로 캡처되지 않은 특정 영역의 구멍을 채우는 것을 돕는다. 이 블록(306) 절차는 임의의 구멍(점 클라우드 내의 점의 부재)을 둘러싸는 표면 영역의 곡률을 분석하고, 곡률 변화가 최소화되도록 각 구멍에 점으로 채우는 것을 포함한다. 도 6은 블록(304)의 예측 스무딩 및 블록(306)의 재구성 후 블록(306)의 출력 3D 점 클라우드(306A)의 예를 개략적으로 도시한다.
이어서 방법(300)은 복셀 필터링(voxel filtering) 및 세그멘테이션(segmentation)을 포함하는 블록(308)으로 진행한다. 블록(306)으로부터 출력된 점 클라우드(306A)는 밀도가 높으며, 전형적으로 3D 공간에서 3 × 106 개 이상의 개별 점으로 채워진다. 이러한 큰 데이터 세트에서 처리를 수행하면 컴퓨팅 비용이 많이 들 수 있다(computationally expensive). 따라서, 컴퓨팅 비용 관점에서, 투영면(20)의 형상에 관한 중요한 정보를 잃지 않고 점 클라우드(306A)의 크기를 감소시키는 것이 바람직할 수 있다. 점 클라우드(306A)의 크기 감소는 복셀 필터링에 의해 블록(308)에서 수행될 수 있다. 블록(308)의 복셀 필터링 프로세스는 입력 점 클라우드 전체를 최적으로 나타내는 더 적은 수의 점을 갖는 점 클라우드로 되돌리는 복셀 그리드 필터(voxel grid filter)의 사용을 포함할 수 있다. 블록(308)의 복셀 그리드 필터는 점 클라우드(306A)에서 점의 공간 평균, 중간 값 및/또는 기타를 취함으로써 점 클라우드(306A)로부터 데이터를 다운 샘플링(down-sample)할 수 있다. 도 7은 블록(308)의 복셀 필터링 프로세스 후 블록(308)의 출력 3D 점 클라우드(308A)의 예를 개략적으로 도시한다.
이어서 방법(300)은 블록(308)으로부터 출력된 점 클라우드(308A) 내에서 표면이 검출될 수 있는지에 관한 문의를 수행하는 것을 포함하는 블록(310)으로 진행한다. 블록(310)은 결과 점 클라우드(resultant point cloud)를 평가하여 결과 점 클라우드로부터 표면이 확인될 수 있는지를 결정하는 것을 포함할 수 있다. (일반적으로 결과 점 클라우드에서 3D 점의 메인 클러스터가 너무 희박하기 때문에) 표면이 검출되지 않으면, 방법(300)은 블록(310)을 따라 블록(302)으로 NO를 출력하여 진행하여, 추가 이미지 데이터가 획득된다. 한편, 블록(301)에서 표면이 검출되면, 방법(300)은 블록(310)을 따라 블록(312)으로 YES를 출력하여 진행된다.
블록(312)은 점 클라우드(308A)로부터 외부 점의 제거를 포함한다. 일부 3D 광학 센서(예: TOF(time of flight) 센서)의 특성으로 인해 일반적으로 캡처된 장면의 가장자리를 따라 정확도가 떨어진다. 따라서, 일부 실시예들에서, 표면 추정을 위해, 점 클라우드(308A)로부터 희소하고 밀도가 작은 외부의 점을 통계적으로 제거하는 것이 바람직할 수 있다. 일부 실시예에서, 블록(312)의 외부값(outlier) 제거는 블록(312)에서 수신된 점 클라우드(308A)에서의 점-대-이웃(point-to-neighbor) 거리의 분포를 컴퓨팅한 것에 기초할 수 있다. 각 점에 대해, 블록(312)은 점 클라우드 내의 주어진 점으로부터 그 이웃까지의 평균 거리를 컴퓨팅하는 것을 포함할 수 있다. 평균 거리가 배치 가능한(일례로 사용자가 배치 가능한) 임계 값 간격을 벗어난 점은 점 클라우드에서 제거될 수 있다. 이 블록(312)의 외부값 제거 프로세스는 도 8에 개략적으로 도시되어 있으며, 이는 블록(312)의 점 클라우드로부터 제거되는 외부 점 및 남아있는 점 클라우드(312A) 둘 다를 도시한다.
방법(300)은 블록(312)의 점 클라우드(312A)로부터 표면 메시(314A)를 생성하기 위해 트라이앵귤레이션(triangulation) 프로세스(예를 들어, 그리디 트라이앵귤레이션(greedy triangulation) 프로세스 또는 임의의 다른 적절한 트라이앵귤레이션 프로세스)를 구현하는 것을 포함하는 블록(314)으로 진행한다. 블록(312)의 그리디 트라이앵귤레이션 프로세스는 점 클라우드(312A)의 점들을 삼각형으로 연결함으로써 실제 투영 표면(20)의 가상 근사(314A)를 생성하는 것을 포함할 수 있다. 블록(314)의 그리디 트라이앵귤레이션 프로세스는 메시가 성장할 수 있은 점( "프린지" 점)의 리스트를 유지하고 가능한 모든 점이 연결될 때까지 메시를 연장하여 트라앵귤레이션된 표면 메시(314A)를 생성함으로써 작동한다. 도 9는 블록(314)으로부터 출력된 트라이앵귤레이션된 표면 메시(314A)의 예를 도시한다.
블록(314)에서 표면 메쉬(314A)가 획득되면, 표면 재구성 방법(300)이 완료되고 도시된 실시예의 투영 보정 방법은 블록(400)의 투영 보정으로 진행한다.도 10은 여기에서 기술된 예시적인 시스템의 전형적인 셋업을 도시하며, 블록(400)의 투영 보정 방법을 설명하기 위한 목적으로 유용하다. 도 10의 예시적인 예에서, 3D 광학 센서(14) 및 IDU 디스플레이 장치(예를 들어, 프로젝터)(16)는 투영면(20)(예를 들어, 수술대(22)) 위에 배치된다. 투영면(20) 위에 배치된 프로젝터(16)는 3D 제어 메뉴(17) 및 해당 IDU 이미지(18)를 투영하는 반면, 3D 광학 센서(14)(프로젝터(16)에 가까이 배치됨)는 투영 표면(20)을 3D로 캡처한다.
도 11은 특정 실시예에 따른 투영 보정 블록(400)을 구현하기 위한 방법(400)을 개략적으로 도시한다. 방법(400)은 의사(25)의 머리(25B)의 위치 및 의사(25)의 시선 방향에 관한 임의의 이용 가능한 데이터를 획득하는 것을 포함하는 블록(402)에서 시작한다. 여기의 다른 곳에서 기술된 바와 같이, 의사(25)의 머리 방향은 사용자 시선 방향의 추정으로서 사용될 수 있다. 머리 방향은 다양한 테크닉을 사용하여 검출 될 수 있으며, 그 중 다수가 여기에 설명되어있다. 일부 실시예에서, 머리 방향은 머리 위치에 기초하여 추정될 수 있다. 예를 들어, 추정된 머리 위치와 투영면 사이에 벡터가 구성될 수 있고, 의사(25)의 머리 방향이 이 벡터를 따라 지향되는 것으로 가정될 수 있다. 일부 실시예에서, 벡터는 의사(25)의 하나 또는 두 눈에서 푸르킨예(Purkinje) 반사(즉, 반짝임)를 (예를 들어, 하나 이상의 광학 센서를 사용하여) 검출함으로써 결정될 수 있다.
투영 보정 방법(400)의 블록들(404 및 406)은 관점 지오메트리 교환(perspective geometry exchange)으로 지칭되는 프로세스를 수행할 수 있다. 일단 의사의 머리 위치 및 의사의 머리 방향의 추정치가 블록(402)에서 결정되고 표면 메쉬(314A)가 블록(314)에서 결정되면, 실제 장면의 시뮬레이션은 적절한 그래픽 시뮬레이션 라이브러리를 사용하여 그래픽 엔진에서 생성 될 수 있다. 적합한 그래픽 시뮬레이션 라이브러리의 예로는 OpenGL, DirectX, Unreal Engine 등이 있다. 블록(402 내지 410)의 단계는 컴퓨터가 생성한 가상 장면에서 실제 장면에 근사하기 위한 목적으로 수행되지만 실제 장면과 동일하지 않다는 것을 이해하는 것이 중요하다. 블록(402 내지 410)은 이러한 시뮬레이션에서 컴퓨팅 시뮬레이션 및 대응하는 단계를 포함하지만, 이러한 처리 단계의 성능에는 물리적 투영 또는 센서가 사용되지 않는다.
블록(314)에서 생성된 표면 메시(314A)는 가상 장면에 배치된다. 가상 카메라(60)는 실제 시나리오에서 실제 프로젝터가 실제 투영면에 대해 위치될 때 시뮬레이션된 메시에 대해 동일한 상대 위치에 배치된다. 그런 다음 관점 지오메트리 교환으로 지칭될 수 있은 프로세스가 가상 장면에서 수행될 수 있다. 관점 지오메트리 교환에서, 가상 프로젝터(62)는 가상 장면의 투영 표면에 대한 뷰어(viewer)의 알려진 머리 위치에 배치된다. 동시에, 가상 카메라(60)는 가상 장면에서 투영 표면에 대한 실제 프로젝터의 위치에 배치된다. 의사(뷰어)의 관점은 가상 프로젝터(62)로 대체되기 때문에, 이 과정을 관점 지오메트리 교환이라한다.
블록(404)은 가상 장면에서 의사의 머리 위치에 가상 프로젝터(62)를 배치하는 것을 포함한다. 위에서 설명한 것처럼 투영된 이미지를 프로젝터 위치에서 볼 때 투영 표면의 모양에 관계없이 항상 왜곡되지 않은 것처럼 보인다. 투영 보정 방법(400)의 개념은 시뮬레이션에서 가상 프로젝터(62)를 의사(뷰어)의 머리와 동일한 위치 및 방향으로 이동시키는 것이다. 의사(뷰어)의 관점에서 볼 때, 이 가상 투영은 3D 광학 센서에 의해 캡처된 투영 표면의 형태에 상관없이 왜곡되지 않은 것처럼 보일 것이다. 가상 프로젝터의 FOV(예: 쓰로우 비율 - throw ratio) 및 광학 특성은 완전히 임의적이며 설정한 장면에 적합한 것으로 설정할 수 있다.
방법(400)은, 실제 투영면에 대한 실제 프로젝터의 위치와 동일한, 시뮬레이션된 투영면에 대한, 위치에 가상 카메라(60)를 시뮬레이션된 장면에 배치하는 단계를 포함하는 블록(406)으로 진행한다. 가상 카메라(60)를 장면에 배치하면 관점 지오메트리 교환 프로세스가 완료된다. 가상 카메라의 FOV 및 광학 특성(예: 카메라 쓰로우 - throw of camera)은 실제 프로젝터의 FOV 및 광학 특성과 동일한 것이 바람직합니다. 블록(406)의 결론에서, 가상 장면은 도 12에 도시된 구성을 갖는다.
방법(400)은 블록(408)으로 진행하고, 여기서 (시뮬레이션된 장면에서 뷰어의 위치에서) 가상 프로젝터(62)를 사용하여, 원본의 왜곡되지 않은 이미지(예를 들어, 3D 제어 메뉴 및 대응하는 IDU 이미지(18))가 도 13에 보인 바와 같이 시뮬레이션된 장면 내의 가상 투영 표면(64) 상에 투영된다. 가상 프로젝터(62)는 뷰어의 관점에서 뷰어의 위치에 배치될 때,이 투영은 왜곡되지 않고 선형으로 (즉, 비틀림이 없이) 보일 것이다. (가상 카메라의 관점을 포함하여) 다른 관점에서, 동일한 가상 투영은 왜곡된 것처럼 보일 것이다. 또한 도 13은 가상 카메라(60) 또는 뷰어 위치에 속하지 않는 일부 임의의 관점에서 도시되어 있음에 주목해야 한다. 이는 독자가 시뮬레이션에서 모든 구성요소의 상대적 위치를 더 잘 이해할 수 있도록 하기 위한 것입니다.
이어서 방법(400)은 가상 카메라(60)(및 실제 프로젝터)의 관점에서 가상 장면을 캡처하는 것을 포함하는 블록(410)으로 진행한다. 가상 카메라의 관점은 블록(410)에서 스크린샷의 형태로 캡처될 수 있다. (가상 카메라(60)(및 실제 프로젝터)의 관점에서 취해진) 이 블록(410)의 스크린샷에서, 가상 프로젝터(60)에 의해 투영된 이미지는 전술 한 바와 같이 왜곡되어 보일 것이다. 그러나, 이 왜곡된 블록(410) 이미지는 뷰어의 관점에서 정확하게 보이도록 (블록(408)에서) 설계된 동일한 이미지이므로, 이 동일한 블록(410)의 이미지는 실제 프로젝터로부터 투영 될 때, 뷰어에게 왜곡되지 않은 것으로 보일 것이다. 도 14는 가상 카메라(60)에 의해 캡처된 왜곡된 이미지를 도시하는 블록(410)의 스크린샷의 표현을 도시한다. 블록(410)은 (실제 투영을 위한) 사전 조정된 이미지에 대한 최종 입력이 캡처되는 단계이므로, 가상 카메라의 FOV 및 광학 특성은 바람직하게는 전술한 바와 같이 실제 프로젝터와 일치한다. 블록(410)은 또한 OpenGL, DirectX, Unreal Engine 등과 같은 적절한 그래픽 시뮬레이션 환경에서 수행될 수 있은 시뮬레이션된 투영 보정 단계를 완료한다. 일부 실시예에서, 그래픽 시뮬레이션 환경은 필요하지 않으며 관점 지오메트리 교환 프로세스는 가상 카메라(60) 및 프로젝터의 수학적 표현을 사용하여 분석적으로 수행될 수 있다. (카메라 및 프로젝터의 관점을 교환하기 위한) 변환 및 회전 프로세스는 대응하는 회전 및 변환 매트릭스에 의해 달성될 수 있다.
이어서 방법(400)은 실제 프로젝터(예를 들어, IDU 디스플레이 장치(16))를 사용하여 왜곡된(조정된) 블록(410)의 이미지를 투영하는 것을 포함하는 블록(412)으로 진행한다. 가상 장면이 설정되는 방식으로부터, 가상 카메라(60)와 실제 프로젝터는 동일한 위치에 위치하고 광학 특성을 공유한다. 블록(310)의 스크린샷(조정된 이미지)이 실제 투영 표면에 투영될 때, 이는 실제 뷰어의 시각적 관점에서 왜곡되지 않고 선형으로 (즉, 비틀림이 없이) 나타난다.
● 관절식 로봇 암(Articulated Robotic Arm)
일부 실시예에서, IDU 디스플레이 장치(16)를 이동 및/또는 재- 지향할 수 있은 로봇 포지셔닝 시스템(예를 들어, 팬 및 틸트 마운트(pan & tilt mount), 스페리컬 리스트(spherical wrist), 선형 액추에이터(들), 관절식 로봇 암 등)이 제공되어, 의사(25)의 위치에 따라 IDU 이미지(18)의 위치 변경한다. 하나 이상의 센서(14)가 로봇 암에 추가로 또는 대안적으로 장착되어 센서 위치 및/또는 폐색(occlusion)으로 인해 발생하는 문제를 완화시킬 수 있다. 일부 실시예에서, 로봇 포지셔닝 시스템은 일련의 선형 액추에이터 등의 형태로 제공된다. 다른 실시예에서, 로봇 포지셔닝 시스템은 관절식 로봇 암과 일련의 선형 액추에이터의 조합으로 제공된다. 간결성을 위해, 여기의 기술에서, 이러한 로봇 포지셔닝 시스템은 일반성을 잃지 않고 로봇 암이라고 지칭될 수 있다.
도 1b의 실시예의 시스템(110)에서, IDU 디스플레이 장치(16A) 및 3D 광학 센서(14A, 14B)는 IDU 디스플레이 장치(16A) 및/또는 3D 광학 센서(14A, 14B)를 이동 및/또는 재-지향할 수 있은 로봇 포지셔닝 시스템(50)의 끝에 장착된다. 예를 들어, 로봇 포지셔닝 시스템(50)은 관절식 로봇 암, 일련의 선형 액추에이터, 관절 형 로봇 암 및 일련의 선형 액추에이터의 조합 등을 포함할 수 있다. 도 1a의 시스템(10)의 블록도에 명시적으로 도시되지는 않았지만, 시스템(10)의 IDU 디스플레이 장치(16) 및 3D 광학 센서(14)는 실질적으로 유사한 로봇 포지셔닝 시스템(50)의 끝에 장착될 수 있다. 도 1c의 시스템(210)에는 필요하지 않지만, 실질적으로 유사한 로봇 포지셔닝 시스템(50)은 추가적인 3D 광학 센서(들)(14), 즉 AR 헤드셋(40)에는 포함되지 않은 광학 센서(14)를 수용하거나 지지하기 위해 사용될 수 있다. 일부 실시예에서, 여기에서 기술된 임의의 시스템의 다른 구성요소들(예를 들어 시스템 제어기(30))는 로봇 포지셔닝 시스템(50) 상에서, 장착되거나 적절한 인클로저로 포함될 수 있지만, 이것이 필수적인 것은 아니다.
로봇 암(50)은 여기에 설명된 임의의 시스템의 구성요소가 로봇 조작기를 사용하여 조작될 수 있게 한다. 도 15는 특정 실시예에 따른 관절식 로봇 암(50)을 개략적으로 도시한다. 도 15의 실시예의 암(50)은 그 자체가 롤링 스탠드(52)에 장착된다. 이것은 반드시 필요한 것은 아니다. 일부 실시예에서, 암(50)은 벽, 천장 또는 고정식 바닥 장착부에 장착될 수 있다. 도 15의 예시된 실시예에서, 3D 광학 센서(14) 및 IDU 디스플레이 장치(16)는 암(50)의 단부(54)에 또는 그 근처에 적절히 장착된다. 로봇 암(50) 자체는, 여기에서 기술된 임의의 시스템에 의해 구현된 3D 제어 메뉴를 사용하여 제어될 수 있은 의료기기(12)의 구성요소일 수 있다.
로봇 암(50)은 OR(36) 내의 적절한 위치에 그 위에 장착된 구성요소의 자동 위치 결정(positioning)을 허용한다. 예를 들어, 로봇 암(50)은 수술대(22)의 표면(20) 위의 적절한 위치에 3D 광학 센서(14) 및/또는 IDU 디스플레이 장치(16)를 제어 가능하게 위치시킬 수 있다. 로봇 암(50)은 또한 여기서 설명된 시스템 또는 암(50)에 장착된 구성요소가 수술 중에 필요하지 않거나 요구되지 않을 때, 그 위에 장착된 구성요소를 벗어난 적절한 위치(예를 들어, 수술대(22)로부터 멀어지거나, 다른 의료기기(12)로부터 멀어지거나 및/또는 암(50)의 베이스 쪽으로)로 물러나도록 하는데 사용될 수 있다. 이렇게 물러나게 하는 기능은 다른 수술 장비를 위한 공간을 확보할 수 있게 한다.
도 15의 실시예에 도시된 로봇 암(50)은 피벗 조인트(56A, 56B)에 대해 2 자유도(2 DOF)를 갖는다. 모터 또는 다른 적합한 액츄에이터는 서로에 대해 및/또는 마운트(59)에 대해 대응하는 링크(58A, 58B)의 피봇 운동을 허용하기 위해 각각의 피봇 조인트(56A, 56B)에 장착될 수 있다. 여기에 기술된 로봇 암(10)은 많은 가능성 중 단 하나만을 표현한다. 다른 실시예에서, 추가적인 피봇 조인트 및/또는 병진 액추에이터(예를 들어, 선형 높이 조절 액추에이터)가 로봇 암(50)에 통합될 수 있다. 로봇 암(50)은 또한 IDU 디스플레이 장치(16) 및 3D 광학 센서(14)를 위한 인클로저의 운동을 용이하게 할 수 있는, 하나 이상의 추가 이동 조인트(57)를 포함할 수 있다. 예를 들어, 이러한 이동 가능한 조인트(57)는 IDU 디스플레이 장치(16) 및/또는 3D 광학 센서(14)의 요(yaw), 피치(pitch) 및/또는 롤(roll)의 조정을 허용할 수 있다.
로봇 암(50)은 광학 센서가 OR(36)에서 인간, 장비 등의 위치를 결정하기 위해 그 위에 장착된 3D 광학 센서(14)를 사용하여 OR(36)의 전부 또는 적절한 부분을 매핑하게 할 수 있다. OR(36)을 맵핑하는 것은 여러 가지 이유로 유용할 수 있다. 비 제한적인 예로서, 도 1B 시스템(110)의 C-암(12B)은 수술대(22) 및 그 위의 환자(24)에 대해 그 위에 장착된 의료 도구(예를 들어, 의료 이미징 도구)의 이동을 허용하는 제어 가능한 암이다. 그러나 이동 경로가 명확하지 않으면 C-암(12B)를 움직이면 위험하거나 파괴적일 수 있다. 로봇 암(50)(또는 다른 곳)에 장착된 광학 센서(14)를 사용하는 OR(36)을 맵핑하는 것은 C-암(12B)의 이동 경로가 인간 또는 다른 장비에 의해 방해받지 않도록 하는 데 유용할 수 있다. 일부 실시예에서, 시스템 제어기(30)는 로봇 암(50) 또는 다른 곳에 장착된 광학 센서(14)로부터 획득된 3D 광학 데이터를 사용하여 의료기기(12)의 특정 구성요소를 찾아내거나 및/또는 식별하여 여기에 기술된 임의의 시스템의 3D 제어 메뉴(17)에 의해 제어될 수 있게 한다. 의료기기(12)의 이러한 위치는 여기의 다른 곳에서 설명된 바와 같이 머리 추적을 위해 사용될 수 있다. 이러한 식별은 의료기기(12)의 형상을 사용하고 이러한 형상의 라이브러리를 센서(14)에 의해 획득된 3D 광학 데이터와 비교함으로써 이루어질 수 있다. 일부 실시예에서, 시스템 제어기(30)는 로봇 암(50) 또는 다른 곳에 장착된 광학 센서(14)로부터 획득된 3D 광학 데이터(예를 들어 점 클라우드)를 사용하여, OR(36) 내에서 이용 가능한 후보 투영면을 매핑해서, (이동 가능한 로봇 암(50)과의 조합에 의해) OR(36) 내의 의사(25)의 위치에 따라, IDU 이미지(18)가 상이한 투영면 상으로 투영될 수 있도록 한다. 예를 들어, 의사(25)가 수술대(22)에 근접해 있으면, 제어기(30)는 암(50)이 수술대(22) 위로 IDU 디스플레이 프로젝터(16)를 이동시키고 수술대(22)의 표면(20)으로 IDU 이미지(18)를 투영하게 할 수 있다. 의사(25)가 사이드 테이블(즉, 다른 후보 투영 표면)에 더 가까우면, 제어기(30)는 암(50)이 IDU 디스플레이 프로젝터(16)를 사이드 테이블 위로 이동시키고 IDU 이미지(18)를 사이드 테이블의 표면에 투영하게 할 수 있다.
● 머리 추적(Head Tracking)
상술한 바와 같이, 일부 실시예들에서 의사(25)의 머리(25B)의 위치 및 지향을 아는 것(또는 적어도 그 추정치를 얻는 것)이 바람직할 수 있다. 예를 들어, 이러한 의사 머리(25B) 위치 및 지향은 3D 제어 메뉴(17) 및 해당 IDU 이미지(18)를 선택하여 (시스템(210)에서) 의사(25)에게 표시될 수 있거나 및/또는 여기에 기술된 투영 보정 방법을 구현하는데 사용될 수 있다. 일부 실시예에서, 의사(25)의 머리(25B)의 위치 및/또는 지향에 관한 정보는 여기에 설명된 하나 이상의 광학 센서(14)에 의해 확인될 수 있다. 일부 실시예에서, 의사(25)의 머리(25B)의 위치는 상술한 하나 이상의 광학 센서(14)에 의해 확인될 수 있고 의사 머리(25B)의 지향은 그 위치로부터 추정될 수 있다. 일부 실시예에서, 하나 이상의 추가 3D 카메라 또는 지향 센서(예를 들어, 가속도계, 자이로스코프 등)가 의사의 머리(25B)의 위치 및/또는 지향을 결정하는데 사용될 수 있다. 일부 실시예에서, 여기의 다른 곳에서 설명된 것과 같은 시선 추적 테크닉은 머리 지향과 유사한 정보를 결정하는데 사용될 수 있다.
일부 실시예에서, 의사(25)에 대한 적당한 위치(들)에 장착된 하나 이상의 3D 광학 센서(들)는 전체 의사 머리(25B) 포즈(pose), 즉 위치 및 지향을 검출하는데 사용될 수 있다. 이러한 3D 광학 센서(들)는 3D 제어 메뉴(17)와의 사용자 상호작용을 검출하는데 사용되는 것과, 동일한 3D 광학 센서(14)일 수도 있고 그렇지 않을 수도 있다. 일부 실시예에서, 이 머리 포즈 감지 3D 광학 센서는 변조된 적외선을 사용하여 픽셀의 2D 어레이용 3D 위치를 감지하고 그에 해당하는 점 클라우드를 형성한다. 이러한 점 클라우드 데이터는 3D 머신 비전 방법으로 처리될 수 있으며,이를 통해 의사의 머리가 센서에 대해 식별되고 그 위치가 알아내어진다(localized). 머리 포즈를 식별하기 위한 머신 비전 방법의 적합한 비 제한적인 예는 2014년 유니버시티 오브 브리티쉬 콜롬비아(University of British Columbia) 발행의, 엔 지라크네자드(N. Ziraknejad)의, "정전 용량 어레이 및 TOF(time-of-flight) 카메라를 사용한 드라이버 머리 포즈 감지"에 기술되어 있고, 여기에 참고로 포함된다. 머리 포즈 감지 3D 광학 센서는 최대 수 미터의 검출 범위를 위해 조정될 수 있다. 일부 실시예들에서, 머리 포즈 감지 3D 광학 센서의 범위 내에 위치한 다수의 인간들이 검출되고 배경으로부터 파악될 수 있다. 또한, 주어진 인간을 시야 내의 다른 주변 인간들로부터 추적하고 구별할 수 있다. 일부 실시예에서, 3D 제어 메뉴(17)가 제공되는 한 명의 의사를 식별하기 위해 적절한 표지(indicia)가 사용될 수 있다. 이러한 표지는 머리 자세 감지 3D 광학 센서에 의해 검출될 수 있는 표지(예를 들어, 얼굴 인식 표지, 독특한 모양의 헤드웨어 등)를 포함할 수 있거나 그러한 표지가 착용 가능한 RFID 태그 및/또는 그와 유사한 것과 같은, 다른 표지를 포함할 수 있다.
시스템 제어기(30)는 머리 위치의 추정에 관여할 수 있거나 머리 위치가 시스템 제어기(30)에 전달될 수 있다. 시스템 제어기(30)는 3D 제어 메뉴(17) 및/또는 IDU 이미지(18)를, 원하는 사용자(예를 들어, 여기의 다른 곳에 기술된 의사(25)) 앞에 최적의 크기 및 위치로 배치할 수 있다. 또한, 머리 위치 추정은 시스템 제어기(30)가 의사의 머리(25B)로부터 IDU 이미지(18)의 위치까지의 벡터를 결정할 수 있게 한다. 예를 들어, 벡터는 (예를 들어 하나 이상의 광학 센서에 의해) 의사(25)의 한쪽 또는 양쪽 눈에서의 푸르킨예 반사(즉, 반짝임)를 검출함으로써 결정될 수 있다. 이 벡터는 의사 머리(25B)의 지향에 대한 프록시 또는 추정치를 제공할 수 있다. 일부 실시예들에서, IDU 디스플레이 장치(16)가 프로젝터를 포함하는 경우, 의사의 머리(25B)로부터 IDU 이미지(18)가 투영되는 투영면(20)까지의 벡터가 또한 계산될 수 있다. 이 벡터는 여기의 다른 곳에 기술된 투영 보정 방법에 사용될 수 있다. 정확한 벡터는 IDU 이미지(18)를 최적으로 보정하여 투영하게 한다.
추가로 또는 대안으로, 점 클라우드 데이터는 의사 머리(25B)의 지향을 추정하기 위해 분석될 수 있다. 3D 머신 비전 방법은 사용자의 코, 뺨 및/또는 다른 얼굴 구조의 특성을 감지하여 의사의 머리(25B)의 지향을 추정할 수 있다. 이러한 머신 비전 방법의 하나의 비 제한적인 예는 2014년 유니버시티 오브 브리티쉬 콜롬비아(University of British Columbia) 발행의, 엔 지라크네자드(N. Ziraknejad)의, "정전 용량 어레이 및 TOF(time-of-flight) 카메라를 사용한 드라이버 머리 포즈 감지"에 설명되어 있다. 의사 머리(25B)의 지향은 의사의 시선 방향의 프록시 또는 추정치로 사용될 수 있다. 이 과정에 기초하여, 의사 머리(25B)의 지향은 하나 이상의 3D 광학 센서를 사용하여 의사(25)의 시선을 추정하는데 사용될 수 있는데, 이러한 테크닉에 웨어러블은 필요하지 않다. 그러나, 일부 실시예에서, 하나 이상의 3D 광학 센서는 여기의 다른 곳에서 설명된 유형의 AR 헤드셋(40)에 통합될 수 있다. 일부 실시예에서, 예를 들어 PCT/CA2008/000987에 기술된 것과 같은, 다른 시선 추적 테크닉이 의사(25)의 시선을 직접 추정하는데 사용될 수 있다. 이러한 시선 추적 테크닉은 AR 헤드셋(40)에서 구현될 수 있거나 OR(36) 내에 적절히 장착될 수 있는 별개의 구성요소를 사용하여 구현될 수 있다. 이러한 설명은 의사(25)의 시선을 추정하기 위한 다수의 예시적인 테크닉을 제공하지만, 현재 알려져 있거나 후에 알려질 수 있는 다른 적합한 시선 추정 테크닉도 본 발명의 다양한 실시예에 따라 사용될 수 있다는 점이 이해되어야 한다. 이러한 시선 추정 테크닉은 2D 및 3D 광학 센서, AR 헤드셋의 지향 센서, 가속도계, 자이로스코프 등을 포함하지만 이에 제한되지 않는 임의의 적합한 유형의 센서로부터의 데이터에 기초할 수 있다.
상술한 바와 같이, 시선 정보는 OR(36) 내에서 의료기기(12)의 특정 구성요소의 위치(또는 그 제어 모듈(32)의 위치)와 매칭될 수 있다. 의사(25)의 시선(즉, 시선 방향)이 제어 가능한 의료기기(12)의 일부의 임계 공간 영역 내로 (또는 그 제어 모듈(32)로 또는 3D 제어 메뉴(17)가 미리 고정되거나 의사(25)에 의해 임의적으로 위치되어진 곳으로) 지향되면, 여기에 설명된 임의의 시스템은 대응하는 3D 제어 메뉴(17)를 활성화시키고, 주어진 의료기기(12)를 제어하기에 적합한 대응하는 IDU 이미지(18)를 표시한다. 추정된 시선 정보 및 제어 가능한 의료기기(12)의 대응하는 구성요소에 (또는 대응하는 제어 모듈(32)에) 기초하여, 의사(25)에게 제시된 3D 제어 메뉴(17) 및 대응하는 IDU 이미지(18)는, 의사(25)가 바라보고 있는 제어 가능한 의료기기(12)의 구성요소에 해당하는 맞춤형(custom) 메뉴 항목(19)을 제시할 수 있다. 이는 의사(25)가 바라보고 있는 의료기기의 구성요소에 따라, 맞춤형 3D 제어 메뉴(17) 및 대응하는 맞춤형 메뉴 항목 세트(19) 및 대응하는 맞춤형 IDU 이미지(18)를 의미할 수 있다. 상술한 바와 같이, 의료기기(12)의 구성요소 및/또는 의료기기(12)의 구성요소 자체에 대응하는 제어 모듈(32)은, 여기에 설명된 IDU 디스플레이(16)로서 작용할 수 있고 맞춤형 3D 제어 메뉴(17) 및 대응하는 맞춤형 IDU 이미지(18)를 표시할 수 있는 물리적 디스플레이를 포함할 수 있다.
예를 들어, 시스템 제어기(30)가 의사(25)의 시선이 의료 이미지 표시(12D)를 지향하고 있다고 판단하면(도 1b 및 1c 참조), 제어기(30)는 (의료 이미지 디스플레이(12D)를 제어하는데 특화된) 특화된 3D 제어 메뉴(17) 및 해당하는 특화된 IDU 이미지(18)을 표시하도록 선택할 수 있다. 일부 실시예에서, 의사(25)가 그러한 3D 제어 메뉴(17) 및 IDU 이미지(18)가 제시되도록 할지 여부를 선택할 수 있도록, 각각의 3D 제어 메뉴(17) 및 IDU 이미지(18)에 대해 토글이 제공될 수 있다. 일부 실시예에서, 시스템 제어기(30)는 임의의 3D 제어 메뉴(17)를 표시하지 않도록 선택할 수 있다. 예를 들어, 시스템 제어기(30)는 의사(25)의 머리(25B)가 수술되고 있는 신체 부위를 향할 때 임의의 3D 제어 메뉴(17)를 표시하지 않도록 선택할 수 있다.
이 프로세스를 단순화하기 위해, 특정 사용자 시선(즉, 시선 방향) 영역이 정의되고 대응하는 3D 제어 메뉴(17)를 활성화하는데 이용될 수 있다. 예를 들어, 의사 머리 지향의 요(yaw)는 45°- 135° 범위에서 예측 가능하게 계산될 수 있는데, 여기서 90°는 의사(25)의 시선이 수술대(22)의 긴 치수에 실질적으로 직각인 방향으로 직접 쳐다보고 있는 경우이다. 이 범위는 3 개의 섹션(45° - 75°, 75° - 105°, 105° - 135°)으로 분할되어, 의료기기(12)(또는 그들의 제어 모듈(32))의 상이한 구성요소에 대응할 수 있는 상이한 3D 제어 메뉴(17)의 활성화를 위한 별개의 영역을 나타내도록 한다.
● 사용자 감지 및 추적 방법(Methods for User Detection and Tracking)
의사(25)(또는 의사(25)의 신체의 일부)를 추적하기 위한 제1테크닉은 2014년 유니버시티 오브 브리티쉬 콜롬비아(University of British Columbia) 발행의, 엔 지라크네자드(N. Ziraknejad)의, "정전 용량 어레이 및 TOF(time-of-flight) 카메라를 사용한 드라이버 머리 포즈 감지"에 기술되어 있다. 이 방법은 뚜렷한 곡률 특성을 가진 얼굴 특징인 인간 코의 3D 감지를 기반으로 한다. 표준 클러스터링 및 필터링 테크닉을 사용하여 사용자의 머리를 먼저 파악함으로써, 고유한 HK 곡률 분석을 수행하여 표면 피크 및 트로프(troughs)를 국한시켜 코의 끝과 (코 기저부에서) 눈 사이의 지점을 찾아낸다. 그런 다음 사후 처리는 머리 점 클라우드(head point cloud)의 중심(centroid) 뿐만 아니라 이 두 위치를 기반으로 얼굴 좌표 프레임을 구성한다. 그런 다음 표준 기하학적 접근 방식을 통해 얼굴 좌표 프레임과 카메라 좌표 프레임을 비교하여 사용자의 머리 지향(특히 피치(pitch) 및 요(yaw))을 결정할 수 있다. 이 방법은 의사(25)에 특수 마커 또는 웨어러블 아이템을 사용하지 않고도 의사의 전체 머리 포즈를 확고하게 결정할 수 있다. 의사 머리 지향 벡터는 여기의 다른 곳에서 기술된 바와 같이 의사 시선 추정치로서 사용될 수 있다.
의사 머리(25B)를 식별하고 추적하기 위한 다른 예는 의사 눈의 식별을 포함한다. 눈은 표준 2D 광학 센서를 사용하여 감지할 수 있은 일반적인 특징이다. 눈의 반사성(예: 푸르킨예 반사 또는 반짝임), 홍채 감지에 의해 식별하거나 그 모양으로 식별할 수 있다. 눈에 대한 3D 위치를 결정하기 위해 하나 이상의 정렬된 3D 광학 센서가 사용될 수 있다. 2D 및 3D 광학 센서의 FOV(field-of-view)가 적절하게 매핑된다면, 눈 탐지를 위한 일반적인 2D 검출 방법 및 3D 데이터에 대한 매핑이 의사 식별 및 추적을 위해 사용될 수 있다.
의사의 머리 위치를 식별하고 추적하기 위해 인간 머리의 다양한 추가 특징이 또한 검출될 수 있다. 이러한 특징의 예로는 눈썹 융기, 턱, 뺨 및 입술이 있다. 이러한 특징들 각각은 분석될 수 있는 고유하고 일반화된 곡률 특성을 갖는다. 이러한 방법은 복수의 상기 특징의 조합의 검출을 포함하여, 식별 및 추적을 위한 확고한 방법을 제공할 수 있다.
다른 방법은 의사의 상체를 식별하고 추적하기 위해 광학 센서 정보를 분석하는데 사용될 수 있다. 이러한 방법 중 일부는 의사의 머리, 목 및/또는 어깨 모양을 감지하는 것을 포함할 수 있다. 실제로, 2D 광학 센서는 이러한 목적으로 이용될 수 있고 3D 광학 센서와 정렬되어 상기 눈 검출 예와 유사한 3D 좌표 데이터를 결정할 수 있다. 그러나 잘 필터링된 3D 점 클라우드는 이 목적으로 충분하다. 인간 머리의 전형적인 모양은 알려져 있으며, 3D 광학 센서의 FOV(field of view) 내의 수 많은 점 클라우드 클러스터에서 해독될 수 있다. 노이즈를 제거하고 유클리드(또는 다른 적절한) 클러스터링 방법(근접성과 밀도에 따라 점 클라우드에서 점을 그룹화함)을 사용함으로써 인간의 머리, 목 및/또는 어깨의 윤곽 모양에 대해 더 큰 클러스터를 평가할 수 있다.
3D 점 클라우드에 기초하여 의사 식별 및 추적에 사용될 수 있는 다른 예시적인 테크닉은 이전 실시예에서 설명된 바와 같이 점 클라우드를 필터링 및 클러스터링하는 단계를 포함한다. 가장 높은 클러스터는 의사 머리로서 식별될 수 있다. 이러한 클러스터의 중심(평균 위치)은 의사 관점의 3D 위치를 생성하도록 계산될 수 있다. 중심 계산의 대안은 유클리드 거리가 가장 큰 점을 3D 점 클러스터의 가장자리까지 해독하는 것이다.
● 사용자 식별 방법(Methods for User Identification)
전형적인 OR(36)에는 하나 이상의 인간이 있을 것이다. 일부 실시예들에서, 여기에 설명된 시스템들을 제어하는 한 명의 그러한 인간(제어 의사(25))를 식별하는 것이 바람직할 수 있다.
일부 실시예들에서, 3D 광학 센서(들)(14)에 가장 근접하거나 OR(36)의 다른 기준점에 가장 가까운 인간이 제어 의사(25)로 선택될 수 있다. 모든 가시적 인간의 3D 위치는 기준점과 기준점까지의 최소 거리에 위치한 인간이 제어 의사(25)가 되도록 선택 될 수 있다.
일부 실시예들에서, 복수의 오디오 마이크로폰들이 제어 의사(25)를 식별하기 위해 배열되고 이용될 수 있다. 키워드를 청취함으로써, 그러한 마이크로폰들로부터의 정보는 제어 의사(25)를 국한시키기 위해 전통적인 트라이앵귤레이션 테크닉들을 사용할 수 있다. 각 마이크로폰은 입력 오디오 크기/진폭을 감지할 것이다. 공지된 마이크로폰의 상대적 배치 및 크기 값에 기초하여, 제어 의사(25)의 3D 위치가 트라이앵귤레이션될 수 있다. 이러한 테크닉을 3D 사운드 국한화(3D sound localization) 방법이라고 한다.
기준 마커(fiducial markers)는 적절한 수술복 위에 (예를 들어, 머리 기어 위에, 수술용 스크럽 숄더 위에 및/또는 이와 유사한 것 위에) 배치되어 OR(36) 내의 관련된 인간을 검출하고 식별할 수 있다. 이러한 마커 간의 차이에 기초하여, OR 내의 한 인간이 제어 의사(25)로 식별될 수 있다. 비 제한적인 예로서, 이러한 마커는 광학(예: 적외선)-반사 마커, 전자기(예: RFID) 태그 및/또는 광학 센서 또는 전자기 센서에 의해 검출될 수 있은 다른 표시기(indicator)를 포함할 수 있으며, 3D 또는 2D 광학 센서로 이러한 마커를 검출할 수 있도록 수술복의 외부 표면에 배치될 수 있다. 이러한 마커의 배열 또는 상대적 배치를 식별하여 고유의 사용자를 실시간으로 식별할 수도 있다.
일부 실시예들에서, 제어 의사(25)는 특정 손 제스처, 예를 들어 3D 광학 센서(14)의 뷰(view) 내에서 웨이브 또는 손가락의 상대적 배치를 수행함으로써 자신을 제어 의사로 식별할 수 있다. 장면 내에서 다양한 3D 점 클러스터를 식별함으로써(또는 최근접 클러스터만 파악함으로써), 새로운 제어 의사(25)로 제어를 변경하기 위해 특정 모양에 대한 점을 분석할 수 있다.
얼굴 검출 및 식별을 위한 많은 방법이 존재한다. 여기에 기술된 임의의 시스템은 이들 얼굴 인식 테크닉 중 하나 이상을 이용하여, 제어 의사(25)를 식별하는 것을 포함하여, 인간 얼굴을 검출할 뿐만 아니라 작업공간에서 고유의 알려진 사용자를 식별할 수 있다. 2D 광학 센서로 검출된 인간 얼굴이 3D 광학 센서의 출력과 정렬되어, 제어 의사(25)를 3D로 찾을 수 있다. 또한 특정 사용자(예: 외과 의사)는 승인된 제어 의사(25)로 분류될 수 있고 다른 특정 사용자는 문제해결(troubleshoot) 사용자(예: 간호사)로 분류될 수 있다.
다른 센서-기반 방법이 또한 특정 인간이 제어 의사(25)가 되고 시스템의 제어를 가정하도록 하기 위해 이용될 수 있다. 예를 들어, 용량성 센서와 같은 저 근접 센서는 제어 의사(25)를 식별하기 위해 인간의 특정 제스처 명령을 감지할 수 있다. 이러한 실시예에서, 시스템 또는 3D 광학 센서(14)에 대한 용량성 센서의 3D 위치를 시스템의 월드 좌표 프레임 내에서 제어 의사의 3D 위치를 등록하도록 알려지는 것이 바람직하다. 다른 실시예에서, 제어 의사(25)는 음성 인식, 신체 스캔 인식, 망막 스캔 등을 통해 식별될 수 있다.
● 용어 해석(Interpretation of Terms)
문맥이 달리 명확하게 요구하지 않는 한, 상세한 설명 및 청구범위 전반에 걸쳐:
- "포함하다", "포함하는" 등은 배타적이거나 철저한 의미가 아니라 포괄적 의미로 해석되어야 한다. 다르게는, "포함하지만 이에 제한되지 않는"의 의미로 해석되어야 한다;
- "연결된", "결합된" 또는 그 변형은 둘 이상의 요소 사이의 직접 또는 간접적인 연결 또는 결합을 의미한다. 요소들 사이의 연결 또는 결합은 물리적, 논리적 또는 이들의 조합일 수 있다;
- 본 명세서를 설명하는 데 사용될 때 "여기", "위", "아래" 및 유사한 이입 단어는 본 명세서의 특정 부분이 아닌 본 명세서 전체를 지칭한다.
- "또는"은 두 개 이상의 항목 목록과 관련하여 다음 단어 해석을 모두 포함한다: 리스트 내의 모든 항목, 리스트 내의 항목들의 임의의 조합;
- 단수 형태 "a", "an" 및 "the"는 또한 적절한 복수 형태의 의미를 포함한다.
본 상세한 설명 및 첨부한 청구범위에 사용된 (존재하는), "수직으로(vertical)", "횡방향으로(transverse)", "수평으로(horizontal)", "상향(upward)", "하향(downward)", "앞으로(forward)", "뒤로(backward)", "내부로(inward)", "외부로(outward)", "수직으로(vertical)", "횡방향으로(transverse)", "왼쪽으로(left)", "오른쪽으로(right)", "앞쪽으로(front)", "뒤쪽으로(back)", "최상위(top)", "최하위(bottom)", "아래에(below)", "위에(above)", "밑에(under)" 등과 같이 방향을 가리키는 단어들은 기술되고 도시된 장치의 특정 방향에 의존한다. 여기에 기술된 개념은 다양한 대안적인 방향을 가정할 수 있다. 따라서, 문맥이 달리 지시하지 않는 한, 이들 방향 용어는 엄격하게 정의되지 않으며 좁게 해석되어서는 않 된다.
본 발명의 실시예는, 데이터 프로세서, 특수 목적 컴퓨터 또는 데이터 프로세서상에서 실행될 수 있는 소프트웨어(선택적으로 "펌웨어"를 포함할 수 있음)의 제공에 의해 구성되는 특별히 설계된 하드웨어(specifically designed hardware), 상대적으로 배치 가능한 하드웨어(configurable hardware), 프로그램 가능한 데이터 프로세서(programmable data processor)를 사용하여 구현되어, 여기에서 상세히 설명된 바와 같은 방법의 하나 이상의 단계 및/또는 이들 중 둘 이상의 조합을 수행하도록 특별히 프로그래밍되거나, 상대적으로 배치 또는 구성될 수 있다. 특별히 설계된 하드웨어의 예는 논리 회로, 주문형 집적 회로("ASIC"), 대규모 집적 회로("LSI"), 매우 큰 규모의 집적 회로("VLSI") 등이다. 상대적으로 배치 가능한 하드웨어의 예로는 프로그래머블 어레이 로직("PAL"), 프로그래머블 로직 어레이("PLA") 및 필드 프로그래머블 게이트 어레이("FPGA")와 같은 하나 이상의 프로그래머블 로직 장치가 있다. 프로그램 가능한 데이터 프로세서의 예는 마이크로 프로세서, 디지털 신호 프로세서("DSP"), 임베디드 프로세서, 그래픽 프로세서, 매스 코-프로세서(math co-processor), 범용 컴퓨터, 서버 컴퓨터, 클라우드 컴퓨터, 메인프레임 컴퓨터, 컴퓨터 워크스테이션 등이다. 예를 들어, 장치에 대한 제어 회로에서 하나 이상의 데이터 프로세서는 프로세서에 액세스 가능한 프로그램 메모리에서 소프트웨어 명령을 실행함으로써 여기에 기술된 바와 같은 방법을 구현할 수 있다.
중앙 집중식 또는 분산 처리가 가능하다. 프로세싱이 분배되는 경우, 소프트웨어 및/또는 데이터를 포함하는 정보는 중앙에서 유지되거나 분배될 수 있다. 이러한 정보는 근거리 통신망(LAN), 광역 통신망(WAN) 또는 인터넷, 유선 또는 무선 데이터 링크, 전자기 신호 또는 기타 데이터 통신 채널과 같은 통신 네트워크를 통해 서로 다른 기능 유닛 간에 교환될 수 있다.
예를 들어, 프로세스 또는 블록이 주어진 순서로 제시되지만, 대안적인 예는 단계를 갖는 루틴을 수행하거나, 또는 다른 순서로 블록을 갖는 시스템을 채용할 수 있고, 일부 프로세스 또는 블록은 삭제, 이동, 추가, 세분, 조합 및/또는 수정되어 대체 또는 하위 조합을 제공할 수도 있다. 이들 프로세스 또는 블록 각각은 다양한 상이한 방식으로 구현될 수 있다. 또한, 프로세스 또는 블록은 때때로 직렬로 수행되는 것으로 도시되어 있지만, 이들 프로세스 또는 블록은 대신 병렬로 수행될 수 있거나, 상이한 시간에 수행될 수 있다.
또한, 요소들은 때때로 순차적으로 수행되는 것으로 도시되어 있지만, 이와 달리 동시에 또는 서로 다른 순서로 수행될 수 있다. 따라서, 다음의 청구 범위는 의도된 범위 내에 있는 모든 그러한 변형을 포함하는 것으로 해석되어야 한다.
소프트웨어 및 다른 모듈은 서버, 워크스테이션, 개인용 컴퓨터, 태블릿 컴퓨터, 이미지 데이터 인코더, 이미지 데이터 디코더, PDA, 컬러 그레이딩 툴, 비디오 프로젝터, 시청각 수신기, 디스플레이(예: 텔레비전), 디지털 시네마 프로젝터, 미디어 플레이어 및 여기에 기술된 목적에 적합한 다른 장치에 깔릴 수 있다. 관련 분야의 통상의 기술자는 시스템의 양태가 다음을 포함하는 다른 통신, 데이터 처리 또는 컴퓨터 시스템 상대적 배치로로 실시될 수 있음을 이해할 것이다: 인터넷 어플라이언스, 핸드 헬드 장치(개인 휴대 정보 단말기(PDA) 포함), 웨어러블 컴퓨터, 모든 방식의 셀룰러 또는 휴대 전화, 멀티 프로세서 시스템, 마이크로 프로세서 기반 또는 프로그램 가능한 소비자 전자 제품(예: 비디오 프로젝터, 시청각 수신기, 텔레비전 등과 같은 디스플레이), 셋톱 박스, 컬러 그레이딩 툴, 네트워크 PC, 미니 컴퓨터, 메인프레임 컴퓨터 등.
본 발명은 또한 프로그램 제품의 형태로 제공될 수 있다. 프로그램 제품은 데이터 프로세서에 의해 실행될 때 데이터 프로세서로 하여금 본 발명의 방법을 실행하게 하는 컴퓨터 판독 가능 명령 세트를 운반하는 임의의 비 일시적 매체를 포함할 수 있다. 본 발명에 따른 프로그램 제품은 다양한 형태일 수 있다. 프로그램 제품은, 예를 들어 플로피 디스켓을 포함하는 자기 데이터 저장 매체, 하드 디스크 드라이브, CD ROM을 포함하는 광학 데이터 저장 매체, DVD, ROM을 포함하는 전자 데이터 저장 매체, 플래시 RAM, EPROM, 하드와이어된(hardwired) 또는 미리 프로그램된(preprogrammed) 칩(예를 들어, EEPROM 반도체 칩), 나노 테크놀로지 메모리 등과 같은 비 일시적 매체를 포함할 수 있다. 프로그램 제품 상의 컴퓨터 판독 가능 신호는 선택적으로 압축 또는 암호화될 수 있다.
일부 실시예들에서, 본 발명은 소프트웨어에서 전체적으로 또는 부분적으로 구현될 수 있다. 보다 명확하게 하기 위해, "소프트웨어"는 프로세서상에서 실행되는 임의의 명령을 포함하고, 펌웨어, 레지던트 소프트웨어, 마이크로코드 등을 포함할 수 있다(하지만 이들로 제한되지는 않음). 처리 하드웨어 및 소프트웨어는 모두 당업자에게 공지된 바와 같이 전체적으로 또는 부분적으로 집중되거나 분산될 수 있다(또는 이들의 조합일 수 있음). 예를 들어, 소프트웨어 및 다른 모듈은 로컬 메모리를 통해, 네트워크를 통해, 분산 컴퓨팅 컨텍스트에서 브라우저 또는 다른 애플리케이션을 통해, 또는 전술한 목적에 적합한 다른 수단을 통해 액세스할 수 있다.
구성요소(예를 들어, 소프트웨어 모듈, 프로세서, 어셈블리, 장치, 회로 등)가 위에서 언급된 경우, 달리 지시되지 않는 한, 그 구성요소에 대한 참조("수단"에 대한 참조 포함)는, 설명된 구성요소의 기능을 수행하는 임의의 구성요소(즉, 기능적으로 균등임)를 그 구성요소의 균등물로서 포함하고, 본 발명의 예시적인 실시예에서의 기능을 수행하는 개시된 구조와 구조적으로 균등하지 않은 구성요소를 포함하는 것으로 해석되어야 한다.
시스템, 방법 및 장치의 특정 예는 예시의 목적으로 여기에서 설명되었다. 이것들은 단지 예일 뿐이다. 여기에 제공된 기술은 전술한 예시적인 시스템 이외의 시스템에 적용될 수 있다. 본 발명의 실시 내에서 많은 변경, 수정, 추가, 생략 및 치환이 가능하다. 본 발명은 특징, 요소 및/또는 행위를 동등한 특징, 요소 및/또는 행위로 대체하는 것; 상이한 실시예로부터의 특징, 요소 및/또는 작용의 혼합 및 매칭; 여기에 기술된 실시예들로부터의 특징들, 요소들 및/또는 동작들을 다른 기술의 특징들, 요소들 및/또는 동작들과 결합하는 것; 및/또는 설명된 실시예들로부터 특징들, 요소들 및/또는 동작들을 결합하는 것을 생략할 수 있다.
예를 들어:
- 일부 실시예들에서, 제1 "최상위 레벨(top level)" 3D 제어 메뉴(17) 및 대응하는 "최상위 레벨" IDU 이미지(18)는 의사(25)에게 제시될 수 있다. 이 최상위 레벨 3D 제어 메뉴(17)는 메뉴 항목(19)을 포함 할 수 있고, 여기서 각 메뉴 항목이 제어 가능한 의료기기(12)의 다양한 구성요소 중 특정의 하나에 대응한다. 의사(25)가 최상위 레벨 3D 제어 메뉴(17)로부터 메뉴 항목(19) 중 하나를 선택할 때, 선택된 의료기기(12)의 구성요소에 해당하는, 하위 3D 제어 메뉴(17) 및 대응하는 IDU 이미지(18)가 의사(25)에게 제출될 수 있다. 예를 들어, 최상위 레벨 3D 제어 메뉴(17)는 의사가 수술용 램프(12A) 및 수술대(22)에 대응하는 메뉴 항목(19) 중에서 선택하도록 허용할 수 있다. 의사(25)가 수술용 램프(12A)에 대응하는 최상위 레벨 메뉴 항목(19)을 선택하는 경우에 이어서, 시스템은 수술용 램프(12A)에 특화된 하위 3D 제어 메뉴(17) 및 대응하는 IDU 이미지(18)를 제시할 수 있다. 이 하위 3D 제어 메뉴(17)는 수술용 램프(12A)의 제어에 특화된 밝기 레벨, 포커스 레벨, 광 방향 및/또는 그와 유사한 것과 같은 메뉴 항목(19)을 포함할 수 있다.
- 일부 실시예들에서, 시스템 제어기(30)는 OR(36)에서 임의의 제어 가능한 의료기기(12)의 제어 모듈들(32)과 통신하도록 구성될 수 있다. 시스템 제어기(30)는 (시동시 및/또는 때때로) 임의의 제어모듈들(32)와 핸드쉐이킹 루틴(handshaking routine)을 수행하여 OR(36) 내에 있는 의료기기(12)를 식별할 수 있다. 시스템 제어기(30)는, 이러한 핸드쉐이킹 절차의 결과에 기초하여 OR(36) 내에 존재하거나 존재하지 않는 의료기기(12)에 기초하도록, 하나 이상의 제어 메뉴(17)(예를 들어 "최상위 레벨" 제어 메뉴) 및/또는 하나 이상의 대응하는 IDU 이미지(18) (예를 들어 "최상위"IDU 이미지)를 조정할 수 있다.
- 제어 모듈(32)은 여기에서 의료기기(12)를 제어할 수 있은 것으로 기술되어 있다. 문맥이 달리 지시하지 않는 한, 제어라는 용어는 그러한 의료기기의 위치를 설정하거나 상대적으로 배치하는 것을 포함할 정도로 충분히 넓어야 한다. 예를 들어, C-암(12B) 또는 수술용 광(12A)을 제어하는 것은 임의의 C-암의 제어 가능한 액추에이터를 사용하여 C-암(12B)의 위치를 설정하는 것 및/또는 임의의 이용 가능한 액추에이터를 사용하여 수술용 램프(12A)를 위치를 설정하는 것을 포함하는 것으로 이해되어야 한다.
- 의사 머리(25B)의 위치 및 지향 및/또는 의사가 응시하는 시선은 3D 제어 메뉴(17)와 독립적으로 상호작용하지 않고 수술용 램프(12A)를 제어하는데 사용될 수 있다. 예를 들어, 시스템 제어기(30)는 의사 머리(25B)의 위치 및 지향 및/또는 의사가 응시하는 시선에 기초한 정보(예를 들어, 벡터)에 액세스하여, 하나 이상의 수술용 램프(12A)를 제어하여 이 벡터가 수술대(22) 또는 OR(36) 내의 다른 일부 표면와 교차하는 위치를 향하여 빛을 향하게 할 수 있다.
따라서, 다음의 첨부된 청구항 및 이후에 도입되는 청구항은 합리적으로 추론될 수 있은 모든 그러한 수정, 치환, 추가, 생략 및 하위 조합을 포함하는 것으로 해석되는 것으로 의도된다. 청구항의 범위는 실시예에서 제시된 바람직한 실시예에 의해 제한되지 않아야 하고, 그 설명 전체와 일치하는 가장 넓은 해석이 제공되어야 한다.

Claims (80)

  1. 수술실에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 방법으로서,
    메뉴 항목에 대응하는 체적 공간 영역(volumetric spatial region) 내에서 의사가 행한 하나 이상의 제스처에 의해 의사에 의해 선택 가능한 복수의 메뉴 항목을 포함하는 3차원 제어 메뉴를 제공하고;
    IDU(Interaction Display Unit) 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지(indicia)를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하고;
    의사의 시선을 추정하고;
    추정된 시선이 제1의료기기장치 주위의 제1공간 범위 내로 향할 때, 의사가 제1의료기기장치를 바라보고 있다고 결정하되, 의사가 제1의료기기장치를 바라보고 있다고 결정한 후에,
    3차원 제어 메뉴를 제공하는 것은, 선택될 때, 제1의료기기장치에 대응하는 동작 명령을 전달하여 제1의료기기장치의 동작을 제어하도록, 제1장치에 특화된 메뉴 항목을 포함하는 제1장치에 특화된 3차원 제어 메뉴를 제공하고,
    3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하는 것은, 제1장치에 특화된 메뉴 항목에 대응하는 그래픽 또는 텍스트를 포함하는 제1장치에 특화된 IDU 이미지를 표시하는; 것을 포함하는 방법.
  2. 제1항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    추정된 시선이 제1의료기기장치와 상이한 제2의료기기장치 주위의 제2공간 범위 내로 향할 때, 의사가 제2의료기기장치를 바라보고 있다고 결정하되, 의사가 제2의료기기장치를 바라보고 있다고 결정한 후에,
    3차원 제어 메뉴를 제공하는 것은, 선택될 때, 제2의료기기장치에 대응하는 동작 명령을 전달하여 제2의료기기장치의 동작을 제어하도록, 제1장치에 특화된 메뉴 항목과 상이한 제2장치에 특화된 메뉴 항목을 포함하는 제2장치에 특화된 3차원 제어 메뉴를 제공하고,
    3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하는 것은, 제2장치에 특화된 메뉴 항목에 대응하는 그래픽 또는 텍스트를 포함하는 제2장치에 특화된 IDU 이미지를 표시하는 것을 포함하는 방법.
  3. 제1항 내지 제2항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    의사 시선을 추정하는 것은, 의사 머리의 위치 및 방향을 추정하고 의사 시선이, 시선 벡터와 나란한지를 추정하되, 시선 벡터의 시작은 의사 머리의 추정된 위치에 기초하고 시선 벡터의 방향은 의사 머리의 추정된 방향에 기초하는 방법.
  4. 제3항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    의사 머리의 위치 및 방향을 추정하는 것은, 하나 이상의 광학 센서로부터 획득된 데이터에 적어도 부분적으로 기초하는 방법.
  5. 제4항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    하나 이상의 광학 센서는 하나 이상의 3D 광학 센서를 포함하는 방법.
  6. 제4항 및 제5항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    하나 이상의 광학 센서가 하나 이상의 2D 광학 센서를 포함하는 방법.
  7. 제1항 내지 제2항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    의사 시선을 추정하는 것은, 시선이, 시선 벡터와 나란한지를 추정하되, 시선 벡터는 하나 이상의 의사의 눈에서 푸르킨예(Purkinje) 반사를 검출한 것에 기초하는 방법.
  8. 제7항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    하나 이상의 의사의 눈에서 푸르킨예 반사를 검출하는 것은, 하나 이상의 광학 센서로부터 획득된 데이터에 적어도 부분적으로 기초하는 방법.
  9. 제1항 내지 제8항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 의사는 증강 현실 헤드셋을 착용하고, 상기 3차원 제어 메뉴에 대응하는 상기 IDU 이미지를 표시하는 것은, IDU 이미지를 증강 현실 헤드셋으로부터 의사의 눈 중 하나 또는 둘 다로 투영함으로써, 상기 가상 IDU 이미지를 의사에게 표시하는 것을 포함하는 방법.
  10. 제1항 내지 제8항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 제1장치에 특화된 IDU 이미지를 표시하는 것은, 상기 제1장치에 특화된 IDU 이미지를 제1물리적 디스플레이 상에 표시하는 것을 포함하고, 상기 제1물리적 디스플레이는, 제1의료기기장치의 일부; 제1의료기기장치에 동작 명령을 제공하도록 연결된 제1제어 모듈의 일부; 중 적어도 하나인 방법.
  11. 제10항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 제2장치에 특화된 IDU 이미지를 표시하는 것은, 상기 제2장치에 특화된 IDU 이미지를 제2물리적 디스플레이 상에 표시하는 것을 포함하고, 상기 제2물리적 디스플레이는, 상기 제2의료기기장치의 일부; 제2의료기기장치에 동작 명령을 제공하도록 연결된 제2제어 모듈의 일부; 중 적어도 하나를 포함하는 방법.
  12. 제1항 내지 제11항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    수술실에서 하나 이상의 다른 인간들 중에서 상기 의사를 제어하는 의사로 식별하는 것을 포함하고, 상기 의사를 제어하는 의사로 식별하는 것은, 상기 의사가 기준 위치에 가장 가까운 인간이라고 판단하는 것; 상기 의사와 관련된 하나 이상의 기준 마커를 식별하는 것; 상기 의사에 대한 얼굴 인식 방법을 수행하는 것; 상기 의사에 의해 수행된 하나 이상의 제스처를 식별하는 것; 상기 의사에 대해 음성 인식 방법을 수행하는 것; 상기 의사에 대해 체형 인식 방법을 수행하는 것; 및 상기 의사에 대한 망막 스캔을 수행하는 것; 중에서 적어도 하나를 포함하는 방법.
  13. 제1항 내지 제12항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 제1의료기기장치는 환자의 의료 이미지를 표시하기 위한 의료 이미지 디스플레이 장치를 포함하고, 상기 동작 명령은, 상기 의료 이미지 디스플레이 장치에게 의료 이미지 디스플레이 장치에 표시된 의료 이미지를 변경하는 것과, 의료 이미지 디스플레이 장치에 표시된 의료 이미지 특성을 변경하는 것 중 하나 이상을 수행하도록 명령하는 것을 포함하는 방법.
  14. 제1항 내지 제13항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 IDU 이미지는 환자에 대응하는 의료 이미지 데이터를 포함하는 방법.
  15. 수술실에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 시스템으로서,
    센서의 감지 체적(sensing volume) 내에서 의사에 의해 만들어진 하나 이상의 제스처를 검출하기 위해 연결된 3D 광학 센서;
    3D 광학 센서로부터 3D 광학 데이터를 수신하도록 연결되고 3차원 제어 메뉴를 제공하도록 구성된 제어기로서, 3차원 제어 메뉴는 복수의 메뉴 항목을 포함하며, 각 메뉴 항목은, 메뉴 항목에 대응하고 3D 광학 데이터에 기초하여 제어기에 의해 검출되는 체적 공간 영역 내에서, 의사에 의해 만들어진 하나 이상의 제스처에 의해 의사에 의해 선택 가능한, 제어기;
    IDU 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지(indicia)를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하기 위한 IDU 디스플레이;를 포함하며,
    제어기는 하나 이상의 센서로부터의 입력에 기초하여, 의사의 시선을 추정하도록 추가로 구성되고;
    추정된 시선이 제1의료기기장치 주위의 제1공간 범위 내로 향할 때, 제어기는 의사가 제1의료기기장치를 바라 보고 있다고 결정하도록 구성되되, 의사가 제1의료기기장치를 바라보고 있다고 결정한 후에,
    제어기는,
    선택될 때, 제1의료기기장치의 동작을 제어하기 위해 대응하는 동작 명령을 제1의료기기장치에 전달하는, 제1장치에 특화된 메뉴 항목을 포함하는 제1장치에 특화된 3차원 제어 메뉴를 제공하고;
    IDU 디스플레이가 제1장치에 특화된 메뉴 항목에 대응하는 그래픽 또는 텍스트를 포함하는 제1장치에 특화된 IDU 이미지를 표시하도록; 구성되는 시스템.
  16. 제15항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    추정된 시선이 제1의료기기장치와 상이한 제2의료기기장치 주위의 제2공간 범위 내로 향할 때, 제어기는 의사가 제2의료기기장치를 바라보고 있다고 결정하도록 구성되되, 의사가 제2의료기기장치를 바라보고 있다고 결정한 후에,
    제어기는,
    선택될 때, 제2의료기기장치의 동작을 제어하기 위해 대응하는 동작 명령을 제2의료기기장치에 전달하는, 제1장치에 특화된 메뉴 항목과 상이한 제2장치에 특화된 메뉴 항목을 포함하는 제2장치에 특화된 3차원 제어 메뉴를 제공하고;
    IDU 디스플레이가 제2장치에 특화된 메뉴 항목에 대응하는 그래픽 또는 텍스트를 포함하는 제2장치에 특화된 IDU 이미지를 표시하도록; 구성되는 시스템.
  17. 제15항 또는 제16항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 제어기는, 의사의 머리의 위치 및 방향을 추정하고 의사의 시선이, 시선 벡터와 나란한지를 추정함으로써 의사의 시선을 추정하도록 구성되되, 시선 벡터의 시작은 의사 머리의 추정된 위치에 기초하고 시선 벡터의 방향은 의사 머리의 추정된 방향에 기초하는, 시스템.
  18. 제17항 또는 여기에 있는 다른 청구항 중 어느 한 항 있어서,
    상기 제어기는, 하나 이상의 광학 센서로부터 획득된 데이터에 적어도 부분적으로 기초하여 의사 머리의 위치 및 방향을 추정하도록 구성되는 시스템.
  19. 제18항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    하나 이상의 광학 센서는 하나 이상의 3D 광학 센서를 포함하는 시스템.
  20. 제18항 또는 제19항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    하나 이상의 광학 센서는 하나 이상의 2D 광학 센서를 포함하는 시스템.
  21. 제15항 또는 제16항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 제어기는, 시선이, 하나 이상의 의사의 눈에서 푸르킨예(Purkinje) 반사를 검출하는 것에 기초하는 시선 벡터와 나란한지를 추정함으로써 의사의 시선을 추정하도록 구성되는 시스템.
  22. 제21항에 있어서,
    상기 제어기는, 하나 이상의 광학 센서로부터 획득된 데이터에 적어도 부분적으로 기초하여 하나 이상의 의사의 눈에서 푸르킨예 반사를 검출하도록 구성되는 시스템.
  23. 제15항 내지 제22항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    의사에 의해 착용된 증강 현실 헤드셋을 포함하되, 상기 IDU 디스플레이는, 증강 현실 헤드셋으로부터의 의사의 눈 중 하나 또는 둘 모두에 IDU 이미지를 투영함으로써 의사에게 가상 IDU 이미지를 표시하여 3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하도록 구성되는 시스템.
  24. 제15항 내지 제22항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 IDU 디스플레이는, 제1물리적 디스플레이 상에 제1장치에 특화된 IDU 이미지를 표시함으로써 제1장치에 특화된 IDU 이미지를 표시하도록 구성되되, 상기 제1물리적 디스플레이는, 제1의료기기장치의 일부; 제1의료기기장치에 동작 명령을 제공하도록 연결된 제1제어 모듈의 일부; 중 적어도 하나인 시스템.
  25. 제24항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 IDU 디스플레이는, 제2물리적 디스플레이 상에 제2장치에 특화된 IDU 이미지를 표시함으로써 제2장치에 특화된 IDU 이미지를 표시하도록 구성되되, 상기 제2물리적 디스플레이는, 제2의료기기장치의 일부; 제2의료기기장치에 동작 명령을 제공하도록 연결된 제2제어 모듈의 일부; 중 적어도 하나인 시스템.
  26. 제15항 내지 제25항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 제어기는, 수술실에서 하나 이상의 다른 인간들 중에서 상기 의사를 제어하는 의사로 식별할 수 있도록 구성되되, 상기 의사를 제어하는 의사로 식별하는 것은, 상기 의사가 기준 위치에 가장 가까운 인간이라고 판단하는 것; 상기 의사와 관련된 하나 이상의 기준 마커를 식별하는 것; 상기 의사에 대한 얼굴 인식 방법을 수행하는 것; 상기 의사에 의해 수행된 하나 이상의 제스처를 식별하는 것; 상기 의사에 대해 음성 인식 방법을 수행하는 것; 의사에 대해 체형 인식 방법을 수행하는 것; 및 의사에 대한 망막 스캔을 수행하는 것; 중에서 적어도 하나를 포함하는 시스템.
  27. 제15항 내지 제26항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 제1의료기기장치는 환자의 의료 이미지를 표시하는 의료 이미지 디스플레이 장치를 포함하고, 상기 동작 명령은 상기 의료 이미지 디스플레이 장치에게 의료 이미지 디스플레이 장치에 표시된 의료 이미지를 변경하는 것과, 의료 이미지 디스플레이 장치에 표시된 의료 이미지 특성을 변경하는 것 중 하나 이상을 수행하도록 하는 명령을 포함하는 시스템.
  28. 제15항 내지 제27항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 IDU 이미지는 환자에 대응하는 의료 이미지 데이터를 포함하는 방법.
  29. 수술실에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 방법으로서,
    메뉴 항목에 대응하는 체적 공간 영역 내에서 의사가 행한 하나 이상의 제스처에 의해 의사에 의해 선택 가능한 복수의 메뉴 항목을 포함하는 3차원 제어 메뉴를 제공하고;
    IDU(Interaction Display Unit) 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지(indicia)를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하되;
    상기 메뉴 항목들 중 임의의 하나의 특정의 선택은 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하게 하고;
    의사 머리의 위치 및 의사 머리의 방향 중 적어도 하나를 추정하고;
    의사 머리의 추정된 위치 및 의사 머리의 추정된 방향 중 적어도 하나에 적어도 부분적으로 기초하여 IDU 이미지의 표시를 조정하는; 것을 포함하는 방법.
  30. 제29항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    의사 머리의 추정된 위치 및 의사 머리의 추정된 방향 중 적어도 하나에 적어도 부분적으로 기초하여 IDU 이미지의 표시를 조정하는 것은, IDU 이미지가 표시되는 위치; 및 표시된 IDU 이미지의 지향 중 적어도 하나를 조정하는 것을 포함하는 방법.
  31. 제29항 내지 제30항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    의사 머리의 추정된 위치 및 의사 머리의 추정된 방향 중 적어도 하나에 적어도 부분적으로 기초하여 IDU 이미지의 표시를 조정하는 것은, IDU 이미지가 표시되는 물리적 디스플레이를 조정하는 것을 포함하는 방법.
  32. 제29항 내지 제30항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    IDU 이미지를 표시하는 것은, 상기 IDU 이미지를 투영면 상에 투영하는 것을 포함하는 방법.
  33. 제32항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    의사 머리의 추정된 위치 및 의사 머리의 추정된 방향 중 적어도 하나에 적어도 부분적으로 기초하여 IDU 이미지의 표시를 조정하는 것은, IDU 이미지가 투영되는 투영면을 수정하는 것을 포함하는 방법.
  34. 제29항 내지 제33항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    의사의 머리 방향을 추정하는 것은 의사의 추정된 머리 위치에 기초하는 방법.
  35. 제29항 내지 제34항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    의사 머리의 추정된 위치 및 의사 머리의 추정된 방향 중 적어도 하나에 적어도 부분적으로 기초하여 IDU 이미지의 표시를 조정하는 것은, 사전-워핑된(pre-warped) IDU 이미지를 비평면 투영면 상에 투영함으로써 사전-워핑된 IDU 이미지가 표시될 때 투영된 이미지가 의사의 관점에서 선형으로 보이도록, 추정된 머리 방향 및 추정된 머리 위치에 기초하여 IDU 이미지의 사전-워핑을 조정하는 것을 포함하는 방법.
  36. 수술실에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 시스템으로서,
    센서의 감지 체적 내에서 의사에 의해 만들어진 하나 이상의 제스처를 검출하기 위해 연결된 3D 광학 센서;
    3D 광학 센서로부터 3D 광학 데이터를 수신하도록 연결되고 3차원 제어 메뉴를 제공하도록 구성된 제어기로서, 3차원 제어 메뉴는 복수의 메뉴 항목을 포함하며, 각 메뉴 항목은 메뉴 항목에 대응하는 체적 공간 영역 내에서 의사에 의해 만들어진 하나 이상의 제스처에 의해 의사에 의해 선택 가능한, 제어기; 및
    IDU 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지(indicia)를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하기 위한 IDU 디스플레이;를 포함하며,
    제어기는 상기 메뉴 항목들 중 임의의 하나의 선택을 결정하고 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해, 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하도록 구성되고;
    제어기는 하나 이상의 센서로부터의 입력에 기초하여, 의사 머리의 위치 및 의사 머리의 방향 중 적어도 하나를 추정하고, 의사 머리의 추정된 위치 및 의사 머리의 추정된 방향 중 적어도 하나에 적어도 부분적으로 기초하여, IDU 디스플레이에 의한 IDU 이미지의 표시를 조정하도록 구성되는; 시스템.
  37. 제36항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 제어기는, IDU 이미지가 표시되는 위치; 및 표시된 IDU 이미지의 지향 중 적어도 하나를 조정함으로써, 의사 머리의 추정된 위치 및 의사 머리의 추정된 방향 중 적어도 하나에 적어도 부분적으로 기초하여 IDU 이미지의 표시를 조정하도록 구성되는 시스템.
  38. 제36항 또는 제37항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 제어기는, IDU 이미지가 표시되는 물리적 디스플레이를 조정함으로써, 의사 머리의 추정된 위치 및 의사 머리의 추정된 방향 중 적어도 하나에 적어도 부분적으로 기초하여 IDU 이미지의 표시를 조정하도록 구성되는 시스템.
  39. 제36항 또는 제37항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 IDU 디스플레이는 상기 IDU 이미지를 투영면에 투영함으로써 상기 IDU 이미지를 표시하도록 구성되는 시스템.
  40. 제39항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 제어기는, IDU 이미지가 투영되는 투영면을 수정함으로써, 의사 머리의 추정된 위치 및 의사 머리의 추정된 방향 중 적어도 하나에 적어도 부분적으로 기초하여 IDU 이미지를 조정하도록 구성되는 시스템.
  41. 제36항 내지 제40항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 제어기는, 의사의 추정된 머리 위치에 기초하여 의사의 머리 방향을 추정하도록 구성되는 시스템.
  42. 제36항 내지 제41항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 제어기는, 사전-워핑된(pre-warped) IDU 이미지를 비평면 투영면 상에 투영함으로써 사전-워핑된 IDU 이미지가 표시될 때 투영된 이미지가 의사의 관점에서 선형으로 보이도록, 추정된 머리 방향 및 추정된 머리 위치에 기초하여 IDU 이미지의 사전-워핑을 조정함으로써, 의사 머리의 추정된 위치 및 의사 머리의 추정된 방향 중 적어도 하나에 적어도 부분적으로 기초하여 IDU 이미지의 표시를 조정하도록 구성되는 시스템.
  43. 수술실에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 방법으로서,
    메뉴 항목에 대응하는 체적 공간 영역 내에서 의사가 행한 하나 이상의 제스처에 의해 의사에 의해 선택 가능한 복수의 메뉴 항목을 포함하는 3차원 제어 메뉴를 제공하고;
    IDU(Interaction Display Unit) 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지(indicia)를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 비평면 투영면 상에 투영하되;
    상기 메뉴 항목들 중 임의의 하나의 특정의 선택은 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하게 하고;
    비평면 투영면의 프로파일의 추정치를 얻고;
    의사의 관찰 벡터를 투영 표면으로 추정하고;
    IDU 이미지를 투영하기 전에, IDU 이미지를, 비평면 투영면의 추정된 프로파일 및 추정된 관찰 벡터에 적어도 부분적으로 기초하여, 사전 조정하는; 것을 포함하는 방법.
  44. 제43항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 IDU 이미지를 투영하기 전에 상기 IDU 이미지를 사전 조정하는 것은,
    의사의 머리 위치에 관찰 벡터를 따라 지향하는 가상 프로젝터를 배치하고;
    실제 프로젝터의 위치에 가상 카메라를 배치하고;
    왜곡되지 않은 IDU 이미지를 가상 프로젝터로부터 투영면 상으로 투영하되, 왜곡되지 않은 IDU 이미지는 의사의 머리 위치로부터 왜곡되지 않은 것으로 보이며 관찰 벡터를 따라 지향되도록 보이고;
    상기 가상 카메라를 사용하여 투영된 왜곡되지 않은 IDU 이미지의 스냅샷을 촬영하되, 투영된 왜곡되지 않은 IDU 이미지의 스냅샷은 상기 가상 카메라의 관점에서는 왜곡된 것으로 나타나고;
    IDU 이미지를 투영하기 전에, IDU 이미지를, 가상 카메라에서 가져온 스냅샷으로 교체하고 실제 프로젝터를 사용하여 캡처된 스냅샷을 투영하여 IDU 이미지를 사전 조정하는; 것을 포함하는, 시뮬레이션 또는 동등한 수학 매트릭스 연산을 수행하는 것을 포함하는 방법.
  45. 제43항 또는 제44항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 비평면 투영면의 프로파일의 추정치를 얻는 것은,
    비평면 투영면을 나타내는 원시 점 클라우드(raw point cloud)을 캡처하고;
    스무딩된 점 클라우드를 생성하기 위해 상기 원시 점 클라우드에서 스무딩 테크닉을 수행하고;
    스무딩된 점 클라우드에서 재구성 테크닉을 수행하여 재구성된 점 클라우드를 생성하고;
    재구성된 점 클라우드에 복셀 필터링 및 세그먼테이션 테크닉을 수행하여 필터링된 점 클라우드를 생성하고;
    필터링된 점 클라우드으로부터 표면이 검출되면, 필터링된 점 클라우드로부터 특이점을 제거하고;
    필터링된 점 클라우드에 대해 트라이앵귤레이션(triangulation) 테크닉을 수행하여 비평면 투영 표면을 나타내는 표면 메쉬를 생성하는; 것을 포함하는 방법.
  46. 제45항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    스무딩 테크닉을 수행하는 것은, 무빙 리스트 스퀘어스(moving least squares) 예측 스무딩을 수행하는 것을 포함하는 방법.
  47. 제43항 내지 제46항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    비평면 투영면 상에 IDU 이미지를 투영하는 것은, 수술실에서 투영에 이용 가능한 가장 평평한 표면을 선택하는 것을 포함하는 방법.
  48. 제43항 내지 제47항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    의사의 관찰 벡터를 추정하는 것은, 점 클라우드를 생성하고 의사 머리를 나타내는 점 클라우드의 부분을 결정함으로써 수술실에서 의사를 추적하는 것을 포함하는 방법.
  49. 수술실에서 하나 이상의 의료기기장치 중 하나를 비접촉 제어하기 위한 시스템으로서,
    센서의 감지 체적 내에서 의사에 의해 만들어진 하나 이상의 제스처를 검출하기 위해 연결된 3D 광학 센서;
    3D 광학 센서로부터 3D 광학 데이터를 수신하도록 연결되고 3차원 제어 메뉴를 제공하도록 구성된 제어기로서, 3차원 제어 메뉴는 복수의 메뉴 항목을 포함하며, 각 메뉴 항목은, 메뉴 항목에 대응하고 3D 광학 데이터에 기초하여 제어기에 의해 검출되는 체적 공간 영역 내에서, 의사에 의해 만들어진 하나 이상의 제스처에 의해 의사에 의해 선택 가능한, 제어기;
    IDU 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 비평면 투영면 상에 표시하기 위한 IDU 디스플레이로서, 상기 메뉴 항목 중 임의의 하나를 선택하면 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하는, IDU 디스플레이;를 포함하고,
    제어기는 하나 이상의 센서로부터의 입력에 기초하여 비평면 투영면의 프로파일을 추정하도록 구성되고;
    제어기는 하나 이상의 센서로부터의 입력에 기초하여, 비평면 투영면에 대한 의사의 관찰 벡터를 추정하도록 구성되고;
    IDU 디스플레이는 IDU 이미지를 투영하기 전에 IDU 이미지를 사전 조정하도록 구성되되, 사전 조정은 비평면 투영면의 추정된 프로파일 및 추정된 관찰 벡터에 적어도 부분적으로 기초하는 시스템.
  50. 제49항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 제어기는, IDU 이미지를 투영하기 전에, IDU 이미지를 사전 조정하기 위해, 시뮬레이션 또는 동등한 수학 매트릭스 연산을 수행하도록 구성되되,
    의사의 머리 위치에 관찰 벡터를 따라 지향하는 가상 프로젝터를 배치하고;
    실제 프로젝터의 위치에 가상 카메라를 배치하고;
    왜곡되지 않은 IDU 이미지를 가상 프로젝터로부터 투영면 상으로 투영하되, 왜곡되지 않은 IDU 이미지는 의사의 머리 위치로부터 왜곡되지 않은 것으로 보이며 관찰 벡터를 따라 지향되도록 보이고;
    상기 가상 카메라를 사용하여 투영된 왜곡되지 않은 IDU 이미지의 스냅샷을 촬영하되, 투영된 왜곡되지 않은 IDU 이미지의 스냅샷은 상기 가상 카메라의 관점에서는 왜곡된 것으로 나타나고;
    IDU 이미지를 투영하기 전에, IDU 이미지를, 가상 카메라에서 가져온 스냅샷으로 교체하고 실제 프로젝터를 사용하여 캡처된 스냅샷을 투영하여 IDU 이미지를 사전 조정하는; 것을 포함하는 시스템.
  51. 제49항 또는 제50항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 제어기는,
    비평면 투영면을 나타내는 원시 점 클라우드을 캡처하고;
    스무딩된 점 클라우드를 생성하기 위해 상기 원시 점 클라우드에서 스무딩 테크닉을 수행하고;
    스무딩된 점 클라우드에서 재구성 테크닉을 수행하여 재구성된 점 클라우드를 생성하고;
    재구성된 점 클라우드에 복셀 필터링 및 세그먼테이션 테크닉을 수행하여 필터링된 점 클라우드를 생성하고;
    필터링된 점 클라우드으로부터 표면이 검출되면, 필터링된 점 클라우드로부터 특이점을 제거하고;
    필터링된 점 클라우드에 대해 트라이앵귤레이션 테크닉을 수행하여 비평면 투영 표면을 나타내는 표면 메쉬를 생성하는; 것을 포함하는, 방법을 수행함으로써 상기 비평면 투영면의 프로파일의 추정치를 획득하도록 구성되는 시스템.
  52. 제51항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    스무딩 테크닉을 수행하는 것은, 무빙 리스트 스퀘어스 예측 스무딩를 수행하는 것을 포함하는 시스템.
  53. 제49항 내지 제52항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 IDU 디스플레이는, 수술실에서 투영에 이용 가능한 가장 평평한 표면을 선택함으로써 비평면 투영 표면 상에 IDU 이미지를 투영하도록 구성되는 시스템.
  54. 제49항 내지 제53항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    제어기는, 점 클라우드을 생성하고 의사의 머리를 나타내는 점 클라우드의 부분을 결정함으로써 수술실에서 의사를 추적함으로써 의사 시선 벡터를 추정하도록 구성되는 시스템.
  55. 수술실(operating room: OR)에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 방법으로서,
    메뉴 항목에 대응하는 체적 공간 영역 내에서 의사가 행한 하나 이상의 제스처에 의해 의사에 의해 선택 가능한 복수의 메뉴 항목을 포함하는 3차원 제어 메뉴를 제공하고;
    IDU(Interaction Display Unit) 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지(indicia)를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 비평면 투영면 상에 투영하되;
    상기 메뉴 항목들 중 임의의 하나의 특정의 선택은 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하게 하고;
    하나 이상의 3D 광학 센서를 이동 및 지향시키는 것 중 적어도 하나를 위해 로봇 포지셔닝 시스템(robotic positioning system)에 장착되는 하나 이상의 3D 광학 센서를 제공하고;
    수술실에서 3차원 제어 메뉴를 사용하여 제어할 수 있은 하나 이상의 의료기기장치를 찾아서 식별하기 위하여, 로봇 포지셔닝 시스템의 이동 및 지향하는 것 중 적어도 하나를 수행하며 수술실에서 관심 영역에 대응하는 3D 광학 데이터를 캡처하고 캡처된 3D 광학 데이터를 처리하는; 것을 포함하는 방법.
  56. 제55항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 IDU 이미지를 투영하기 위해 상기 로봇 포지셔닝 시스템에 장착된 IDU 디스플레이 장치를 제공하는 것을 포함하는 방법.
  57. 제55항 또는 제56항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    수술실에서 3차원 제어 메뉴를 사용하여 제어할 수 있는 하나 이상의 의료기기장치를 찾아서 식별하기 위해, 캡처된 3D 광학 데이터를 처리하는 것은, 3차원 제어 메뉴를 사용하여 제어 가능한 특정 의료기기장치를 식별하는 것을 포함하고;
    3차원 제어 메뉴를 제공하는 것은, 특정 장치에 특화된 메뉴 항목을 포함하는 특정 장치에특화된 3차원 제어 메뉴를 제공하는 것을 포함하여, 선택될 때, 특정 의료기기장치에 대응하는 동작 명령을 전달하여 특정 의료기기장치의 동작을 제어하고;
    3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하는 것은, 특정 장치에 특화된 메뉴 항목에 대응하는 그래픽 또는 텍스트를 포함하는 특정 장치에 특화된 IDU 이미지를 표시하는 것을 포함하는; 방법.
  58. 제55항 내지 제57항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 로봇 포지셔닝 시스템은 관절식 로봇 암을 포함하는 방법.
  59. 제55항 내지 제58항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 로봇 포지셔닝 시스템은 일련의 선형 액추에이터를 포함하는 방법.
  60. 제55항 내지 제59항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 로봇 포지셔닝 시스템은 둘 이상의 자유도를 갖는 방법.
  61. 수술실(OR)에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 시스템으로서,
    하나 이상의 3D 광학 센서의 감지 체적 내에서 의사에 의해 만들어진 하나 이상의 제스처를 검출하기 위해 연결된 하나 이상의 3D 광학 센서로서, 하나 이상의 3D 광학 센서를 이동 및 지향시키는 것 중 적어도 하나를 위해 로봇 포지셔닝 시스템에 장착되는 하나 이상의 3D 광학 센서;
    3D 광학 센서로부터 3D 광학 데이터를 수신하도록 연결되고 3차원 제어 메뉴를 제공하도록 구성된 제어기로서, 3차원 제어 메뉴는 복수의 메뉴 항목을 포함하며, 각 메뉴 항목은, 메뉴 항목에 대응하고 3D 광학 데이터에 기초하여 제어기에 의해 검출되는 체적 공간 영역 내에서, 의사에 의해 만들어진 하나 이상의 제스처에 의해 의사에 의해 선택 가능한, 제어기;
    IDU 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 비평면 투영면 상에 표시하기 위한 IDU 디스플레이로서, 상기 메뉴 항목 중 임의의 하나를 선택하면 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하는, IDU 디스플레이;를 포함하고,
    상기 하나 이상의 3D 광학 센서는 수술실의 관심 영역에 대응하는 3D 광학 데이터를 캡처하도록 구성되고, 제어기는, 수술실에서 3차원 제어 메뉴를 사용하여 제어할 수 있는 하나 이상의 의료기기장치를 찾아서 식별하기 위하여, 캡처된 3D 광학 데이터를 처리하도록 구성되는 시스템.
  62. 제61항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 IDU 디스플레이는 상기 IDU 이미지를 투영하기 위해 상기 로봇 포지셔닝 시스템 상에 장착되는 시스템.
  63. 제61항 또는 제62항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    제어기는 3차원 제어 메뉴를 사용하여 제어할 수 있는 특정 의료기기장치를 찾아서 식별하기 위해, 캡처된 3D 광학 데이터를 처리하도록 구성되고;
    상기 제어기는, 특정 장치에 특화된 메뉴 항목을 포함하는 특정 장치에 특화된 3차원 제어 메뉴를 제공하며, 선택될 때, 특정 의료기기장치에 대응하는 동작 명령을 전달하여 특정 의료기기장치의 동작을 제어하도록 구성되고;
    IDU 디스플레이는 특정 장치에 특화된 메뉴 항목에 대응하는 그래픽 또는 텍스트를 포함하는 특정 장치에 특화된 IDU 이미지를 표시함으로써 3차원 제어 메뉴에 대응하는 IDU 이미지를 표시하도록 구성되는 시스템.
  64. 제61항 내지 제63항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 로봇 포지셔닝 시스템은 관절식 로봇 암을 포함하는 시스템.
  65. 제61항 내지 제64항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 로봇 포지셔닝 시스템은 일련의 선형 액추에이터를 포함하는 시스템.
  66. 제61항 내지 제65항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 로봇 포지셔닝 시스템은 둘 이상의 자유도를 갖는 시스템.
  67. 수술실(OR)에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 방법으로서,
    메뉴 항목에 대응하는 체적 공간 영역 내에서 의사가 행한 하나 이상의 제스처에 의해 의사에 의해 선택 가능한 복수의 메뉴 항목을 포함하는 3차원 제어 메뉴를 제공하고;
    IDU(Interaction Display Unit) 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지(indicia)를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 비평면 투영면 상에 투영하되;
    상기 메뉴 항목들 중 임의의 하나의 특정의 선택은 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하게 하고;
    IDU 이미지를 투영하기 위한 IDU 디스플레이를 제공하되, IDU 디스플레이는 IDU 디스플레이를 이동 및 지향시키는 것 중 적어도 하나를 위해 로봇 포지셔닝 시스템에 장착되고;
    로봇 포지셔닝 시스템을 이동 및 지향시키는 것 중 적어도 하나를 수행하고 IDU 이미지를 제1표면 상에 투영하고;
    제1표면이 바람직하지 않다는 표시를 받거나 또는 의사가 수술실 내에서 움직였다고 결정한 후, 로봇 포지셔닝 시스템을 이동 및 지향시키는 것 중 적어도 하나를 수행하고 IDU 이미지를, 제1표면과는 상이한, 제2표면 상으로 투영하는; 것을 포함하는 방법.
  68. 제67항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    하나 이상의 3D 광학 센서를 이동 및 지향시키는 것 중 적어도 하나를 위해 로봇 포지셔닝 시스템에 장착된 하나 이상의 3D 광학 센서를 제공하는 것을 포함하는 방법.
  69. 제67항 또는 제68항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 로봇 포지셔닝 시스템은 관절식 로봇 암을 포함하는 방법.
  70. 제67항 내지 제69항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 로봇포지셔닝 시스템은 일련의 선형 액추에이터를 포함하는 방법.
  71. 제67항 내지 제70항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 로봇 포지셔닝 시스템은 둘 이상의 자유도를 갖는 방법.
  72. 수술실(OR)에서 하나 이상의 의료기기장치의 비접촉 제어를 위한 시스템으로서,
    센서의 감지 체적 내에서 의사에 의해 만들어진 하나 이상의 제스처를 검출하기 위해 연결된 3D 광학 센서;
    3D 광학 센서로부터 3D 광학 데이터를 수신하도록 연결되고 3차원 제어 메뉴를 제공하도록 구성된 제어기로서, 3차원 제어 메뉴는 복수의 메뉴 항목을 포함하며, 각 메뉴 항목은, 메뉴 항목에 대응하고 3D 광학 데이터에 기초하여 제어기에 의해 검출되는 체적 공간 영역 내에서, 의사에 의해 만들어진 하나 이상의 제스처에 의해 의사에 의해 선택 가능한, 제어기;
    IDU 이미지가 임의의 하나 이상의 선택된 메뉴 항목의 표지를 제공하도록, 상기 3차원 제어 메뉴에 대응하는 IDU 이미지를 비평면 투영면 상에 표시하기 위한 IDU 디스플레이로서, IDU 디스플레이를 이동 및 방향시키는 것 중 적어도 하나를 위해 로봇 포지셔닝 시스템에 장착되는, IDU 디스플레이;를 포함하고,
    상기 메뉴 항목들 중 임의의 하나의 특정의 선택은 하나 이상의 의료기기장치 중 적어도 하나의 동작을 제어하기 위해 하나 이상의 의료기기장치 중 적어도 하나에 대응하는 동작 명령을 전달하게 하고;
    상기 IDU 디스플레이는 상기 IDU 이미지를 제1표면 상에 투영하도록 구성되고;
    제어기는 제1표면이 바람직하지 않다는 표시를 받거나 의사가 수술실 내에서 움직였다고 결정하도록 구성되고, 그러한 표시를 받거나 그러한 결정을 내릴 때, IDU 디스플레이는 IDU 이미지를 제1표면과 상이한, 제2표면에 투영하도록 구성되는 시스템.
  73. 제72항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 3D 광학 센서는 상기 하나 이상의 3D 광학 센서를 이동 및 지향시키는 것 중 적어도 하나를 위해 로봇포지셔닝 시스템에 장착되는 방법.
  74. 제72항 또는 제73항 또는 여기에 있는 다른 청구항 중 중 어느 한 항에 있어서,
    로봇 포지셔닝 시스템은 관절식 로봇 암을 포함하는 시스템.
  75. 제72항 내지 제74항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 로봇 포지셔닝 시스템은 일련의 선형 액추에이터를 포함하는 시스템.
  76. 제72항 내지 제75항 또는 여기에 있는 다른 청구항 중 어느 한 항에 있어서,
    상기 로봇포지셔닝 시스템은 둘 이상의 자유도를 갖는 시스템.
  77. 여기에 있는 어느 한 항에 있어서,
    제어되는 의료기기장치는, 수술용 광; 수술대; 의료 이미지 장치; 방사선 차폐물; 환자 진단 장비; 약물 전달 장치; 의료 이미지 디스플레이 장치; 로봇 수술 장비 또는 로봇 수술 보조 장비; 다른 의료기기의 제어를위한 제어판 중 하나 이상을 포함하는 방법.
  78. 여기에 있는 어느 한 항에 있어서,
    제어되는 의료기기장치는, 수술용 광; 수술대; 의료 이미지 장치; 방사선 차폐물; 환자 진단 장비; 약물 전달 장치; 의료 이미지 디스플레이 장치; 로봇 수술 장비 또는 로봇 수술 보조 장비; 다른 의료기기의 제어를위한 제어판 중 하나 이상을 포함하는 시스템.
  79. 여기에 기재된 바와 같은 여하한 신규하고 진보성 있는 특징, 그 특징의 조합 또는 그 특징으로 하위 조합을 갖는 시스템.
  80. 여기에 기재된 바와 같은 여하한 신규하고 진보성 있는 특징, 그 특징의 조합 또는 그 특징으로 하위 조합을 갖는 방법.
KR1020197026976A 2017-02-17 2018-02-16 외과수술 환경에서의 비접촉 제어를 위한 방법 및 시스템 KR102471422B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762460736P 2017-02-17 2017-02-17
US62/460,736 2017-02-17
PCT/CA2018/050185 WO2018148845A1 (en) 2017-02-17 2018-02-16 Methods and systems for touchless control of surgical environment

Publications (2)

Publication Number Publication Date
KR20190126331A true KR20190126331A (ko) 2019-11-11
KR102471422B1 KR102471422B1 (ko) 2022-11-30

Family

ID=63170041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197026976A KR102471422B1 (ko) 2017-02-17 2018-02-16 외과수술 환경에서의 비접촉 제어를 위한 방법 및 시스템

Country Status (5)

Country Link
US (4) US11007020B2 (ko)
EP (1) EP3582707A4 (ko)
KR (1) KR102471422B1 (ko)
CA (1) CA3052869A1 (ko)
WO (1) WO2018148845A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102490657B1 (ko) * 2021-12-22 2023-01-20 주식회사 시드웨어 스마트 온실 모니터링 시뮬레이터의 제어방법
KR20230019746A (ko) 2021-08-02 2023-02-09 주식회사 로엔서지컬 수술용 로봇의 제어 장치 및 제어 방법
KR20230071081A (ko) 2021-11-15 2023-05-23 주식회사 로엔서지컬 수술 장치 및 이를 포함하는 원격 수술 시스템

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11830614B2 (en) * 2017-03-20 2023-11-28 Opticsurg, Inc. Method and system for optimizing healthcare delivery
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11819231B2 (en) 2017-10-30 2023-11-21 Cilag Gmbh International Adaptive control programs for a surgical system comprising more than one type of cartridge
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11413042B2 (en) 2017-10-30 2022-08-16 Cilag Gmbh International Clip applier comprising a reciprocating clip advancing member
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US20190201113A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Controls for robot-assisted surgical platforms
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US10595887B2 (en) 2017-12-28 2020-03-24 Ethicon Llc Systems for adjusting end effector parameters based on perioperative information
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US20190201042A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Determining the state of an ultrasonic electromechanical system according to frequency shift
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11986233B2 (en) 2018-03-08 2024-05-21 Cilag Gmbh International Adjustment of complex impedance to compensate for lost power in an articulating ultrasonic device
US11707293B2 (en) 2018-03-08 2023-07-25 Cilag Gmbh International Ultrasonic sealing algorithm with temperature control
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11406382B2 (en) 2018-03-28 2022-08-09 Cilag Gmbh International Staple cartridge comprising a lockout key configured to lift a firing member
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
WO2019238214A1 (en) * 2018-06-11 2019-12-19 Brainlab Ag Visualization of medical data depending on viewing-characteristics
US11696790B2 (en) 2018-09-07 2023-07-11 Cilag Gmbh International Adaptably connectable and reassignable system accessories for modular energy system
US11696789B2 (en) 2018-09-07 2023-07-11 Cilag Gmbh International Consolidated user interface for modular energy system
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
EP3637374A1 (en) 2018-10-09 2020-04-15 Siemens Healthcare GmbH Method and system for visualising a spatial surface curvature of a 3d-object, computer program product, and computer-readable storage medium
WO2020084625A1 (en) * 2018-10-25 2020-04-30 Beyeonics Surgical Ltd. Ui for head mounted display system
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11331101B2 (en) 2019-02-19 2022-05-17 Cilag Gmbh International Deactivator element for defeating surgical stapling device lockouts
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11218822B2 (en) 2019-03-29 2022-01-04 Cilag Gmbh International Audio tone construction for an energy module of a modular energy system
US11278361B2 (en) 2019-05-21 2022-03-22 Verb Surgical Inc. Sensors for touch-free control of surgical robotic systems
US11504193B2 (en) 2019-05-21 2022-11-22 Verb Surgical Inc. Proximity sensors for surgical robotic arm manipulation
CN110123453B (zh) * 2019-05-31 2021-07-23 东北大学 一种基于无标记增强现实的手术导航系统
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD928725S1 (en) 2019-09-05 2021-08-24 Cilag Gmbh International Energy module
USD924139S1 (en) 2019-09-05 2021-07-06 Ethicon Llc Energy module with a backplane connector
USD928726S1 (en) 2019-09-05 2021-08-24 Cilag Gmbh International Energy module monopolar port
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
CN110522516B (zh) * 2019-09-23 2021-02-02 杭州师范大学 一种用于手术导航的多层次交互可视化方法
EP4034028A4 (en) * 2019-09-27 2024-01-03 Raytrx Llc AUGMENTED REALITY GLASSES FOR USE IN SURGICAL VISUALIZATION AND TELESURGERY
US11416878B2 (en) * 2019-12-10 2022-08-16 At&T Intellectual Property I, L.P. Detection of usage of a physical environment
EP3855450A1 (en) 2020-01-22 2021-07-28 Koninklijke Philips N.V. Apparatus for implementing a clinical protocol
EP4104034A4 (en) * 2020-02-10 2024-02-21 Magic Leap Inc POSITIONING BODY-CENTRIC CONTENT RELATIVE TO A THREE-DIMENSIONAL CONTAINER IN A MIXED REALITY ENVIRONMENT
WO2021163083A1 (en) * 2020-02-14 2021-08-19 Covidien Lp System and method for activation and deactivation syncrhonization handling in a surgical robotic system
US20210298863A1 (en) * 2020-03-27 2021-09-30 Trumpf Medizin Systeme GmbH & Co. KG. Augmented reality for a surgical system
WO2021226134A1 (en) * 2020-05-04 2021-11-11 Raytrx, Llc Surgery visualization theatre
US11093005B1 (en) * 2020-05-05 2021-08-17 International Business Machines Corporation Virtual reality rollable display device
EP3964929A1 (en) * 2020-09-08 2022-03-09 Koninklijke Philips N.V. Controlling a 2d screen interface application in a mixed reality application
US20220096197A1 (en) * 2020-09-30 2022-03-31 Verb Surgical Inc. Augmented reality headset for a surgical robot
US20210121245A1 (en) * 2020-10-06 2021-04-29 Transenterix Surgical, Inc. Surgeon interfaces using augmented reality
IT202000030749A1 (it) * 2020-12-15 2022-06-15 Thegg Domotica S R L Metodo co-creativo e dispositivo haptico per la materioteca dinamica
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US12004824B2 (en) 2021-03-30 2024-06-11 Cilag Gmbh International Architecture for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
CA3212211A1 (en) 2021-03-31 2022-10-06 David Paul Noonan Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery
WO2023281372A2 (en) * 2021-07-05 2023-01-12 Moon Surgical Sas Co-manipulation surgical system having optical scanners for use with surgical instruments for performing laparoscopic surgery
US11832909B2 (en) 2021-03-31 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having actuatable setup joints
US11844583B2 (en) 2021-03-31 2023-12-19 Moon Surgical Sas Co-manipulation surgical system having an instrument centering mode for automatic scope movements
US11819302B2 (en) 2021-03-31 2023-11-21 Moon Surgical Sas Co-manipulation surgical system having user guided stage control
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
EP4328714A1 (en) * 2022-08-24 2024-02-28 ameria AG Touchless interaction enablement method, apparatus and retrofitting assembly
EP4339745A1 (en) * 2022-09-19 2024-03-20 ameria AG Touchless user-interface control method including fading
CN115423949B (zh) * 2022-11-07 2023-04-11 山东捷瑞数字科技股份有限公司 基于三维引擎的空间图像转换三维模型的测量方法及系统
LU503040B1 (de) 2022-11-11 2024-05-13 Fresenius Medical Care Deutschland Gmbh Benutzerschnittstellenvorrichtung für ein medizinisches Gerät zur Behandlung eines Patienten
US11986165B1 (en) 2023-01-09 2024-05-21 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force
US11832910B1 (en) 2023-01-09 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having adaptive gravity compensation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020068862A1 (en) * 2000-12-04 2002-06-06 Ge Medical Systems Global Technology Company, Llc Display of patient image data
US20150212576A1 (en) * 2014-01-28 2015-07-30 Anthony J. Ambrus Radial selection by vestibulo-ocular reflex fixation
WO2016023123A1 (en) * 2014-08-15 2016-02-18 The University Of British Columbia Methods and systems for performing medical procedures and for accessing and/or manipulating medically relevant information
US20160116995A1 (en) * 2003-03-25 2016-04-28 Microsoft Corporation System and method for executing a process using accelerometer signals

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009517728A (ja) 2005-11-25 2009-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像の非接触操作方法
EP2017756A1 (de) 2007-07-20 2009-01-21 BrainLAB AG Verfahren zur Anzeige und/oder Bearbeitung bzw. Verarbeitung von Bilddaten medizinischen oder medizintechnischen Ursprungs mit Gestenerkennung
JP5430572B2 (ja) 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US9439736B2 (en) * 2009-07-22 2016-09-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for controlling a remote medical device guidance system in three-dimensions using gestures
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
US8491135B2 (en) 2010-01-04 2013-07-23 Microvision, Inc. Interactive projection with gesture recognition
WO2012129474A1 (en) * 2011-03-24 2012-09-27 Beth Israel Deaconess Medical Center Medical image viewing and manipulation contactless gesture-responsive system and method
US20140049465A1 (en) 2011-03-28 2014-02-20 Jamie Douglas Tremaine Gesture operated control for medical information systems
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US20130007672A1 (en) * 2011-06-28 2013-01-03 Google Inc. Methods and Systems for Correlating Head Movement with Items Displayed on a User Interface
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
JP5834690B2 (ja) 2011-09-22 2015-12-24 カシオ計算機株式会社 投影装置、投影制御方法及びプログラム
JP5966535B2 (ja) 2012-04-05 2016-08-10 ソニー株式会社 情報処理装置、プログラム及び情報処理方法
US9262068B2 (en) 2012-05-31 2016-02-16 Opportunity Partners Inc. Interactive surface
CN104321730B (zh) 2012-06-30 2019-02-19 英特尔公司 3d图形用户接口
US10048779B2 (en) 2012-06-30 2018-08-14 Hewlett-Packard Development Company, L.P. Virtual hand based on combined data
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US11747895B2 (en) * 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
US9369658B2 (en) 2014-01-20 2016-06-14 Lenovo (Singapore) Pte. Ltd. Image correction of surface projected image
US9958938B2 (en) * 2014-01-24 2018-05-01 Sony Corporation Gaze tracking for a mobile device
JP6379572B2 (ja) * 2014-03-27 2018-08-29 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
GB2525656B (en) * 2014-05-01 2018-01-31 Jaguar Land Rover Ltd Control apparatus and related methods for addressing driver distraction
US9740338B2 (en) * 2014-05-22 2017-08-22 Ubi interactive inc. System and methods for providing a three-dimensional touch screen
EP3304535A4 (en) * 2015-05-31 2018-10-24 Chaudhuri, A., Ray Information display
US20160364003A1 (en) * 2015-06-10 2016-12-15 Wayne Patrick O'Brien Holographic interface for manipulation
FR3048872B1 (fr) * 2016-03-21 2018-04-13 Medtech Sa Procede et dispositif de recalage automatise pour un robot chirurgical
US20170285739A1 (en) * 2016-04-04 2017-10-05 International Business Machines Corporation Methods and Apparatus for Repositioning a Computer Display Based on Eye Position
DE102016209576B4 (de) * 2016-06-01 2024-06-13 Siemens Healthineers Ag Bewegungssteuerung für ein mobiles Medizingerät
EP3463161A4 (en) * 2016-06-03 2020-05-20 Covidien LP SYSTEMS, METHODS, AND COMPUTER READABLE INFORMATION MEDIUM FOR CONTROLLING ASPECTS OF A ROBOTIC SURGICAL DEVICE AND STEREOSCOPIC DISPLAY ADAPTING TO THE OBSERVER
US20180007328A1 (en) * 2016-07-01 2018-01-04 Intel Corporation Viewpoint adaptive image projection system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020068862A1 (en) * 2000-12-04 2002-06-06 Ge Medical Systems Global Technology Company, Llc Display of patient image data
US20160116995A1 (en) * 2003-03-25 2016-04-28 Microsoft Corporation System and method for executing a process using accelerometer signals
US20150212576A1 (en) * 2014-01-28 2015-07-30 Anthony J. Ambrus Radial selection by vestibulo-ocular reflex fixation
WO2016023123A1 (en) * 2014-08-15 2016-02-18 The University Of British Columbia Methods and systems for performing medical procedures and for accessing and/or manipulating medically relevant information

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230019746A (ko) 2021-08-02 2023-02-09 주식회사 로엔서지컬 수술용 로봇의 제어 장치 및 제어 방법
KR20230071081A (ko) 2021-11-15 2023-05-23 주식회사 로엔서지컬 수술 장치 및 이를 포함하는 원격 수술 시스템
KR102490657B1 (ko) * 2021-12-22 2023-01-20 주식회사 시드웨어 스마트 온실 모니터링 시뮬레이터의 제어방법

Also Published As

Publication number Publication date
EP3582707A1 (en) 2019-12-25
US20210307844A1 (en) 2021-10-07
US20240008936A1 (en) 2024-01-11
US20200038120A1 (en) 2020-02-06
US20220168052A1 (en) 2022-06-02
US11690686B2 (en) 2023-07-04
EP3582707A4 (en) 2020-11-25
US11007020B2 (en) 2021-05-18
WO2018148845A1 (en) 2018-08-23
KR102471422B1 (ko) 2022-11-30
CA3052869A1 (en) 2018-08-23
US11272991B2 (en) 2022-03-15

Similar Documents

Publication Publication Date Title
US11690686B2 (en) Methods and systems for touchless control of surgical environment
JP7216768B2 (ja) 三次元のエクステンデットリアリティアプリケーションでの医療画像における二次元のデジタル撮像の活用および通信
US11763531B2 (en) Surgeon head-mounted display apparatuses
CN107016717B (zh) 用于患者的透视视图的系统和方法
US10403402B2 (en) Methods and systems for accessing and manipulating images comprising medically relevant information with 3D gestures
US20190310819A1 (en) Augmented reality image display systems and methods
US20110107270A1 (en) Treatment planning in a virtual environment
US20210398316A1 (en) Systematic positioning of virtual objects for mixed reality
US20210236233A1 (en) Three dimensional medical imaging and interactions
JP7351915B2 (ja) ロボット装置のモーションプログラミング
WO2018129094A1 (en) System and method for registration and coordinated manipulation of augmented reality image components
WO2022133049A1 (en) Systems and methods for registering a 3d representation of a patient with a medical device for patient alignment
WO2020176401A1 (en) Interactive flying frustums visualization in augmented reality
JP2023516522A (ja) 拡張現実における医療用ビューの配置
Rong Projection-Based Spatial Augmented Reality for Interactive Visual Guidance in Surgery

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right