KR20210144663A - 수술 동안 원격 카메라의 배향을 위한 유저 인터페이스 엘리먼트 - Google Patents

수술 동안 원격 카메라의 배향을 위한 유저 인터페이스 엘리먼트 Download PDF

Info

Publication number
KR20210144663A
KR20210144663A KR1020217023759A KR20217023759A KR20210144663A KR 20210144663 A KR20210144663 A KR 20210144663A KR 1020217023759 A KR1020217023759 A KR 1020217023759A KR 20217023759 A KR20217023759 A KR 20217023759A KR 20210144663 A KR20210144663 A KR 20210144663A
Authority
KR
South Korea
Prior art keywords
camera
reference view
orientation
patient
imaging
Prior art date
Application number
KR1020217023759A
Other languages
English (en)
Inventor
바실리 에브게니예비치 부하린
Original Assignee
액티브 서지컬, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 액티브 서지컬, 인크. filed Critical 액티브 서지컬, 인크.
Publication of KR20210144663A publication Critical patent/KR20210144663A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Gynecology & Obstetrics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Endoscopes (AREA)

Abstract

수술 동안 원격 카메라의 배향을 위한 유저 인터페이스 엘리먼트가 제공된다. 다양한 실시형태에서, 환자의 체강 내부의 이미지가 내시경 도구의 원위 단부에 위치되는 하나 이상의 카메라로부터 수신된다. 카메라의 포지션 정보 및/또는 방위 정보가 수신된다. 해부학적 모델에 대한 카메라(들)의 시야를 나타내는 참조 뷰가 포지션 정보 및/또는 방위 정보에 기초하여 생성된다. 참조 뷰는 이미지와 조합하여 유저에게 디스플레이된다.

Description

수술 동안 원격 카메라의 배향을 위한 유저 인터페이스 엘리먼트
본 출원은 2018년 12월 28일자로 출원된 미국 특허 가출원 제62/786,003호의 이익을 주장하는데, 이 가출원은 참조에 의해 그 전체가 본원에 통합된다.
본 개시의 실시형태는 로봇 및 내시경 수술에 관한 것으로, 더 구체적으로는, 수술 동안 원격 카메라의 배향(orientation)을 위한 유저 인터페이스 엘리먼트에 관한 것이다.
본 개시의 실시형태에 따르면, 외과적 수술(surgical procedure) 동안 카메라를 배향하는 방법 및 카메라를 배향하기 위한 컴퓨터 프로그램 제품이 제공된다. 다양한 실시형태에서, 환자의 체강(body cavity) 내부의 이미지가 하나 이상의 카메라로부터 수신되는 방법이 수행된다. 하나 이상의 카메라의 포지션 정보(position information)가 수신된다. 포지션 정보에 기초하여 해부학적 모델(anatomical model)에 대한 하나 이상의 카메라의 시야(field of view)를 나타내는 참조 뷰(reference view)가 생성된다. 참조 뷰는 이미지와 조합하여 유저에게 디스플레이된다.
다양한 실시형태에서, 카메라의 방위 정보(orientation information)가 수신될 수도 있고, 방위 정보에 기초하여, 카메라의 방향을 나타내는 방향 표시자(direction indicator)가 해부학적 모델 상에서 생성될 수도 있다. 다양한 실시형태에서, 방향 표시자는 참조 뷰와 조합하여 유저에게 디스플레이될 수도 있다. 다양한 실시형태에서, 방향 표시자는 화살표를 포함한다. 다양한 실시형태에서, 카메라는 포지션 정보를 송신하도록 구성되는 절대 포지션 센서를 포함한다. 다양한 실시형태에서, 절대 포지션 센서는 하나 이상의 인코더를 포함한다. 다양한 실시형태에서, 절대 포지션 센서는 광학적 추적 시스템을 포함한다. 다양한 실시형태에서, 카메라는 방위 정보를 송신하도록 구성되는 절대 방위 센서를 포함한다. 다양한 실시형태에서, 절대 방위 센서는 하나 이상의 인코더를 포함한다. 다양한 실시형태에서, 절대 방위 센서는 광학적 추적 시스템을 포함한다. 다양한 실시형태에서, 해부학적 모델은 보편적인 도해서(universal atlas)를 포함한다. 다양한 실시형태에서, 해부학적 모델은 단순화된 그림 표현(pictorial representation)을 포함한다.
다양한 실시형태에서, 해부학적 모델은 환자의 이미징을 포함한다. 다양한 실시형태에서, 이미징은 의료 영상 저장 정보 시스템(picture archiving and communication system; PACS)으로부터 수신된다. 다양한 실시형태에서, 이미징은 컴퓨터 단층촬영(computed tomography; CT), 자기 공명 영상(magnetic resonance imaging; MRI), 엑스레이, 초음파, 및 디지털 이미징 중 적어도 하나를 포함한다. 다양한 실시형태에서, 환자의 이미징은 의료적 절차(medical procedure) 동안 실시간으로 업데이트된다. 다양한 실시형태에서, 환자의 참조 뷰는 의료적 절차 동안 실시간으로 업데이트된다. 다양한 실시형태에서, 방법은 카메라의 좌표 공간을 환자의 좌표 공간에 등록하는 것, 카메라의 좌표 공간을 해부학적 모델의 좌표 공간에 등록하는 것; 및 카메라의 깊이 정보를 수신하는 것을 더 포함한다. 다양한 실시형태에서, 카메라의 포지션 정보는 시각적 오도메트리(visual odometry)를 통해 결정된다. 다양한 실시형태에서, 참조 뷰의 디스플레이는 이미지 상에 참조 뷰를 중첩하는 것을 포함한다. 다양한 실시형태에서, 참조 뷰의 디스플레이는, 기본 디스플레이(primary display) 상에서 이미지를 디스플레이하는 동안 보조 디스플레이(supplemental display) 상에서 참조 뷰를 디스플레이하는 것을 포함한다. 다양한 실시형태에서, 참조 뷰는 참조 뷰의 하위 영역을 나타내는 프레임을 포함하는데, 여기서 하위 영역은 시야에 대응한다.
다양한 실시형태에서, 환자의 체강 내부를 이미지화하도록 구성되는 디지털 카메라, 디스플레이, 및 프로그램 명령어가 구체화된 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨팅 노드를 포함하는 시스템이 제공된다. 프로그램 명령어는, 환자의 체강 내부의 이미지가 하나 이상의 카메라로부터 수신되는 방법을 프로세서로 하여금 수행하게 하기 위해 컴퓨팅 노드의 프로세서에 의해 실행 가능하다. 하나 이상의 카메라의 포지션 정보(position information)가 수신된다. 포지션 정보에 기초하여 해부학적 모델에 대한 하나 이상의 카메라의 시야를 나타내는 참조 뷰가 생성된다. 참조 뷰는 이미지와 조합하여 유저에게 디스플레이된다.
다양한 실시형태에서, 카메라의 방위 정보가 수신될 수도 있고, 방위 정보에 기초하여, 카메라의 방향을 나타내는 방향 표시자가 해부학적 모델 상에서 생성될 수도 있다. 다양한 실시형태에서, 방향 표시자는 참조 뷰와 조합하여 유저에게 디스플레이될 수도 있다. 다양한 실시형태에서, 방향 표시자는 화살표를 포함한다. 다양한 실시형태에서, 카메라는 포지션 정보를 송신하도록 구성되는 절대 포지션 센서를 포함한다. 다양한 실시형태에서, 절대 포지션 센서는 하나 이상의 인코더를 포함한다. 다양한 실시형태에서, 절대 포지션 센서는 광학적 추적 시스템을 포함한다. 다양한 실시형태에서, 카메라는 방위 정보를 송신하도록 구성되는 절대 방위 센서를 포함한다. 다양한 실시형태에서, 절대 방위 센서는 하나 이상의 인코더를 포함한다. 다양한 실시형태에서, 절대 방위 센서는 광학적 추적 시스템을 포함한다. 다양한 실시형태에서, 해부학적 모델은 보편적인 도해서를 포함한다. 다양한 실시형태에서, 해부학적 모델은 단순화된 그림 표현을 포함한다.
다양한 실시형태에서, 해부학적 모델은 환자의 이미징을 포함한다. 다양한 실시형태에서, 이미징은 의료 영상 저장 정보 시스템(PACS)으로부터 수신된다. 다양한 실시형태에서, 이미징은 컴퓨터 단층촬영(CT), 자기 공명 영상(MRI) 엑스레이, 초음파, 및 디지털 이미징 중 적어도 하나를 포함한다. 다양한 실시형태에서, 환자의 이미징은 의료적 절차 동안 실시간으로 업데이트된다. 다양한 실시형태에서, 환자의 참조 뷰는 의료적 절차 동안 실시간으로 업데이트된다. 다양한 실시형태에서, 방법은 카메라의 좌표 공간을 환자의 좌표 공간에 등록하는 것, 카메라의 좌표 공간을 해부학적 모델의 좌표 공간에 등록하는 것; 및 카메라의 깊이 정보를 수신하는 것을 더 포함한다. 다양한 실시형태에서, 카메라의 포지션 정보는 시각적 오도메트리를 통해 결정된다. 다양한 실시형태에서, 참조 뷰의 디스플레이는 이미지 상에 참조 뷰를 중첩하는 것을 포함한다. 다양한 실시형태에서, 참조 뷰의 디스플레이는, 기본 디스플레이 상에서 이미지를 디스플레이하는 동안 보조 디스플레이 상에서 참조 뷰를 디스플레이하는 것을 포함한다. 다양한 실시형태에서, 참조 뷰는 참조 뷰의 하위 영역을 나타내는 프레임을 포함하는데, 여기서 하위 영역은 시야에 대응한다.
다양한 실시형태에서, 외과적 수술 동안 카메라를 배향하기 위한 컴퓨터 프로그램 제품이 제공된다. 컴퓨터 프로그램 제품은 프로그램 명령어가 구체화된 컴퓨터 판독 가능 저장 매체를 포함한다. 프로그램 명령어는, 환자의 체강 내부의 이미지가 하나 이상의 카메라로부터 수신되는 방법을 프로세서로 하여금 수행하게 하기 위해, 프로세서에 의해 실행 가능하다. 하나 이상의 카메라의 포지션 정보(position information)가 수신된다. 포지션 정보에 기초하여 해부학적 모델에 대한 하나 이상의 카메라의 시야를 나타내는 참조 뷰가 생성된다. 참조 뷰는 이미지와 조합하여 유저에게 디스플레이된다.
다양한 실시형태에서, 카메라의 방위 정보가 수신될 수도 있고, 방위 정보에 기초하여, 카메라의 방향을 나타내는 방향 표시자가 해부학적 모델 상에서 생성될 수도 있다. 다양한 실시형태에서, 방향 표시자는 참조 뷰와 조합하여 유저에게 디스플레이될 수도 있다. 다양한 실시형태에서, 방향 표시자는 화살표를 포함한다. 다양한 실시형태에서, 카메라는 포지션 정보를 송신하도록 구성되는 절대 포지션 센서를 포함한다. 다양한 실시형태에서, 절대 포지션 센서는 하나 이상의 인코더를 포함한다. 다양한 실시형태에서, 절대 포지션 센서는 광학적 추적 시스템을 포함한다. 다양한 실시형태에서, 카메라는 방위 정보를 송신하도록 구성되는 절대 방위 센서를 포함한다. 다양한 실시형태에서, 절대 방위 센서는 하나 이상의 인코더를 포함한다. 다양한 실시형태에서, 절대 방위 센서는 광학적 추적 시스템을 포함한다. 다양한 실시형태에서, 해부학적 모델은 보편적인 도해서를 포함한다. 다양한 실시형태에서, 해부학적 모델은 단순화된 그림 표현을 포함한다.
다양한 실시형태에서, 해부학적 모델은 환자의 이미징을 포함한다. 다양한 실시형태에서, 이미징은 의료 영상 저장 정보 시스템(PACS)으로부터 수신된다. 다양한 실시형태에서, 이미징은 컴퓨터 단층촬영(CT), 자기 공명 영상(MRI), 엑스레이, 초음파, 및 디지털 이미징 중 적어도 하나를 포함한다. 다양한 실시형태에서, 환자의 이미징은 의료적 절차 동안 실시간으로 업데이트된다. 다양한 실시형태에서, 환자의 참조 뷰는 의료적 절차 동안 실시간으로 업데이트된다. 다양한 실시형태에서, 방법은 카메라의 좌표 공간을 환자의 좌표 공간에 등록하는 것, 카메라의 좌표 공간을 해부학적 모델의 좌표 공간에 등록하는 것; 및 카메라의 깊이 정보를 수신하는 것을 더 포함한다. 다양한 실시형태에서, 카메라의 포지션 정보는 시각적 오도메트리를 통해 결정된다. 다양한 실시형태에서, 참조 뷰의 디스플레이는 이미지 상에 참조 뷰를 중첩하는 것을 포함한다. 다양한 실시형태에서, 참조 뷰의 디스플레이는, 기본 디스플레이 상에서 이미지를 디스플레이하는 동안 보조 디스플레이 상에서 참조 뷰를 디스플레이하는 것을 포함한다. 다양한 실시형태에서, 참조 뷰는 참조 뷰의 하위 영역을 나타내는 프레임을 포함하는데, 여기서 하위 영역은 시야에 대응한다.
도 1은 본 개시의 실시형태에 따른 로봇 수술을 위한 시스템을 묘사한다.
도 2는 본 개시의 실시형태에 따른 예시적인 디스플레이를 예시한다.
도 3은 본 개시의 실시형태에 따른 제2 예시적인 디스플레이를 예시한다.
도 4는 본 개시의 실시형태에 따른 제3 예시적인 디스플레이를 예시한다.
도 5는 본 개시의 실시형태에 따른 내시경을 배향하는 방법을 예시한다.
도 6은 예시적인 의료 영상 저장 정보 시스템(PACS)을 묘사한다.
도 7은 본 개시의 실시형태에 따른 컴퓨팅 노드를 묘사한다.
내시경은 신체 내부를 관찰하기 위해 사용되는 조명 광학식의, 통상적으로 가느다란 관형 기구(보스코프(borescope)의 한 타입)이다. 내시경은 진단 또는 수술 목적을 위해 내부 장기(organ)를 검사하기 위해 사용될 수도 있다. 특수 기구, 예를 들면, 방광경(방광), 신장경(신장), 기관지경(기관지), 관절경(관절), 결장경(결장), 복강경(복부 또는 골반)은, 그들의 목표로 하는 해부학적 구조(anatomy)의 이름을 따서 명명된다.
복강경 수술은 일반적으로 복강경의 도움으로 작은 절개(보통 0.5 내지 1.5 cm)를 사용하여 복부 또는 골반에서 수행된다. 그러한 최소 침습 기술의 이점은 널리 공지되어 있으며, 개복 수술과 비교하여, 더 작은 절개에 기인하는 감소된 통증, 더 적은 출혈, 및 더 짧은 회복 시간을 포함한다.
단일의 복강경을 통해 이용 가능한 이미지는 일반적으로 이차원적인데, 이것은 가능한 수술의 범위에 대해 소정의 제한을 부과한다. 또한, 복강경 수술에서 사용되는 도구는 일반적으로 제한된 범위의 모션을 가지는데, 이것은 제한된 공간에서 작업하는 것을 어렵게 만들 수 있다.
로봇 수술은, 작은 절개, 카메라, 및 다양한 수술 기구를 또한 사용한다는 점에서, 복강경 수술과 유사하다. 그러나, 수술 기구를 직접적으로 잡고 조작하는 대신, 외과 의사는 제어부를 사용하여 하나 이상의 수술 기구를 갖는 로봇을 원격에서 조작한다. 콘솔은 외과 의사에게 고선명 이미지를 제공하는데, 이것은 증가된 정확도 및 시력(vision)을 허용한다.
로봇 지원 최소 침습 수술(robotically-assisted minimally-invasive surgery)의 경우, 기구를 직접적으로 이동시키는 대신, 외과 의사가 원거리 조작기(telemanipulator)를 사용하거나 또는 수술 도구가 컴퓨터 제어된다. 원거리 조작기는, 외과 의사가 주어진 수술과 관련되는 정상적인 움직임을 수행하는 것을 허용하는 원격 조작기이다. 로봇 팔은 엔드 이펙터 및 조작기를 사용하여 그들 움직임을 실행하여 환자에 대해 수술을 수행한다. 컴퓨터 제어식 시스템에서, 외과 의사는 컴퓨터를 사용하여 로봇 팔과 그것의 엔드 이펙터를 제어한다.
로봇 수술의 한 가지 이점은, 외과 의사가 수술 부위를 직접적으로 볼 필요가 없고, 실제로 수술실에 존재할 필요가 전혀 없다는 것이다. 그러나, 콘솔을 통해 수술 부위를 볼 때, 외과 의사는 그 수술 부위의 기하학적 형상(geometry)으로부터 격리된다. 특히, 그들은 제한된 시야에 기인하여 방향 및 스케일과 관련하여 분별을 잃게 될 수도 있다.
이미지 콘솔은 삼차원, 고선명, 및 확대 이미지를 제공할 수 있다. 다양한 전자 도구가 적용되어 외과 의사를 추가로 지원할 수도 있다. 이들은 시각적 확대(예를 들면, 가시성을 향상시키는 대형 관찰 스크린(large viewing screen)의 사용) 및 안정화(예를 들면, 기계 또는 흔들리는 사람의 손에 기인하는 진동의 전기 기계적 감쇠)를 포함한다. 의사의 수술 숙련도를 향상시키기 위한 전문화된 가상 현실 트레이닝 도구의 형태의 시뮬레이터가 또한 제공될 수도 있다.
그러나, 이미지가 추가로 조작됨에 따라, 외과 의사는 수술 부위의 기하학적 형상으로부터 더욱 격리되고 방향을 잃을 수도 있다.
수술 동안 외과 의사에게 방위를 제공하는 것을 돕기 위해, 본 개시의 다양한 실시형태는 디지털 디스플레이에서 내비게이션 삽화(navigation inset)를 제공한다. 내비게이션 삽화는 해부학적 모델을 기준으로 현재 뷰의 포지션을 제공한다. 또한, 몇몇 실시형태는, 위쪽(up)과 같은 기준 방향의 표시를 제공한다.
도 1을 참조하면, 본 개시에 따른 예시적인 로봇 수술 셋업이 예시되어 있다. 로봇 팔(101)은 복부(103) 내에서 스코프(102)를 전개한다. 디지털 이미지가 스코프(102)를 통해 수집된다. 몇몇 실시형태에서, 디지털 이미지가 스코프 팁에 있는 하나 이상의 디지털 카메라에 의해 캡쳐된다. 몇몇 실시형태에서, 디지털 이미지가 스코프 팁으로부터 다른 곳의 하나 이상의 디지털 카메라로 이어지는 하나 이상의 광섬유 엘리먼트에 의해 캡쳐된다.
디지털 이미지는 컴퓨팅 노드(104)에 제공되는데, 여기서, 그것은 프로세싱되고 그 다음 디스플레이(105) 상에서 디스플레이된다.
다양한 실시형태에서, 스코프(102)는 하나 이상의 포지션 및 방위 센서, 예를 들면, 자력계, 자이로스코프, 및/또는, 거리 측정기(range finder)를 포함한다. 몇몇 실시형태에서, 팔(101)의 각각의 관절의 포지션이 추적되어, 컴퓨팅 노드(104)에 의한 스코프(102)의 위치(location) 및 방위의 계산을 허용한다. 몇몇 실시형태에서, 스코프(102)는 이미지에 추가하여 깊이 데이터를 제공하도록 구성된다. 센서 출력 및/또는 관절 포지션에 기초하여, 컴퓨팅 노드(104)는 수술 대상에 대한 스코프의 위치 및 방위를 결정한다. 그 다음, 이 위치는 해부학적 모델에 상관될 수도 있다. 하기에서 설명되는 바와 같이, 해부학적 모델에 대한 상관은, 깊이 데이터, 이미지 인식/도해서 등록, 및/또는 공통 좌표 시스템에 대한 환자의 등록에 기초하여 수행될 수도 있다.
이러한 방식으로, 컴퓨팅 노드(104)는 디스플레이를 위한 카메라 포지션 및 방위의 표시를 생성할 수 있다.
해부학적 구조의 어느 부분 상에서 카메라의 시야가 오버레이 되는지를 결정하기 위해 다양한 방법이 사용된다. 몇몇 실시형태에서, 환자는 카메라 좌표를 제공하는 동일한 공간에 등록된다. 그러한 실시형태에서, 예를 들면, 각각의 로봇 관절의 배열로부터 결정되는 바와 같은 카메라 위치는, 그 다음, 공통 좌표 공간에 있는 환자에게 상관된다. 몇몇 실시형태에서, 카메라에 의해 캡쳐되는 이미지는 시야에서 해부학적 구조를 식별하도록 해석된다. 이러한 방식으로, 시야는 참조 모델과 관련하여 결정될 수도 있다.
도 2를 참조하면, 본 개시에 따른 예시적인 디스플레이가 제공된다. 이미지(201)는 수술 부위 내부의 카메라로부터 송신된다. 다양한 실시형태에서, 카메라는 내시경 도구의 원위 단부에서 제공될 수도 있다. 카메라의 위치 및 방위에 기초하여, 개략적인 뷰(202)가 또한 제공된다. 뷰(202)는, 예를 들면, 몸통의 해부학적 모델을 포함한다. 프레임(203)은 모델 상에서 이미지(201)의 범위를 강조 표시한다. 다양한 실시형태에서, 카메라가 밖으로 이동하여 해부학적 구조의 더 큰 부분을 볼 때, 이 프레임은 카메라의 시야를 반영하도록 사이즈가 조정된다(resize).
도 3을 참조하면, 본 개시에 따른 제2 예시적인 디스플레이가 제공된다. 이미지(301)는 수술 부위 내부의 카메라로부터 송신된다. 카메라의 위치 및 방위에 기초하여, 개략적인 뷰(302)가 또한 제공된다. 뷰(302)는, 예를 들면, 몸통의 해부학적 모델을 포함한다. 프레임(303)은 모델 상에서 이미지(301)의 범위를 강조 표시한다. 다양한 실시형태에서, 카메라가 밖으로 이동하여 해부학적 구조의 더 큰 부분을 볼 때, 이 프레임은 카메라의 시야를 반영하도록 사이즈가 조정된다. 화살표(304)는 해부학적 모델과 관련한 카메라의 방향을 나타낸다.
다양한 실시형태에서, 외과 의사는 환자와 관련한 주어진 위쪽 방향을 유지하기 위해 이미지(301)를 잠글 수도 있다. 이러한 방식으로, 카메라의 회전은 이미지로 하여금 회전하게 하지 않는다.
도 2 및 도 3의 배열은 예시적이다는 것, 및 카메라 뷰 및 참조/개략적인 뷰의 다른 배열이 다양한 실시형태에서 사용될 수도 있다는 것이 인식될 것이다. 예를 들면, 참조 뷰는 카메라 뷰를 포함하는 메인 디스플레이와는 별개의 보조 디스플레이 상에서 디스플레이될 수도 있다. 다른 예에서, 참조 뷰는 메인 카메라 뷰에 대한 삽화로서 디스플레이된다. 다른 예에서, 참조 뷰는, 예를 들면, 터치 인터페이스를 통해 외과 의사에 의해 메인 카메라 뷰 내에서 배치되고 사이즈가 조정될 수도 있다.
도 4를 참조하면, 본 개시에 따른 제3 디스플레이가 제공된다. 이미지(401)는 수술 부위 내부의(예를 들면, 복강경 수술을 받고 있는 환자의 복부 내부의) 카메라로부터 송신된다. 카메라의 위치 및/또는 방위에 기초하여, 개략적인 뷰(402)가 또한 제공된다. 뷰(402)는, 예를 들면, 몸통의 해부학적 모델을 포함한다. 프레임(403)은 모델 상에서 이미지(401)의 범위를 강조 표시한다. 카메라가 밖으로 이동하여 해부학적 구조의 더 큰 부분을 볼 때, 이 프레임은 카메라의 시야를 반영하도록 사이즈가 조정된다. 화살표(404)는 해부학적 모델과 관련한 카메라의 방향을 나타낸다.
다양한 실시형태에서, 해부학적 모델은 보편적인 도해서를 포함할 수도 있다. 다양한 실시형태에서, 보편적인 도해서는, 다양한 조직, 장기, 신체 구조, 등등의 형상, 포지션, 및 상대적 위치를 근사하려고 시도하는 인체 해부학적 구조의 일반적인 표현일 수도 있다. 다양한 실시형태에서, 해부학적 모델은 하나 이상의 해부학적 오브젝트(예를 들면, 심장, 폐, 장, 방광, 등등)의 단순화된 그림 표현일 수도 있다. 다양한 실시형태에서, 단순화된 그림 표현은 만화(cartoon)일 수도 있다. 다양한 실시형태에서, 단순화된 그림 표현은 해부학적 오브젝트(예를 들면, 심장)의 다양한 구조를 표현하기 위한 기본적인 형상을 포함할 수도 있다. 예를 들면, 심장은 네 개의 주요 혈관(즉, 대동맥, 대정맥, 폐동맥 및 폐정맥)을 나타내는 네 개의 원통형 튜브를 갖는 속이 빈 상자 또는 구(sphere)로서 디스플레이될 수도 있다.
다양한 실시형태에서, 해부학적 모델은 환자로부터의 이미징을 포함할 수도 있다. 다양한 실시형태에서, 이미징은 PACS로부터 검색될 수도 있다. 다양한 실시형태에서, 이미징은 임의의 적절한 2D 이미징(예를 들면, 디지털 이미징, X 선, CT, MRI, 초음파, 등등)을 포함할 수도 있다. 다양한 실시형태에서, 이미징은 임의의 적절한 2D 이미징 기술(예를 들면, 예를 들면, 2D MRI 슬라이스의 시퀀스)에 기초한 3D 재구성을 포함할 수도 있다. 다양한 실시형태에서, 환자의 이미징은 의료적 절차 동안 실시간으로 업데이트될 수도 있다. 예를 들면, 환자의 이미징이 (예를 들면, 형광 투시법, 수술 중의 CT, 등등을 사용하여) 실시간으로 캡쳐될 수도 있고 해부학적 모델은 실시간 이미징에 기초하여 업데이트될 수도 있다. 예를 들면, 조직 또는 장기가 (예를 들면, 외과 의사가 기저의 구조에 액세스할 수 있도록) 수술전 이미징에서 표현되는 원래의 포지션에서 벗어나게 외과 의사에 의해 시프트된 경우, 모델 정확도를 향상시키기 위해 실시간 이미징은 해부학적 모델에서의 시프트된 조직 또는 장기의 포지션을 업데이트할 것이다.
다양한 실시형태에서, 카메라의 포지션(예를 들면, 삼차원 좌표) 및/또는 방위(예를 들면, 3D 회전)은 절대 포지션(즉, 위치) 및 절대 방위를 사용하여 결정될 수도 있다. 예를 들면, 카메라는 카메라의 절대 포지션 및/또는 절대 방위를 결정하기 위해 하나 이상의 인코더와 함께 기계적 암 상에 장착될 수도 있다. 다른 예에서, 카메라는 기술 분야에서 공지되어 있는 적절한 광학적 추적 시스템을 사용하여 추적될 수도 있다.
다양한 실시형태에서, 절대 포지션은 RF 삼각 측량법(예를 들면, 시간 지연 또는 위상 지연)을 통해 결정될 수도 있다. 다양한 실시형태에서, 카메라의 포지션은, 심지어 오퍼레이팅 시스템이 턴오프되고 다시 턴온되는 경우에도(예를 들면, 정전(power outage) 동안) 알려질 수도 있다. 다양한 실시형태에서, 카메라는 자기 내비게이션 시스템(magnetic navigation system)을 포함할 수도 있다. 다양한 실시형태에서, 카메라는 자기 센서를 포함할 수도 있다. 다양한 실시형태에서, 자기장 생성기는 수술 부위의 외부에(예를 들면, 수술대 아래에) 배치될 수도 있다.
다양한 실시형태에서, 카메라의 포지션(예를 들면, 삼차원 좌표) 및/또는 방위(예를 들면, 3D 회전)은 상대적 포지션(즉, 변위) 및 상대적 방위를 사용하여 결정될 수도 있다. 예를 들면, 카메라는 카메라의 상대적 포지션 및/또는 상대 방위를 결정하기 위해 관성 측정 유닛을 갖출 수도 있다.
다양한 실시형태에서, 카메라의 포지션은 다음의 센서 중 하나 이상을 사용하여 결정될 수도 있다: 절대 인코더, 용량성 변위 센서, 와전류 센서(eddy-current sensor), 홀 효과 센서(Hall effect sensor), 증분 인코더, 유도 센서, 레이저 도플러(laser Doppler), 진동계(광학), 선형 인코더, 선형 가변 차동 변압기(linear variable differential transformer; LVDT), 광학 인코더, 포토다이오드 어레이, 자기 인코더, 압전 트랜스듀서(압전), 전위차계(potentiometer), 근접 센서(광학), 회전식 인코더(각도), 스트링 전위차계(string potentiometer), 및/또는 초음파 센서.
다양한 실시형태에서, 내시경은, 예를 들면, 내시경의 곡률을 결정하기 위한 스트레인 센서를 포함할 수도 있다. 다양한 실시형태에서, 내시경은 광학 스트레인 게이지, 예를 들면, Bragg(브래그) 섬유를 포함할 수도 있다.
다양한 실시형태에서, 카메라의 좌표 공간이 환자 및/또는 해부학적 모델의 좌표 공간에 등록될 수도 있다. 다양한 실시형태에서, 카메라의 좌표 공간 및 환자 및/또는 해부학적 모델의 좌표 공간의 등록은 교정 매트릭스(calibration matrix)를 사용하여 등록될 수도 있다. 다양한 실시형태에서, 교정 매트릭스는 최소 평균 제곱(least mean square; LMS) 알고리즘을 통해 결정될 수도 있다. 다양한 실시형태에서, 캘리브레이션 매트릭스는 Kalman(칼만) 필터를 통해 결정될 수도 있다.
다양한 실시형태에서, 카메라의 좌표 공간은 해부학적 랜드마크를 사용하는 것에 의해 환자 및/또는 모델의 좌표 공간에 등록될 수도 있다. 다양한 실시형태에서, 절대 카메라 포지션을 사용하는 경우, 카메라는, 카메라를 외부에서 환자에게 지향시키는 것 및 랜드마크(예를 들면, 엉덩이 뼈 및/또는 흉골과 같은 뼈 랜드마크)를 식별하는 것에 의해, 환자 및/또는 모델에 등록될 수 있다. 다양한 실시형태에서, 동일한 랜드마크가 모델에서 식별될 수도 있다. 다양한 실시형태에서, 모델 및 환자의 좌표 공간을 정렬하기 위해, 상이한 랜드마크가 식별될 수도 있다. 예를 들면, 카메라 및 환자의 좌표 공간을 정렬하기 위해 하나(또는 그 이상)의 해부학적 랜드마크가 사용될 수도 있고, 한편, 카메라 및 모델의 좌표 공간을 정렬하기 위해, 상이한 (하나 이상의) 해부학적 랜드마크가 사용될 수도 있다. 다양한 실시형태에서, 카메라의 후속하는 포지션은 절대 단위에서 보고될 수도 있다. 다양한 실시형태에서, 절대 단위는 환자 좌표 공간 및/또는 모델 좌표 공간으로 변환될 수도 있다.
다양한 실시형태에서, 상대적 카메라 포지션을 사용하는 경우, 카메라는, 절대 포지션 방법과 유사하게, 카메라를 하나 이상의 해부학적 랜드마크로 지향시키는 것에 의해 환자 및/또는 모델에 등록될 수 있다. 다양한 실시형태에서, 하나 이상의 해부학적 랜드마크는 의도된 수술 부위(예를 들면, 간, 식도 열공(esophageal hiatus), 신장, 등등)에 더 가깝게 선택된다. 다양한 실시형태에서, 카메라의 상대적 포지션은 초기 등록 장소로부터 연속적으로 추적될 수도 있다. 다양한 실시형태에서, 카메라의 상대적 포지션은 환자 및/또는 모델 좌표 공간으로 변환될 수도 있다.
다양한 실시형태에서, 카메라의 포지션 및/또는 방위 정보는 시각적 오도메트리를 사용하여 결정될 수도 있다. 다양한 실시형태에서, 하나 이상의 카메라로부터의 하나 이상의 이미지 프레임(예를 들면, 순차적 이미지)가 분석되어 하나 이상의 카메라의 포지션 및/또는 방위 정보를 결정할 수도 있다. 다양한 실시형태에서, 시각적 오도메트리는 단안 셋업에서 수행될 수도 있다. 다양한 실시형태에서, 시각적 오도메트리는 스테레오 셋업(예를 들면, 서로에 대해 공지된 포지션을 갖는 두 대의 카메라)에서 수행될 수도 있다. 다양한 실시형태에서, 하나 이상의 카메라는 하나 이상의 교정 마커로부터 교정될 수도 있다. 다양한 실시형태에서, 교정 마커는, 예를 들면, 하나 이상의 공지된 측정치, 공지된 거리에 있는 하나 이상의 오브젝트, 및/또는 하나 이상의 공지된 각도 회전을 포함할 수도 있다. 다양한 실시형태에서, 카메라는 외과 수술을 수행하기 이전에(예를 들면, 체강 안으로의 삽입하기 이전에) 교정 마커에 대해 교정될 수도 있다. 다양한 실시형태에서, 시각적 오도메트리는, 이미지 피쳐 포인트를 추출하는 것 및 이미지 시퀀스에서 그들을 추적하는 것에 의한 피쳐 기반의 방법을 사용하여 수행될 수도 있다. 다양한 실시형태에서, 시각적 오도메트리는, 이미지 시퀀스에서의 픽셀 강도가 시각적 입력으로 직접적으로 사용되는 직접 방법을 사용하여 수행될 수도 있다. 다양한 실시형태에서, 시각적 오도메트리는 피쳐 기반의 그리고 직접 방법의 하이브리드 방법을 사용하여 수행될 수도 있다. 다양한 실시형태에서, 시각적 오도메트리는 관성 측정 유닛을 사용하여 수행될 수도 있다.
다양한 실시형태에서, 시각적 오도메트리는 다음의 알고리즘 단계를 사용하여 수행될 수도 있다. 제1 단계에서, 입력 이미지는 단일의 카메라, 스테레오 카메라, 또는 전방향 카메라 중 어느 하나를 사용하는 것에 의해 획득될 수도 있다. 제2 단계에서, 렌즈 왜곡 제거, 등등에 대해 이미지 프로세싱 기술이 적용되는 이미지 보정(image correction)이 수행될 수도 있다. 제3 단계에서, 피쳐 검출은 주목하는, 연산자를 정의하기 위해, 그리고 프레임 전반에 걸쳐 피쳐를 매치시키고 옵티컬 플로우 필드(optical flow field)를 구성하기 위해 수행될 수도 있다. 피쳐 검출에서, 상관은 두 이미지의 관련성을 확립하기 위해 사용될 수도 있으며, 장기간의 피쳐 추적은 사용되지 않을 수도 있다. 피쳐 추출 및 상관이 수행될 수도 있다. 옵티컬 플로우 필드가 구성될 수도 있다(예를 들면, Lucas-Kanade(루카스-카나데) 방법). 제4 단계에서, 잠재적인 추적 에러에 대해 그리고 이상점(outlier)을 제거하기 위해 플로우 필드 벡터(flow field vector)가 체크된다. 제5 단계에서는, 옵티컬 플로우로부터 카메라 모션이 추정된다. 카메라 모션의 추정은, (1) 상태 추정 분포 유지를 위한 칼만 필터; 또는 (2) 두 개의 인접한 이미지 사이의 재투영 에러(re-projection error)에 기초하여 비용 함수를 최소화하는 피쳐의 기하학적 및 3D 속성을 통해 수행될 수도 있다(이것은, 예를 들면, 수학적 최소화 또는 랜덤 샘플링에 의해 행해질 수 있음). 제6 단계에서, 이미지 전체에 걸쳐 적용 범위를 유지하기 위해, 추적 포인트(trackpoint)의 주기적인 다시 채우기(repopulation)가 수행될 수도 있다. 다양한 실시형태에서, 센서 공간에서 에러를 직접적으로 최소화하고 후속하여 피쳐 매칭 및 추출을 방지하는 직접적인 또는 외관 기반의 시각적 오도메트리 기술이 수행될 수도 있다. 다양한 실시형태에서, "visiodometry(비지오도메트리)"로서 공지되어 있는 시각적 오도메트리의 다른 방법은, 피쳐를 추출하는 대신, 위상 상관을 사용하여 이미지 사이의 평면 회전 변환을 추정하는 것에 의해 수행될 수도 있다.
다양한 실시형태에서, 하나 이상의 카메라는 장면 내의 하나 이상의 마커로부터 포지션 및/또는 깊이를 결정할 수도 있다. 다양한 실시형태에서, 하나 이상의 마커는 해부학적 랜드마크, 인공 마커(예를 들면, 염료 마커), 수술 도구(예를 들면, 봉합사), 등등을 포함할 수도 있다.
다양한 실시형태에서, 하나 이상의 카메라는 하나 이상의 이미지 프레임을 파노라마 픽쳐로 합성(예를 들면, 스티칭)할 수도 있다. 다양한 실시형태에서, 해부학적 모델 상의 하이라이트 프레임은 하나 이상의 이미지 프레임으로부터 생성되는 파노라마 픽쳐에 기초하여 조정될 수도 있다(예를 들면, 사이즈에서 증가될 수도 있거나 또는 사이즈에서 감소될 수도 있다).
이제 도 5를 참조하면, 본 개시의 실시형태에 따른 외과적 수술 동안 카메라를 배향하기 위한 방법이 예시된다. 401에서, 체강 내부의 이미지가 카메라로부터 수신된다. 402에서, 카메라의 포지션 정보가 수신된다. 403에서, 해부학적 모델에 대한 카메라의 시야를 나타내는 참조 뷰가 포지션 정보에 기초하여 생성된다. 404에서, 참조 뷰는 이미지와 조합하여 유저에게 디스플레이된다.
본 개시의 다양한 실시형태는 내시경과 같은 위장(gastrointestinal; GI) 카테터에서의 사용을 위해 적응될 수도 있다. 특히, 내시경은 분무식 스프레이기(atomized sprayer), 적외선 소스, 카메라 시스템 및 광학기기(optics), 하나 이상의 로봇 팔, 및/또는 이미지 프로세서를 포함할 수도 있다.
다양한 실시형태에서, 본원에서 설명되는 시스템은 런타임에서 구성 가능할 수도 있다. 다양한 실시형태에서, 하나 이상의 환자 이미지(예를 들면, DICOM 이미지)가 외과적 수술 이전에 사전 로딩될 수도 있다. 다양한 실시형태에서, 환자 이미지는 PACS로부터 로딩될 수도 있다. 다양한 실시형태에서, 유저 선호도가 저장될 수도 있다. 다양한 실시형태에서, 유저 선호도는 특정한 유저가 시스템에 로그인하면 로딩될 수도 있다.
의료 영상 저장 정보 시스템(PACS)는 다수의 양식으로부터의 이미지에 대한 저장 및 액세스를 제공하는 의료 이미징 시스템이다. 많은 건강 관리 환경에서, 전자 이미지 및 보고서가 PACS를 통해 디지털 방식으로 송신되며, 따라서, 필름 자켓을 수동으로 파일링할(file), 검색할, 또는 전송할 필요성을 제거한다. PACS 이미지 저장 및 전송을 위한 표준 포맷은 DICOM(Digital Imaging and Communications in Medicine; 의료용 디지털 이미징 및 통신)이다. 스캐닝된 문서와 같은 비이미지 데이터는, DICOM에서 캡슐화되는 PDF(Portable Document Format; 휴대용 문서 포맷)와 같은 다양한 표준 포맷을 사용하여 통합될 수도 있다.
전자 건강 기록(electronic health record; EHR), 또는 전자 의료 기록(electronic medical record; EMR)은, 디지털 포맷의 환자 및 모집단 전자 저장 건강 정보의 체계화된 콜렉션(systematized collection)을 가리킬 수도 있다. 이들 기록은 상이한 건강 관리 환경에 걸쳐 공유될 수 있고 상기에서 논의되는 PACS에서 이용 가능한 정보 이상으로 확장될 수도 있다. 기록은 네트워크로 연결된 전사적 정보 시스템 또는 다른 정보 네트워크 및 교환을 통해 공유될 수도 있다. EHR은, 인구 통계학, 병력(medical history), 약물 및 알레르기, 예방 접종 상태, 실험실 테스트 결과, 방사선 보고서(radiology report), 방사선 이미지(radiology image), 활력 징후, 연령 및 체중과 같은 개인 통계치, 청구 정보를 비롯한, 다양한 종류의 데이터를 포함할 수도 있다.
EHR 시스템은 데이터를 저장하고 시간이 지남에 따른 환자의 상태를 캡쳐하도록 설계될 수도 있다. 이러한 방식으로, 환자의 이전 종이 의료 기록을 추적할 필요성이 제거된다. 또한, EHR 시스템은 데이터가 정확하고 읽기 쉽다는 것의 보장에 도움이 될 수도 있다. 그것은 데이터가 중앙 집중화되기 때문에 데이터 복제의 위험성을 감소시킬 수도 있다. 디지털 정보가 검색 가능한 것에 기인하여, EMR은, 환자에서의 가능한 추세 및 장기적인 변화의 검사를 위해 의료 데이터를 추출할 때, 더욱 효과적일 수도 있다. 의료 기록의 모집단 기반의 연구는, EHR 및 EMR의 광범위한 채택에 의해 또한 촉진될 수도 있다.
건강 레벨 7(Health Level-7) 또는 HL7은, 다양한 건강 관리 제공자에 의해 사용되는 소프트웨어 애플리케이션 사이에서 임상 및 관리 데이터를 전송하기 위한 국제 표준 세트를 가리킨다. 이들 표준은, OSI 모델에서 계층 7인 애플리케이션 계층에 초점을 맞춘다. 병원 및 다른 건강 관리 제공자 조직(healthcare provider organization)은, 청구 기록으로부터 환자 추적에 이르기까지의 모든 것에 대해 사용되는 많은 상이한 컴퓨터 시스템을 구비할 수도 있다. 이상적으로는, 이들 시스템 모두는, 그들이 새로운 정보를 수신하는 경우 또는 그들이 정보 검색을 원하는 경우 서로 통신할 수도 있지만, 그러나 그러한 접근법의 채택은 널리 보급되지 않았다. 이들 데이터 표준은 건강 관리 조직이 임상 정보를 쉽게 공유하는 것을 허용하도록 의도된다. 정보를 교환하는 이러한 능력은, 의학적 관리에서의 가변성 및 의학적 관리가 지리적으로 고립될 경향을 최소화하는 데 도움이 될 수도 있다.
다양한 시스템에서, PACS, 전자 의료 기록(EMR), 병원 정보 시스템(Hospital Information System; HIS), 방사선 정보 시스템(Radiology Information System; RIS), 또는 보고서 저장소 사이에서 연결이 제공된다. 이러한 방식으로, 분석을 위해 EMR로부터 기록 및 보고서가 수집될 수도 있다. 예를 들면, HL7 주문 및 결과 메시지를 수집 및 저장하는 것 외에도, ADT 메시지가 사용될 수도 있거나, 또는 EMR, RIS, 또는 보고서 저장소가 제품별 메커니즘을 통해 직접적으로 조회될(queried) 수도 있다. 그러한 메커니즘은 관련된 임상 정보에 대한 FHIR(Fast Health Interoperability Resource)을 포함한다. 지속 진료 기록(Continuity of Care Document; CCD)과 같은 다양한 HL7 CDA 문서의 수신을 통해 임상 데이터가 또한 획득될 수도 있다. 표준 방법 외에도, 다양한 추가적인 독점적 또는 사이트 커스터마이징 쿼리 방법(site-customized query method)이 또한 활용될 수도 있다.
도 6을 참조하면, 예시적인 PACS(600)는 네 개의 주요 컴포넌트로 구성된다. 컴퓨터 단층 촬영(CT)(601), 자기 공명 영상(MRI)(602), 또는 초음파(ultrasound; US)(603)와 같은 다양한 이미징 양식(modality)(601, ..., 609)이 시스템에 영상(imagery)을 제공한다. 몇몇 구현예에서, 영상은, 아카이브(612)에서 저장되기 이전에, PACS 게이트웨이(611)로 송신된다. 아카이브(612)는 이미지 및 보고서의 저장 및 검색을 제공한다. 워크스테이션(621, ..., 629)은 아카이브(612) 내의 이미지의 해석 및 재검토를 제공한다. 몇몇 실시형태에서, 시스템의 컴포넌트 사이에서 환자 정보의 송신을 위해 보안 네트워크가 사용된다. 몇몇 실시형태에서, 워크스테이션(621, ..., 629)은 웹 기반의 뷰어일 수도 있다. PACS는, 이미지, 해석, 및 관련된 데이터에 대한 적시의 그리고 효율적인 액세스를 제공하여, 전통적인 필름 기반의 이미지 검색, 배포, 및 디스플레이의 결점을 제거한다.
PACS는, X 선 단순 촬영법(plain film; PF), 초음파(US), 자기 공명(magnetic resonance; MR), 핵의학 이미징, 양전자 방출 단층 촬영(positron emission tomography; PET), 컴퓨터 단층 촬영(CT), 내시경(endoscopy; ES), 유방 조영술(mammograms; MG), 디지털 방사선 촬영(digital radiography; DR), 컴퓨터 방사선 촬영(computed radiography; CR), 조직병리학(Histopathology), 또는 안과학(ophthalmology)과 같은, 다양한 의료 이미징 기구로부터의 이미지를 핸들링할 수도 있다. 그러나, PACS는 이미지의 사전 결정된 목록으로 제한되지는 않으며, 방사선학, 심장학, 종양학, 또는 위장병학과 같은 이미징의 종래의 소스를 넘어서는 임상 영역을 지원한다.
상이한 유저는 전체 PACS 시스템에 대해 상이한 뷰를 가질 수도 있다. 예를 들면, 방사선 전문의는 통상적으로 관찰 스테이션(viewing station)에 액세스할 수도 있지만, 기술자는 통상적으로 QA 워크스테이션에 액세스할 수도 있다.
몇몇 구현예에서, PACS 게이트웨이(611)는 품질 보증(quality assurance; QA) 워크스테이션을 포함한다. QA 워크스테이션은, 환자 인구 통계학이 정확하고 뿐만 아니라 연구의 다른 중요한 속성이다는 것을 확인하기 위한 체크포인트를 제공한다. 연구 정보가 정확하면, 이미지는 저장을 위해 아카이브(612)로 전달된다. 중앙 스토리지 디바이스인 아카이브(612)는 이미지를 저장하고, 몇몇 구현예에서는, 이미지와 함께 상주하는 보고서, 측정치 및 다른 정보를 저장한다.
일단 이미지가 아카이브(612)에 저장되면, 그들은 판독 워크스테이션(reading workstation; 621, ..., 629)으로부터 액세스될 수도 있다. 판독 워크스테이션은 방사선 전문의가 환자의 연구 사항을 재검토하고 그들의 진단을 공식화하는 곳이다. 몇몇 구현예에서, 방사선 전문의가 최종 보고서를 구술하는(dictating) 것을 지원하기 위해, 보고 패키지가 판독 워크스테이션에 결부된다. 전통적인 지시에 의존하는 것들을 비롯한, 다양한 보고 시스템이 PACS와 통합될 수도 있다. 몇몇 구현예에서는, 환자 또는 조회하는 의사에게 배포하기 위한 환자 연구 사항을 버닝하기 위해, CD 또는 DVD 저작용 소프트웨어(authoring software)가 워크스테이션(621, ..., 629)에 포함된다.
몇몇 구현예에서, PACS는 워크스테이션(621, ..., 629)에 대한 웹 기반의 인터페이스를 포함한다. 그러한 웹 인터페이스는 인터넷 또는 광역 통신망(Wide Area Network; WAN)을 통해 액세스될 수도 있다. 몇몇 구현예에서, VPN(Virtual Private Network; 가상 사설망) 또는 SSL(Secure Sockets Layer; 보안 소켓 계층)에 의해 연결 보안이 제공된다. 클라이언트 측 소프트웨어는 ActiveX(액티브엑스), JavaScript(자바스크립트), 또는 Java Applet(자바 애플릿)을 포함할 수도 있다. PACS 클라이언트는 또한, 웹 환경 외부에서 그들이 실행되고 있는 컴퓨터의 전체 리소스를 활용하는 전체 애플리케이션(full application)일 수도 있다.
PACS 내의 통신은 의료용 디지털 이미징 및 통신(DICOM)을 통해 일반적으로 제공된다. DICOM은 의료 이미징에서 정보를 핸들링, 저장, 인쇄, 및 송신하기 위한 표준을 제공한다. 그것은 파일 포맷 정의 및 네트워크 통신 프로토콜을 포함한다. 통신 프로토콜은, 시스템 사이에서 통신하기 위해 TCP/IP를 사용하는 애플리케이션 프로토콜이다. DICOM 파일은 DICOM 포맷으로 이미지 및 환자 데이터를 수신할 수 있는 두 엔티티 사이에서 교환될 수 있다.
DICOM은 정보를 데이터 세트로 그룹화한다. 예를 들면, 특정한 이미지를 포함된 파일은, 일반적으로, 파일 내에서 환자 ID를 포함하고, 그 결과 이미지는 실수로 이 정보로부터 절대 분리될 수 없다. DICOM 데이터 오브젝트는, 이름 및 환자 ID와 같은 아이템을 비롯한, 다수의 속성뿐만 아니라, 이미지 픽셀 데이터를 포함하는 특수 속성으로 구성된다. 따라서, 메인 오브젝트는 그 자체로는 어떠한 헤더도 가지지 않지만, 그러나 대신 픽셀 데이터를 비롯한, 속성의 목록을 포함한다. 픽셀 데이터를 포함하는 DICOM 오브젝트는 단일의 이미지에 대응할 수도 있거나, 또는 여러 프레임을 포함할 수도 있어서, 시네 루프(cine loop) 또는 다른 다중 프레임 데이터의 저장을 허용할 수도 있다. DICOM은 단일의 DICOM 오브젝트에서 캡슐화되는 삼차원 또는 사차원 데이터를 지원한다. 픽셀 데이터는, JPEG, 무손실(Lossless) JPEG, JPEG 2000, 런렝쓰 인코딩(Run-length encoding; RLE)을 비롯한, 다양한 표준을 사용하여 압축될 수도 있다. LZW(zip) 압축이 전체 데이터 세트에 대해 또는 단지 픽셀 데이터에 대해서만 사용될 수도 있다.
이제 도 7을 참조하면, 컴퓨팅 노드의 한 예의 개략도가 도시되어 있다. 컴퓨팅 노드(10)는 적절한 컴퓨팅 노드의 하나의 예에 불과하며 본원에서 설명되는 실시형태의 사용 또는 기능성(functionality)의 범위에 관해서 어떠한 제한도 제안하도록 의도되는 것은 아니다. 그럼에도 불구하고, 컴퓨팅 노드(10)는 본원의 상기에서 기술되는 기능성 중 임의의 것을 구현할 수 있고 및/또는 수행할 수 있다.
컴퓨팅 노드(10)에서는, 수많은 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성과 함께 동작하는 컴퓨터 시스템/서버(12)가 있다. 컴퓨터 시스템/서버(12)와 함께 사용하기에 적합할 수도 있는 널리 공지된 컴퓨팅 시스템, 환경, 및/또는 구성의 예는, 퍼스널 컴퓨터 시스템, 서버 컴퓨터 시스템, 씬 클라이언트(thin client), 씩 클라이언트(thick client), 핸드헬드 또는 랩탑 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반의 시스템, 셋탑 박스, 프로그래머블 소비자 전자기기, 네트워크 PC, 미니컴퓨터 시스템, 메인프레임 컴퓨터 시스템, 및 상기의 시스템 또는 디바이스 중 임의의 것을 포함하는 분산 클라우드 컴퓨팅 환경, 및 등등을 포함하지만, 그러나 이들로 제한되지는 않는다.
컴퓨터 시스템/서버(12)는, 컴퓨터 시스템에 의해 실행되고 있는, 프로그램 모듈과 같은 컴퓨터 시스템 실행 가능 명령어의 일반적인 맥락에서 설명될 수도 있다. 일반적으로, 프로그램 모듈은, 특정한 작업을 수행하는 또는 특정한 추상 데이터 타입을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 로직, 데이터 구조, 및 등등을 포함할 수도 있다. 컴퓨터 시스템/서버(12)는, 통신 네트워크를 통해 연결되는 원격 프로세싱 디바이스에 의해 작업이 수행되는 분산 클라우드 컴퓨팅 환경에서 실시될 수도 있다. 분산 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 메모리 스토리지 디바이스를 포함하는 로컬 및 원격 컴퓨터 시스템 저장 매체 둘 모두에서 위치될 수도 있다.
도 7에서 도시되는 바와 같이, 컴퓨팅 노드(10)에서의 컴퓨터 시스템/서버(12)는 범용 컴퓨팅 디바이스의 형태로 도시된다. 컴퓨터 시스템/서버(12)의 컴포넌트는, 하나 이상의 프로세서 또는 프로세싱 유닛(16), 시스템 메모리(28), 및 시스템 메모리(28)를 포함하는 다양한 시스템 컴포넌트를 프로세서(16)에 커플링하는 버스(18)를 포함할 수도 있지만, 그러나 이들로 제한되지는 않는다.
버스(18)는, 메모리 버스 또는 메모리 컨트롤러, 주변장치 버스, 가속 그래픽 포트, 및 다양한 버스 아키텍쳐 중 임의의 것을 사용하는 프로세서 또는 로컬 버스를 비롯한, 여러가지 타입의 버스 구조 중 임의의 것의 하나 이상을 나타낸다. 제한이 아닌 예로서, 그러한 아키텍쳐는 산업 표준 아키텍쳐(Industry Standard Architecture; ISA) 버스, 마이크로 채널 아키텍쳐(Micro Channel Architecture; MCA) 버스, 향상된 ISA(Enhanced ISA; EISA) 버스, 비디오 전자 표준 협회(Video Electronics Standards Association; VESA) 로컬 버스, 주변 장치 컴포넌트 인터커넥트(Peripheral Component Interconnect; PCI) 버스, 주변 장치 컴포넌트 인터커넥트 익스프레스(Peripheral Component Interconnect Express; PCIe), 및 고급 마이크로컨트롤러 버스 아키텍쳐(Advanced Microcontroller Bus Architecture; AMBA)를 포함한다.
컴퓨터 시스템/서버(12)는 통상적으로 다양한 컴퓨터 시스템 판독 가능 매체를 포함한다. 그러한 매체는 컴퓨터 시스템/서버(12)에 의해 액세스 가능한 임의의 이용 가능한 매체일 수도 있으며, 그것은 휘발성의 착탈식(removable) 및 비착탈식(non-removable) 매체 및 불휘발성의 착탈식 및 비착탈식 매체 둘 모두를 포함한다.
시스템 메모리(28)는, 랜덤 액세스 메모리(random access memory; RAM)(30) 및/또는 캐시 메모리(32)와 같은 휘발성 메모리의 형태의 컴퓨터 시스템 판독 가능 매체를 포함할 수 있다. 컴퓨터 시스템/서버(12)는 다른 착탈식/비착탈식의 휘발성/불휘발성 컴퓨터 시스템 저장 매체를 더 포함할 수도 있다. 단지 예로서, 스토리지 시스템(34)은 비착탈식 불휘발성 자기 매체(도시되지 않으며 통상적으로 "하드 드라이브"로 칭해짐)로부터의 판독 및 그에 대한 기록을 위해 제공될 수 있다. 비록 도시되지는 않지만, 착탈식 불휘발성 자기 디스크(예를 들면, "플로피 디스크")로부터의 판독 또는 그에 대한 기록을 위한 자기 디스크 드라이브 및 CD-ROM, DVD-ROM 또는 다른 광학 미디어와 같은 착탈식 불휘발성 광학 디스크로부터의 판독 및 그에 대한 기록을 위한 광학 디스크 드라이브가 제공될 수 있다. 그러한 예에서, 각각은 하나 이상의 데이터 미디어 인터페이스에 의해 버스(18)에 연결될 수 있다. 하기에서 추가로 묘사되고 설명될 바와 같이, 메모리(28)는, 본 개시의 실시형태의 기능을 실행하도록 구성되는 프로그램 모듈의 세트(예를 들면, 적어도 하나)를 갖는 적어도 하나의 프로그램 제품을 포함할 수도 있다.
제한이 아닌 예로서, 프로그램 모듈(42)의 세트(적어도 하나)를 갖는 프로그램/유틸리티(40) 뿐만 아니라, 오퍼레이팅 시스템, 하나 이상의 애플리케이션 프로그램, 다른 프로그램 모듈, 및 프로그램 데이터가 메모리(28)에 저장될 수도 있다. 오퍼레이팅 시스템, 하나 이상의 애플리케이션 프로그램, 다른 프로그램 모듈, 및 프로그램 데이터의 각각 또는 이들의 어떤 조합은 네트워킹 환경의 구현을 포함할 수도 있다. 프로그램 모듈(42)은 본원에서 설명되는 바와 같은 실시형태의 기능 및/또는 방법론을 일반적으로 실행한다.
컴퓨터 시스템/서버(12)는 또한, 키보드, 포인팅 디바이스, 디스플레이(24), 등등과 같은 하나 이상의 외부 디바이스(14); 유저가 컴퓨터 시스템/서버(12)와 상호 작용하는 것을 가능하게 하는 하나 이상의 디바이스; 및/또는 컴퓨터 시스템/서버(12)가 하나 이상의 다른 컴퓨팅 디바이스와 통신하는 것을 가능하게 하는 임의의 디바이스(예를 들면, 네트워크 카드, 모뎀, 등등)와 통신할 수도 있다. 그러한 통신은 입력/출력(Input/Output; I/O) 인터페이스(22)를 통해 발생할 수 있다. 여전히, 컴퓨터 시스템/서버(12)는, 네트워크 어댑터(20)를 통해 근거리 통신망(local area network; LAN), 일반 광역 통신망(WAN), 및/또는 공공 네트워크(예를 들면, 인터넷)와 같은 하나 이상의 네트워크와 통신할 수 있다. 묘사되는 바와 같이, 네트워크 어댑터(20)는 버스(18)를 통해 컴퓨터 시스템/서버(12)의 다른 컴포넌트와 통신한다. 비록 도시되지는 않지만, 다른 하드웨어 및/또는 소프트웨어 컴포넌트가 컴퓨터 시스템/서버(12)와 연계하여 사용될 수 있다는 것이 이해되어야 한다. 예는 다음의 것을 포함하지만, 그러나 이들로 제한되지는 않는다: 마이크로코드, 디바이스 드라이버, 리던던트 프로세싱 유닛(redundant processing unit), 외부 디스크 드라이브 어레이, RAID 시스템, 테이프 드라이브, 및 데이터 아카이브 스토리지 시스템, 등등.
본 개시는 시스템, 방법 및/또는 컴퓨터 프로그램 제품으로서 구체화될 수도 있다. 컴퓨터 프로그램 제품은, 프로세서로 하여금 본 개시의 양태를 실행하게 하기 위한 컴퓨터 판독 가능 프로그램 명령어를 갖는 컴퓨터 판독 가능 저장 매체(또는 매체들)를 포함할 수도 있다.
컴퓨터 판독 가능 저장 매체는 명령어 실행 디바이스에 의한 사용을 위한 명령어를 보유하고 저장할 수 있는 유형의 디바이스일 수 있다. 컴퓨터 판독 가능 저장 매체는, 예를 들면, 전자 스토리지 디바이스, 자기 스토리지 디바이스, 광학 스토리지 디바이스, 전자기 스토리지 디바이스, 반도체 스토리지 디바이스, 또는 전술한 것의 임의의 적절한 조합일 수도 있지만, 그러나 이들로 제한되지는 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예의 비망라적인 목록은 다음의 것을 포함한다: 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 소거 가능한 프로그래머블 리드 온리 메모리(erasable programmable read-only memory; EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(static random access memory; SRAM), 휴대용 컴팩트 디스크 리드 온리 메모리(compact disc read-only memory; CD-ROM), 디지털 다기능 디스크(digital versatile disk; DVD), 메모리 스틱, 플로피 디스크, 기계적으로 인코딩된 디바이스 예컨대 명령어가 레코딩된 그루브에서의 융기 구조체 또는 펀치 카드, 및 전술한 것의 임의의 적절한 조합. 컴퓨터 판독 가능 저장 매체는, 본원에서 사용될 때, 일시적 신호 그 자체, 예컨대 전파(radio wave) 또는 다른 자유롭게 전파하는 전자기파, 도파관 또는 다른 송신 매체를 통해 전파하는 전자기파(예를 들면, 광 섬유 케이블을 통과하는 광 펄스), 또는 와이어를 통해 송신되는 전기 신호인 것으로 해석되지 않아야 한다.
본원에서 설명되는 컴퓨터 판독 가능 프로그램 명령어는 컴퓨터 판독 가능 저장 매체로부터 각각의 컴퓨팅/프로세싱 디바이스로, 또는 네트워크, 예를 들면, 인터넷, 근거리 통신망, 광역 네트워크 및/또는 무선 네트워크를 통해 외부 컴퓨터 또는 외부 스토리지 디바이스로 다운로드될 수 있다. 네트워크는 구리 송신 케이블, 광학 송신 섬유, 무선 송신, 라우터, 방화벽, 스위치, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수도 있다. 각각의 컴퓨팅/프로세싱 디바이스에서의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령어를 수신하고 각각의 컴퓨팅/프로세싱 디바이스 내의 컴퓨터 판독 가능 저장 매체에서의 저장을 위해 컴퓨터 판독 가능 프로그램 명령어를 포워딩한다.
본 개시의 동작을 실행하기 위한 컴퓨터 판독 가능 프로그램 명령어는, 어셈블러 명령어, 명령어 세트-아키텍쳐(instruction-set-architecture; ISA) 명령어, 머신 명령어, 머신 의존 명령어, 마이크로코드, 펌웨어 명령어, 상태 설정 데이터, 또는 객체 지향 프로그래밍 언어 예컨대 Smalltalk, C++, 또는 등등, 및 종래의 절차적 프로그래밍 언어, 예컨대 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어를 비롯한, 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성되는 소스 코드 또는 오브젝트 코드 중 어느 하나일 수도 있다. 컴퓨터 판독 가능 프로그램 명령어는, 전적으로, 유저의 컴퓨터 상에서, 부분적으로 유저의 컴퓨터 상에서, 독립형 소프트웨어 패키지로서, 부분적으로는 유저의 컴퓨터 상에서 그리고 부분적으로는 원격 컴퓨터 상에서 또는 전적으로 원격 컴퓨터 또는 서버 상에서 실행될 수도 있다. 후자의 시나리오에서, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광역 통신망(WAN)을 비롯한, 임의의 타입의 네트워크를 통해 유저의 컴퓨터에 연결될 수도 있거나, 또는 (예를 들면, 인터넷 서비스 제공자를 사용하여 인터넷을 통해) 외부 컴퓨터에 대한 연결이 만들어질 수도 있다. 몇몇 실시형태에서, 예를 들면, 프로그래머블 로직 회로부(circuitry), 필드 프로그래머블 게이트 어레이(field-programmable gate arrays; FPGA), 또는 프로그래머블 로직 어레이(programmable logic arrays; PLA)를 포함하는 전자 회로부는, 본 개시의 양태를 수행하기 위해, 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 활용하여 전자 회로부를 개인화하는 것에 의해 컴퓨터 판독 가능 프로그램 명령어를 실행할 수도 있다.
본 개시의 양태는 본 개시의 실시형태에 따른 방법, 장치(시스템), 및 컴퓨터 프로그램 제품의 플로우차트 예시 및/또는 블록도를 참조하여 본원에서 설명된다. 플로우차트 예시 및/또는 블록도의 각각의 블록, 및 플로우차트 예시 및/또는 블록도의 블록의 조합은 컴퓨터 판독 가능 프로그램 명령어에 의해 구현될 수 있다는 것이 이해될 것이다.
이들 컴퓨터 판독 가능 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터, 또는 다른 프로그래머블 데이터 프로세싱 장치의 프로세서에 제공되어 머신을 생성할 수도 있고, 그 결과, 컴퓨터 또는 다른 프로그래머블 데이터 프로세싱 장치의 프로세서를 통해 실행되는 명령어는 플로우차트 및/또는 블록도 블록 또는 블록에서 명시되는 기능/액트(act)를 구현하기 위한 수단을 생성한다. 컴퓨터, 프로그래머블 데이터 프로세싱 장치, 및/또는 다른 디바이스에게 특정한 방식으로서 기능할 것을 지시할 수 있는 이들 컴퓨터 판독 가능 프로그램 명령어는 또한 컴퓨터 판독 가능 저장 매체에 저장될 수도 있고, 그 결과, 명령어가 저장된 컴퓨터 판독 가능 저장 매체는 플로우차트 및/또는 블록도 블록 또는 블록들에서 명시되는 기능/액트의 양태를 구현하는 명령어를 포함하는 제조 물품을 포함한다.
컴퓨터 판독 가능 프로그램 명령어는 또한 컴퓨터, 다른 프로그래머블 데이터 프로세싱 장치, 또는 다른 디바이스 상으로 로딩되어, 컴퓨터, 다른 프로그래머블 장치 또는 다른 디바이스 상에서 수행될 일련의 동작 단계로 하여금 컴퓨터 구현 프로세스를 생성하게 할 수도 있고, 그 결과 컴퓨터, 다른 프로그래머블 장치 또는 다른 디바이스 상에서 실행되는 명령어는 플로우차트 및/또는 블록도 블록 또는 블록들에서 명시되는 기능/액트를 구현한다.
도면에서의 플로우차트 및 블록도는, 본 개시의 다양한 실시형태에 따른 시스템, 방법, 및 컴퓨터 프로그램 제품의 가능한 구현예의 아키텍쳐, 기능성, 및 동작을 예시한다. 이와 관련하여, 플로우차트 또는 블록도에서의 각각의 블록은, 명시된 논리적 기능(들)을 구현하기 위한 하나 이상의 실행 가능 명령어를 포함하는 모듈, 세그먼트, 또는 명령어의 일부를 나타낼 수도 있다. 몇몇 대안적인 구현예에서, 블록에서 언급되는 기능은 도면에 언급되는 순서를 벗어나 발생할 수도 있다. 예를 들면, 수반되는 기능성에 따라, 연속하여 도시되는 두 개의 블록은, 실제로는, 실질적으로 동시에 실행될 수도 있거나, 또는 블록은 때로는 역순으로 실행될 수도 있다. 또한, 블록도 및/또는 플로우차트 예시의 각각의 블록, 및 블록도 및/또는 플로우차트 예시에서의 블록의 조합은, 명시된 기능 또는 액트를 수행하는 또는 특수 목적 하드웨어 및 컴퓨터 명령어의 조합을 실행하는 특수 목적 하드웨어 기반의 시스템에 의해 구현될 수 있다는 것이 주목될 것이다.
본 개시의 다양한 실시형태의 설명은 예시의 목적을 위해 제시되었지만, 그러나 개시되는 실시형태로 제한되도록 또는 망라적인 것으로 의도되는 것은 아니다. 설명된 실시형태의 범위 및 취지를 벗어나지 않으면서 많은 수정예 및 변동예가 기술 분야의 숙련된 자에게는 명백할 것이다. 본원에서 사용되는 전문 용어는 실시형태의 원리, 실제 적용 또는 시장에서 발견되는 기술에 대한 기술적 개선을 가장 잘 설명하기 위해, 또는 기술 분야에서 통상의 지식을 가진 다른 사람이 본원에서 개시되는 실시형태를 이해하는 것을 가능하게 하기 위해 선택되었다.

Claims (63)

  1. 방법에 있어서,
    카메라로부터 환자의 체강 내부의 이미지를 수신하는 단계;
    상기 카메라의 포지션 정보를 수신하는 단계;
    상기 포지션 정보에 기초하여, 해부학적 모델(anatomical model)에 대한 상기 카메라의 시야(field of view)를 나타내는 참조 뷰(reference view)를 생성하는 단계; 및
    유저에게 상기 참조 뷰를 상기 이미지와 조합하여 디스플레이하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 카메라의 방위 정보(orientation information)를 수신하는 단계;
    상기 방위 정보에 기초하여, 해부학적 모델에 대한 상기 카메라의 방향을 나타내는 방향 표시자를 생성하는 단계; 및
    상기 유저에게 상기 방향 표시자를 상기 참조 뷰와 조합하여 디스플레이하는 단계
    를 더 포함하는, 방법.
  3. 제2항에 있어서,
    상기 방향 표시자는 화살표를 포함하는 것인, 방법.
  4. 제1항에 있어서,
    상기 카메라는 상기 포지션 정보를 송신하도록 구성되는 절대 포지션 센서를 포함하는 것인, 방법.
  5. 제4항에 있어서,
    상기 절대 포지션 센서는 하나 이상의 인코더를 포함하는 것인, 방법.
  6. 제4항에 있어서,
    상기 절대 포지션 센서는 광학적 추적 시스템을 포함하는 것인, 방법.
  7. 제2항에 있어서,
    상기 카메라는 상기 방위 정보를 송신하도록 구성되는 절대 방위 센서를 포함하는 것인, 방법.
  8. 제7항에 있어서,
    상기 절대 방위 센서는 하나 이상의 인코더를 포함하는 것인, 방법.
  9. 제7항에 있어서,
    상기 절대 방위 센서는 광학적 추적 시스템을 포함하는 것인, 방법.
  10. 제1항에 있어서,
    상기 해부학적 모델은 보편적인 도해서(universal atlas)를 포함하는 것인, 방법.
  11. 제1항에 있어서,
    상기 해부학적 모델은 단순화된 그림 표현을 포함하는 것인, 방법.
  12. 제1항에 있어서,
    상기 해부학적 모델은 상기 환자의 이미징을 포함하는 것인, 방법.
  13. 제12항에 있어서,
    상기 이미징은 의료 영상 저장 정보 시스템(picture archiving and communication system; PACS)으로부터 수신되는 것인, 방법.
  14. 제12항에 있어서,
    상기 이미징은 컴퓨터 단층촬영(computed tomography; CT), 자기 공명 영상(magnetic resonance imaging; MRI), X 선, 초음파, 및 디지털 이미징 중 적어도 하나를 포함하는 것인, 방법.
  15. 제12항에 있어서,
    상기 환자의 상기 이미징은 의료적 절차 동안 실시간으로 업데이트되는 것인, 방법.
  16. 제15항에 있어서,
    상기 환자의 상기 참조 뷰는 상기 의료적 절차 동안 실시간으로 업데이트되는, 방법.
  17. 제1항에 있어서,
    상기 카메라의 좌표 공간을 상기 환자의 좌표 공간에 등록하는 단계;
    상기 카메라의 상기 좌표 공간을 상기 해부학적 모델의 좌표 공간에 등록하는 단계; 및
    상기 카메라의 깊이 정보를 수신하는 단계
    를 더 포함하는, 방법.
  18. 제17항에 있어서,
    상기 카메라의 포지션 정보는 시각적 오도메트리(visual odometry)를 통해 결정되는 것인, 방법.
  19. 제1항에 있어서,
    상기 참조 뷰를 디스플레이하는 단계는, 상기 이미지 상에서 상기 참조 뷰를 중첩하는 단계를 포함하는 것인, 방법.
  20. 제1항에 있어서,
    상기 참조 뷰를 디스플레이하는 단계는, 기본 디스플레이(primary display) 상에서 상기 이미지를 디스플레이하는 동안, 보조 디스플레이(supplemental display) 상에서 상기 참조 뷰를 디스플레이하는 단계를 포함하는 것인, 방법.
  21. 제1항에 있어서,
    상기 참조 뷰는 상기 참조 뷰의 하위 영역을 나타내는 프레임을 포함하되, 상기 하위 영역은 상기 시야에 대응하는 것인, 방법.
  22. 시스템에 있어서,
    환자의 체강 내부를 이미지화하도록 구성되는 디지털 카메라;
    디스플레이; 및
    프로그램 명령어가 구체화된 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨팅 노드를 포함하되, 상기 컴퓨팅 노드의 프로세서에 의해 실행 가능한 상기 프로그램 명령어는 상기 프로세서로 하여금:
    상기 카메라로부터 상기 환자의 상기 체강 내부의 이미지를 수신하는 것;
    상기 카메라의 포지션 정보를 수신하는 것;
    상기 포지션 정보에 기초하여, 해부학적 모델에 대한 상기 카메라의 시야를 나타내는 참조 뷰를 생성하는 것; 및
    상기 참조 뷰를 상기 이미지와 조합하여 상기 디스플레이 상에서 디스플레이하는 것
    을 포함하는 방법을 수행하게 하는 것인, 시스템.
  23. 제22항에 있어서,
    상기 카메라의 방위 정보를 수신하는 것;
    상기 방위 정보에 기초하여, 해부학적 모델에 대한 상기 카메라의 방향을 나타내는 방향 표시자를 생성하는 것; 및
    유저에게 상기 방향 표시자를 상기 참조 뷰와 조합하여 디스플레이하는 것
    을 더 포함하는 것인, 시스템.
  24. 제23항에 있어서,
    상기 방향 표시자는 화살표를 포함하는 것인, 시스템.
  25. 제22항에 있어서,
    상기 포지션 정보를 송신하도록 구성되는 절대 포지션 센서를 더 포함하는, 시스템.
  26. 제25항에 있어서,
    상기 절대 포지션 센서는 하나 이상의 인코더를 포함하는 것인, 시스템.
  27. 제25항에 있어서,
    상기 절대 포지션 센서는 광학적 추적 시스템을 포함하는 것인, 시스템.
  28. 제23항에 있어서,
    상기 방위 정보를 송신하도록 구성되는 절대 방위 센서를 더 포함하는, 시스템.
  29. 제28항에 있어서,
    상기 절대 방위 센서는 하나 이상의 인코더를 포함하는 것인, 시스템.
  30. 제28항에 있어서,
    상기 절대 방위 센서는 광학적 추적 시스템을 포함하는 것인, 시스템.
  31. 제22항에 있어서,
    상기 해부학적 모델은 보편적인 도해서를 포함하는 것인, 시스템.
  32. 제22항에 있어서,
    상기 해부학적 모델은 단순화된 그림 표현을 포함하는 것인, 시스템.
  33. 제22항에 있어서,
    상기 해부학적 모델은 상기 환자의 이미징을 포함하는 것인, 시스템.
  34. 제33항에 있어서,
    상기 이미징은 의료 영상 저장 정보 시스템(PACS)으로부터 수신되는 것인, 시스템.
  35. 제33항에 있어서,
    상기 이미징은 컴퓨터 단층촬영(CT), 자기 공명 영상(MRI), X 선, 초음파, 및 디지털 이미징 중 적어도 하나를 포함하는 것인, 시스템.
  36. 제33항에 있어서,
    상기 환자의 상기 이미징은 의료적 절차 동안 실시간으로 업데이트되는 것인, 시스템.
  37. 제36항에 있어서,
    상기 환자의 상기 참조 뷰는 상기 의료적 절차 동안 실시간으로 업데이트되는 것인, 시스템.
  38. 제22항에 있어서,
    상기 카메라의 좌표 공간을 상기 환자의 좌표 공간에 등록하는 것;
    상기 카메라의 상기 좌표 공간을 상기 해부학적 모델의 좌표 공간에 등록하는 것; 및
    상기 카메라의 깊이 정보를 수신하는 것
    을 더 포함하는 것인, 시스템.
  39. 제38항에 있어서,
    상기 카메라의 포지션 정보는 시각적 오도메트리를 통해 결정되는 것인, 시스템.
  40. 제22항에 있어서,
    상기 참조 뷰를 디스플레이하는 것은, 상기 이미지 상에서 상기 참조 뷰를 중첩하는 것을 포함하는 것인, 시스템.
  41. 제22항에 있어서,
    상기 참조 뷰를 디스플레이하는 것은, 기본 디스플레이 상에서 상기 이미지를 디스플레이하는 동안, 보조 디스플레이 상에서 상기 참조 뷰를 디스플레이하는 것을 포함하는 것인, 시스템.
  42. 제22항에 있어서,
    상기 참조 뷰는 상기 참조 뷰의 하위 영역을 나타내는 프레임을 포함하되, 상기 하위 영역은 상기 시야에 대응하는 것인, 시스템.
  43. 외과적 수술(surgical procedure) 동안 카메라를 배향시키기 위한 컴퓨터 프로그램 제품에 있어서,
    상기 컴퓨터 프로그램 제품은 프로그램 명령어가 구체화된 컴퓨터 판독 가능 저장 매체를 포함하고, 프로세서에 의해 실행 가능한 상기 프로그램 명령어는, 상기 프로세서로 하여금:
    카메라로부터 환자의 체강 내부의 이미지를 수신하는 것;
    상기 카메라의 포지션 정보를 수신하는 것;
    상기 포지션 정보에 기초하여, 해부학적 모델에 대한 상기 카메라의 시야를 나타내는 참조 뷰를 생성하는 것; 및
    유저에게 상기 참조 뷰를 상기 이미지와 조합하여 디스플레이하는 것
    을 포함하는 방법을 수행하게 하는 것인, 컴퓨터 프로그램 제품.
  44. 제43항에 있어서,
    상기 카메라의 방위 정보를 수신하는 것;
    상기 방위 정보에 기초하여, 해부학적 모델에 대한 상기 카메라의 방향을 나타내는 방향 표시자를 생성하는 것; 및
    상기 유저에게 상기 방향 표시자를 상기 참조 뷰와 조합하여 디스플레이하는 것
    을 더 포함하는 것인, 컴퓨터 프로그램 제품.
  45. 제44항에 있어서,
    상기 방향 표시자는 화살표를 포함하는 것인, 컴퓨터 프로그램 제품.
  46. 제43항에 있어서,
    상기 카메라는 상기 포지션 정보를 송신하도록 구성되는 절대 포지션 센서를 포함하는 것인, 컴퓨터 프로그램 제품.
  47. 제46항에 있어서,
    상기 절대 포지션 센서는 하나 이상의 인코더를 포함하는 것인, 컴퓨터 프로그램 제품.
  48. 제46항에 있어서,
    상기 절대 포지션 센서는 광학적 추적 시스템을 포함하는 것인, 컴퓨터 프로그램 제품.
  49. 제44항에 있어서,
    상기 카메라는 상기 방위 정보를 송신하도록 구성되는 절대 방위 센서를 포함하는 것인, 컴퓨터 프로그램 제품.
  50. 제49항에 있어서,
    상기 절대 방위 센서는 하나 이상의 인코더를 포함하는 것인, 컴퓨터 프로그램 제품.
  51. 제49항에 있어서,
    상기 절대 방위 센서는 광학적 추적 시스템을 포함하는 것인, 컴퓨터 프로그램 제품.
  52. 제43항에 있어서,
    상기 해부학적 모델은 보편적인 도해서를 포함하는 것인, 컴퓨터 프로그램 제품.
  53. 제43항에 있어서,
    상기 해부학적 모델은 단순화된 그림 표현을 포함하는 것인, 컴퓨터 프로그램 제품.
  54. 제43항에 있어서,
    상기 해부학적 모델은 상기 환자의 이미징을 포함하는 것인, 컴퓨터 프로그램 제품.
  55. 제54항에 있어서,
    상기 이미징은 의료 영상 저장 정보 시스템(PACS)으로부터 수신되는 것인, 컴퓨터 프로그램 제품.
  56. 제54항에 있어서,
    상기 이미징은 컴퓨터 단층촬영(CT), 자기 공명 영상(MRI), X 선, 초음파, 및 디지털 이미징 중 적어도 하나를 포함하는 것인, 컴퓨터 프로그램 제품.
  57. 제54항에 있어서,
    상기 환자의 상기 이미징은 의료적 절차 동안 실시간으로 업데이트되는 것인, 컴퓨터 프로그램 제품.
  58. 제57항에 있어서,
    상기 환자의 상기 참조 뷰는 상기 의료적 절차 동안 실시간으로 업데이트되는 것인, 컴퓨터 프로그램 제품.
  59. 제43항에 있어서,
    상기 카메라의 좌표 공간을 상기 환자의 좌표 공간에 등록하는 것;
    상기 카메라의 상기 좌표 공간을 상기 해부학적 모델의 좌표 공간에 등록하는 것; 및
    상기 카메라의 깊이 정보를 수신하는 것
    을 더 포함하는 것인, 컴퓨터 프로그램 제품.
  60. 제59항에 있어서,
    상기 카메라의 포지션 정보는 시각적 오도메트리를 통해 결정되는 것인, 컴퓨터 프로그램 제품.
  61. 제43항에 있어서,
    상기 참조 뷰를 디스플레이하는 것은, 상기 이미지 상에서 상기 참조 뷰를 중첩하는 것을 포함하는 것인, 컴퓨터 프로그램 제품.
  62. 제43항에 있어서,
    상기 참조 뷰를 디스플레이하는 것은, 기본 디스플레이 상에서 상기 이미지를 디스플레이하는 동안, 보조 디스플레이 상에서 상기 참조 뷰를 디스플레이하는 것을 포함하는 것인, 컴퓨터 프로그램 제품.
  63. 제43항에 있어서,
    상기 참조 뷰는 상기 참조 뷰의 하위 영역을 나타내는 프레임을 포함하되, 상기 하위 영역은 상기 시야에 대응하는 것인, 컴퓨터 프로그램 제품.
KR1020217023759A 2018-12-28 2019-12-27 수술 동안 원격 카메라의 배향을 위한 유저 인터페이스 엘리먼트 KR20210144663A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862786003P 2018-12-28 2018-12-28
US62/786,003 2018-12-28
PCT/US2019/068756 WO2020140042A1 (en) 2018-12-28 2019-12-27 User interface elements for orientation of remote camera during surgery

Publications (1)

Publication Number Publication Date
KR20210144663A true KR20210144663A (ko) 2021-11-30

Family

ID=71127317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217023759A KR20210144663A (ko) 2018-12-28 2019-12-27 수술 동안 원격 카메라의 배향을 위한 유저 인터페이스 엘리먼트

Country Status (7)

Country Link
US (1) US20220020160A1 (ko)
EP (1) EP3902458A4 (ko)
JP (1) JP2022516474A (ko)
KR (1) KR20210144663A (ko)
CN (1) CN113853151A (ko)
CA (1) CA3125166A1 (ko)
WO (1) WO2020140042A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3545675A4 (en) 2016-11-24 2020-07-01 The University of Washington CAPTURE AND RESTITUTION OF LIGHT FIELD FOR HEADSETS
US10949986B1 (en) 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004004320A1 (en) * 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
US10555775B2 (en) * 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8079950B2 (en) * 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US20080013809A1 (en) * 2006-07-14 2008-01-17 Bracco Imaging, Spa Methods and apparatuses for registration in image guided surgery
EP3859682A1 (en) * 2009-03-26 2021-08-04 Intuitive Surgical Operations, Inc. System for providing visual guidance for steering a tip of an endoscopic device towards one or more landmarks and assisting an operator in endoscopic navigation
US9561019B2 (en) * 2012-03-07 2017-02-07 Ziteo, Inc. Methods and systems for tracking and guiding sensors and instruments
US9014851B2 (en) * 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
CN103425971A (zh) * 2013-08-28 2013-12-04 重庆大学 一种家庭环境下独居老人异常行为的监测方法
CA2919019A1 (en) * 2014-04-30 2015-11-05 Replay Technologies Inc. System for and method of generating user-selectable novel views on a viewing device
WO2016154589A1 (en) * 2015-03-25 2016-09-29 Camplex, Inc. Surgical visualization systems and displays
EP3361979A4 (en) * 2015-10-14 2019-06-26 Surgical Theater LLC SURGICAL NAVIGATION WITH EXTENDED REALITY
WO2017089910A1 (en) * 2015-11-27 2017-06-01 Nz Technologies Inc. Method and system for interacting with medical information
US20170347868A1 (en) * 2016-06-07 2017-12-07 Alexander Martin Zoellner Monitoring and treatment of gastrointestinal conditions
US10806532B2 (en) * 2017-05-24 2020-10-20 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system
US11432877B2 (en) * 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
CN109480791A (zh) * 2018-12-10 2019-03-19 徐州矿务集团总医院 一种小鼠脑缺血再灌注模型的优化及败果评价方法

Also Published As

Publication number Publication date
CN113853151A (zh) 2021-12-28
EP3902458A1 (en) 2021-11-03
WO2020140042A1 (en) 2020-07-02
EP3902458A4 (en) 2022-09-21
US20220020160A1 (en) 2022-01-20
CA3125166A1 (en) 2020-07-02
JP2022516474A (ja) 2022-02-28

Similar Documents

Publication Publication Date Title
US8294709B2 (en) Method and apparatus for integrating three-dimensional and two-dimensional monitors with medical diagnostic imaging workstations
EP2883353B1 (en) System and method of overlaying images of different modalities
US7376903B2 (en) 3D display system and method
US20220012954A1 (en) Generation of synthetic three-dimensional imaging from partial depth maps
US8369585B2 (en) Automatic classification of information in images
EP2452649A1 (en) Visualization of anatomical data by augmented reality
US20210290317A1 (en) Systems and methods for tracking a position of a robotically-manipulated surgical instrument
JP2021510107A (ja) 超音波画像データの三次元撮像およびモデリング
CN108140242A (zh) 视频摄像机与医学成像的配准
US20220020160A1 (en) User interface elements for orientation of remote camera during surgery
US20050285853A1 (en) 3D display system and method
Reichard et al. Projective biomechanical depth matching for soft tissue registration in laparoscopic surgery
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
US20050285844A1 (en) 3D display system and method
US20050285854A1 (en) 3D display system and method
US11877809B2 (en) Using a current workflow step for control of medical data processing
US20240206973A1 (en) Systems and methods for a spinal anatomy registration framework
US20230145531A1 (en) Systems and methods for registering visual representations of a surgical space
Ciucci Intraoperative endoscopic augmented reality in third ventriculostomy