KR20160133367A - 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법 - Google Patents

외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법 Download PDF

Info

Publication number
KR20160133367A
KR20160133367A KR1020160057015A KR20160057015A KR20160133367A KR 20160133367 A KR20160133367 A KR 20160133367A KR 1020160057015 A KR1020160057015 A KR 1020160057015A KR 20160057015 A KR20160057015 A KR 20160057015A KR 20160133367 A KR20160133367 A KR 20160133367A
Authority
KR
South Korea
Prior art keywords
bms
biomechanical
computer
module
anatomical region
Prior art date
Application number
KR1020160057015A
Other languages
English (en)
Other versions
KR102536732B1 (ko
Inventor
올리비어 에카베르트
클라우스 엔겔
톰마소 만시
잉마르 포크트
Original Assignee
지멘스 헬스케어 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 헬스케어 게엠베하 filed Critical 지멘스 헬스케어 게엠베하
Publication of KR20160133367A publication Critical patent/KR20160133367A/ko
Application granted granted Critical
Publication of KR102536732B1 publication Critical patent/KR102536732B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G06F19/3406—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법
본 발명에 따르면, 의료 이미징 방법에 의해 획득된 해부학적 구역(AR)의 이미지 데이터(IMG)를 판독하기 위한 제 1 인터페이스(I1)의 제공이 이루어진다. 모델링 모듈은 이미지 데이터(IMG)에 기초하여 해부학적 구역(AR)의 체적 생체역학적 구조 모델(BMS)을 확립하는 역할을 한다. 더욱이, 사용자의 공간적 제스처들의 비디오-기반 등록을 위해 카메라(C)와 커플링가능한 추적 모듈(TM)의 제공이 이루어진다. 게다가, 생체역학적 구조 모델(BMS)에 기초하는 시뮬레이션 모듈(SM)은, 등록된 제스처를 해부학적 구역(AR)에 대해 시뮬레이팅된 역학적 영향에 할당하고, 시뮬레이팅된 역학적 영향에 대한 해부학적 구역(AR)의 역학적 반응을 시뮬레이팅하고, 그리고 시뮬레이팅된 역학적 반응에 따라 생체역학적 구조 모델(BMS)을 수정하는 역할을 한다. 더욱이, 생체역학적 구조 모델(BMS)의 체적 시각화를 위해 시각화 모듈(VM)에 대한 제공이 이루어진다.

Description

외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법{DEVICE AND METHOD FOR THE COMPUTER-ASSISTED SIMULATION OF SURGICAL INTERVENTIONS}
임상 실시(clinical practice)에서, 외과 수술(surgical intervention)들은 일반적으로, 임상 가이드라인(clinical guideline)들로부터의 권고들과 연계하여 의료 이미지 기록(medical image recording)들에 기초하여 계획된다. 그러나, 수술의 계획 및 성공의 상당 부분은, 수행하는 외과 의사 또는 외과 의사들의 경험에 비례할 수 있다. 많은 수술들, 이를테면, 예컨대 심장 판막 성형술(heart valve repair)들은 특히, 우수한 계획, 경험 및 수술 기술을 요구한다. 그러므로, 추구될 가치가 있는 목표는, 수술들을 계획 및 트레이닝(training) 할 때, 최상의 가능한 정도로 외과 의사를 지원하는 것이다.
외과 수술들을 계획하기 위해 결정 지원 시스템(decision assistance system)들을 이용한 실시가 알려져 있으며, 그 결정 지원 시스템들은 생체역학적 모델(biomechanical model)에 의한, 이를테면, 예컨대 심장 판막의 생리학적 구조들 및 기능들의 시뮬레이션(simulation)에 기초한다. 예로서, 심장 판막들의 이러한 생체역학적 시뮬레이션들은 문헌들 US 2010/0240996 A1 및 US 2012/0232386 A1로부터 알려져 있다. 이러한 시뮬레이션들을 통해, 외과 수술의 효과를 추정하는 것이 가능하며, 이는 수술을 계획하기 위해 이용될 수 있다. 그러나, 이러한 시뮬레이션 도구들의 사용은 일반적으로, 그 시뮬레이션 도구들의 복잡성으로 인해 복잡한 유도(complicated induction)를 요구한다.
게다가, 외과 수술들의 트레이닝의 목적들을 위해 외과 의사의 머리에 고정된 카메라(camera)를 통해 실제 외과 수술을 기록하는 것 및 결과적인 비디오 스트림(video stream)을 관찰자들에게 송신하는 것의 실시가, 예컨대 서저브리(Surgevry)에 의한 웹사이트(website)인 http://www.surgevry.com로부터 알려져 있으며, 그 관찰자들은 그러므로, 수행하는 외과 의사를 관찰하는 것에 의해 그 수술을 따라할 수 있다. 그러나, 이는 단지 수술의 수동적 트레이닝(passive training)만을 관찰자들에게 허용한다.
본 발명의 목적은, 외과 수술들의 컴퓨터-지원 시뮬레이션(computer-assisted simulation)을 위한 디바이스(device) 및 방법을 명시하는 것이며, 그 디바이스 및 방법은 개선된 외과 의사 지원을 허용한다.
이러한 목적은 특허 청구항 제 1 항의 특징들을 가진 디바이스에 의해, 특허 청구항 제 12 항의 특징들을 가진 방법에 의해, 특허 청구항 제 13 항의 특징들을 가진 컴퓨터 프로그램 물건(computer program product)에 의해, 그리고 특허 청구항 제 14 항의 특징들을 가진 컴퓨터-판독가능 저장 매체에 의해 달성된다.
외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 본 발명에 따른 디바이스에서, 의료 이미징 방법(medical imaging method)에 의해 획득된 해부학적 영역(anatomical region)의 이미지 데이터(image data)를 판독하기 위한 제 1 인터페이스(interface)에 대한 제공이 이루어진다. 이러한 경우, 이미지 데이터는, 예컨대 초음파(sonographic), 방사선(radiological), 혈관조영술(angiographic) 또는 단층촬영(tomographic) 이미지 기록들로부터 비롯될 수 있다. 해부학적 영역은, 예컨대 장기(organ), 장기 영역 또는 상이한 조직 또는 몸체 구조일 수 있다. 모델링 모듈(modeling module)은, 이미지 데이터에 기초하여 해부학적 영역의 용적 생체역학적 구조 모델(volumetric biomechanical structure model)을 확립하는 역할을 한다. 더욱이, 사용자의 공간적 제스처(spatial gesture)들의 비디오-기반 등록(video-based registration)을 위해 카메라와 커플링가능한(couplable) 추적 모듈(tracking module)에 대한 제공이 이루어진다. 게다가, 시뮬레이션 모듈(simulation module)은, 생체역학적 구조 모델에 기초하여, 각각의 경우에서 등록된 제스처를 해부학적 영역에 대해 시뮬레이팅된(simulated) 역학적 영향에 할당하고, 생체역학적 구조 모델에 기초하여, 시뮬레이팅된 역학적 영향에 대한 해부학적 영역의 역학적 반응을 시뮬레이팅(simulating) 하고, 그리고 시뮬레이팅된 역학적 반응에 따라 생체역학적 구조 모델을 수정하는 역할을 한다. 더욱이, 생체역학적 구조 모델의 용적 시각화(volumetric visualization)를 위한 시각화 모듈(visualization module)에 대한 제공이 이루어진다. 시각화 모듈은 바람직하게, 특히 해부학적 영역의 역학적 반응 및/또는 수정된 생체역학적 구조 모델을 시각화한다.
앞서 설명된 디바이스에 의해 수행될 방법 단계들은 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 본 발명에 따른 방법의 청구 대상이다.
본 발명의 실질적 이점은, 사용자, 예컨대 외과 의사가 외과 수술을, 비교적 사실적인 방식으로 외과 수술의 수동적 수행(manual performance) 및 또한 시각화 양쪽 모두에 대해 시뮬레이팅할 수 있다는 사실에서 고려될 수 있다. 특히, 사용자는, 사용자가 실제 수술 동안 할 수 있는 조작들과 실질적으로 동일한 조작들을 생체역학적 구조 모델에 할 수 있다. 이러한 방식으로, 외과 의사는 다양한 치료 선택사항들을 테스트(test) 하고 그에 따라 이상적인 절차를 확립할 수 있다. 그러므로, 본 발명은, 수술들을 계획할 때와 트레이닝할 때 양쪽 모두에서, 직관적인 방식으로 외과 의사에 대한 지원을 허용한다.
본 발명의 유리한 실시예들 및 발전들은 종속 청구항들에서 명시된다.
본 발명의 유리한 실시예에 따르면, 추적 모듈은 외과 기구(surgical instrument), 예컨대 수술칼(scalpel)을 이용하여 수행되는 사용자의 제스처들을 등록하도록 구성될 수 있다. 특히, 외과 기구의 하나 또는 그 초과의 특정 부분들, 예컨대 수술칼의 날(blade) 및/또는 손잡이(handle)의 움직임들을 등록하는 것이 가능하다. 이는, 사용자가 실제 수술 동안에서와 동일한 방식으로 시뮬레이션의 범위 내에서 외과 기구를 다룰 수 있을 경우, 유리하다.
게다가, 사용자에게로의 시뮬레이팅된 역학적 반응의 햅틱 출력(haptic output)을 위한 햅틱 인터페이스(haptic interface)에 대한 제공이 이루어질 수 있다. 이는, 시뮬레이팅된 역학적 영향에 대한 해부학적 영역의 시뮬레이팅된 역학적 반응에 관한 피드백(feedback)을 허용하며, 그 피드백은 사용자에 의해 즉각적으로 그리고 사실적인 방식으로 인지가능하다.
본 발명의 유리한 발전에 따르면, 시뮬레이션 모듈은, 생체역학적 구조 모델에 기초하여 해부학적 영역의 해부학적 기능에 대한 외과 수술의 영향을 시뮬레이팅(simulate) 하도록 구성될 수 있다. 여기서, 시뮬레이팅된 영향을 디스플레잉(displaying) 하기 위한 출력 인터페이스에 대한 제공이 이루어질 수 있다. 이러한 방식으로, 수술의 결과들을 예측 또는 적어도 추정하는 것이 가능하다. 결과적으로, 사용자는 다양한 치료 선택사항들을 테스트하고 그 결과들에 대해 이상적인 절차를 확립할 수 있다.
유리하게, 생체역학적 구조 모델은 환자 특정될 수 있다. 이는, 수술의 환자-특정 계획 및 환자-특정 트레이닝을 허용한다.
유리한 실시예에 따르면, 생체역학적 구조 모델은 유한 엘리먼트 모델(finite element model)을 포함할 수 있다. 이러한 유한 엘리먼트 모델들의 효율적인 생성 및 계산의 목적들을 위해, 다수의 이용가능하고 잘-조작된 소프트웨어 도구(software tool)들을 이용하는 것이 가능하다.
더욱이, 모델링 모듈은 연속적으로 판독되는 이미지 데이터에 기초하여 생체역학적 구조 모델을 동적으로 적응시키도록 구성될 수 있다.
게다가, 제 1 인터페이스는 시간-분해 방식(time-resolved manner)으로 이미지 데이터를 판독하도록 구성될 수 있다. 따라서, 모델링 모듈은, 시간-분해된 이미지 데이터(time-resolved image data)에 기초하여 해부학적 영역의 부분구조(substructure)의 운동 역학(movement dynamics)을 식별하고 그리고 식별된 운동 역학에 기초하여 부분구조의 물리적 속성(physical property)을 유도하여 그 물리적 속성을 생체역학적 구조 모델에 맵핑(map) 하도록 구성될 수 있다. 이러한 방식으로, 해부학적 영역 및 역학적 영향들에 대한 해부학적 영역의 역학적 반응들의 비교적 정확한 물리적 시뮬레이션을 획득하는 것이 가능하다.
특히, 모델링 모듈은, 부분구조의 운동 역학을 식별하고, 부분구조의 물리적 속성을 유도하고, 그리고/또는 물리적 속성을 생체역학적 구조 모델에 맵핑하도록 구성된 기계 학습(machine learning)을 위한 모듈을 포함할 수 있다. 기계 학습을 위한 이러한 모듈은, 예컨대 인공 뉴럴 네트워크(artificial neural network) 및/또는 이른바 확률적 부스팅 트리(probabilistic boosting tree)를 포함할 수 있다.
더욱이, 시각화 모듈은 가상 및/또는 증강 현실을 디스플레잉하기 위한 몰입형 시스템(immersive system)으로서 설계될 수 있다. 대안적으로 또는 추가적으로, 시각화 모듈은 또한, 홀로그래픽(holographic) 및/또는 스테레오그래픽(stereographic) 시각화 시스템으로서 설계될 수 있다. 이러한 시각화 모듈은 시뮬레이션의 범위 내에서 사용자의 현실감(impression of reality)을 증가시킨다.
도면에 기초하여 본 발명의 예시적 실시예가 아래에서 더 상세하게 설명된다. 여기서, 각각의 경우에서, 개략도로,
도 1은 본 발명에 따른 시뮬레이션 디바이스를 도시하고,
도 2는 본 발명에 따른 방법의 프로세스(process)들을 설명하기 위한 흐름도를 도시하고, 그리고
도 3은 해부학적 영역과의 가상적 상호작용의 시각화를 도시한다.
도 1은 외과 수술들을 시뮬레이팅하기 위한 본 발명에 따른 시뮬레이션 디바이스(simulation device)(SIMS)를 개략적으로 도시한다. 시뮬레이션 디바이스(SIMS)는 프로세서(processor)(PROC) 및/또는 본 발명에 따른 방법을 실행하기 위한 하나 또는 그 초과의 다른 컴퓨터 장치들을 포함한다. 의료 이미지 기록 장치(medical image recording apparatus)(US)는 제 1 인터페이스(first interface)(I1)를 통해 시뮬레이션 디바이스(SIMS)에 커플링된다(coupled). 예로서, 이미지 기록 디바이스(US)는 초음파 기록 장치, x-레이 튜브(x-ray tube), 자기 공명 이미징 스캐너(magnetic resonance imaging scanner), 또는 해부학적 영역들, 예컨대 장기들, 장기 영역들 또는 다른 몸체 및/또는 조직 구조들의 이미지 기록들을 공급하는 임의의 다른 의료 기록 디바이스일 수 있다. 이미지 기록 장치(US)는 각각의 해부학적 영역의 시간-분해된 이미지 기록들, 바람직하게는 용적(volumetric) 이미지 기록들을 연속적으로 기록하고, 이들을 시간-분해된 이미지 데이터(image data)(IMG), 바람직하게는 용적 이미지 데이터(IMG)로서 제 1 인터페이스(I1)를 통해 시뮬레이션 디바이스(SIMS)에 연속적으로 전달하도록 구성된다.
본 예시적인 실시예의 경우, 심장 판막이, 심장 판막의 해부학적 주변부들에서 그리고/또는 심장 판막의 해부학적 기능의 맥락에서, 이미지 기록 장치(US)를 통해 해부학적 영역(anatomical region)(AR)으로서 기록된다는 가정이 이루어진다. 해부학적 영역(AR), 즉, 심장 판막의 이미지 데이터(IMG)는, 예컨대 비디오 데이터 스트림(video data stream)으로서, 이미지 기록 장치(US)로부터 시뮬레이션 디바이스(SIMS)의 모델링 모듈(modeling module)(MM)에 전달된다.
모델링 모듈(MM)은 이미지 데이터(IMG)에 기초하여 해부학적 영역(AR)의 용적 생체역학적 구조 모델(volumetric biomechanical structure model)(BMS)을 확립하는 역할을 한다. 생체역학적 구조 모델(BMS)이 환자의 해부학적 영역(AR)의 이미지 데이터(IMG)에 기초하여 확립될 경우, 생체역학적 구조 모델(BMS)은 환자 특정된다. 생체역학적 구조 모델(BMS)은 바람직하게, 유한 엘리먼트 모델을 포함한다.
생체역학적 구조 모델(BMS)을 확립하기 위해, 시간-분해된 이미지 데이터(IMG)가 모델링 모듈(MM)에 의해 분석된다. 여기서, 예컨대 알려진 패턴 인식 방법(pattern recognition method)들에 의해, 해부학적 영역(AR)의 하나 또는 그 초과의 부분구조들이 식별되며, 이러한 부분구조들의 운동 역학이 확립된다. 생체역학적 구조 모델(BMS) 또는 가능하게는 기본적인 유한 엘리먼트 모델은, 식별된 운동 역학을 그 모델이 재현할 때까지, 식별된 운동 역학에 기초하여, 예컨대 수치적 최적화 방법에 의해 수정된다. 대안적으로 또는 추가적으로, 생체역학적 구조 모델(BMS)의 파라미터(parameter)들은, 학습-기반 회귀분석법(learning-based regression method)들에 기초하여 식별된 운동 역학으로부터 추정될 수 있으며, 수치적 최적화 방법은 학습 단계 동안 이용된다. 이를 이용시, 식별된 운동 역학에 기초하여, 부분구조들의 물리적 속성들이 유도될 수 있으며, 상기 물리적 속성들은 생체역학적 구조 모델(BMS)에 맵핑될(mapped) 수 있다. 여기서, 특히 또한 도플러 효과(Doppler Effect)를 이용함으로써, 예컨대 도플러 초음파 기기를 이용함으로써, 예컨대 혈액 흐름이 이러한 방식으로 측정되는 덕분에, 운동 역학이 확립될 수 있다. 예로서, 부분구조들의 탄력성, 강성, 밀도 또는 다른 조직 파라미터들이 부분구조들의 물리적 속성들로서 확립될 수 있다. 바람직하게, 생체역학적 구조 모델(BMS)은 판독된 이미지 데이터(IMG)에 기초하여 모델링 모듈(MM)에 의해 계속해서 동적으로 적응된다.
본 예시적 실시예에서, 모델링 모듈(MM)은, 부분구조들의 운동 역학을 식별하고, 부분구조들의 물리적 속성들을 유도하고, 그리고/또는 물리적 속성들을 생체역학적 구조 모델(BMS)에 맵핑(mapping) 하기 위해, 기계 학습을 위한 모듈(module for machine learning)(ML)을 포함한다. 여기서, 특히, 기계 학습은 해부학적 영역(AR)의 식별된 부분구조들과 다수의 알려진 해부학적 구조들의, 그들의 운동 역학 및/또는 그들의 물리적 속성들의 비교에 기초할 수 있다. 이를 위해, 모델링 모듈(MM)은 데이터베이스(database)(여기서 도시되지 않음)에 커플링될 수 있으며, 그 데이터베이스에는, 다수의 알려진 구조들이 그들의 운동 역학 및 알려진 물리적 속성들에 추가하여 저장되며, 모델링 모듈(MM)은 학습 단계 동안 상기 데이터베이스를 이용할 수 있다. 데이터베이스에 저장된 물리적 속성들은 생체역학적 구조 모델(BMS)에 기초하여 최적화 방법에 의해 대략적으로 확립될 수 있다.
카메라(camera)(C)는 시뮬레이션 디바이스(SIMS)의 제 2 인터페이스(second interface)(I2)를 통해 연결된다. 카메라(C)는 사용자, 예컨대 외과 의사의 공간적 제스처들을 비디오-기반으로 기록하는 역할을 한다. 바람직하게, 미리 결정된 또는 조절가능한 공간 영역 내에서 외과 기구, 예컨대 수술칼(scalpel)(S)을 이용하여 수행되는 외과 의사의 손(hand)(H)의 움직임들이 제스처들로서 기록된다. 결과적인 비디오 데이터 스트림은 시뮬레이션 디바이스(SIMS)의 추적 모듈(tracking module)(TM)에 공급되고 이에 의해 평가된다. 손(H) 및 수술칼(S)에 의해 수행되는 제스처들은 추적 모듈(TM)에 의해 식별되어 파라미터화된다(parameterized). 이러한 경우에서, 특히, 외과 기구, 즉, 수술칼(S) 및/또는 기능 유닛(functional unit)들 또는 그들의 부분들, 이를테면, 수술칼(S)의 날 및/또는 손잡이의 움직임들이 등록 및 추적된다. 외과 기구(S)의 등록된 제스처들 및 움직임들은 추적 모듈(TM)을 통해 추적 정보(tracking information)(TI)에 의해 표현된다.
예로서, 추적 정보(TI)는, 바람직하게는 각각의 경우에서, 수술칼(S)의 다수의 특정 포인트(point)들에 대한, 예컨대 수술칼(S)의 날 및/또는 손잡이에 대한 그리고 손(H)의 특정 포인트들에 대한, 예컨대 상이한 손가락들, 손가락뼈(phalange)들, 손가락 관절(knuckle joint)들 및/또는 손가락 끝(fingertip)들에 대한, 손(H)의 그리고 수술칼(S)의 위치, 배향, 움직임, 움직임 방향, 속도 및/또는 회전을 포함한다.
시뮬레이션 디바이스(SIMS)는 생체역학적 구조 모델(BMS)에 기초하여 해부학적 영역(AR)을 시뮬레이팅하기 위한 시뮬레이션 모듈(simulation module)(SM)을 더 포함한다. 생체역학적 구조 모델(BMS)은 모델링 모듈(MM)로부터 시뮬레이션 모듈(SM)로 전달된다. 게다가, 추적 정보(TI)가 추적 모듈(TM)로부터 시뮬레이션 모듈(SM)로 전달된다. 전달되는 추적 정보(TI)에 기초하여, 시뮬레이션 모듈(SM)은, 손(H) 및/또는 수술칼(S)의 각각의 등록된 제스처 또는 각각의 움직임을, 생체역학적 구조 모델(BMS)에 기초하여 시뮬레이팅된, 해부학적 영역(AR)에 대한 역학적 영향에 할당한다. 따라서, 예컨대 특정 방향으로의 손(H)의 손가락 끝의 움직임이, 해부학적 영역(AR)의 특정하게 할당된 위치에 대한 역학적 압력 영향에 할당될 수 있다. 따라서, 수술칼(S)의 날의 등록된 움직임은 해부학적 영역(AR)의 특정 위치에서의 시뮬레이팅된 절개(cut)에 할당될 수 있다.
시뮬레이션 모듈(SM)은 생체역학적 구조 모델(BMS)에 기초하여 시뮬레이팅된 역학적 영향에 대한 해부학적 영역(AR)의 역학적 반응을 시뮬레이팅한다. 여기서, 특히, 발생하는 힘들 및 변형들 및 가역적 변화들, 예컨대 탄성 변형들 및 불가역적 변화들, 예컨대 조직 절개, 봉합(suture) 및/또는 임플란트(implant)가 동적으로 시뮬레이팅된다(simulated). 생체역학적 구조 모델은 시뮬레이팅된 역학적 반응에 따라 시뮬레이션 모듈(SM)에 의해 수정된다. 예로서, 불가역적 가상 조직 절개의 경우, 조직 절개에 의해 서로 분리된 조직 부분들은 생체역학적 구조 모델(BMS)에서 가상으로 서로 분리되어서, 분리된 절개 표면들이 시뮬레이션에서 더 이상 서로에 대해 견인력들(pulling force)을 가할 수 없고, 마찰-기반 전단력들만을 계속 가할 수 있다. 수정된 생체역학적 구조 모델은 도 1에서 MBMS로 지정된다. MBMS는 외과 의사의 계속해서 등록되는 제스처들 및 그들로부터 유도된 해부학적 영역(AR)의 역학적 반응들에 의해, 시뮬레이션 모듈(SM)에 의해 계속해서 수정되고, 이는 동작의 가상의 과정에 따라 어느 정도까지 업데이트된다(updated).
더욱이, 시뮬레이션 모듈(SM)은 수정된 생체역학적 구조 모델(modified biomechanical structure model)(MBMS)에 기초하여 해부학적 영역(AR)의 해부학적 기능에 대한 가상의 외과 수술의 하나 또는 그 초과의 영향들을 시뮬레이팅한다. 이러한 방식으로, 수술의 성공 또는 결과들이 예측될 수 있거나 또는 적어도 추정될 수 있다. 특히, 이러한 예측은, 수정된 생체역학적 구조 모델(MBMS)을 데이터베이스에 저장된 다수의 알려진 경우들과 비교함으로써 수행될 수 있다. 이를 위해, 기계 학습을 위한 모듈(ML) 또는 기계 학습을 위한 추가의 모듈의 사용이 바람직하게 이루어질 수 있다.
시뮬레이션 디바이스(SIMS)는 생체역학적 구조 모델(BMS) 및/또는 수정된 생체역학적 구조 모델(MBMS)의 용적 시각화를 위한 시각화 모듈(visualization module)(VM)을 더 포함한다. 이러한 목적을 위해, 수정된 생체역학적 구조 모델(MBMS)은 본 예시적 실시예에서, 시뮬레이션 모듈(SM)로부터 시각화 모듈(VM)로 적어도 부분적으로 전달된다. 시각화 모듈(VM)은 수정된 생체역학적 구조 모델(MBMS)의 용적 시각화를 계산하여, 용적 시각화 데이터(volumetric visualization data)(VIS)를 스크린 단말(screen terminal)(T)에 출력한다. 스크린 단말(T)은 제 3 인터페이스(third interface)(I3)를 통해 시뮬레이션 디바이스(SIMS)에 커플링된다. 특히, 시각화 모듈(VM)은 시뮬레이팅된 역학적 영향들에 대한 해부학적 영역(AR)의 역학적 반응들을 시각화한다. 이러한 방식으로, 사용자는, 시뮬레이팅되는 외과 수술과 함께 수행되는 자신의 제스처들이 해부학적 영역(AR)에 대해 어떤 시뮬레이팅되는 영향들을 갖는지를 즉각적으로 식별할 수 있다.
바람직하게, 가상 및/또는 증강 현실을 디스플레잉하기 위한 몰입형 시스템이 스크린 단말(T)로서 이용될 수 있다. 대안적으로 또는 추가적으로, 홀로그래픽 및/또는 스테레오그래픽 시각화 시스템의 사용이 이루어질 수 있다. 더욱이, 제 3 인터페이스(I3)는 가상 수술의 시뮬레이팅된 영향을 스크린 단말(T) 상에 디스플레잉하기 위한 출력 인터페이스의 역할을 할 수 있다.
추가적으로, 시뮬레이션 디바이스(SIMS)는 사용자에게로의 시뮬레이팅된 역학적 반응의 햅틱 출력을 위한 햅틱 인터페이스(여기에 도시되지 않음)를 가질 수 있다. 예로서, 이러한 햅틱 출력은 이른바 로봇식 장갑(robotic glove) 또는 능동형 장갑(active glove)에 의해 제공될 수 있다.
도 2는 본 발명에 따른 방법의 프로세스들을 설명하기 위한 흐름도를 개략도로 도시한다. 본 발명에 따른 방법의 범위 내에서, 해부학적 영역(AR)의 이미지 데이터(IMG)가 초기에 기록 및 등록된다. 생체역학적 구조 모델(BMS)은, 등록된 이미지 데이터(IMG)에 기초하여, 예컨대 추정함으로써 확립된다. 그 다음으로, 해부학적 영역(AR)의 물리적 시뮬레이션이 생체역학적 구조 모델(BMS)에 의해 수행될 수 있다. 그 다음으로, 예컨대 외과 수술을 시뮬레이팅하는 것에 의한 치료 시뮬레이션은, 치료 또는 외과 수술의 영향을 예측하기 위해 해부학적 영역(AR)의 물리적 시뮬레이션에 의존할 수 있다.
도 3은 해부학적 영역(AR)과 시뮬레이션 디바이스(SIMS)의 사용자의 가상적 상호작용의 시각화를 설명한다. 시각화는, 추적 모듈(TM)에 의해 등록된 손들 또는 손들의 제스처들의 시각화(VH) 및 해부학적 영역(AR)의 시각화(VAR)를 포함한다. 여기서, 다수의 손가락 뼈들의 등록된 포지션(position)들 및 배향들은 시각화(VAR)에서의 시각화(VH)의 가상 포지션들 및 배향들에 할당된다. 시각화(VAR)의 포지션들로의 손가락 뼈들의 포지션들 및 배향들의 할당은 해부학적 영역(AR)의 생체역학적 구조 모델(BMS)에 기초하여 수행된다.
본 발명에 의해, 바람직하게는, 예컨대 심장 초음파 검사(echocardiography)에 의해 생체 내에서(in vivo) 획득되는 이미지 데이터(IMG)가 컴퓨터 상에 해부학적 영역(AR)의 디스플레이를 생성하기 위해 이용된다. 이러한 디스플레이의 기하학적 구성 및 다른 파라미터들은 바람직하게, 유한 엘리먼트 모델로 변환되며, 이에 의해, 해부학적 영역(AR)의 생리학적 및/또는 물리적 거동이 동적으로 시뮬레이팅된다. 생체역학적 구조 모델(BMS)의 파라미터들은 해부학적 영역(AR)에서의 운동 역학 또는 운동 흐름에 기초하여 환자-특정 방식으로 확립 또는 추정되며, 이들은 이미지 데이터(IMG)로부터 유도가능하다.
외과 수술을 위한 계획 단계 동안, 외과 의사는 상이한 절차들을 시뮬레이션 디바이스(SIMS)에 의해 테스트하고 그리고 해부학적 영역(AR)의 해부학적 기능에 대한 그 상이한 절차들의 각각의 영향을 시뮬레이팅 및 추정할 수 있다. 자연 방식으로 다루어지는 실제 외과 기구들의 포함 및 추적에 의해 그리고 바람직하게는 몰입형 시각화 기술들의 이용에 의해, 시뮬레이션의 인식되는 사실성(realism)이 상당히 증가될 수 있다. 이러한 몰입형 시뮬레이션 시스템의 사용은, 외과 의사로 하여금, 실제 수술의 경우에서 자신이 할 조작들과 동일한 조작들을 생체역학적 구조 모델(BMS) 상에서 가상으로 하도록 허용한다. 이러한 방식으로, 외과 의사는 실제 수술이 발생하기 전에 이상적인 절차를 그에 따라 확립하기 위해, 상이한 치료 선택사항들을 테스트 및/또는 결합할 수 있다. 외과 수술들의 개선된 계획에 추가하여, 본 발명은 또한, 외과 의사들의 개선된 트레이닝을 허용한다.

Claims (14)

  1. 외과 수술(surgical intervention)들의 컴퓨터-지원 시뮬레이션(computer-assisted simulation)을 위한 디바이스(device)(SIMS)로서,
    a) 의료 이미징 방법(medical imaging method)에 의해 획득된 해부학적 영역(anatomical region)(AR)의 이미지 데이터(image data)(IMG)를 판독하기 위한 제 1 인터페이스(first interface)(I1);
    b) 상기 이미지 데이터(IMG)에 기초하여 상기 해부학적 영역(AR)의 용적 생체역학적 구조 모델(volumetric biomechanical structure model)(BMS)을 확립하기 위한 모델링 모듈(modeling module)(MM);
    c) 사용자의 공간적 제스처(spatial gesture)들의 비디오-기반 등록(video-based registration)을 위해 카메라(camera)(C)와 커플링가능한(couplable) 추적 모듈(tracking module)(TM);
    d) 상기 생체역학적 구조 모델(BMS)에 기초하여, 각각의 경우에서 등록된 제스처를 상기 해부학적 영역(AR)에 대해 시뮬레이팅된(simulated) 역학적 영향에 할당하고,
    상기 생체역학적 구조 모델(BMS)에 기초하여, 상기 시뮬레이팅된 역학적 영향에 대한 상기 해부학적 영역(AR)의 역학적 반응을 시뮬레이팅(simulating) 하고, 그리고
    시뮬레이팅된 역학적 반응에 따라 상기 생체역학적 구조 모델(BMS)을 수정하기 위한 시뮬레이션 모듈(simulation module)(SM); 및
    e) 상기 생체역학적 구조 모델(BMS)의 용적 시각화(volumetric visualization)를 위한 시각화 모듈(visualization module)(VM)
    을 포함하는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  2. 제 1 항에 있어서,
    상기 추적 모듈은 외과 기구(surgical instrument)를 이용하여 수행되는 사용자의 제스처들을 등록하도록 구성되는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 사용자에게로의 상기 시뮬레이팅된 역학적 반응의 햅틱 출력(haptic output)을 위한 햅틱 인터페이스(haptic interface)를 특징으로 하는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 시뮬레이션 모듈(SM)은, 상기 생체역학적 구조 모델(BMS)에 기초하여 상기 해부학적 영역(AR)의 해부학적 기능에 대한 상기 외과 수술의 영향을 시뮬레이팅(simulate) 하도록 구성되고, 그리고
    시뮬레이팅된 영향을 디스플레잉(displaying) 하기 위한 출력 인터페이스(output interface)(I3)가 제공되는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 생체역학적 구조 모델(BMS)은 환자 특정되는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 생체역학적 구조 모델(BMS)은 유한 엘리먼트 모델(finite element model)을 포함하는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 모델링 모듈(MM)은 연속적으로 판독되는 이미지 데이터(IMG)에 기초하여 상기 생체역학적 구조 모델(BMS)을 동적으로 적응시키도록 구성되는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 제 1 인터페이스(I1)는 시간-분해 방식(time-resolved manner)으로 상기 이미지 데이터(IMG)를 판독하도록 구성되고, 그리고
    상기 모델링 모듈(MM)은, 시간-분해된 이미지 데이터(time-resolved image data)(IMG)에 기초하여 상기 해부학적 영역(AR)의 부분구조(substructure)의 운동 역학(movement dynamics)을 식별하고 그리고 식별된 운동 역학에 기초하여 상기 부분구조의 물리적 속성(physical property)을 유도하고 상기 물리적 속성을 상기 생체역학적 구조 모델(BMS)에 맵핑(map) 하도록 구성되는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  9. 제 8 항에 있어서,
    상기 모델링 모듈(MM)은, 상기 부분구조의 운동 역학을 식별하고, 상기 부분구조의 물리적 속성을 유도하고, 그리고/또는 상기 물리적 속성을 상기 생체역학적 구조 모델(BMS)에 맵핑하도록 구성된 기계 학습을 위한 모듈(module for machine learning)(ML)을 포함하는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 시각화 모듈(VM)은 가상 및/또는 증강 현실을 디스플레잉하기 위한 몰입형 시스템(immersive system)으로서 설계되는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 시각화 모듈(VM)은 홀로그래픽(holographic) 및/또는 스테레오그래픽(stereographic) 시각화 시스템으로서 설계되는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스(SIMS).
  12. 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 방법으로서,
    a) 의료 이미징 방법에 의해 획득된 해부학적 영역(AR)의 이미지 데이터(IMG)가 판독되고,
    b) 상기 이미지 데이터(IMG)에 기초하여, 상기 해부학적 영역(AR)의 용적 생체역학적 구조 모델(BMS)이 확립되고,
    c) 사용자의 공간적 제스처들이 비디오-기반 방식으로 등록되고,
    d) 시뮬레이션 모듈(SM)에 의해,
    상기 생체역학적 구조 모델(BMS)에 기초하여, 각각의 경우에서 등록된 제스처가 상기 해부학적 영역(AR)에 대해 시뮬레이팅된(simulated) 역학적 영향에 할당되고,
    상기 생체역학적 구조 모델(BMS)에 기초하여, 상기 시뮬레이팅된 역학적 영향에 대한 상기 해부학적 영역(AR)의 역학적 반응이 시뮬레이팅되고, 그리고
    시뮬레이팅된 역학적 반응에 따라 상기 생체역학적 구조 모델(BMS)이 수정되고, 그리고
    e) 상기 생체역학적 구조 모델(BMS)이 용적으로(volumetrically) 시각화되는,
    외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 방법.
  13. 제 1 항 내지 제 11 항 중 어느 한 항에 청구된 바와 같은 디바이스를 구현하고 그리고/또는 제 12 항에 청구된 바와 같은 방법을 실행하도록 구성된 컴퓨터 프로그램 물건(computer program product).
  14. 제 13 항에 청구된 바와 같은 컴퓨터 프로그램 물건을 포함하는 컴퓨터-판독가능 저장 매체.
KR1020160057015A 2015-05-12 2016-05-10 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법 KR102536732B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015208804.9A DE102015208804A1 (de) 2015-05-12 2015-05-12 Vorrichtung und Verfahren zum rechnergestützten Simulieren von chirurgischen Eingriffen
DE102015208804.9 2015-05-12

Publications (2)

Publication Number Publication Date
KR20160133367A true KR20160133367A (ko) 2016-11-22
KR102536732B1 KR102536732B1 (ko) 2023-05-24

Family

ID=57208953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160057015A KR102536732B1 (ko) 2015-05-12 2016-05-10 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법

Country Status (4)

Country Link
US (1) US10172676B2 (ko)
KR (1) KR102536732B1 (ko)
CN (1) CN106156398A (ko)
DE (1) DE102015208804A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102500234B1 (ko) * 2022-07-25 2023-02-16 주식회사 안심엘피씨 Ar/vr 기반의 육류 발골 교육용 햅틱 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015226669B4 (de) * 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
IT201900000583A1 (it) * 2019-01-14 2020-07-14 Upsurgeon S R L Dispositivo di apprendimento medico basato sull'integrazione di realtà fisica e virtuale finalizzato allo studio e alla simulazione degli approcci chirurgici ai distretti anatomici
WO2020210972A1 (zh) * 2019-04-16 2020-10-22 孙永年 手术用穿戴式影像显示装置及手术资讯即时呈现系统
DE102019123826A1 (de) * 2019-09-05 2021-03-11 Volume Graphics Gmbh Computerimplementiertes Verfahren zum Erstellen eines Netzes zum Simulieren eines Objekts
WO2023136616A1 (ko) * 2022-01-12 2023-07-20 (주)휴톰 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320526A (zh) * 2008-07-11 2008-12-10 深圳先进技术研究院 一种手术预测和训练的设备及其方法
EP2642371A1 (en) * 2010-01-14 2013-09-25 BrainLAB AG Controlling a surgical navigation system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US20040009459A1 (en) * 2002-05-06 2004-01-15 Anderson James H. Simulation system for medical procedures
SE0202864D0 (sv) * 2002-09-30 2002-09-30 Goeteborgs University Surgical Device and method for generating a virtual anatomic environment
US20050267353A1 (en) * 2004-02-04 2005-12-01 Joel Marquart Computer-assisted knee replacement apparatus and method
US20100167253A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Surgical training simulator
US8771189B2 (en) 2009-03-18 2014-07-08 Siemens Medical Solutions Usa, Inc. Valve assessment from medical diagnostic imaging data
US20110046935A1 (en) * 2009-06-09 2011-02-24 Kiminobu Sugaya Virtual surgical table
US9839486B2 (en) * 2010-04-14 2017-12-12 Smith & Nephew, Inc. Systems and methods for patient-based computer assisted surgical procedures
US8920322B2 (en) 2011-03-09 2014-12-30 Siemens Aktiengesellschaft Valve treatment simulation from medical diagnostic imaging data
CN103764061B (zh) * 2011-06-27 2017-03-08 内布拉斯加大学评议会 工具承载的追踪系统和计算机辅助外科方法
US8724906B2 (en) * 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
CN102920477B (zh) * 2012-03-05 2015-05-20 杭州弘恩医疗科技有限公司 医学影像的目标区域边界确定装置和方法
US8548778B1 (en) * 2012-05-14 2013-10-01 Heartflow, Inc. Method and system for providing information from a patient-specific model of blood flow
CN103280144B (zh) * 2013-04-07 2015-06-17 浙江工业大学 一种模拟手术训练系统
CN103714322A (zh) * 2013-12-26 2014-04-09 四川虹欧显示器件有限公司 一种实时手势识别方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320526A (zh) * 2008-07-11 2008-12-10 深圳先进技术研究院 一种手术预测和训练的设备及其方法
EP2642371A1 (en) * 2010-01-14 2013-09-25 BrainLAB AG Controlling a surgical navigation system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102500234B1 (ko) * 2022-07-25 2023-02-16 주식회사 안심엘피씨 Ar/vr 기반의 육류 발골 교육용 햅틱 시스템

Also Published As

Publication number Publication date
US10172676B2 (en) 2019-01-08
DE102015208804A1 (de) 2016-11-17
KR102536732B1 (ko) 2023-05-24
CN106156398A (zh) 2016-11-23
US20160331464A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
KR102536732B1 (ko) 외과 수술들의 컴퓨터-지원 시뮬레이션을 위한 디바이스 및 방법
US20220076591A1 (en) System and method for performing virtual surgery
Ruikar et al. A systematic review on orthopedic simulators for psycho-motor skill and surgical procedure training
Basdogan et al. VR-based simulators for training in minimally invasive surgery
JP6049788B2 (ja) 仮想道具操作システム
US9330502B2 (en) Mixed reality simulation methods and systems
JP2014522248A (ja) 外科手術をシミュレーションする方法およびシステム
TW202038867A (zh) 用於醫療用具的光學追蹤系統及訓練系統
Riener et al. VR for medical training
Cakmak et al. VS One, a virtual reality simulator for laparoscopic surgery
Behringer et al. Some usability issues of augmented and mixed reality for e-health applications in the medical domain
Syamlan et al. Haptic/virtual reality orthopedic surgical simulators: a literature review
Wang et al. Intelligent HMI in orthopedic navigation
TWI707660B (zh) 手術用穿戴式影像顯示裝置及手術資訊即時呈現系統
Castañeda et al. Deformable model of the prostate for TURP surgery simulation
Müller-Wittig Virtual reality in medicine
Schmidgall et al. Surgical Gym: A high-performance GPU-based platform for reinforcement learning with surgical robots
Kabuye et al. A mixed reality system combining augmented reality, 3D bio-printed physical environments and inertial measurement unit sensors for task planning
Rosen Advanced surgical technologies for plastic and reconstructive surgery
Rosen et al. Virtual reality and medicine: from training systems to performance machines
Wang et al. A simulation and training system of robot assisted surgery based on virtual reality
Dhaarani et al. Applications of ML/DL for Robotic Surgery
Pednekar et al. Applications of virtual reality in surgery
Klempous et al. Application of simulation techniques in a virtual laparoscopic laboratory
Jo et al. Development of Tissue-Tool Interaction Simulation Algorithms for Rotator Cuff Surgery Scenario in Arthroscopic Surgery Training Simulator

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant