WO2019132244A1 - 수술 시뮬레이션 정보 생성방법 및 프로그램 - Google Patents

수술 시뮬레이션 정보 생성방법 및 프로그램 Download PDF

Info

Publication number
WO2019132244A1
WO2019132244A1 PCT/KR2018/013947 KR2018013947W WO2019132244A1 WO 2019132244 A1 WO2019132244 A1 WO 2019132244A1 KR 2018013947 W KR2018013947 W KR 2018013947W WO 2019132244 A1 WO2019132244 A1 WO 2019132244A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
surgical
virtual
surgery
generating
Prior art date
Application number
PCT/KR2018/013947
Other languages
English (en)
French (fr)
Inventor
이종혁
형우진
양훈모
김호승
Original Assignee
(주)휴톰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴톰 filed Critical (주)휴톰
Priority to CN201880088984.XA priority Critical patent/CN111770735B/zh
Priority to EP18894558.8A priority patent/EP3733107B1/en
Priority to CN202310966673.1A priority patent/CN116869651A/zh
Publication of WO2019132244A1 publication Critical patent/WO2019132244A1/ko
Priority to US16/913,959 priority patent/US11660142B2/en
Priority to US18/302,297 priority patent/US20230248439A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots

Definitions

  • a problem to be solved by the present invention is to provide a method and a program for generating surgical simulation information.
  • medical image data is a medical image captured by a medical image capturing apparatus, and includes all medical images capable of realizing a body of a subject as a three-dimensional model.
  • Medical image data may include a computed tomography (CT) image, a magnetic resonance imaging (MRI), a positron emission tomography (PET) image, and the like.
  • CT computed tomography
  • MRI magnetic resonance imaging
  • PET positron emission tomography
  • reference virtual surgery queue data refers to cue chart data for a virtual surgery performed by a specific medical person for guidance of construction of a big data for learning or surgical procedure guidance.
  • the server 20 is a computing device including at least one processor and a communication unit.
  • FIG. 2 is a flow chart illustrating a method for generating surgical simulation information according to one embodiment.
  • the computer can calculate the back posture of the patient so that the upper body is raised by only 15 degrees.
  • the computer can calculate the back posture of the patient so that the upper body is raised by only 15 degrees.
  • the surgical site can be photographed in the same state as the operation using the conventional medical image photographing apparatus (for example, CT apparatus).
  • CT apparatus for example, CT apparatus
  • the surgical procedure is a process performed by performing a series of surgical operations on the surgical site using a surgical tool.
  • the virtual surgical data obtained by simulating a particular surgical procedure includes a series of surgical operations.
  • one specific detailed operation may be a surgical tool or a series of operations with a certain pattern for a surgical site.
  • the virtual surgery data includes the first detailed operation and the second detailed operation
  • the first detailed operation and the second detailed operation may be performed in different operation patterns.
  • the computer recognizes the time including the information different from the current time based on the information included at each time point of the virtual surgery data, and determines whether the operation pattern is different from the detailed operation operation at the current time .
  • whether or not an event has occurred can be recognized based on whether the surgical tool is in contact with the surgical site, whether the surgical site is changed due to energy of the surgical tool, or the like. It is possible to determine whether or not the operation event patterns are different from each other at the previous and the following time points based on the recognized event occurrence time point and divide the at least one detailed operation operation (i.e., the minimum operation operation unit).
  • the computer is configured with a minimum operation unit (i.e., a detailed operation) to generate queue sheet data indicating a specific operation procedure (S800). That is, the computer can generate the cue sheet data finally by sequentially configuring at least one minimum operation unit so as to correspond to a specific operation procedure simulated using the virtual body model.
  • a minimum operation unit i.e., a detailed operation
  • the computer further includes a step (S1200) of providing surgical guide data based on the specific queue chart data at the request of the user. That is, the computer can perform simulation or rehearsal during the operation to provide the generated queue sheet data to the user.
  • the processor 210 may include a random access memory (RAM) (not shown) and a read-only memory (ROM) for temporarily and / or permanently storing signals (or data) , Not shown).
  • the processor 210 may be implemented as a system-on-chip (SoC) including at least one of a graphics processing unit, a RAM, and a ROM.
  • SoC system-on-chip

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

컴퓨터가 수행하는 수술 시뮬레이션 정보 생성방법이 제공된다. 상기 방법은 수술 시 환자의 신체상태와 동일한 가상신체모델을 생성하는 단계, 상기 가상신체모델에 대해 특정 수술과정을 시뮬레이션하여 가상수술데이터를 획득하는 단계, 상기 가상수술데이터를 하나의 특정한 동작을 나타내는 단위인 최소수술동작단위로 분할하는 단계, 및 상기 최소수술동작단위로 구성되어 상기 특정 수술과정을 나타내는 큐시트데이터를 생성하는 단계를 포함한다.

Description

수술 시뮬레이션 정보 생성방법 및 프로그램
본 발명은 수술 시뮬레이션 정보를 생성하는 방법 및 프로그램에 관한 것이다.
수술과정에서, 의사의 수술을 보조하기 위한 정보를 제공할 수 있는 기술들의 개발이 요구되고 있다. 수술을 보조하기 위한 정보를 제공하기 위해서는, 수술행위를 인식할 수 있어야 한다.
기존에는 수술 프로세스를 최적화 하기 위한 시나리오 구상을 위해서는 사전에 촬영된 의료영상을 참고하거나 매우 숙련된 의사의 자문을 받았으나, 의료영상만으로는 불필요한 프로세스의 판단이 어려웠으며 숙련된 의사의 자문은 특정 환자에 맞는 자문을 받기에 어려운 문제점이 있었다.
따라서, 의료영상이나 숙련된 의사의 자문은 수술대상 환자에 대한 수술프로세스의 최적화를 위한 보조 용도로는 활용되기 어려운 점이 많았다.
이에, 3차원 의료영상(예를 들어, 3차원 수술도구 움직임 및 도구의 움직임으로 인해 발생하는 장기 내부의 변화에 대한 가상영상)을 이용하여 수술을 행하는데 있어서 불필요한 프로세스를 최소화하여 수술 프로세스를 최적화하고, 이에 기반한 수술보조 정보를 제공할 수 있는 방법에 대한 개발이 요구된다.
또한, 최근에는 의료영상의 분석에 딥 러닝이 널리 이용되고 있다. 딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.
본 발명이 해결하고자 하는 과제는 수술 시뮬레이션 정보를 생성하는 방법 및 프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 수술 시뮬레이션 정보 생성방법은, 수술 시 환자의 신체상태와 동일한 가상신체모델을 생성하는 단계, 상기 가상신체모델에 대해 특정 수술과정을 시뮬레이션하여 가상수술데이터를 획득하는 단계, 상기 가상수술데이터를 하나의 특정한 동작을 나타내는 단위인 최소수술동작단위로 분할하는 단계, 및 상기 최소수술동작단위로 구성되어 상기 특정 수술과정을 나타내는 큐시트데이터를 생성하는 단계를 포함한다.
또한, 상기 최소수술동작단위로 분할하는 단계는, 상기 가상수술데이터로부터 특정 이벤트의 발생 여부를 인식하는 단계, 및상기 특정 이벤트를 기초로 상기 최소수술동작단위를 인식하는 단계를 포함하며, 상기 특정 이벤트는, 상기 가상수술데이터에 포함된 수술도구 및 수술부위 중 적어도 하나에 대한 변화를 포함할 수 있다.
또한, 상기 특정 이벤트의 발생 여부를 인식하는 단계는, 상기 수술도구의 동작 변화를 기준으로 이벤트 발생 여부를 인식하거나, 상기 수술부위의 상태 변화를 기준으로 이벤트 발생 여부를 인식하거나, 또는 상기 수술도구의 동작 변화가 발생함에 따라 상기 수술부위의 상태 변화를 일으키는지를 기준으로 이벤트 발생 여부를 인식할 수 있다.
또한, 상기 큐시트데이터를 생성하는 단계는, 상기 특정 수술과정에 대응하여 상기 최소수술동작단위를 순차적으로 구성하여 상기 큐시트데이터를 생성할 수 있다.
또한, 상기 가상신체모델을 생성하는 단계는, 상기 환자의 수술부위를 포함하는 의료영상을 획득하는 단계, 및 상기 의료영상을 기초로 3D 모델링하여 상기 가상신체모델을 생성하는 단계를 포함할 수 있다.
또한, 상기 가상신체모델을 생성하는 단계는, 상기 환자의 실제 수술자세를 획득하는 단계, 및 상기 실제 수술자세에 기초하여 상기 의료영상을 보정함으로써 상기 가상신체모델을 3D 모델링하는 단계를 더 포함할 수 있다.
또한, 상기 큐시트데이터의 최적화 여부를 판단하는 단계를 더 포함할 수 있다.
또한, 상기 최적화 여부를 판단하는 단계는, 최적화된 것으로 판단된 상기 큐시트데이터를 기초로 수술가이드 데이터를 제공하는 단계를 더 포함할 수 있다.
또한, 상기 최적화 여부를 판단하는 단계는, 최적화 큐시트데이터를 획득하는 단계, 및 상기 큐시트데이터와 상기 최적화 큐시트데이터를 비교하는 단계를 포함할 수 있다.
또한, 상기 최적화 큐시트데이터를 획득하는 단계는, 하나 이상의 학습 큐시트데이터를 획득하는 단계, 상기 하나 이상의 학습 큐시트데이터를 이용하여 강화학습을 수행하는 단계, 및 상기 강화학습 결과에 기초하여 상기 최적화 큐시트데이터를 획득하는 단계를 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따라 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따른 수술 시뮬레이션 정보 생성방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램이 제공된다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 수술 시 환자의 신체상태와 동일한 가상신체모델을 생성하는 단계, 상기 가상신체모델에 대해 특정 수술과정을 시뮬레이션하여 가상수술데이터를 획득하는 단계, 상기 가상수술데이터를 하나의 특정한 동작을 나타내는 최소수술동작단위로 분할하는 단계, 및 상기 최소수술동작단위로 구성되어 상기 특정 수술과정을 나타내는 큐시트데이터를 생성하는 단계를 수행한다.
개시된 실시 예에 따르면, 사전에 획득된 정보를 이용하여 각 환자에 최적화된 수술 시뮬레이션 정보를 생성하고, 수술 중에 의사에게 이를 제공함으로써 수술을 보조할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 개시된 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.
도 2는 일 실시 예에 따라 수술 시뮬레이션 정보를 생성하는 방법을 도시한 흐름도이다.
도 3은 일 실시예에 따라 수술자세 적용을 통한 3D 모델링 데이터 생성과정을 나타내는 흐름도이다.
도 4는 다른 일 실시 예에 따라 수술 시뮬레이션 정보를 생성하는 방법을 도시한 흐름도이다.
도 5는 일 실시 예에 따른 수술 프로세스 최적화 방법을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 수술 시뮬레이션 정보 생성 방법을 수행하는 장치(200)의 구성을 개략적으로 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
본 명세서에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있어서의 픽셀들 및 3D 영상에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 CT 촬영 장치에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다.
본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의 일부 또는 전부일수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 및 혈관 중 적어도 하나를 포함할 수 있다.
본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.
본 명세서에서 "의료영상데이터"는 의료영상 촬영장비로 촬영되는 의료영상으로서, 대상체의 신체를 3차원 모델로 구현 가능한 모든 의료영상을 포함한다. "의료영상데이터"는 컴퓨터 단층촬영(Computed Tomography; CT)영상, 자기공명영상(Magnetic Resonance Imaging; MRI), 양전자 단층촬영(Positron Emission Tomography; PET) 영상 등을 포함할 수 있다.
본 명세서에서 "가상신체모델"은 의료영상데이터를 기반으로 실제 환자의 신체에 부합하게 생성된 모델을 의미한다. "가상신체모델"은 의료영상데이터를 그대로 3차원으로 모델링하여 생성한 것일 수도 있고, 모델링 후에 실제 수술 시와 같게 보정한 것일 수도 있다.
본 명세서에서 "가상수술데이터"는 가상신체모델에 대해 수행되는 리허설 또는 시뮬레이션 행위를 포함하는 데이터를 의미한다. "가상수술데이터"는 가상공간에서 가상신체모델에 대해 리허설 또는 시뮬레이션이 수행된 영상데이터일 수도 있고, 가상신체모델에 대해 수행된 수술동작에 대해 기록된 데이터일 수도 있다.
본 명세서에서 "실제수술데이터"는 실제 의료진이 수술을 수행함에 따라 획득되는 데이터를 의미한다. "실제수술데이터"는 실제 수술과정에서 수술부위를 촬영한 영상데이터일 수도 있고, 실제 수술과정에서 수행된 수술동작에 대해 기록된 데이터일 수도 있다.
본 명세서에서 "세부수술동작"은 특정한 기준에 따라 분할된 수술동작의 최소단위를 의미한다.
본 명세서에서 "큐시트(Cue sheet) 데이터"는, 특정한 수술과정을 세부수술동작으로 분할하여 순서대로 기록한 데이터를 의미한다.
본 명세서에서 "시행 큐시트데이터"는 사용자가 시뮬레이션을 수행한 가상수술데이터를 기반으로 획득되는 큐시트데이터를 의미한다.
본 명세서에서 "훈련용 가상수술 큐시트데이터"는 시행 큐시트데이터에 포함되는 것으로서, 사용자가 수술 모의훈련(Simulation)을 수행하여 획득된 가상수술데이터를 기반으로 생성된 큐시트데이터를 의미한다.
본 명세서에서 "참고용 가상수술 큐시트데이터"는 학습용 빅데이터 구축 또는 수술프로세스 안내를 위해 특정한 의료인이 수행한 가상수술에 대한 큐시트데이터를 의미한다.
본 명세서에서 "최적화 큐시트데이터"는 수술시간 또는 수술 예후 등의 측면에서 최적화된 수술프로세스에 대한 큐시트데이터를 의미한다.
본 명세서에서 "학습 큐시트데이터"는 최적화 큐시트데이터 산출을 위한 학습에 이용되는 큐시트데이터를 의미한다.
본 명세서에서 "수술가이드 데이터"는 실제 수술 시에 가이드정보로 이용되는 데이터를 의미한다.
본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 개시된 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.
도 1을 참조하면, 개시된 실시 예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이 도시되어 있다.
도 1에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(20) 및 수술실에 구비된 제어부(30), 영상촬영부(36), 디스플레이(32) 및 수술로봇(34)을 포함한다.
일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.
서버(20)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치이다.
제어부(30)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.
영상촬영부(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 영상촬영부(36)는 적어도 하나의 카메라 장치를 포함하여, 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 영상촬영부(36)는 수술로봇(34)과 결합되어 이용된다. 예를 들어, 영상촬영부(36)는 수술로봇(34)의 수술 암(Arm)과 결합된 적어도 하나의 카메라를 포함할 수 있다.
일 실시 예에서, 영상촬영부(36)에서 촬영된 영상은 디스플레이(340)에 표시된다.
제어부(30)는 서버(20)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.
예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.
서버(20)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체(환자)의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다.
제어부(30)는 서버(20)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(20)로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다.
일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다.
이하에서는, 도면을 참조하여 수술 시뮬레이션 정보를 생성하는 방법에 대하여 상세하게 설명한다.
도 2는 일 실시 예에 따라 수술 시뮬레이션 정보를 생성하는 방법을 도시한 흐름도이다.
도 2에 도시된 각 단계들은 도 1에 도시된 서버(20) 또는 제어부(30)에서 시계열적으로 수행된다. 또는 이와는 별도로 구비된 컴퓨팅 장치에서 수행될 수도 있다. 이하에서는, 설명의 편의를 위하여 각 단계들이 컴퓨터에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체는 특정 장치에 제한되지 않고, 그 전부 또는 일부가 서버(20) 또는 제어부(30)에서 수행될 수 있다. 또한, 별도로 구비된 컴퓨팅 장치에서 수행될 수도 있다.
도 2를 참조하면, 본 발명의 일실시예에 따른 수술 시뮬레이션 정보 생성 방법은, 수술 시 환자의 신체상태와 동일한 가상신체모델을 생성하는 단계(S200); 상기 가상신체모델에 대해 특정 수술과정을 시뮬레이션하여 가상수술데이터를 획득하는 단계(S400); 상기 가상수술데이터를 하나의 특정한 동작을 나타내는 최소수술동작단위로 분할하는 단계(S600); 및 상기 최소수술동작단위로 구성되어 상기 특정 수술과정을 나타내는 큐시트데이터를 생성하는 단계(S800)를 포함할 수 있다. 이하, 각 단게에 대한 상세한 설명을 기재한다.
컴퓨터는 수술 시 대상체(예컨대, 환자)의 신체상태와 동일한 가상신체모델을 생성한다(S200).
일 실시예로, 컴퓨터는 대상체(예컨대, 환자)의 수술부위를 포함하는 의료영상을 획득하고, 획득한 의료영상을 기초로 3D 모델링하여 환자의 가상신체모델을 생성할 수 있다.
사용자가 실제 수술과 유사하게 시뮬레이션을 수행하기 위해서는 실제 환자의 신체상태와 동일한 3D 모델링 데이터가 필요하다.
기존에는 실제 수술자세와 상이한 자세로 의료영상 촬영이 수행되고 해당 의료영상데이터를 그대로 3D 모델링 데이터로 구현함에 따라 수술 전 시뮬레이션이 실제 수술을 미리 연습하는 효과를 제대로 제공하지 못하였다.
구체적으로, 일반적으로 환자가 누운 상태로 의료영상 촬영장치로 촬영된 환자의 내부 장기 배치상태 또는 장기 모양은 대상체가 눕혀지는 각도에 따른 중력의 영향에 의해 수술시 대상체의 내부 장기 배치상태 또는 장기 모양와 상이하게 되므로, 실제 수술과 동일한 시뮬레이션 상황을 제공하지 못한다.
또한, 복강경 수술이나 로봇 수술을 위해 신체 내부에 이산화탄소를 채운 기복상태와 일치하지 않는 상태에서 시뮬레이션을 수행하므로, 수술 전 시뮬레이션이 실제 수술을 미리 연습하는 효과를 제대로 제공하지 못하였다. 이러한 문제점을 해소하기 위해, 실제 수술 상태와 동일한 3D 모델링 데이터(즉, 3D 기복모델)을 생성하여야 한다.
도 3은 일 실시예에 따라 수술자세 적용을 통한 3D 모델링 데이터 생성과정을 나타내는 흐름도이다.
일 실시예로, 도 3에서와 같이, 컴퓨터는 실제 수술자세를 적용하여 촬영된 의료영상데이터를 기반으로 3D 모델링 데이터를 생성한다. 구체적으로, 컴퓨터가 환자의 환부 위치 또는 수술 유형을 바탕으로 결정된 수술자세를 기반으로 환자의 촬영자세를 산출하는 단계(S202); 및 상기 촬영자세로 촬영된 의료영상데이터를 기반으로 3D 모델링을 수행하는 단계(S204)를 포함할 수 있다.
컴퓨터가 환자의 환부 위치 또는 수술 유형을 바탕으로 결정된 수술자세를 기반으로 환자의 촬영자세를 산출한다(S202). 환자의 환부 위치(즉, 수술 부위), 수술 유형 등에 따라 수술 자세가 달라질 수 있다. 컴퓨터는 환자의 수술자세와 동일한 자세로 의료영상 촬영이 가능한 촬영자세를 산출한다.
예를 들어, 환자의 신체가 15도 기울어진 상태로 상체를 수술하는 경우, 컴퓨터는 상체만을 15도 세워지도록 환자의 등을 받친 자세를 촬영자세로 산출할 수 있다. 환자의 상체만을 15도 세워진 자세를 촬영자세로 설정함에 따라, 기존의 의료영상 촬영장치(예를 들어, CT장치)를 이용하여 수술부위가 수술 시와 동일한 상태로 촬영되도록 할 수 있다.
또한, 예를 들어, 의료영상 촬영장치가 환자의 배치상태를 조절하는 기능을 포함하여 수술자세와 동일한 촬영자세를 구현할 수 있다. 예를 들어, 의료영상 촬영 장치가 컴퓨터 단층촬영(Computed tomography; CT) 장치인 경우, CT장치의 테이블이 소정의 방향으로 소정의 각도만큼 기울어질 수 있거나(tilting) 또는 회전(rotating)될 수 있고, 갠트리도 소정의 방향으로 소정의 각도만큼 기울어질 수 있다.
이를 통해, 컴퓨터 또는 사용자는 의료영상 촬영장치의 테이블과 갠트리를 수술자세와 동일한 각도로 기울어지도록 제어하고, 컴퓨터는 의료영상 촬영장치로부터 실제 수술 시와 동일한 각도로 기울어진 촬영자세로 촬영된 의료영상데이터를 획득할 수 있다.
또한, 컴퓨터는 의료진으로부터 환자의 수술자세를 입력받을 수도 있고, 환자의 환부 위치, 수술 유형 등을 기반으로 수행될 수술자세를 직접 산출할 수도 있다.
그 후, 컴퓨터가 상기 촬영자세로 촬영된 의료영상데이터를 기반으로 생성된 3D 모델링 데이터를 획득한다(S204). 컴퓨터는 대상체의 3D 의료영상을 이용하여 3D 모델링 영상을 렌더링하여 생성할 수 있다. 또한, 컴퓨터는 의료영상 촬영장치에서 특정한 자세로 촬영된 후에 생성한 3D 모델링 데이터를 수신할 수도 있다. 즉, 의료영상 촬영장치(예를 들어, CT장치)가 의료영상데이터를 기반으로 3D렌더링을 수행하여 3D 모델링 데이터를 생성한 후 컴퓨터로 전송할 수 있다.
또한, 다른 일실시예로, 컴퓨터는 일반적인 촬영조건에서 촬영된 의료영상데이터에서 특정한 수술 시의 신체상태로 변경하는 보정알고리즘을 적용하여 3D모델링데이터를 생성한다. 즉, 컴퓨터는 일반적인 상태로 누운 환자를 촬영한 의료영상데이터에 기울어진 상태에서 중력에 따른 신체변화 또는 이산화탄소 주입에 따라 기복모델로 형성되는 신체변화를 적용하여 3D모델링 데이터를 생성한다.
예를 들어, 상기 보정알고리즘은 일반적인 촬영조건 및 신체상태에 대한 의료영상데이터와 특정한 신체상태 및 수술조건의 수술 시 신체상태데이터를 매칭하여 형성된 빅데이터를 학습함에 따라 산출될 수 있다. 상기 수술 시의 신체상태데이터는, 실제 수술 시의 신체 내부 장기 모양 또는 배치를 촬영한 영상데이터 또는 신체표면을 촬영한 영상데이터 등이 포함될 수 있다.
일실시예로, 일반조건에서 촬영된 의료영상데이터(예를 들어, CT데이터)를 기반으로 복강경 수술 또는 로봇수술 시의 기복모델을 형성하는 경우, 컴퓨터는 환자의 의료영상데이터와 수술 시의 신체표면데이터를 매칭하여 학습을 수행할 빅데이터로 구축한다. 상기 신체표면데이터는 수술 전에 의료진에 의해 촬영되는 것이다.
예를 들어, 의료진은 복강경 수술 또는 로봇수술을 수행하기 전에 이산화탄소를 주입함에 따라 변형된 복부 표면을 촬영하여 신체표면데이터를 획득한다. 컴퓨터는 빅데이터를 학습함에 따라 일반적인 상태의 3D모델링데이터를 복강경수술 또는 로봇수술 시의 기복모델로 형성하는 수정기준 또는 수정알고리즘을 생성한다. 그 후, 컴퓨터는, 신규 환자의 의료영상데이터가 획득되면, 의료영상데이터를 기반으로 생성한 3D모델링 데이터를 수정기준 또는 수정알고리즘을 기반으로 변형하여 기복모델을 생성한다.
이를 통해, 컴퓨터는 특정한 환자에 대해 수술 시의 신체 상태와 유사한 3D 모델링 데이터를 생성하여 사용자에게 제공할 수 있다.
다시 도 2를 참조하면, 컴퓨터는 3D 모델링된 가상신체모델에 대해 특정 수술과정을 시뮬레이션하여 가상수술데이터를 획득한다(S400). 사용자는 3D 모델링 영상(즉, 가상신체모델)에 대한 가상의 수술을 집도하는 시뮬레이션 또는 리허설을 수행한다. 예를 들어, 컴퓨터는 3D 모델링 영상에 가상의 수술도구를 표시하고, 사용자는 다양한 방식으로 가상의 수술도구를 제어하여 3D 모델링 영상에 대해 수술을 집도하는 리허설을 수행할 수 있다.
상기 가상수술데이터는 사용자가 3D모델링된 환자의 가상신체모델에 대해 수술을 시뮬레이션(Simulation)함에 따라 생성되는 것이다. 가상수술데이터를 획득하는 과정은 사용자가 수술을 모의훈련(Simulation)하는 과정이거나 수술 직전에 동일한 조건에서 리허설(Rehearsal)하는 과정일 수도 있다. 컴퓨터는 다양한 방식으로 사용자로부터 가상수술데이터를 입력받을 수 있다.
일실시예로, 컴퓨터는 가상현실(Virtual Reality; VR) 디바이스를 통해 사용자에게 가상신체모델을 제공하고, 컨트롤러를 통해 가상신체모델에 대한 수술동작을 입력할 수 있다. 상기 컨트롤러는 사용자 손의 움직임을 인식할 수 있는 다양한 형태가 될 수 있다. 예를 들어, 상기 컨트롤러는 장갑형으로 구현됨에 따라 사용자의 수술 시의 세부적인 손가락 움직임과 손의 실시간 배치 상태를 획득할 수 있다.
구체적으로, 컴퓨터는 사용자가 착용하는 HMD 장치에 가상신체모델을 제공한다. 컴퓨터는 사용자의 조작에 따라 가상신체모델을 회전 또는 확대하여 제공하고, 이에 따라 사용자는 환자에게 예정된 수술 시와 동일하게 구현된 가상신체모델을 자세히 살펴보면서 수술계획 및 시뮬레이션을 수행한다.
예를 들어, 대상체의 신체 특징에 따라 오멘텀(장막)과 같은 지방으로 인해 실제 수술을 해야하는 혈관 및 장기가 보이지 않을 수 있으나, 모델링에서는 오멘텀을 제거하여 실제 혈관 및 장기의 위치와 형태를 정확히 알 수 있고, 그에 따라 실제 수술이 필요한 대상에 도달하기 위한 최적의 수술계획을 수립할 수 있다. 컴퓨터는 사용자에 의해 특정한 수술도구가 선택되는 입력을 획득하고, 컨트롤러를 통해 해당 수술도구로 가상신체모델의 특정한 영역에 수술을 수행하는 조작을 획득한다.
또한, 일실시예로, 가상수술데이터는 사용자가 가상신체모델에 대해 수행하는 수술동작을 구현한 영상데이터로 저장될 수 있다. 컴퓨터는 컨트롤러에 의해 획득되는 실시간 모션데이터, 모션을 수행한 수술도구, 모션이 수행된 가상신체모델 내의 위치 등을 기반으로 시뮬레이션 영상을 생성할 수 있다.
또한, 다른 일실시예로, 가상수술데이터는 가상신체모델 자체에 대한 모델링 데이터, 시뮬레이션 또는 리허설 과정에서 각 시점에 사용된 수술도구 및 모션 데이터 전체일 수 있다. 즉, 가상수술데이터는 외부 컴퓨터가 수신하여 시뮬레이션 영상을 구현 가능하도록 하는 복수의 데이터 집합일 수 있다.
컴퓨터는 가상수술데이터를 하나의 특정한 동작을 나타내는 단위인 최소수술동작단위로 분할한다(S600).
수술프로세스는 수술도구를 이용하여 수술부위에 일련의 수술동작을 수행함으로써 이루어지는 과정이다. 따라서, 특정 수술프로세스를 시뮬레이션하여 획득된 가상수술데이터는 일련의 수술동작들을 포함하고 있다.
즉, 컴퓨터는 일련의 수술동작들을 포함하고 있는 가상수술데이터로부터 하나의 특정한 동작으로서 의미를 가지는 최소 단위인 최소수술동작단위를 구분하여 분할할 수 있다. 여기서, 최소수술동작단위라 함은, 수술프로세스를 구성하는 일련의 수술동작들 중에서 특정한 수술동작으로 표현될 수 있는 최소의 동작 단위를 말한다. 즉, 최소수술동작단위는 하나의 특정한 수술동작을 나타내는 세부수술동작일 수 있다.
이때, 하나의 특정한 세부수술동작은 수술도구 또는 수술부위에 대해 일정한 패턴을 가진 연속된 동작들로 이루어질 수 있다. 다시 말해, 가상수술데이터가 제1 세부수술동작과 제2 세부수술동작을 포함하고 있는 경우, 제1 세부수술동작과 제2 세부수술동작은 서로 다른 동작 패턴으로 이루어질 수 있다. 따라서, 컴퓨터는 가상수술데이터의 각 시점에 포함된 정보를 바탕으로 현재 시점과는 다른 정보를 포함하고 있는 시점을 인식하여 현재 시점의 세부수술동작과는 다른 동작 패턴으로 이루어지는 것인지를 판단할 수 있다.
일 실시예로, 컴퓨터는 가상수술데이터로부터 특정 이벤트의 발생 여부를 인식하고, 인식된 특정 이벤트를 기초로 최소수술동작단위를 인식하여 가상수술데이터를 적어도 하나 이상의 최소수술동작단위로 분할할 수 있다.
예를 들어, 컴퓨터는 가상수술데이터의 각 시점에 포함된 정보로부터 수술도구 또는 수술부위(예컨대, 간, 위, 혈관, 조직 등의 장기)에 대한 변화를 인식하여 이벤트의 발생 여부를 판단할 수 있다. 즉, 컴퓨터는 수술도구의 동작 변화를 기준으로 이벤트 발생 여부를 인식하거나, 수술부위의 상태 변화를 기준으로 이벤트 발생 여부를 인식하거나, 또는 수술도구의 동작 변화가 발생함에 따라 수술부위의 상태 변화를 일으키는지를 기준으로 이벤트 발생 여부를 인식할 수 있다.
예컨대, 수술도구의 위치, 방향, 움직임 정도, 종류 등의 변화를 기준으로 이벤트 발생 여부를 인식할 수 있다. 인식된 이벤트 발생 시점을 기준으로 이전 및 이후 시점에서 수술도구에 의해 서로 상이한 동작이 이루어지는지를 판단하여 적어도 하나 이상의 세부수술동작(즉, 최소수술동작단위)으로 분할할 수 있다.
또는, 수술부위의 위치, 방향, 상태 등의 변화를 기준으로 이벤트 발생 여부를 인식할 수 있다. 인식된 이벤트 발생 시점을 기준으로 이전 및 이후 시점에서 수술부위가 변경되었는지를 판단하여 적어도 하나 이상의 세부수술동작(즉, 최소수술동작단위)으로 분할할 수 있다.
또는, 수술도구가 수술부위에 접촉하거나, 수술도구의 에너지 유무에 의해 수술부위의 변경이 발생하는지 등을 기준으로 이벤트 발생 여부를 인식할 수 있다. 인식된 이벤트 발생 시점을 기준으로 이전 및 이후 시점에서 서로 상이한 수술동작 패턴으로 이루어지는지를 판단하여 적어도 하나 이상의 세부수술동작(즉, 최소수술동작단위)으로 분할할 수 있다.
또는, 수술부위에 출혈이 발생하였는지를 기준으로 이벤트 발생 여부를 인식하고, 인식된 이벤트 발생 시점을 기준으로 적어도 하나의 세부수술동작(즉, 최소수술동작단위)을 분할할 수 있다.
또한, 본 발명의 실시예에 따르면, 세부수술동작(즉, 최소수술동작단위)은 상술한 이벤트 발생 여부를 기준으로 분할될 수도 있으나, 이외의 여러 기준에 의해 나누어질 수 있다.
예를 들어, 세부수술동작은 수술유형(예를 들어, 복강경수술, 로봇수술), 수술이 수행되는 해부학적 신체부위, 사용되는 수술도구, 수술도구의 개수, 화면상에 수술도구가 나타나는 방향 또는 위치, 수술도구의 움직임(예를 들어, 전진/후퇴) 등을 기준으로 나누어질 수 있다.
상기 분할기준과 분할기준 내에 포함되는 세부카테고리는 의료진의 실제수술데이터 학습을 통해 직접 설정될 수 있다. 컴퓨터는 의료진에 의해 설정된 분할기준 및 세부카테고리에 따라 지도(Supervised)학습을 수행하여 최소단위인 세부수술동작으로 가상수술데이터를 분할할 수 있다.
또한, 상기 분할기준과 분할기준 내에 포함되는 세부카테고리는 컴퓨터의 수술영상 학습을 통해 추출될 수 있다. 예를 들어, 컴퓨터는 빅데이터로 누적된 실제수술데이터를 딥러닝 학습(즉, 비지도학습)하여 분할기준 및 각 분할기준 내 카테고리를 산출할 수 있다. 그 후, 컴퓨터는 실제수술데이터 학습을 통해 생성된 분할기준에 따라 가상수술데이터를 분할하여 큐시트데이터를 생성한다.
또한, 다른 일실시예로, 가상수술데이터 또는 실제수술데이터는 영상 인식을 통해 각각의 분할기준에 해당하는지 여부를 파악하여 분할(Segmentation)할 수도 있다. 즉, 컴퓨터는 가상수술데이터 또는 실제수술데이터의 영상 내 화면에서 분할기준에 해당하는 해부학적 장기 위치, 등장하는 수술도구, 각 수술도구의 개수 등을 인식하여, 세부수술동작 단위로 분할을 수행할 수 있다.
또한, 다른 일실시예로, 컴퓨터는 실제수술데이터 또는 가상수술데이터에 포함되는 수술도구 움직임데이터를 기반으로 큐시트데이터 생성을 위한 분할과정을 수행할 수 있다. 실제수술데이터는, 사용자가 로봇수술을 수행하는 경우, 사용자에 의해 선택된 수술도구 종류 및 개수, 각 수술도구의 움직임에 대한 정보 등의 수술로봇을 제어하는 과정에서 입력되는 다양한 정보를 포함할 수 있고, 가상수술데이터도 가상신체모델에 대한 시뮬레이션 시에 사용자에 의해 선택된 수술도구 종류 및 개수, 각 수술도구의 움직임 등에 대한 정보를 포함할 수 있다. 따라서, 컴퓨터는 실제수술데이터 또는 가상수술데이터의 각 시점에 포함된 정보를 바탕으로 분할을 수행할 수 있다.
또한, 일실시예로, 가상수술데이터 또는 실제수술데이터는 절제, 봉합 등의 다양한 종류의 액션이 포함되고, 분할기준에 따라 분할(Segmentation)이 수행된다. 구체적으로, 위암수술을 실제로 수행한 실제수술데이터(예를 들어, 실제수술영상) 또는 위암수술을 시뮬레이션한 가상수술데이터를 세부수술동작으로 분할하여 큐시트데이터로 생성하는 과정을 설명하면 다음과 같다.
예를 들어, 위암수술에는 우선 종양을 포함하는 위의 일부 또는 전부를 절제하는 액션 및 임파선을 절제하는 액션이 포함된다. 이외에도 위암의 상태에 따라 다양한 절제술 및 연결술이 이용된다. 또한 각각의 액션은 액션이 취해지는 구체적인 위치와, 수술도구의 이동방향에 따라 더 세부적인 복수의 액션으로 분할될 수 있다.
예로, 위암수술의 세부동작은 우선 개복단계, 절제단계, 연결단계 및 봉합단계 등으로 분할될 수 있다.
또한, 절제된 장기를 연결하는 방법에는 명치 끝 4-5cm 이상을 절개하고 연결하는 체외문합 방법 또는 배꼽을 3cm 정도 절개하고 복강 내에서 절제 및 문합이 이루어지는 체내문합 방법 등이 포함되는데, 상술한 연결단계는 이와 같은 구체적인 연결방법에 따라 더 상세하게 분할될 수 있다.
나아가, 각각의 수술방법은 수술도구의 위치 및 움직임에 따라 더 세부적인 복수의 세부수술동작들로 분할될 수 있다.
컴퓨터는 최소수술동작단위(즉, 세부수술동작)로 구성되어 특정 수술과정을 나타내는 큐시트데이터를 생성한다(S800). 즉, 컴퓨터는 가상신체모델을 이용하여 시뮬레이션한 특정 수술과정에 대응하도록 적어도 하나의 최소수술동작단위를 순차적으로 구성함으로써 최종적으로 큐시트데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면, 분할된 각각의 세부수술동작들(즉, 최소수술동작단위들)은 세부수술동작이 수행되는 위치 및 수술도구의 이동경로(pathway)에 기초하여 표준화된 명칭이 부여될 수 있다.
일 실시 예에서, 표준화된 명칭에 이용되는 용어는 다양하게 정의될 수 있다. 예를 들어 위(stomach)의 하단 오른쪽 특정부위를 다룰때 그 부위의 이름은 의료분야에서 통상적으로 사용중인 이름을 사용할 수 있고, 개시된 실시 예에 따른 시스템에서 정의된, 더 포괄적이거나 세분화된 명칭이 이용될 수 있다.
따라서, 리허설 영상은 복수의 액션이 표준화된 명칭에 기초하여 순차적으로 나열된 큐시트 형태의 정보로 정리될 수 있다. 마찬가지로, 사용자가 실제로 수술을 수행한 수술 영상 또한 액션 단위로 분할되고, 큐시트 형태의 정보로 정리될 수 있다.
또한, 일실시예로, 상기 큐시트데이터는 세부수술동작으로 분할하는 기준에 의해 특정한 자릿수의 코드(Code) 데이터로 생성될 수 있다. 즉, 컴퓨터는 표준화된 분할기준을 적용하고 분할기준 내의 세부카테고리를 지정함에 따라 가상수술데이터를 표준화된 세부수술동작으로 분할하고, 각 세부카테고리에 표준화된 코드값을 부여하여 각 세부수술동작을 구별할 수 있는 표준화된 코드데이터를 부여한다.
컴퓨터는 분할기준 적용순서에 따라 특정한 세부수술동작이 속하는 상위카테고리부터 차례대로 숫자 또는 문자가 부여되어 디지털(Digital)화된 코드데이터를 각 세부수술동작에 부여한다. 이를 통해, 컴퓨터는 큐시트데이터를 분할된 세부수술동작 영상이 아닌 각 세부수술동작의 표준화된 코드데이터가 나열된 형태로 생성할 수 있다. 또한, 사용자는 표준화된 코드데이터로 이루어진 큐시트데이터만을 제공함에 따라 시뮬레이션한 수술과정을 공유 또는 전달할 수 있다.
또한, 일실시예로, 컴퓨터는 각각의 세부수술동작의 표준화된 코드(Code)에 표준화된 명칭을 부여할 수 있다. 이를 통해, 사용자는 전체 큐시트 내에서 원하는 수술동작(또는 액션(Action)) 부분만을 선별하여 확인할 수 있다. 또한, 이 경우, 사용자는 리허설 또는 수술 영상을 전부 보지 않아도, 각각의 액션이 표준화된 명칭에 기초하여 순차적으로 나열된 큐시트를 보는 것만으로도 수술 또는 리허설의 진행과정을 용이하게 파악할 수 있다.
큐시트데이터는 각 세부수술동작에 대한 영상 데이터베이스를 이용하여 수술영상으로 변환될 수 있다. 상기 영상 데이터베이스는 각 코드데이터에 부합하는 영상이 저장되어 있을 수 있고, 각 코드데이터에 부합하는 영상은 상황에 따라 복수개 저장되어 있을 수 있다. 예를 들어, 특정한 코드데이터는 이전에 수행된 동작에 따라 영상 데이터베이스 내의 상이한 세부수술동작 영상이 로드될 수 있다.
또한, 컴퓨터는, 각 큐시트데이터가 특정한 가상신체모델과 매칭되어 저장됨에 따라, 가상신체모델에 큐시트데이터에 포함된 각 세부수술동작을 순차적으로 적용함에 따라 수술시뮬레이션 영상으로 재생할 수 있다.
따라서, 큐시트에 대응하는 영상은 수술 리허설 영상과 같은 시점(point of view)에서 재생될 수도 있고, 다른 시점으로 재구성되어 재생될 수도 있다. 또는, 영상은 3D로 모델링되어, 사용자의 조작에 따라 시점과 위치가 조절될 수 있다.
또한, 도 4에서와 같이, 다른 일실시예로, 컴퓨터가 사용자의 가상수술데이터를 기반으로 생성된 시행 큐시트데이터의 최적화 여부를 판단하는 단계(S1000);를 더 포함한다.
컴퓨터는 시행 큐시트데이터와 최적화 큐시트데이터의 비교를 통해, 시행 큐시트데이터의 적절성을 판단한다. 예를 들어, 컴퓨터는 사용자가 시뮬레이션 함에 따라 생성된 시행 큐시트데이터 내에 수술시간을 지연시키는 불필요한 세부수술동작이 포함되어 있는지, 특정한 세부수술동작을 수행함에 따라 필수적으로 전 또는 후에 포함되어야 하는 세부수술동작이 빠져 있는지 등을 판단하여, 시행 큐시트데이터의 실제 환자에 적용하기에 적절하게 생성되었는지 판단한다.
컴퓨터가 시행 큐시트데이터의 평가를 수행하기 위해 최적화 큐시트데이터를 산출하는 과정을 수행할 수 있다.
도 5는 일 실시 예에 따른 수술 프로세스 최적화 방법을 도시한 흐름도이다.
컴퓨터는 하나 이상의 학습 큐시트데이터를 획득한다(S1020). 상기 학습 큐시트데이터는 최적화 큐시트데이터 산출을 위해 학습되는 학습대상데이터이다. 상기 학습 큐시트데이터는 실제수술데이터를 기반으로 생성된 큐시트데이터(즉, 실제수술 큐시트데이터) 또는 참고용으로 시뮬레이션된 가상수술데이터를 기반으로 생성된 큐시트데이터(즉, 참고용 가상수술 큐시트데이터)를 포함할 수 있다. 상기 실제수술 큐시트데이터는 컴퓨터가 실제수술데이터를 분할기준에 따라 분할하여 생성된 것이다. 상기 참고용 가상수술 큐시트데이터는 사용자의 수술 훈련과정에서 획득되는 것이 아니라 학습대상데이터 구축 목적 또는 수련의들에게 참고용으로 제공하기 위한 목적으로 시뮬레이션이 수행되어 생성된 것이다.
그 후, 컴퓨터는 학습 큐시트데이터를 이용하여 강화학습(Reinforcement learning)을 수행한다(S1040). 강화학습은 기계학습의 한 영역으로, 어떤 환경 안에서 정의된 에이전트가 현재의 상태를 인식하여, 선택 가능한 행동들 중 보상을 최대화하는 행동 혹은 행동 순서를 선택하는 방법이다. 강화학습은 상태전이와, 상태전이에 따른 보상에 기초하여 보상을 최대화하는 방법을 학습하는 것으로 요약될 수 있다.
그 후, 컴퓨터는 강화학습 결과를 이용하여 최적화 큐시트데이터를 산출한다(S1060). 상기 최적화 큐시트데이터는 강화학습 결과를 기반으로 환자의 마취시간을 줄일 수 있는 최단 수술시간, 최소 출혈량, 필수동작그룹, 필수수행순서 등을 조건으로 산출된다.
상기 필수동작그룹은 특정한 세부수술동작을 수행하기 위해 필수적으로 함께 수행되어야 하는 세부수술동작들의 그룹이다. 상기 필수수행순서는 특정한 수술을 수행하는 과정에서 반드시 순차적으로 수행되어야 하는 수술동작 순서이다. 예를 들어, 수술의 종류 또는 수술동작의 종류에 따라 순차적으로 등장하여야 하는 수술동작들 및 그 순서가 정해져 있을 수 있다.
또한, 컴퓨터는 강화학습을 통해 환자의 신체조건, 수술부위(예를 들어, 종양조직) 조건(예를 들어, 종양의 크기, 위치 등) 등에 따른 상황별 최적화 큐시트데이터를 산출한다. 이를 위해, 컴퓨터는 학습 시에 환자조건, 수술부위 조건 등을 학습 큐시트데이터와 함께 활용한다.
일 실시 예에서, 컴퓨터는 스스로 가상의 시뮬레이션 수술을 수행할 수 있다. 예를 들어, 컴퓨터는 개시된 수술 프로세스 최적화 방법에 기초하여 수술 종류 및 환자의 종류에 따른 수술 프로세스를 생성하고, 생성된 수술 프로세스에 기초하여 가상의 수술 시뮬레이션을 수행할 수 있다.
컴퓨터는 가상의 수술 시뮬레이션 결과를 평가하고, 가상의 수술 시뮬레이션 정보 및 그 결과에 대한 평가정보에 기초하여 강화학습을 수행함으로써, 최적화된 수술 프로세스를 획득할 수 있다.
최적의 수술 프로세스를 생성할 수 있도록 학습된 모델이라 할지라도, 실제 수술의 경우 환자마다 신체구조와 수술의 종류가 상이하므로 각 환자 및 수술종류에 따라 최적화된 수술 프로세스를 생성하기 어려울 수 있다.
따라서, 컴퓨터는 학습된 모델을 이용하여 환자의 신체구조 및 수술종류에 기초한 수술 프로세스를 생성하고, 가상의 수술 시뮬레이션을 수행함으로써 강화학습을 수행, 각각의 환자 및 수술종류에 따라 최적화된 수술 프로세스를 생성할 수 있다.
또한, 도 4에서와 같이, 다른 일 실시예로, 컴퓨터가 사용자의 요청에 따라 특정한 큐시트데이터를 기반으로 수술가이드 데이터를 제공하는 단계(S1200);를 더 포함한다. 즉, 컴퓨터는 수술중에 사용자가 시뮬레이션 또는 리허설을 수행하여 생성된 큐시트데이터를 사용자에게 제공할 수 있다.
도 6은 본 발명의 일 실시예에 따른 수술 시뮬레이션 정보 생성 방법을 수행하는 장치(200)의 구성을 개략적으로 나타내는 도면이다.
도 6을 참조하면, 프로세서(210)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(210)는 메모리(220)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 2 내지 도 5와 관련하여 설명된 수술 시뮬레이션 정보 생성 방법을 수행한다.
일례로, 프로세서(210)는 메모리(220)에 저장된 하나 이상의 인스트럭션을 실행함으로써 수술 시 환자의 신체상태와 동일한 가상신체모델을 생성하는 단계; 상기 가상신체모델에 대해 특정 수술과정을 시뮬레이션하여 가상수술데이터를 획득하는 단계; 상기 가상수술데이터를 하나의 특정한 동작을 나타내는 단위인 최소수술동작단위로 분할하는 단계; 및 상기 최소수술동작단위로 구성되어 상기 특정 수술과정을 나타내는 큐시트데이터를 생성하는 단계를 수행할 수 있다.
한편, 프로세서(210)는 프로세서(210) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(210)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(220)에는 프로세서(210)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(220)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 수술 시뮬레이션 정보 생성방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (12)

  1. 컴퓨터가 수행하는 수술 시뮬레이션 정보 생성방법에 있어서,
    수술 시 환자의 신체상태와 동일한 가상신체모델을 생성하는 단계;
    상기 가상신체모델에 대해 특정 수술과정을 시뮬레이션하여 가상수술데이터를 획득하는 단계;
    상기 가상수술데이터를 하나의 특정한 동작을 나타내는 단위인 최소수술동작단위로 분할하는 단계; 및
    상기 최소수술동작단위로 구성되어 상기 특정 수술과정을 나타내는 큐시트데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 수술 시뮬레이션 정보 생성방법.
  2. 제1항에 있어서,
    상기 최소수술동작단위로 분할하는 단계는,
    상기 가상수술데이터로부터 특정 이벤트의 발생 여부를 인식하는 단계; 및
    상기 특정 이벤트를 기초로 상기 최소수술동작단위를 인식하는 단계를 포함하며,
    상기 특정 이벤트는,
    상기 가상수술데이터에 포함된 수술도구 및 수술부위 중 적어도 하나에 대한 변화를 포함하는 것을 특징으로 하는 수술 시뮬레이션 정보 생성방법.
  3. 제2항에 있어서,
    상기 특정 이벤트의 발생 여부를 인식하는 단계는,
    상기 수술도구의 동작 변화를 기준으로 이벤트 발생 여부를 인식하거나,
    상기 수술부위의 상태 변화를 기준으로 이벤트 발생 여부를 인식하거나, 또는
    상기 수술도구의 동작 변화가 발생함에 따라 상기 수술부위의 상태 변화를 일으키는지를 기준으로 이벤트 발생 여부를 인식하는 것을 특징으로 하는 수술 시뮬레이션 정보 생성방법.
  4. 제1항에 있어서,
    상기 큐시트데이터를 생성하는 단계는,
    상기 특정 수술과정에 대응하여 상기 최소수술동작단위를 순차적으로 구성하여 상기 큐시트데이터를 생성하는 것을 특징으로 하는 수술 시뮬레이션 정보 생성방법.
  5. 제1항에 있어서,
    상기 가상신체모델을 생성하는 단계는,
    상기 환자의 수술부위를 포함하는 의료영상을 획득하는 단계; 및
    상기 의료영상을 기초로 3D 모델링하여 상기 가상신체모델을 생성하는 단계를 포함하는 것을 특징으로 하는 수술 시뮬레이션 정보 생성방법.
  6. 제5항에 있어서,
    상기 가상신체모델을 생성하는 단계는,
    상기 환자의 실제 수술자세를 획득하는 단계; 및
    상기 실제 수술자세에 기초하여 상기 의료영상을 보정함으로써 상기 가상신체모델을 3D 모델링하는 단계를 더 포함하는 것을 특징으로 하는 수술 시뮬레이션 정보 생성방법.
  7. 제1항에 있어서,
    상기 큐시트데이터의 최적화 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 수술 시뮬레이션 정보 생성방법.
  8. 제7항에 있어서,
    상기 최적화 여부를 판단하는 단계는,
    최적화된 것으로 판단된 상기 큐시트데이터를 기초로 수술가이드 데이터를 제공하는 단계를 더 포함하는 것을 특징으로 하는 수술 시뮬레이션 정보 생성방법.
  9. 제7항에 있어서,
    상기 최적화 여부를 판단하는 단계는,
    최적화 큐시트데이터를 획득하는 단계; 및
    상기 큐시트데이터와 상기 최적화 큐시트데이터를 비교하는 단계를 포함하는 것을 특징으로 하는 수술 시뮬레이션 정보 생성방법.
  10. 제9항에 있어서,
    상기 최적화 큐시트데이터를 획득하는 단계는,
    하나 이상의 학습 큐시트데이터를 획득하는 단계;
    상기 하나 이상의 학습 큐시트데이터를 이용하여 강화학습을 수행하는 단계; 및
    상기 강화학습 결과에 기초하여 상기 최적화 큐시트데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 수술 시뮬레이션 정보 생성방법.
  11. 하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
  12. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    수술 시 환자의 신체상태와 동일한 가상신체모델을 생성하는 단계;
    상기 가상신체모델에 대해 특정 수술과정을 시뮬레이션하여 가상수술데이터를 획득하는 단계;
    상기 가상수술데이터를 하나의 특정한 동작을 나타내는 최소수술동작단위로 분할하는 단계; 및
    상기 최소수술동작단위로 구성되어 상기 특정 수술과정을 나타내는 큐시트데이터를 생성하는 단계를 수행하는 것을 특징으로 하는 장치.
PCT/KR2018/013947 2017-12-28 2018-11-15 수술 시뮬레이션 정보 생성방법 및 프로그램 WO2019132244A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201880088984.XA CN111770735B (zh) 2017-12-28 2018-11-15 手术仿真信息生成方法及程序
EP18894558.8A EP3733107B1 (en) 2017-12-28 2018-11-15 Method for generating surgical simulation information and program
CN202310966673.1A CN116869651A (zh) 2017-12-28 2018-11-15 提供基于虚拟现实的手术模拟的装置及方法
US16/913,959 US11660142B2 (en) 2017-12-28 2020-06-26 Method for generating surgical simulation information and program
US18/302,297 US20230248439A1 (en) 2017-12-28 2023-04-18 Method for generating surgical simulation information and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170182888A KR101862359B1 (ko) 2017-12-28 2017-12-28 수술 시뮬레이션 정보 생성방법 및 프로그램
KR10-2017-0182888 2017-12-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/913,959 Continuation US11660142B2 (en) 2017-12-28 2020-06-26 Method for generating surgical simulation information and program

Publications (1)

Publication Number Publication Date
WO2019132244A1 true WO2019132244A1 (ko) 2019-07-04

Family

ID=62781067

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/013947 WO2019132244A1 (ko) 2017-12-28 2018-11-15 수술 시뮬레이션 정보 생성방법 및 프로그램

Country Status (5)

Country Link
US (2) US11660142B2 (ko)
EP (1) EP3733107B1 (ko)
KR (1) KR101862359B1 (ko)
CN (2) CN116869651A (ko)
WO (1) WO2019132244A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101862359B1 (ko) * 2017-12-28 2018-06-29 (주)휴톰 수술 시뮬레이션 정보 생성방법 및 프로그램
KR102116423B1 (ko) 2018-10-29 2020-05-28 주식회사 매니아마인드 미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치
KR102213412B1 (ko) * 2018-11-15 2021-02-05 서울여자대학교 산학협력단 기복모델 생성방법, 장치 및 프로그램
KR102528433B1 (ko) * 2019-04-02 2023-05-02 삼성중공업 주식회사 갠트리탑재형 카메라를 이용한 곡부재 제작 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124824A (ja) * 2003-10-23 2005-05-19 Olympus Corp 手術支援システム
KR20050048438A (ko) * 2003-11-19 2005-05-24 주식회사 휴민텍 3차원 정형외과 가이드 방법
KR20100124638A (ko) * 2009-05-19 2010-11-29 주식회사 이턴 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
KR101302595B1 (ko) * 2012-07-03 2013-08-30 한국과학기술연구원 수술 진행 단계를 추정하는 시스템 및 방법
KR20150113929A (ko) * 2014-03-31 2015-10-08 주식회사 코어메드 영상수술 트레이닝 제공방법 및 그 기록매체
KR101862359B1 (ko) * 2017-12-28 2018-06-29 (주)휴톰 수술 시뮬레이션 정보 생성방법 및 프로그램

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004068406A2 (en) * 2003-01-30 2004-08-12 Chase Medical, L.P. A method and system for image processing and contour assessment
CN2706142Y (zh) * 2004-01-09 2005-06-29 陈星广 智能机械手脊骨诊治装置
US20070078678A1 (en) * 2005-09-30 2007-04-05 Disilvestro Mark R System and method for performing a computer assisted orthopaedic surgical procedure
US8117549B2 (en) * 2005-10-26 2012-02-14 Bruce Reiner System and method for capturing user actions within electronic workflow templates
US8560047B2 (en) * 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
WO2008087629A2 (en) * 2007-01-16 2008-07-24 Simbionix Ltd. Preoperative surgical simulation
CN102282527B (zh) * 2008-11-21 2014-07-02 伦敦健康科学中心研究公司 无手动指示器系统
DE102009049819B4 (de) * 2009-10-19 2019-01-24 Siemens Healthcare Gmbh Verfahren zur Unterstützung einer mehrere Arbeitsschritte umfassenden Intervention an einem Patienten
KR101235044B1 (ko) * 2010-11-02 2013-02-21 서울대학교병원 (분사무소) 3ｄ 모델링을 이용한 수술 시뮬레이션 방법 및 자동 수술장치
WO2016201341A1 (en) * 2015-06-12 2016-12-15 The Trustees Of Dartmouth College Systems and methods for guiding tissue resection
KR20120111871A (ko) 2011-03-29 2012-10-11 삼성전자주식회사 3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치
US8954297B2 (en) * 2012-01-02 2015-02-10 Flux Factory, Inc. Automated and intelligent structure design generation and exploration
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US9761014B2 (en) * 2012-11-15 2017-09-12 Siemens Healthcare Gmbh System and method for registering pre-operative and intra-operative images using biomechanical model simulations
KR20160092425A (ko) 2015-01-27 2016-08-04 국민대학교산학협력단 가상 수술 시뮬레이션 장치 및 그 동작 방법
CN107847289A (zh) * 2015-03-01 2018-03-27 阿里斯医疗诊断公司 现实增强的形态学手术
US9949700B2 (en) * 2015-07-22 2018-04-24 Inneroptic Technology, Inc. Medical device approaches
KR101659959B1 (ko) * 2015-09-03 2016-09-26 삼성전자주식회사 의료 영상 정보를 제공하는 방법 및 그 장치
US10398509B2 (en) * 2015-09-18 2019-09-03 General Electric Company System and method for optimal catheter selection for individual patient anatomy
US10130429B1 (en) * 2016-01-06 2018-11-20 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
US10842379B2 (en) * 2016-01-29 2020-11-24 Siemens Healthcare Gmbh Multi-modality image fusion for 3D printing of organ morphology and physiology
WO2017173518A1 (en) * 2016-04-05 2017-10-12 Synaptive Medical (Barbados) Inc. Multi-metric surgery simulator and methods
US10049301B2 (en) * 2016-08-01 2018-08-14 Siemens Healthcare Gmbh Medical scanner teaches itself to optimize clinical protocols and image acquisition
US10242292B2 (en) * 2017-06-13 2019-03-26 Digital Surgery Limited Surgical simulation for training detection and classification neural networks
US11350994B2 (en) * 2017-06-19 2022-06-07 Navlab Holdings Ii, Llc Surgery planning
US11229496B2 (en) * 2017-06-22 2022-01-25 Navlab Holdings Ii, Llc Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure
WO2020251236A1 (ko) * 2019-06-10 2020-12-17 (주)사맛디 딥러닝 알고리즘을 이용한 영상데이터 검색 방법, 장치 및 프로그램

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124824A (ja) * 2003-10-23 2005-05-19 Olympus Corp 手術支援システム
KR20050048438A (ko) * 2003-11-19 2005-05-24 주식회사 휴민텍 3차원 정형외과 가이드 방법
KR20100124638A (ko) * 2009-05-19 2010-11-29 주식회사 이턴 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
KR101302595B1 (ko) * 2012-07-03 2013-08-30 한국과학기술연구원 수술 진행 단계를 추정하는 시스템 및 방법
KR20150113929A (ko) * 2014-03-31 2015-10-08 주식회사 코어메드 영상수술 트레이닝 제공방법 및 그 기록매체
KR101862359B1 (ko) * 2017-12-28 2018-06-29 (주)휴톰 수술 시뮬레이션 정보 생성방법 및 프로그램

Also Published As

Publication number Publication date
EP3733107C0 (en) 2024-03-06
EP3733107A1 (en) 2020-11-04
CN111770735B (zh) 2023-08-22
US20230248439A1 (en) 2023-08-10
KR101862359B1 (ko) 2018-06-29
EP3733107B1 (en) 2024-03-06
CN116869651A (zh) 2023-10-13
CN111770735A (zh) 2020-10-13
US11660142B2 (en) 2023-05-30
US20200360089A1 (en) 2020-11-19
EP3733107A4 (en) 2021-08-25

Similar Documents

Publication Publication Date Title
KR102014359B1 (ko) 수술영상 기반 카메라 위치 제공 방법 및 장치
WO2019132244A1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
WO2018174419A1 (ko) 3차원 경혈 매핑 장치 및 방법
WO2019132165A1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
CN107847289A (zh) 现实增强的形态学手术
KR102146672B1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
KR102298417B1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
KR20190080706A (ko) 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치
WO2021206518A1 (ko) 수술 후 수술과정 분석 방법 및 시스템
WO2021206517A1 (ko) 수술 중 혈관 네비게이션 방법 및 시스템
WO2019132166A1 (ko) 수술보조 영상 표시방법 및 프로그램
KR102213412B1 (ko) 기복모델 생성방법, 장치 및 프로그램
WO2020159276A1 (ko) 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
KR101940706B1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
KR20190133423A (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
WO2023008818A1 (ko) Poi 정의 및 phase 인식 기반의 실제 수술 영상과 3d 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법
WO2023018138A1 (ko) 환자의 가상 기복 모델을 생성하는 장치 및 방법
KR20190133424A (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
WO2023003389A1 (ko) 환자의 3차원 가상 기복 모델 상에 트로카의 삽입 위치를 결정하는 장치 및 방법
WO2023234626A1 (ko) 수술 종류에 따라 장기 및 혈관에 대한 3d 모델을 생성하는 장치 및 방법
WO2019164278A1 (ko) 수술영상을 이용한 수술정보 제공 방법 및 장치
JP2023131741A (ja) 医療画像表示システム、医療画像表示方法及びプログラム
CN117045318A (zh) 一种穿刺手术引导系统、方法及手术机器人
WO2016137191A1 (ko) 하악운동 시뮬레이션 방법, 이를 위한 장치, 및 이를 기록한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18894558

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018894558

Country of ref document: EP

Effective date: 20200728