KR20230109571A - 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법 - Google Patents
수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법 Download PDFInfo
- Publication number
- KR20230109571A KR20230109571A KR1020230004470A KR20230004470A KR20230109571A KR 20230109571 A KR20230109571 A KR 20230109571A KR 1020230004470 A KR1020230004470 A KR 1020230004470A KR 20230004470 A KR20230004470 A KR 20230004470A KR 20230109571 A KR20230109571 A KR 20230109571A
- Authority
- KR
- South Korea
- Prior art keywords
- surgical
- image
- virtual
- patient
- virtual reality
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001356 surgical procedure Methods 0.000 claims abstract description 64
- 238000004088 simulation Methods 0.000 claims abstract description 45
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 37
- 238000010801 machine learning Methods 0.000 claims abstract description 34
- 210000000056 organ Anatomy 0.000 claims abstract description 31
- 238000004891 communication Methods 0.000 claims abstract description 18
- 238000003860 storage Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000000704 physical effect Effects 0.000 claims abstract description 8
- 210000000577 adipose tissue Anatomy 0.000 claims description 13
- 230000035772 mutation Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 5
- 238000007493 shaping process Methods 0.000 claims description 5
- 230000000740 bleeding effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 7
- 210000000232 gallbladder Anatomy 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000002192 cholecystectomy Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000002224 dissection Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 230000002792 vascular Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 241000229175 Calotes Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 210000000013 bile duct Anatomy 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000005345 coagulation Methods 0.000 description 2
- 230000015271 coagulation Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 235000015110 jellies Nutrition 0.000 description 1
- 239000008274 jelly Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
- A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법에 관한 것으로, 통신모듈; 적어도 하나의 수술 영상을 표시하는 디스플레이모듈-상기 수술 영상은, 가상 수술 영상 및 추천 수술 영상 중 적어도 하나를 포함함-; 상기 수술상황 별 가상현실을 기반으로 수술환경을 제공하기 위한 적어도 하나의 프로세스를 저장하는 저장모듈; 및 상기 적어도 하나의 프로세스를 기반으로 상기 수술상황 별 가상현실을 기반으로 수술환경을 제공하기 위한 동작을 수행하는 제어모듈을 포함하며, 상기 제어모듈은, 수술 대상자의 의료 영상을 획득하고, 제1 머신러닝 모델을 이용하여 상기 획득된 의료 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 적어도 하나 이상의 환자 맞춤형 가상 모델을 생성 및 저장하고, 사용자가 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 신체 내부 물성 처리와 유사하게 설계된 물리 엔진을 이용하여 상기 사용자에 의해 수행되는 동작에 따라 신체 내부 변화를 포함하는 상기 가상 수술 영상을 출력하여 제공할 수 있다.
Description
본 발명은 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법에 대한 것으로, 보다 구체적으로 혈관 변이를 고려한 환자 맞춤형 가상 모델을 제공하기 위한 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법에 관한 것이다.
최근 들어 병원에서 수술하는 경우, 바로 수술을 진행하지 않고, 수술 전 환자의 조건을 3D 시뮬레이션(입체영상)으로 만든 뒤 실제 수술과 동일한 조건 하에 가상으로 수술을 시행할 수 있다.
보다 상세하게는, 가상현실을 기반 수술환경을 제공하여 가상 모의 수술을 수행하도록 하는 경우, 정밀한 진단을 사전에 세울 수 있다. 그러므로, 전문의의 감에 의존하는 것이 아니라 가상 모의 수술을 통해 계획을 세우고, 아주 작은 오차까지도 줄여 나갈 수 있다.
위와 같은 가상 모의 수술이 가져오는 놀라운 효과는 수술의 정확성이 향상되고, 실제 수술상황을 예측 가능하며, 환자 개인에게 적합한 수술 방법이 제공되어 시간을 단축할 수 있다는 것이다.
그러나, 수술은 다양한 종류가 존재하고, 변수 또는 환경에 따라 다양하게 이뤄지게 되는데, 특히, 수술에서의 혈관 변이는 수술의 난이도를 매우 어렵게 한다.
따라서, 시뮬레이션을 위해 가상현실을 기반으로 수술환경을 제공할 시, 혈관 변이를 고려한 환자 맞춤형 가상 모델을 생성하여 제공할 수 있도록 하는 기술이 개발될 필요가 있다.
상술한 바와 같은 문제점을 해결하기 위한 본 발명은 시뮬레이션을 위해 가상현실을 기반으로 수술환경을 제공할 시, 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 환자 맞춤형 가상 모델을 생성 및 제공함으로써, 사용자(의료진)가 실제 수술과 유사한 환경에서 그 가상 모델을 기반으로 시뮬레이션 해볼 수 있도록 하여 숙련도가 높지 않은 사용자의 경우에도 실제 수술 중에 발생할 수 있는 실수를 발생시키지 않도록 하거나 유연하게 대처할 수 있도록 하는 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법을 제공할 수 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경 제공 장치는, 통신모듈; 적어도 하나의 수술 영상을 표시하는 디스플레이모듈-상기 수술 영상은, 가상 수술 영상 및 추천 수술 영상 중 적어도 하나를 포함함-; 상기 수술상황 별 가상현실을 기반으로 수술환경을 제공하기 위한 적어도 하나의 프로세스를 저장하는 저장모듈; 및 상기 적어도 하나의 프로세스를 기반으로 상기 수술상황 별 가상현실을 기반으로 수술환경을 제공하기 위한 동작을 수행하는 제어모듈을 포함하며, 상기 제어모듈은, 수술 대상자의 의료 영상을 획득하고, 제1 머신러닝 모델을 이용하여 상기 획득된 의료 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 적어도 하나 이상의 환자 맞춤형 가상 모델을 생성 및 저장하고, 사용자가 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 신체 내부 물성 처리와 유사하게 설계된 물리 엔진을 이용하여 상기 사용자에 의해 수행되는 동작에 따라 신체 내부 변화를 포함하는 상기 가상 수술 영상을 출력하고, 상기 적어도 하나 이상의 환자 맞춤형 가상 모델은, 3D 모델링을 통해 신체 부위를 3D로 형상화한 데이터로서, 상기 적어도 하나에 대한 변이가 각각 고려된 것일 수 있다.
한편, 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경 제공 방법은, 수술 대상자의 의료 영상을 획득하는 단계; 제1 머신러닝 모델을 이용하여 상기 획득된 의료 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 적어도 하나 이상의 환자 맞춤형 가상 모델을 생성 및 저장하는 단계; 및 사용자가 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 신체 내부 물성 처리와 유사하게 설계된 물리 엔진을 이용하여 상기 사용자에 의해 수행되는 동작에 따라 신체 내부 변화를 포함하는 상기 가상 수술 영상을 출력하여 제공하는 단계를 포함하고, 상기 적어도 하나 이상의 환자 맞춤형 가상 모델은, 3D 모델링을 통해 신체 부위를 3D로 형상화한 데이터로서, 상기 적어도 하나에 대한 변이가 각각 고려된 것일 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
상기와 같은 본 발명에 따르면, 본 발명은 시뮬레이션을 위해 가상현실을 기반으로 수술환경을 제공할 시, 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 환자 맞춤형 가상 모델을 생성 및 제공함으로써, 사용자(의료진)가 실제 수술과 유사한 환경에서 그 가상 모델을 기반으로 시뮬레이션 해볼 수 있도록 하여 숙련도가 높지 않은 사용자의 경우에도 실제 수술 중에 발생할 수 있는 실수를 발생시키지 않도록 하거나 유연하게 대처할 수 있도록 한다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 다양한 혈관 변이를 갖는 혈관의 형태에 대한 예시들을 인구통계학적 분포에 따라 대략적으로 도시한 도면
도 2는 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경 제공 장치의 구성을 나타내는 블록도
도 3은 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경을 제공하기 위한 각 절차를 개략적으로 도시한 도면
도 4는 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경 제공 방법을 나타내는 순서도
도 5는 본 발명의 일 실시예에 따라 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에 수행하는 구체적인 동작을 나타내는 순서도
도 6은 본 발명의 일 실시예에 따라 수술 단계를 정의 시에 수행하는 구체적인 동작을나타내는 순서도
도 7은 본 발명의 일 실시예에 따라 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 인식하기 위하여 제1 머신러닝 모델을 학습하는 방법을 나타내는 순서도
도 8은 본 발명의 일 실시예에 따라 영상을 기반으로 수술 단계를 인식하기 위한 제2 머신러닝 모델을 학습하는 방법을 나타내는 순서도
도 9 내지 도 14는 본 발명의 일 실시예에 따라 구축된 시뮬레이션 환경을 통해 담낭 절제술(Cholecystectomy)에 대한 시뮬레이션을 수행할 시에 수술환경 제공 장치의 디스플레이 모듈에 표시되는 사용자 인터페이스의 일 예시를 나타내는 도면
도 2는 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경 제공 장치의 구성을 나타내는 블록도
도 3은 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경을 제공하기 위한 각 절차를 개략적으로 도시한 도면
도 4는 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경 제공 방법을 나타내는 순서도
도 5는 본 발명의 일 실시예에 따라 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에 수행하는 구체적인 동작을 나타내는 순서도
도 6은 본 발명의 일 실시예에 따라 수술 단계를 정의 시에 수행하는 구체적인 동작을나타내는 순서도
도 7은 본 발명의 일 실시예에 따라 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 인식하기 위하여 제1 머신러닝 모델을 학습하는 방법을 나타내는 순서도
도 8은 본 발명의 일 실시예에 따라 영상을 기반으로 수술 단계를 인식하기 위한 제2 머신러닝 모델을 학습하는 방법을 나타내는 순서도
도 9 내지 도 14는 본 발명의 일 실시예에 따라 구축된 시뮬레이션 환경을 통해 담낭 절제술(Cholecystectomy)에 대한 시뮬레이션을 수행할 시에 수술환경 제공 장치의 디스플레이 모듈에 표시되는 사용자 인터페이스의 일 예시를 나타내는 도면
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있
어서의 픽셀들 및 3D 영상에 있어서의 복셀들)로 구성된 다차원(multidimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 CT 촬영 장치에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다.
본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의
일부 또는 전부일수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 및 혈관 중 적어도 하나를 포함할 수 있다.
본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.
본 명세서에서 "의료영상데이터"는 의료영상 촬영장비로 촬영되는 의료영상으로서, 대상체의 신체를 3차원 모델로 구현 가능한 모든 의료영상을 포함한다. "의료영상데이터"는 컴퓨터 단층촬영(Computed Tomography, CT)영상, 자기공명영상(Magnetic Resonance Imaging, MRI), 양전자 단층촬영(Positron Emission Tomography, PET) 영상 등을 포함할 수 있다.
본 명세서에서 "가상 모델"은 의료영상데이터를 기반으로 실제 환자의 신체에 부합하게 생성된 모델을 의미한다. "가상 모델"은 의료영상데이터를 그대로 3차원으로 모델링하여 생성한 것일 수도 있고, 모델링 후에 실제 수술 시와 같게 보정한 것일 수도 있다.
본 명세서에서 "가상수술데이터"는 가상 모델에 대해 수행되는 리허설 또는 시뮬레이션 행위를 포함하는 데이터를 의미한다. "가상수술데이터"는 가상공간에서 가상 모델에 대해 리허설 또는 시뮬레이션이 수행된 영상데이터일 수도 있고, 가상 모델에 대해 수행된 수술동작에 대해 기록된 데이터일 수도 있다. 또한, "가상수술데이터"는 수술학습모델을 학습시키기 위한 학습데이터를 포함할 수도 있다.
본 명세서에서 "실제수술데이터"는 실제 의료진이 수술을 수행함에 따라 획득되는 데이터를 의미한다. "수술데이터"는 실제 수술과정에서 수술부위를 촬영한 영상데이터일 수도 있고, 실제 수술과정에서 수행된 수술동작에 대해 기록된 데이터일 수도 있다.
본 명세서에서 수술단계(phase)는 특정한 수술유형의 전체 수술에서 순차적으로 수행되는 기본단계를 의미한다.
본 명세서에서 시뮬레이션이란, 신체부위가 3D로 모델링된 3D 모델링데이터를 기반으로 하여 수술도구 등의 움직임을 확인할 수 있도록 3D 상에서 시뮬레이션하는 프로그램이다. 이 시뮬레이션은 수술도구의 단순 움직임뿐만 아니라, 해당 3D 모델링데이터에 의해 생성된 가상 모델에 수술 행위를 가상으로 진행되는 상황을 시뮬레이션하는 것이다. 본 명세서에서 시뮬레이션은 매니퓰레이터와 연결되어 활용될 수도 있고, 또는 단독 프로그램으로 활용되어 다른 가상의 수술도구를 사용할 수도 있다.
매니퓰레이터는, 상술한 바와 같이 사용자의 손을 이용하여 실제 수술 로봇의 암(arm)에 신호를 전송하여 로봇의 암을 제어하는 것인데, 매니퓰레이터작동데이터는, 시뮬레이션 상에서 사용자가 매니퓰레이터를 동작함으로써 획득한 가상팔동작데이터 및 가상영상데이터이다.
본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 다양한 혈관 변이를 갖는 혈관의 형태에 대한 예시들을 인구통계학적 분포에 따라 대략적으로 도시한 도면으로서, 위암 수술을 예시로 한 경우를 나타낸 것이다.
도 1에 도시된 바와 같이, 혈관 변이는 환자에 따라 다양한 형태로 나타날 수 있다.
비록, 도 1에는 혈관 변이(변형)에 대한 예시 상황들만을 도시하였으나, 혈관뿐만 아니라 장기 변이(변형) 또한 수술의 난이도를 매우 어렵게 한다.
현재의 시뮬레이터는 장기 및/또는 혈관에 대한 변이를 고려하지 못하고 있어, 시뮬레이터를 기반으로 수술 전에 시뮬레이션을 수행한다 하더라도 실제 환자(수술 대상자)의 장기 및/또는 혈관에 대한 변이 여부 및/또는 정도에 따라 수술의 난이도가 높아져 안정적인 수술이 불가할 수 있다.
따라서, 본 발명은 이러한 다양한 상황들에 맞게 해당 환자에게 적합한 환자 맞춤형 가상 모델을 적어도 하나 이상 생성하여 저장함으로써, 시뮬레이션 환경을 구축함으로써, 이를 통해 수술상황 별 가상현실 기반 수술환경을 제공하여 수술 전에 시뮬레이션을 실행해볼 수 있도록 하고자 한다.
도 2는 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경 제공 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 가상현실 기반 수술환경 제공 장치(이하, '수술환경 제공 장치'라 칭함)(100)는 통신모듈(110), 저장모듈(130) 및 제어모듈(170)을 포함하여 구성될 수 있다.
통신모듈(110)은 적어도 하나의 의료 장치, 적어도 하나의 의료진 단말, 관리 서버 등과 통신을 수행하기 위한 것으로, 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 한다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 수술환경 제공 장치(100)는 앞에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.
근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 무선 통신망(Wireless Area Networks)을 통해 수술환경 제공 장치(100)와 각각의 서로 다른 장치, 장비, 단말 간 무선 통신을 지원할 수 있다. 이때, 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
저장모듈(130)은 수술환경 제공 장치(100)의 다양한 기능을 지원하는 데이터 및/또는 각종 정보들을 저장한다. 수술환경 제공 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 수술환경 제공 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 한편, 응용 프로그램은, 제어모듈(170)에 저장되고, 수술환경 제공 장치(100) 상에 설치되어, 제어모듈(170)에 의하여 동작(또는 기능)을 수행하도록 구동될 수 있다.
구체적으로, 저장모듈(130)에는 적어도 하나의 의료 장치, 적어도 하나의 의료진 단말, 관리 서버에 대한 정보가 등록 및 저장될 뿐만 아니라, 적어도 하나의 환자에 대한 수술데이터, 의료 영상, 수술 영상(실제 수술 영상, 가상 수술 영상 등), 수술 정보(적어도 하나의 수술 종류 각각에 대한 수술 단계에 대한 정보를 포함함) 및 가상 모델, 그리고 가상현실 기반 수술환경을 제공하기 위해 필요한 적어도 하나의 머신러닝 모델 및 적어도 하나의 프로세스를 저장한다.
여기서, 적어도 하나의 머신러닝 모델으로서 제1 머신러닝 모델 및 제2 머신러닝 모델을 포함하고, 물리 엔진(Physics Engine)을 더 포함할 수 있다. 예를 들어, 제1 머신러닝 모델은 복수의 환자 각각에 대한 의료 영상을 복수개 획득하고, 그 획득된 복수개의 의료 영상을 기반으로 변이을 갖는 장기 및 혈관 중 적어도 하나를 레이블로 정의하여 기계 학습한 모델일 수 있다. 이때, 복수의 환자 각각에 대한 의료 영상은 장기 및 혈관 중 적어도 하나에 대한 변이를 갖는 환자의 의료 영상은 물론, 장기 및 혈관 중 적어도 하나에 대한 변이를 갖지 않는 환자의 의료 영상까지 포함할 수 있다. 또한, 제2 머신러닝 모델은, 수술 도구, 신체 장기 및 출혈 중 적어도 하나의 객체를 포함하는 복수개의 실제 수술 영상을 획득하고, 그 획득된 복수개의 실제 수술 영상을 기반으로 적어도 하나 이상의 수술 동작 또는 단계를 레이블로 정의하여 기계 학습한 모델일 수 있다. 이를 위해, 저장모듈(130)은 제1 머신러닝 모델 및 제2 머신러닝 모델 각각을 기계 학습하기 위해 레이블링을 수행한 학습 데이터 셋이 저장될 수 있다. 한편, 물리 엔진은 신체 내부 물성 처리와 유사하게 설계된 것일 수 있다.
이 물리 엔진은 질량, 속도, 마찰 등의 수치를 이용하여 자연계의 물리 현상을 컴퓨터상에서 시뮬레이션 해주는 소프트웨어 라이브러리이다. CPU 연산 능력에는 한계가 있기 때문에 모든 물리 현상을 그대로 구현하는 것은 어렵지만 매니퓰레이터 및/또는 로봇의 암과 같은 다양한 강체(rigid body)에 가해지는 힘과 운동 상태를 뉴턴 역학(Newtonian mechanics)에 적용하면 실제 환경과 유사한 정역학, 동역학적 특성을 주어진 시간 안에 계산해 낼 수 있다. 이러한 물리 엔진은 최근 3D 게임 열풍과 함께 많은 연구가 진전되어 강체의 역학뿐만 아니라 파티클(particle), 유체(fluid) 및 변형 물체(deformable body)의 동역학적 특성도 실시간으로 계산이 가능하다. 뿐만 아니라, 충돌 검출 기능을 가지고 있어 다른 강체와의 접촉을 쉽게 파악할 수 있다. 물리 엔진은 논리적으로만 공간을 구성하기 때문에 물리 엔진이 연산한 움직임을 화면에 그려주는 작업은 흔히 그래픽 엔진이라 부르는 랜더링 엔진이 수행한다.
이로써, 본 발명의 일 실시예를 기반으로 시뮬레이션 상에서 사용자가 매니퓰레이터를 동작하면 이 매니퓰레이터에 적용된 물리 엔진을 통해 그 동작에 따른 신체 내부 변화를 포함하는 가상 수술 영상을 출력할 수 있게 되는 것이다.
또한, 저장모듈(130)에 저장되는 각 정보들은 필요에 따라 각각의 시간정보와 함께 저장될 수 있다.
이를 위해, 저장모듈(130)은 메모리를 포함할 수 있으며, 메모리는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 아울러, 메모리는 일시적, 영구적 또는 반영구적으로 정보를 저장할 수 있으며, 내장형 또는 탈착형으로 제공될 수 있다.
디스플레이모듈(150)은 적어도 하나의 수술 영상을 표시한다. 이때, 수술 영상은 가상 수술 영상 및 추천 수술 영상 중 적어도 하나를 포함할 수 있으며, 수술데이터, 실제 수술 영상 등 그 외 다른 데이터 및/또는 정보들을 필요에 따라 표시할 수 있다. 또한, 한 번에 여러 개의 데이터 및/또는 정보들을 동시에 표시할 수도 있다.
제어모듈(170)은 수술환경 제공 장치(100) 내 모든 구성들을 제어하여 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나, 저장모듈(130)에 저장된 명령어, 알고리즘, 응용 프로그램을 실행하여 각종 프로세스를 수행하며, 간호정보 관리를 위한 플랫폼을 이용하는 각 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
구체적으로, 제어모듈(170)은 수술 대상자의 의료 영상을 획득하고, 제1 머신러닝 모델을 이용하여 그 획득된 의료 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 적어도 하나 이상의 환자 맞춤형 가상 모델을 생성 및 저장하여 시뮬레이션 환경을 구축한다.
또한, 제어모듈(170)은 사용자가 그 구축된 시뮬레이션 환경에서 적어도 하나 이상의 환자 맞춤형 가상 모델 중 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 신체 내부 물성 처리와 유사하게 설계된 물리 엔진을 을 이용하여 그 사용자에 의해 수행되는 동작에 따라 신체 내부 변화를 포함하는 가상 수술 영상을 출력한다.
한편, 제어모듈(170)은 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션 수행 시에, 그 수술 대상자의 수술 종류를 확인하고, 그 확인된 수술 종류에 대응하는 수술 단계를 정의한다. 이후, 제어모듈(170)은 적어도 하나 이상의 환자 맞춤형 가상 모델 중 그 정의된 수술 단계에 대응하는 환자 맞춤형 가상 모델을 특정 환자 맞춤형 가상 모델로 선정하고, 그 특정 환자 맞춤형 가상 모델 내 적어도 하나의 객체(3차원 오브젝트) 주변에 지방 조직을 추가 모델링하도록 한다. 여기서, 적어도 하나의 객체는 장기 및 혈관 중 적어도 하나일 수 있다.
또한, 제어모듈(170)은 그 정의된 수술 단계를 정의 시에, 저장모듈(130)에 기 저장된 수술정보를 기반으로 앞서 확인된 수술 종류에 맵핑된 수술과정을 확인하고, 그 확인된 수술 과정에 포함된 전체 수술 단계에서 기 설정된 필수 수술 단계만을 특정하여 수술 단계로서 정의할 수 있다.
즉, 제어모듈(170)은 해당 수술의 전체 과정을 필수 수술 단계로 단순화하고, 그 수술 단계에 따른 시나리오를 기반으로 특정 환자 맞춤형 가상 모델에 대한 최적화된 추가 모델링을 수행하고, 그 추가 모델링이 수행 완료된 특정 환자 맞춤형 가상 모델을 통해 시뮬레이션을 수행하도록 한다.
여기서, 적어도 하나 이상의 환자 맞춤형 가상 모델은 3차원 모델링을 통해 신체 부위를 3차원으로 형상화한 데이터로서, 장기 및 혈관 중 적어도 하나에 대한 변이가 각각 고려된 것일 수 있다. 즉, 하나의 환자 맞춤형 가상 모델에 적어도 하나의 장기 변이만이 고려되거나, 적어도 하나의 혈관 변이만이 고려될 수도 있음은 물론, 장기 및 혈관 변이가 복합적으로 고려될 수도 있다. 이때, 고려되는 변이의 대상, 위치, 개수 등에 따라 그 난이도가 설정될 수도 있다. 다시 말해, 적어도 하나 이상의 환자 맞춤형 가상 모델 각각은 적어도 하나에 대한 변이의 정도에 따라 난이도가 설정될 수 있다.
이 경우, 제어모듈(170)은 시뮬레이션 수행하고자 하는 사용자가 사용자 단말 또는 수술환경 제공 장치(100)에 구비된 입력모듈(미도시)을 통해 사용자 입력(또는 입력정보)이 입력(선택, 수신)되면, 적어도 하나 이상의 환자 맞춤형 가상 모델 중 특정 환자 맞춤형 가상 모델을 선정 시에, 그 사용자 입력에 따라 설정된 난이도를 더 고려하도록 할 수 있다. 이때, 사용자 입력은 수술 대상자의 환자정보(인적사항 정보, 의료 정보, 의료 영상 등), 수술 종류 및 난이도 중 적어도 하나를 포함할 수 있다.
그러나, 이는 하나의 실시예일 뿐, 사용자 입력이 입력(선택, 수신)받을 필요없이, 필요에 따라 저장모듈(130) 및/또는 연동(연결)된 외부 장치로부터 기 저장된 적어도 하나의 환자정보 중 그 수술 대상자의 환자정보를 읽어들이거나 수신하여 수술 종류, 난이도 등을 자동으로 설정할 수도 있다.
한편, 제어모듈(170)은 상기 사용자가 상기 생성된 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 제2 머신러닝 모델을 이용하여 교차 모델 검색(Cross-modal Retrieval)을 기반으로 유사한 변이를 수술한 영상을 추천 수술 영상으로 선정하고, 그 추천 수술 영상을 출력하여 제공한다.
앞서 설명한 제1 머신러닝 모델, 제2 머신러닝 모델 및 물리 엔진은 제어모듈(170)에 의해 미리 구축(설계)되어 저장된 것일 수도 있고, 또는 다른 장치에서 구축된 것을 적용한 것일 수도 있으며, 이를 한정하지 않는다.
한편, 일 예로서, 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 모델링된 지방 조직에 대한 특정 행위가 특정 조건에 상응하는 경우, 제어모듈(170)은 그 지방 조직을 제거 처리하는 애니메이션을 수행할 수 있다. 예를 들어, 특정 행위는 그 지방 조직을 터치하는 행위이고, 특정 조건은 기 설정된 터치 횟수일 수 있다. 즉, 지방 조직을 터치하는 횟수가 기 설정된 횟수 이상인 경우, 그 지방 조직을 제거 처리하는 애니메이션을 수행하는 것이다. 그러나, 이는 하나의 실시예일 뿐, 터치 외에도 이러한 애니메이션을 수행하도록 하는 다른 형태의 동작을 적어도 하나 이상 저장하고, 그 각각의 동작에 대한 임계치 또한 각각 설정될 수 있다.
도 2에 도시된 수술환경 제공 장치(100)는 하나의 실시예에 해당할 뿐, 그 구성요소가 더 적거나 많게 구성될 수 있다. 예를 들어, 수술환경 제공 장치(100)는 디스플레이모듈(150)이 제외되어 구성될 수 있으며, 이 경우 별도의 디스플레이 장치와 연결되어 각종 데이터 및/또는 정보들이 그 디스플레이 장치를 통해 표시되도록 할 수도 있다. 또한, 사용자로부터 사용자 입력을 입력(수신)받기 위한 입력모듈(미도시)이 더 구성될 수도 있다.
도 3은 본 발명의 일 실시예에 따라 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에 수행하는 구체적인 동작을 나타내는 순서도이다.
도 3을 참조하면, 수술환경 제공 장치(100)는 특정 수술에 대한 적어도 하나의 의료 영상 또는 수술 영상을 획득하고, 각 의료 영상 또는 수술 영상에 등장하는 장기, 혈관 및 변이 등에 대한 정보(이름)를 리스트 업하고, 리스트업된 정보를 영상에 태깅하여 각각의 머신러닝 모델이 기계 학습을 수행할 수 있도록 한다. 따라서, 사용자는 장기, 혈관 및 혈관 변이 등에 대한 정보가 라벨링된 혈관의 리스트를 확인할 수 있으며, 나아가 이름이 태그된 영상을 확인할 수 있다.
한편, 수술환경 제공 장치(100)는 특정 수술에 대한 적어도 하나의 의료 영상 또는 수술 영상에 포함된 다양한 객체를 인식할 수 있도록, 각 객체들에 대한 모델링을 수행한다. 이때, 수술 영상에서 인식되는 객체는 크게 인체, 외부에서 유입된 객체 및 자체적으로 생성된 객체를 포함한다.
외부에서 유입된 객체는, 예를 들어 수술 장비(장치), 거즈, 클립 등의 수술 도구들을 포함한다. 이는 기 설정된 형태적 특징을 가지므로, 컴퓨터가 수술 중에 이미지 분석을 통하여 실시간으로 인식할 수도 있다.
내부에서 생성되는 객체는, 예를 들어 신체부위에서 발생하는 출혈 등을 포함한다. 이는 컴퓨터가 수술 중에 이미지 분석을 통하여 실시간으로 인식할 수도 있다.
한편, 수술환경 제공 장치(100)는 특정 수술에 대한 적어도 하나의 의료 영상 또는 수술 영상을 기반으로 적어도 하나의 동작과 그 동작에 사용하는 수술 도구 등을 기반으로 어떤한 수술의 어떠한 단계인지를 확인할 수 있으며, 교차 모델 검색(Cross-modal Retrieval)을 기반으로 기 저장된 수술 영상 중 유사한 혈관 변이를 수술한 영상을 검출할 수 있다.
이로써, 수술환경 제공 장치(100)는 사용자에게 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 환자 맞춤형 가상 모델을 제공하여 시뮬레이션을 통해 수술을 경험해볼 수 있도록 하고, 나아가 시뮬레이션 시에 그 변이와 유사한 수술 영상을 추천 수술 영상으로 선정하여 제공함으로써 사용자가 이를 참고적으로 활용하여 시뮬레이션을 수행하도록 할 수 있다.
도 4는 본 발명의 일 실시예에 따른 수술상황 별 가상현실 기반 수술환경 제공 방법을 나타내는 순서도이다.
도 4를 참조하면, 수술환경 제공 장치(100)는 수술 대상자의 의료 영상을 획득하고(S210), 제1 머신러닝 모델을 이용하여 그 획득된 의료 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 적어도 하나 이상의 환자 맞춤형 가상 모델을 생성 및 저장하여 시뮬레이션 환경을 구축한다(S220).
그 다음으로, 수술환경 제공 장치(100)는 사용자가 앞서 S220 단계에서 생성된 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 그 사용자에 의해 수행되는 동작을 감지하고, 신체 내부 물성 처리와 유사하게 설계된 물리 엔진을 이용하여 그 감지된 동작에 따른 신체 내부 변화를 포함하는 가상 수술 영상을 출력한다(S230).
이후, 수술환경 제공 장치(100)는 해당 수술의 종류, 단계, 동작 등을 통해 제2 머신러닝 모델을 이용하여 교차 모델 검색(Cross-modal Retrieval)을 기반으로 유사한 변이를 수술한 영상을 추천 수술 영상으로 선정하고, 이를 출력하여 제공할 수도 있다(S240).
S230 단계에 의해 출력되는 가상 수술 영상 및 S240 단계에 의해 출력되는 추천 수술 영상은 하나의 디스플레이 화면에 동시에 분할되어 표시되거나, 사용자의 선택에 따라 어느 하나만 표시될 수도 있다. 또한, 사용자의 조작 동작이 감지되면, 그 감지된 조작 동작을 기반으로 해당 영상의 일부가 확대 또는 축소되어 표시될 수도 있다.
그러나, S240 단계는 반드시 수행되어야 하는 동작은 아니며, 추천 수술 영상이 없는 경우 또는 추천 수술 영상을 출력하지 않도록 설정된 경우에는 그 동작이 생략될 수 있다.
도 5는 본 발명의 일 실시예에 따라 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에 수행하는 구체적인 동작을 나타내는 순서도로서, 도 4의 S230 단계를 구체화한 것이다.
도 5를 참조하면, 수술환경 제공 장치(100)는 그 수술 대상자의 수술 종류를 확인하고(S231), 그 확인된 수술 종류에 대응하는 수술 단계를 정의한다(S233).
그 다음으로, 수술환경 제공 장치(100)는 구축된 시뮬레이션 환경을 기반으로 적어도 하나의 환자 맞춤형 가상 모델 중 S233 단계에 의해 정의된 수술 단계에 대응하는 특정 환자 맞춤형 가상 모델을 선정하고(S235), 그 특정 환자 맞춤형 가상 모델 내 적어도 하나 이상의 객체(3차원 장기, 혈관 등의 3차원 오브젝트) 주변에 지방 조직을 추가 모델링 한다(S237).
도 6은 본 발명의 일 실시예에 따라 수술 단계를 정의 시에 수행하는 구체적인 동작을 나타내는 순서도로서, 도 5의 S233 단계를 구체화한 것이다.
도 6을 참조하면, 수술환경 제공 장치(100)는 S231 단계에 의해 확인된 수술 종류에 맵핑된 수술 과정을 저장모듈(130)에 기 저장된 수술정보를 기반으로 확인하고(S2331), 그 확인된 수술 과정에 포함된 전체 수술 단계에서 기 설정된 필수 수술 단계만을 확인한다(S2333).
그 다음으로, 수술환경 제공 장치(100)는 S2333 단계에 의해 확인된 필수 수술 단계만을 그 시뮬레이션을 수행하기 위한 수술 단계로서 정의한다(S2335).
도 7은 본 발명의 일 실시예에 따라 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 인식하기 위하여 제1 머신러닝 모델을 학습하는 방법을 나타내는 순서도이다.
도 7을 참조하면, 수술환경 제공 장치(100)는 특정 수술와 관련한 복수의 환자 각각에 대한 의료 영상(수술 영상)을 적어도 하나 이상 획득하고(S310), 각 의료 영상에 등장하는 장기, 혈관 및 변이 중 적어도 하나에 대한 정보(이름)를 리스트 업한다(S320).
그 다음으로, 수술환경 제공 장치(100)는 S320 단계에 의해 리스트업된 정보를 이용하여 각각의 의료 영상을 기반으로 변이를 갖는 장기 및 혈관 중 적어도 하나를 레이블로 정의하여 태깅하고(S330), 그 태깅이 완료된 각각의 의료 영상을 제1 머신러닝 모델에 입력하여 기계 학습을 수행한다(S340).
도 8은 본 발명의 일 실시예에 따라 영상을 기반으로 수술 단계를 인식하기 위한 제2 머신러닝 모델을 학습하는 방법을 나타내는 순서도이다.
도 8을 참조하면, 수술환경 제공 장치(100)는 적어도 하나의 객체를 포함하는 실제 수술 영상을 적어도 하나 이상 획득하고(S410), 획득된 적어도 하나의 실제 수술 영상 각각에 대한 수술 동작 또는 수술 단계를 확인한다(S420). 여기서, 적어도 하나의 객체는 수술 도구, 신체 장기 및 출혈 중 적어도 하나를 포함할 수 있다.
그 다음으로, 수술환경 제공 장치(100)는 각각의 실제 수술 영상을 기반으로 그 확인된 수술 동작 또는 수술 단계를 레이블로 정의하여 태깅한 후(S430), 그 태깅이 완료된 각각의 실제 수술 영상을 제2 머신러닝 모델에 입력하여 기계 학습을 수행한다(S440).
도 9 내지 도 14는 본 발명의 일 실시예에 따라 구축된 시뮬레이션 환경을 통해 담낭 절제술(Cholecystectomy)에 대한 시뮬레이션을 수행할 시에 수술환경 제공 장치(100)의 디스플레이 모듈(150)에 표시되는 사용자 인터페이스의 일 예시를 나타내는 도면이다.
이 담낭 절제술이 수술 단계는 도 9의 Preparation 단계, 도 10의 Calot triangle dissection 단계, 도 11의 Clipping and cutting 단계, 도 12의 Gallbladder dissection 단계, 도 13의 Gallbladder packaging 단계 및 도 14의 Cleaning and coagulation 단계 순으로 진행될 수 있다.
이때, 도 9 내지 도 14에 따른 동작은 담낭 절제술에 대한 필수 수술 단계만으로 단순화한 것으로, 하나의 실시예일 뿐, 수술환경 제공 장치(100)에 기 저장된 수술정보에 따라 상이해질 수 있으며, 이를 한정하지 않는다.
먼저, 사용자가 수술 대상자의 담낭 절제술에 대한 시뮬레이션을 수행하기 위한 사용자 입력이 입력(수신)되었다면, 그 사용자 입력을 기반으로 그 수술 대상자에 대해 생성된 적어도 하나 이상의 환자 맞춤형 가상 모델 중 특정 환자 맞춤형 가상 모델을 선정한다.
도 9의 Preparation 단계에서는 그 특정 환자 맞춤형 가상 모델 내 적어도 하나의 객체를 확인하고, 그 확인된 적어도 하나의 객체 주변에 지방 조직을 추가 모델링한다. 이때, 지방 조직은 젤리와 유사한 물성이 부여되어 표시될 수 있다.
도 10의 Calot triangle dissection 단계에서는 사용자의 동작을 감지하고, 그 감지된 동작이 지방 조직에 대한 기 설정된 횟수(예를 들어, 3회) 이상의 터치 동작이면, 해당 지방 조직을 제거하는 애니메이션을 수행한다.
도 11의 Clipping and cutting 단계에서는 그 지방 조직이 제거된 상태에서 담관/혈관에 대해 클립 객체를 부착하고, 담관/혈관에 대한 컷팅(cutting) 물성을 부여한다.
도 12의 Gallbladder dissection 단계에서는 사용자의 동작을 감지하고, 그 감지된 동작이 담낭과 간 사이의 좌우 지방 조직에 대한 기 설정된 횟수 이상의 터치 동작이면, 해당 지방 조직을 제거하는 애니메이션을 수행한다.
도 13의 Gallbladder packaging 단계에서는 사용자의 동작을 감지하고, 그 감지된 동작이 담낭에 대한 기 설정된 횟수 이상의 터치 동작이면, 담낭을 제거하는 애니메이션을 수행한다.
이로써, 도 14의 Cleaning and coagulation 단계에서는 별도의 작업 없이 수술 절차를 종료하도록 한다.
본 발명의 실시예들에 따른 심층신경망(Deep Neural Network; DNN)은, 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 의미한다. 예를 들어, 심층신경망은 콘벌루션 풀링 층(Convolutional Pooling Layer), 로컬 접속 층(a locallyconnected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다. 콘벌루션 풀링 층 또는 로컬 접속 층은 영상 내 특징들을 추출하도록 구성될 수 있다. 완전 연결 층은 영상의 특징 간의 상관 관계를 결정할 수 있다. 일부 실시 예에서, 심층신경망의 전체적인 구조는 콘벌루션 풀링 층에 로컬 접속 층이 이어지고, 로컬 접속 층에 완전 연결 층이 이러지는 형태로 이루어질 수 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.
본 발명의 실시예들에 따른 심층신경망은, 영상분석에 적합한 콘볼루셔널 신경망이라고 부르는 구조로서, 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)가 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)와 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수 있다.
특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘벌루션 층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수 차례 반복하는 구조로 형성될 수 있다. 이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다.
콘벌루션 층은 입력 영상의 각 패치에 대하여 필터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)을 취함으로 서 특징지도(Feature Map)을 구하게 되는데, 다른 네트워크 구조와 비교하여, CNN은 희소한 연결성 (Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징이 있다. 이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상시킨다.
통합 층(Pooling Layer 또는 Sub-sampling Layer)은 이전 콘벌루션 층에서 구해진 특징 지도의 지역 정보를 활용하여 새로운 특징 지도를 생성한다. 일반적으로 통합 층에 의해 새로 생성된 특징지도는 원래의 특징 지도보다 작은 크기로 줄어드는데, 대표적인 통합 방법으로는 특징 지도 내 해당 영역의 최대값을 선택하는 최대 통합(Max Pooling)과 특징 지도 내 해당 영역의 평균값을 구하는 평균 통합(Average Pooling) 등이 있다. 통합 층의 특징지도는 일반적으로 이전 층의 특징 지도보다 입력 영상에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 통합층은 입력 영상 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 보다 강인한 특징을 추출할 수 있게 되고, 이러한 특징은 분류 성능에 중요한 역할을 할 수 있다. 또 다른 통합 층의 역할은, 깊은 구조상에서 상위의 학습 층으로 올라갈수록 더 넓은 영역의 특징을 반영할 수 있게 하는 것으로서, 특징 추출 층이 쌓이면서, 하위 층에서는 지역적인 특징을 반영하고 상위 층으로 올라 갈수록 보다 추상적인 전체 영상의 특징을 반영하는 특징 생성할 수 있다.
이와 같이, 콘벌루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-layer Perception)이나 서포트 벡터 머신(SVM: Support Vector Machine)과 같은 분류 모델이 완전 연결 층(Fully-connected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.
다만, 본 발명의 실시예들에 따른 심층신경망의 구조는 이에 한정되지 아니하고, 다양한 구조의 신경망으로 형성될 수 있다.
한편, 상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100: 수술환경 제공 장치 110: 통신모듈
130: 저장모듈 150: 디스플레이모듈
170: 제어모듈
130: 저장모듈 150: 디스플레이모듈
170: 제어모듈
Claims (10)
- 수술상황 별 가상현실 기반 수술환경 제공 장치에 있어서,
통신모듈;
적어도 하나의 수술 영상을 표시하는 디스플레이모듈-상기 수술 영상은, 가상 수술 영상 및 추천 수술 영상 중 적어도 하나를 포함함-;
상기 수술상황 별 가상현실을 기반으로 수술환경을 제공하기 위한 적어도 하나의 프로세스를 저장하는 저장모듈; 및
상기 적어도 하나의 프로세스를 기반으로 상기 수술상황 별 가상현실을 기반으로 수술환경을 제공하기 위한 동작을 수행하는 제어모듈을 포함하며,
상기 제어모듈은,
수술 대상자의 의료 영상을 획득하고, 제1 머신러닝 모델을 이용하여 상기 획득된 의료 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 적어도 하나 이상의 환자 맞춤형 가상 모델을 생성 및 저장하여 시뮬레이션 환경을 구축하고, 사용자가 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 신체 내부 물성 처리와 유사하게 설계된 물리 엔진을 이용하여 상기 사용자에 의해 수행되는 동작에 따라 신체 내부 변화를 포함하는 상기 가상 수술 영상을 출력하고,
상기 적어도 하나 이상의 환자 맞춤형 가상 모델은, 3차원 모델링을 통해 신체 부위를 3차원으로 형상화한 데이터로서, 상기 적어도 하나에 대한 변이가 각각 고려된 것임을 특징으로 하는,
수술상황 별 가상현실 기반 수술환경 제공 장치.
- 제1항에 있어서,
상기 제어모듈은,
상기 사용자가 상기 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 제2 머신러닝 모델을 이용하여 교차 모델 검색(Cross-modal Retrieval)을 기반으로 유사한 변이를 수술한 영상을 상기 추천 수술 영상으로 선정하고, 상기 추천 수술 영상을 출력하여 제공하는 것을 특징으로 하는,
수술상황 별 가상현실 기반 수술환경 제공 장치.
- 제2항에 있어서,
상기 제1 머신러닝 모델은, 복수의 환자 각각에 대한 의료 영상을 복수개 획득하고, 상기 획득된 복수개의 의료 영상을 기반으로 변이을 갖는 장기 및 혈관 중 적어도 하나를 레이블로 정의하여 기계 학습한 모델이고,
상기 제2 머신러닝 모델은, 수술 도구, 신체 장기 및 출혈 중 적어도 하나의 객체를 포함하는 복수개의 실제 수술 영상을 기반으로 적어도 하나 이상의 수술 동작 또는 단계를 레이블로 정의하여 기계 학습한 모델이며,
상기 복수의 환자는, 상기 적어도 하나에 대한 변이를 갖는 환자 및 상기 적어도 하나에 대한 변이를 갖지 않는 환자를 포함하는 것을 특징으로 하는,
수술상황 별 가상현실 기반 수술환경 제공 장치.
- 제1항에 있어서,
상기 제어모듈은,
상기 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 상기 수술 대상자의 수술 종류를 확인하고, 상기 확인된 수술 종류에 대응하는 수술 단계를 정의하고, 상기 적어도 하나의 환자 맞춤형 가상 모델 중 상기 정의된 수술 단계에 대응하는 상기 특정 환자 맞춤형 가상 모델을 선정하고, 상기 특정 환자 맞춤형 가상 모델 내 적어도 하나 이상의 객체 주변에 지방 조직을 추가 모델링하는 것을 특징으로 하는,
수술상황 별 가상현실 기반 수술환경 제공 장치.
- 제4항에 있어서,
상기 제어모듈은,
상기 수술 단계를 정의 시에, 기 저장된 수술정보를 기반으로 상기 확인된 수술 종류에 맵핑된 수술 과정을 확인하고, 상기 확인된 수술 과정에 포함된 전체 수술 단계에서 기 설정된 필수 수술 단계만을 상기 수술 단계로 정의하는 것을 특징으로 하는,
수술상황 별 가상현실 기반 수술환경 제공 장치.
- 제1항에 있어서,
상기 제어모듈은,
상기 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 상기 모델링된 지방 조직에 대해 특정 행위가 특정 조건에 상응하는 경우, 상기 특정 지방 조직을 제거 처리하는 애니메이션을 수행하는 것을 특징으로 하는,
수술상황 별 가상현실 기반 수술환경 제공 장치.
- 제4항에 있어서,
상기 적어도 하나 이상의 환자 맞춤형 가상 모델 각각은,
상기 적어도 하나에 대한 변이의 정도에 따라 난이도가 설정되는 것을 특징으로 하는,
수술상황 별 가상현실 기반 수술환경 제공 장치.
- 제7항에 있어서,
상기 제어모듈은,
상기 특정 환자 맞춤형 가상 모델을 선정 시에, 사용자 입력에 따라 설정된 난이도를 더 고려하는 것을 특징으로 하는,
수술상황 별 가상현실 기반 수술환경 제공 장치.
- 장치에 의해 수행되는, 수술상황 별 가상현실 기반 수술환경 제공 방법에 있어서,
수술 대상자의 의료 영상을 획득하는 단계;
제1 머신러닝 모델을 이용하여 상기 획득된 의료 영상을 기반으로 장기 및 혈관 중 적어도 하나에 대한 변이를 고려한 적어도 하나 이상의 환자 맞춤형 가상 모델을 생성 및 저장하여 시뮬레이션 환경을 구축하는 단계; 및
사용자가 특정 환자 맞춤형 가상 모델을 기반으로 시뮬레이션을 수행 시에, 신체 내부 물성 처리와 유사하게 설계된 물리 엔진을 이용하여 상기 사용자에 의해 수행되는 동작에 따라 신체 내부 변화를 포함하는 상기 가상 수술 영상을 출력하는 단계를 포함하고,
상기 적어도 하나 이상의 환자 맞춤형 가상 모델은, 3차원 모델링을 통해 신체 부위를 3차원으로 형상화한 데이터로서, 상기 적어도 하나에 대한 변이가 각각 고려된 것임을 특징으로 하는,
수술상황 별 가상현실 기반 수술환경 제공 방법.
- 하드웨어인 컴퓨터와 결합되어, 상기 제9항에 따른 수술상황 별 가상현실 기반 수술환경 제공 방법을 수행하기 위해 컴퓨터 판독 가능한 기록매체에 저장된, 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2023/000545 WO2023136616A1 (ko) | 2022-01-12 | 2023-01-12 | 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20220004521 | 2022-01-12 | ||
| KR1020220004521 | 2022-01-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230109571A true KR20230109571A (ko) | 2023-07-20 |
Family
ID=87426329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230004470A KR20230109571A (ko) | 2022-01-12 | 2023-01-12 | 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230109571A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117457150A (zh) * | 2023-11-06 | 2024-01-26 | 中国人民解放军总医院第一医学中心 | 一种手术方案自动生成方法、设备及介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101206340B1 (ko) | 2011-04-29 | 2012-11-29 | 주식회사 코어메드 | 영상수술 리허설 제공방법 및 시스템, 그 기록매체 |
-
2023
- 2023-01-12 KR KR1020230004470A patent/KR20230109571A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101206340B1 (ko) | 2011-04-29 | 2012-11-29 | 주식회사 코어메드 | 영상수술 리허설 제공방법 및 시스템, 그 기록매체 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117457150A (zh) * | 2023-11-06 | 2024-01-26 | 中国人民解放军总医院第一医学中心 | 一种手术方案自动生成方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11232556B2 (en) | Surgical simulator providing labeled data | |
| CN107492099B (zh) | 医学图像分析方法、医学图像分析系统以及存储介质 | |
| KR102014385B1 (ko) | 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치 | |
| John | The impact of Web3D technologies on medical education and training | |
| Sugimoto | Extended reality (XR: VR/AR/MR), 3D printing, holography, AI, radiomics, and online VR Tele-medicine for precision surgery | |
| France et al. | A layered model of a virtual human intestine for surgery simulation | |
| CN114173692A (zh) | 用于推荐手术程序的参数的系统和方法 | |
| Morales Mojica et al. | A holographic augmented reality interface for visualizing of MRI data and planning of neurosurgical procedures | |
| CN115994902A (zh) | 医学图像分析方法、电子设备及存储介质 | |
| KR20230109571A (ko) | 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법 | |
| KR102628324B1 (ko) | 인공지능 기반의 사용자 인터페이스를 통한 수술 결과 분석 장치 및 그 방법 | |
| Patil et al. | A comparative analysis of machine learning techniques in creating virtual replicas for healthcare simulations | |
| Choi et al. | An efficient and scalable deformable model for virtual reality-based medical applications | |
| Bergonzi et al. | An augmented reality approach to visualize biomedical images | |
| Onishi et al. | Virtual liver surgical simulator by using Z-buffer for object deformation | |
| CN116747017A (zh) | 脑出血手术规划系统及方法 | |
| WO2023136616A1 (ko) | 수술상황 별 가상현실 기반 수술환경 제공 장치 및 방법 | |
| Lang et al. | Informatic surgery: the union of surgeon and machine | |
| EP3337418B1 (en) | Simulating breast deformation | |
| Dominic et al. | Combining predictive analytics and artificial intelligence with human intelligence in iot-based image-guided surgery | |
| Ivaschenko et al. | Focused visualization in interactive applications for surgery training | |
| Hachaj et al. | Nowadays and future computer application in medicine | |
| US20230046302A1 (en) | Blood flow field estimation apparatus, learning apparatus, blood flow field estimation method, and program | |
| Gaasedelen et al. | 3D graphics to virtual reality in medicine: opportunities and prospective | |
| JP7387340B2 (ja) | 生体構造識別装置、生体構造識別方法及び生体構造識別用コンピュータプログラム |