KR20240022746A - Method and Apparatus for Providing of Surgery Simulation - Google Patents

Method and Apparatus for Providing of Surgery Simulation Download PDF

Info

Publication number
KR20240022746A
KR20240022746A KR1020220101167A KR20220101167A KR20240022746A KR 20240022746 A KR20240022746 A KR 20240022746A KR 1020220101167 A KR1020220101167 A KR 1020220101167A KR 20220101167 A KR20220101167 A KR 20220101167A KR 20240022746 A KR20240022746 A KR 20240022746A
Authority
KR
South Korea
Prior art keywords
layer
surgical simulation
control unit
structures
providing
Prior art date
Application number
KR1020220101167A
Other languages
Korean (ko)
Inventor
노태훈
Original Assignee
주식회사 데카사이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 데카사이트 filed Critical 주식회사 데카사이트
Priority to KR1020220101167A priority Critical patent/KR20240022746A/en
Priority to PCT/KR2023/011399 priority patent/WO2024034996A1/en
Publication of KR20240022746A publication Critical patent/KR20240022746A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

본 발명은 수술 시뮬레이션을 제공하는 방법 및 장치에 관한 것으로, 수술 시뮬레이션이 시작되면 의료 영상을 호출하는 단계, 서피스 렌더링을 수행하여 의료 영상에 포함된 복수의 구조물에 대한 적어도 하나의 레이어를 생성하는 단계, 적어도 하나의 레이어 중에서 선택된 수정 레이어에 볼륨 렌더링을 수행하는 단계 및 수정 레이어에 포함된 적어도 하나의 구조물의 수정이 완료되면 수정 레이어에 서피스 렌더링을 수행하여 재변환하는 단계를 포함하며 다른 실시 예로도 적용이 가능하다.The present invention relates to a method and device for providing surgical simulation, including the steps of calling a medical image when the surgical simulation starts, performing surface rendering to generate at least one layer for a plurality of structures included in the medical image. , performing volume rendering on a correction layer selected from among at least one layer, and performing surface rendering on the correction layer to reconvert it when modification of at least one structure included in the correction layer is completed. Other embodiments include: Applicable.

Description

수술 시뮬레이션을 제공하는 방법 및 장치{Method and Apparatus for Providing of Surgery Simulation}Method and Apparatus for Providing of Surgery Simulation}

본 발명은 수술 시뮬레이션을 제공하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for providing surgical simulation.

의료계에서 수술은 전문의의 경험이나 직관에 의존하여 이루어진다. 이러한 경우 수술 이전에 환자의 형태학적 병변이나 적합한 데이터를 정확하게 도출하지 못하여 수술 성공률이 저하되는 문제점이 발생하고, 환자에게도 좋지 않은 영향을 미치는 경우가 발생한다. In the medical world, surgeries are performed relying on the experience or intuition of a specialist. In these cases, the patient's morphological lesion or appropriate data cannot be accurately derived prior to surgery, resulting in a decrease in the success rate of the surgery and adversely affecting the patient.

따라서, 완벽한 수술을 위해서는 수술 전에 모의수술을 수행하고, 수술과정에 대한 계획을 수립해야 하며, 고정밀한 수술이 필요한 경우 환자의 수술 부위에 정확한 수술이 진행될 수 있도록 수술용 가이드를 제작하여 수술을 진행하기도 한다. Therefore, in order to perform a perfect surgery, a mock surgery must be performed before surgery and a plan for the surgical process must be established. If high-precision surgery is required, a surgical guide must be produced to ensure that the surgery can be performed accurately at the patient's surgical site. Sometimes it happens.

최근에는 인공지능의 발달로 환자에 대한 CT(computed tomography), MRI(magnetic resonance imaging) 등과 같은 2차원적인 의료 영상을 3차원으로 변환하는 것이 가능해졌고, 이를 이용하여 모의수술 및 수술과정에 대한 계획을 보다 구체적으로 수립할 수 있는 시뮬레이션 프로그램이 개발되기도 하였다. 이러한 시뮬레이션 프로그램은 의학 교육과 수술 훈련을 가상의 공간에서 시뮬레이션하여 의학적인 수련을 할 수 있도록 도와주며, 이를 통해 교육생들의 교육 기간을 단축시킬 수 있고 전문의가 수술 이전에 가상 공간에서 환자의 기관이나 조직들을 구분하여 가시화하고 조작해봄으로써 어떠한 방법을 수술을 진행하는 것이 효과적인지에 대한 계획을 수립할 수 있도록 도움을 준다. 그러나, 종래의 시뮬레이션 프로그램은 CT 또는 MRI 해상도의 한계로 미세혈관, 뇌신경, 지주막과 같은 구조물들을 재현할 수 없어 모의수술 및 수술과정에 대한 계획 수립을 보다 정확하게 수행하는데 한계가 발생하는 문제점이 있다. 또한, 종래의 시뮬레이션 프로그램은 구조물들을 재현하기 위해 많은 연산을 해야하므로 재현 시 시간이 오래 걸리는 문제점이 있다. Recently, with the development of artificial intelligence, it has become possible to convert two-dimensional medical images such as CT (computed tomography) and MRI (magnetic resonance imaging) of patients into three dimensions, and this can be used to simulate surgery and plan surgical procedures. A simulation program that can establish more specifically has also been developed. These simulation programs help medical training by simulating medical education and surgical training in a virtual space. Through this, trainees' training period can be shortened, and specialists can use the patient's organs or tissues in a virtual space before surgery. By distinguishing, visualizing, and manipulating the elements, it helps to establish a plan on which method to perform the surgery is most effective. However, conventional simulation programs cannot reproduce structures such as microvessels, cranial nerves, and arachnoid membranes due to limitations in CT or MRI resolution, which limits the ability to more accurately plan simulated surgeries and surgical procedures. In addition, conventional simulation programs require a lot of calculations to reproduce structures, so there is a problem that reproduction takes a long time.

이러한 종래의 문제점을 해결하기 위한 본 발명의 실시 예들은 의료 영상에 포함된 복수의 구조물에 서피스 렌더링을 수행하여 적어도 하나의 레이어를 생성하고, 시뮬레이션을 수행하고자 하는 레이어를 복셀 렌더링으로 변환하여 시뮬레이션을 완료한 후 서피스 렌더링으로 재변환하는 수술 시뮬레이션을 제공하는 방법 및 장치를 제공하는 것이다. Embodiments of the present invention to solve these conventional problems create at least one layer by performing surface rendering on a plurality of structures included in a medical image, and convert the layer on which simulation is to be performed into voxel rendering to perform simulation. A method and apparatus for providing a surgical simulation that is converted back to surface rendering after completion is provided.

본 발명의 실시 예에 따른 수술 시뮬레이션을 제공하는 방법은, 수술 시뮬레이션이 시작되면 의료 영상을 호출하는 단계, 서피스 렌더링을 수행하여 상기 의료 영상에 포함된 복수의 구조물에 대한 적어도 하나의 레이어를 생성하는 단계, 상기 적어도 하나의 레이어 중에서 선택된 수정 레이어에 볼륨 렌더링을 수행하는 단계 및 상기 수정 레이어에 포함된 적어도 하나의 구조물의 수정이 완료되면 상기 수정 레이어에 상기 서피스 렌더링을 수행하여 재변환하는 단계를 포함하는 것을 특징으로 한다.A method of providing a surgical simulation according to an embodiment of the present invention includes the steps of calling a medical image when the surgical simulation starts, performing surface rendering to generate at least one layer for a plurality of structures included in the medical image. A step of performing volume rendering on a correction layer selected from among the at least one layer, and when modification of at least one structure included in the correction layer is completed, performing surface rendering on the correction layer to reconvert it. It is characterized by:

또한, 볼륨 렌더링을 수행하는 단계 이후에, 복셀 에디팅을 통해 상기 수정 레이어에 포함된 상기 적어도 하나의 구조물에 대한 수정을 수행하는 단계 및 상기 의료 영상에 상기 수정된 구조물을 표시하는 단계를 더 포함하는 것을 특징으로 한다.In addition, after performing volume rendering, the method further includes performing correction on the at least one structure included in the correction layer through voxel editing and displaying the modified structure on the medical image. It is characterized by

또한, 적어도 하나의 구조물에 대한 수정을 수행하는 단계는, 상기 구조물 수정 시 상기 구조물에 인접한 구조물에 대한 수정을 함께 수행하는 것을 특징으로 한다. In addition, the step of performing modifications on at least one structure may include performing modifications on structures adjacent to the structure when modifying the structure.

또한, 구조물에 대한 수정을 수행하는 단계 이전에, 수정하고자 하는 수정부위에 대한 선택신호를 수신하는 단계, 상기 수정부위에 대한 조직 특성을 확인하는 단계 및 상기 확인된 조직 특성을 기반으로 상기 수정부위를 수정할 적어도 하나의 도구를 표시하는 단계를 더 포함하는 것을 특징으로 한다.In addition, before the step of performing modification on the structure, receiving a selection signal for the modification site to be modified, confirming the tissue characteristics of the modification site, and determining the modification site based on the confirmed tissue characteristics. Characterized in that it further comprises the step of displaying at least one tool to modify.

또한, 의료 영상을 호출하는 단계 이전에, 상기 복수의 구조물에 대한 물성 및 탄성을 포함하는 상기 조직 특성을 확인하는 단계 및 상기 조직 특성을 기반으로 상기 복수의 구조물 수정 시 필요한 적어도 하나의 도구를 매핑하여 저장하는 단계를 더 포함하는 것을 특징으로 한다.In addition, before the step of calling a medical image, checking the tissue characteristics including physical properties and elasticity of the plurality of structures and mapping at least one tool necessary for modifying the plurality of structures based on the tissue characteristics. It is characterized in that it further includes the step of storing.

또한, 적어도 하나의 레이어를 생성하는 단계는, 상기 레이어에 포함될 적어도 하나의 구조물을 선택하는 단계를 포함하는 것을 특징으로 한다.Additionally, the step of creating at least one layer may include selecting at least one structure to be included in the layer.

또한, 적어도 하나의 레이어를 생성하는 단계는, 상기 레이어에 포함된 구조물이 복수개일 경우, 구조물별로 상이한 색을 설정하는 단계를 포함하는 것을 특징으로 한다.Additionally, the step of creating at least one layer may include setting a different color for each structure when there are a plurality of structures included in the layer.

또한, 의료 영상을 호출하는 단계 이후에, 상기 의료 영상을 세그멘테이션하여 상기 복수의 구조물에 대한 폴리곤 메쉬를 획득하는 단계를 더 포함하는 것을 특징으로 한다. In addition, after the step of calling the medical image, the method further includes the step of segmenting the medical image to obtain a polygon mesh for the plurality of structures.

아울러, 본 발명의 실시 예에 따른 수술 시뮬레이션을 제공하는 장치는, 수술 시뮬레이션의 시작 신호를 수신하는 입력부 및 상기 수술 시뮬레이션이 시작되면 서피스 렌더링을 수행하여 의료 영상에 포함된 복수의 구조물에 대한 적어도 하나의 레이어를 생성하고, 상기 적어도 하나의 레이어 중 선택된 수정 레이어에 볼륨 렌더링을 수행하고, 상기 수정 레이어에 포함된 적어도 하나의 구조물의 수정이 완료되면 상기 수정 레이어에 상기 서피스 렌더링을 수행하여 재변환하는 제어부를 포함하는 것을 특징으로 한다.In addition, a device that provides surgical simulation according to an embodiment of the present invention includes an input unit that receives a start signal of the surgical simulation, and when the surgical simulation starts, performs surface rendering to provide at least one image for a plurality of structures included in the medical image. Creating a layer, performing volume rendering on a selected correction layer among the at least one layer, and performing surface rendering on the correction layer when modification of at least one structure included in the correction layer is completed to reconvert It is characterized by including a control unit.

또한, 제어부는, 복셀 에디팅을 통해 상기 수정 레이어에 포함된 상기 적어도 하나의 구조물에 대한 수정을 수행하는 것을 특징으로 한다.In addition, the control unit is characterized in that it performs correction on the at least one structure included in the correction layer through voxel editing.

또한, 제어부는, 상기 구조물 수정 시 상기 구조물에 인접한 구조물에 대한 수정을 함께 수행하는 것을 특징으로 한다. In addition, the control unit is characterized in that when modifying the structure, modifications are performed on structures adjacent to the structure.

또한, 제어부는, 상기 의료 영상에 상기 수정된 구조물을 표시하는 것을 특징으로 한다. Additionally, the control unit may display the modified structure on the medical image.

또한, 제어부는, 수정하고자 하는 수정부위에 대한 조직 특성을 확인하여 상기 수정부위를 수정할 적어도 하나의 도구를 표시하는 것을 특징으로 한다.In addition, the control unit is characterized in that it checks the organizational characteristics of the correction part to be modified and displays at least one tool to modify the correction portion.

또한, 제어부는, 상기 복수의 구조물에 대한 물성 및 탄성을 포함하는 상기 조직 특성을 확인하고, 상기 조직 특성을 기반으로 상기 복수의 구조물 수정 시 필요한 적어도 하나의 도구를 매핑하는 것을 특징으로 한다. In addition, the control unit is characterized in that it checks the tissue characteristics, including physical properties and elasticity, of the plurality of structures, and maps at least one tool necessary for modifying the plurality of structures based on the tissue characteristics.

또한, 제어부는, 상기 복수의 구조물 중에서 상기 레이어에 포함된 적어도 하나의 구조물을 선택하는 것을 특징으로 한다.Additionally, the control unit is characterized in that it selects at least one structure included in the layer from among the plurality of structures.

또한, 제어부는, 상기 레이어에 포함된 구조물이 복수개일 경우, 상기 구조물별로 상이한 색을 설정하는 것을 특징으로 한다.Additionally, when there are multiple structures included in the layer, the control unit sets a different color for each structure.

또한, 제어부는, 상기 의료 영상을 세그멘테이션하여 상기 복수의 구조물에 대한 폴리곤 메쉬를 획득하는 것을 특징으로 한다. Additionally, the control unit is characterized in that it obtains a polygon mesh for the plurality of structures by segmenting the medical image.

상술한 바와 같이 본 발명에 따른 수술 시뮬레이션을 제공하는 방법 및 장치는, 의료 영상에 포함된 복수의 구조물에 서피스 렌더링을 수행하여 적어도 하나의 레이어를 생성하고, 시뮬레이션을 수행하고자 하는 레이어를 복셀 렌더링으로 변환하여 시뮬레이션을 수행한 후 서피스 렌더링으로 재변환함으로써 수술 시뮬레이션 시의 연산력을 최소화할 수 있는 효과가 있다. As described above, the method and device for providing surgical simulation according to the present invention creates at least one layer by performing surface rendering on a plurality of structures included in a medical image, and voxel rendering the layer on which simulation is to be performed. By converting and performing simulation and then reconverting to surface rendering, there is an effect of minimizing computing power during surgical simulation.

도 1은 본 발명의 실시 예에 따른 수술 시뮬레이션을 제공하는 전자장치를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 수술 시뮬레이션을 제공하는 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 실시 예에 따른 레이어를 수정하는 방법을 설명하기 위한 상세순서도이다.
도 4 내지 도 6은 본 발명의 실시 예에 따른 수술 시뮬레이션 방법을 설명하기 위한 화면예시도이다.
도 7은 본 발명의 다른 실시 예에 따른 수술 시뮬레이션을 제공하는 시스템을 나타낸 도면이다.1 is a diagram showing an electronic device that provides surgical simulation according to an embodiment of the present invention.
Figure 2 is a flowchart for explaining a method of providing surgical simulation according to an embodiment of the present invention.
Figure 3 is a detailed flow chart to explain a method of modifying a layer according to an embodiment of the present invention.
4 to 6 are screen examples for explaining a surgical simulation method according to an embodiment of the present invention.
Figure 7 is a diagram showing a system that provides surgical simulation according to another embodiment of the present invention.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the attached drawings. The detailed description set forth below in conjunction with the accompanying drawings is intended to illustrate exemplary embodiments of the invention and is not intended to represent the only embodiments in which the invention may be practiced. In order to clearly explain the present invention in the drawings, parts unrelated to the description may be omitted, and the same reference numerals may be used for identical or similar components throughout the specification.

도 1은 본 발명의 실시 예에 따른 수술 시뮬레이션을 제공하는 전자장치를 나타낸 도면이다. 1 is a diagram showing an electronic device that provides surgical simulation according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 전자장치(100)는 통신부(110), 입력부(120), 표시부(130), 메모리(140) 및 제어부(150)를 포함할 수 있다. Referring to FIG. 1, the electronic device 100 according to the present invention may include a communication unit 110, an input unit 120, a display unit 130, a memory 140, and a control unit 150.

통신부(110)는 외부 장치(미도시)와의 통신을 통해, 환자에 대한 의료 영상데이터(이하, 의료 영상이라 함)인 3차원 볼륨(volume), 복수의 2차원 단면 또는 이들의 조합으로 이루어진 컴퓨터 단층 촬영(computed tomography, CT) 영상, 자기 공명 영상(magnetic resonance imaging, MRI) 및 초음파 등의 영상데이터를 수신할 수 있다. 이를 위해, 통신부(110)는 5G(5th generation communication), LTE(long term evolution), LTE-A(long term evolution-advanced), Wi-Fi(wireless fidelity) 등의 무선 통신을 수행할 수 있다. 특히, 통신부(110)는 외부 장치와의 통신을 위해 케이블 등의 유선 통신을 수행할 수도 있다.The communication unit 110 is a computer consisting of a three-dimensional volume, a plurality of two-dimensional cross-sections, or a combination thereof, which is medical image data (hereinafter referred to as medical image) about the patient, through communication with an external device (not shown). Image data such as computed tomography (CT) images, magnetic resonance imaging (MRI), and ultrasound can be received. To this end, the communication unit 110 can perform wireless communication such as 5th generation communication (5G), long term evolution (LTE), long term evolution-advanced (LTE-A), and wireless fidelity (Wi-Fi). . In particular, the communication unit 110 may perform wired communication such as a cable to communicate with an external device.

입력부(120)는 전자장치(100)의 사용자 입력에 대응하여 입력 데이터를 발생시킨다. 이를 위해, 입력부(120)는 키보드, 마우스, 키패드, 돔 스위치, 터치패널, 터치 키 및 버튼 등의 입력장치를 포함할 수 있다.The input unit 120 generates input data in response to user input of the electronic device 100. To this end, the input unit 120 may include input devices such as a keyboard, mouse, keypad, dome switch, touch panel, touch keys, and buttons.

표시부(130)는 전자장치(100)의 동작에 따른 출력 데이터를 출력한다. 이를 위해, 표시부(130)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이 등의 디스플레이 장치를 포함할 수 있다. 아울러, 표시부(130)는 입력부(120)와 결합되어 터치 스크린(touch screen)의 형태로 구현될 수 있다.The display unit 130 outputs output data according to the operation of the electronic device 100. To this end, the display unit 130 may include a display device such as a liquid crystal display (LCD), a light emitting diode (LED) display, or an organic light emitting diode (OLED) display. In addition, the display unit 130 may be combined with the input unit 120 and implemented in the form of a touch screen.

메모리(140)는 전자장치(100)를 동작시키기 위한 다양한 프로그램들을 저장할 수 있다. 특히, 메모리(140)는 통신부(110)를 통해 외부 장치로부터 수신된 의료 영상에 포함된 복수의 구조물에 대한 레이블 맵(label map) 또는 폴리곤 메쉬(polygon mesh)를 획득하기 위한 프로그램을 저장할 수 있다. The memory 140 may store various programs for operating the electronic device 100. In particular, the memory 140 may store a program for obtaining a label map or polygon mesh for a plurality of structures included in a medical image received from an external device through the communication unit 110. .

또한, 메모리(140)는 의료 영상에 포함된 복수의 구조물에 대한 조직 특성을 기반으로 복수의 구조물 수정 시에 필요한 적어도 하나의 도구를 매핑하여 저장할 수 있다. 또한, 메모리(140)는 의료 영상을 기반으로 적어도 하나의 레이어를 생성하고, 생성된 레이어에 대하여 서피스 렌더링 및 볼륨 렌더링을 수행할 수 있는 프로그램을 저장할 수 있다. Additionally, the memory 140 may map and store at least one tool required for modifying a plurality of structures based on the tissue characteristics of the plurality of structures included in the medical image. Additionally, the memory 140 may store a program that can generate at least one layer based on a medical image and perform surface rendering and volume rendering on the created layer.

제어부(150)는 수술 시뮬레이션을 수행하기 이전에 의료 영상에 포함된 장기의 외형 및 해당 장기의 내부 혈관, 해당 장기에 발생된 종양 등을 포함하는 복수의 구조물에 대한 레이블 맵(label map) 또는 폴리곤 메쉬(polygon mesh)를 미리 획득하고 이를 의료 영상에 매핑하여 메모리(140)에 저장할 수 있다. 아울러, 본 발명의 실시 예에서는 폴리곤 메쉬를 획득한 것을 예로 설명하기로 한다.Before performing a surgical simulation, the control unit 150 creates a label map or polygon for a plurality of structures including the external appearance of the organ included in the medical image, the internal blood vessels of the organ, and the tumor generated in the organ. A mesh (polygon mesh) can be obtained in advance, mapped to a medical image, and stored in the memory 140. In addition, in the embodiment of the present invention, acquisition of a polygon mesh will be described as an example.

제어부(150)는 획득된 폴리곤 메쉬를 각각 세그멘테이션하여 3차원 형상으로 재구성할 수 있다. 이때, 제어부(150)는 재구성된 3차원 형상의 표면을 복수의 점들 사이의 연결선으로 구성함으로써 3차원 형상을 표현할 수 있고, 재구성된 3차원 형상의 내부를 정사면체(tetrahedron) 등의 다면체로 채움으로써 3차원 형상을 표현할 수 있다. 아울러, 세그멘테이션은, 의료 영상에서 중요한 의미를 갖는 관심 영역을 추출하고, 추출된 관심 영역을 다른 영역들로부터 구별하는 기법을 의미할 수 있다. The control unit 150 may segment each obtained polygon mesh and reconstruct it into a three-dimensional shape. At this time, the control unit 150 can express the three-dimensional shape by configuring the surface of the reconstructed three-dimensional shape with connecting lines between a plurality of points, and by filling the interior of the reconstructed three-dimensional shape with polyhedra such as a tetrahedron. Three-dimensional shapes can be expressed. In addition, segmentation may refer to a technique for extracting a region of interest with important meaning from a medical image and distinguishing the extracted region of interest from other regions.

아울러, 제어부(150)는 의료 영상에 포함된 복수의 구조물에 대한 물성 및 탄성을 포함하는 조직 특성을 확인할 수 있고, 이를 기반으로 복수의 구조물 수정 시에 필요한 적어도 하나의 도구를 매핑하여 메모리(140)에 기 저장할 수 있다. 제어부(150)는 도구 별로 수행할 수 있는 동작에 대한 안내를 추가로 저장할 수 있다. 예컨대, 제어부(150)는 CT에서 high density로 보이고, T2WI MRI에서 low signal로 보이는 부위는 딱딱한 뼈임을 확인할 수 있다. 이 경우, 제어부(150)는 뼈에 대응되는 구조물 수정 시에 드릴 등과 같이 뼈를 갈 수 있는 도구를 매핑하여 메모리(140)에 저장할 수 있다. 특히, 제어부(150)는 골밀도의 차이에 따라 구조물 수정 시에 필요한 도구를 적절하게 매핑할 수 있다. In addition, the control unit 150 can check the tissue characteristics, including physical properties and elasticity, of the plurality of structures included in the medical image, and based on this, map at least one tool required for modifying the plurality of structures to the memory 140. ) can be stored in . The control unit 150 may additionally store guidance on operations that can be performed for each tool. For example, the control unit 150 appears as high density in CT, and the area as low signal in T2WI MRI can be confirmed to be hard bone. In this case, when modifying a structure corresponding to a bone, the control unit 150 may map a tool that can grind the bone, such as a drill, and store it in the memory 140. In particular, the control unit 150 can appropriately map the tools needed to modify the structure according to differences in bone density.

제어부(150)는 입력부(120)를 통해 수술 시뮬레이션에 대한 시작신호의 수신여부를 기반으로 수술 시뮬레이션을 시작한다. 제어부(150)는 입력부(120)로부터 수신되는 의료 영상 호출신호를 기반으로 메모리(140)에 기저장된 의료 영상을 호출한다. 이때, 의료 영상은, 환자에 대한 의료 영상데이터로 피수술자의 수술부위의 수평면, 시상면 및 관상면 등과 같이 수술부위의 여러 방향에서 촬영한 의료 영상데이터일 수 있다. 제어부(150)는 호출된 의료 영상에 포함된 것으로 확인된 복수의 구조물을 확인할 수 있다. The control unit 150 starts the surgical simulation based on whether a start signal for the surgical simulation is received through the input unit 120. The control unit 150 calls a medical image previously stored in the memory 140 based on the medical image call signal received from the input unit 120. At this time, the medical image is medical image data for the patient and may be medical image data captured from various directions of the surgical site of the patient, such as the horizontal plane, sagittal plane, and coronal plane. The control unit 150 may check a plurality of structures confirmed to be included in the called medical image.

제어부(150)는 폴리곤 메쉬의 형태로 저장된 복수의 구조물 각각을 별도의 레이어로 생성하거나, 하나의 레이어에 두 개 이상의 구조물을 포함하는 적어도 하나의 레이어를 생성할 수 있다. 이때, 제어부(150)는 하나의 레이어에 두 개 이상의 구조물이 포함될 경우, 구조물별로 상이한 색을 설정할 수 있다. 생성된 레이어는 서피스 렌더링(surface rendering)을 통해 생성될 수 있으며, 이로 인해 메쉬 구조(mesh structure) 상태로 유지될 수 있다. The control unit 150 may create each of a plurality of structures stored in the form of a polygon mesh as a separate layer, or create at least one layer including two or more structures in one layer. At this time, when two or more structures are included in one layer, the control unit 150 may set a different color for each structure. The created layer can be created through surface rendering, and thus can be maintained in a mesh structure.

제어부(150)는 레이어의 수정을 통해 수술 시뮬레이션을 수행한다. 보다 구체적으로, 제어부(150)는 입력부(120)로부터 수정하고자 하는 즉, 수술 시뮬레이션을 수행하고자 하는 수정 레이어가 선택된 수정 레이어에 볼륨 렌더링(volume rendering)을 수행하여 볼류메트릭(volumetric)한 구조로 변환한다. 이와 같이 변환된 레이어는 연속적인 복셀 데이터(voxel data)를 가질 수 있다. 본 발명은 선택된 수정 레이어에만 볼륨 렌더링을 수행함으로써, 연산력을 절약할 수 있는 효과가 있다. The control unit 150 performs surgical simulation through layer modification. More specifically, the control unit 150 performs volume rendering on the correction layer selected from the input unit 120, that is, the correction layer on which the surgical simulation is to be performed, and converts it into a volumetric structure. do. A layer converted in this way may have continuous voxel data. The present invention has the effect of saving computing power by performing volume rendering only on the selected correction layer.

제어부(150)는 입력부(120)의 입력에 따라 수정하고자 하는 구조물에 대한 수정부위를 선택받고, 선택된 수정부위에 대한 조직 특성을 확인한다. 제어부(150)는 확인된 조직 특성에 대응되는 적어도 하나의 도구를 표시할 수 있고, 입력부(120)로부터 도구에 대한 선택신호를 수신할 수 있다. The control unit 150 selects the correction part for the structure to be modified according to the input of the input unit 120 and checks the tissue characteristics of the selected correction part. The control unit 150 may display at least one tool corresponding to the identified tissue characteristic and may receive a selection signal for the tool from the input unit 120.

제어부(150)는 입력부(120)의 입력에 따라 선택된 수정 레이어에서 복셀 에디팅(voxel editing)을 수행하여 선택된 구조물에 수정을 수행한다. 이때, 제어부(150)는 복셀 에디팅의 과정을 실시간으로 표시부(130)에 표시할 수 있다. 아울러, 제어부(150)는 표시부(130)의 일부에 의료 영상을 표시하고, 복셀 에디팅에 의해 수정되는 상황을 의료 영상에 실시간으로 표시할 수 있다. 아울러, 제어부(150)는 확인된 조직 특성을 기반으로 복셀 에디팅 시에 사용자가 수술 시에 느끼는 감각을 느낄 수 있게 할 수 있다. The control unit 150 performs voxel editing on the selected correction layer according to the input of the input unit 120 to modify the selected structure. At this time, the control unit 150 can display the voxel editing process on the display unit 130 in real time. In addition, the control unit 150 can display a medical image on a portion of the display unit 130 and display a situation modified by voxel editing on the medical image in real time. In addition, the control unit 150 can enable the user to feel the sensations felt during surgery when editing voxels based on the identified tissue characteristics.

제어부(150)는 수정이 완료된 수정 레이어에 서피스 렌더링을 수행하여 수정된 복셀 데이터를 기반으로 다시 메시 구조로 변경한다. 이어서, 제어부(150)는 입력부(120)를 통해 수술 시뮬레이션의 종료신호가 수신되면 수술 시뮬레이션을 종료할 수 있다. The control unit 150 performs surface rendering on the modified layer and changes it back to a mesh structure based on the modified voxel data. Subsequently, the control unit 150 may end the surgical simulation when an end signal of the surgical simulation is received through the input unit 120.

도 2는 본 발명의 실시 예에 따른 수술 시뮬레이션을 제공하는 방법을 설명하기 위한 순서도이다. Figure 2 is a flowchart for explaining a method of providing surgical simulation according to an embodiment of the present invention.

도 2를 참조하면, 201단계에서 제어부(150)는 입력부(120)를 통해 수술 시뮬레이션에 대한 시작신호의 수신여부를 기반으로 수술 시뮬레이션의 시작여부를 확인한다. 제어부(150)는 입력부(120)로부터 시작신호가 수신되면 203단계를 수행하고, 시작신호가 수신되지 않으면, 시작신호의 입력을 대기한다. Referring to FIG. 2, in step 201, the control unit 150 determines whether the surgical simulation starts based on whether a start signal for the surgical simulation is received through the input unit 120. If a start signal is received from the input unit 120, the control unit 150 performs step 203. If the start signal is not received, the control unit 150 waits for the input of the start signal.

203단계에서 제어부(150)는 메모리(140)에 기저장된 의료 영상을 호출한다. 이때, 의료 영상은, 환자에 대한 의료 영상데이터로 피수술자의 수술부위의 수평면, 시상면 및 관상면 등과 같이 수술부위의 여러 방향에서 촬영한 영상데이터로, 3차원 볼륨(volume), 복수의 2차원 단면 또는 이들의 조합으로 이루어진 컴퓨터 단층 촬영(computed tomography, CT) 영상, 자기 공명 영상(magnetic resonance imaging, MRI) 및 초음파 등의 영상을 포함할 수 있다. In step 203, the control unit 150 calls a medical image previously stored in the memory 140. At this time, the medical image is medical image data for the patient, which is image data taken from various directions of the surgical area, such as the horizontal plane, sagittal plane, and coronal plane, of the surgical site of the patient, and is a three-dimensional volume, a plurality of two It may include images such as computed tomography (CT) images, magnetic resonance imaging (MRI), and ultrasound consisting of dimensional cross-sections or combinations thereof.

205단계에서 제어부(150)는 호출된 의료 영상에 포함된 것으로 확인된 복수의 구조물을 확인할 수 있다. 이를 위해, 제어부(150)는 의료 영상에 포함된 장기의 외형 및 해당 장기의 내부 혈관, 해당 장기에 발생된 종양 등을 포함하는 복수의 구조물에 대한 레이블 맵(label map) 또는 폴리곤 메쉬(polygon mesh)를 미리 획득하고 이를 의료 영상에 매핑하여 메모리(140)에 저장할 수 있다. 아울러, 본 발명의 실시 예에서는 폴리곤 메쉬를 획득한 것을 예로 설명하기로 한다. In step 205, the controller 150 may check a plurality of structures confirmed to be included in the called medical image. For this purpose, the control unit 150 creates a label map or polygon mesh for a plurality of structures including the external appearance of the organ included in the medical image, internal blood vessels of the organ, and tumors generated in the organ. ) can be obtained in advance, mapped to a medical image, and stored in the memory 140. In addition, in the embodiment of the present invention, acquisition of a polygon mesh will be described as an example.

보다 구체적으로, 제어부(150)는 수술 시뮬레이션을 수행하기 이전에 의료 영상에 포함된 복수의 구조물을 각각 세그멘테이션하여 3차원 형상으로 재구성할 수 있다. 이때, 제어부(150)는 재구성된 3차원 형상의 표면을 복수의 점들 사이의 연결선으로 구성함으로써 3차원 형상을 표현할 수 있고, 재구성된 3차원 형상의 내부를 정사면체(tetrahedron) 등의 다면체로 채움으로써 3차원 형상을 표현할 수 있다. 아울러, 세그멘테이션은, 의료 영상에서 중요한 의미를 갖는 관심 영역을 추출하고, 추출된 관심 영역을 다른 영역들로부터 구별하는 기법을 의미할 수 있다. More specifically, the control unit 150 may segment a plurality of structures included in a medical image and reconstruct them into a three-dimensional shape before performing a surgical simulation. At this time, the control unit 150 can express the three-dimensional shape by configuring the surface of the reconstructed three-dimensional shape with connecting lines between a plurality of points, and by filling the interior of the reconstructed three-dimensional shape with polyhedra such as a tetrahedron. Three-dimensional shapes can be expressed. In addition, segmentation may refer to a technique for extracting a region of interest with important meaning from a medical image and distinguishing the extracted region of interest from other regions.

아울러, 제어부(150)는 의료 영상에 포함된 복수의 구조물에 대한 물성 및 탄성을 포함하는 조직 특성을 확인할 수 있고, 이를 기반으로 복수의 구조물 수정 시에 필요한 적어도 하나의 도구를 매핑하여 메모리(140)에 기 저장할 수 있다. 제어부(150)는 도구 별로 수행할 수 있는 동작에 대한 안내를 추가로 저장할 수 있다. 예컨대, 제어부(150)는 CT에서 high density로 보이고, T2WI MRI에서 low signal로 보이는 부위는 딱딱한 뼈임을 확인할 수 있다. 이 경우, 제어부(150)는 뼈에 대응되는 구조물 수정 시에 드릴 등과 같이 뼈를 갈 수 있는 도구를 매핑하여 메모리(140)에 저장할 수 있다. 특히, 제어부(150)는 골밀도의 차이에 따라 구조물 수정 시에 필요한 도구를 적절하게 매핑할 수 있다. In addition, the control unit 150 can check the tissue characteristics, including physical properties and elasticity, of the plurality of structures included in the medical image, and based on this, map at least one tool required for modifying the plurality of structures to the memory 140. ) can be stored in . The control unit 150 may additionally store guidance on operations that can be performed for each tool. For example, the control unit 150 appears as high density in CT, and the area as low signal in T2WI MRI can be confirmed to be hard bone. In this case, when modifying a structure corresponding to a bone, the control unit 150 may map a tool that can grind the bone, such as a drill, and store it in the memory 140. In particular, the control unit 150 can appropriately map the tools needed to modify the structure according to differences in bone density.

207단계에서 제어부(150)는 수술 시뮬레이션을 위한 적어도 하나의 레이어를 생성한다. 이때, 제어부(150)는 폴리곤 메쉬의 형태로 저장된 복수의 구조물 각각을 별도의 레이어로 생성하여 복수의 레이어를 생성할 수 있고, 하나의 레이어에 두 개 이상의 구조물을 포함시켜 적어도 하나의 레이어를 생성할 수 있다. 이때, 제어부(150)는 하나의 레이어에 두 개 이상의 구조물이 포함될 경우, 구조물별로 상이한 색을 설정할 수 있다. 생성된 레이어는 서피스 렌더링(surface rendering)을 통해 생성될 수 있으며, 이로 인해 메쉬 구조(mesh structure) 상태로 유지될 수 있다. In step 207, the control unit 150 creates at least one layer for surgical simulation. At this time, the control unit 150 may create a plurality of layers by creating each of the plurality of structures stored in the form of a polygon mesh as a separate layer, and generate at least one layer by including two or more structures in one layer. can do. At this time, when two or more structures are included in one layer, the control unit 150 may set a different color for each structure. The created layer can be created through surface rendering, and thus can be maintained in a mesh structure.

또한, 도시되지 않았으나, 제어부(150)는 복수의 구조물을 기반으로 카테고리를 설정할 수 있다. 예컨대, 제어부(150)는 연부 조직 카테고리에는 피부와 근육에 대한 구조물을 포함할 수 있다. Additionally, although not shown, the control unit 150 may set a category based on a plurality of structures. For example, the control unit 150 may include structures for skin and muscle in the soft tissue category.

209단계에서 제어부(150)는 레이어의 수정을 통해 수술 시뮬레이션을 수행한다. 이때, 레이어 수정은 하기의 도 3을 이용하여 보다 구체적으로 설명하기로 한다. 도 3은 본 발명의 실시 예에 따른 레이어를 수정하는 방법을 설명하기 위한 상세순서도이다. In step 209, the control unit 150 performs a surgical simulation by modifying the layer. At this time, layer modification will be explained in more detail using Figure 3 below. Figure 3 is a detailed flow chart to explain a method of modifying a layer according to an embodiment of the present invention.

도 3을 참조하면, 301단계에서 제어부(150)는 입력부(120)로부터 수정하고자 하는 즉, 수술 시뮬레이션을 수행하고자 하는 수정 레이어에 대한 선택신호의 수신여부를 확인한다. 301단계의 확인결과, 선택신호가 수신되면 제어부(150)는 303단계를 수행하고, 선택신호가 수신되지 않으면 선택신호의 수신을 대기한다. Referring to FIG. 3, in step 301, the control unit 150 checks whether a selection signal for a correction layer to be modified, that is, to perform a surgical simulation, is received from the input unit 120. As a result of confirmation in step 301, if the selection signal is received, the control unit 150 performs step 303, and if the selection signal is not received, it waits for reception of the selection signal.

303단계에서 제어부(150)는 301단계에서 선택된 수정 레이어에 볼륨 렌더링(volume rendering)을 수행하여 볼류메트릭(volumetric)한 구조로 변환한다. 이와 같이 변환된 레이어는 연속적인 복셀 데이터(voxel data)를 가질 수 있다. 본 발명은 선택된 수정 레이어에만 볼륨 렌더링을 수행함으로써, 연산력을 절약할 수 있는 효과가 있다. In step 303, the control unit 150 performs volume rendering on the correction layer selected in step 301 to convert it into a volumetric structure. A layer converted in this way may have continuous voxel data. The present invention has the effect of saving computing power by performing volume rendering only on the selected correction layer.

305단계에서 제어부(150)는 입력부(120)의 입력에 따라 수정하고자 하는 구조물에 대한 수정부위를 선택받고, 307단계에서 제어부(150)는 선택된 수정부위에 대한 조직 특성을 확인한다. 이어서, 309단계에서 제어부(150)는 확인된 조직 특성에 대응되는 적어도 하나의 도구를 표시할 수 있고, 입력부(120)로부터 도구에 대한 선택신호를 수신할 수 있다. In step 305, the control unit 150 selects a correction part for the structure to be modified according to the input of the input unit 120, and in step 307, the control unit 150 confirms the tissue characteristics of the selected correction part. Subsequently, in step 309, the control unit 150 may display at least one tool corresponding to the identified tissue characteristic and receive a selection signal for the tool from the input unit 120.

311단계에서 제어부(150)는 입력부(120)의 입력에 따라 선택된 수정 레이어에서 복셀 에디팅(voxel editing)을 수행하여 선택된 구조물에 수정을 수행하고 313단계로 수행한다. 이때, 제어부(150)는 복셀 에디팅의 과정을 실시간으로 표시부(130)에 표시할 수 있다. 아울러, 제어부(150)는 표시부(130)의 일부에 의료 영상을 표시하고, 복셀 에디팅에 의해 수정되는 상황을 실시간으로 의료 영상에 표시할 수 있다. 아울러, 제어부(150)는 309단계에서 확인된 조직 특성을 기반으로 복셀 에디팅 시에 사용자가 수술 시에 느끼는 감각을 느낄 수 있게 할 수 있다. 또한, 선택된 구조물의 수정 수행 시, 선택된 구조물에 인접한 구조물도 선택된 도구에 의해 수정될 수 있으므로, 제어부(150)는 복셀 에디팅 시 상기와 같은 상황을 고려하여 복셀 에디팅을 수행할 수 있다. In step 311, the control unit 150 performs voxel editing on the selected correction layer according to the input of the input unit 120 to modify the selected structure, and proceeds to step 313. At this time, the control unit 150 can display the voxel editing process on the display unit 130 in real time. In addition, the control unit 150 can display a medical image on a portion of the display unit 130 and display a situation modified by voxel editing on the medical image in real time. In addition, the control unit 150 may allow the user to feel the sensations felt during surgery during voxel editing based on the tissue characteristics identified in step 309. Additionally, when modifying a selected structure, structures adjacent to the selected structure can also be modified using the selected tool, so the control unit 150 can perform voxel editing by taking the above-mentioned situations into consideration when editing voxels.

예컨대, 선택된 구조물이 뼈이고, 309단계에서 선택된 도구가 드릴일 경우, 제어부(150)는 의료 영상 즉, CT에서 밝은 부분에 해당하는 구조물에는 입력부(120)를 통해 더 많은 힘을 받거나, 조작신호를 여러 번 받아야 천천히 갈리고, 어두운 부분에 해당하는 구조물에는 조작신호를 한 번만 받아도 쉽게 제거되도록 제어할 수 있다. 또한, 제어부(150)는 선택된 구조물이 연부조직일 경우, 피부를 절개하고 벌려놓는 상태를 재현하여 표시부(130)에 표시할 수 있다. 아울러, 선택된 구조물이 액체 조직일 경우, 제어부(150)는 유체역학 시뮬레이션 등을 통해 출혈 등을 재현하여 표시부(130)에 표시할 수 있다. 또한, DTI(diffusion tensor image)와 볼륨을 거의 갖지 않는 뇌에서 특정 부위를 선택하였을 때, 제어부(150)는 특정 부위의 밝기 등을 변화시켜 표시할 수 있고, 특정 부위를 제거하였을 때, 제거하기 전과 후의 tract의 변화를 계산하여 표시할 수 있다. 이를 통해 수술 시뮬레이션을 수행하는 사용자는 중요한 tract의 손상여부를 확인할 수 있다. For example, if the selected structure is bone and the tool selected in step 309 is a drill, the control unit 150 receives more force through the input unit 120 or sends a manipulation signal to the structure corresponding to the bright part in the medical image, that is, CT. It needs to be pressed several times to slowly grind, and structures in dark areas can be controlled to be easily removed by receiving a single operation signal. Additionally, when the selected structure is soft tissue, the control unit 150 can reproduce the state of cutting and opening the skin and display it on the display unit 130. In addition, when the selected structure is a liquid tissue, the control unit 150 can reproduce bleeding, etc. through fluid dynamics simulation and display it on the display unit 130. In addition, when a specific area is selected in the brain, which has little DTI (diffusion tensor image) and volume, the control unit 150 can change the brightness of the specific area and display it, and when the specific area is removed, the The change in tract before and after can be calculated and displayed. Through this, users performing surgical simulations can check whether important tracts are damaged.

313단계에서 제어부(150)는 수정이 완료됨이 확인되면 315단계를 수행하고, 수정이 완료되지 않은 것으로 확인되면 305단계로 회귀하여 305단계 내지 313단계를 재수행할 수 있다. 315단계에서 제어부(150)는 수정이 완료된 수정 레이어에 서피스 렌더링을 수행하여 수정된 복셀 데이터를 기반으로 다시 메시 구조로 변경한 후, 도 2의 211단계로 리턴한다. If it is confirmed in step 313 that the modification is complete, the control unit 150 may perform step 315. If it is confirmed that the modification is not complete, the control unit 150 may return to step 305 and re-perform steps 305 to 313. In step 315, the control unit 150 performs surface rendering on the modified layer, changes it back to a mesh structure based on the modified voxel data, and returns to step 211 of FIG. 2.

211단계에서 제어부(150)는 입력부(120)를 통해 수술 시뮬레이션의 종료신호의 수신여부를 기반으로 수술 시뮬레이션의 종료여부를 확인한다. 제어부(150)는 입력부(120)로부터 종료신호가 수신되면 해당 프로세스를 종료하고, 종료신호가 수신되지 않으면 209단계로 회귀하여 레이어 수정 즉, 수술 시뮬레이션을 수행할 수 있다. In step 211, the control unit 150 determines whether the surgical simulation is finished based on whether an end signal of the surgical simulation is received through the input unit 120. When the end signal is received from the input unit 120, the control unit 150 ends the process. If the end signal is not received, the control unit 150 returns to step 209 and performs layer modification, that is, surgical simulation.

도 4 내지 도 6은 본 발명의 실시 예에 따른 수술 시뮬레이션 방법을 설명하기 위한 화면예시도이다. 4 to 6 are screen examples for explaining a surgical simulation method according to an embodiment of the present invention.

도 4 내지 도 6을 참조하면, 도 4에서와 같이 입력부(120)가 도 3의 301단계에서 수정하고자 하는 수정 레이어를 선택하면, 표시부(130)에는 선택된 수정 레이어(410)와 의료 영상(420)이 표시된다. 수정 레이어(410)는 제어부(150)가 선택된 레이어에 볼륨 렌더링을 수행하여 볼류메트릭한 구조로 변환한 수정 레이어(410)를 의미하며, 입력부(120)에 의해 선택된 수정부위인 두개골(401), 입력부(120)에 의해 선택된 도구(403)를 표시할 수 있다. 이때, 두개골(401) 내부의 구조물 예컨대, 혈관, 뇌 등은 두개골(401)과는 다른 구조물로, 서피스 렌더링이 수행된 레이어일 수 있다. 아울러, 입력부(120)의 조작에 의해 도구(403)가 움직이면 제어부(150)는 뇌를 감싸고 있는 두개골(401)이 도구(403)에 의해 제거(405)되는 즉, 수정부위인 두개골이 수정되는 화면을 표시부(130)에 실시간으로 표시할 수 있다. 아울러, 제어부(150)는 표시부(130)의 일부에 의료 영상을 표시하고, 두개골이 수정되는 상황을 실시간으로 의료 영상에 표시할 수 있다.Referring to FIGS. 4 to 6 , when the input unit 120 selects the correction layer to be modified in step 301 of FIG. 3 as shown in FIG. 4, the display unit 130 displays the selected correction layer 410 and the medical image 420. ) is displayed. The correction layer 410 refers to a correction layer 410 in which the control unit 150 performs volume rendering on the selected layer and converts it into a volumetric structure. The correction layer 410 includes the skull 401, which is the correction area selected by the input unit 120, The tool 403 selected by the input unit 120 can be displayed. At this time, structures inside the skull 401, such as blood vessels and the brain, may be structures different from the skull 401 and may be layers on which surface rendering was performed. In addition, when the tool 403 is moved by manipulating the input unit 120, the control unit 150 causes the skull 401 surrounding the brain to be removed (405) by the tool 403, that is, the skull, which is the correction site, is modified. The screen can be displayed on the display unit 130 in real time. In addition, the control unit 150 can display a medical image on a portion of the display unit 130 and display a situation in which the skull is being modified on the medical image in real time.

도 4에서와 같이 수술을 위한 두개골(401)이 제거(405)되고 나면, 제어부(150)는 두개골(401)과 관련된 레이어에 서피스 렌더링을 재수행할 수 있고, 입력부(120)가 도 3의 301단계에서 수정하고자 하는 수정 레이어가 선택되면 제어부(150)는 선택된 수정 레이어에 볼륨 렌더링을 수행하여 볼류메트릭한 구조로 변환한 화면 즉, 뇌, 혈관(501) 및 종양(505)을 포함한 레이어를 수정 레이어(510)로 표시하고, 수정 레이어(510)가 표시된 영역 외의 영역에 의료 영상(520)을 표시할 수 있다. As shown in FIG. 4, after the skull 401 for surgery is removed (405), the control unit 150 can re-perform surface rendering on the layer related to the skull 401, and the input unit 120 can perform surface rendering at 301 in FIG. 3. When the correction layer to be modified is selected in the step, the control unit 150 performs volume rendering on the selected correction layer to modify the screen converted to a volumetric structure, that is, the layer including the brain, blood vessels 501, and tumor 505. It is displayed as a layer 510, and the medical image 520 can be displayed in an area other than the area where the correction layer 510 is displayed.

아울러, 수정 레이어(510)에는 두개골 내부에 위치한 뇌, 혈관(501), 종양(505)이 은 각각 서로 상이한 색으로 구현되어 있으므로 동일한 레이어에 포함된 서로 다른 구조물임을 알 수 있다. 도 5에서와 같이 수정 레이어(510)가 표시부(130)에 표시된 이후에 입력부(120)로부터 종양(505)을 제거하기 위한 도구(503)가 선택되면, 제어부(150)는 이를 수정 레이어(510)에 표시할 수 있다. In addition, in the correction layer 510, the brain, blood vessels 501, and tumors 505 located inside the skull are each implemented in different colors, so it can be seen that they are different structures included in the same layer. As shown in FIG. 5 , when the tool 503 for removing the tumor 505 is selected from the input unit 120 after the correction layer 510 is displayed on the display unit 130, the control unit 150 displays it as the correction layer 510. ) can be displayed.

이어서, 제어부(150)는 입력부(120)로부터 도구(503)의 움직임이 감지되면 도구(503)의 움직임에 따라 종양(505)을 제거하여 도 6에서와 같이 수정 레이어(610)에서 종양이 제거된 영역(605)을 표시할 수 있고, 의료 영상(620)에 이를 실시간으로 반영하여 표시할 수 있다. 이때, 도 6에 도시된 혈관(601), 도구(603)는 도 5에 도시된 혈관(501) 및 도구(603)와 동일하므로 별도의 설명을 생략하기로 한다. 도 6에서와 같이 종양(505)이 완전하게 제거가 되어 종양이 제거된 영역(605)이 표시되면, 제어부(150)는 수정 레이어의 수정이 완료된 것으로 확인하고 수정 레이어에 서피스 렌더링을 재수행할 수 있다. Subsequently, when the control unit 150 detects the movement of the tool 503 from the input unit 120, the tumor 505 is removed according to the movement of the tool 503, and the tumor is removed from the correction layer 610 as shown in FIG. 6. The area 605 can be displayed, and this can be reflected and displayed on the medical image 620 in real time. At this time, since the blood vessel 601 and the tool 603 shown in FIG. 6 are the same as the blood vessel 501 and the tool 603 shown in FIG. 5, separate descriptions will be omitted. As shown in FIG. 6, when the tumor 505 is completely removed and the area 605 where the tumor was removed is displayed, the control unit 150 determines that the modification of the correction layer is complete and can re-perform surface rendering on the correction layer. there is.

도 7은 본 발명의 다른 실시 예에 따른 수술 시뮬레이션을 제공하는 시스템을 나타낸 도면이다.Figure 7 is a diagram showing a system that provides surgical simulation according to another embodiment of the present invention.

도 7을 참조하면, 본 발명의 다른 실시 예에 따른 시스템(700)은 HMD장치(710), 컨트롤러(720) 및 전자장치(730)를 포함할 수 있다. 아울러, 전자장치(730)는 도 1에서 설명한 전자장치(100)와 동일한 동작을 수행하므로 상세한 설명은 도 1의 설명으로 대체하기로 한다. Referring to FIG. 7, a system 700 according to another embodiment of the present invention may include an HMD device 710, a controller 720, and an electronic device 730. In addition, since the electronic device 730 performs the same operation as the electronic device 100 described in FIG. 1, the detailed description will be replaced with the description in FIG. 1.

HMD장치(710)는 VR(virtual reality) 기능을 수행하는 장치로, 전자장치(730)와의 통신을 통해 도 4 내지 도 6과 같이 표시부(130)에 표시된 화면을 사용자에게 제공한다. 이를 위해, HMD장치(710)는 전자장치(730)와 블루투스(Bluetooth), BLE(Bluetooth low energy), NFC(near field communication) 등의 무선 통신 및 케이블을 이용한 유선 통신 등을 수행할 수 있다. The HMD device 710 is a device that performs a VR (virtual reality) function and provides a screen displayed on the display unit 130 to the user as shown in FIGS. 4 to 6 through communication with the electronic device 730. To this end, the HMD device 710 can perform wireless communication with the electronic device 730, such as Bluetooth, Bluetooth low energy (BLE), and near field communication (NFC), and wired communication using a cable.

컨트롤러(720)는 HMD장치(710) 및 전자장치(730)와의 통신을 통해, 사용자가 수술 시뮬레이션 수행 시에 실제로 수술 도구를 이용하여 수술을 진행하는 듯한 느낌을 제공할 수 있는 모션 컨트롤러 등의 입력장치이다. 예컨대, 사용자가 도 4에서와 같이 뇌를 감싸고 있는 두개골(401)을 도구(403)를 이용하여 제거하고자 할 경우, 전자장치(730)는 사용자가 실제 수술 시에 드릴을 이용하여 두개골을 절개하는 것과 동일한 힘을 컨트롤러(720)를 통해 제공을 받아야만 두개골(401)의 제거가 이루어지도록 할 수 있다. 이를 통해, 사용자는 실제 수술 시에 사용하는 도구에 가하는 힘이나, 도구의 움직임 등을 보다 실감나게 학습할 수 있는 효과가 있다. The controller 720 communicates with the HMD device 710 and the electronic device 730 to input inputs such as a motion controller that can provide the user with the feeling of actually performing surgery using surgical tools when performing a surgical simulation. It is a device. For example, when the user wants to remove the skull 401 surrounding the brain using the tool 403 as shown in FIG. 4, the electronic device 730 allows the user to cut the skull using a drill during actual surgery. The skull 401 can be removed only when the same force is provided through the controller 720. Through this, the user can learn more realistically the force applied to the tool or the movement of the tool used during actual surgery.

이를 위해, HMD장치(710)는 전자장치(730)와 블루투스(Bluetooth), BLE(Bluetooth low energy), NFC(near field communication) 등의 무선 통신 및 케이블을 이용한 유선 통신 등을 수행할 수 있다. To this end, the HMD device 710 can perform wireless communication with the electronic device 730, such as Bluetooth, Bluetooth low energy (BLE), and near field communication (NFC), and wired communication using a cable.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The embodiments of the present invention disclosed in this specification and drawings are merely provided as specific examples to easily explain the technical content of the present invention and to facilitate understanding of the present invention, and are not intended to limit the scope of the present invention. Therefore, the scope of the present invention should be construed as including all changes or modified forms derived based on the technical idea of the present invention in addition to the embodiments disclosed herein.

Claims (17)

수술 시뮬레이션이 시작되면 의료 영상을 호출하는 단계;
서피스 렌더링을 수행하여 상기 의료 영상에 포함된 복수의 구조물에 대한 적어도 하나의 레이어를 생성하는 단계;
상기 적어도 하나의 레이어 중에서 선택된 수정 레이어에 볼륨 렌더링을 수행하는 단계; 및
상기 수정 레이어에 포함된 적어도 하나의 구조물의 수정이 완료되면 상기 수정 레이어에 상기 서피스 렌더링을 수행하여 재변환하는 단계;
를 포함하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 방법. Retrieving a medical image when the surgical simulation starts;
performing surface rendering to generate at least one layer for a plurality of structures included in the medical image;
performing volume rendering on a correction layer selected from among the at least one layer; and
When the modification of at least one structure included in the modification layer is completed, performing the surface rendering on the modification layer to reconvert it;
A method of providing a surgical simulation comprising: 제1항에 있어서,
상기 볼륨 렌더링을 수행하는 단계 이후에,
복셀 에디팅을 통해 상기 수정 레이어에 포함된 상기 적어도 하나의 구조물에 대한 수정을 수행하는 단계; 및
상기 의료 영상에 상기 수정된 구조물을 표시하는 단계;
를 더 포함하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 방법. According to paragraph 1,
After performing the volume rendering,
performing modification on the at least one structure included in the modification layer through voxel editing; and
displaying the modified structure on the medical image;
A method of providing a surgical simulation further comprising: 제2항에 있어서,
상기 적어도 하나의 구조물에 대한 수정을 수행하는 단계는,
상기 구조물 수정 시 상기 구조물에 인접한 구조물에 대한 수정을 함께 수행하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 방법. According to paragraph 2,
The step of performing modification on the at least one structure includes:
A method of providing surgical simulation, characterized in that when modifying the structure, modifications to structures adjacent to the structure are also performed. 제2항에 있어서,
상기 구조물에 대한 수정을 수행하는 단계 이전에,
수정하고자 하는 수정부위에 대한 선택신호를 수신하는 단계;
상기 수정부위에 대한 조직 특성을 확인하는 단계; 및
상기 확인된 조직 특성을 기반으로 상기 수정부위를 수정할 적어도 하나의 도구를 표시하는 단계;
를 더 포함하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 방법. According to paragraph 2,
Before performing modifications to the structure,
Receiving a selection signal for the correction part to be corrected;
Confirming tissue characteristics of the correction site; and
displaying at least one tool to modify the correction site based on the identified tissue characteristics;
A method of providing a surgical simulation further comprising: 제4항에 있어서,
상기 의료 영상을 호출하는 단계 이전에,
상기 복수의 구조물에 대한 물성 및 탄성을 포함하는 상기 조직 특성을 확인하는 단계; 및
상기 조직 특성을 기반으로 상기 복수의 구조물 수정 시 필요한 적어도 하나의 도구를 매핑하여 저장하는 단계;
를 더 포함하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 방법. According to paragraph 4,
Before calling the medical image,
Confirming the tissue characteristics including physical properties and elasticity of the plurality of structures; and
mapping and storing at least one tool required for modifying the plurality of structures based on the tissue characteristics;
A method of providing a surgical simulation further comprising: 제5항에 있어서,
상기 적어도 하나의 레이어를 생성하는 단계는,
상기 레이어에 포함될 적어도 하나의 구조물을 선택하는 단계;
를 포함하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 방법. According to clause 5,
The step of creating at least one layer is:
selecting at least one structure to be included in the layer;
A method of providing a surgical simulation comprising: 제6항에 있어서,
상기 적어도 하나의 레이어를 생성하는 단계는,
상기 레이어에 포함된 구조물이 복수개일 경우, 구조물별로 상이한 색을 설정하는 단계;
를 포함하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 방법. According to clause 6,
The step of creating at least one layer is:
When there are a plurality of structures included in the layer, setting a different color for each structure;
A method of providing a surgical simulation comprising: 제1항에 있어서,
상기 의료 영상을 호출하는 단계 이후에,
상기 의료 영상을 세그멘테이션하여 상기 복수의 구조물에 대한 폴리곤 메쉬를 획득하는 단계;
를 더 포함하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 방법. According to paragraph 1,
After the step of calling the medical image,
Obtaining a polygon mesh for the plurality of structures by segmenting the medical image;
A method of providing a surgical simulation further comprising: 수술 시뮬레이션의 시작 신호를 수신하는 입력부; 및
상기 수술 시뮬레이션이 시작되면 서피스 렌더링을 수행하여 의료 영상에 포함된 복수의 구조물에 대한 적어도 하나의 레이어를 생성하고, 상기 적어도 하나의 레이어 중 선택된 수정 레이어에 볼륨 렌더링을 수행하고, 상기 수정 레이어에 포함된 적어도 하나의 구조물의 수정이 완료되면 상기 수정 레이어에 상기 서피스 렌더링을 수행하여 재변환하는 제어부;
를 포함하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 장치. An input unit that receives a signal to start a surgical simulation; and
When the surgical simulation starts, surface rendering is performed to create at least one layer for a plurality of structures included in the medical image, volume rendering is performed on a selected correction layer among the at least one layer, and included in the correction layer. When the modification of at least one structure is completed, a control unit that performs the surface rendering on the modification layer and reconverts it;
A device that provides surgical simulation, comprising: 제9항에 있어서,
상기 제어부는,
복셀 에디팅을 통해 상기 수정 레이어에 포함된 상기 적어도 하나의 구조물에 대한 수정을 수행하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 장치. According to clause 9,
The control unit,
A device for providing a surgical simulation, characterized in that performing correction on the at least one structure included in the correction layer through voxel editing. 제10항에 있어서,
상기 제어부는,
상기 구조물 수정 시 상기 구조물에 인접한 구조물에 대한 수정을 함께 수행하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 장치. According to clause 10,
The control unit,
A device that provides surgical simulation, characterized in that when modifying the structure, modifications to structures adjacent to the structure are also performed. 제11항에 있어서,
상기 제어부는,
상기 의료 영상에 상기 수정된 구조물을 표시하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 장치.According to clause 11,
The control unit,
A device for providing surgical simulation, characterized in that the modified structure is displayed on the medical image. 제12항에 있어서,
상기 제어부는,
수정하고자 하는 수정부위에 대한 조직 특성을 확인하여 상기 수정부위를 수정할 적어도 하나의 도구를 표시하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 장치. According to clause 12,
The control unit,
A device for providing a surgical simulation, characterized in that it checks the tissue characteristics of the correction site to be corrected and displays at least one tool to correct the correction site. 제13항에 있어서,
상기 제어부는,
상기 복수의 구조물에 대한 물성 및 탄성을 포함하는 상기 조직 특성을 확인하고, 상기 조직 특성을 기반으로 상기 복수의 구조물 수정 시 필요한 적어도 하나의 도구를 매핑하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 장치. According to clause 13,
The control unit,
An apparatus for providing a surgical simulation, wherein the tissue characteristics including physical properties and elasticity of the plurality of structures are confirmed, and at least one tool required for modifying the plurality of structures is mapped based on the tissue characteristics. 제14항에 있어서,
상기 제어부는,
상기 복수의 구조물 중에서 상기 레이어에 포함된 적어도 하나의 구조물을 선택하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 장치.According to clause 14,
The control unit,
An apparatus for providing a surgical simulation, characterized in that at least one structure included in the layer is selected from among the plurality of structures. 제15항에 있어서,
상기 제어부는,
상기 레이어에 포함된 구조물이 복수개일 경우, 상기 구조물별로 상이한 색을 설정하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 장치. According to clause 15,
The control unit,
A device for providing a surgical simulation, wherein when there are multiple structures included in the layer, a different color is set for each structure. 제9항에 있어서,
상기 제어부는,
상기 의료 영상을 세그멘테이션하여 상기 복수의 구조물에 대한 폴리곤 메쉬를 획득하는 것을 특징으로 하는 수술 시뮬레이션을 제공하는 장치. According to clause 9,
The control unit,
An apparatus for providing a surgical simulation, characterized in that segmenting the medical image to obtain a polygon mesh for the plurality of structures.
KR1020220101167A 2022-08-12 2022-08-12 Method and Apparatus for Providing of Surgery Simulation KR20240022746A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220101167A KR20240022746A (en) 2022-08-12 2022-08-12 Method and Apparatus for Providing of Surgery Simulation
PCT/KR2023/011399 WO2024034996A1 (en) 2022-08-12 2023-08-03 Method and device for providing surgical simulation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220101167A KR20240022746A (en) 2022-08-12 2022-08-12 Method and Apparatus for Providing of Surgery Simulation

Publications (1)

Publication Number Publication Date
KR20240022746A true KR20240022746A (en) 2024-02-20

Family

ID=89852100

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220101167A KR20240022746A (en) 2022-08-12 2022-08-12 Method and Apparatus for Providing of Surgery Simulation

Country Status (2)

Country Link
KR (1) KR20240022746A (en)
WO (1) WO2024034996A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5782762A (en) * 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
JP2001184491A (en) * 1999-12-27 2001-07-06 Hitachi Medical Corp Three-dimensional image display device
CN103702613A (en) * 2011-07-28 2014-04-02 松下电器产业株式会社 Cutting simulation device and cutting simulation program
JP6933522B2 (en) * 2016-11-28 2021-09-08 キヤノンメディカルシステムズ株式会社 Medical image processing device, control method of medical image processing device, and program
KR20180066588A (en) * 2016-12-09 2018-06-19 주식회사 인피니트헬스케어 System and method for storing and managing medical images including complex three-dimensional model extracted from dicom images

Also Published As

Publication number Publication date
WO2024034996A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
US10943505B2 (en) Hybrid image/scene renderer with hands free control
Spicer et al. Virtual reality surgery: neurosurgery and the contemporary landscape
JP6081907B2 (en) System and method for computerized simulation of medical procedures
CN109464195A (en) Double mode augmented reality surgical system and method
CN110400620B (en) Heart three-dimensional model construction method and simulated heart operation guidance system
WO2021011668A1 (en) Augmented reality system and method for tele-proctoring a surgical procedure
CN110522516A (en) A kind of multi-level interactive visual method for surgical navigational
JP2010017421A (en) Method for creating living body data model and its device and data structure of living body data model, and data storing device of living body data model and method for dispersing load of three-dimensional data model and its device
CN113035038A (en) Virtual orthopedic surgery exercise system and simulation training method
US9230452B2 (en) Device and method for generating a virtual anatomic environment
CN115457008A (en) Real-time abdominal puncture virtual simulation training method and device
CN110097944B (en) Display regulation and control method and system for human organ model
CN116869651A (en) Device and method for providing operation simulation based on virtual reality
KR101275938B1 (en) Method for virtual surgery medical simulation and apparatus for thereof
Medina et al. VRIDAA: Virtual Reality Platform for Training and Planning Implantations of Occluder Devices in Left Atrial Appendages.
KR20240022746A (en) Method and Apparatus for Providing of Surgery Simulation
CN115188232A (en) Medical teaching comprehensive training system and method based on MR-3D printing technology
CN116312118A (en) Meta hospital system based on augmented reality digital twinning
CN114267219B (en) Virtual operation simulation device and simulation system
Faso Haptic and virtual reality surgical simulator for training in percutaneous renal access
Scharver et al. Pre-surgical cranial implant design using the PARIS/spl trade/prototype
TW202207242A (en) System and method for augmented reality spine surgery
Färber et al. Simulation and training of lumbar punctures using haptic volume rendering and a 6DOF haptic device
US20210358218A1 (en) 360 vr volumetric media editor
CN111882936A (en) Operation rehearsal and teaching system based on force feedback and virtual reality

Legal Events

Date Code Title Description
N231 Notification of change of applicant