KR102228314B1 - Simulation system for deforming shape of cardiovascular - Google Patents

Simulation system for deforming shape of cardiovascular Download PDF

Info

Publication number
KR102228314B1
KR102228314B1 KR1020190023535A KR20190023535A KR102228314B1 KR 102228314 B1 KR102228314 B1 KR 102228314B1 KR 1020190023535 A KR1020190023535 A KR 1020190023535A KR 20190023535 A KR20190023535 A KR 20190023535A KR 102228314 B1 KR102228314 B1 KR 102228314B1
Authority
KR
South Korea
Prior art keywords
disease
cardiovascular
unit
treatment
setting unit
Prior art date
Application number
KR1020190023535A
Other languages
Korean (ko)
Other versions
KR20200104997A (en
Inventor
김맹남
김상영
성진호
신상호
Original Assignee
(주) 토탈소프트뱅크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 토탈소프트뱅크 filed Critical (주) 토탈소프트뱅크
Priority to KR1020190023535A priority Critical patent/KR102228314B1/en
Publication of KR20200104997A publication Critical patent/KR20200104997A/en
Application granted granted Critical
Publication of KR102228314B1 publication Critical patent/KR102228314B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명의 심혈관 형상변형 시뮬레이션 시스템은, 모델링된 심혈관에 대하여, 훈련 또는 시각적으로 표현하고자 하는 심혈관 질환의 부위를 설정하는 부위 설정부; 상기 부위 설정부에 의해 설정되는 상기 심혈관 부위에 대동맥류, 관상동맥 협착 또는 대동맥 협착을 포함하는 심혈관 질환을 시각적으로 표현되도록 상기 심혈관의 일부가 형태 변형이 이루어지도록 하는 질병 생성부; 상기 질병 생성부에 의해 형태 변형된 상기 심혈관의 부위를 훈련자가 치료 또는 수술하는 연습을 수행할 수 있도록 상기 훈련자의 조작 또는 제스처에 따라 시각화된 카테터가 보여지도록 하는 질병 치료부; 상기 부위 설정부 및 질병 생성부에 의해 생성된 심혈관 질환과, 상기 질병 치료부에 의해 보여지는 해당 심혈관 질환의 치료 모습을 상기 훈련자가 착용한 AR 장치에서 표시되도록 하는 훈련 환경 출력부; 및 상기 부위 설정부, 질병 생성부, 질병 치료부 및 훈련 환경 출력부 각각의 동작들을 제어하는 제어부;를 포함한다. The cardiovascular shape transformation simulation system of the present invention includes: a site setting unit for setting a site of a cardiovascular disease to be trained or visually expressed for a modeled cardiovascular system; A disease generator configured to transform a shape of a part of the cardiovascular vessel to visually express a cardiovascular disease including an aortic aneurysm, a coronary artery stenosis, or an aortic stenosis in the cardiovascular region set by the site setting unit; A disease treatment unit configured to display a catheter visualized according to an operation or gesture of the trainee so that a trainee can practice treatment or operation of the cardiovascular region deformed by the disease generating unit; A training environment output unit configured to display the cardiovascular disease generated by the site setting unit and the disease generating unit and a treatment state of the cardiovascular disease shown by the disease treatment unit on the AR device worn by the trainee; And a control unit for controlling operations of the region setting unit, the disease generation unit, the disease treatment unit, and the training environment output unit.

Description

심혈관 형상변형 시뮬레이션 시스템{Simulation system for deforming shape of cardiovascular}Simulation system for deforming shape of cardiovascular}

본 발명은 카테터를 이용하여 주요 심혈관 질환을 치료하는 경우에 해당 다양한 심혈관 질환을 시각적으로 표현할 수 있는 심혈관 형상변형 시뮬레이션 시스템에 관한 것이다. The present invention relates to a cardiovascular shape transformation simulation system capable of visually expressing various cardiovascular diseases in the case of treating major cardiovascular diseases using a catheter.

심혈관계 질환은 심장과 주요 동맥에 발생하는 질환을 말한다. 주요 질병으로 죽상동맥경화증, 관상동맥 협착, 대동맥 협착 등을 들 수 있다. Cardiovascular disease refers to diseases that occur in the heart and major arteries. Major diseases include atherosclerosis, coronary artery stenosis, and aortic stenosis.

실제 의료계에서는, 카테터가 의료용 소재를 이용, 압출 성형하여 만든 얇은 관으로 의학 분야에서 다양한 기능으로 쓰이고 있다. 재료나 만드는 방식에 따라 심혈관 등 다양한 분야에서 응용이 가능하다. 그 중 관상동맥 확장을 위한 풍선 카테터는 혈관 내로 삽입되는 안내관 선단 부근에 팽창용 풍선이 형성되어 있고 이 풍선에 연통되어 있는 도관을 통해 유체가 도입되어 풍선을 팽창시키게 되며 카테터의 혈관내 삽입을 용이하게 하고 시술을 수행하는 역할을 하는 가이드 와이어가 상기 도관에 내장된 구조를 갖추고 있다. In the actual medical world, a catheter is a thin tube made by extrusion molding using medical materials, and is used for various functions in the medical field. Depending on the material or method of making, it can be applied in various fields such as cardiovascular system. Among them, the balloon catheter for coronary artery expansion has an inflation balloon formed near the tip of the guide tube inserted into the blood vessel, and fluid is introduced through the conduit connected to the balloon to inflate the balloon. The guide wire, which serves to facilitate and perform the procedure, has a structure built into the conduit.

의사와 같은 전문가 역시 심혈관 질환에 대해서 수술/치료에 대한 연습 내지는 훈련이 가능해진다면 실제 수술 전 그러한 연습이 선행됨으로써, 실제 수술/치료 성공률을 더욱 높일 수 있을 것이다. If a specialist such as a doctor can also practice or train for surgery/treatment for cardiovascular disease, such practice is preceded before the actual surgery, thereby further increasing the actual surgery/treatment success rate.

그러나, 현재까지 심혈관 질환의 발병 부위, 혈관 형태 및 효과를 다양하게 표현하며, 그에 따른 수술 및 치료 방법을 제시하고 훈련할 수 있는 소프트웨어는 존재한 바 없었다.However, until now, there has been no software that can express variously the onset site of cardiovascular disease, blood vessel morphology, and effects, and present and train surgical and treatment methods accordingly.

본 발명은 카테터를 이용하여 주요 심혈관 질환을 치료하는 기술의 표현을 다루며, 심혈관 질환을 시각을 제시하기 위하여, 일반적인 디스플레이 장치인 TV나 모니터를 사용하지 않고 훈련자 머리에 장착하여 시각을 제시할 수 있는 AR 장치를 활용할 수 있는 심혈관 형상변형 시물레이션 시스템을 제안하고자 한다. The present invention deals with the expression of technology for treating major cardiovascular diseases using a catheter, and in order to present the vision of cardiovascular diseases, the present invention can be mounted on a trainee's head without using a TV or a monitor, which is a general display device, to present the vision. We would like to propose a cardiovascular shape transformation simulation system that can utilize AR devices.

또한, 본 발명은 현실세계와 가상세계를 잘 조화시켜 사용자가 실제 및 가상환경이 분리 되었다는 것을 인지하지 못한 상태에서, 사용자와 가상세계간의 실시간 상호작용이 가능한 몰입감을 제공할 수 있는 시스템을 제공하고자 한다.In addition, the present invention is to provide a system capable of providing a sense of immersion capable of real-time interaction between the user and the virtual world in a state in which the user does not recognize that the real and virtual environments are separated by harmonizing the real world and the virtual world well. do.

특히, AR 기술의 특징을 이용하여 가상의 심혈관 질환 및 질병의 치료를 시각적으로 우수하게 표현함으로써, 실제 수술과 치료를 위하여 가상으로 훈련할 수 있는 시스템을 제공하고자 한다. In particular, it is intended to provide a system for virtually training for actual surgery and treatment by visually expressing the treatment of virtual cardiovascular diseases and diseases using the features of AR technology.

본 발명의 심혈관 형상변형 시뮬레이션 시스템은, 모델링된 심혈관에 대하여, 훈련 또는 시각적으로 표현하고자 하는 심혈관 질환의 부위를 설정하는 부위 설정부; 상기 부위 설정부에 의해 설정되는 상기 심혈관 부위에 대동맥류, 관상동맥 협착 또는 대동맥 협착을 포함하는 심혈관 질환을 시각적으로 표현되도록 상기 심혈관의 일부가 형태 변형이 이루어지도록 하는 질병 생성부; 상기 질병 생성부에 의해 형태 변형된 상기 심혈관의 부위를 훈련자가 치료 또는 수술하는 연습을 수행할 수 있도록 상기 훈련자의 조작 또는 제스처에 따라 시각화된 카테터가 보여지도록 하는 질병 치료부; 상기 부위 설정부 및 질병 생성부에 의해 생성된 심혈관 질환과, 상기 질병 치료부에 의해 보여지는 해당 심혈관 질환의 치료 모습을 상기 훈련자가 착용한 AR 장치에서 표시되도록 하는 훈련 환경 출력부; 및 상기 부위 설정부, 질병 생성부, 질병 치료부 및 훈련 환경 출력부 각각의 동작들을 제어하는 제어부;를 포함한다. The cardiovascular shape transformation simulation system of the present invention includes: a site setting unit for setting a site of a cardiovascular disease to be trained or visually expressed for a modeled cardiovascular system; A disease generator configured to transform a shape of a part of the cardiovascular vessel to visually express a cardiovascular disease including an aortic aneurysm, a coronary artery stenosis, or an aortic stenosis in the cardiovascular region set by the site setting unit; A disease treatment unit configured to display a catheter visualized according to an operation or gesture of the trainee so that a trainee can practice treatment or operation of the cardiovascular region deformed by the disease generating unit; A training environment output unit configured to display the cardiovascular disease generated by the site setting unit and the disease generating unit and a treatment state of the cardiovascular disease shown by the disease treatment unit on the AR device worn by the trainee; And a control unit for controlling operations of the region setting unit, the disease generation unit, the disease treatment unit, and the training environment output unit.

제안되는 바와 같은 본 발명의 시스템에 의해서, 실제와 유사한 AR 가상 훈련 환경을 제공할 수 있으며, 이러한 훈련 환경을 의료 산업에 제공함으로써 의료 기술 발전에 활용되어 심혈관계 질병 치료 훈련이 필요한 의료인에게 널리 이롭게 활용될 수 있는 장점이 있다. By the system of the present invention as proposed, it is possible to provide an AR virtual training environment similar to the real one, and by providing such a training environment to the medical industry, it is used for the development of medical technology and is widely beneficial to medical personnel in need of cardiovascular disease treatment training. There is an advantage that can be utilized.

도 1은 본 발명의 심혈관 형상변형 시뮬레이션 시스템의 구성을 보여주는 블록도이다.
도 2는 본 발명의 실시예에 따라 심혈관을 렌더링한 모습을 보여주는 도면이다.
도 3은 본 발명의 시스템을 구성하는 부위 설정부에 의하여 오브젝트 생성 및 가시화하는 모습을 보여주는 도면이다.
도 4는 본 발명의 시스템을 구성하는 부위 설정부에 의하여 가시화된 버텍스 전체 중에서 질병을 생성할 부위 또는 버텍스 범위를 지정하는 과정을 보여주는 도면이다.
도 5와 도 6은 본 발명의 시스템을 구성하는 질병 생성부에 의하여 혈관 협착증 질병을 생성하는 경우에 시각적으로 표현되는 형태변형을 보여주는 도면이다.
도 7 내지 도 9는 모델링된 심혈관의 서로 다른 부위에 질병을 생성하는 과정을 보여주는 도면이다.
도 10은 본 발명의 시스템을 구성하는 질병 치료부에 의하여 훈련자가 훈련하는 과정을 도시한 도면이다.
도 11은 상기 질병 치료부에 의한 훈련에 따라 가시화된 질병을 치료한 경우에 훈련자에게 보여지는 모습을 가시화한 도면이다.
1 is a block diagram showing the configuration of a cardiovascular shape transformation simulation system of the present invention.
2 is a diagram showing a rendering of a cardiovascular system according to an exemplary embodiment of the present invention.
3 is a diagram showing a state in which an object is created and visualized by a part setting unit constituting the system of the present invention.
4 is a diagram showing a process of designating a region or vertex range to generate a disease from among all of the vertices visualized by the region setting unit constituting the system of the present invention.
5 and 6 are diagrams showing a shape change visually expressed when a vascular stenosis disease is generated by a disease generating unit constituting the system of the present invention.
7 to 9 are diagrams showing a process of generating diseases in different regions of the modeled cardiovascular system.
10 is a diagram showing a training process by a trainee by a disease treatment unit constituting the system of the present invention.
11 is a diagram illustrating a visualized state of a trainee when a disease visualized according to training by the disease treatment unit is treated.

이하에서는, 본 실시예에 대하여 첨부되는 도면을 참조하여 상세하게 살펴보도록 한다. 다만, 본 실시예가 개시하는 사항으로부터 본 실시예가 갖는 발명의 사상의 범위가 정해질 수 있을 것이며, 본 실시예가 갖는 발명의 사상은 제안되는 실시예에 대하여 구성요소의 변형을 포함한다고 할 것이다.Hereinafter, with reference to the accompanying drawings with respect to the present embodiment will be described in detail. However, the scope of the spirit of the invention of this embodiment may be determined from the matters disclosed by this embodiment, and it will be said that the spirit of the invention of this embodiment includes modifications of components with respect to the proposed embodiment.

도 1은 본 발명의 심혈관 형상변형 시뮬레이션 시스템의 구성을 보여주는 블록도이다. 1 is a block diagram showing the configuration of a cardiovascular shape transformation simulation system of the present invention.

도 1을 참조하면, 실시예의 시뮬레이션 시스템은 훈련 또는 시각적으로 표현하고자 하는 심혈관 질환의 부위를 설정하는 부위 설정부(110)와, 상기 부위 설정부(110)에 의해 설정되는 심혈관 부위에 대동맥류, 관상동맥 협착, 대동맥 협착 등과 같은 심혈관 질환이 시각적으로 표시되도록 심혈관의 형태 변형이 이루어지도록 하는 질병 생성부(120)와, 훈련자가 상기의 생성된 심혈관 질환에 대해 치료하는 훈련을 하는 때에 훈련자의 훈련(수술/치료 연습)에 따라 해당 심혈관 질환의 치료가 시각적으로 보여지도록 하는 질병 치료부(130)와, 상기 부위 설정부 및 질병 생성부에 의해 생성된 질병과, 상기 질병 치료부에 의해 보여지는 해당 질병의 치료 모습을 훈련자가 착용한 AR 장치에서 표시되도록 하는 훈련 환경 출력부(140)와, 상기 부위 설정부(110), 질병 생성부(120), 질병 치료부(130) 및 훈련 환경 출력부(140)의 동작들을 제어하는 제어부(100)를 포함한다. Referring to FIG. 1, the simulation system of the embodiment includes a site setting unit 110 for setting a site of a cardiovascular disease to be trained or visually expressed, and an aortic aneurysm at a cardiovascular site set by the site setting unit 110. The disease generation unit 120 to change the shape of the cardiovascular system so that cardiovascular diseases such as coronary artery stenosis and aortic artery stenosis are visually displayed, and the training of the trainee when training to treat the generated cardiovascular disease The disease treatment unit 130 to visually show the treatment of the cardiovascular disease according to (surgery/treatment practice), the disease generated by the site setting unit and the disease generation unit, and the disease shown by the disease treatment unit. The training environment output unit 140 to display the treatment of the disease on the AR device worn by the trainee, the site setting unit 110, the disease generation unit 120, the disease treatment unit 130, and the training environment output It includes a control unit 100 that controls the operations of the unit 140.

본 발명의 시뮬레이션 시스템을 구성하는 각 구성에 대해서는, 첨부되는 도면과 함께 설명한다. Each configuration constituting the simulation system of the present invention will be described with reference to the accompanying drawings.

먼저, 도 2는 본 발명의 실시예에 따라 심혈관을 렌더링한 모습을 보여주는 도면이다. First, FIG. 2 is a diagram showing a rendering of a cardiovascular system according to an exemplary embodiment of the present invention.

심혈관 모델링은 의료용 베드에 증강되어 있고, 본 발명의 시스템은 훈련자가 착용한 AR 장치로 전달되는 컨텐츠인 심혈관 질환의 발병 및 치료를 제공하는 역할을 한다. 실시예에 따라서는, 해당 렌더링 영상은 정지영상 뿐만 아니라 동영상이 될 수도 있다. Cardiovascular modeling is augmented in a medical bed, and the system of the present invention serves to provide the onset and treatment of cardiovascular disease, which is a content delivered to an AR device worn by a trainee. Depending on the embodiment, the rendered image may be not only a still image but also a moving image.

훈련자는 본 발명의 시스템에 의하여 생성된 다양한 심혈관 질환을 AR 장치를 통해 확인하게 되며, 훈련자는 착용한 AR 장치로 보여지는 심혈관 질환을 시청하게 되고, 주어지는 질병 치료 도구를 활용해 해당 심혈관 질환을 치료한다.The trainer checks various cardiovascular diseases generated by the system of the present invention through the AR device, and the trainer watches the cardiovascular disease shown by the AR device worn, and treats the cardiovascular disease using the provided disease treatment tool. do.

본 발명에서 다양한 심혈관 질환을 생성하기 위하여 질병을 생성할 심혈관 부위를 선택한다. 선택하는 기준으로는 가장 빈번하게 발병하는 주요 심혈관 질환이 발생하는 부위를 선택하는 것에 있다.In the present invention, in order to generate various cardiovascular diseases, a cardiovascular site to generate a disease is selected. The selection criterion is to select the area where the most frequently onset major cardiovascular disease occurs.

선택된 심혈관 질환 생성 부위는 질병 생성부를 통해 AR 장치에서 표현이 되며, 질환 종류에 따라 가시화 방식이 다르게 출력된다.The selected cardiovascular disease generation site is expressed in the AR device through the disease generation unit, and the visualization method is output differently depending on the type of disease.

본 발명의 시스템을 구성하는 부위 설정부(110)에 의하여, 도 2와 같이 렌더링된 심혈관 모델링의 메쉬(mesh) 각각의 버텍스(Vertex)에 오브젝트를 생성하여 가시화될 수 있다. By the region setting unit 110 constituting the system of the present invention, an object may be created and visualized on a vertex of each of the meshes of the cardiovascular modeling rendered as shown in FIG. 2.

도 3은 본 발명의 시스템을 구성하는 부위 설정부에 의하여 오브젝트 생성 및 가시화하는 모습을 보여주는 도면이고, 도 4는 본 발명의 시스템을 구성하는 부위 설정부에 의하여 가시화된 버텍스 전체 중에서 질병을 생성할 부위 또는 버텍스 범위를 지정하는 과정을 보여주는 도면이다. FIG. 3 is a diagram showing an object creation and visualization by a part setting unit constituting the system of the present invention, and FIG. 4 is a diagram showing a state in which a disease can be generated among all the vertices visualized by the site setting unit constituting the system of the present invention. It is a diagram showing the process of designating a region or vertex range.

훈련 시작 전에 본 발명의 시스템을 통해 질환의 위치 및 종류, 난이도가 자동 설정되며, 도 3에 도시된 바와 같이, 가시화된 심혈관의 메쉬 각각의 버텍스 위치에 오브젝트를 순차적으로 생성한다. 여기서, 각각의 버텍스 위치에 생성된 오브젝트에는 순차적으로 인덱스를 부여하여, 추후 부위를 설정할 때 쉽게 구분할 수 있도록 한다. Prior to the start of training, the location, type, and difficulty of the disease are automatically set through the system of the present invention, and objects are sequentially generated at the vertex positions of each of the visualized cardiovascular meshes, as shown in FIG. 3. Here, an index is sequentially assigned to an object created at each vertex position, so that it can be easily identified when setting a later part.

또한, 도 4에 도시된 바와 같이, 부위 설정부(110)는 도 3의 가시화된 버텍스 전체에서 질병 생성을 위한 형태변형을 부여할 버텍스 범위를 지정할 수 있다. In addition, as shown in FIG. 4, the region setting unit 110 may designate a vertex range to which shape transformation for disease generation is applied to the entire visualized vertex of FIG. 3.

예를 들어, 질병 생성부(120)에 의한 질병 생성을 적용시키기 위해, 지정한 범위에 포함된 버텍스의 개수가 n이라 할 때 버텍스 각각을 Vi(1 <= i <= n)라고 표현한다.For example, in order to apply disease generation by the disease generation unit 120, when the number of vertices included in the designated range is n, each vertex is expressed as Vi(1 <= i <= n).

참고로, 도 4에 선택된 부위는 심혈관 질환이 빈번하게 발생하는 관상동맥 부위의 일부이다.For reference, the selected region in FIG. 4 is a part of a coronary artery region where cardiovascular disease frequently occurs.

훈련자가 다양한 심혈관 질환의 생성에 따라 어느 부위에 어떤 질병이 생성되는지를 학습할 수 있을 것이며, 피술자마다 다양한 심혈관 부위에 대하여 어떤 질병이 발생하는지, 나아가 심혈관 질환이 발병한다면 어떻게 치료를 하여야 하는지에 대하여 학습할 수 있을 것이다.Trainees will be able to learn which diseases are generated in which areas according to the creation of various cardiovascular diseases, and what diseases occur in various cardiovascular areas for each subject, and furthermore, how to treat them if cardiovascular diseases occur. You will be able to learn.

도 5와 도 6은 본 발명의 시스템을 구성하는 질병 생성부에 의하여 혈관 협착증 질병을 생성하는 경우에 시각적으로 표현되는 형태변형을 보여주는 도면이다. 5 and 6 are diagrams showing a shape change visually expressed when a vascular stenosis disease is generated by a disease generating unit constituting the system of the present invention.

해당 질병을 표현하기 위하여, 버텍스 이동 방향을 결정하여야 하는데, 앞서 지정한 n개의 Vi에 대한 평균을 구한다. 여기서, n개의 Vi에 대한 평균값이 중심점이 되며, 해당 중심점을 Vc로 표현할 수 있다. 즉, 상기 질병 생성부는 설정되는 심혈관 질환을 시각화시키기 위하여 상기 버텍스 범위의 중심점에 대한 방향 벡터를 기준으로 형태 변형이 이루어지도록 한다. In order to express the disease, the direction of vertex movement must be determined, and the average of the n Vis specified above is calculated. Here, the average value of n Vis becomes the center point, and the center point can be expressed as Vc. That is, the disease generating unit causes the shape change to be made based on a direction vector with respect to the center point of the vertex range in order to visualize a set cardiovascular disease.

또한, 상기 질병 생성부(120)는 n개의 Vi 각각을 (Vc - Vi) 연산을 수행하고, 그 결과로 나오는 벡터들을 VSi로 표현한다.In addition, the disease generation unit 120 performs (Vc-Vi) operation on each of n Vis, and expresses the resulting vectors as VSi.

여기서, VSi를 Normalize한 결과가 중심점(Vc)에 대한 n개의 방향 벡터(Direction Vector)가 됨을 알 수 있다. 이때, n개의 방향 벡터는 DVi로 표현한다(1 <= i <= n). Here, it can be seen that the result of normalizing VSi becomes n direction vectors with respect to the center point Vc. At this time, n direction vectors are expressed as DVi (1 <= i <= n).

VSi 각각의 y값에 0을 대입한 후 Normalize하게 되면 xz 평면에 평행하고 y축과 직교하는 방향 벡터를 얻을 수 있다.If 0 is substituted for each y value of VSi and then normalized, a direction vector that is parallel to the xz plane and orthogonal to the y axis can be obtained.

두 방향 벡터 중 질병 표현이 좀 더 자연스러운 방향 벡터를 선택하여 사용할 수 있다.Among the two direction vectors, a direction vector with a more natural disease expression can be selected and used.

따라서, 상기 질병 생성부(120)는 n개의 Vi를 DVi 방향으로 표현하고자 하는 만큼 이동시킴으로써, 해당 질병(예를 들면, 혈관 협착증)을 표현할 수 있다.Accordingly, the disease generating unit 120 may express a corresponding disease (eg, vascular stenosis) by moving n Vis in the DVi direction as much as desired.

본 발명의 부위 설정부(110)와 질병 생성부(120)에 의하여 모델링된 심혈관 각각의 메쉬의 버텍스 위치에 오브젝트를 생성하여 가시화화고, 이를 설정된 질병/질환에 따라 형태변형을 부여함으로써 질병이 생성되도록 하는 예를 더욱 상세히 설명하여 본다. A disease is created by creating an object at the vertex position of each mesh of the cardiovascular system modeled by the region setting unit 110 and the disease generation unit 120 of the present invention and visualizing it, and applying a shape transformation according to the set disease/disease. An example to be made will be described in more detail.

도 7 내지 도 9는 모델링된 심혈관의 서로 다른 부위에 질병을 생성하는 과정을 보여주는 도면이다. 7 to 9 are diagrams showing a process of generating diseases in different regions of the modeled cardiovascular system.

도 7에는 각기 다른 심혈관 부위에 대하여 '혈관 A'와 '혈관 B'의 버텍스 범위를 설정한 것이며, 전술한 바와 같이, 각각의 버텍스에 오브젝트를 생성하여 가시화된 도면이 도시되어 있다. In FIG. 7, vertices ranges of'blood vessel A'and'blood vessel B'are set for different cardiovascular regions, and as described above, an object is created and visualized at each vertex.

도 8에는 '혈관 A'에 대하여 질병 생성부(120)가 질병을 적용한 모습이 도시되어 있으며, 도 9에는 '혈관 B'에 대하여 질병 생성부(120)가 질병을 적용한 모습이 도시되어 있으며, 각 혈관 모두 실시예의 질병인 혈관 협착증이 발병한 모습이다. FIG. 8 shows a state in which the disease generating unit 120 applies a disease to'blood vessel A', and FIG. 9 shows a state in which the disease generating unit 120 applies a disease to'blood vessel B', Each of the blood vessels is a state in which vascular stenosis, which is a disease of the examples, has occurred.

상기 질병 생성부(120)에 의하여 수행된 알고리즘의 수식은 다음과 같다. The equation of the algorithm performed by the disease generating unit 120 is as follows.

조건으로는, i는 양의 정수, n = Vertex의 개수, 1 <= i <= n, Vi = 각각의 버텍스를 나타낸다. As a condition, i represents a positive integer, n = the number of vertices, 1 <= i <= n, and Vi = each vertex.

Vc =

Figure 112019020958345-pat00001
: 중심점이고, Vc =
Figure 112019020958345-pat00001
: Is the center point,

VSi = Vc - Vi : Vi의 Vc에 대한 방향 벡터이고, VSi = Vc-Vi: is the direction vector of Vi to Vc,

DVi =

Figure 112019020958345-pat00002
: VSi의 단위 벡터인 경우에, DVi =
Figure 112019020958345-pat00002
: In the case of a unit vector of VSi,

Vi와 Vc 사이의 거리는 Di가 되고, Di는 아래의 수식에 의해 연산될 수 있다. The distance between Vi and Vc becomes Di, and Di can be calculated by the following equation.

Figure 112019020958345-pat00003
Figure 112019020958345-pat00003

Factor = 사용자가 지정한 값, 유리수이며, Factor = user-specified value, rational number,

TVi = Vi + DVi * Di * Factor : 중심점으로 일정 값 이동(Translate)한 버텍스가 된다. TVi = Vi + DVi * Di * Factor: The vertex is translated by a certain value to the center point.

따라서, TVi를 최대한 질환 형태에 가깝게 이동시키면, 도시된 도 8과 도 9와 같이 질병 생성된 가시화된 모델이 형성될 수 있다. Therefore, if TVi is moved as close to the disease type as possible, a visualized model of disease generation can be formed as shown in FIGS. 8 and 9.

이러한 방법으로, 도시된 부위 외의 다른 혈관 부위에도 같은 알고리즘을 적용시켜 질환을 표현 및 시각화할 수 있다. In this way, the disease can be expressed and visualized by applying the same algorithm to other blood vessel regions other than the illustrated region.

다만, 해당 알고리즘을 적용하는 때에, 버텍스가 분포된 형태와, 중심점과의 거리에 따라 질환 형태가 다르게 나타날 수 있다. However, when the algorithm is applied, the disease type may appear differently depending on the shape in which the vertices are distributed and the distance from the center point.

예를 들어, 도 7에 도시된 '혈관 A'와 '혈관 B'에 분포된 버텍스의 형태를 참조하여 보면, 원형의 띠가 이어지면서 혈관의 형태를 갖고 있는 것을 알 수 있다. '혈관 A'는 '혈관 B'에 비해 버텍스들이 이루고 있는 원형의 띠들 사이에 작은 편차는 있지만 어느 정도 일정한 간격을 갖고 있음을 확인할 수 있다. 그리고, '혈관 A'에서의 버텍스들이 이루어는 원형의 띠가 중심점으로부터 거리가 좀 더 멀게 형성되는 것 역시 확인할 수 있다. For example, referring to the shape of the vertices distributed in'blood vessel A'and'blood vessel B'shown in FIG. 7, it can be seen that a circular band is connected and has a shape of a blood vessel. It can be seen that'vessel A'has a small deviation between the circular bands made up of vertices compared to'vessel B', but has a certain distance. In addition, it can also be seen that the circular band formed by the vertices in the'blood vessel A'is formed a little further away from the center point.

따라서, 혈관 부위별로 동일한 질환을 나타내는 동일한 알고리즘을 적용하더라도, 전혀 다르게 형태 변형이 이루어지는 시각 효과를 얻게 될 수 있다. Therefore, even if the same algorithm representing the same disease is applied for each blood vessel region, a visual effect in which the shape is transformed completely differently can be obtained.

한편, 본 발명의 시스템을 구성하는 질병 치료부(130)와 훈련 환경 출력부(140)에 대해서 설명하여 본다. Meanwhile, the disease treatment unit 130 and the training environment output unit 140 constituting the system of the present invention will be described.

도 10은 본 발명의 시스템을 구성하는 질병 치료부에 의하여 훈련자가 훈련하는 과정을 도시한 도면이고, 도 11은 상기 질병 치료부에 의한 훈련에 따라 가시화된 질병을 치료한 경우에 훈련자에게 보여지는 모습을 가시화한 도면이다. FIG. 10 is a diagram showing a process of training by a trainee by a disease treatment unit constituting the system of the present invention, and FIG. 11 is a view shown to a trainee when a visualized disease is treated according to training by the disease treatment unit. This is a visualized drawing.

도 10에는 도 5에서 생성한 혈관 협착증 질병을 치료하기 위하여 풍성 카테터를 삽입한 모습이 도시되어 있다. 카테터에 해당하는 의료 시술 도구는 매우 다양하며 도 10에 도시된 카테터는 그 중에 빈번하게 사용되고 있는 시술 도구 중 하나이다. FIG. 10 shows a state in which a pungseong catheter is inserted to treat the vascular stenosis disease generated in FIG. 5. Medical tools corresponding to the catheter are very diverse, and the catheter shown in FIG. 10 is one of the frequently used surgical tools.

상기 질병 치료부(130)는 훈련자가 훈련 도구를 조작하여 상기 모델링된 카테터를 조작하는 경우에 해당 모델링된 카테터가 시각적으로 심혈관에서 이동하는 모습 및 치료하는 모습이 표시되도록 한다. The disease treatment unit 130 allows the modeled catheter to visually move in the cardiovascular system and to be treated when the trainee manipulates the modeled catheter by manipulating the training tool.

도 11에 도시된 바와 같이, 풍선 카테터를 이용한 혈관 협착증 치료 후 모습으로 표현되어 있으며, n개의 Vi를(-DVi 방향으로 표현하고자 하는 만큼 이동시킴으로써, 도 11과 같은 결과를 얻을 수 있다. 이와 동시에, 풍선 카테터의 풍선의 스케일을 혈관 벽에 닿을 때 혈관 벽의 확장 속도와 동일한 속도로 확장시키면 풍선 카테터의 확장 및 질병치료를 표현할 수 있다.As shown in Fig. 11, it is expressed as a shape after vascular stenosis treatment using a balloon catheter, and by moving n Vis (as much as desired to be expressed in the -DVi direction), the same result as in Fig. 11 can be obtained. At the same time , Expansion of the balloon catheter and disease treatment can be expressed by expanding the balloon scale of the balloon catheter at the same rate as the expansion rate of the blood vessel wall when it touches the blood vessel wall.

앞서 설명한 바와 같이, 상기 훈련 환경 출력부(140)는 상기 부위 설정부(110), 질병 생성부(120) 및 질병 치료부(130)에 의하여 생성되거나 치료되는 각 오브젝트들이 훈련자가 착용한 AR 장비에 표시되도록 하며, 이들 구성들은 제어부(100)의 제어에 따라 동작이 제어될 수 있다. As described above, the training environment output unit 140 is an AR device worn by the trainee for each object created or treated by the site setting unit 110, the disease generation unit 120, and the disease treatment unit 130 And these components can be controlled under the control of the controller 100.

Claims (5)

모델링된 심혈관에 대하여, 훈련 또는 시각적으로 표현하고자 하는 심혈관 질환의 부위를 설정하는 부위 설정부;
상기 부위 설정부에 의해 설정되는 상기 심혈관 부위에 대동맥류, 관상동맥 협착 또는 대동맥 협착을 포함하는 심혈관 질환을 시각적으로 표현되도록 상기 심혈관의 일부가 형태 변형이 이루어지도록 하는 질병 생성부;
상기 질병 생성부에 의해 형태 변형된 상기 심혈관의 부위를 훈련자가 치료 또는 수술하는 연습을 수행할 수 있도록 상기 훈련자의 조작 또는 제스처에 따라 시각화된 카테터가 보여지도록 하는 질병 치료부;
상기 부위 설정부 및 질병 생성부에 의해 생성된 심혈관 질환과, 상기 질병 치료부에 의해 보여지는 해당 심혈관 질환의 치료 모습을 상기 훈련자가 착용한 AR 장치에서 표시되도록 하는 훈련 환경 출력부; 및
상기 부위 설정부, 질병 생성부, 질병 치료부 및 훈련 환경 출력부 각각의 동작들을 제어하는 제어부;를 포함하고,
상기 부위 설정부는 상기 심혈관 질환을 생성하기 위한 버텍스 범위를 설정하기 위하여 상기의 모델링된 심혈관을 나타내는 메쉬 각각의 버텍스에 인덱스를 부여하여 오브젝트를 생성함으로써, 상기 버텍스를 가시화하고
상기 부위 설정부는 설정되는 심혈관 질환에 따라 상기의 가시화된 버텍스의 지정 범위를 상이하게 부여하고,
상기 질병 생성부는 설정되는 심혈관 질환을 시각화시키기 위하여 상기 버텍스 범위의 중심점에 대한 방향 벡터를 기준으로 형태 변형이 이루어지도록 하는 것을 특징으로 하는 심혈관 형상변형 시뮬레이션 시스템.
A region setting unit for setting a region of a cardiovascular disease to be trained or visually expressed for the modeled cardiovascular system;
A disease generating unit configured to change the shape of a part of the cardiovascular vessel to visually express a cardiovascular disease including an aortic aneurysm, coronary artery stenosis, or aortic stenosis in the cardiovascular region set by the site setting unit;
A disease treatment unit configured to display a catheter visualized according to an operation or gesture of the trainee so that the trainee can practice treatment or operation of the cardiovascular area deformed by the disease generating unit;
A training environment output unit configured to display the cardiovascular disease generated by the site setting unit and the disease generating unit and a treatment state of the cardiovascular disease shown by the disease treatment unit on the AR device worn by the trainee; And
Including; a control unit for controlling the respective operations of the region setting unit, the disease generation unit, the disease treatment unit, and the training environment output unit,
The part setting unit visualizes the vertices by creating an object by assigning an index to each vertex of the mesh representing the modeled cardiovascular disease in order to set the vertex range for generating the cardiovascular disease.
The region setting unit differently assigns the designated range of the visualized vertices according to the cardiovascular disease to be set,
The disease generator is a cardiovascular shape transformation simulation system, characterized in that the shape transformation is made based on a direction vector with respect to a center point of the vertex range in order to visualize a set cardiovascular disease.
삭제delete 삭제delete 삭제delete 삭제delete
KR1020190023535A 2019-02-28 2019-02-28 Simulation system for deforming shape of cardiovascular KR102228314B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190023535A KR102228314B1 (en) 2019-02-28 2019-02-28 Simulation system for deforming shape of cardiovascular

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190023535A KR102228314B1 (en) 2019-02-28 2019-02-28 Simulation system for deforming shape of cardiovascular

Publications (2)

Publication Number Publication Date
KR20200104997A KR20200104997A (en) 2020-09-07
KR102228314B1 true KR102228314B1 (en) 2021-03-16

Family

ID=72472409

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190023535A KR102228314B1 (en) 2019-02-28 2019-02-28 Simulation system for deforming shape of cardiovascular

Country Status (1)

Country Link
KR (1) KR102228314B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009107658A1 (en) * 2008-02-25 2009-09-03 株式会社 日立メディコ X-ray ct scan simulator and x-ray ct device
KR101887805B1 (en) 2017-03-23 2018-08-10 최재용 System for simulating laparoscopic surgery base on augmented reality and method for using the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2833326B1 (en) * 2013-07-30 2016-04-06 Dassault Systèmes Lossless compression of a 3D mesh including transforming of the mesh to a image
KR101700847B1 (en) * 2014-03-31 2017-01-31 이미숙 Method for Providing Training of Image Guided Surgery and Computer-readable Recording Medium for the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009107658A1 (en) * 2008-02-25 2009-09-03 株式会社 日立メディコ X-ray ct scan simulator and x-ray ct device
KR101887805B1 (en) 2017-03-23 2018-08-10 최재용 System for simulating laparoscopic surgery base on augmented reality and method for using the same

Also Published As

Publication number Publication date
KR20200104997A (en) 2020-09-07

Similar Documents

Publication Publication Date Title
JP5967838B2 (en) Synchronizing humanoid robot gestures and voice
EP2896034B1 (en) A mixed reality simulation method and system
KR101700847B1 (en) Method for Providing Training of Image Guided Surgery and Computer-readable Recording Medium for the same
US7850456B2 (en) Surgical simulation device, system and method
CN106067269B (en) The determination method and system of feedback force in virtual cardiovascular interventional operation training system
US8005659B2 (en) Simulation of coupled objects
Cotin et al. ICTS, an interventional cardiology training system
WO2019204777A1 (en) Surgical simulator providing labeled data
JPH10111958A (en) Simulation system using computer graphics and model representing method of simulation system
US8491307B2 (en) Interventional simulator control system
CN113761796B (en) Simulation system and method of heart hemorrhage and hemostasis model based on virtual reality
CN111770735B (en) Operation simulation information generation method and program
WO2004029910A1 (en) Device and method for generating a virtual anatomic environment
Cutting et al. Use of three-dimensional computer graphic animation to illustrate cleft lip and palate surgery
KR102228314B1 (en) Simulation system for deforming shape of cardiovascular
Røtnes et al. Digital trainer developed for robotic assisted cardiac surgery
Das et al. The utilization of AR/VR in robotic surgery: A study
Ahn et al. Development of a virtual reality simulator for natural orifice translumenal endoscopic surgery (NOTES) cholecystectomy procedure
Li et al. Haptics-equiped interactive PCI simulation for patient-specific surgery training and rehearsing.
Boisvert et al. Real-time blood circulation and bleeding model for surgical training
Thalmann et al. Human modeling and animation
US20040222993A1 (en) Method and system for simulation of a thread in computer graphics simulations
Bhasin et al. Simulating surgical incisions without polygon subdivision
Nakao et al. Planning and training of minimally invasive surgery by integrating soft tissue cuts with surgical views reproduction
Baier et al. Surfaces for modeling arteries in virtual reality simulators

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant