KR20240090067A - 가상 현실 기반의 시술 시뮬레이션 방법 및 장치 - Google Patents

가상 현실 기반의 시술 시뮬레이션 방법 및 장치 Download PDF

Info

Publication number
KR20240090067A
KR20240090067A KR1020220173794A KR20220173794A KR20240090067A KR 20240090067 A KR20240090067 A KR 20240090067A KR 1020220173794 A KR1020220173794 A KR 1020220173794A KR 20220173794 A KR20220173794 A KR 20220173794A KR 20240090067 A KR20240090067 A KR 20240090067A
Authority
KR
South Korea
Prior art keywords
virtual
simulation
procedure
providing
surgical
Prior art date
Application number
KR1020220173794A
Other languages
English (en)
Inventor
고재철
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020220173794A priority Critical patent/KR20240090067A/ko
Priority to US18/536,546 priority patent/US20240189036A1/en
Publication of KR20240090067A publication Critical patent/KR20240090067A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Computational Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

일 실시예에 따른 의료 영상 기반의 시술 시뮬레이션 방법 및 장치가 개시된다. 시술 시뮬레이션 방법은 시술 대상자의 신체 부위를 촬영한 CT(computed tomography) 영상을 수신하는 동작, CT 영상에 기초하여 신체 부위에 대응하는 가상의 3차원 신체 모델을 생성하는 동작, 및 가상의 3차원 신체 모델에 기반하여 척수 자극법에 대한 시술 시뮬레이션을 제공하는 동작을 포함한다. 척수 자극법에 대한 시술 시뮬레이션을 제공하는 동작은, 가상의 3차원 신체 모델과 가상의 C-암(arm) 장치를 포함하는 가상 화면을 출력하는 동작, 가상 화면 내에서 시술 시뮬레이션 장치를 착용한 사용자의 선택에 따라 저항 소실법의 시술 시뮬레이션을 제공하는 동작, 및 저항 소실법의 시술 시뮬레이션이 완료된 경우, 가상의 3차원 신체 모델에 포함된 가상의 척수 부위에 리드 삽입을 위한 시술 시뮬레이션을 제공하는 동작을 포함한다.

Description

가상 현실 기반의 시술 시뮬레이션 방법 및 장치{METHOD AND APPARATUS FOR SURGICAL SIMULATION BASED ON VIRTUAL REALITY}
아래 실시예들은 가상 현실 기반의 시술 시뮬레이션 기술에 관한 것이다.
종래에 척추 관련 질병으로 인해 어려운 해부학적 구조를 가진 환자들에게 시술을 할 경우, 상당한 비용이 소요되었다. 난이도와 비용문제로 인해 척추 관련 질병을 시술/수술하는 의료진들을 트레이닝하는 것이 어려운 실정이다. 이를 위해 가상 현실 공간에서 수술/시술을 하기 위해 실제 수술 장치와 유사한 장치를 구현하고 이를 이용하여 수술/시술을 지원하는 정합 기술이 개발되고 있다.
일 실시예에 따른 가상 현실 기반의 시술 시뮬레이션 방법은 시술 대상자의 신체 부위를 촬영한 CT(computed tomography) 영상을 수신하는 동작, 상기 CT 영상에 기초하여 상기 신체 부위에 대응하는 가상의 3차원 신체 모델을 생성하는 동작, 및 상기 가상의 3차원 신체 모델에 기반하여 척수 자극법에 대한 시술 시뮬레이션을 제공하는 동작을 포함할 수 있다. 상기 척수 자극법에 대한 시술 시뮬레이션을 제공하는 동작은, 상기 가상의 3차원 신체 모델과 가상의 C-암(arm) 장치를 포함하는 가상 화면을 출력하는 동작, 상기 가상 화면 내에서 상기 시술 시뮬레이션 장치를 착용한 사용자의 선택에 따라 주사기를 이용하는 저항 소실법의 시술 시뮬레이션을 제공하는 동작, 및 상기 저항 소실법의 시술 시뮬레이션이 완료된 경우, 상기 가상의 3차원 신체 모델에 포함된 가상의 척수 부위에 리드 삽입을 위한 시술 시뮬레이션을 제공하는 동작을 포함할 수 있다.
일 실시예에 따른 가상 현실 기반의 시술 시뮬레이션 장치는, 인스트럭션들을 포함하는 메모리, 및 상기 메모리와 연결되고, 상기 인스트럭션들을 실행하기 위한 프로세서를 포함할 수 있다. 상기 프로세서에 의해 상기 인스트럭션들이 수행될 때, 상기 프로세서는, 시술 대상자의 신체 부위를 촬영한 CT(computed tomography) 영상을 수신하고, 상기 CT 영상에 기초하여 상기 신체 부위에 대응하는 가상의 3차원 신체 모델을 생성하고, 상기 가상의 3차원 신체 모델에 기반하여 척수 자극법에 대한 시술 시뮬레이션을 제공하고, 상기 가상의 3차원 신체 모델과 가상의 C-암(arm) 장치를 포함하는 가상 화면을 출력하고, 상기 가상 화면 내에서 상기 시술 시뮬레이션 장치를 착용한 사용자의 선택에 따라 주사기를 이용하는 저항 소실법의 시술 시뮬레이션을 제공하고, 상기 저항 소실법의 시술 시뮬레이션이 완료된 경우, 상기 가상의 3차원 신체 모델에 포함된 가상의 척수 부위에 리드 삽입을 위한 시술 시뮬레이션을 제공할 수 있다.
도 1은 일 실시예에 따른 시술 시뮬레이션 제공 시스템의 개요를 도시하는 도면이다.
도 2는 일 실시예에 따른 시술 시뮬레이션 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 CT 영상으로부터 3차원 모델을 생성하는 과정을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 가상의 엑스레이 영상을 생성하는 과정을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 가상의 엑스레이 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 척수 자극법에 대한 시술 시뮬레이션을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 주사기를 이용하는 저항 소실법의 시술 시뮬레이션을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 가상의 척수 부위에 토치 바늘(touchy needle)이 삽입된 정도를 나타내는 가상의 엑스레이 영상을 나타낸 도면이다.
도 9는 일 실시예에 따른 리드를 가상의 척수 부위에 삽입하는 동작을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 가상의 척수 부위에 리드가 삽입된 정도를 나타내는 가상의 엑스레이 영상을 나타낸 도면이다.
도 11은 일 실시예에 따른 가상의 척수 부위에 리드 삽입을 위한 시술 시뮬레이션을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 C-암을 조절하기 위한 인터페이스를 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 척수 자극법에 대한 시술 시뮬레이션 결과 데이터를 포함하는 가상 화면을 나타낸 도면이다.
도 14는 일 실시예에 따른 시술 시뮬레이션 장치의 구성을 나타낸 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
본 명세서에서 설명하는 시술 시뮬레이션 제공 시스템은 2차원의 CT 영상에 기초하여 3차원 모델을 생성하고, 사용자에 의해 조작될 수 있는 가상의 시술 도구를 생성하며, 가상의 시술 도구가 위치한 3차원 모델에 가상의 엑스레이를 조사하는 것에 의해 가상의 시술 도구가 나타난 가상의 엑스레이 영상을 생성하는 것에 의해 시술 시뮬레이션을 위한 인터페이스를 제공할 수 있다. 사용자(또는 의료진, 시술을 진행하는 시술자)는 시술 시뮬레이션을 위한 인터페이스를 통해 가상의 시술 도구를 사용자 재량대로 조작하며 3차원 모델과 가상의 엑스레이 영상에서 시술 도구가 나타나는 모습에 기초하여 시술을 위한 최적의 시술 경로를 결정할 수 있다. 사용자는 최적의 시술 경로로 결정된 시술 경로가 수행되는 동안에 가상의 엑스레이 영상을 생성한 가상의 방사선 영상장치의 각도, 기울기 및 위치 등에 대한 정보를 기록하고 실제 시술 상황에서도 동일한 환경에서 최적의 시술 경로로 시술이 진행되도록 할 수 있다. 본 명세서에서 설명하는 시술은 시술(procedure), 수술 및 그 외의 기타 치료 방법의 의미를 포함하거나 이 의미로 대체될 수 있다.
도 1은 일 실시예에 따른 시술 시뮬레이션 제공 시스템의 개요를 도시하는 도면이다.
도 1을 참조하면 시술 시뮬레이션 장치(120)는 CT 영상(110)을 수집할 수 있다. 시술 시뮬레이션 장치(120)는 CT 영상(110)에 기초하여 3차원 모델을 생성할 수 있다. 시술 시뮬레이션 장치(120)는 3차원 모델에 기초하여 가상의 엑스레이 영상을 생성할 수 있다. 또한 시술 시뮬레이션 장치(120)는 가상의 시술 도구도 생성할 수 있다. 시술 시뮬레이션 장치(120)는 3차원 모델과 가상의 엑스레이 영상에 기초하여 가상의 시술 도구와 3차원 모델이 나타난 시술 시뮬레이션을 위한 인터페이스(130)를 제공할 수 있다.
도 2는 일 실시예에 따른 시술 시뮬레이션 방법을 설명하기 위한 흐름도이다. 일례로, 시술 시뮬레이션 방법의 동작들은 도 1의 시술 시뮬레이션 장치(120)에 의해 수행될 수 있다.
도 2를 참조하면, 도 2에 도시된 동작 순서는 시술 시뮬레이션 방법을 설명하기 위한 일 예이고, 이에 한정되는 것은 아니며 둘 이상의 동작이 병렬적으로 수행될 수 있다. 또는, 어느 하나의 동작이 생략될 수 있다.
동작(202)에서, 시술 시뮬레이션 장치는 시술 대상자의 신체 부위를 촬영한 CT(computed tomography) 영상을 수신할 수 있다. CT 영상은 2차원 형태일 수 있고, 시술 대상자는 척추 관련 질병을 가진 환자를 지칭하는 것일 수 있다.
동작(204)에서, 시술 시뮬레이션 장치는 CT 영상에 기초하여 신체 부위에 대응하는 가상의 3차원 신체 모델을 생성할 수 있다. 시술 시뮬레이션 장치는 CT 영상에 기초하여 CT 영상의 복셀 데이터(voxel data)를 생성하고, 복셀 데이터에 기초하여 3차원 모델을 생성할 수 있다. 복셀은 체적 요소로서, 픽셀에 부피(volume)을 반영한 개념일 수 있다. 시술 시뮬레이션 장치는 HU(Hounsfield unit) 값이 예를 들어 200 내지 400인 것에 대해서만 시각화를 수행하고 나머지는 투명하게 처리하여 2차원의 CT 영상으로부터 3차원 모델을 생성할 수 있다. 시각화를 수행하는 HU 값의 범위는 시술 대상자의 골밀도에 기초하여 결정될 수 있다.
또한, 시술 시뮬레이션 장치는 생성된 3차원 모델을 가상의 엑스레이를 발생시키는 발생기 및 가상의 엑스레이를 감지하는 감지기를 포함하는 가상 공간에 정합시킬 수 있다. 예를 들어, 시술 시뮬레이션 장치는 CT 영상의 영상 방향, 영상의 위치 및 간격 값을 사용하여 3차원 모델을 가상 공간에 배치할 수 있다. 시술 시뮬레이션 장치는 CT 영상을 DICOM(Digital Imaging and Communications in Medicine) 파일의 공간 위치 정보에 기초하여 가상 공간에 위치시킬 수 있고, 이것을 미리 3차원으로 폴리곤화한 데이터와 같은 가상 공간에 정합시킬 수 있다.
동작(206)에서, 시술 시뮬레이션 장치는 가상의 3차원 신체 모델에 기반하여 척수 자극법에 대한 시술 시뮬레이션을 제공할 수 있다. 척수 자극법에 대한 시술은 실제 진료시 상당 비용이 소요되므로 경험이 풍부하지 않은 의사들에게 많은 기회가 부여되기 어렵다. 일 실시예에 따르면, 척수 자극법에 대한 시술 시뮬레이션을 제공함으로써, 적은 비용으로 실제 시술과 가까운 경험을 제공할 수 있고, 해부학 실습이나 이론 교육 등을 통해 배울 수 있는 한계를 해결할 수 있다.
시술 시뮬레이션 장치는 시술 시뮬레이션 장치를 착용한 사용자의 선택에 따라 주사기를 이용하는 저항 소실법의 시술 시뮬레이션을 제공할 수 있다. 저항 소실법은 치료하고자 하는 가상의 신체 부위에 주사기가 목표하는 위치에 진입되었는지 확인하기 위한 기술일 수 있다. 주사기에는 토치 바늘(touchy needle)이 연결될 수 있다. 저항 소실법에 이용되는 매체로 생리식염수 같은 액체 또는 공기가 이용될 수 있다. 주사기가 목표하고자 하는 위치에 삽입된 경우, 사용자는 저항 소실감을 느낄 수 있다. 사용자는 가상의 엑스레이 영상을 통해 토치 바늘이 시술 대상자의 신체 부위에 삽입된 정도를 확인할 수 있다.
시술 시뮬레이션 장치는 저항 소실법의 시술 시뮬레이션이 완료된 경우, 가상의 3차원 신체 모델에 포함된 가상의 척수 부위에 리드 삽입을 위한 시술 시뮬레이션을 제공할 수 있다. 사용자는 저항 소실법 시술을 마친 후, 시술 대상자의 신체 부위에 꽂힌 토치 바늘은 그대로 두고, 주사기를 제거할 수 있다. 사용자는 시술 대상자의 신체 부위에 삽입할 리드(lead)를 준비할 수 있다. 사용자는 리드를 시술 대상자의 신체 부위에 꽂힌 토치 바늘을 통해 삽입할 수 있다. 시술 시뮬레이션 장치는 가상의 척수 부위에 리드가 삽입된 정도를 나타내는 가상의 엑스레이 영상을 생성할 수 있다. 시술 시뮬레이션 장치는 리드가 삽입된 정도를 나타내는 가상의 엑스레이 영상을 가상의 C-암 장치에 포함된 가상의 모니터에 출력할 수 있다. 이에 대해서는 도 10을 참조하여 자세히 설명한다.
사용자는 가상의 모니터에 출력된 가상의 엑스레이 영상을 통해, 리드의 삽입 정도를 조절할 수 있다. 시술 시뮬레이션 장치는 리드 삽입의 방향을 조절하기 위한 인터페이스를 제공할 수 있다. 이에 대해서는, 도 11을 참조하여 자세히 설명한다.
동작(208)에서, 시술 시뮬레이션 장치는 C-암을 조절하기 위한 인터페이스를 제공할 수 있다. 사용자는 상기 인터페이스를 통해 C-암의 기울기 또는 회전 각도를 조절할 수 있다. 사용자는 C-암의 기울기 또는 회전 각도를 조절함으로써 사용자의 신체 부위에 삽입된 리드를 다양한 각도에서 관찰할 수 있다.
동작(210)에서, 시술 시뮬레이션 장치는 C-암의 기울기 값 및 회전 각도 값을 출력하는 인터페이스를 제공할 수 있다. 사용자는 상기 인터페이스를 통해 C-암의 기울기 및 회전 각도를 세밀하게 조절할 수 있다. 이에 대한 자세한 설명은 도 12에서 자세히 한다.
동작(212)에서, 시술 시뮬레이션 장치는 척수 자극법에 대한 시술 시뮬레이션 결과 데이터를 포함하는 가상 화면을 출력할 수 있다. 사용자는 시술 시뮬레이션 결과 데이터를 포함하는 가상 화면을 통해서 사용자 본인이 척수 자극법을 제대로 수행했는지 판단할 수 있다.
도 3은 일 실시예에 따른 CT 영상으로부터 3차원 모델을 생성하는 과정을 설명하기 위한 흐름도이다.
도 3의 실시예는 도 2에 대한 상세한 설명 중 동작(204)에 대응할 수 있다. 단계(310)에서 시술 시뮬레이션 장치는 2차원 형태의 CT 영상(315)을 가상 공간에 위치시킬 수 있다. 단계(320)에서 시술 시뮬레이션 장치는 CT 영상(315)으로부터 입체화된 영상(325)을 생성할 수 있다. 시술 시뮬레이션 장치는 단계(330)에서 HU 값이 미리 정해진 범위 내인 것에 대해서만 시각화를 수행하는 것에 의해 3차원 모델(335)을 생성할 수 있다.
도 4는 일 실시예에 따른 가상의 엑스레이 영상을 생성하는 과정을 설명하기 위한 흐름도이다.
단계(430)에서 3차원 모델(410)과 가상의 방사선 영상장치(420)가 가상 공간에 위치해 있을 수 있다. 가상의 방사선 영상장치(420)가 미리 결정된 기준에 기초하여 3차원 모델(410)에 엑스레이를 조사하기에 적절한 것으로 결정된 위치, 기울기 및 방향에서 3차원 모델(410)에 엑스레이를 조사할 수 있다. 이에 응답하여 단계(440)에서 시술 시뮬레이션 장치는 가상의 엑스레이 영상을 생성할 수 있다.
도 5는 일 실시예에 따른 가상의 엑스레이 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 5를 참조하면 참조번호(510)는 가상의 엑스레이를 발생시키기 위한 발생기(genetator)이고 참조번호(530)는 감지기일 수 있다. 참조번호(520)은 복수의 데이터 슬라이스로 구성된 3차원 모델일 수 있다. 발생기(510), 감지기(530) 및 3차원 모델(520)은 가상 공간에 배치된 가상의 존재들일 수 있다.
발생기(510)는 가상의 엑스레이를 발생시켜 3차원 모델(520)에 조사할 수 있고 감지기(530)는 3차원 모델(520)에 조사된 후의 엑스레이를 감지할 수 있다. 시술 시뮬레이션 장치는 감지기(520)가 감지한 엑스레이에 기초하여 3차원 모델(520)에서 엑스레이가 데이터 슬라이스와 만난 하나 이상의 지점을 결정할 수 있다. 시술 시뮬레이션 장치는 그 지점을 이미지화 하는 것에 의해 가상의 엑스레이 영상을 생성할 수 있다.
도 6은 일 실시예에 따른 척수 자극법에 대한 시술 시뮬레이션을 설명하기 위한 도면이다.
도 6을 참조하면, 시술 시뮬레이션 장치(예를 들어, 도 1의 시술 시뮬레이션 장치(120))는 가상의 3차원 신체 모델(610)과 가상의 C-암(arm) 장치(620)를 포함하는 가상 화면(600)을 출력할 수 있다. 시뮬레이션 장치를 착용한 사용자는 가상 화면(600) 상에서 가상의 손(605)을 확인할 수 있다. 가상의 손(605)은 사용자의 실제 손 동작에 따라 반응할 수 있다. 사용자는 가상의 손(605)을 이용하여 각종 인터페이스를 통해 시술 시뮬레이션을 진행할 수 있다. 예를 들어, 사용자는 자신의 손(605)을 이용하여 가상의 3차원 신체 모델(610)이 놓여 있는 베드(bed)의 높이를 조절할 수 있다.
도 7은 일 실시예에 따른 주사기를 이용하는 저항 소실법의 시술 시뮬레이션을 설명하기 위한 도면이다.
도 7을 참조하면, 시술 시뮬레이션 장치(예를 들어, 도 1의 시술 시뮬레이션 장치(120))는 도 6의 가상 화면(600) 내에서 시술 시뮬레이션 장치를 착용한 사용자의 선택에 따라 주사기(710)를 이용하는 저항 소실법의 시술 시뮬레이션(700)을 제공할 수 있다. 사용자는 가상의 손을 이용하여 주사기(710)를 시술 대상자의 가상의 신체 부위에 삽입할 수 있다. 주사기는 토치 바늘과 연결될 수 있다.
시술 시뮬레이션 장치는 주사기의 삽입 방향을 조절하기 위한 인터페이스를 제공할 수 있다. 상기 인터페이스는 주사기의 삽입 방향을 상하좌우로 조절할 수 있도록 제어할 수 있는 가상의 버튼을 제공할 수 있다. 사용자는 주사기의 삽입 방향을 조절하기 위한 인터페이스를 통해 주사기의 삽입 방향을 조절하면서 저항 소실법을 수행할 수 있다.
도 8은 일 실시예에 따른 가상의 척수 부위에 토치 바늘이 삽입된 정도를 나타내는 가상의 엑스레이 영상을 나타낸 도면이다.
도 8을 참조하면, 시술 시뮬레이션 장치(예를 들어, 도 1의 시술 시뮬레이션 장치(120))는 시술 대상자의 가상의 척수 부위에 주사기와 연결된 토치 바늘이 삽입된 정도를 나타내는 가상의 엑스레이 영상을 제공할 수 있다. 사용자는 상기 가상의 엑스레이 영상을 통해 주사기에 연결된 토치 바늘이 시술 대상자의 척수 부위에 제대로 삽입되었는지 확인할 수 있다. 사용자는 주사기의 삽입 방향을 조절할 때, 토치 바늘이 삽입된 정도를 나타내는 가상의 엑스레이 영상을 참고할 수 있다.
도 9는 일 실시예에 따른 리드를 가상의 척수 부위에 삽입하는 동작을 설명하기 위한 도면이다.
도 9를 참조하면, 일 실시예에 따른 시술 시뮬레이션 장치(예를 들어, 도 1의 시술 시뮬레이션 장치(120))는 저항 소실법의 시술 시뮬레이션이 완료된 경우, 가상의 3차원 신체 모델에 포함된 가상의 척수 부위에 리드 삽입을 위한 시술 시뮬레이션(910, 920)을 제공할 수 있다.
시술 시뮬레이션(910)에서 사용자는 가상의 3차원 신체 모델에 포함된 가상의 척수 부위에 삽입할 리드(915)를 준비할 수 있다. 시술 시뮬레이션(920)에서 사용자는 가상의 3차원 신체 모델에 포함된 가상의 척수 부위에 삽입된 토치 바늘(925)을 통해 리드(915)를 삽입할 수 있다.
도 10은 일 실시예에 따른 가상의 척수 부위에 리드가 삽입된 정도를 나타내는 가상의 엑스레이 영상을 나타낸 도면이다.
도 10을 참조하면, 일 실시예에 따른 시술 시뮬레이션 장치는 가상의 화면(1000)을 통해 가상의 척수 부위에 리드가 삽입된 정도를 나타내는 가상의 엑스레이 영상(1010)을 생성할 수 있다. 시술 시뮬레이션 장치는 리드(1015)가 삽입된 정도를 나타내는 가상의 엑스레이 영상을 가상의 C-암 장치에 포함된 가상의 모니터에 출력할 수 있다. 사용자는 가상의 모니터에 출력된 가상의 엑스레이 영상을 통해서 가상의 척수 부위에 리드가 삽입되는 정도를 확인할 수 있다.
도 11은 일 실시예에 따른 가상의 척수 부위에 리드 삽입을 위한 시술 시뮬레이션을 설명하기 위한 도면이다.
도 11을 참조하면, 일 실시예에 따른 시술 시뮬레이션 장치는 가상의 화면(1100)을 통해, 리드 삽입을 위한 시술 시뮬레이션을 제공할 때, 리드 삽입의 방향을 조절하기 위한 인터페이스(1110)를 제공할 수 있다. 사용자는 인터페이스(1110)를 가상의 손으로 클릭함으로써 리드의 삽입 방향을 조절할 수 있다.
도 12는 일 실시예에 따른 C-암을 조절하기 위한 인터페이스를 설명하기 위한 도면이다.
도 12의 가상의 화면들(1210, 1220)를 참조하면, 일 실시예에 따른 시술 시뮬레이션 장치는 시술 시뮬레이션 장치를 착용한 사용자의 손 동작에 기초하여 C-암을 조절하기 위한 인터페이스(1222)를 출력할 수 있다. 가상의 화면(1210)을 참조하면, 시술 시뮬레이션 장치를 착용한 사용자는 C-암을 조절하기 위한 인터페이스(1222)를 출력하기 위해 손 동작을 수행할 수 있다. 예를 들어, 손 동작은 오른쪽 손의 손가락으로 왼쪽 손목을 두 번 탭(tap)하는 동작일 수 있다. 인터페이스(1222)를 출력하기 위한 손 동작은 실시예에 따라 다양할 수 있다.
가상의 화면(1220)을 참조하면, 손 동작을 수행한 사용자는 C-암을 조절하기 위한 인터페이스(1222)를 제공받을 수 있다. 사용자는 인터페이스(1222)를 통해 C-암의 기울기 정도 및 회전 각도를 조절할 수 있다. 시술 시뮬레이션 장치는 C-암의 기울기 값 및 회전 각도 값을 출력하는 인터페이스(1224)를 제공할 수 있다. 사용자는 인터페이스(1224)를 통해 C-암의 기울기 값 및 회전 각도 값을 확인하면서 C-암의 기울기 정도 및 회전 각도를 조절할 수 있다.
도 13은 일 실시예에 따른 척수 자극법에 대한 시술 시뮬레이션 결과 데이터를 포함하는 가상 화면을 나타낸 도면이다.
도 13을 참조하면, 일 실시예에 따른 시술 시뮬레이션 장치는 리드 삽입을 위한 시술 시뮬레이션이 완료된 경우, 척수 자극법에 대한 시술 시뮬레이션 결과 데이터를 포함하는 가상 화면(1300)을 출력할 수 있다. 사용자는 가상 화면(1300)을 통해 척수 자극법에 대한 시술이 제대로 이루어졌는지 평가 및 판단할 수 있다.
도 14는 일 실시예에 따른 시술 시뮬레이션 장치의 구성을 나타낸 도면이다.
도 14를 참조하면, 일 실시예에 따른 시술 시뮬레이션 장치(1400)는 메모리(1420), 및 프로세서(1440)를 포함할 수 있다.
메모리(1420)는, 시술 시뮬레이션 장치(1400)의 적어도 하나의 구성요소(예: 프로세서(1440))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(1420)는, 외부(예: 사용자)로부터 수신된 적어도 하나의 의료 영상을 저장하고, 프로세서(1440)에 의해 처리된 의료 영상의 중간 또는 결과 데이터를 저장할 수 있다.
메모리(1420)는 프로세서(1440)에 의해 실행가능한 인스트럭션(instruction)들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서(1440)의 동작 및/또는 프로세서(1440)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
프로세서(1440)는, 프로그램을 실행하여 프로세서(1440)에 연결된 시술 시뮬레이션 장치(1400)의 적어도 하나의 다른 구성요소를 제어하고, 다양한 데이터 처리, 연산 또는 프로세서(1440)에 의해 유발된 인스트럭션들을 수행할 수 있다. 프로세서(1440)는, 적어도 하나의 다른 구성요소로부터 수신된 명령 또는 데이터를 메모리(1420)에 저장하고, 메모리(1420)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 메모리(1420)에 저장할 수 있다.
프로세서(1440)에 의해 수행되는 동작은 도 1 내지 도 13을 참조하여 설명한 시술 시뮬레이션 장치의 동작과 실질적으로 동일할 수 있다.
일 실시예에서, 프로세서(1440)는 시술 대상자의 신체 부위를 촬영한 CT(computed tomography) 영상을 수신하고, 상기 CT 영상에 기초하여 상기 신체 부위에 대응하는 가상의 3차원 신체 모델을 생성하고, 상기 가상의 3차원 신체 모델에 기반하여 척수 자극법에 대한 시술 시뮬레이션을 제공하고, 상기 가상의 3차원 신체 모델과 가상의 C-암(arm) 장치를 포함하는 가상 화면을 출력하고, 상기 가상 화면 내에서 상기 시술 시뮬레이션 장치를 착용한 사용자의 선택에 따라 주사기를 이용하는 저항 소실법의 시술 시뮬레이션을 제공하고, 상기 저항 소실법의 시술 시뮬레이션이 완료된 경우, 상기 가상의 3차원 신체 모델에 포함된 가상의 척수 부위에 리드 삽입을 위한 시술 시뮬레이션을 제공할 수 있다.
일 실시예에서, 프로세서(1440)는 주사기의 삽입 방향을 조절하기 위한 인터페이스를 제공할 수 있다.
일 실시예에서, 프로세서(1440)는 가상의 척수 부위에 리드가 삽입된 정도를 나타내는 가상의 엑스레이 영상을 생성하고, 가상의 엑스레이 영상을 가상의 C-암 장치에 포함된 가상의 모니터에 출력할 수 있다.
일 실시예에서, 프로세서(1440)는 리드 삽입의 방향을 조절하기 위한 인터페이스를 제공할 수 있다.
일 실시예에서, 프로세서(1440)는 사용자의 손 동작에 기초하여 C-암을 조절하기 위한 인터페이스를 출력할 수 있다.
일 실시예에서, 프로세서(1440)는 C-암의 기울기 값 및 회전 각도 값을 출력하는 인터페이스를 제공할 수 있다.
일 실시예에서, 프로세서(1440)는 리드 삽입을 위한 시술 시뮬레이션이 완료된 경우, 상기 척수 자극법에 대한 시술 시뮬레이션 결과 데이터를 포함하는 가상 화면을 출력할 수 있다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 시술 시뮬레이션 장치에 의해 수행되는, 가상 현실 기반의 시술 시뮬레이션 방법에 있어서,
    시술 대상자의 신체 부위를 촬영한 CT(computed tomography) 영상을 수신하는 동작;
    상기 CT 영상에 기초하여 상기 신체 부위에 대응하는 가상의 3차원 신체 모델을 생성하는 동작; 및
    상기 가상의 3차원 신체 모델에 기반하여 척수 자극법에 대한 시술 시뮬레이션을 제공하는 동작을 포함하고,
    상기 척수 자극법에 대한 시술 시뮬레이션을 제공하는 동작은,
    상기 가상의 3차원 신체 모델과 가상의 C-암(arm) 장치를 포함하는 가상 화면을 출력하는 동작;
    상기 가상 화면 내에서 상기 시술 시뮬레이션 장치를 착용한 사용자의 선택에 따라 주사기를 이용하는 저항 소실법의 시술 시뮬레이션을 제공하는 동작; 및
    상기 저항 소실법의 시술 시뮬레이션이 완료된 경우, 상기 가상의 3차원 신체 모델에 포함된 가상의 척수 부위에 리드 삽입을 위한 시술 시뮬레이션을 제공하는 동작
    을 포함하는 시술 시뮬레이션 방법.
  2. 제1항에 있어서,
    상기 저항 소실법의 시술 시뮬레이션을 제공하는 동작은,
    상기 주사기의 삽입 방향을 조절하기 위한 인터페이스를 제공하는 동작
    을 포함하는 시술 시뮬레이션 방법.
  3. 제1항에 있어서,
    상기 리드 삽입을 위한 시술 시뮬레이션을 제공하는 동작은,
    상기 가상의 척수 부위에 리드가 삽입된 정도를 나타내는 가상의 엑스레이 영상을 생성하는 동작; 및
    상기 가상의 엑스레이 영상을 상기 가상의 C-암 장치에 포함된 가상의 모니터에 출력하는 동작
    을 포함하는 시술 시뮬레이션 방법.
  4. 제1항에 있어서,
    상기 리드 삽입을 위한 시술 시뮬레이션을 제공하는 동작은,
    상기 리드 삽입의 방향을 조절하기 위한 인터페이스를 제공하는 동작
    을 포함하는 시술 시뮬레이션 방법.
  5. 제1항에 있어서,
    상기 사용자의 손 동작에 기초하여 상기 C-암을 조절하기 위한 인터페이스를 출력하는 동작
    을 더 포함하는 시술 시뮬레이션 방법.
  6. 제1항에 있어서,
    상기 C-암의 기울기 값 및 회전 각도 값을 출력하는 인터페이스를 제공하는 동작
    을 더 포함하는 시술 시뮬레이션
  7. 제1항에 있어서,
    상기 리드 삽입을 위한 시술 시뮬레이션이 완료된 경우, 상기 척수 자극법에 대한 시술 시뮬레이션 결과 데이터를 포함하는 가상 화면을 출력하는 동작
    을 더 포함하는 시술 시뮬레이션 방법.
  8. 하드웨어와 결합되어 제1항 내지 제7항 중 어느 하나의 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  9. 시술 시뮬레이션 장치에 있어서,
    인스트럭션들을 포함하는 메모리; 및
    상기 메모리와 연결되고, 상기 인스트럭션들을 실행하기 위한 프로세서
    를 포함하고,
    상기 프로세서에 의해 상기 인스트럭션들이 수행될 때, 상기 프로세서는,
    시술 대상자의 신체 부위를 촬영한 CT(computed tomography) 영상을 수신하고,
    상기 CT 영상에 기초하여 상기 신체 부위에 대응하는 가상의 3차원 신체 모델을 생성하고,
    상기 가상의 3차원 신체 모델에 기반하여 척수 자극법에 대한 시술 시뮬레이션을 제공하고,
    상기 가상의 3차원 신체 모델과 가상의 C-암(arm) 장치를 포함하는 가상 화면을 출력하고,
    상기 가상 화면 내에서 상기 시술 시뮬레이션 장치를 착용한 사용자의 선택에 따라 주사기를 이용하는 저항 소실법의 시술 시뮬레이션을 제공하고,
    상기 저항 소실법의 시술 시뮬레이션이 완료된 경우, 상기 가상의 3차원 신체 모델에 포함된 가상의 척수 부위에 리드 삽입을 위한 시술 시뮬레이션을 제공하는,
    시술 시뮬레이션 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 주사기의 삽입 방향을 조절하기 위한 인터페이스를 제공하는,
    시술 시뮬레이션 장치.
  11. 제9항에 있어서,
    상기 프로세서는,
    상기 가상의 척수 부위에 리드가 삽입된 정도를 나타내는 가상의 엑스레이 영상을 생성하고,
    상기 가상의 엑스레이 영상을 상기 가상의 C-암 장치에 포함된 가상의 모니터에 출력하는,
    시술 시뮬레이션 장치.
  12. 제9항에 있어서,
    상기 프로세서는,
    상기 리드 삽입의 방향을 조절하기 위한 인터페이스를 제공하는,
    시술 시뮬레이션 장치.
  13. 제9항에 있어서,
    상기 프로세서는,
    상기 사용자의 손 동작에 기초하여 상기 C-암을 조절하기 위한 인터페이스를 출력하는,
    시술 시뮬레이션 장치.
  14. 제9항에 있어서,
    상기 프로세서는,
    상기 C-암의 기울기 값 및 회전 각도 값을 출력하는 인터페이스를 제공하는,
    시술 시뮬레이션 장치.
  15. 제9항에 있어서,
    상기 프로세서는,
    상기 리드 삽입을 위한 시술 시뮬레이션이 완료된 경우, 상기 척수 자극법에 대한 시술 시뮬레이션 결과 데이터를 포함하는 가상 화면을 출력하는,
    시술 시뮬레이션 장치.
KR1020220173794A 2022-12-13 2022-12-13 가상 현실 기반의 시술 시뮬레이션 방법 및 장치 KR20240090067A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220173794A KR20240090067A (ko) 2022-12-13 2022-12-13 가상 현실 기반의 시술 시뮬레이션 방법 및 장치
US18/536,546 US20240189036A1 (en) 2022-12-13 2023-12-12 Method and apparatus for surgical procedure simulation based on virtual reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220173794A KR20240090067A (ko) 2022-12-13 2022-12-13 가상 현실 기반의 시술 시뮬레이션 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20240090067A true KR20240090067A (ko) 2024-06-21

Family

ID=91382264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220173794A KR20240090067A (ko) 2022-12-13 2022-12-13 가상 현실 기반의 시술 시뮬레이션 방법 및 장치

Country Status (2)

Country Link
US (1) US20240189036A1 (ko)
KR (1) KR20240090067A (ko)

Also Published As

Publication number Publication date
US20240189036A1 (en) 2024-06-13

Similar Documents

Publication Publication Date Title
US11694328B2 (en) Method and system for outputting augmented reality information
JP6400793B2 (ja) 画像表示の生成方法
CN109195527B (zh) 用于与骨骼手术一起使用的设备及方法
Abhari et al. Training for planning tumour resection: augmented reality and human factors
ES2716837T3 (es) Detección automática de implantes a partir de artefactos de imagen
KR20210104715A (ko) 광학 코드를 이용한 증강 현실 디스플레이
JP6081907B2 (ja) 医療処置のコンピュータ化シミュレーションを行うシステム及び方法
US10854111B2 (en) Simulation system and methods for surgical training
US20100022874A1 (en) Image Guided Navigation System and Method Thereof
JP6643362B2 (ja) ロボット手術中に更新された患者画像を供給するための方法および装置
CN105520716B (zh) 荧光镜图像的实时模拟
CN108472085B (zh) 用于计划医疗过程的系统和方法
WO2019110135A1 (en) Augmented reality assistance in medical procedure preparation
WO2023203521A1 (en) Systems and methods for medical image visualization
Ma et al. Visualization, registration and tracking techniques for augmented reality guided surgery: a review
KR20020003362A (ko) 좌표화된 투시법을 이용하여 해부학적 대상물을 측정하는장치 및 방법
EP3662834A1 (en) Positioning a medical x-ray imaging apparatus
Jun et al. Augmented Reality-Assisted Navigation System for Transforaminal Epidural Injection
Faso Haptic and virtual reality surgical simulator for training in percutaneous renal access
KR20240090067A (ko) 가상 현실 기반의 시술 시뮬레이션 방법 및 장치
Cameron et al. Virtual-reality-assisted interventional procedures.
Touchette Artificial X-ray imaging system (AXIS)–design and evaluation on C-arm performance in operating room and educational settings
TWI441106B (zh) 以影像為基礎之外科手術模擬系統
Goodman Interpretation Strategies in Limited Field of View Cone Beam Computed Tomography: An Eye-Tracking Pilot Study
KR20230151364A (ko) 의료 영상 기반의 시술 시뮬레이션 제공 방법 및 장치