KR102583320B1 - 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치 - Google Patents

증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치 Download PDF

Info

Publication number
KR102583320B1
KR102583320B1 KR1020210122979A KR20210122979A KR102583320B1 KR 102583320 B1 KR102583320 B1 KR 102583320B1 KR 1020210122979 A KR1020210122979 A KR 1020210122979A KR 20210122979 A KR20210122979 A KR 20210122979A KR 102583320 B1 KR102583320 B1 KR 102583320B1
Authority
KR
South Korea
Prior art keywords
brain
model
deformation
collision
augmented reality
Prior art date
Application number
KR1020210122979A
Other languages
English (en)
Other versions
KR20230021543A (ko
Inventor
이정진
정희렬
강승우
구교영
박태용
Original Assignee
숭실대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교 산학협력단 filed Critical 숭실대학교 산학협력단
Publication of KR20230021543A publication Critical patent/KR20230021543A/ko
Application granted granted Critical
Publication of KR102583320B1 publication Critical patent/KR102583320B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치에 대한 것이다.
본 발명에 따른 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법은, 수술 전 촬영된 환자의 뇌 영상을 이용하여 3D 뇌 모델을 생성하는 단계; 상기 수술에 필요한 물체를 등록하고 현실세계와 가상공간을 일치시켜 증강현실 수술 환경을 형성하는 단계; 상기 등록된 물체를 추적하여 상기 환자의 뇌와 수술 기구 간 충돌을 감지하는 단계; 상기 충돌이 감지되면, PBD(Position Based Dynamics) 물리 변형 모델을 이용하여 상기 충돌에 의한 뇌의 변형 정보를 상기 3D 뇌 모델에 반영하는 단계; 및 상기 변형 정보가 반영된 3D 뇌 모델을 제공하는 단계를 포함한다.
이와 같이 본 발명에 따르면, PBD 물리 변형 모델을 이용하여 수술 전 촬영된 뇌의 영상을 통해 생성한 3차원 뇌 모델에 수술기구의 움직임으로 인한 뇌의 변형을 반영하여 보다 정확한 정보를 제공할 수 있는 효과가 있다.

Description

증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치{METHOD OF BRAIN DEFORMATION PREDICTION FOR EXTERNAL VENTRICULAR DRAIN SURGERY BASED ON AUGMENTED REALITY RECORDING MEDIUM AND DEVICE FOR PERFORMING THE METHOD}
본 발명은 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것으로서, 더욱 상세하게는 PBD(Position Based Dynamics) 물리 변형 모델을 이용하여 수술 전 촬영된 뇌의 영상을 통해 생성한 3차원 뇌 모델에 수술기구의 움직임으로 인한 뇌의 변형을 반영하여 보다 정확한 정보를 제공하는 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것이다.
증강현실(Augmented Reality, 이하 AR)과 가상현실(Virtual Reality, 이하 VR) 기술은 4차 산업혁명 기반 기술로 타 분야와 융합하여 고부가가치 창출을 위한 다양한 연구가 시도되고 있다.
특히, AR 기술은 현실과 가상의 이미지를 결합시킴으로써 현실감과 몰입감의 증가로 인하여 대중적 접근성이 높다는 장점이 존재한다. 이러한 장점은 의료 분야에까지 확산되어 수술 계획 수립, 가상 내시경, 수술 훈련용 시뮬레이터, AR을 이용한 네비게이션 수술 등의 다양한 관련 연구가 진행되고 있다. 특히, 뇌 수술은 부위에 따른 미세한 오차도 환자에게 뇌 손상에 따른 장애를 가져올 수 있어 정밀성을 요하는 수술 중 하나로, AR 기술 적용을 통해 정확한 병변 위치 확인을 위한 연구가 활발히 진행되고 있다.
Carbrilo et al.는 AVM(arteriovenous malformation) 수술에 AR을 활용했다. 3D DSA(3D Digital Subtraction angiography)를 이용하여 분할한 혈관 정보를 현미경 렌즈에 증강하여 외과의사가 별도의 화면을 보지 않고 수술을 진행할 수 있도록 했다. Tabrizi et al.은 종양 절제술을 수행 시, 분할된 병변 정보를 환자에게 비디오 프로젝터(video projector)를 이용하여 투영하여 개두술 전에 MRI(magnetic resonance imaging) 영상, 종양 경계 등을 확인할 수 있도록 했다. 앞선 연구들은 AR을 이용하여 뇌의 해부학적 구조물의 위치를 파악하였지만, 수술 과정 중 발생하는 뇌의 변형이 고려되지 않아 정확성을 담보하기 어렵다는 문제점이 있다.
또한, 일부 기술들은 연체 변형을 고려하였지만 병변, 혈관 등과 같이 서로 다른 물성치를 갖는 이종 형질을 고려하지 않아 변형 시 오차가 발생하는 문제점이 있다.
본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제10-2108938호(2020. 05. 12. 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 PBD 물리 변형 모델을 이용하여 수술 전 촬영된 뇌의 영상을 통해 생성한 3차원 뇌 모델에 수술기구의 움직임으로 인한 뇌의 변형을 반영하여 보다 정확한 정보를 제공하는 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치를 제공하기 위한 것이다.
또한, 수술 기구로 인한 변형 정도를 토대로 생성한 변형 예측 공간을 활용하여 계산 효율성을 증대시킬 수 있는 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치를 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따른 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법은, 수술 전 촬영된 환자의 뇌 영상을 이용하여 3D 뇌 모델을 생성하는 단계; 상기 수술에 필요한 물체를 등록하고 현실세계와 가상공간을 일치시켜 증강현실 수술 환경을 형성하는 단계; 상기 등록된 물체를 추적하여 상기 환자의 뇌와 수술 기구 간 충돌을 감지하는 단계; 상기 충돌이 감지되면, PBD(Position Based Dynamics) 물리 변형 모델을 이용하여 상기 충돌에 의한 뇌의 변형 정보를 상기 3D 뇌 모델에 반영하는 단계; 및 상기 변형 정보가 반영된 3D 뇌 모델을 제공하는 단계를 포함한다.
이때, 상기 3D 뇌 모델을 생성하는 단계는 상기 뇌 영상에서 피부, 뇌 및 뇌실 영역을 각각 분할하여 분할된 영역을 각각의 고해상도 3D 메쉬(mesh) 모델로 생성하고, 상기 생성된 3D 메쉬 모델을 단순화하고 각각의 요소를 사면체 단위로 구성한 사면체(tetrahedron) 모델을 생성하며, 상기 3D 뇌 모델은 상기 3D 메쉬 모델과 상기 사면체 모델이 함께 사용되는 하이브리드 모델일 수 있다.
또한, 상기 생성된 3D 뇌 모델에 반영하는 단계는 상기 PBD 물리 변형 모델을 이용하여 상기 뇌의 변형 정보를 상기 사면체 모델에 반영하고, 상기 고해상도 3D 메쉬 모델의 각 정점은 연결된 사면체의 정점 위치로 보간되어 상기 3D 뇌 모델에 반영할 수 있다.
또한, 상기 증강현실 수술 환경을 형성하는 단계는 수술 공간을 샘플링하여 가상 공간을 구축하는 단계, 적외선 카메라를 이용하여 스마트글래스, 복수의 수술 기구들을 포함하는 추적해야 할 물체를 등록하는 단계, 가상공간 속 3D 모델을 렌더링하기 위한 스마트글래스 캘리브레이션을 수행하는 단계, 및 환자와 상기 3D 뇌 모델간 정합을 수행하여 현실세계와 가상공간을 일치시키는 단계를 포함할 수 있다.
또한, 상기 현실세계와 가상공간을 일치시키는 단계는 환부 영역에서 눈으로 식별 가능한 동시에 상기 3D 뇌 모델에서 특징할 수 있는 부분을 정합 특징점으로 설정하고, 상기 등록된 수술 기구를 이용하여 대응되는 특징점들의 3차원 좌표를 산출하되, 상기 특징점들은 ICP(Iterative Closet Point)로 정합하여 상기 현실 세계와 가상 공간을 일치시킬 수 있다.
또한, 상기 충돌을 감지하는 단계는 감지 영역을 구 형태로 설정하고 Sphere-Tree 모델을 이용하여 계층적으로 범위를 감소시켜 충돌 여부를 감지하되, 수술 기구로 인한 변형이 발생한 영역을 표시한 변형 예측 공간을 이용하여 상기 영역에 속하는 사면체들의 평균 변화량과 뇌 전체 영역의 평균 변화량을 교차 비교하여 영역을 세분화할 수 있다.
또한, 상기 생성된 3D 뇌 모델에 반영하는 단계는 상기 충돌이 감지되면, 상기 PBD 물리 변형 모델을 이용하여 충돌 및 중력을 포함하는 외력(External Forces)과 연체 내부의 탄성력을 포함하는 내력(Internal forces)을 기반으로 추정되는 위치 정보에 뇌의 변형 특성을 나타내는 제약조건(Constraint)을 적용하여 정점의 위치를 수정하는 충돌 처리를 수행하되, 단위시간 간격으로 상기 제약조건을 반복하여 수정되는 정점의 위치를 수렴시켜 뇌의 변형에 따른 연속체(Continuum)에 기반한 연속적 모델을 구성하여 상기 생성된 3D 뇌 모델에 반영할 수 있다.
또한, 상기 단위시간과 상기 제약조건의 수행 횟수는 수술 기구의 삽입 방향과 깊이, 삽입 지점 및 삽입 경로 중 적어도 어느 하나를 이용하여 판단되는 수술 난이도, 등록된 수술 기구의 개수 및 크기에 대응하여 설정되되, 상기 수술 난이도가 높고, 수술 기구의 개수가 많고, 크기가 클수록 상기 단위시간이 작게 설정되고, 상기 제약조건의 수행 횟수가 증가되도록 설정될 수 있다.
또한, 본 발명의 다른 실시 예에 따른 컴퓨터로 판독 가능한 기록 매체에는 상기 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법을 수행하기 위한 컴퓨터 프로그램이 기록될 수 있다.
또한, 본 발명의 다른 실시 예에 따른 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 장치는, 수술 전 촬영된 환자의 뇌 영상을 이용하여 3D 뇌 모델을 생성하는 모델 생성부; 상기 수술에 필요한 물체를 등록하고 현실세계와 가상공간을 일치시켜 증강현실 수술 환경을 형성하는 환경 설정부; 상기 등록된 물체를 추적하여 상기 환자의 뇌와 수술 기구 간 충돌을 감지하는 충돌 감지부; 상기 충돌이 감지되면, PBD(Position Based Dynamics) 물리 변형 모델을 이용하여 상기 충돌에 의한 뇌의 변형 정보를 상기 3D 뇌 모델에 반영하는 변형 정보 반영부; 및 상기 변형 정보가 반영된 3D 뇌 모델을 제공하는 제공부를 포함한다.
이때, 상기 모델 생성부는 상기 뇌 영상에서 피부, 뇌 및 뇌실 영역을 각각 분할하여 분할된 영역을 각각의 고해상도 3D 메쉬(mesh) 모델로 생성하고, 상기 생성된 3D 메쉬 모델을 단순화하고 각각의 요소를 사면체 단위로 구성한 사면체(tetrahedron) 모델을 생성하며, 상기 3D 뇌 모델은 상기 3D 메쉬 모델과 상기 사면체 모델이 함께 사용되는 하이브리드 모델일 수 있다.
또한, 상기 충돌 감지부는 감지 영역을 구 형태로 설정하고 Sphere-Tree 모델을 이용하여 계층적으로 범위를 감소시켜 충돌 여부를 감지하되, 수술 기구로 인한 변형이 발생한 영역을 표시한 변형 예측 공간을 이용하여 상기 영역에 속하는 사면체들의 평균 변화량과 뇌 전체 영역의 평균 변화량을 교차 비교하여 영역을 세분화할 수 있다.
또한, 상기 변형 정보 반영부는 상기 충돌이 감지되면, 상기 PBD 물리 변형 모델을 이용하여 충돌 및 중력을 포함하는 외력(External Forces)과 연체 내부의 탄성력을 포함하는 내력(Internal forces)을 기반으로 추정되는 위치 정보에 뇌의 변형 특성을 나타내는 제약조건(Constraint)을 적용하여 정점의 위치를 수정하는 충돌 처리를 수행하되, 단위시간 간격으로 상기 제약조건을 반복하여 수정되는 정점의 위치를 수렴시켜 뇌의 변형에 따른 연속체(Continuum)에 기반한 연속적 모델을 구성하여 상기 생성된 3D 뇌 모델에 반영할 수 있다.
또한, 상기 단위시간과 상기 제약조건의 수행 횟수는 수술 기구의 삽입 방향과 깊이, 삽입 지점 및 삽입 경로 중 적어도 어느 하나를 이용하여 판단되는 수술 난이도, 등록된 수술 기구의 개수 및 크기에 대응하여 설정되되, 상기 수술 난이도가 높고, 수술 기구의 개수가 많고, 크기가 클수록 상기 단위시간이 작게 설정되고, 상기 제약조건의 수행 횟수가 증가되도록 설정될 수 있다.
이와 같이 본 발명에 따르면, PBD 물리 변형 모델을 이용하여 수술 전 촬영된 뇌의 영상을 통해 생성한 3차원 뇌 모델에 수술기구의 움직임으로 인한 뇌의 변형을 반영하여 보다 정확한 정보를 제공할 수 있는 효과가 있다.
또한 본 발명에 따르면, 수술 기구로 인한 변형 정도를 토대로 생성한 변형 예측 공간을 활용하여 계산 효율성을 증대시킬 수 있다.
또한 본 발명에 따르면, 뇌와 뇌실과 같은 서로 다른 물성치를 갖는 이종 형질이 고려된 연체 모델을 반영함으로써 뇌의 변형 시 오차 발생률을 절감시킬 수 있어 보다 정확한 시뮬레이션 결과를 제공할 수 있는 효과가 있다.
또한 본 발명에 따르면, 뇌, 혈관, 병변 등 환자의 정보를 가시화하여 임상의에게 네비게이션 역할로써 활용되도록 하여 수술 성공률을 향상시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 장치를 나타낸 블록구성도이다.
도 2는 본 발명의 실시 예에 따른 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법의 동작 흐름을 도시한 순서도이다.
도 3 및 도 4는 본 발명의 실시 예에 따른 3D 뇌 모델의 생성 과정을 설명하기 위해 도시한 도면이다.
도 5는 도 2의 순서도에서 S20 단계의 세부 동작 흐름을 도시한 순서도이다.
도 6 및 도 7은 본 발명의 실시 예에 따른 증강현실 수술 환경을 예시적으로 도시한 도면이다.
도 8은 본 발명의 실시 예에 따른 구부러짐 제약조건을 설명하기 위해 도시한 도면이다.
도 9는 본 발명의 실시 예에 따른 부피 제약조건을 설명하기 위해 도시한 도면이다.
도 10은 본 발명의 실시 예에 따른 Sphere-Tree 모델 생성 과정을 설명하기 위해 도시한 도면이다.
도 11은 본 발명의 실시 예에 따른 변형 예측 공간을 설명하기 위해 도시한 도면이다.
도 12는 본 발명의 실시 예에 따라 스마트글래스에 증강되는 네비게이션 정보를 예시적으로 도시한 도면이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
먼저, 도 1을 통해 본 발명의 실시 예에 따른 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 장치에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 장치를 나타낸 블록구성도이다.
도 1에서와 같이 본 발명의 실시 예에 따른 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 장치(100)는, 모델 생성부(110), 환경 설정부(120), 충돌 감지부(130), 변형 정보 반영부(140) 및 제공부(150)를 포함한다.
본 발명의 뇌 변형 예측 장치(100)는 증강현실 기반 뇌실천자술을 위한 뇌의 변형 예측을 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 모델 생성부(110), 환경 설정부(120), 충돌 감지부(130), 변형 정보 반영부(140) 및 제공부(150)의 구성은 뇌 변형 예측 장치(100)에서 실행되는 증강현실 기반 뇌실천자술을 위한 뇌의 변형 예측을 수행하기 위한 소프트웨어에 의해 제어될 수 있다.
뇌 변형 예측 장치(100)는 증강현실 네비게이션 수술 시스템의 일부 모듈이거나 별도의 단말일 수 있다. 또한, 모델 생성부(110), 환경 설정부(120), 충돌 감지부(130), 변형 정보 반영부(140) 및 제공부(150)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.
또한, 뇌 변형 예측 장치(100)는 이동성을 갖거나 고정될 수 있다. 예를 들어 뇌 변형 예측 장치(100)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
또한, 뇌 변형 예측 장치(100)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 여기서 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
모델 생성부(110)는 수술 전 촬영된 환자의 뇌 영상을 이용하여 3D 뇌 모델을 생성한다.
이때, 모델 생성부(110)는, 환자의 뇌 영상에서 피부, 뇌 및 뇌실 영역을 각각 분할하여 분할된 영역을 각각의 고해상도 3D 메쉬(mesh) 모델로 생성하고, 생성된 3D 메쉬 모델을 단순화하고 각각의 요소를 사면체 단위로 구성한 사면체(tetrahedron) 모델을 생성한다.
따라서, 3D 뇌 모델은 3D 메쉬 모델과 사면체 모델이 함께 사용되는 하이브리드 모델이다.
이를 자세히 설명하자면, 모델 생성부(110)는 수술 전 촬영된 뇌 영상을 이용하여 3D 뇌 모델을 생성하는데, 본 발명의 실시예에 따른 증강현실 뇌실천자술은 피부(Skin), 뇌(Brain), 뇌실(Ventricle) 모델이 각각 사용된다. 먼저 피부 영역은 환자의 신체 표면을 나타내며, 현실 세계와 가상 공간을 일치시키기 위한 기준으로 활용된다. 그리고 뇌 영역은 뇌 조직(Brain Tissue) 영역으로, 수술 기구의 움직임으로 인한 변형 시뮬레이션(Simulation)이 이루어지는 영역이며, 수술 기구 삽입 목표 지점인 뇌실 영역을 포함한다.
이때 각각의 영역은 반자동으로 분할하며, 분할된 영역은 마칭 큐브(Marching Cube)를 이용하여 고해상도의 3D 메쉬 모델로 각각 생성한다. 여기서 마칭 큐브 기법은 볼륨 데이터(volume dataset)로부터 등가면을 추출하는 가장 고전적이고 보편적인 기법이다.
3D 메쉬 모델은 표면 정보만 존재하여 연체 조직의 전체적 특성만이 고려되기 때문에 정교한 물리 모델 적용을 위하여 연속체 기반 모델이 필요하여 모델 생성부(110)는 생성된 각각의 3D 메쉬 모델을 단순화하고, 각각의 요소를 사면체 단위로 구성한 사면체 모델을 생성한다.
본 발명의 실시 예에서 뇌 영역은 수술 기구로 인한 변형이 지속적으로 발생하기 때문에, 고속의 연산이 가능하도록 고해상도 메쉬 모델과 단순화가 반영된 사면체 모델을 함께 사용하는 3D 뇌 모델을 생성함으로써 시뮬레이션 계산량을 감소시키고 시각적으로 정밀하며 사실적인 표현이 가능하다.
그리고 환경 설정부(120)는 수술에 필요한 물체를 등록하고 현실세계와 가상공간을 일치시켜 증강현실 수술 환경을 형성한다.
즉, 증강현실 수술 환경을 형성하기 위해서는 가상공간을 구축하고, 현실 세계와 가상공간을 일치시키는 증강현실 수술 환경 구축 과정이 필요하다. 본 발명의 실시 예에서는 적외선 카메라를 이용하여 환자, 스마트글래스, 수술 기구의 위치를 추적하고, 스마트글래스에 3D 뇌 모델을 증강하여 임상의에게 네비게이션 정보를 제공한다.
따라서 환경 설정부(120)는 적외선 마커가 부착된 캘리브레이션 도구와 모티브(Motive) 소프트웨어를 이용하여 가상공간을 구축하고, 가상공간 속 3D 뇌 모델을 렌더링하기 위하여 스마트글래스 캘리브레이션을 수행한다.
또한, 증강현실 수술 환경을 형성하기 위해서는 수술을 받기 위해 누워있는 환자와 3D 뇌 모델과의 정합 과정이 필요하다. 따라서 환경 설정부(120)는 환부 영역에서 눈으로 식별 가능한 동시에 3D 뇌 모델에서 특징할 수 있는 부분을 정합 특징점으로 설정하고, 적외선 마커가 부착된 수술도구를 이용하여 대응되는 특징점들의 3차원 좌표를 구한다. 이때, 특징점들은 ICP(Iterative Closet Point)으로 정합하여 현실세계와 가상공간을 일치시켜 증강현실 수술 환경을 형성한다.
그리고 충돌 감지부(130)는 환경 설정부(120)에서 등록된 물체를 추적하여 환자의 뇌와 수술 기구 간 충돌을 감지한다.
이때, 충돌 감지부(130)는 감지 영역을 구 형태로 설정하고 Sphere-Tree 모델을 이용하여 계층적으로 범위를 감소시켜 충돌 여부를 감지하되, 수술 기구로 인한 변형이 발생한 영역을 표시한 변형 예측 공간을 이용하여 해당 영역에 속하는 사면체들의 평균 변화량과 뇌 전체 영역의 평균 변화량을 교차 비교하여 영역을 세분화한다.
즉, 뇌실을 목표로 수술 기구를 삽입하는 과정에서 발생 가능한 뇌의 변형은 정밀한 충돌감지 및 변형이 필요하다. 하지만 뇌 전체 영역에 대하여 세분화된 충돌감지 및 변형을 수행할 경우, 계산량이 증가되어 시뮬레이션 속도가 저하되는 문제점이 발생하므로, 본 발명의 실시 예에서는 Sphere-tree 모델을 이용하여 변형 공간을 정의하고, 수술 기구로 인한 변형 정도를 토대로 생성한 변형 예측 공간을 이용하여 계산 효율성을 증대시킬 수 있다.
자세히는, 충돌 감지부(130)는 둥그런 뇌 형태에 최적화된 충돌 처리를 위하여 충돌 감지 영역을 구 형태로 구성하고, 계층적으로 범위를 줄여 수술 기구와의 충돌 여부를 빠르게 감지한다.
그리고 변형 정보 반영부(140)는 충돌 감지부(130)에서 충돌이 감지되면, PBD(Position Based Dynamics) 물리 변형 모델을 이용하여 충돌에 의한 뇌의 변형 정보를 3D 뇌 모델에 반영한다.
변형 정보 반영부(140)는 충돌 감지부(130)에서 충돌이 감지되면, PBD 물리 변형 모델을 이용하여 충돌 및 중력을 포함하는 외력(External Forces)과 연체 내부의 탄성력을 포함하는 내력(Internal forces)을 기반으로 추정되는 위치 정보에 뇌의 변형 특성을 나타내는 제약조건(Constraint)을 적용하여 정점의 위치를 수정하는 충돌 처리를 수행한다.
이때, 변형 정보 반영부(140)는 단위시간 간격으로 제약조건을 반복하여 수정되는 정점의 위치를 수렴시켜 뇌의 변형에 따른 연속체(Continuum)에 기반한 연속적 모델을 구성하여 모델 생성부(110)에서 생성된 3D 뇌 모델에 반영한다.
본 발명의 실시 예에서는 수술 기구로 인한 관통 현상을 줄이기 위하여 단위 시간을 작게 하고 다른 공간 보다 잦은 간격으로 충돌 처리를 수행하되, 제약조건 반복 횟수를 조절하여 변형 정확도를 향상시킬 수 있다.
따라서 단위시간과 제약조건의 수행 횟수는 수술 기구의 삽입 방향과 깊이, 삽입 지점 및 삽입 경로 중 적어도 어느 하나를 이용하여 판단되는 수술 난이도, 등록된 수술 기구의 개수 및 크기에 대응하여 설정되되, 수술 난이도가 높고, 수술 기구의 개수가 많고, 크기가 클수록 단위시간이 작게 설정되고, 제약조건의 수행 횟수가 증가되도록 설정되는 것이 바람직하다.
즉, 수술 기구의 삽입 방향과 삽입 경로가 충돌이 일어나기 쉬운 위치이고, 삽입 깊이가 깊고, 삽입 지점이 접근하기 어려운 위치인 경우와, 환경 설정부(120)를 통해 등록된 수술 기구의 개수가 많고 크기가 큰 경우는 수술 난이도가 높은 것으로 판단하여 뇌와 수술 기구간 충돌이 잦을 것으로 예상하고, 잦은 충돌 처리를 수행하기 위해 단위시간을 작게 설정하고, 제약조건의 수행 횟수를 증가시켜 설정한다.
마지막으로 제공부(150)는 변형 정보가 반영된 3D 뇌 모델을 제공한다.
따라서, 뇌의 변형 정보가 변영된 3D 뇌 모델을 임상의의 스마트글래스를 통해 제공함으로써 네비게이션 역할로써 활용되도록 할 수 있어 수술 성공률을 향상시킬 수 있다.
이하에서는 도 2 내지 도 12를 통해 본 발명의 실시 예에 따른 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법에 대하여 설명한다.
도 2는 본 발명의 실시 예에 따른 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법의 동작 흐름을 도시한 순서도로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.
본 발명의 실시 예에 따르면, 먼저 모델 생성부(110)가 수술 전 촬영된 환자의 뇌 영상을 이용하여 3D 뇌 모델을 생성한다(S10).
이때, S10 단계는 수술 전 촬영된 환자의 뇌 영상에서 피부, 뇌 및 뇌실 영역을 각각 분할하여 분할된 영역을 각각의 고해상도 3D 메쉬(mesh) 모델로 생성하고, 생성된 3D 메쉬 모델을 단순화하여 각각의 요소를 사면체 단위로 구성한 사면체(tetrahedron) 모델을 생성한다. 즉, 3D 뇌 모델은 3D 메쉬 모델과 사면체 모델이 함께 사용되는 하이브리드 모델이다.
도 3 및 도 4는 본 발명의 실시 예에 따른 3D 뇌 모델의 생성 과정을 설명하기 위해 도시한 도면이다.
먼저, 도 3은 3D 메쉬(mesh) 모델과 사면체(tetrahedron) 모델이 생성되는 과정을 각각 나타낸 것이다.
도 3에 나타낸 바와 같이 뇌실천자술은 피부, 뇌, 뇌실 모델이 사용되며, 각 모델의 생성은 수술 전 촬영한 영상에서 해당 영역을 분할하는 것으로 시작한다.
먼저 피부 영역은 수술 전 촬영한 영상에서 배경을 제거한 영역으로 환자의 신체 표면을 나타내며, 현실 세계와 가상 공간을 일치시키기 위한 기준으로 활용된다. 그리고 뇌 영역은 뇌 조직 영역으로, 수술 기구의 움직임으로 인한 변형 시뮬레이션이 이루어지는 영역이며, 수술 기구 삽입 목표 지점인 뇌실 영역을 포함한다. 각 영역은 라이브 와이어(Livewire) 방법으로 반자동 분할하며, 분할된 영역은 마칭 큐브(Marching Cube)를 활용하여 고해상도의 3D 메쉬 모델로 각각 생성한다.
이때, 3D 메쉬 모델은 표면 정보만 존재하여 연체 조직의 전체적 특성만이 고려되기 때문에 정교한 물리 모델 적용을 위하여 연속체 기반 모델이 필요하다. 이를 위해 소파(SOFA)를 이용하여 3D 메쉬 모델을 단순화하고, 각각의 요소를 사면체 단위로 구성한 사면체 모델을 생성한다.
그리고 도 4는 3D 메쉬 모델과 사면체 모델이 결합된 3D 뇌 모델을 나타낸 도면이다. 도 4에 나타낸 바와 같이 모델 생성부(110)에서 생성된 3D 메쉬 모델(Mesh Model)과 사면체 모델(Tetrahedron Model)이 결합되어 하이브리드 모델인 3D 뇌 모델이 생성된다.
즉, 뇌 영역은 수술 기구로 인한 변형이 지속적으로 발생하기 때문에 고속의 연산이 가능해야 한다. 따라서 고해상도 3D 메쉬 모델과 단순화가 반영된 사면체 모델을 함께 사용함으로써 시뮬레이션 계산량을 감소시키고, 시각적으로 정밀하며 사실적인 표현이 가능한 하이브리드 3D 뇌 모델을 사용한다.
사면체 모델의 변형 정보를 고해상도 3D 메쉬 모델에 반영하기 위하여 무게중심좌표계(Barycentric Coordinate)를 활용하여 두 모델의 인접한 정점 간 좌표 맵핑(Coordinate Mapping)을 수행하는 방법을 이용한다.
따라서, 수술 기구로 인한 충돌로 인해 뇌의 변형이 발생하면 PBD 물리 변형 모델링을 이용하여 사면체 모델에 변형 정보를 반영하고, 고해상도 3D 메쉬 모델의 각 정점은 연결된 사면체의 정점 위치로 보간 된다.
그 다음 환경 설정부(120)가 수술에 필요한 물체를 등록하고 현실세계와 가상공간을 일치시켜 증강현실 수술 환경을 형성한다(S20).
도 5는 도 2의 순서도에서 S20 단계의 세부 동작 흐름을 도시한 순서도이다.
도 5에서와 같이 환경 설정부(120)가 증강현실 수술 환경을 형성하기 위해 먼저, 수술 공간을 샘플링하여 가상 공간을 구축한다(S21).
이때, 모티브(Motive) 소프트웨어를 이용하여 가상공간을 구축할 수 있다.
그 다음 적외선 카메라를 이용하여 스마트글래스, 복수의 수술 기구들을 포함하는 추적해야 할 물체를 등록한다(S22).
그 다음 가상공간 속 3D 모델을 렌더링하기 위한 스마트글래스 캘리브레이션을 수행한다(S23).
마지막으로 환자와 3D 뇌 모델간 정합을 수행하여 현실세계와 가상공간을 일치시킨다(S24).
이때, S24 단계에서 환경 설정부(120)는 환부 영역에서 눈으로 식별 가능한 동시에 모델 생성부(110)에서 생성된 3D 뇌 모델에서 특징할 수 있는 부분을 정합 특징점으로 설정하고, 등록된 수술 기구를 이용하여 대응되는 특징점들의 3차원 좌표를 산출하되, 특징점들은 ICP(Iterative Closet Point)로 정합하여 현실세계와 가상공간을 일치시킨다.
도 6 및 도 7은 본 발명의 실시 예에 따른 증강현실 수술 환경을 예시적으로 도시한 도면이다.
먼저 도 6은 증강현실 수술 환경 구축을 위해 물체를 등록하는 과정을 설명하기 위한 예시 도면이다.
도 6에 도시한 바와 같이, S22 단계에서 환경 설정부(120)는 적외선 마커가 부착된 캘리브레이션 도구를 이용하여 수술 공간을 샘플링하고, 축 도구를 이용하여 원점과 축을 결정하여 가상공간을 구축한다. 스마트글래스와 수술 기구에 부착된 적외선 마커들은 가상공간 속 강체 모델로 재구성되고, 이를 통하여 물체를 구분하고 추적할 수 있게 된다.
또한, S23 단계에서 환경 설정부(120)는 가상공간 속 3차원 모델을 렌더링하기 위하여 스마트글래스 캘리브레이션 과정을 수행한다. 자세히는 적외선 마커를 이용하여 체커보드와 2차원 카메라 이미지에 표시된 체커보드 교차점의 3차원 좌표를 구한다. 3차원 좌표와 이미지 스크린의 2차원 좌표 선형 관계를 DLT(Direct Linear Transform) 알고리즘을 통해서 카메라 파라미터를 구하고, 가상공간에 있는 물체를 스마트글래스 좌표계로 변환하여 렌더링한다.
그리고 도 7은 환자와 3D 모델간 정합을 나타낸 도면이다.
S24 단계에서 환경 설정부(120)는 수술을 받기 위해 누워있는 환자와 3D 모델과의 정합을 위해 환부 영역에서 눈으로 식별 가능한 동시에 3D 모델에서 특징할 수 있는 부분을 정합 특징점으로 설정한다. 그리고 적외선 마커가 부착된 수술 기구를 이용하여 대응되는 특징점들의 3차원 좌표를 구한다. 이때 특징점들은 ICP(Iterative Closet Point) 알고리즘을 통해 정합하여 현실세계와 가상공간을 일치시킨다.
그 다음 충돌 감지부(130)가 환경 설정부(120)에서 등록된 물체를 추적하여 환자의 뇌와 수술 기구 간 충돌을 감지한다(S30).
자세히는, 충돌 감지부(130)는 감지 영역을 구 형태로 설정하고 Sphere-Tree 모델을 이용하여 계층적으로 범위를 감소시켜 충돌 여부를 감지하되, 수술 기구로 인한 변형이 발생한 영역을 표시한 변형 예측 공간을 이용하여 해당 영역에 속하는 사면체들의 평균 변화량과 뇌 전체 영역의 평균 변화량을 교차 비교하여 영역을 세분화한다.
S30 단계에서 충돌이 감지되면, 변형 정보 반영부(140)가 PBD(Position Based Dynamics) 물리 변형 모델을 이용하여 충돌에 의한 뇌의 변형 정보를 S10 단계에서 생성된 3D 뇌 모델에 반영한다(S40).
S40 단계에서 변형 정보 반영부(140)는 PBD 물리 변형 모델을 이용하여 뇌의 변형 정보를 사면체 모델에 반영하고, 고해상도 3D 메쉬 모델의 각 정점은 연결된 사면체의 정점 위치로 보간되어 3D 뇌 모델에 반영한다.
또한, 변형 정보 반영부(140)는 충돌 감지부(130)를 통해 뇌와 수술 기구 간 충돌이 감지되면, PBD 물리 변형 모델을 이용하여 충돌 및 중력을 포함하는 외력(External Forces)과 연체 내부의 탄성력을 포함하는 내력(Internal forces)을 기반으로 추정되는 위치 정보에 뇌의 변형 특성을 나타내는 제약조건(Constraint)을 적용하여 정점의 위치를 수정하는 충돌 처리를 수행하되, 단위시간 간격으로 제약조건을 반복하여 수정되는 정점의 위치를 수렴시켜 뇌의 변형에 따른 연속체(Continuum)에 기반한 연속적 모델을 구성하여 모델 생성부(110)에서 생성된 3D 뇌 모델에 반영한다.
이때, 단위시간과 제약조건의 수행 횟수는 수술 기구의 삽입 방향과 깊이, 삽입 지점 및 삽입 경로 중 적어도 어느 하나를 이용하여 판단되는 수술 난이도, 등록된 수술 기구의 개수 및 크기에 대응하여 설정되되, 수술 난이도가 높고, 수술 기구의 개수가 많고, 크기가 클수록 단위시간이 작게 설정되고, 제약조건의 수행 횟수가 증가되도록 설정되는 것이 바람직하다.
즉, 수술 기구의 삽입 방향과 삽입 경로가 충돌이 일어나기 쉬운 위치이고, 삽입 깊이가 깊고, 삽입 지점이 접근하기 어려운 위치인 경우와, 환경 설정부(120)를 통해 등록된 수술 기구의 개수가 많고 크기가 큰 경우는 수술 난이도가 높은 것으로 판단하여 뇌와 수술 기구간 충돌이 잦을 것으로 예상하고, 잦은 충돌 처리를 수행하기 위해 단위시간을 작게 설정하고, 제약조건의 수행 횟수를 증가시켜 설정한다.
자세히는, 본 발명의 실시 예에서는 연체 변형을 수행하기 위하여 기본 물리 모델로 PBD 물리 변형 모델을 이용하는데, S40 단계에서는 연체의 특성을 반영하기 위하여 다음과 같은 제약조건을 적용할 수 있다.
먼저, 물리 모델의 기본요소 중 하나인 스프링 형태를 표현하기 위해 두 정점(p1,p2)간의 초기 거리(linit)와 현재 거리(|p1-p2|)의 차이를 이용하여 다음의 수학식 1과 같은 Stretch Constraint를 적용한다.
여기서, Cstretch는 신축성 제약조건, p1,p2는 각각의 정점, linit은 초기 거리, |p1-p2|는 현재 거리를 의미한다.
도 8은 본 발명의 실시 예에 따른 구부러짐 제약조건을 설명하기 위해 도시한 도면이다.
도 8에 나타낸 바와 같이, 사면체로 구성된 모델의 안정적인 구부러짐 표현을 위해 각 사면체 내부 각을 보존하는 수학식 2와 인접한 사면체 간의 각을 보존하는 수학식 3을 적용한다.
여기서, Cdihedral은 각 사면체 내부 각 보존 제약조건, 는 인접한 면간의 초기 각도이다.
또한, p1, p2, p3, p4는 각각의 정점으로 도 8을 참고하면 해당 정점의 위치를 명확하게 알 수 있다.
여기서, CTriangle은 인접한 사면체 간 각 보존 제약조건, 는 초기 임계값 이다.
또한, bo, b1, v, c는 도 8을 참고하면 해당 위치를 명확하게 알 수 있다.
도 9는 본 발명의 실시 예에 따른 부피 제약조건을 설명하기 위해 도시한 도면이다.
본 발명의 실시 예에서는 연체 조직의 변형에 따른 3D 변형 객체의 초기 부피가 보존된다는 사실을 기반으로 초기 부피(V0)와 현재 부피를 계산하여 부피 변화가 발생할 경우, 도 9에 나타낸 바와 같이 사면체 각각의 부피 보존을 수행하는 수학식 4와 전체 부피를 보존하는 수학식 5를 이용하여 손실된 부피에 대한 복원을 수행한다.
여기서, CGlobalVol은 사면체 각각의 부피 보존을 수행하는 제약조건, V0는 초기 부피이다.
또한, p1 내지 pn은 각각의 정점으로 도 9를 참고하면 해당 위치를 명확하게 알 수 있다.
여기서, CLocalVol은 전체 부피를 보존하는 제약조건, V0는 초기 부피이다.
또한, x1, x2, x3, x4는 각각의 정점으로 도 9를 참고하면 해당 위치를 명확하게 알 수 있다.
또한, 뇌와 뇌실과 같이 서로 다른 물리적 특성을 갖는 이종 형질을 표현하기 위하여 사면체 내부에 탄성 계수를 적용할 수 있는 가상의 스프링을 생성한다. 가상의 스프링은 사면체의 무게 중심인 p0와 각각의 정점 pn간 생성한다. 정규화된 계수 k'c를 이용하여 서로 다른 물성치를 반영할 수 있으며, 전체 변형량이 유지된다.
여기서, Chetero는 이종 형질간 제약조건, p0는 사면체의 무게 중심, Cstretch는 신축성 제약조건, Khetero는 이종 형질 계수이다.
도 10은 본 발명의 실시 예에 따른 Sphere-Tree 모델 생성 과정을 설명하기 위해 도시한 도면이다.
도 10에 나타낸 바와 같이 본 발명의 실시 예에서는 계산량을 감소시켜 시뮬레이션 속도를 향상시키기 위하여 Sphere tree를 이용하여 변형 공간을 정의하고, 수술 기구로 인한 변형 정도를 토대로 생성한 변형 예측 공간을 활용하여 계산 효율성을 증대시킨다. 둥그런 뇌 형태에 최적화된 충돌 처리를 위하여 충돌 감지 영역을 구 형태로 구성하고, 계층적으로 범위를 줄여 수술 기구와의 충돌 여부를 빠르게 감지할 수 있다.
도 11은 본 발명의 실시 예에 따른 변형 예측 공간을 설명하기 위해 도시한 도면이다.
도 11에 나타낸 바와 같이 변형 예측 공간은 수술 기구로 인한 변형이 발생한 영역을 나타낸다. 해당 영역에 속하는 사면체들의 평균 변화량과 뇌 전체 영역의 평균 변화량을 교차 비교하여 영역을 세분화한다. 이때, 수술 기구로 인한 관통 현상을 줄이기 위하여 다른 공간 보다 잦은 간격으로 충돌 처리를 수행한다. 또한, 단위 시간(△t)을 작게하고, 제약조건 반복 횟수를 조절하여 변형 정확도를 향상 시킬 수 있다.
마지막으로 제공부(150)가 변형 정보 반영부(140)를 통해 변형 정보가 반영된 3D 뇌 모델을 제공한다(S50).
도 12는 본 발명의 실시 예에 따라 스마트글래스에 증강되는 네비게이션 정보를 예시적으로 도시한 도면이다.
도 12에 나타낸 바와 같이, S50 단계에서는 변형 정보가 반영된 3D 뇌 모델을 스마트글래스를 통해 제공할 수 있다. 이때 수술 기구의 삽입 경로와 현재 수술 기구와의 진입각도 오차, 목표까지의 거리 등이 스마트글래스에 가시화 된다. 화면 좌측 하단에 줌 네비게이션(Zoom Navigation)을 통하여 수술 기구 인근의 구조물과 수술 기구로 인한 3D 뇌 모델의 변형을 실시간으로 확인할 수 있다.
이와 같은, 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상술한 바와 같이, 본 발명의 실시 예에 따른 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치는 PBD 물리 변형 모델을 이용하여 수술 전 촬영된 뇌의 영상을 통해 생성한 3차원 뇌 모델에 수술기구의 움직임으로 인한 뇌의 변형을 반영하여 보다 정확한 정보를 제공할 수 있다.
또한 본 발명의 실시 예에 따르면, 수술 기구로 인한 변형 정도를 토대로 생성한 변형 예측 공간을 활용하여 계산 효율성을 증대시킬 수 있다.
또한 본 발명의 실시 예에 따르면, 뇌와 뇌실과 같은 서로 다른 물성치를 갖는 이종 형질이 고려된 연체 모델을 반영함으로써 뇌의 변형 시 오차 발생률을 절감시킬 수 있어 보다 정확한 시뮬레이션 결과를 제공할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 뇌 변형 예측 장치 110 : 모델 생성부
120 : 환경 설정부 130 : 충돌 감지부
140 : 변형 정보 반영부 150 : 제공부

Claims (14)

  1. 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법에 있어서,
    모델 생성부에서 수술 전 촬영된 환자의 뇌 영상을 이용하여 3D 뇌 모델을 생성하는 단계;
    환경 설정부에서 상기 수술에 필요한 물체를 등록하고 현실세계와 가상공간을 일치시켜 증강현실 수술 환경을 형성하는 단계;
    충돌 감지부에서 상기 등록된 물체를 추적하여 상기 환자의 뇌와 수술 기구 간 충돌을 감지하는 단계;
    변형 정보 반영부에서 상기 충돌이 감지되면, PBD(Position Based Dynamics) 물리 변형 모델을 이용하여 상기 충돌에 의한 뇌의 변형 정보를 상기 3D 뇌 모델에 반영하는 단계; 및
    제공부에서 상기 변형 정보가 반영된 3D 뇌 모델을 제공하는 단계;
    를 포함하며,
    상기 충돌을 감지하는 단계는,
    감지 영역을 구 형태로 설정하고 Sphere-Tree 모델을 이용하여 계층적으로 범위를 감소시켜 충돌 여부를 감지하되,
    수술 기구로 인한 변형이 발생한 영역을 표시한 변형 예측 공간을 이용하여 상기 영역에 속하는 사면체들의 평균 변화량과 뇌 전체 영역의 평균 변화량을 교차 비교하여 영역을 세분화하는 뇌 변형 예측 방법.
  2. 제1항에 있어서,
    상기 3D 뇌 모델을 생성하는 단계는,
    상기 뇌 영상에서 피부, 뇌 및 뇌실 영역을 각각 분할하여 분할된 영역을 각각의 고해상도 3D 메쉬(mesh) 모델로 생성하고, 상기 생성된 3D 메쉬 모델을 단순화하고 각각의 요소를 사면체 단위로 구성한 사면체(tetrahedron) 모델을 생성하며,
    상기 3D 뇌 모델은 상기 3D 메쉬 모델과 상기 사면체 모델이 함께 사용되는 하이브리드 모델인 뇌 변형 예측 방법.
  3. 제2항에 있어서,
    상기 생성된 3D 뇌 모델에 반영하는 단계는,
    상기 PBD 물리 변형 모델을 이용하여 상기 뇌의 변형 정보를 상기 사면체 모델에 반영하고, 상기 고해상도 3D 메쉬 모델의 각 정점은 연결된 사면체의 정점 위치로 보간되어 상기 3D 뇌 모델에 반영하는 뇌 변형 예측 방법.
  4. 제1항에 있어서,
    상기 증강현실 수술 환경을 형성하는 단계는,
    수술 공간을 샘플링하여 가상 공간을 구축하는 단계,
    적외선 카메라를 이용하여 스마트글래스, 복수의 수술 기구들을 포함하는 추적해야 할 물체를 등록하는 단계,
    가상공간 속 3D 모델을 렌더링하기 위한 스마트글래스 캘리브레이션을 수행하는 단계, 및
    환자와 상기 3D 뇌 모델간 정합을 수행하여 현실세계와 가상공간을 일치시키는 단계를 포함하는 뇌 변형 예측 방법.
  5. 제4항에 있어서,
    상기 현실세계와 가상공간을 일치시키는 단계는,
    환부 영역에서 눈으로 식별 가능한 동시에 상기 3D 뇌 모델에서 특징할 수 있는 부분을 정합 특징점으로 설정하고, 상기 등록된 수술 기구를 이용하여 대응되는 특징점들의 3차원 좌표를 산출하되, 상기 특징점들은 ICP(Iterative Closet Point)로 정합하여 상기 현실 세계와 가상 공간을 일치시키는 뇌 변형 예측 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 생성된 3D 뇌 모델에 반영하는 단계는,
    상기 충돌이 감지되면, 상기 PBD 물리 변형 모델을 이용하여 충돌 및 중력을 포함하는 외력(External Forces)과 연체 내부의 탄성력을 포함하는 내력(Internal forces)을 기반으로 추정되는 위치 정보에 뇌의 변형 특성을 나타내는 제약조건(Constraint)을 적용하여 정점의 위치를 수정하는 충돌 처리를 수행하되,
    단위시간 간격으로 상기 제약조건을 반복하여 수정되는 정점의 위치를 수렴시켜 뇌의 변형에 따른 연속체(Continuum)에 기반한 연속적 모델을 구성하여 상기 생성된 3D 뇌 모델에 반영하는 뇌 변형 예측 방법.
  8. 제7항에 있어서,
    상기 단위시간과 상기 제약조건의 수행 횟수는,
    수술 기구의 삽입 방향과 깊이, 삽입 지점 및 삽입 경로 중 적어도 어느 하나를 이용하여 판단되는 수술 난이도, 등록된 수술 기구의 개수 및 크기에 대응하여 설정되되,
    상기 수술 난이도가 높고, 수술 기구의 개수가 많고, 크기가 클수록 상기 단위시간이 작게 설정되고, 상기 제약조건의 수행 횟수가 증가되도록 설정되는 뇌 변형 예측 방법.
  9. 제1항에 따른 상기 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  10. 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 장치에 있어서,
    수술 전 촬영된 환자의 뇌 영상을 이용하여 3D 뇌 모델을 생성하는 모델 생성부;
    상기 수술에 필요한 물체를 등록하고 현실세계와 가상공간을 일치시켜 증강현실 수술 환경을 형성하는 환경 설정부;
    상기 등록된 물체를 추적하여 상기 환자의 뇌와 수술 기구 간 충돌을 감지하는 충돌 감지부;
    상기 충돌이 감지되면, PBD(Position Based Dynamics) 물리 변형 모델을 이용하여 상기 충돌에 의한 뇌의 변형 정보를 상기 3D 뇌 모델에 반영하는 변형 정보 반영부; 및
    상기 변형 정보가 반영된 3D 뇌 모델을 제공하는 제공부;
    를 포함하며,
    상기 충돌 감지부는,
    감지 영역을 구 형태로 설정하고 Sphere-Tree 모델을 이용하여 계층적으로 범위를 감소시켜 충돌 여부를 감지하되,
    수술 기구로 인한 변형이 발생한 영역을 표시한 변형 예측 공간을 이용하여 상기 영역에 속하는 사면체들의 평균 변화량과 뇌 전체 영역의 평균 변화량을 교차 비교하여 영역을 세분화하는 뇌 변형 예측 장치.
  11. 제10항에 있어서,
    상기 모델 생성부는,
    상기 뇌 영상에서 피부, 뇌 및 뇌실 영역을 각각 분할하여 분할된 영역을 각각의 고해상도 3D 메쉬(mesh) 모델로 생성하고, 상기 생성된 3D 메쉬 모델을 단순화하고 각각의 요소를 사면체 단위로 구성한 사면체(tetrahedron) 모델을 생성하며,
    상기 3D 뇌 모델은 상기 3D 메쉬 모델과 상기 사면체 모델이 함께 사용되는 하이브리드 모델인 뇌 변형 예측 장치.
  12. 삭제
  13. 제10항에 있어서,
    상기 변형 정보 반영부는,
    상기 충돌이 감지되면, 상기 PBD 물리 변형 모델을 이용하여 충돌 및 중력을 포함하는 외력(External Forces)과 연체 내부의 탄성력을 포함하는 내력(Internal forces)을 기반으로 추정되는 위치 정보에 뇌의 변형 특성을 나타내는 제약조건(Constraint)을 적용하여 정점의 위치를 수정하는 충돌 처리를 수행하되,
    단위시간 간격으로 상기 제약조건을 반복하여 수정되는 정점의 위치를 수렴시켜 뇌의 변형에 따른 연속체(Continuum)에 기반한 연속적 모델을 구성하여 상기 생성된 3D 뇌 모델에 반영하는 뇌 변형 예측 장치.
  14. 제13항에 있어서,
    상기 단위시간과 상기 제약조건의 수행 횟수는,
    수술 기구의 삽입 방향과 깊이, 삽입 지점 및 삽입 경로 중 적어도 어느 하나를 이용하여 판단되는 수술 난이도, 등록된 수술 기구의 개수 및 크기에 대응하여 설정되되,
    상기 수술 난이도가 높고, 수술 기구의 개수가 많고, 크기가 클수록 상기 단위시간이 작게 설정되고, 상기 제약조건의 수행 횟수가 증가되도록 설정되는 뇌 변형 예측 장치.
KR1020210122979A 2021-08-05 2021-09-15 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치 KR102583320B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210103011 2021-08-05
KR20210103011 2021-08-05

Publications (2)

Publication Number Publication Date
KR20230021543A KR20230021543A (ko) 2023-02-14
KR102583320B1 true KR102583320B1 (ko) 2023-09-27

Family

ID=85220968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210122979A KR102583320B1 (ko) 2021-08-05 2021-09-15 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치

Country Status (1)

Country Link
KR (1) KR102583320B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116392247B (zh) * 2023-04-12 2023-12-19 深圳创宇科信数字技术有限公司 一种基于混合现实技术的手术定位导航方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160005169A1 (en) 2013-03-15 2016-01-07 Synaptive Medical (Barbados) Inc. System and method for detecting tissue and fiber tract deformation
US20170085855A1 (en) 2008-05-22 2017-03-23 The Trustees Of Dartmouth College Surgical navigation with stereovision and associated methods
KR101948482B1 (ko) 2018-08-31 2019-02-14 숭실대학교산학협력단 가변형 연체 조직의 물리 시뮬레이션 방법, 이를 수행하기 위한 기록매체 및 장치
US20200261164A1 (en) 2011-02-17 2020-08-20 The Trustees Of Dartmouth College Systems and methods for guiding tissue resection
JP6883222B2 (ja) 2016-07-12 2021-06-09 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015120008A1 (en) * 2014-02-05 2015-08-13 Intuitive Surgical Operations, Inc. System and method for dynamic virtual collision objects
KR102140383B1 (ko) * 2018-11-30 2020-07-31 숭실대학교산학협력단 현미경 기반 증강현실 네비게이션 방법, 이를 수행하기 위한 장치 및 기록매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170085855A1 (en) 2008-05-22 2017-03-23 The Trustees Of Dartmouth College Surgical navigation with stereovision and associated methods
US20200261164A1 (en) 2011-02-17 2020-08-20 The Trustees Of Dartmouth College Systems and methods for guiding tissue resection
US20160005169A1 (en) 2013-03-15 2016-01-07 Synaptive Medical (Barbados) Inc. System and method for detecting tissue and fiber tract deformation
JP6883222B2 (ja) 2016-07-12 2021-06-09 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム
KR101948482B1 (ko) 2018-08-31 2019-02-14 숭실대학교산학협력단 가변형 연체 조직의 물리 시뮬레이션 방법, 이를 수행하기 위한 기록매체 및 장치

Also Published As

Publication number Publication date
KR20230021543A (ko) 2023-02-14

Similar Documents

Publication Publication Date Title
US11605185B2 (en) System and method for generating partial surface from volumetric data for registration to surface topology image data
CN107067398B (zh) 用于三维医学模型中缺失血管的补全方法及装置
US11432875B2 (en) Left atrial appendage closure guidance in medical imaging
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
US20090324041A1 (en) Apparatus for real-time 3d biopsy
KR102450931B1 (ko) 이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치
CN111494009A (zh) 用于手术导航的图像配准方法、装置和手术导航系统
KR102398171B1 (ko) 증강현실 기반 유방 수술을 위한 유방 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치
Modrzejewski et al. An in vivo porcine dataset and evaluation methodology to measure soft-body laparoscopic liver registration accuracy with an extended algorithm that handles collisions
CA2980378A1 (en) Systems and methods of ultrasound simulation
Paulus et al. Handling topological changes during elastic registration: Application to augmented reality in laparoscopic surgery
KR102583320B1 (ko) 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치
JP6608165B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム
Trivisonne et al. Constrained stochastic state estimation of deformable 1D objects: Application to single-view 3D reconstruction of catheters with radio-opaque markers
KR20200096155A (ko) 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
KR102140383B1 (ko) 현미경 기반 증강현실 네비게이션 방법, 이를 수행하기 위한 장치 및 기록매체
CN114098742A (zh) 校正解剖标测图
Speidel et al. Intraoperative surface reconstruction and biomechanical modeling for soft tissue registration
Paulus et al. Surgical augmented reality with topological changes
Baumhauer et al. Soft tissue navigation for laparoscopic prostatectomy: Evaluation of camera pose estimation for enhanced visualization
KR20190112396A (ko) 복수의 후보 대응점을 이용하는 영상 정합 장치 및 방법
Dagon et al. Real-time update of 3D deformable models for computer aided liver surgery
Giannarou et al. Tissue deformation recovery with gaussian mixture model based structure from motion
KR102592314B1 (ko) 수술용 내비게이션 시스템에 이용가능한 타원체 피팅을 이용한 정합 방법
Guo Sensorless frame-to-volume multimodal image fusion via deep learning

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right