KR20190058190A - 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법 - Google Patents

증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법 Download PDF

Info

Publication number
KR20190058190A
KR20190058190A KR1020170155946A KR20170155946A KR20190058190A KR 20190058190 A KR20190058190 A KR 20190058190A KR 1020170155946 A KR1020170155946 A KR 1020170155946A KR 20170155946 A KR20170155946 A KR 20170155946A KR 20190058190 A KR20190058190 A KR 20190058190A
Authority
KR
South Korea
Prior art keywords
image
bone
medical image
operated
information
Prior art date
Application number
KR1020170155946A
Other languages
English (en)
Other versions
KR102056930B1 (ko
Inventor
정민형
김경숙
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020170155946A priority Critical patent/KR102056930B1/ko
Publication of KR20190058190A publication Critical patent/KR20190058190A/ko
Application granted granted Critical
Publication of KR102056930B1 publication Critical patent/KR102056930B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

수술 내비게이션 시스템에 있어서, 환자의 수술 대상 뼈의 2차원 의료 영상 정보로부터 3차원 의료 영상 정보를 생성하고, 생성한 상기 3차원 의료 영상 정보 및 상기 3차원 의료 영상 정보로부터 계산된 임계값을 토대로 AR 영상을 생성하는 영상 매칭부, 그리고 상기 영상 매칭부에서 생성한 AR 영상을, 환자의 수술 대상 뼈 상에 투영하여 디스플레이하는 디스플레이부를 포함하며, 상기 AR 영상은 상기 수술 대상 뼈에 대응하는 미리 저장된 관심 영역 및 상기 수술 대상 뼈에 스크류가 삽입될 위치 정보를 포함한다.

Description

증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법{Spine surgical navigation system and method using augmented reality technology}
본 발명은 증강현실 기술을 이용한 척추 수술 내비게이션 시스템 및 방법에 관한 것이다.
척추 수술 분야에는 척추를 교정하거나 안정화시키기 위해 환부에 삽입될 다양한 종류의 스크류(screw)가 사용되고 있으며, 스크류를 척추에서 적절한 위치에 고정시키기 위해 척추 수술 내비게이션 시스템이 개발되고 있다.
종래 내비게이션 시스템은 스크류가 고정될 위치를 수술자에게 가이드하기 위해, 신체의 내외부에 마커를 직접 부착하거나 방사선을 이용하였다. 다만, 마커를 직접 부착하는 기술의 경우 소독이 필수적인　수술실 환경으로 인해 제한을 가지며, 방사선을 이용한 내비게이션 시스템은 환부 및 시술자가 지속적으로 방사능에 노출되어야 하는 문제점을 갖고 있다.
따라서, 본 발명은 2차원 의료 영상으로부터 획득한 3차원 입체 영상에 스크류가 고정될 위치를 마킹하고, 마킹된 3차원 영상을 신체의 특징부를 이용하여 실제 환자의 척추에 매칭 결합하여 사전에 마킹한 위치에 스크류가 고정될 수 있도록 하는 수술 네비게이션 시스템 및 방법을 제공한다.
본 발명의 일 실시예에 따른 수술 내비게이션 시스템은 환자의 수술 대상 뼈의 2차원 의료 영상 정보로부터 3차원 의료 영상 정보를 생성하고, 생성한 상기 3차원 의료 영상 정보 및 상기 3차원 의료 영상 정보로부터 계산된 임계값을 토대로 AR 영상을 생성하는 영상 매칭부, 그리고 상기 영상 매칭부에서 생성한 AR 영상을, 환자의 수술 대상 뼈 상에 투영하여 디스플레이하는 디스플레이부를 포함하며, 상기 AR 영상은 상기 수술 대상 뼈에 대응하는 미리 저장된 관심 영역 및 상기 수술 대상 뼈에 스크류가 삽입될 위치 정보를 포함한다.
상기 영상 매칭부는, 상기 수술 대상 뼈의 2차원 의료 영상 정보를 수신하는 정보 수신부, 상기 2차원 의료 영상 정보로부터 상기 3차원 의료 영상 정보를 생성하고, 생성한 3차원 의료 영상 정보로부터 상기 임계값을 계산하는 3차원 영상 생성부, 상기 수술 대상 뼈에 대한 정보를 수신하고, 상기 수술 대상 뼈에 대해 미리설정된 하나 이상의 해부학적 구조물에 대한 정보를 상기 관심 영역으로 결정하는 관심 영역 설정부, 그리고 상기 3차원 의료 영상을 상기 임계값으로 필터링하여 AR 영상을 생성하고, 생성한 AR 영상에 상기 스크류가 삽입될 위치 정보를 표시하고, 상기 관심 영역과 상기 해부학적 구조물이 일치되도록 매칭하는 AR 영상 생성부를 포함한다.
상기 임계값은 상기 3차원 의료 영상으로부터 계산된 그레이 스케일 값이다.
상기 AR 영상 생성부는, 상기 AR 영상의 관심 영역과 상기 수술 대상 뼈의 해부학적 구조물이 일치하여 매칭하기 위하여, 상기 해부학적 구조물을 기준으로 상기 관심 영역의 회전각, 크기 변화 값 및 위치 변화 값을 계산한다.
상기 디스플레이부는, 상기 영상 매칭부가 생성한 AR 영상을 수신하는 AR 영상 수신부, 그리고 상기 수신한 AR 영상을 상기 수술 대상 뼈 상에 투영되도록 디스플레이하는 영상 제공부를 포함한다.
상기 디스플레이부는, 의사가 착용할 수 있는 HMD(Head Mounted Device) 형태 또는 비 HMD(Non-Head Mounted Device) 형태 중 어느 하나로 구현된다.
본 발명의 일 실시예에 따른 수술 내비게이션 시스템이 수술 대상 뼈 상에 AR 영상을 디스플레이하는 방법은 환자의 수술 대상 뼈의 2차원 의료 영상으로부터 3차원 의료 영상을 생성하는 단계, 상기 생성한 3차원 의료 영상에 상기 수술 대상 뼈에 대응하는 관심 영역을 반영하는 단계, 상기 3차원 의료 영상으로부터 계산된 임계값을 토대로 상기 3차원 의료 영상을 필터링하여 상기 관심 영역이 반영된 AR 영상을 생성하는 단계, 상기 수술 대상 뼈에 스크류가 삽입될 위치 정보를 수신하고, 상기 수신한 위치 정보를 상기 AR 영상에 표시하는 단계, 그리고 상기 수술 대상 뼈에 상기 AR 영상을 매칭하여 상기 수술 대상 뼈 상에 상기 AR 영상이 투영되도록 디스플레이하는 단계를 포함한다.
상기 임계값은 상기 3차원 의료 영상으로부터 계산된 그레이 스케일 값이다.
상기 관심 영역은 상기 수술 대상 뼈에 대해 미리 설정된 하나 이상의 해부학적 구조물에 대한 정보이고, 상기 수술 대상 뼈에 상기 AR 영상을 매칭하는 것은 상기 해부학적 구조물과 상기 AR 영상의 상기 관심 영역이 일치되도록 매칭한다.
상기 디스플레이하는 단계는, 상기 AR 영상의 관심 영역과 상기 실제 수술 대상 뼈의 해부학적 구조물이 일치하여 매칭하기 위하여, 상기 해부학적 구조물을 기준으로 상기 관심 영역의 회전각, 크기 변화 값 및 위치 변화 값을 계산하는 단계를 더 포함한다.
본 발명에 따르면, 수술 전 환자의 척추에 스크류가 실제로 고정될 위치를 증강 현실 영상으로 확인할 수 있어 수술 계획을 세움에 있어 명확한 자료로 사용함으로써, 의료 사고의 발생 감소와 수술 시간 단축 및 환자의 수술에 대한 부담감을 감소시킬 수 있다.
또한, 직접 수술 및 시술용이 아닌 의학 전공자 및 기타 전공자들에게 교육용 소프트웨어로 보급할 수 있으므로, 교육 비용을 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 수술 내비게이션 시스템의 예시도이다.
도 2는 본 발명의 실시예에 따른 수술 내비게이션 시스템의 구조도이다.
도 3은 본 발명의 실시예에 따른 수술 내비게이션 시스템을 이용한 AR 영상 제공 방법에 대한 흐름도이다.
도 4는 본 발명의 실시예에 따라 설정된 관심 영역의 예시도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조로 하여 본 발명의 실시예에 따른 수술 내비게이션 시스템 및 이를 이용한 입체 영상 제공 방법에 대해 설명한다.
도 1은 본 발명의 실시예에 따른 수술 내비게이션 시스템의 예시도이다.
도 1에 도시된 바와 같이, 환자의 척추에 스크류가 고정될 위치가 마킹된 AR(Augmented Reality) 영상을 매칭하여, 수술자(이하, '의사'라 지칭함)가 수술 중 환자의 척추에 스크류가 실제로 고정될 위치를 확인할 수 있도록 하는 수술 내비게이션 시스템(100)은 영상 매칭부(110)와 디스플레이부(120)를 포함한다.
영상 매칭부(110)는 환자의 뼈에 대한 CT 또는 MRI 등 2차원 의료 영상을 토대로 3차원 의료 영상을 생성한다.
영상 매칭부(110)가 생성한 3차원 의료 영상은 환자의 뼈의 상태(예를 들면, 골밀도, 굽음증 정도), 뼈의 해부학적 구조물에 대한 정보 등을 모두 포함한다. 영상 매칭부(110)가 2차원 의료 영상을 기준으로 3차원 의료 영상을 생성하는 방법은 여러 방법으로 수행될 수 있으므로, 본 발명의 실시예에서는 어느 하나로 한정하지 않는다.
영상 매칭부(110)는 외부로부터 입력되는 실제 수술 대상인 뼈에 대한 정보, 즉, 수술 부위 정보를 수신한다. 또한, 영상 매칭부는(110)는 수술 부위에 대한 정보를 수신하면, 해당 수술 부위에 대해 미리 설정된 해부학적 구조물에 대한 정보를 관심 영역(land mark)으로 결정한다.
영상 매칭부(110)는 생성한 3차원 의료 영상에 결정한 관심 영역을 설정한다. 그리고, 영상 매칭부(110)는 관심 영역이 설정된 3차원 의료 영상을 미리 계산된 임계값을 이용하여 필터링하여 실제 뼈에 정합될 AR 영상을 생성한다.
또한, 영상 매칭부(110)는 환자의 수술 대상 뼈에 스크류가 실제로 고정될 위치를 수신하면, 수신된 스크류의 고정 위치를 3차원 의료 영상에 표시한다. 그리고, 생성한 AR 영상을 디스플레이부(120)로 제공하여, 수술자인 의사가 디스플레이부(120)를 통해 실제 뼈와 정합된 AR 영상을 확인할 수 있도록 한다. 이때, AR 영상에도 관심 영역이 표시되어 있으므로, 실제 뼈에 표시된 관심 영역에 일치하도록 위치시킨 후, 스크류의 고정 위치가 표시된 AR 영상이 실제 뼈에 투영되어 디스플레이 된다.
디스플레이부(120)는 영상 매칭부(110)로부터 전달되는 스크류의 고정 위치가 표시된 AR 영상을 환자의 뼈에 정합, 디스플레이 하여, 의사가 용이하게 스크류가 실제 고정될 위치를 확인할 수 있도록 한다. 여기서 디스플레이부(120)는 의사가 착용할 수 있는 HMD(Head Mounted Device) 형태와 비 HMD(Non-Head Mounted Device) 형태로 구현될 수 있으며, 본 발명의 실시예에서는 HMD 형태를 예로 하여 설명한다.
이상에서 설명한 수술 내비게이션 시스템(100)의 구조에 대해 도 2를 참조로 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 수술 내비게이션 시스템의 구조도이다.
도 2에 도시된 바와 같이, 수술 내비게이션 시스템(100)은 스크류의 고정 위치가 표시된 AR 영상을 생성하는 영상 매칭부(110)와 상기 AR 영상을 환자의 수술 대상 뼈에 정합된 형태로 디스플레이하는 디스플레이부(120)로 구성된다.
영상 매칭부(110)는 정보 수신부(111), 3차원 의료 영상 생성부(112), 관심 영역 설정부(113) 및 AR 영상 생성부(114)를 포함한다. 그리고 디스플레이부(120)는 AR 영상 수신부(121) 및 영상 제공부(122)를 포함한다.
먼저, 정보 수신부(111)는 수술 대상으로 결정된 환자의 뼈 부분에 대한 2차원 의료 영상을 수신한다. 2차원 의료 영상의 종류로는 CT 또는 MRI 등이 있으며, 본 발명의 실시예에서는 어느 하나의 종류로 2차원 의료 영상의 형태를 한정하지 않는다.
3차원 의료 영상 생성부(112)는 정보 수신부(111)가 수신한 2차원 의료 영상을 전처리 과정, 합성 과정, 배경 투사 과정 그리고 후처리 과정을 통해 3차원 의료 영상으로 생성한다. 여기서, 생성된 3차원 의료 영상은 환자의 뼈의 상태(예를 들면, 골밀도, 굽음증 정도), 뼈의 해부학적 구조물에 대한 정보 등을 모두 포함한다.
즉, 3차원 의료 영상 생성부(112)는 수술 대상으로 결정된 환자의 뼈 부분에대한 2차원 의료 영상에서 노이즈를 제거하고 영상 품질을 향상시키고, 편이 보정(Bias Correction) 등의 전처리 작업을 수행하여 3차원 의료 영상으로 변환하기 적합한 상태의 전처리된 의료 영상을 생성한다. 3차원 의료 영상 생성부(112)는 전처리된 의료 영상을 합성하고 배경을 투사하여 3차원 의료 영상으로 생성한다.
3차원 의료 영상 생성부(112)가 생성한 3차원 의료 영상을 통해 의사는 수술 대상 뼈의 골밀도, 굽음증 정도, 주변의 해부학적 구조물 등을 파악할 수 있다. 3차원 의료 영상을 통해 의사는 수술 대상으로 결정된 뼈(예를 들면, 척추)의 상태를 정확히 확인할 수 있는바, 이에 기초하여 의사는 뼈를 고정시킬 스크류가 삽입될 위치를 결정할 수 있다. 그리고 3차원 의료 영상 생성부(112)는 수술 대상 뼈의 주변 구조물들과 수술 대상 뼈 사이의 거리 및 수술 대상 뼈로부터 얼마만큼의 깊이에 위치하는지 나타내는 위치 정보를, 3차원 좌표계를 이용하여 생성하여 3차원 의료 영상에 포함시킨다.
3차원 의료 영상 생성부(112)가 2차원 의료 영상을 전처리하고, 합성, 배경을 투사하는 방법, 그리고 3차원 좌표계를 이용하여 깊이 정보를 추출하고 이를 함께 제공하는 것은 다양한 방법을 통해 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하여 설명하지는 않는다.
3차원 의료 영상 생성부(112)는 생성한 3차원 의료 영상으로부터 이후 설명할 AR 영상 생성부(114)에서 필터링할 때 사용할 임계값을 계산한다. 여기서 필터링에 사용되는 임계값은 3차원 의료 영상을 나타내는 그레이 스케일(gray scale)의 특정 값을 의미한다.
예를 들어, CT 영상인 2차원 의료 영상에서 뼈는 밝게 나타나고, 기타 조직(상피조직, 결합조직, 근육조직, 신경조직)들은 어둡게 나타난다. 그리고 혈관의 밝기와 병변의 밝기가 뼈의 밝기와 기타 조직의 밝기 사이의 밝기로 보인다면, 뼈와 기타 조직, 혈관, 병변 등의 밝기를 숫자로 표현할 수 있다.
그러므로, 3차원 의료 영상 생성부(112)는 혈관과 병변의 밝기에 해당하는 수치를 기준으로 그레이 스케일의 임계값을 설정할 수 있다. 본 발명의 실시예에서는 3차원 의료 영상 생성부(112)가 임계값을 계산하는 것을 예로 하여 설명하나 반드시 이와 같이 한정되는 것은 아니다. 또한, 3차원 의료 영상으로부터 임계값을 계산하는 방법을 어느 하나의 방법으로 한정하지 않는다.
관심 영역 설정부(113)는 외부로부터 수술 부위에 대한 정보를 수신한다.
그리고 관심 영역 설정부(113)는 해당 수술 부위에 대해 미리 설정된 하나 이상의 해부학적 구조물에 대한 정보를 관심 영역으로 결정한다. 관심 영역 설정부(113)가 관심 영역을 결정하는 예에 대해 도 4를 참고로 먼저 설명한다.
도 4는 본 발명의 실시예에 따라 설정된 관심 영역의 예시도이다.
도 4에 도시된 바와 같이, 수술 대상이 척추인 경우, 관심 영역 설정부(113)는 실제 수술 대상인 척추 부위에 대한 정보를 수신한다. 이 경우, 관심 영역 설정부(113)는 척추 뼈 부위 각각의 바디(body), 가로돌기(transverse processes), 고리뿌리(pedicle), 고리판(lamina) 등과 같은 해부학적 구조물들의 위치 및 각도에 대한 정보를 미리 저장할 수 있다. 관심 영역 설정부(113)는 척추 부위에 대한 정보를 수신하면, 해당 부위의 해부학적 구조물에 대한 정보들 중 적어도 하나를 관심 영역으로 결정할 수 있다.
다른 실시예에서, 관심 영역 설정부(113)는 환자의 척추를 구성하고 있는 뼈 각각이 갖고 있는 해부학적 특징에 대한 정보를 미리 저장할 수 있다. 이 경우, 관심 영역 설정부(113)는 실제 수술 대상의 척추 뼈 부위에 대한 정보를 수신하면, 기 저장된 정보에서 수술 대상의 척추 뼈가 갖고 있는 해부학적 특징 중 적어도 하나를 관심 영역으로 결정할 수 있다.
본 발명의 실시예에서는 수술 대상이 척추인 것을 예로 하여 설명하였으나, 뼈의 종류에 따라 서로 다른 해부학적 구조물들이 관심 영역 설정부(113)에 저장되고, 이들 중 적어도 하나가 관심 영역으로 결정될 수도 있다.
도 2로 다시 돌아가면, AR 영상 생성부(114)는 3차원 의료 영상 생성부(112)에서 생성된 3차원 의료 영상에 관심 영역 설정부(113)에서 결정된 관심 영역을 설정한다. 그리고, AR 영상 생성부(114)는 스크류가 고정될 위치 정보를 수신하여 관심 영역이 설정된 3차원 의료 영상에 스크류 고정 위치를 표시한다.
구체적으로, 3차원 의료 영상은 골밀도, 굽음증 정도와 같은 환자의 뼈의 상태에 대한 정보를 포함하는바, 의사는 3차원 의료 영상을 통해 실제 환자의 척추에 스크류가 삽입될 위치를 결정할 수 있다. 스크류 고정 위치를 결정하면 의사는 해당 위치를 AR 영상 생성부(114)에 입력하고, AR 영상 생성부(114)는 관심 영역이 설정된 3차원 의료 영상에 입력된 스크류 고정 위치를 표시한다.
비록 상기 설명에서는 관심 영역이 먼저 설정되고 이후에 스크류 고정 위치를 표시하였으나, 스크류 고정 위치가 먼저 표시되고 이후에 관심 영역이 설정되어도 무방하다.
AR 영상 생성부(114)가 스크류가 고정될 위치 정보를 수신하는 방법이나, 3차원 의료 영상에 스크류 고정 위치를 표시하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
AR 영상 생성부(114)는 관심 영역 및 스크류 고정 위치가 표시된 3차원 의료 영상을, 3차원 의료 영상 생성부(112)가 계산한 임계값을 토대로 필터링하여 AR 영상으로 생성한다.
AR 영상 생성부(114)는 AR 영상을 실제 뼈에 정합한다. AR 영상을 실제 뼈에 정합할 때, AR 영상 생성부(114)는 실제 뼈 부분의 해부학적 구조물과 AR 영상에 표시된 관심 영역을 일치시킨다.
또한, AR 영상 생성부(114)는 AR 영상에 표시된 관심 영역이 환자의 척추를 구성하고 있는 뼈 각각이 갖고 있는 해부학적 특징에 대한 정보인 경우, 실제 뼈 부분이 갖고 있는 해부학적 특징과 AR 영상에 표시된 관심 영역을 일치시킬 수 있다.
AR 영상 생성부(114)가 실제 뼈 부분의 해부학적 구조물과 AR 영상에 표시된 관심 영역을 일치시킬 때, AR 영상 생성부(114)는 실제 뼈 부분의 해부학적 구조물을 기준으로 관심 영역을 얼마나 회전시킬지(회전각), 얼마나 위치를 변화시킬지(위치 변화 값), 얼마나 크기를 변화시킬지(크기 변화 값) 등을 계산한다. 그리고, 계산된 회전각, 위치 변화 값 및 크기 변화 값을 관심 영역에 반영하여, 실제 수술 대상 뼈에 AR 영상이 정합되도록 한다.
AR 영상 생성부(114)가 실제 뼈 부분의 해부학적 구조물을 기준으로 관심 영역의 회전각, 위치 변화 값, 크기 변화 값을 계산하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다. 또한, AR 영상을 수술 대상 뼈에 정합하는 방법 역시 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.
한편, 디스플레이부(120)의 AR 영상 수신부(121)는 AR 영상 생성부(114)에서 생성한 수술 대상 뼈에 정합된 AR 영상을 수신한다.
영상 제공부(122)는 AR 영상 수신부(121)가 수신한 AR 영상을 실제 수술 대상 뼈에 투영하여 디스플레이 한다.
영상 제공부(122)가 제공하는 수술 대상 뼈에 투영된 AR 영상은, 수술이 진행되는 동안 수술 대상 뼈에 고정된 상태를 유지하여 디스플레이 된다.
이상에서 설명한 수술 내비게이션 시스템을 이용하여 AR 영상을 제공하는 방법에 대해 도 3을 참조로 설명한다.
도 3은 본 발명의 실시예에 따른 수술 내비게이션 시스템을 이용한 AR 영상 제공 방법에 대한 흐름도이다.
도 3에 도시된 바와 같이, 수술 내비게이션 시스템(100)은 환자의 수술 대상 뼈를 촬영한 CT 또는 MRI와 같은 2차원 의료 영상을 수신한다. 그리고 수신한 2차원 의료 영상을 토대로 3차원 의료 영상을 생성한다(S100).
이와 동시에 수술 내비게이션 시스템(100)은 생성한 3차원 의료 영상을 토대로 이후 필터링에 사용할 임계값을 계산한다. 2차원 의료 영상을 3차원 입체 영상으로 생성하는 과정에서, 수술 내비게이션 시스템(100)은 환자의 뼈의 상태(예를 들면, 골밀도, 굽음증 정도), 뼈의 해부학적 구조물에 대한 정보 등을 추출한다.
수술 내비게이션 시스템(100)은 수술 부위에 대한 정보를 수신하고, 해당 수술 부위에 대해 미리 설정된 하나 이상의 해부학적 구조물에 대한 정보를 관심 영역으로 결정한다(S110).
즉, 의사가 환자의 수술 대상 뼈 부분에 대한 위치 정보를 입력하면, 해당 뼈 부분에 대해 미리 저장된 해부학적 구조물들 중 적어도 하나 이상을 관심 영역으로 결정한다. 이는 3차원 의료 영상으로부터 생성된 AR 영상을 실제 수술 대상 뼈에 정합하는 과정에서, 관심 영역을 이용하여 정합이 이루어질 수 있도록 하기 위함이다.
수술 내비게이션 시스템(100)은 수술 부위에서 스크류가 고정될 위치에 대한정보를 수신하고, 수신한 정보를 3차원 의료 영상에 표시한다(S120). 스크류 고정 위치에 대한 정보를 수산하는 방법이나, 수신한 정보를 3차원 의료 영상에 표시하는 방법은 다양한 방법으로 실행될 수 있으므로, 본 발명의 실시예에서는 어느 하나의 방법으로 한정하지 않는다.
수술 내비게이션 시스템(100)은 S100 단계에서 생성한 3차원 의료 영상과 계산한 임계값에 기초하고, S110 단계에서 계산한 관심 영역 및 S120 단계에서 표시한 스크류 고정 위치를 포함하는 AR 영상을 생성한다(S130).
수술 내비게이션 시스템(100)은 S130 단계에서 생성한 AR 영상을 관심 영역을 토대로 실제 수술 대상 뼈에 정합하여 디스플레이 한다(S140). 즉, 수술 내비게이션 시스템(100) 실제 뼈 부분의 해부학적 구조물과 AR 영상에 표시된 관심 영역을 일치시켜, 수술 대상 뼈에 AR 영상이 정합된 형태로 디스플레이 한다.
본 발명에 따르면, 수술 전 환자의 척추에 스크류가 실제로 고정될 위치를 증강 현실 영상으로 확인할 수 있어 수술 계획을 세움에 있어 명확한 자료로 사용함으로써, 의료 사고의 발생 감소와 수술 시간 단축 및 환자의 수술에 대한 부담감을 감소시킬 수 있다.
또한, 직접 수술 및 시술용이 아닌 의학 전공자 및 기타 전공자들에게 교육용 소프트웨어로 보급할 수 있으므로, 교육 비용을 줄일 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (10)

  1. 수술 내비게이션 시스템에 있어서,
    환자의 수술 대상 뼈의 2차원 의료 영상 정보로부터 3차원 의료 영상 정보를 생성하고, 생성한 상기 3차원 의료 영상 정보 및 상기 3차원 의료 영상 정보로부터 계산된 임계값을 토대로 AR 영상을 생성하는 영상 매칭부, 그리고
    상기 영상 매칭부에서 생성한 AR 영상을, 환자의 수술 대상 뼈 상에 투영하여 디스플레이하는 디스플레이부를 포함하며,
    상기 AR 영상은 상기 수술 대상 뼈에 대응하는 미리 저장된 관심 영역 및 상기 수술 대상 뼈에 스크류가 삽입될 위치 정보를 포함하는 수술 내비게이션 시스템.
  2. 제1항에 있어서,
    상기 영상 매칭부는,
    상기 수술 대상 뼈의 2차원 의료 영상 정보를 수신하는 정보 수신부,
    상기 2차원 의료 영상 정보로부터 상기 3차원 의료 영상 정보를 생성하고, 생성한 3차원 의료 영상 정보로부터 상기 임계값을 계산하는 3차원 영상 생성부,
    상기 수술 대상 뼈에 대한 정보를 수신하고, 상기 수술 대상 뼈에 대해 미리설정된 하나 이상의 해부학적 구조물에 대한 정보를 상기 관심 영역으로 결정하는 관심 영역 설정부, 그리고
    상기 3차원 의료 영상을 상기 임계값으로 필터링하여 AR 영상을 생성하고, 생성한 AR 영상에 상기 스크류가 삽입될 위치 정보를 표시하고, 상기 관심 영역과 상기 해부학적 구조물이 일치되도록 매칭하는 AR 영상 생성부
    를 포함하는 수술 내비게이션 시스템.
  3. 제2항에 있어서,
    상기 임계값은 상기 3차원 의료 영상으로부터 계산된 그레이 스케일 값인 수술 내비게이션 시스템.
  4. 제2항에 있어서,
    상기 AR 영상 생성부는,
    상기 AR 영상의 관심 영역과 상기 수술 대상 뼈의 해부학적 구조물이 일치하여 매칭하기 위하여, 상기 해부학적 구조물을 기준으로 상기 관심 영역의 회전각, 크기 변화 값 및 위치 변화 값을 계산하는 수술 내비게이션 시스템.
  5. 제1항에 있어서,
    상기 디스플레이부는,
    상기 영상 매칭부가 생성한 AR 영상을 수신하는 AR 영상 수신부, 그리고
    상기 수신한 AR 영상을 상기 수술 대상 뼈 상에 투영되도록 디스플레이하는 영상 제공부
    를 포함하는 수술 내비게이션 시스템.
  6. 제1항에 있어서,
    상기 디스플레이부는,
    의사가 착용할 수 있는 HMD(Head Mounted Device) 형태 또는 비 HMD(Non-Head Mounted Device) 형태 중 어느 하나로 구현되는 수술 내비게이션 시스템.
  7. 수술 내비게이션 시스템이 수술 대상 뼈 상에 AR 영상을 디스플레이하는 방법에 있어서,
    환자의 수술 대상 뼈의 2차원 의료 영상으로부터 3차원 의료 영상을 생성하는 단계,
    상기 생성한 3차원 의료 영상에 상기 수술 대상 뼈에 대응하는 관심 영역을 반영하는 단계,
    상기 3차원 의료 영상으로부터 계산된 임계값을 토대로 상기 3차원 의료 영상을 필터링하여 상기 관심 영역이 반영된 AR 영상을 생성하는 단계,
    상기 수술 대상 뼈에 스크류가 삽입될 위치 정보를 수신하고, 상기 수신한 위치 정보를 상기 AR 영상에 표시하는 단계, 그리고
    상기 수술 대상 뼈에 상기 AR 영상을 매칭하여 상기 수술 대상 뼈 상에 상기 AR 영상이 투영되도록 디스플레이하는 단계
    를 포함하는 AR 영상 디스플레이 방법.
  8. 제7항에 있어서,
    상기 임계값은 상기 3차원 의료 영상으로부터 계산된 그레이 스케일 값인 AR 영상 디스플레이 방법.
  9. 제7항에 있어서,
    상기 관심 영역은 상기 수술 대상 뼈에 대해 미리 설정된 하나 이상의 해부학적 구조물에 대한 정보이고,
    상기 수술 대상 뼈에 상기 AR 영상을 매칭하는 것은 상기 해부학적 구조물과 상기 AR 영상의 상기 관심 영역이 일치되도록 매칭하는 AR 영상 디스플레이 방법.
  10. 제9항에 있어서,
    상기 디스플레이하는 단계는,
    상기 AR 영상의 관심 영역과 상기 수술 대상 뼈의 해부학적 구조물이 일치하여 매칭하기 위하여, 상기 해부학적 구조물을 기준으로 상기 관심 영역의 회전각, 크기 변화 값 및 위치 변화 값을 계산하는 단계
    를 더 포함하는 AR 영상 디스플레이 방법.
KR1020170155946A 2017-11-21 2017-11-21 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법 KR102056930B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170155946A KR102056930B1 (ko) 2017-11-21 2017-11-21 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170155946A KR102056930B1 (ko) 2017-11-21 2017-11-21 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190058190A true KR20190058190A (ko) 2019-05-29
KR102056930B1 KR102056930B1 (ko) 2019-12-17

Family

ID=66673163

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170155946A KR102056930B1 (ko) 2017-11-21 2017-11-21 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102056930B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210065413A (ko) * 2019-11-27 2021-06-04 김지호 생체 센서 부착 가이드 방법 및 장치
KR20210126393A (ko) * 2020-04-10 2021-10-20 가톨릭관동대학교산학협력단 척추체 유합수술 시뮬레이션 방법
WO2022035110A1 (ko) * 2020-08-10 2022-02-17 아주대학교산학협력단 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
CN115137499A (zh) * 2022-07-19 2022-10-04 华中科技大学同济医学院附属协和医院 一种基于混合现实技术的骨科手术定位方法
WO2023229415A1 (ko) * 2022-05-27 2023-11-30 고려대학교 산학협력단 Ar 영상 제공 방법 및 ar 영상 제공 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102458276B1 (ko) * 2020-06-18 2022-10-25 주식회사 디엠에프 ３차원 안면 스캔데이터 및 ａｒ 글래스를 이용한 실시간 가시화 서비스 제공 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100726028B1 (ko) * 2005-12-14 2007-06-08 한양대학교 산학협력단 환자환부의 증강현실영상 투영시스템 및 그 방법
KR101536115B1 (ko) 2013-08-26 2015-07-14 재단법인대구경북과학기술원 수술 내비게이션 시스템 운용 방법 및 수술 내비게이션 시스템
KR101647467B1 (ko) * 2015-06-05 2016-08-11 주식회사 메드릭스 증강현실을 이용한 외과 수술용 3d 안경 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210065413A (ko) * 2019-11-27 2021-06-04 김지호 생체 센서 부착 가이드 방법 및 장치
KR20210126393A (ko) * 2020-04-10 2021-10-20 가톨릭관동대학교산학협력단 척추체 유합수술 시뮬레이션 방법
WO2022035110A1 (ko) * 2020-08-10 2022-02-17 아주대학교산학협력단 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
WO2023229415A1 (ko) * 2022-05-27 2023-11-30 고려대학교 산학협력단 Ar 영상 제공 방법 및 ar 영상 제공 장치
CN115137499A (zh) * 2022-07-19 2022-10-04 华中科技大学同济医学院附属协和医院 一种基于混合现实技术的骨科手术定位方法

Also Published As

Publication number Publication date
KR102056930B1 (ko) 2019-12-17

Similar Documents

Publication Publication Date Title
AU2020202963B2 (en) Imaging system and method for use in surgical and interventional medical procedures
JP6876065B2 (ja) 放射線照射を低減された手術中の３次元視覚化
KR102056930B1 (ko) 증강현실 기술을 이용한 척추 수술 네비게이션 시스템 및 방법
US10201320B2 (en) Deformed grid based intra-operative system and method of use
US8908952B2 (en) Imaging system and method for use in surgical and interventional medical procedures
US20060015030A1 (en) Method for placing multiple implants during a surgery using a computer aided surgery system
US9826919B2 (en) Construction of a non-imaged view of an object using acquired images
JP2024504482A (ja) ナビゲーション脊椎手術のための拡張現実脊椎ロッドプランニングおよび屈曲のためのコンピュータ実装方法
Peuchot et al. Virtual reality as an operative tool during scoliosis surgery
CN109155068B (zh) 组合式x射线/相机介入中的运动补偿
KR101988531B1 (ko) 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
WO2018005907A1 (en) Deformed grid based intra-operative system and method of use
US11386556B2 (en) Deformed grid based intra-operative system and method of use
US20240197411A1 (en) System and method for lidar-based anatomical mapping
US20240374315A1 (en) Technique For Generating An Image Of An Anatomical Element In A Pose Indicated By Planning Data
Peuchot et al. Augmented reality in spinal surgery
EP3703011A1 (en) Interventional device tracking

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171121

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190625

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20191109

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20191211

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191211

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20221005

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20231004

Start annual number: 5

End annual number: 5