KR20220145747A - 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법 - Google Patents

랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법 Download PDF

Info

Publication number
KR20220145747A
KR20220145747A KR1020210174561A KR20210174561A KR20220145747A KR 20220145747 A KR20220145747 A KR 20220145747A KR 1020210174561 A KR1020210174561 A KR 1020210174561A KR 20210174561 A KR20210174561 A KR 20210174561A KR 20220145747 A KR20220145747 A KR 20220145747A
Authority
KR
South Korea
Prior art keywords
image
patient
catheter
medical information
augmented reality
Prior art date
Application number
KR1020210174561A
Other languages
English (en)
Inventor
공현중
김준기
장태수
이동헌
윤중기
김현영
Original Assignee
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원 filed Critical 서울대학교병원
Priority to PCT/KR2021/019928 priority Critical patent/WO2022225132A1/ko
Publication of KR20220145747A publication Critical patent/KR20220145747A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M2025/0166—Sensors, electrodes or the like for guiding the catheter to a target zone, e.g. image guided or magnetically guided

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Anesthesiology (AREA)
  • Biophysics (AREA)
  • Hematology (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법에 관한 것이다. 본 발명에 따르면, 증강현실 기반의 의료정보 시각화 시스템을 이용한 의료정보 시각화 방법에 있어서, 대상이 되는 환자의 3차원 촬영 영상을 입력받는 단계, 상기 입력된 3차원 촬영 영상으로부터 해부학적 구조물 및 복수의 랜드마크 구조물을 인식하여 해부학적 구조물 및 랜드마크 구조물을 3D 영상으로 추출하는 단계, 상기 환자를 촬영한 영상의 랜드마크 구조물에 상기 3D 영상에 포함된 랜드마크 구조물의 위치를 정합시키는 단계, 뎁스 카메라를 이용하여 상기 환자의 랜드마크 구조물의 주변 위치와 뎁스 카메라 사이의 거리, 그리고 상기 뎁스 카메라와 상기 환자의 피부 사이의 거리를 측정하여 상기 3D 영상에 대한 회전값 및 스케일 값을 조절하여 상기 환자를 촬영한 영상 위에 상기 3D 영상을 정합시키는 단계, 그리고 상기 촬영 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스를 통해 시각화하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 증강현실 형태로 제공된 3D 영상 및 카테터를 통해 환자에 삽관된 카테터의 위치를 추적할 수 있고, 시술자에게 증강현실 디바이스를 통해 카테터의 현재 위치를 제공함으로써, 정확한 의료 시술과 치료가 가능하다.

Description

랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법{SYSTEM FOR MEDICAL INFORMATION VISUALIZATION BASED ON AUGMENTED REALITY USING LANDMARKS AND METHOD THEREOF}
본 발명은 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 환자의 해부학적 구조물 및 랜드마크 구조물로부터 추출한 3D 영상을 이용하여 환자의 촬영 영상 상에 증강 현실 형태로 시각화하는 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법에 관한 것이다.
일반적으로 의사들이 수술에 들어가기 앞서 환자의 수술 계획을 수립할 때, 수술 부위에 대한 정보를 환자의 CT(Computed Tomographic) 또는 MRI(Magnetic Resonance Imaging) 사진 등의 2차원 의료 영상을 참고하여 수술 계획을 세우며, 외과의는 몇몇의 보이는 랜드마크와 관련하여 이미 치료된 영역에 대해 지도를 그려야 한다.
이는 치료가 목표 조직 내부에서 이뤄지는 경우 또는 조직의 외형을 변경시키면 안 되는 경우 어렵다. 간과되거나 과치료된 또는 잘못 치료된 위치는 피해야 한다. 외과의는 예컨대 10개의 랜드마크와 같이 드문드문하게 위치할 수 있는 다수의 해부 영역을 검사하거나 치료하도록 결정할 수 있다.
이는 이미 최소 절개 수술을 경험한 외과의에게 인지부하를 증가시키며, 인체 조직은 자연적으로 또는 수술로부터 색깔을 변형시키거나 변경시킬 수 있으므로, 이와 관련된 랜드마크 및 연관된 수술 중 정보에 대한 추적의 어려움을 증가시킨다.
특히, 소아환자 또는 중심 정맥 카테터 삽관은 수액, 약, 고농도 전해질, 혈압상승제 또는 수축촉진약 투여, 수혈, 정맥영양, 투석등에 필요하나, 소아환자는 이러한 중심정맥접근술을 수행하는데 있어 빈도가 낮고, 작은 혈관 크기, 술기에 협조에 어려운 점 등 어려운 점이 많다.
일반적으로, 기존의 술기는 동맥 맥박을 촉진하거나 특정 근육 가장자리를 기준으로 중심정맥과 해부학적인 연관을 추정하는 방식으로 이루어 지고 있으나, 이러한 기준점을 이용한 중심 정맥 카테터 삽관의 성공률은 60%에서 85% 사이로 알려졌다.
다만, 이는 시술자의 숙련도에 따라 많은 차이가 나며, 중심정맥과 기준점 사이 위치의 변이, 몸 및 혈관의 작은 크기, 삽관 빈도가 낮아 시술자의 경험이 적은 것 등에 영향을 많이 받는 문제점이 있다.
본 발명의 배경이 되는 기술은 대한민국 국내등록특허 제10-1759534호 (2017.07.19 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 환자의 해부학적 구조물 및 랜드마크 구조물로부터 추출한 3D 영상을 이용하여 환자의 촬영 영상 상에 증강 현실 형태로 시각화하는 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법에 관한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 증강현실 기반의 의료정보 시각화 시스템을 이용한 의료정보 시각화 방법에 있어서, 대상이 되는 환자의 3차원 촬영 영상을 입력받는 단계, 상기 입력된 3차원 촬영 영상으로부터 해부학적 구조물 및 복수의 랜드마크 구조물을 인식하여 해부학적 구조물 및 랜드마크 구조물을 3D 영상으로 추출하는 단계, 상기 환자를 촬영한 영상의 랜드마크 구조물에 상기 3D 영상에 포함된 랜드마크 구조물의 위치를 정합시키는 단계, 뎁스 카메라를 이용하여 상기 환자의 랜드마크 구조물의 주변 위치와의 거리를 측정하여 상기 3D 영상에 대한 회전값 및 스케일 값을 조절하여 상기 환자를 촬영한 영상 위에 상기 3D 영상을 정합시키는 단계, 그리고 상기 촬영 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스를 통해 시각화하는 단계를 포함한다.
상기 증강현실 디바이스를 통해 시각화하는 단계는, 상기 증강현실 디바이스를 통해 카테터 삽관 위치를 환자의 신체 상에 증강하는 단계, 상기 환자의 신체 내부에 카테터를 삽관하면, 카테터의 눈금을 기준으로 삽관된 카테터의 길이를 비전 카메라를 통해 검출하는 단계, 그리고 상기 환자의 신체 내부에 삽관된 카테터의 현재 위치를 상기 해부학적 구조물에 해당하는 3D 영상 위에 증강현실 형태로 시각화하는 단계를 더 포함할 수 있다.
상기 3차원 좌표로 변환하는 단계는, 상기 삽관된 카테터가 기 설정된 목표 길이에 도달하는 경우, 시각 또는 청각을 이용하여 알람을 제공할 수 있다.
상기 카테터는 히크만카테터 또는 중심정맥 카테터일 수 있다.
상기 해부학적 구조물은, 심방 또는 심실과 연결되는 혈관을 포함할 수 있다.
상기 랜드마크 구조물은, 좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나를 포함할 수 있다.
상기 랜드마크 구조물이 좌우측 쇄골 또는 유두인 경우, 상기 랜드마크 구조물의 주변 위치는 좌측 쇄골 또는 유두와 우측 쇄골 또는 유두 사이의 중심에 해당할 수 있다.
상기 증강현실 디바이스는, 안경 형태의 HMD(Head Mounted Display) 또는 모바일 기기 또는 PC 형태로 구현될 수 있다.
본 발명의 다른 실시예에 따르면 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템에 있어서, 대상이 되는 환자의 3차원 촬영 영상을 입력받는 입력부, 상기 입력된 3차원 촬영 영상으로부터 해부학적 구조물 및 복수의 랜드마크 구조물을 인식하여 해부학적 구조물 및 랜드마크 구조물을 3D 영상으로 추출하는 3D 생성부, 상기 환자를 촬영한 영상의 랜드마크 구조물에 상기 3D 영상에 포함된 랜드마크 구조물의 위치를 정합시키고, 뎁스 카메라를 이용하여 상기 환자의 랜드마크 구조물의 주변 위치와의 거리를 측정하여 상기 3D 영상에 대한 회전값 및 스케일 값을 조절하여 상기 환자를 촬영한 영상 위에 상기 3D 영상을 정합시키는 정합부, 그리고 상기 촬영 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스를 통해 시각화하는 표시부를 포함한다.
이와 같이 본 발명에 따르면, 증강현실 형태로 제공된 3D 영상 및 카테터를 통해 환자에 삽관된 카테터의 위치를 추적할 수 있고, 시술자에게 증강현실 디바이스를 통해 카테터의 현재 위치를 제공함으로써, 정확한 의료 시술과 치료가 가능하다.
도 1a 및 도 1b는 본 발명의 실시예에 따른 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템의 구성을 설명하기 위한 도면이다.
도 3은 카테터를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 증강현실 기반의 의료정보 시각화 시스템을 이용한 의료정보 시각화 방법을 설명하기 위한 순서도이다.
도 5는 도 4의 S410 단계를 설명하기 위한 예시도이다.
도 6은 도 4의 S420 단계를 설명한 예시도이다.
도 7은 도 4의 S430 단계를 설명하기 위한 예시도이다.
도 8은 도 4의 S460 단계 및 S470 단계를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
이하에서는 도 1a 및 도 1b를 이용하여 본 발명의 실시예에 따른 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템(100)을 설명한다.
도 1a 및 도 1b는 본 발명의 실시예에 따른 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템을 설명하기 위한 도면이다.
도 1a에서 도시한 바와 같이, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 뎁스(Depth) 카메라(200), 비전(Vision) 카메라(300) 및 증강현실 디바이스(400)와 네트워크 연결된다.
먼저, 의료정보 시각화 시스템(100)은 환자의 3차원 촬영 영상으로부터 3D 영상을 추출하여 3차원 촬영 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스(400)를 통해 제공한다.
다음으로, 뎁스 카메라(200)는 목표물 사이의 거리를 측정할 수 있는 기기로 구현될 수 있으며, 적외선 신호가 목표물에서 반사되어 원점으로 되돌아오는 신호를 탐지하여 목표물까지의 거리를 측정할 수 있다.
즉, 의료정보 시각화 시스템(100)는 뎁스 카메라(200)를 통해 측정된 뎁스 카메라(200)와 환자의 랜드마크 구조물의 주변 위치 사이의 거리를 전송받는다.
다음으로, 비전 카메라(300)는 하드웨어와 소프트웨어를 통해 시각과 판단 기능을 수행할 수 있는 기기로 구현되며, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 비전 카메라(300)를 통해 검출된 환자의 신체 내부에 삽관된 카테터의 길이를 전송받는다.
다음으로, 증강현실 디바이스(400)는 3D 영상을 증강현실 형태로 제공할 수 있는 기기로 구현되며, 안경 형태의 HMD(Head Mounted Display) 또는 모바일 기기 또는 PC 형태로 구현될 수 있다.
그리고, 증강현실 디바이스(400)는 카메라 또는 조명 장치 등을 손으로 들 수 있는 핸드헬드(Handheld) 형태로 구현될 수 있다.
이때, 도 1b에서 도시한 바와 같이, 증강현실 디바이스(400)가 안경 형태의 HMD(Head Mounted Display)로 구현될 경우, 시술자는 안경 형태로 구현된 증강현실 디바이스(400)를 통해 제공되는 환자의 신체 내부에 증강현실 형태로 구현된 3D 영상 또는 카테터의 현재 위치를 확인할 수 있다.
그리고, 증강현실 디바이스(400)가 모바일 기기 또는 PC 형태로 구현될 경우, 시술자 또는 주변 의료진이 PC 형태로 구현된 증강현실 디바이스(400)를 통해 환자의 신체 내부에 증강현실 형태로 구현된 3D 영상 또는 카테터의 현재 위치를 확인할 수 있다.
여기서, 모바일 기기 또는 PC 형태로 구현된 증강현실 디바이스(400)는 노트북 컴퓨터, 스마트 패드, 스마트 폰(모바일) 등과 같은 기기를 통해 유선 또는 무선으로 네트워크에 접속하여 정보를 주고받을 수 있는 기기로 구현될 수 있다.
즉, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 뎁스 카메라(200) 및 비전 카메라(300)를 통해 측정된 3D 영상에 대한 회전값 및 스케일 값과 카테터의 삽관 길이를 이용하여 환자의 촬영 영상의 보정된 위치에 3D 영상 및 카테터를 증강현실 디바이스(400)를 통해 증강현실 형태로 시각화한다.
이하에서는 도 2를 이용하여 본 발명의 실시예에 따른 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템(100)의 구성을 설명한다.
도 2는 본 발명의 실시예에 따른 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템의 구성을 설명하기 위한 도면이다.
도 2에서 도시한 바와 같이, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 입력부(110), 3D 생성부(120), 정합부(130) 및 표시부(140)를 포함한다.
먼저, 입력부(110)는 시술 대상이 되는 환자의 상반신에 대한 3차원 촬영 영상을 입력받는다.
이때, 3차원 촬영 영상은 CT(Computed Tomography) 또는 MRI(Magnetic resonance imaging)을 통해 촬영된 3차원의 영상을 의미한다.
다음으로, 3D 생성부(120)는 입력된 3차원 촬영 영상으로부터 해부학적 구조물 및 복수의 랜드마크 구조물을 인식하여 해부학적 구조물 및 랜드마크 구조물을 3D 영상으로 추출한다.
이때, 해부학적 구조물은 심방 또는 심실과 연결되는 혈관을 포함하며, 혈관은 대동맥, 폐동맥, 관상동맥 및 정맥 중에서 적어도 하나를 포함할 수 있다.
또한, 랜드마크 구조물은 좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나를 포함하며, 골반뼈는 엉덩뼈능선, 장골능을 포함할 수 있다.
즉, 3D 생성부(120)는 심방 또는 심실과 연결되는 혈관과 좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나를 인식하여 3D 영상으로 추출한다.
다음으로, 정합부(130)는 환자를 촬영한 영상의 랜드마크 구조물에 3D 영상에 포함된 랜드마크 구조물의 위치를 정합시킨다.
여기서, 정합부(130)는 환자를 촬영한 영상에서의 좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나의 랜드마크 구조물과 3D 영상에 포함된 좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나의 랜드마크 구조물의 위치를 일치시킨다.
그리고, 정합부(130)는 환자의 랜드마크 구조물의 주변 위치와의 거리를 이용하여 3D 영상에 대한 회전값 및 스케일 값을 조절하여 환자를 촬영한 영상 위에 3D 영상을 정합시킨다.
이때, 뎁스 카메라(200)는 환자의 랜드마크 구조물의 주변 위치와의 거리를 측정하여 정합부(130)로 전송한다.
만일, 랜드마크 구조물이 좌우측 쇄골 또는 유두인 경우, 랜드마크 구조물의 주변 위치는 좌측 쇄골 또는 유두와 우측 쇄골 또는 유두 사이의 중심에 해당할 수 있으며, 뎁스 카메라(200)는 좌측 쇄골 또는 유두와 우측 쇄골 또는 유두 사이의 중심점과의 거리를 측정하여 정합부(130)로 전송한다.
즉, 뎁스 카메라(200)는 좌측 쇄골 또는 유두와 우측 쇄골 또는 유두 사이의 중심점 또는 골반뼈, 배꼽 등의 랜드마크 구조물의 위치와의 거리를 측정하며, 정합부(130)는 측정된 거리 값을 이용하여 3D 영상에 대한 회전값 및 스케일 값을 조절하여 환자의 상반신 촬영 영상 위에 3D 영상을 정합시킬 수 있다.
다음으로, 표시부(140)는 환자를 촬영한 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스(400)를 통해 시각화한다.
이때, 표시부(140)는 증강현실 디바이스(400)를 통해 카테터가 신체 내부로 삽관될 지점을 환자의 신체 상에 증강한다.
그리고, 환자의 신체 내부에 카테터가 삽관되면, 표시부(140)는 카테터에 표시된 눈금을 기준으로 삽관된 카테터의 길이를 비전 카메라(300)를 통해 검출한다.
이때, 표시부(140)는 측정된 카테터의 삽관 길이를 이용하여 카테터의 현재 위치를 3차원 좌표로 변환한다.
예를 들어, 카테터가 삽관되는 지점을 기준 좌표(0,0,0)이라고 가정하면, 카테터의 삽관 지점에 따라 카테터가 삽관되는 방향을 기 설정되므로, 삽관되는 카테터의 삽관 길이를 측정하면, 신체 내부로 삽관된 카테터의 현재 위치에 대한 3차원 좌표가 도출될 수 있다.
그러면, 표시부(140)는 환자의 신체 내부에 삽관된 카테터의 현재 위치를 해부학적 구조물에 해당하는 3D 영상 위에 증강현실 형태로 증강현실 디바이스(400)를 통해 표시한다.
이때, 삽관된 카테터의 삽관 길이가 기 설정된 목표 길이에 도달하는 경우, 카테터가 목표 지점까지 삽관된 것으로 볼 수 있으므로 표시부(140)는 시각 또는 청각을 이용한 알람을 의료진에게 제공한다.
이때, 알람은 시각 단서(visual cue) 또는 오디오 소리(audio sound) 등과 같이 시청각을 이용한 알람일 수 있다.
그리고, 카테터는 히크만카테터 또는 중심정맥 카테터를 포함할 수 있다.
도 3은 카테터를 설명하기 위한 도면이다.
도 3에서 도시한 카테터는 히크만 카테터를 나타낸 것이고, 환자의 신체 내부에 삽관되어 환자의 신체 내부에 진입한 정도를 파악하기 위한 눈금이 표시되어 있다.
따라서, 표시부(140)는 비전 카메라(300)를 통해 측정된 환자의 신체의 내부에 삽관된 카테터의 길이를 3차원 좌표로 변환하여 3D 영상 위에 증강현실 형태로 증강현실 디바이스(400)를 통해 표시한다.
이하에서는 도 4를 이용하여 본 발명의 실시예에 따른 증강현실 기반의 의료정보 시각화 시스템(100)을 이용한 의료정보 시각화 방법을 설명한다.
도 4는 본 발명의 실시예에 따른 증강현실 기반의 의료정보 시각화 시스템을 이용한 의료정보 시각화 방법을 설명하기 위한 순서도이다.
먼저, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 대상이 되는 환자의 3차원 촬영 영상을 입력받는다(S410).
이때, 의료정보 시각화 시스템(100)은 환자가 기존에 검진 받은 CT 또는 MRI를 이용하여 촬영된 3차원의 영상을 입력받을 수 있다.
도 5는 도 4의 S410 단계를 설명하기 위한 예시도이다.
도 5에서 도시한 바와 같이, 의료정보 시각화 시스템(100)은 환자의 3차원 촬영 영상을 입력받으며, 도 5에 나타낸 "A"는 환자의 유두(Nipple)에 해당하고, "B"는 환자의 심장을 나타낸다.
다음으로, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 해부학적 구조물 및 복수의 랜드마크 구조물을 인식하여 3D 영상으로 추출한다(S420).
이때, 의료정보 시각화 시스템(100)은 입력된 3차원 촬영 영상으로부터 해부학적 구조물인 심방 또는 심실과 연결되는 혈관과 랜드마크 구조물인 좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나를 인식하여 3D 영상으로 추출한다.
도 6은 도 4의 S420 단계를 설명한 예시도이다.
도 6에서 도시한 바와 같이, 의료정보 시각화 시스템(100)은 3차원 촬영 영상으로부터 인식된 심방 또는 심실과 연결되는 혈관과 좌우측 유두를 3D 영상으로 추출한다.
이때, 도 6에서 "A"는 환자의 유두를 나타내고, "C"는 심방 또는 심실과 연결되는 혈관을 나타낸다.
다음으로, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 환자를 촬영한 영상의 랜드마크 구조물에 3D 영상에 포함된 랜드마크 구조물의 위치를 정합시킨다(S430).
여기서, 랜드마크 구조물을 좌우측 쇄골 또는 유두라고 가정하면, 의료정보 시각화 시스템(100)은 환자를 촬영한 영상의 좌우측 쇄골 또는 유두의 위치와 3D 영상에 포함된 좌우측 쇄골 또는 유두의 위치를 일치시킨다.
도 7은 도 4의 S430 단계를 설명하기 위한 예시도이다.
도 7에서 나타낸 바와 같이, "A"는 랜드마크 구조물인 환자의 좌우측 유두를 나타내며, 의료정보 시각화 시스템(100)은 환자의 좌우측 유두에 각각 3D 영상에 포함된 좌우측 유두와 일치시킬 수 있다.
이때, 환자의 좌우측 유두에 각각 3D 영상에 표시된 좌우측 유두를 일치시킬 경우, 의료정보 시각화 시스템(100)은 증강현실 디바이스(400)를 이용하여 확대 또는 축소하여 환자의 좌우측 유두와 3D 영상에 포함된 좌우측 유두를 각각 정합시킬 수 있다.
다음으로, 의료정보 시각화 시스템(100)은 뎁스 카메라(200)를 통해 환자의 랜드마크 구조물의 주변 위치와의 거리를 측정하여 3D 영상에 대한 회전값 및 스케일 값을 조절하여 환자를 촬영한 영상 위에 3D 영상을 정합시킨다(S440).
여기서, 랜드마크 구조물이 골반뼈 또는 배꼽일 경우, 의료정보 시각화 시스템(100)은 뎁스 카메라(200)와 쇄골 또는 배꼽 사이의 거리를 측정하고, 랜드마크 구조물이 좌우측 쇄골 또는 유두인 경우, 의료정보 시각화 시스템(100)은 뎁스 카메라(200)와 좌측 쇄골 또는 유두와 우측 쇄골 또는 유두 사이의 중심에서의 거리를 측정한다.
그리고, 의료정보 시각화 시스템(100)은 뎁스 카메라(200)로부터 측정된 거리 값을 이용하여 3D 영상에 대한 회전값 및 스케일 값을 조절하여 환자를 촬영한 영상 위에 3D 영상을 정합시킬 수 있다.
즉, 의료정보 시각화 시스템(100)은 환자를 촬영한 각도에 따라 달라지는 랜드마크 구조물과의 거리를 측정하고, 3D 영상에 대한 회전값 및 스케일 값을 조절하여 촬영된 각도에 따라 달라지는 3D 영상의 위치를 정합시킨다.
다음으로, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 촬영 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스(400)를 통해 표시한다(S450).
이때, 의료정보 시각화 시스템(100)은 증강현실 디바이스(400)를 통해 카테터가 신체 내부로 삽관될 위치를 환자의 신체 상에 증강하여 표시할 수 있다.
예를 들어, 도 7과 같이, 의료정보 시각화 시스템(100)은 증강현실 디바이스(400)를 통해 환자를 촬영한 영상 위에 증강현실 형태로 정합된 심방 또는 심실과 연결되는 혈관을 포함하는 3D 영상을 표시한다.
여기에, 의료정보 시각화 시스템(100)은 카테터 삽관의 현재 위치를 환자의 신체 상에 더 증강하여 표시할 수 있다.
그리고, 환자의 신체 내부에 카테터를 삽관하면, 본 발명의 실시예에 따른 의료정보 시각화 시스템(100)은 카테터의 눈금을 기준으로 삽관된 카테터의 삽관 길이를 비전 카메라(300)를 통해 측정하여 3차원 좌표로 변환한다(S460).
이때, 의료정보 시각화 시스템(100)은 환자의 신체 내부에 삽관되는 카테터의 삽관 길이를 실시간으로 측정하여 3차원 좌표로 변환한다.
도 8은 도 4의 S460 단계 및 S470 단계를 설명하기 위한 도면이다.
도 8에 도시한 바와 같이, 의료정보 시각화 시스템(100)은 비전 카메라(300)를 통해 환자의 신체 내부에 삽관되는 카테터의 길이를 측정하여 3차원 좌표로 변환한다.
그리고, 카테터가 기 설정된 길이까지 삽관되는 경우, 의료정보 시각화 시스템(100)은 의료진에게 시각 또는 청각을 이용하여 알람을 제공한다.
예를 들어, 카테터 삽관될 위치부터 목표 지점까지의 거리가 30cm라고 가정한다.
그러면, 삽관된 카테터의 길이가 30cm에 도달하는 경우, 카테터가 해당 목표 지점까지 삽관된 것으로 볼 수 있으므로, 의료정보 시각화 시스템(100)은 시각 단서(Visual cue) 또는 오디오 소리(Audio sound) 등과 같은 알람을 디스플레이 또는 사운드로 제공할 수 있다.
다음으로, 의료정보 시각화 시스템(100)은 검출된 환자의 신체 내부에 삽관된 카테터의 길이만큼 삽관된 카테터의 현재 위치를 심방 또는 심실과 연결되는 혈관에 해당하는 3D 영상 위에 증강현실 형태로 표시할 수 있다(S470).
이때, 의료정보 시각화 시스템(100)은 S470 단계를 통해 변환된 3차원 좌표를 3D 랜더링 모델을 통해 시각화한다.
그러면, 의료정보 시각화 시스템(100)은 쇄골하정맥으로 삽관되어 상대정맥을 통해 심장으로 진입하는 동안의 카테터의 현재 위치를 증강현실 디바이스(400)를 통해 표시할 수 있다.
따라서, 의료진은 증강현실 디바이스(400)를 통해 표시된 환자를 촬영한 영상 위에 나타난 3D 영상을 확인하여 시술할 수 있다.
이와 같이 본 발명의 실시예에 따르면, 증강현실 형태로 제공된 3D 영상 및 카테터를 통해 환자에 삽관된 카테터의 위치를 추적할 수 있고, 시술자에게 증강현실 디바이스를 통해 카테터의 현재 위치를 제공함으로써, 정확한 의료 시술과 치료가 가능하다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 의료정보 시각화 시스템, 110: 입력부,
120: 3D 생성부, 130: 정합부,
140: 표시부, 200: 뎁스카메라
300: 비전 카메라, 400: 증강현실 디바이스

Claims (16)

  1. 증강현실 기반의 의료정보 시각화 시스템을 이용한 의료정보 시각화 방법에 있어서,
    대상이 되는 환자의 3차원 촬영 영상을 입력받는 단계,
    상기 입력된 3차원 촬영 영상으로부터 해부학적 구조물 및 복수의 랜드마크 구조물을 인식하여 해부학적 구조물 및 랜드마크 구조물을 3D 영상으로 추출하는 단계,
    상기 환자를 촬영한 영상의 랜드마크 구조물에 상기 3D 영상에 포함된 랜드마크 구조물의 위치를 정합시키는 단계,
    뎁스 카메라를 이용하여 상기 환자의 랜드마크 구조물의 주변 위치와의 거리를 측정하여 상기 3D 영상에 대한 회전값 및 스케일 값을 조절하여 상기 환자를 촬영한 영상 위에 상기 3D 영상을 정합시키는 단계, 그리고
    상기 촬영 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스를 통해 시각화하는 단계를 포함하는 의료정보 시각화 방법.
  2. 제1항에 있어서,
    상기 증강현실 디바이스를 통해 시각화하는 단계는,
    상기 증강현실 디바이스를 통해 카테터가 신체 내부로 삽관될 위치를 환자의 신체 상에 증강하는 단계,
    상기 환자의 신체 내부에 카테터를 삽관하면, 카테터의 눈금을 기준으로 삽관된 카테터의 길이를 비전 카메라를 통해 검출하는 단계, 그리고
    상기 환자의 신체 내부에 삽관된 카테터의 현재 위치를 상기 해부학적 구조물에 해당하는 3D 영상 위에 증강현실 형태로 시각화하는 단계를 더 포함하는 의료정보 시각화 방법.
  3. 제2항에 있어서,
    상기 3차원 좌표로 변환하는 단계는,
    상기 삽관된 카테터의 삽관 길이가 기 설정된 목표 길이에 도달하는 경우, 시각 또는 청각을 이용하여 알람을 제공하는 의료정보 시각화 방법.
  4. 제2항에 있어서,
    상기 카테터는 히크만카테터 또는 중심정맥 카테터인 의료정보 시각화 방법.
  5. 제1항에 있어서,
    상기 해부학적 구조물은,
    심방 또는 심실과 연결되는 혈관을 포함하는 의료정보 시각화 방법.
  6. 제1항에 있어서,
    상기 랜드마크 구조물은,
    좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나를 포함하는 의료정보 시각화 방법.
  7. 제6항에 있어서,
    상기 랜드마크 구조물이 좌우측 쇄골 또는 유두인 경우,
    상기 랜드마크 구조물의 주변 위치는 좌측 쇄골 또는 유두와 우측 쇄골 또는 유두 사이의 중심에 해당하는 의료정보 시각화 방법.
  8. 제1항에 있어서,
    상기 증강현실 디바이스는,
    안경 형태의 HMD(Head Mounted Display) 또는 모바일 기기 또는 PC 형태로 구현되는 의료정보 시각화 방법.
  9. 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템에 있어서,
    대상이 되는 환자의 3차원 촬영 영상을 입력받는 입력부,
    상기 입력된 3차원 촬영 영상으로부터 해부학적 구조물 및 복수의 랜드마크 구조물을 인식하여 해부학적 구조물 및 랜드마크 구조물을 3D 영상으로 추출하는 3D 생성부,
    상기 환자를 촬영한 영상의 랜드마크 구조물에 상기 3D 영상에 포함된 랜드마크 구조물의 위치를 정합시키고, 뎁스 카메라를 이용하여 상기 환자의 랜드마크 구조물의 주변 위치와의 거리를 측정하여 상기 3D 영상에 대한 회전값 및 스케일 값을 조절하여 상기 환자를 촬영한 영상 위에 상기 3D 영상을 정합시키는 정합부, 그리고
    상기 촬영 영상 위에 증강현실 형태로 정합된 3D 영상을 증강현실 디바이스를 통해 시각화하는 표시부를 포함하는 의료정보 시각화 시스템.
  10. 제9항에 있어서,
    상기 표시부는,
    상기 증강현실 디바이스를 통해 카테터가 신체 내부로 삽관될 위치를 환자의 신체 상에 증강하고, 상기 환자의 신체 내부에 카테터를 삽관하면, 카테터의 눈금을 기준으로 삽관된 카테터의 길이를 비전 카메라를 통해 검출하며, 상기 환자의 신체 내부에 삽관된 카테터의 현재 위치를 상기 해부학적 구조물에 해당하는 3D 영상 위에 증강현실 형태로 시각화하는 의료정보 시각화 시스템.
  11. 제10항에 있어서,
    상기 표시부는,
    상기 삽관된 카테터의 삽관 길이가 기 설정된 목표 길이에 도달하는 경우, 시각 또는 청각을 이용하여 알람을 제공하는 의료정보 시각화 시스템.
  12. 제10항에 있어서,
    상기 카테터는 히크만카테터 또는 중심정맥 카테터인 의료정보 시각화 시스템.
  13. 제9항에 있어서,
    상기 해부학적 구조물은,
    심방 또는 심실과 연결되는 혈관을 포함하는 의료정보 시각화 시스템.
  14. 제9항에 있어서,
    상기 랜드마크 구조물은,
    좌우측 쇄골, 좌우측 유두, 골반뼈, 배꼽 중에서 적어도 하나를 포함하는 의료정보 시각화 시스템.
  15. 제14항에 있어서,
    상기 랜드마크 구조물이 좌우측 쇄골 또는 유두인 경우,
    상기 랜드마크 구조물의 주변 위치는 좌측 쇄골 또는 유두와 우측 쇄골 또는 유두 사이의 중심에 해당하는 의료정보 시각화 시스템.
  16. 제9항에 있어서,
    상기 증강현실 디바이스는,
    안경 형태의 HMD(Head Mounted Display) 또는 모바일 기기 또는 PC 형태로 구현되는 의료정보 시각화 시스템.
KR1020210174561A 2021-04-22 2021-12-08 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법 KR20220145747A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/019928 WO2022225132A1 (ko) 2021-04-22 2021-12-27 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210052064 2021-04-22
KR1020210052064 2021-04-22

Publications (1)

Publication Number Publication Date
KR20220145747A true KR20220145747A (ko) 2022-10-31

Family

ID=83803145

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210174561A KR20220145747A (ko) 2021-04-22 2021-12-08 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20220145747A (ko)

Similar Documents

Publication Publication Date Title
KR101572487B1 (ko) 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
TWI741359B (zh) 與手術導航系統整合之混合實境系統
US5912720A (en) Technique for creating an ophthalmic augmented reality environment
US20140031668A1 (en) Surgical and Medical Instrument Tracking Using a Depth-Sensing Device
Sielhorst et al. Advanced medical displays: A literature review of augmented reality
US20220039873A1 (en) Ultrasound guidance system and method
CA2892554A1 (en) System and method for dynamic validation, correction of registration for surgical navigation
WO2012033739A2 (en) Surgical and medical instrument tracking using a depth-sensing device
EP2901935B1 (en) Method and device for generating virtual endoscope image, and program
CN110584782B (zh) 医学图像处理方法、装置、医学系统、计算机及存储介质
EP2901934B1 (en) Method and device for generating virtual endoscope image, and program
WO2015148529A1 (en) Interactive systems and methods for real-time laparoscopic navigation
US20230102908A1 (en) Registration of an image with a tracking system
KR20220164463A (ko) 깊이 카메라를 이용한 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
Eom et al. AR-assisted surgical guidance system for ventriculostomy
Zhu et al. A neuroendoscopic navigation system based on dual-mode augmented reality for minimally invasive surgical treatment of hypertensive intracerebral hemorrhage
KR101988531B1 (ko) 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
Andrea et al. Validation of stereo vision based liver surface reconstruction for image guided surgery
KR20220145747A (ko) 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법
KR20210069542A (ko) 가상의 수술 도구를 이용하는 수술 보조 시스템 및 방법
Zhang et al. From AR to AI: augmentation technology for intelligent surgery and medical treatments
WO2022225132A1 (ko) 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법
US20230116175A1 (en) System and method for a target reconstruction process
EP3788981B1 (en) Systems for providing surgical guidance
Kuroda et al. Visual and haptic augmentation technologies for surgical navigation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal