KR20210086871A - 의료 영상을 이용하는 중재시술 시스템 및 방법 - Google Patents

의료 영상을 이용하는 중재시술 시스템 및 방법 Download PDF

Info

Publication number
KR20210086871A
KR20210086871A KR1020190179240A KR20190179240A KR20210086871A KR 20210086871 A KR20210086871 A KR 20210086871A KR 1020190179240 A KR1020190179240 A KR 1020190179240A KR 20190179240 A KR20190179240 A KR 20190179240A KR 20210086871 A KR20210086871 A KR 20210086871A
Authority
KR
South Korea
Prior art keywords
image
anatomical structure
operating room
medical
operative
Prior art date
Application number
KR1020190179240A
Other languages
English (en)
Other versions
KR102467282B1 (ko
Inventor
서현기
유동훈
이재연
김병수
김현우
김지민
Original Assignee
주식회사 코어라인소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코어라인소프트 filed Critical 주식회사 코어라인소프트
Priority to KR1020190179240A priority Critical patent/KR102467282B1/ko
Priority to US17/139,361 priority patent/US20210196387A1/en
Publication of KR20210086871A publication Critical patent/KR20210086871A/ko
Application granted granted Critical
Publication of KR102467282B1 publication Critical patent/KR102467282B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Abstract

의료 영상을 이용하는 중재시술 시스템이 개시된다. 본 발명의 일 실시예에 따른 시스템은 로봇 암의 의료 도구가 삽입 경로를 따르도록 제어하는 마스터 장치; 상기 의료 도구의 상기 삽입 경로를 포함하는 수술 계획이 수술 현장에서 수술 전 획득되는 수술전 영상에 이전되도록 상기 수술 계획이 설정된 계획 영상과 상기 수술전 영상을 정합하고, 상기 수술전 영상과 상기 수술 현장에서 수술 도중 획득되는 수술장 영상을 정합하는 영상 처리 장치; 및 상기 영상 처리 장치와 연동되어 상기 수술 계획이 이전된 상기 수술전 영상 및 상기 수술장 영상을 이용하여 상기 수술 계획에 따라 상기 로봇 암이 동작할 때 목표점에 대한 상기 의료 도구의 끝의 예상 도달 위치를 시각화하는 사용자 인터페이스 장치를 포함하고, 상기 영상 처리 장치는 상기 수술전 영상 내의 제1 영역 및 제2 영역을 구분하고, 상기 제1 영역에 대해서는 영상 분할(image segmentation)을 수행하여 제2 해부학적 구조를 식별하고, 상기 제2 영역에 대해서는 상기 제2 영역 내의 제3 해부학적 구조와 상기 계획 영상 내에서 상기 제3 해부학적 구조와 대응하는 제1 해부학적 구조를 정합한다.

Description

의료 영상을 이용하는 중재시술 시스템 및 방법 {SYSTEM AND METHOD OF INTERVENTIONAL PROCEDURE USING MEDICAL IMAGES}
본 발명은 의료 영상을 이용하는 중재시술 시스템 및 방법에 관한 것이다. 구체적으로는 본 발명은 중재시술 시스템 및 방법의 계획 단계 및 시술 단계의 통합 워크플로우에 관한 것이며, 중재시술 시스템 및 방법을 지원하는 컴퓨팅 시스템 및 그 컴퓨팅 시스템에서 실행되는 소프트웨어에 관한 것이다.
본 발명은 산업통상자원부 및 한국산업기술평가관리원의 로봇산업핵심기술개발(R&D) 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 1415162041, 과제명: 중재시술 로봇시스템의 임상시험 실시를 통한 상용화 개발 및 제품의 경쟁력 강화를 위한 기술 고도화].
의료 영상 기반 생체검사(Biopsy)는 주위의 정상조직에 대한 피해를 최소화하고, 비정상 병변의 병리적 진단에 필요한 샘플을 뽑아내는 중재시술(interventional procedure)로서, 부신, 췌장, 림프절 등의 후 복막, 복강 내 여러 장기, 폐, 종격동, 척추, 사지골 등의 부위에 광범위하게 적용된다. 의료 영상 기반 생체검사는, 해상도가 높은 영상을 이용하여 병변 부위를 섬세하게 3차원적으로 지역화(localization) 하고 조직 내에 진입한 생검 바늘(Biopsy Needle)을 볼 수 있어서 작은 크기의 병변 감지가 용이하다.
의료 영상 기반 생체검사를 시행하는 시술장에서는 CT 또는 C-arm 플루오로스코피(fluoroscopy) 장치 및 그 영상을 이용하여, 생검 바늘의 삽입 경로가 가이드될 수 있는데, 예컨대, 삽입 경로의 계획에서 환자 몸에 생검 바늘의 진입 각도 및 삽입점을 정함으로써 생검 바늘의 삽입 경로를 정확히 계획할 수 있다. 환자가 시술장에 들어와서, 수술이 시작되면, 시술장에 놓인 이미지 획득 장치(예: Fluoroscopy 장치, CBCT 장치)를 계획된 경로, 즉 생검 바늘이 삽입될 방위와 동일한 방위로 맞춘다.
상기 생체검사 과정에서 생검 바늘을 정확히 가이드하기 위해 항법 뷰가 사용된다. 예를 들어, Surgeon's Eye View와 같은 항법 뷰(navigation view)에서는 생검 바늘로 삽입점(entry point)을 찌르면, 타겟(target)의 센터포인트가 보이고, 삽입점을 기준으로 생검 바늘이 점처럼 보인다. 이러한 항법 뷰에서는 타겟이 한 점으로 표시되고, 한 점을 중심으로 원이 그려져 있다. 여기서 삽입 경로의 계획에 따라 어떠한 각도로 몇 밀리미터를 찌르는 것을 계획할 수 있다.
그러나 최근에는 종양(tumor)이 균질한 것이 아니라 종양 내의 각 부위에 따라 종양의 생물학적 성질(예: DNA mutation, 악성도)이 다르다(heterogeneous)는 것이 정설로 받아짐에 따라, 어느 부위에서 조직을 채취했느냐가 종양의 진단, 종양의 치료효과 예측 및 환자의 예후 추정에 있어서 중요한 이슈가 되고 있다. 예컨대, 종양의 가장 자리에는 액티브한 종양 셀(cancer cell)이 위치하고, 종양의 내부는 괴사되어, 종양 셀이 없는 경우(necrosis)가 있어서, 종양의 중심을 목표로 생검 바늘을 삽입할 경우, 위음성으로 잘못 진단 되는 오류가 발생할 수 있는 것이다. 따라서 시술자가 이러한 이질성을 가지는 종양을 생체검사하기 위해 플루오로스코피 영상을 보면서 경험에 의해 감각적으로 종양의 외연 부위를 의도적으로 찌르는 경우도 있다. 그러나 시술자가 종양의 한가운데를 계획대로 찌르는 것도 쉽지 않은데, 상대적으로 고난도의 종양 가장 자리에 분포하는 종양 셀을 정확히 생체검사하는 것은 기술적으로 매우 어려울 수 있다.
또한, 이질적인 종양은 복수의 목표점에서 생체검사를 수행하는 멀티 스팟(multi-spot)으로 생체검사하고, 생체검사 위치와 샘플의 특성을 매칭하여 종양에서 위치에 따른 조직의 성질을 나타내는 맵을 작성하는 것이 의료적으로 매우 중요한데, 시술자의 경험에 의해 멀티 스팟으로 생체검사하는 것은 더욱 어렵다.
의료 영상을 이용하는 중재시술의 편의성을 개선하기 위한 시도로서 한국등록특허 KR 10-1758741호 "의료 영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템"이 소개되었고, 타겟의 다양성과 이질성을 반영하여 수술 도구 및 워크플로우를 개선하고자 하는 시도가 한국등록특허 KR 10-18621333호 "바늘 삽입형 중재시술 로봇 장치"가 소개된 바 있다.
그런데 수술 현장에서 획득되는 수술전 영상(Pre-OP images)은 사전에 획득되는 계획 영상(Plan images)보다 해상도가 낮고, 실시간으로 획득되는 수술장 영상(Intra-OP images 또는 fluoroscopy)은 방사능 노출 위험을 낮추기 위하여 더욱 해상도가 낮다. 낮은 해상도에도 불구하고 영상 간 정합(image registration) 및 연동이 빠르게 이루어져야 하기 때문에 제한된 시간 이내에 높은 정확도를 확보하기 어려운 상황이다.
한국등록특허 KR 10-1954868호 "혈관 중재 시술을 위한 내비게이션 시스템 및 가상의 엑스선 이미지 생성 방법"에서는 3차원 이미지의 국소 모델을 생성하고, 국소 모델과 환자의 시술 중에 촬영되는 실제의 엑스선 이미지에 국소 모델을 정합하는(registering a local model into real X-ray images) 구성이 소개된다. 국소 모델을 이용하여 빠르게 정합함으로써 제한된 시간 내에 영상 간 연동의 3차원 공간 상의 매핑 정확도를 높이려는 시도이지만, 여전히 계획 단계의 고해상도 영상과 실제 수술 현장에서 얻어지는 저해상도 영상 간의 연동 시 정확도가 떨어지는 문제점이 있다.
빠르게 영상을 정합하고 분류하려는 시도로서 수행한국등록특허 KR 10-1464330호 "수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법"에서는 수술전 이미지 템플릿과 수술장 이미지 템플릿을 이용하여 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 구성이 소개된다.
다만 상기 선행기술은 이미지 템플릿을 이용하기 때문에 실제 현장의 타겟의 다양성과 이질성에 대응하기가 쉽지 않다.
한국등록특허 KR 10-1758741호 "의료 영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템" (2017.07.14) 한국등록특허 KR 10-18621333호 "바늘 삽입형 중재시술 로봇 장치" (2018.05.29) 한국등록특허 KR 10-1954868호 "혈관 중재 시술을 위한 내비게이션 시스템 및 가상의 엑스선 이미지 생성 방법" (2019.02.27) 한국등록특허 KR 10-1464330호 "수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법" (2014.11.17)
중재 시술 현장에서 제한된 시간 내에 계획 영상(Plan images), 수술전 영상(Pre-OP images), 수술장 영상(Intra-OP images 또는 fluoroscopy)을 빠르고 정확하게 정합하고(registering, registration) 연동하기 위하여, 개선된 워크플로우가 필요하다.
빠르고 정확하면서도 실제 현장의 타겟의 다양성과 이질성에 대응할 수 있어야 하고, 수술 현장에서 얻어지는 영상의 해상도 등 환경에 강인한(robust) 영상 처리 기법이 적용된 통합 워크플로우에 대한 요구가 있다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하고자 도출된 것으로서, 계획 단계와 시술 단계의 워크플로우를 통합 소프트웨어 및 통합된 컴퓨팅 시스템에서 제공할 수 있는 중재시술 시스템을 제안하고, 중재시술 시스템에서 수행되는 중재시술 가이드 방법을 제안하는 것을 목적으로 한다.
종래 기술 중 한국등록특허 KR 10-1954868호 "혈관 중재 시술을 위한 내비게이션 시스템 및 가상의 엑스선 이미지 생성 방법"에서와 같이 국소 모델만을 이용하여 정합하는 경우, 수술 현장의 수술 도구가 주변 장기를 침범하거나 경로를 벗어나는 경우를 정확히 식별, 검출할 수가 없어서 이러한 사고를 사전에 예방할 수 없으며, 국소 모델만이 아닌 주변의 해부학적 구조에 대한 정보도 반드시 활용되어야 한다.
본 발명은 수술장 영상 내의 해부학적 구조와 가장 유사도가 높은 수술전 영상(Pre-OP images)의 해부학적 구조 정보를 활용하며, 낮은 해상도로 인하여 부족한 정보 및 수술 계획 데이터와의 연동은 높은 해상도를 가지는 계획 영상(Plan images)과의 정합 및 연동으로 대응하는 의료 영상을 이용하는 중재 시술 시스템 및 방법을 제안하는 것을 목적으로 한다.
본 발명은 수술 계획 및 계획 영상이 존재하는 경우에 높은 해상도에 기반하여 수술장 영상 내의 해부학적 구조, 수술 도구의 현재 위치 및 진행 방향 간의 관련도에 대한 정확한 정보를 획득할 수 있는 의료 영상을 이용하는 중재 시술 시스템 및 방법을 제안하는 것을 목적으로 한다.
본 발명은 수술 계획 및 계획 영상이 존재하지 않는 경우에도 수술전 영상의 해부학적 구조 정보를 활용하며 수술장 영상 내의 해부학적 구조, 수술 도구의 현재 위치 및 진행 방향 간의 관련도에 대한 정확한 정보를 획득하고 중재 시술의 안전성을 높일 수 있는 의료 영상을 이용하는 중재 시술 시스템 및 방법을 제안하는 것을 목적으로 한다.
본 발명은 수술 전 계획 단계, 수술 현장에서 수술 전의 수술전 영상, 수술 도중의 수술장 영상을 이용하여 수술 도구의 3차원 해부학적 공간 내의 위치 및 진행 방향을 파악할 수 있으므로, 부가적인 위치 추적기, 환자에 부착되는 센서, 또는 내비게이션 시스템을 필요로 하지 않거나 최소화할 수 있는 의료 영상을 이용하는 중재 시술 시스템 및 방법을 제안하는 것을 목적으로 한다.
본 발명은 상기의 목적을 달성하기 위하여 도출된 구성으로서, 본 발명의 일 실시예에 따른 의료 영상을 이용하는 중재시술 시스템은 환자를 지지하는 환자 테이블의 측면에 위치하며 이동 가능한 로봇 베이스; 의료 도구(medical tool or end effector)를 구비하며 의료 도구가 삽입 경로(intervention trajectories)를 따르도록 동작하는 로봇 암; 로봇 암의 의료 도구가 삽입 경로(intervention trajectories)를 따르도록 제어하는 마스터 장치; 의료 도구의 삽입 경로를 포함하는 수술 계획이 수술 현장에서 수술 전 획득되는 수술전 영상(Pre-OP images)에 이전되도록 수술 계획이 설정된 계획 영상(Plan images)과 수술전 영상을 정합하고(registering Pre-OP images and Plan Images), 수술전 영상과 수술 현장에서 수술 도중 획득되는 수술장 영상(Intra-OP images)을 정합하는 영상 처리 장치; 및 영상 처리 장치와 연동되어 수술 계획이 이전된 수술전 영상 및 수술장 영상을 이용하여 수술 계획에 따라 로봇 암이 동작할 때 목표점에 대한 의료 도구의 끝의 예상 도달 위치를 시각화하는 사용자 인터페이스 장치를 포함한다. 영상 처리 장치는 수술전 영상(Pre-OP images) 내의 제1 영역 및 제2 영역을 구분하고, 제1 영역에 대해서는 영상 분할(image segmentation)을 수행하여 제2 해부학적 구조를 식별하고, 제2 영역에 대해서는 제2 영역 내의 제3 해부학적 구조와 계획 영상 내에서 제3 해부학적 구조와 대응하는 제1 해부학적 구조를 정합한다.
영상 처리 장치는 수술 계획과의 관련도에 기반하여 수술전 영상 내의 제1 영역 및 제2 영역을 구분할 수 있다.
영상 처리 장치는 제2 해부학적 구조 및 제3 해부학적 구조의 수술전 영상 내 특성에 기반하여 수술전 영상 내의 제1 영역 및 제2 영역을 구분할 수 있다.
영상 처리 장치는 계획 영상 내의 제1 해부학적 구조를 분할하고, 수술 계획에 포함되는 삽입 경로를 제1 해부학적 구조에 매핑할 수 있다.
영상 처리 장치는 수술전 영상과 수술장 영상을 정합함으로써, 수술장 영상 내의 수술 도구의 현재 위치, 및 진행하는 방향을 수술전 영상 내에서 식별되는 수술 계획 상의 삽입 경로와 비교하고, 수술장 영상 내의 수술 도구가 수술전 영상 내에서 식별되는 해부학적 구조를 침범하는 지 여부를 판정할 수 있다.
본 발명의 일 실시예에 따른 의료 영상을 이용하는 중재시술 시스템은, 환자를 지지하는 환자 테이블의 측면에 위치하며 이동 가능한 로봇 베이스; 의료 도구를 구비하며 의료 도구가 삽입 경로를 따르도록 동작하는 로봇 암; 로봇 암의 의료 도구를 설정하며 의료 도구가 삽입 경로를 따르도록 제어하는 마스터 장치; 수술 현장에서 수술 전 획득되는 수술전 영상과 수술 현장에서 수술 도중 획득되는 수술장 영상을 정합하는 영상 처리 장치; 및 영상 처리 장치와 연동되어 수술장 영상을 이용하여 삽입 경로에 따라 로봇 암이 동작할 때 목표점에 대한 의료 도구의 끝의 예상 도달 위치를 시각화하는 사용자 인터페이스 장치를 포함한다. 영상 처리 장치는 수술전 영상에 대한 영상 분할(image segmentation)을 수행하여 수술전 영상 내의 제4 해부학적 구조를 식별하고, 수술장 영상 내에서 식별되는 제5 해부학적 구조와 수술전 영상 내의 제4 해부학적 구조를 정합한다.
영상 처리 장치는 수술전 영상과 수술장 영상을 정합함으로써, 수술장 영상 내의 수술 도구의 현재 위치, 및 진행하는 방향에 기반하여 수술장 영상 내의 수술 도구가 수술전 영상 내에서 식별되는 해부학적 구조를 침범하는 지 여부를 판정할 수 있다.
본 발명의 일 실시예에 따른 의료 영상을 이용하는 중재시술 방법은 컴퓨팅 시스템에 의하여 실행된다. 본 발명의 방법은 환자에 대한 계획 영상을 획득하거나 수신하는 단계; 계획 영상에 대한 영상 분할(image segmentation)을 수행하고, 계획 영상 내의 제1 해부학적 구조를 식별하는 단계; 계획 영상에 기반하여 수술 도구의 삽입 경로를 포함하는 수술 계획을 설정하는 단계; 수술 계획을 제1 해부학적 구조에 매핑하고 저장하는 단계; 저장된 수술 계획을 로드하는 단계; 수술장 내에서 수술 전에 획득되는 수술전 영상을 획득하거나 수신하는 단계; 계획 영상 및 수술전 영상을 정합함으로써 수술 계획을 수술전 영상으로 이전하는 단계; 수술장 내에서 수술 도중 획득되는 수술장 영상을 획득하거나 수신하는 단계; 및 수술전 영상 및 수술장 영상을 정합함으로써 수술장 영상 내에서 식별되는 수술 도구의 현재 위치 및 진행 경로를 수술전 영상 내의 해부학적 구조 상에 매핑하는 단계; 를 포함한다.
계획 영상 및 수술전 영상을 정합함으로써 수술 계획을 수술전 영상으로 이전하는 단계는 수술전 영상 내의 제1 영역 및 제2 영역을 구분하고, 제1 영역에 대해서는 영상 분할(image segmentation)을 수행하여 제2 해부학적 구조를 식별하고, 제2 영역에 대해서는 계획 영상 내의 제1 해부학적 구조와, 제1 해부학적 구조에 대응하는 제2 영역 내의 제3 해부학적 구조를 정합할 수 있다.
본 발명의 일 실시예에 따른 의료 영상을 이용하는 중재시술 방법은 컴퓨팅 시스템에 의하여 실행된다. 본 발명의 방법은 수술장 내에서 수술 전에 획득되는 수술전 영상을 획득하거나 수신하는 단계; 수술장 내에서 수술 도중 획득되는 수술장 영상을 획득하거나 수신하는 단계; 수술전 영상 및 수술장 영상을 정합하는 단계; 및 수술장 영상 내에서 식별되는 수술 도구의 현재 위치 및 진행 경로를 수술전 영상 내의 해부학적 구조 상에 매핑하는 단계; 를 포함한다.
수술전 영상 및 수술장 영상을 정합하는 단계는 수술전 영상에 대한 영상 분할(image segmentation)을 수행하여 수술전 영상 내의 제4 해부학적 구조를 식별하고, 수술장 영상 내에서 식별되는 제5 해부학적 구조와 수술전 영상 내의 제4 해부학적 구조를 정합할 수 있다.
본 발명의 의료 영상을 이용하는 중재시술 시스템에 따르면, 계획 단계와 시술 단계의 워크플로우를 통합 소프트웨어 및 통합된 컴퓨팅 시스템에서 제공할 수 있다.
본 발명의 의료 영상을 이용하는 중재시술 시스템에 따르면, 수술장 영상 내의 해부학적 구조와 가장 유사도가 높은 수술전 영상(Pre-OP images)의 해부학적 구조 정보를 활용하며, 낮은 해상도로 인하여 부족한 정보 및 수술 계획 데이터와의 연동은 높은 해상도를 가지는 계획 영상(Plan images)과의 정합 및 연동으로 대응할 수 있다.
본 발명의 의료 영상을 이용하는 중재시술 시스템에 따르면, 수술 계획 및 계획 영상이 존재하는 경우에 높은 해상도에 기반하여 수술장 영상 내의 해부학적 구조, 수술 도구의 현재 위치 및 진행 방향 간의 관련도에 대한 정확한 정보를 획득할 수 있다.
본 발명의 의료 영상을 이용하는 중재시술 시스템에 따르면, 수술 계획 및 계획 영상이 존재하지 않는 경우에도 수술전 영상의 해부학적 구조 정보를 활용하며 수술장 영상 내의 해부학적 구조, 수술 도구의 현재 위치 및 진행 방향 간의 관련도에 대한 정확한 정보를 획득하고 중재 시술의 안전성을 높일 수 있다.
본 발명의 의료 영상을 이용하는 중재시술 시스템에 따르면, 수술 전 계획 단계, 수술 현장에서 수술 전의 수술전 영상, 수술 도중의 수술장 영상을 이용하여 수술 도구의 3차원 해부학적 공간 내의 위치 및 진행 방향을 파악할 수 있으므로, 부가적인 위치 추적기, 환자에 부착되는 센서, 또는 내비게이션 시스템을 필요로 하지 않거나 최소화할 수 있다.
본 발명의 의료 영상을 이용하는 중재시술 시스템에 따르면, 3차원 해부학적 정보 및 3차원 공간 정보를 포함하는 수술전 영상에 실시간으로 획득되는 수술장 영상을 정합함으로써 3차원 정보의 손실 없이 실시간으로 획득되는 수술 도구의 현재 위치 및 진행 방향을 3차원 해부학적 정보 및 3차원 공간 정보와 비교할 수 있다. 따라서 본 발명에 따르면 수술 도구의 현재 위치 및 진행 방향이 수술 계획 또는 권장되는 삽입 경로를 벗어나거나 다른 장기를 침범하고 있는지, 또는 향후 침범할 가능성이 높은 지를 효과적으로 판정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 의료 영상을 이용하는 중재시술 시스템의 개요를 도시하는 도면이다.
도 2는 도 1의 중재시술 시스템에서 실행되는 본 발명의 일 실시예에 따른 중재시술 방법 중 계획 단계를 도시하는 동작 흐름도이다.
도 3은 도 2의 중재시술 방법의 계획 단계 중 계획 영상을 분할하는 과정을 도시하는 도면이다.
도 4는 도 2의 중재시술 방법의 계획 단계 중 중재 삽입 경로(Intervention Trajectories)를 계획하는 과정을 도시하는 도면이다.
도 5는 도 1의 중재시술 시스템에서 실행되는 본 발명의 일 실시예에 따른 중재시술 방법 중 시술 단계를 도시하는 동작 흐름도이다.
도 6은 도 5의 중재시술 방법의 시술 단계 중 수술 계획 데이터를 로드하는 과정을 도시하는 도면이다.
도 7은 도 5의 중재시술 방법의 시술 단계 중 수술전 영상(Pre-OP images)을 로드하여 디스플레이하는 과정을 도시하는 도면이다.
도 8은 도 5의 중재시술 방법의 시술 단계 중 수술 계획 데이터를 수술전 영상(Pre-OP images)에 이전하여 디스플레이하는 과정을 도시하는 도면이다.
도 9는 도 5의 중재시술 방법의 시술 단계 중 수술장 영상(fluoroscopy, fluoro images)을 디스플레이하는 과정을 도시하는 도면이다.
도 10은 도 1의 중재시술 시스템에서 실행되는 본 발명의 일 실시예에 따른 중재시술 방법으로서, 계획 단계를 수행하는 소프트웨어와 시술 단계를 수행하는 소프트웨어가 통합되어 수행되는 워크플로우를 도시하는 동작 흐름도이다.
상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 기술 분야의 공지 기술로서 특히 의료 영상에 의하여 가이드되는 중재 시술의 워크플로우 및/또는 중재 시술을 수행하는 자동화된 로봇 시스템에 대한 구체적인 사항은 앞서 언급한 한국등록특허 KR 10-1758741호 "의료 영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템" 및 한국등록특허 KR 10-18621333호 "바늘 삽입형 중재시술 로봇 장치" (2018.05.29)에 의하여 개시된다. 이들 공지 기술의 하드웨어, 소프트웨어 및 워크플로우는 본 발명의 구체적인 실시를 위하여 본 발명의 구성의 일부와 결합될 수 있다.
도 1은 본 발명의 일 실시예에 따른 의료 영상을 이용하는 중재시술 시스템의 개요를 도시하는 도면이다. 중재시술 시스템은 생검(biopsy), 어블레이션 및 마취 시술 등을 위해 CT 등의 영상 획득 장치와 연결되어 획득된 영상을 사용자에게 보여주고, 사용자가 직접 천자침, 생검 바늘(biopsy needle), 또는 어블레이터의 삽입 위치와 깊이 등을 지정한 후에, 실제 시술 기구의 위치와 방향을 안내하고, 마스터 장치(130) 및 마스터 콘솔(110)을 이용하여 바늘을 제어하여 인체 내부에 삽입하여 경로를 조정하는 자동화 시스템 로봇 수술 장치이다.
도 1을 참조하면, 의료 영상을 이용하는 중재시술 시스템은 하나 이상의 관절을 가지는 로봇 암(160), 시술 전 영상을 기반으로 시술계획을 하거나, 실시간으로 로봇 암(160)을 제어하는 마스터 장치(130) 및 이동형 마스터 콘솔(110), 및 로봇 암(160)에 부착된 바늘 삽입 엔드 이펙터(150)의 움직임, 환자의 위치, 자세 등을 모니터하고 디스플레이하며 의료 전문가인 사용자가 조작할 수 있도록 하는 시술자 유저 인터페이스(SUI)(120)를 포함한다.
로봇 암(160)은 슬레이브 로봇(slave robot)의 일부일 수 있으며, 엔드 이펙터(end-effector)(150)가 로봇 암(160)의 끝에 장착될 수 있다. 의료 도구가 엔드 이펙터(150)에 장착될 수 있으며 시술 자동화를 위하여 엔드 이펙터(150)는 의료 도구에 직접 동력을 전달하여 의료 도구를 구동할 수 있다. 의료 도구는 교체 가능한 형태일 수 있고, 여러 개의 의료 도구가 하나의 엔드 이펙터에 장착되어 한 번의 시술에서 동시에 사용될 수 있도록 결합된 구조를 가질 수 있다. 의료 도구는 초소형 센서를 구비할 수 있으며, 컴퓨팅 시스템인 마스터 콘솔(110)에 정보 전달이 가능하도록 통신 모듈이 구비될 수 있다.
의료 도구는 생검 바늘(예: biopsy needle), 리드(예: Deep Brain Stimulation용 리드(lead)), 프로브(probe), 카테터(catheter) 등의 의료 디바이스(medical device)일 수 있다. 물론, 로봇 암(160)에 장착되는 의료 도구가 이에 한정되는 것은 아니다. 이하, 본 예에서는 주로 생검 바늘을 예로 설명한다. 생검 바늘은 조직 채취용 바늘(예: 이너 스타일렛; Inner stylet; 도 1 참조), 및 조직 채취용 바늘을 가이드하는 가이드 바늘(예: 시스; Sheath)로 구성되거나, 가이드 바늘만으로 구성될 수 있다.
수술 현장에서의 이미지 획득 장치(도시되지 않음)는 CT 장치, C-arm 플루오로스코피(fluoroscopy) 장치 등이 사용될 수 있다. 예를 들어, CT 장치의 내외로 테이블이 환자를 이동시킨다. 로봇 암(160)은 테이블 옆에서 이동 가능한 로봇 베이스(140)에 장착되어 움직이며, 일부가 CT 장치 내로 들어가거나 나올 수 있다.
마스터 콘솔(110)은 CT 장치 및 로봇 암(160)과 연동되어 있고, 실시간 영상 정합을 수행하는 영상 처리 장치와 연동된다. 영상 처리 장치는 별도의 컴퓨팅 시스템으로 구현될 수도 있고, 마스터 콘솔(110) 내부에 포함될 수도 있다. 영상 처리 장치가 마스터 콘솔(110) 내부에 포함되는 경우에는 마스터 콘솔(110)에서 실행되는 영상 처리 소프트웨어에 의하여 실시간 영상 정합(real-time image registration)이 구현될 수도 있다.
마스터 장치(130)는 사용자의 입력 및 제어 명령을 수신하는 인터페이스를 포함할 수 있다. 마스터 장치(130)에는 실감 햅틱(haptic)이 적용되어 생검 바늘이 목표에 삽입되어 장애물을 만나거나, 필요에 의해 일정 지점을 알리는 신호를 줄 필요가 있는 경우, 장애물이 생검 바늘에 미치는 힘 혹은 특정지점에 대한 신호를 위한 진동 반응을 마스터 장치(130)에 줄 수 있다. 또한, 이를 이용하여 중재시술 훈련용으로도 사용될 수 있다. 본 발명의 일 실시예에서는 생검 바늘의 현재 위치 및 진행 방향이 수술 계획 또는 권장되는 삽입 경로(intervention trajectories)를 벗어나거나, 다른 장기를 침범하거나, 또는 그럴 것으로 예상되는 경우에 알람으로도 진동 반응을 마스터 장치(130)에 줄 수 있다.
시술자 유저 인터페이스(120)는 수술 계획, 실시간 수술장 영상(Intra-OP images), 수술전 영상(Pre-OP Images) 등을 디스플레이하고, 생검 바늘의 현재 위치 및 진행 방향을 디스플레이함으로써 중재시술을 안전하고 정확하게 가이드하고, 중재시술의 편의성을 향상시킬 수 있다.
수술 계획이 수립되고, 수술 계획에 따른 중재시술이 진행되면, 로봇 암(160)은 엔드 이펙터(150)에 부착되는 의료 도구가 삽입 경로를 따르도록 동작한다. 마스터 장치(130)는 의료 도구가 수술 계획에 포함되는 삽입 경로를 따르도록 안내하며, 사용자가 마스터 장치(130)를 조작하여 의료 도구를 제어함에 있어서 삽입 경로에서 벗어나지 않도록 유도할 수 있다.
시술자 유저 인터페이스(120)는 로봇 암(160)이 동작할 때 목표점 또는 시술 영역에 대한 의료 도구의 끝의 예상 도달 위치를 시각화하며, 실시간으로 움직이는 의료 도구의 현재 위치와 진행 방향을 디스플레이할 수 있다.
중재시술 시스템의 소프트웨어는 계획 소프트웨어와 시술 소프트웨어로 구분되고, 계획 소프트웨어는 CT 영상에 기반하여 중재시술 계획을 수립하는 과정을 지원하는 소프트웨어이며, 시술 소프트웨어는 로봇 시스템에서 시술 계획을 읽어들이고 이를 이용하여 시술을 수행하도록 지원하는 소프트웨어이다.
본 발명의 중재시술 로봇 운용 워크플로우는 계획 소프트웨어와 시술 소프트웨어가 통합된 중재시술 통합 소프트웨어에 의하여 지원되며, 이하에서는 각 소프트웨어에서 실행되는 주요 기능을 설명한다.
도 2는 도 1의 중재시술 시스템에서 실행되는 본 발명의 일 실시예에 따른 중재시술 방법 중 계획 단계를 도시하는 동작 흐름도이다.
도 2의 단계는 계획 소프트웨어 파트에 의하여 지원되며, 이동형 마스터 콘솔(110) 내부 또는 이동형 마스터 콘솔(110)과 연결되는 컴퓨팅 시스템의 프로세서에 의하여 로드되고 실행될 수 있다. 특히 단계(S220, S230)는 이동형 마스터 콘솔(110) 내부에 위치하거나 또는 이동형 마스터 콘솔(110)과 연결되는 컴퓨팅 시스템의 영상 처리 장치에 의하여 실행될 수 있다.
도 2를 참조하면, 계획 소프트웨어에 의하여 계획 CT 영상을 CT 장치와 연결되어 획득하거나 수신할 수 있다(S210).
계획 소프트웨어에 의하여 계획 CT 영상 내의 객체들, 구체적으로는, 제1 해부학적 구조들을 분할할(segment) 수 있다(S220). 제1 해부학적 구조들은 계획 CT 영상 내에 포함되는 폐, 기도, 폐혈관, 뼈, 피부 등을 의미한다. 이 때 시술 영역도 주변의 장기와 구별되어 별도의 해부학적 구조로 분할될 수 있다.
계획 소프트웨어가 실행된 상태에서, 시술자 유저 인터페이스(120)에 계획 CT 영상이 디스플레이된다. 이때 단계(S220)에 의하여 분할된 제1 해부학적 구조들이 시술자 유저 인터페이스(120) 상에 디스플레이될 수 있다.
도 3은 도 2의 중재시술 방법의 계획 단계 중 계획 영상을 분할하는 과정(S220)의 일 예를 도시하는 도면이다.
도 3을 참조하면, 뼈와 다른 장기들이 분할된 결과가 서로 다른 색상으로 구분되어 디스플레이된다.
다시 도 2를 참조하면, 계획 소프트웨어가 실행되고 단계(S220)에 의하여 분할된 제1 해부학적 구조들이 시술자 유저 인터페이스(120) 상에 디스플레이된 상태에서, 사용자가 마스터 장치(130)를 조작하여 수술 계획에 포함되는 삽입 경로(intervention trajectories)를 계획할 수 있다. 이때 계획 소프트웨어는 삽입 경로를 계획하는 과정의 전부를 자동으로, 또는 일부를 반자동으로(semi-automatically) 지원할 수 있다(S230).
도 4는 도 2의 중재시술 방법의 계획 단계 중 중재 삽입 경로(Intervention Trajectories)를 계획하는 과정(S230)의 일 예를 도시하는 도면이다.
도 4를 참조하면, 수술 계획의 최종 목표인 시술 영역과, 시술 영역에 도달하기 위한 삽입 경로가 다른 해부학적 구조들과 구별되는 시각적 요소(색상, 무늬, 기호)를 이용하여 디스플레이된다.
이때 이동형 마스터 콘솔(110)의 내부에 위치하거나 이동형 마스터 콘솔(110)과 연결되는 영상 처리 장치는 계획 CT 영상 내의 분할된 제1 해부학적 구조 상에 수술 계획에 포함되는 삽입 경로를 매핑하여 시술자 유저 인터페이스(120)를 경유하여 사용자에게 디스플레이할 수 있다.
다시 도 2를 참조하면, 계획 소프트웨어가 실행되는 상태에서, 사용자의 조작에 응답하여 계획 소프트웨어는 분할된 객체들(제1 해부학적 구조들)과 그에 매핑된 삽입 경로를 저장할 수 있다(S240).
일반적으로 수술 계획이 수립되는 기반인 계획 CT 영상은 중재시술 워크플로우에서 가장 높은 선량(dose)을 이용하여 촬영되며, 가장 높은 해상도를 가진다. 또한 계획 영상 내의 해부학적 구조들에 대한 영상 분할은 시간의 제약이 거의 없으므로 충분히 긴 시간 동안 이루어질 수 있다. 따라서 계획 영상 내의 해부학적 구조들은 가장 용이하게 분할될 수 있으며, 수술 계획과 삽입 경로는 상세하게 분할된 해부학적 구조들 상에 매핑되어 저장될 수 있다.
도 5는 도 1의 중재시술 시스템에서 실행되는 본 발명의 일 실시예에 따른 중재시술 방법 중 시술 단계를 도시하는 동작 흐름도이다.
도 5의 단계는 시술 소프트웨어 파트에 의하여 지원되며, 이동형 마스터 콘솔(110) 내부 또는 이동형 마스터 콘솔(110)과 연결되는 컴퓨팅 시스템의 프로세서에 의하여 로드되고 실행될 수 있다. 특히 단계(S560, S580)는 이동형 마스터 콘솔(110) 내부에 위치하거나 또는 이동형 마스터 콘솔(110)과 연결되는 컴퓨팅 시스템의 영상 처리 장치에 의하여 실행될 수 있다.
도 5를 참조하면, 시술 소프트웨어에 의하여 수술 계획 데이터가 이동형 마스터 콘솔(110)에 로드된다(S540).
도 6은 도 5의 중재시술 방법의 시술 단계 중 수술 계획 데이터를 로드하는 과정(S540)의 일 예를 도시하는 도면이다.
도 6을 참조하면, 시술자 유저 인터페이스(120)의 화면의 제1 디스플레이 영역(610)에 수술 계획 데이터가 로드되어 디스플레이된다.
시술자 유저 인터페이스(120)의 화면의 제2 디스플레이 영역(620)은 다음 액션이 이루어질 때까지 공백인 상태로 유지된다.
다시 도 5를 참조하면, 시술 소프트웨어에 의하여 수술전 CT 영상(Pre-OP CT images)이 이동형 마스터 콘솔(110)에 로드된다(S550).
수술전 CT 영상은 수술 현장에서 수술 전 획득되는 영상이다. 수술전 CT 영상은 수술 현장에서 획득되므로 수술 도중 실시간으로 획득되는 영상과 비교하면 환자의 자세와 위치가 매우 유사하여 실시간 영상과 대비하기가 상대적으로 유리하다.
도 7은 도 5의 중재시술 방법의 시술 단계 중 수술전 영상(Pre-OP images)을 로드하여 디스플레이하는 과정(S550)을 도시하는 도면이다.
도 7을 참조하면, 시술자 유저 인터페이스(120)의 화면의 제1 디스플레이 영역(710)에 수술 계획 데이터가 로드되어 디스플레이된 상태에서, .제2 디스플레이 영역(720)에 수술전 CT 영상이 로드되어 디스플레이된다.
수술 계획 데이터는 계획 CT 영상에 기반하여 매핑된 상태이다. 수술전 CT 영상과 계획 CT 영상의 획득 시간은 상당한 차이가 있고, 환자의 위치 및 자세가 다르므로 계획 CT 영상에 기반하여 설정된 수술 계획 데이터를 수술전 CT 영상으로 이전하기 위해서는 수술전 CT 영상과 계획 CT 영상 간의 정합이 필요하다.
다시 도 5를 참조하면, 시술 소프트웨어에 의하여 수술 계획 데이터가 수술전 CT 영상에 이전된다(S560). 이 과정은 이동형 마스터 콘솔(110)의 내부에 위치하거나 또는 이동형 마스터 콘솔(110)과 연결되는 영상 처리 장치에 의하여 실행될 수 있으며, 영상 처리 장치가 시술 소프트웨어를 로드하여 실행함으로써 구현될 수 있다.
도 8은 도 5의 중재시술 방법의 시술 단계 중 수술 계획 데이터를 수술전 영상(Pre-OP images)에 이전하여 디스플레이하는 과정을 도시하는 도면이다.
도 8을 참조하면, 시술자 유저 인터페이스(120)의 화면의 제1 디스플레이 영역(810)에 수술 계획 데이터가 로드되어 디스플레이되고, 제2 디스플레이 영역(820)에 수술전 CT 영상이 로드되어 디스플레이된 상태에서, 제1 디스플레이 영역(810)의 수술 계획 데이터가 제2 디스플레이 영역(820)의 수술전 CT 영상에 이전되어 디스플레이된다.
영상 처리 장치에서 실행되는 시술 소프트웨어는, 수술전 CT 영상과 계획 CT 영상을 정합한다. 이때 영상 처리 장치에서 실행되는 시술 소프트웨어는 수술전 CT 영상 내의 제1 영역 및 제2 영역을 구분한다. 제1 영역에 대해서는 영상 분할(image registration)을 수행하여 제2 해부학적 구조들을 식별하고, 제2 영역에 대해서는 계획 CT 영상 내에서 분할된 제1 해부학적 구조들과 대응하는 제3 해부학적 구조들을 정합한다.
앞서 언급한 것처럼 일반적으로 계획 CT 영상은 상대적으로 높은 선량(dose)을 이용하여 촬영되므로 높은 해상도를 가질 수 있다. 또한 병변의 위치를 중심으로 하는 scan range도 넓어 계획 CT 영상에 기반한 정확한 영역 분할이 가능하고, 정밀한 수술 계획을 수립할 수 있다.
수술 현장에서 수술 직전 얻어지는 수술전 CT 영상은 일반적인 진단 CT 영상보다 낮은 선량(dose)을 이용하여 촬영되므로 해상도가 현저하게 낮으며, 병변의 위치를 중심으로 하는 scan range가 좁다. 따라서 저해상도 영상에서도 로봇 시술을 수행하기 위해서는 계획 CT 영상에 기반한 정확한 영역 분할 정보 및 정밀한 시술 계획을 낮은 해상도의 수술전 CT 영상으로 이전해야 할 필요가 있다.
계획 CT 영상과 수술전 CT 영상은 동일한 환자에 대한 의료 영상이지만, 환자의 자세, 위치, 또는 호흡 레벨이 상이하기 때문에 계획 CT 영상과 수술전 CT 영상 간의 정합은 많은 시간과 리소스를 필요로 한다. 환자의 호흡 레벨의 차이(호기인지 흡기인지)는 환자의 장기의 상대적인 위치 또는 크기를 초래하므로 영상 정합에서 많은 시간과 리소스를 요구하는 요인 중 하나이다. 그런데 수술 현장에서 수술전 CT 영상을 획득한 이후 수술에 돌입하기까지의 시간은 길지 않으므로 수술전 CT 영상과 계획 CT 영상 간의 정합이 빠르게 이루어져야 하고, 빠르게 이루어지면서도 시술 영역과 목표점에 대한 정확한 위치 특정 및 주변 장기와의 분할이 필요하다.
본 발명의 의료 영상을 이용하는 중재시술 시스템은, 수술전 CT 영상의 일부 영역인 제1 영역에 대해서는 정합을 수행하지 않고 빠르게 제1 영역 내의 제2 해부학적 구조들을 분할함으로써 정합이 이루어져야 하는 주된 해부학적 구조들, 즉, 제1 해부학적 구조들과 그에 대응하는 제3 해부학적 구조들과 제2 해부학적 구조들을 구분할 수 있다. 또한 영상 정합의 대상을 효율적으로 한정하여 영상 정합 과정의 시간과 리소스를 줄일 수 있다.
수술전 영상 내에서 제1 영역과 제2 영역을 구분하는 기준 중 하나는 수술 계획, 및/또는 삽입 경로와의 관련성이다. 수술 계획 또는 삽입 경로 상의 해부학적 구조들은 계획 CT 영상 내의 제1 해부학적 구조들과 정합되어 위치가 식별되고, 술 계획 또는 삽입 경로와 관련도가 낮은 해부학적 구조들은 계획 CT 영상 내의 제1 해부학적 구조들과 정합되는 대신 영상 분할에 의하여 분할되고, 제1 해부학적 구조들 또는 제3 해부학적 구조들과 구분되는 제2 해부학적 구조들로 인식될 수 있다.
수술전 영상 내에서 제1 영역과 제2 영역을 구분하는 기준 중 또 다른 하나는 수술전 영상 내의 제2 해부학적 구조들 및 제3 해부학적 구조들의 수술전 CT 영상 내 특성을 이용하는 것이다. 예를 들어, CT 영상 내에서 분할하는 시간이 오래 걸리지 않는 뼈(Bone), 피부(Skin) 등은 면적 또는 체적이 상대적으로 크면서 정합하는 시간보다 분할하는 시간이 훨씬 빠르므로 제1 영역으로 구분되고, 영상 분할에 의하여 제2 해부학적 구조들로 분할될 수 있다. 분할하는 과정이 오래 걸리고 정합으로 영상을 변환하는 것이 더 빠를 수 있는 장기(organ)인 폐(Lung), 기도(Airway), 혈관(vessel), 병변(lesion), 삽입 경로(intervention trajectories)는 제2 영역으로 구분되고, 영상 정합에 의하여 제3 해부학적 구조로 인식될 수 있다. 이때 정합의 기준 또는 대상은 계획 CT 영상 내에 포함되는 제1 해부학적 구조로서 제3 해부학적 구조들과 대응할 수 있도록 상세히 분할되고 식별된 장기(organ)들이다.
제1 해부학적 구조들과 제3 해부학적 구조들 간의 정합은 정밀도가 높고 많은 시간과 리소스를 요구하는 비강체 정합(non-rigid registration) 또는 정밀도를 희생하지만 적은 시간과 리소스를 요구하는 강체 정합(rigid registration)을 이용할 수 있고, 가용 시간과 가용 리소스, 컴퓨팅 파워 등에 기반하여 강체 정합과 비강체 정합을 선택적으로 결합할 수 있다.
제2 해부학적 구조들의 분할과 제1 해부학적 구조들-제3 해부학적 구조들 간의 정합은 개별적으로 이루어질 수도 있고, 상보적으로 동작할 수 있다. 개별적으로 이루어진 제2 해부학적 구조들의 분할과 제1 해부학적 구조들-제3 해부학적 구조들 간의 정합의 결과 삽입 경로 상에 분할 결과로 도출된 제2 해부학적 구조가 존재하는 경우, 정합 또는 분할이 다시 수행될 수 있다.
다시 도 5를 참조하면, 시술 소프트웨어에 의하여 수술장 CT 영상이 추적되어 시술자 유저 인터페이스(120)를 통하여 디스플레이된다(S570).
도 9는 도 5의 중재시술 방법의 시술 단계 중 수술장 영상(fluoroscopy, fluoro images)을 디스플레이하는 과정을 도시하는 도면이다.
도 9를 참조하면, 시술자 유저 인터페이스(120)의 화면의 제2 디스플레이 영역(920)에 수술 계획이 이전된 수술전 CT 영상이 디스플레이된 상태에서, 제3 디스플레이 영역(930)에 실시간 수술장 영상(Fluoro CT images)이 디스플레이된다.
다시 도 5를 참조하면, 영상 처리 장치에 로드되어 실행되는 시술 소프트웨어에 의하여 수술전 CT 영상의 데이터가 수술장 영상에 이전된다(S580).
영상 처리 장치에 로드되어 실행되는 시술 소프트웨어에 의하여 수술장 영상에 기반하는 수술 과정(Intra-OP Procedure)이 실행된다(S590).
단계(S590)에서는 수술 과정에 따른 수술장 영상 정보가 수술전 영상에 이전될 수 있다. 이때 수술전 영상에 이전되는 수술장 영상의 정보는 실시간 수술 도구의 현재 위치, 및 진행 방향일 수 있다. 수술장 영상에서 식별되는 실시간 수술 도구의 현재 위치, 및 진행 방향은 수술전 CT 영상 내의 3차원 해부학적 구조 정보와 3차원 공간 정보에 매핑되어 수술 계획과 비교될 수 있다.
영상 처리 장치에 의하여 실행되는 시술 소프트웨어에 의하여, 수술전 영상과 수술장 영상이 정합될 수 있다. 수술장 영상 내의 수술 도구의 현재 위치, 및 진행하는 방향이 수술전 영상 내에서 식별되는 수술 계획 상의 삽입 경로와 비교될 수 있다. 수술 도구의 현재 위치 및 진행하는 방향이 수술 계획 상의 삽입 경로를 벗어나는지 여부가 영상 처리 장치에 의하여 실행되는 시술 소프트웨어에 의하여 판정될 수 있다. 또한 수술장 영상 내의 수술 도구가 수술전 영상 내에서 식별되는 해부학적 구조로서, 수술 도구가 침범해서는 안 되는 해부학적 구조를 침범하거나 침범할 가능성이 있는 지가 영상 처리 장치에 의하여 실행되는 시술 소프트웨어에 의하여 판정될 수 있다.
앞서 언급한 것처럼 종래 기술 중 한국등록특허 KR 10-1954868호 "혈관 중재 시술을 위한 내비게이션 시스템 및 가상의 엑스선 이미지 생성 방법"에서와 같이 국소 모델만을 이용하여 정합하는 경우, 수술 현장의 수술 도구가 주변 장기를 침범하거나 경로를 벗어나는 경우를 정확히 식별, 검출할 수가 없어서 이러한 사고를 사전에 예방할 수 없으며, 국소 모델만이 아닌 주변의 해부학적 구조에 대한 정보도 반드시 활용되어야 한다.
본 발명의 의료 영상을 이용하는 중재시술 시스템은 수술장 영상 내의 해부학적 구조와 가장 유사도가 높은 수술전 영상(Pre-OP images)의 해부학적 구조 정보를 활용하며, 낮은 해상도로 인하여 부족한 정보 및 수술 계획 데이터와의 연동은 높은 해상도를 가지는 계획 영상(Plan images)과의 정합 및 연동으로 대응할 수 있다.
본 발명의 의료 영상을 이용하는 중재시술 시스템은 3차원 해부학적 정보 및 3차원 공간 정보를 포함하는 수술전 영상에 실시간으로 획득되는 수술장 영상을 정합함으로써 3차원 정보의 손실 없이 실시간으로 획득되는 수술 도구의 현재 위치 및 진행 방향을 3차원 해부학적 정보 및 3차원 공간 정보와 비교할 수 있다. 따라서 본 발명의 중재시술 시스템은 수술 도구의 현재 위치 및 진행 방향이 수술 계획 또는 권장되는 삽입 경로를 벗어나거나 다른 장기를 침범하고 있는지, 또는 향후 침범할 가능성이 높은 지를 효과적으로 판정할 수 있다.
본 발명의 다른 일 실시예에 따른 의료 영상을 이용하는 중재시술 시스템은 수술 계획 및 계획 영상이 존재하지 않는 경우에도 수술전 영상의 해부학적 구조 정보를 활용하며 수술장 영상 내의 해부학적 구조, 수술 도구의 현재 위치 및 진행 방향 간의 관련도에 대한 정확한 정보를 획득하고 중재 시술의 안전성을 높일 수 있다.
영상 처리 장치에 로드되어 실행되는 시술 소프트웨어에 의하여, 수술전 영상에 대한 영상 분할이 수행되어 수술전 영상 내의 제4 해부학적 구조가 식별되고, 수술장 영상 내에서 식별되는 제5 해부학적 구조와 수술전 영상 내의 제4 해부학적 구조가 정합될 수 있다.
영상 처리 장치에 로드되어 실행되는 시술 소프트웨어에 의하여, 실시간 수술장 영상 내의 수술 도구의 현재 위치, 및 진행하는 방향에 기반하여 수술장 영상 내의 수술 도구가 수술전 영상 내에서 식별되는 해부학적 구조를 침범하는 지 여부가 판정될 수 있다.
수술장 영상과 수술전 영상 간의 정합은 더욱 빠르게 이루어져야 할 필요가 있다. 수술장 영상은 실시간 영상이므로 수술전 영상과의 정합에 가용 시간과 리소스가 크지 않다. 수술장 영상은 또한 환자의 방사능 피폭 가능성을 낮추기 위하여 낮은 선량(dose)을 사용하므로, 낮은 해상도로 인하여 수술장 영상 내의 해부학적 구조들을 분할하는 것은 용이한 일이 아니다.
수술전 영상과 실시간 수술장 영상 중 보다 높은 해상도와 3차원 공간 및 구조 정보를 가지는 것은 수술전 영상이므로, 수술전 영상에 보다 많은 정보가 포함되어 있다. 대부분의 종래 기술들은 시술자 유저 인터페이스(120) 상에 디스플레이되는 실시간 수술장 영상 상에 정보를 나타내기 위하여 수술전 영상의 정보를 실시간 수술장 영상 상에 투영하거나, 가상의 2차원 평면을 설정하고 가상의 2차원 평면 상에 수술전 영상의 정보를 투영한다. 이와 같은 종래 기술들에서는 수술전 영상이 가지는 3차원 공간 및 구조 정보가 손실되므로 시술자가 정확한 위치와 3차원 공간 및 구조 정보를 알기는 어렵다. 본 발명의 의료 영상을 이용하는 중재시술 시스템에서는, 시술자 유저 인터페이스(120) 상에 수술전 영상의 정보를 이전하는 단계(S580)도 포함될 수 있지만, 수술이 진행되는 동안에는 실시간 수술장 영상의 정보를 3D 수술전 영상에 이전하여 실시간 수술장 영상의 정보가 3D 수술전 영상 내의 3차원 공간 및 구조 정보에 매핑되어 식별될 수 있다. 3D 수술전 영상을 3D 기법으로 시각화하는 것은 별론으로 하고, 본 발명에서는 의료 영상 가이드 기반 중재시술에서 시술자들이 가장 어려워하는 3차원 공간 및 위치 정보에 대해서 수술전 영상 내에서의 위치 식별 및 해부학적 구조의 분할에 따른 식별을 이용하여 실시간 수술 도구의 현재 위치와 진행 방향이 올바른 삽입 경로를 따라 진행되고 있는 지 여부를 판정하여 햅틱(haptic) 등 다양한 기법으로 안내할 수 있다.
또한 이러한 방식으로 이동형 마스터 콘솔(110)에 설치되는 통합 소프트웨어에 의하여 치료 계획과 계획 CT 영상이 존재하는 경우에는 정밀도 높은 중재시술의 영상 가이드가 가능하고, 긴급한 상황 등으로 계획 CT 영상 및 치료 계획이 존재하지 않는 경우에도 3차원 공간 및 구조 정보와의 비교를 통하여 현재 수술 도구의 위치와 진행 방향을 검증할 수 있다.
본 발명의 의료 영상을 이용하는 중재시술 시스템은 의료 영상만을 이용하여 정확한 3차원 공간 및 해부학적 구조 정보에 대한 분석을 제공할 수 있으므로 치료 계획, 계획 CT 영상의 존재 여부에 관계없이 중재시술 영상 가이드의 안전성, 편의성, 정확성을 높일 수 있다.
본 발명의 의료 영상을 이용하는 중재시술 시스템은 종래 기술들이 이용하는 내비게이션 시스템(환자 및 장치에 부착된 센서들의 정보를 수신하여 실세계 공간에서의 위치를 추적할 수 있는 공간을 구성한 시스템을 말함)을 사용하지 않고도 중재시술 영상 가이드의 안전성, 편의성, 정확성을 높일 수 있다.
본 발명의 의료 영상을 이용하는 중재시술 시스템은 종래 기술들이 이용하는 부가적인 위치 추적기를 필요로 하지 않으며 영상 촬영 장비만을 이용하여 영상 간의 정합에 기반하여 중재시술 영상 가이드의 안전성, 편의성, 정확성을 높일 수 있다.
본 발명의 의료 영상을 이용하는 중재시술 시스템은 정합의 결과를 사용하여 가상의 엑스선 영상을 생성하는 것이 아닌 변환된 수술 계획 및 해부학적 구조 영역을 생성할 수 있다.
본 발명의 의료 영상을 이용하는 중재시술 시스템은 3차원 영상을 2차원 평면에 투영하는 것이 아닌 3차원 영상에 정합을 수행하여 차원 정보의 손실이 없다.
본 발명의 의료 영상을 이용하는 중재시술 시스템은 수술전 영상 내의 분할된 해부학적 구조에 대해서, 호흡 레벨을 달리 하는 변이된 템플릿 영상을 생성할 수 있다. 수술전 영상 내의 분할된 해부학적 구조에 기반하여 생성된 복수의 템플릿 영상들 중에서 수술장 영상의 해부학적 구조와 호흡 레벨이 일치하는(가장 가까운) 제1 템플릿 영상을 탐색할 수 있다. 수술장 영상의 해부학적 구조는 제1 템플릿 영상과 수술전 영상 내의 분할된 해부학적 구조와의 관계를 반영하여 빠르게 수술전 영상 내의 분할된 해부학적 구조에 정합될 수 있다. 이와 같은 변형 예를 통하여 본 발명의 의료 영상을 이용하는 중재 시술 시스템 및 방법은 내비게이션 시스템, 또는 센서를 부착하기 어려운 환경이나 높은 해상도의 수술장 영상을 확보하기 어려운 환경에서도 robust하게 수술장 영상 내의 수술 도구의 현재 위치 및 진행 방향을 파악할 수 있으며, 특히 수술전 영상의 3차원 해부학적 구조 정보를 이용하여 수술 도구의 3차원 해부학적 구조 내에서의 현재 위치 및 진행 방향을 파악할 수 있다. 수술전 영상의 분할에 기반하여 파악된 3차원 해부학적 구조 정보를 이용하여 수술 도구의 현재 위치 및 진행 방향이 안전하게 삽입 경로를 따라서 진행되고 있는지, 삽입 경로를 벗어나거나 다른 장기를 침범할 가능성이 있는지, 또는 이미 다른 장기를 침범하였는지 등을 판정할 수 있다.
수술전 영상과 계획 영상 간의 정합, 또는 수술전 영상과 수술장 영상 간의 정합에서 호흡 레벨이 미리 동조되어 거의 일치된 경우에는 영상 정합이 상대적으로 용이하므로 강체 정합의 비중이 크고, 호흡 레벨이 미리 동조되어 있지 않은 경우에는 비강체 정합의 비중이 클 수 있다. 이때 호흡 레벨이 동조되어 있지 않은 경우에 호흡 레벨의 변이 템플릿을 이용하여 호흡 레벨이 동조된 템플릿 영상과의 정합을 통하여 영상 정합에 필요한 시간과 리소스를 줄일 수 있다.
도 10은 도 1의 중재시술 시스템에서 실행되는 본 발명의 일 실시예에 따른 중재시술 방법으로서, 계획 단계를 수행하는 소프트웨어와 시술 단계를 수행하는 소프트웨어가 통합되어 수행되는 워크플로우를 도시하는 동작 흐름도이다.
도 10을 참조하면, 계획 소프트웨어 모듈은 계획 영상 내의 객체, 즉, 해부학적 구조들을 분할하고 식별한다(S1020).
계획 소프트웨어 모듈은 계획 영상에 기반하여 수술 도구의 삽입 경로를 포함하는 수술 계획을 설정한다(S1030).
계획 소프트웨어 모듈은 수술 계획과 삽입 경로를 분할된 해부학적 구조에 매핑하고 저장한다.
시술 소프트웨어 모듈은 계획 데이터를 로드한다(S1040).
시술 소프트웨어 모듈은 계획 데이터를 수술전 CT 영상에 이전한다(S1060).
시술 소프트웨어 모듈은 수술전 CT 영상의 데이터를 실시간 수술장 영상에 이전한다(S1080). 이때 수술전 CT 영상 내에서 영상 분할의 대상인 제1 영역과 계획 CT 영상과의 정합 대상인 제2 영역이 구분된다.
시술 소프트웨어 모듈은 수술장 영상을 추적하면서 중재 시술을 지원한다(S1090). 이때 시술 소프트웨어 모듈에 의하여 3D 수술전 영상과 실시간 수술장 영상이 정합되고 수술장 영상 내에서 식별되는 수술 도구의 현재 위치 및 진행 경로가 수술전 영상 내의 해부학적 구조 상에 매핑된다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 본 발명의 실시예와 도면에 소개된 길이, 높이, 크기, 폭 등은 이해를 돕기 위해 과장된 것일 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 이동형 마스터 콘솔(컴퓨팅 시스템)
120: 시술자 유저 인터페이스
130: 마스터 장치
140: 이동 가능한 로봇 베이스
150: 바늘 삽입 엔드 이펙터/수술 도구
160: 로봇 암

Claims (13)

  1. 의료 영상을 이용하는 중재시술 시스템에 있어서,
    의료 도구를 구비하며 상기 의료 도구가 삽입 경로를 따르도록 동작하는 로봇 암;
    상기 로봇 암의 상기 의료 도구가 상기 삽입 경로를 따르도록 제어하는 마스터 장치;
    상기 의료 도구의 상기 삽입 경로를 포함하는 수술 계획이 수술 현장에서 수술 전 획득되는 수술전 영상에 이전되도록 상기 수술 계획이 설정된 계획 영상과 상기 수술전 영상을 정합하고, 상기 수술전 영상과 상기 수술 현장에서 수술 도중 획득되는 수술장 영상을 정합하는 영상 처리 장치; 및
    상기 영상 처리 장치와 연동되어 상기 수술 계획이 이전된 상기 수술전 영상 및 상기 수술장 영상을 이용하여 상기 수술 계획에 따라 상기 로봇 암이 동작할 때 목표점에 대한 상기 의료 도구의 끝의 예상 도달 위치를 시각화하는 사용자 인터페이스 장치;
    를 포함하고,
    상기 영상 처리 장치는 상기 수술전 영상 내의 제1 영역 및 제2 영역을 구분하고, 상기 제1 영역에 대해서는 영상 분할(image segmentation)을 수행하여 제2 해부학적 구조를 식별하고, 상기 제2 영역에 대해서는 상기 제2 영역 내의 제3 해부학적 구조와 상기 계획 영상 내에서 상기 제3 해부학적 구조와 대응하는 제1 해부학적 구조를 정합하는 의료 영상을 이용하는 중재시술 시스템.
  2. 제1항에 있어서,
    상기 영상 처리 장치는 상기 수술 계획과의 관련도에 기반하여 상기 수술전 영상 내의 상기 제1 영역 및 상기 제2 영역을 구분하는 의료 영상을 이용하는 중재시술 시스템.
  3. 제1항에 있어서,
    상기 영상 처리 장치는 상기 제2 해부학적 구조 및 상기 제3 해부학적 구조의 상기 수술전 영상 내 특성에 기반하여 상기 수술전 영상 내의 상기 제1 영역 및 상기 제2 영역을 구분하는 의료 영상을 이용하는 중재시술 시스템.
  4. 제1항에 있어서,
    상기 영상 처리 장치는 상기 계획 영상 내의 상기 제1 해부학적 구조를 분할하고, 상기 수술 계획에 포함되는 상기 삽입 경로를 상기 제1 해부학적 구조에 매핑하는 의료 영상을 이용하는 중재시술 시스템.
  5. 제1항에 있어서,
    상기 영상 처리 장치는 상기 수술전 영상과 상기 수술장 영상을 정합함으로써, 상기 수술장 영상 내의 상기 수술 도구의 현재 위치, 및 진행하는 방향을 상기 수술전 영상 내에서 식별되는 상기 수술 계획 상의 상기 삽입 경로와 비교하고, 상기 수술장 영상 내의 상기 수술 도구가 상기 수술전 영상 내에서 식별되는 해부학적 구조를 침범하는 지 여부를 판정하는 의료 영상을 이용하는 중재시술 시스템.
  6. 의료 영상을 이용하는 중재시술 시스템에 있어서,
    의료 도구를 구비하며 상기 의료 도구가 삽입 경로를 따르도록 동작하는 로봇 암;
    상기 로봇 암의 상기 의료 도구를 설정하며 상기 의료 도구가 상기 삽입 경로를 따르도록 제어하는 마스터 장치;
    수술 현장에서 수술 전 획득되는 수술전 영상과 상기 수술 현장에서 수술 도중 획득되는 수술장 영상을 정합하는 영상 처리 장치; 및
    상기 영상 처리 장치와 연동되어 상기 수술장 영상을 이용하여 상기 삽입 경로에 따라 상기 로봇 암이 동작할 때 목표점에 대한 상기 의료 도구의 끝의 예상 도달 위치를 시각화하는 사용자 인터페이스 장치;
    를 포함하고,
    상기 영상 처리 장치는 상기 수술전 영상에 대한 영상 분할(image segmentation)을 수행하여 상기 수술전 영상 내의 제4 해부학적 구조를 식별하고, 상기 수술장 영상 내에서 식별되는 제5 해부학적 구조와 상기 수술전 영상 내의 상기 제4 해부학적 구조를 정합하는 의료 영상을 이용하는 중재시술 시스템.
  7. 제6항에 있어서,
    상기 영상 처리 장치는 상기 수술전 영상과 상기 수술장 영상을 정합함으로써, 상기 수술장 영상 내의 상기 수술 도구의 현재 위치, 및 진행하는 방향에 기반하여 상기 수술장 영상 내의 상기 수술 도구가 상기 수술전 영상 내에서 식별되는 해부학적 구조를 침범하는 지 여부를 판정하는 의료 영상을 이용하는 중재시술 시스템.
  8. 컴퓨팅 시스템에 의하여 수행되며, 의료 영상을 이용하는 중재시술 방법에 있어서,
    환자에 대한 계획 영상을 획득하거나 수신하는 단계;
    상기 계획 영상에 대한 영상 분할(image segmentation)을 수행하고, 상기 계획 영상 내의 제1 해부학적 구조를 식별하는 단계;
    상기 계획 영상에 기반하여 수술 도구의 삽입 경로를 포함하는 수술 계획을 설정하는 단계;
    상기 수술 계획을 상기 제1 해부학적 구조에 매핑하고 저장하는 단계;
    상기 저장된 수술 계획을 로드하는 단계;
    수술장 내에서 수술 전에 획득되는 수술전 영상을 획득하거나 수신하는 단계;
    상기 계획 영상 및 상기 수술전 영상을 정합함으로써 상기 수술 계획을 상기 수술전 영상으로 이전하는 단계;
    상기 수술장 내에서 수술 도중 획득되는 수술장 영상을 획득하거나 수신하는 단계; 및
    상기 수술전 영상 및 상기 수술장 영상을 정합함으로써 상기 수술장 영상 내에서 식별되는 상기 수술 도구의 현재 위치 및 진행 경로를 상기 수술전 영상 내의 해부학적 구조 상에 매핑하는 단계;
    를 포함하고,
    상기 계획 영상 및 상기 수술전 영상을 정합함으로써 상기 수술 계획을 상기 수술전 영상으로 이전하는 단계는
    상기 수술전 영상 내의 제1 영역 및 제2 영역을 구분하고, 상기 제1 영역에 대해서는 영상 분할(image segmentation)을 수행하여 제2 해부학적 구조를 식별하고, 상기 제2 영역에 대해서는 상기 계획 영상 내의 상기 제1 해부학적 구조와, 상기 제1 해부학적 구조에 대응하는 상기 제2 영역 내의 제3 해부학적 구조를 정합하는 의료 영상을 이용하는 중재시술 방법.
  9. 제8항에 있어서,
    상기 수술 계획과의 관련도에 기반하여 상기 수술전 영상 내의 상기 제1 영역 및 상기 제2 영역을 구분하는 단계;
    를 더 포함하는 의료 영상을 이용하는 중재시술 방법.
  10. 제8항에 있어서,
    상기 수술전 영상 내의 상기 제2 해부학적 구조 및 상기 제3 해부학적 구조의 상기 수술전 영상 내 특성에 기반하여 상기 수술전 영상 내의 상기 제1 영역 및 상기 제2 영역을 구분하는 단계;
    를 더 포함하는 의료 영상을 이용하는 중재시술 방법.
  11. 제8항에 있어서,
    상기 수술장 영상 내의 상기 수술 도구의 현재 위치, 및 진행하는 방향을 상기 수술전 영상 내에서 식별되는 상기 수술 계획 상의 상기 삽입 경로와 비교하는 단계; 및
    상기 수술장 영상 내의 상기 수술 도구가 상기 수술전 영상 내에서 식별되는 해부학적 구조를 침범하는 지 여부를 판정하는 단계;
    를 더 포함하는 의료 영상을 이용하는 중재시술 방법.
  12. 컴퓨팅 시스템에 의하여 수행되며, 의료 영상을 이용하는 중재시술 방법에 있어서,
    수술장 내에서 수술 전에 획득되는 수술전 영상을 획득하거나 수신하는 단계;
    상기 수술장 내에서 수술 도중 획득되는 수술장 영상을 획득하거나 수신하는 단계;
    상기 수술전 영상 및 상기 수술장 영상을 정합하는 단계; 및
    상기 수술장 영상 내에서 식별되는 상기 수술 도구의 현재 위치 및 진행 경로를 상기 수술전 영상 내의 해부학적 구조 상에 매핑하는 단계;
    를 포함하고,
    상기 수술전 영상 및 상기 수술장 영상을 정합하는 단계는
    상기 수술전 영상에 대한 영상 분할(image segmentation)을 수행하여 상기 수술전 영상 내의 제4 해부학적 구조를 식별하고, 상기 수술장 영상 내에서 식별되는 제5 해부학적 구조와 상기 수술전 영상 내의 상기 제4 해부학적 구조를 정합하는 의료 영상을 이용하는 중재시술 방법.
  13. 제12항에 있어서,
    상기 수술장 영상 내의 상기 수술 도구의 현재 위치, 및 진행하는 방향에 기반하여 상기 수술장 영상 내의 상기 수술 도구가 상기 수술전 영상 내에서 식별되는 해부학적 구조를 침범하는 지 여부를 판정하는 단계;
    를 더 포함하는 의료 영상을 이용하는 중재시술 방법.
KR1020190179240A 2019-12-31 2019-12-31 의료 영상을 이용하는 중재시술 시스템 및 방법 KR102467282B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190179240A KR102467282B1 (ko) 2019-12-31 2019-12-31 의료 영상을 이용하는 중재시술 시스템 및 방법
US17/139,361 US20210196387A1 (en) 2019-12-31 2020-12-31 System and method for interventional procedure using medical images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190179240A KR102467282B1 (ko) 2019-12-31 2019-12-31 의료 영상을 이용하는 중재시술 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210086871A true KR20210086871A (ko) 2021-07-09
KR102467282B1 KR102467282B1 (ko) 2022-11-17

Family

ID=76547148

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190179240A KR102467282B1 (ko) 2019-12-31 2019-12-31 의료 영상을 이용하는 중재시술 시스템 및 방법

Country Status (2)

Country Link
US (1) US20210196387A1 (ko)
KR (1) KR102467282B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220211440A1 (en) * 2021-01-06 2022-07-07 Siemens Healthcare Gmbh Camera-Assisted Image-Guided Medical Intervention

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008018172A (ja) * 2006-07-14 2008-01-31 Hitachi Medical Corp 手術支援装置
KR101464330B1 (ko) 2013-04-26 2014-11-24 서울대학교병원 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
KR20160010539A (ko) * 2013-05-16 2016-01-27 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 외부 촬상과의 로봇 의료 시스템 통합을 위한 시스템 및 방법
KR101758741B1 (ko) 2015-09-09 2017-08-11 울산대학교 산학협력단 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템
KR101862133B1 (ko) 2014-10-17 2018-06-05 재단법인 아산사회복지재단 바늘 삽입형 중재시술 로봇 장치
KR101954868B1 (ko) 2016-05-03 2019-03-08 재단법인대구경북과학기술원 혈관 중재 시술을 위한 내비게이션 시스템 및 가상의 엑스선 이미지 생성 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013530028A (ja) * 2010-05-04 2013-07-25 パスファインダー セラピューティクス，インコーポレイテッド 擬似特徴を使用する腹部表面マッチングのためのシステムおよび方法
EP3264365A1 (en) * 2016-06-28 2018-01-03 Siemens Healthcare GmbH Method and device for registration of a first image data set and a second image data set of a target region of a patient
EP3519999A1 (en) * 2016-09-30 2019-08-07 Koninklijke Philips N.V. Anatomical model for position planning and tool guidance of a medical tool

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008018172A (ja) * 2006-07-14 2008-01-31 Hitachi Medical Corp 手術支援装置
KR101464330B1 (ko) 2013-04-26 2014-11-24 서울대학교병원 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
KR20160010539A (ko) * 2013-05-16 2016-01-27 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 외부 촬상과의 로봇 의료 시스템 통합을 위한 시스템 및 방법
KR101862133B1 (ko) 2014-10-17 2018-06-05 재단법인 아산사회복지재단 바늘 삽입형 중재시술 로봇 장치
KR101758741B1 (ko) 2015-09-09 2017-08-11 울산대학교 산학협력단 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템
KR101954868B1 (ko) 2016-05-03 2019-03-08 재단법인대구경북과학기술원 혈관 중재 시술을 위한 내비게이션 시스템 및 가상의 엑스선 이미지 생성 방법

Also Published As

Publication number Publication date
KR102467282B1 (ko) 2022-11-17
US20210196387A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
AU2020205248B2 (en) Dynamic 3D lung map view for tool navigation inside the lung
US11622815B2 (en) Systems and methods for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy
US11871913B2 (en) Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US10238455B2 (en) Pathway planning for use with a navigation planning and procedure system
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
CN103619278B (zh) 用于内窥镜手术期间的引导注射的系统
CN1907233B (zh) 自动规划经由皮肤的最小侵入手术进入路径的装置和方法
US11737827B2 (en) Pathway planning for use with a navigation planning and procedure system
EP3783568A2 (en) Systems and methods of fluoro-ct imaging for initial registration
Nicolau et al. A complete augmented reality guidance system for liver punctures: First clinical evaluation
KR101862133B1 (ko) 바늘 삽입형 중재시술 로봇 장치
KR102467282B1 (ko) 의료 영상을 이용하는 중재시술 시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right