KR20240083010A - Ct 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치 - Google Patents

Ct 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치 Download PDF

Info

Publication number
KR20240083010A
KR20240083010A KR1020230134970A KR20230134970A KR20240083010A KR 20240083010 A KR20240083010 A KR 20240083010A KR 1020230134970 A KR1020230134970 A KR 1020230134970A KR 20230134970 A KR20230134970 A KR 20230134970A KR 20240083010 A KR20240083010 A KR 20240083010A
Authority
KR
South Korea
Prior art keywords
image
probe
coordinate data
displays
unit
Prior art date
Application number
KR1020230134970A
Other languages
English (en)
Inventor
임종준
이기석
Original Assignee
주식회사 청우메디칼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 청우메디칼 filed Critical 주식회사 청우메디칼
Publication of KR20240083010A publication Critical patent/KR20240083010A/ko

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 CT 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치에 관한 것이다. 상기 장치는, 환자를 촬영한 CT 영상으로부터 상기 환자의 신체 표면에 관한 복수의 표면 좌표 데이터를 추출하여 생성한 표면 좌표 데이터 그룹을 이용한 수술용 내비게이션 장치로서, 단부가 상기 환자와 접촉되는 내시경 프로브; 상기 내시경으로 촬영한 영상을 획득하는 내시경 영상 획득부; 상기 프로브를 센싱하여 상기 프로브의 위치 정보가 반영된 프로브 좌표 데이터를 생성하는 센싱부; 상기 프로브 좌표 데이터와 상기 표면 좌표 데이터를 정합하여 하나의 공간 좌표계에 배치하는 좌표 데이터 정합부; 상기 정합된 데이터를 기초로 상기 내시경의 위치를 표시하며, 상기 내시경의 위치에 기초하여 관련된 상기 CT 영상과 상기 내시경 영상을 정합하는 영상 정합부; 및 상기 영상 정합부에서 정합된 영상을 디스플레이하는 디스플레이부를 포함하며, 상기 영상 정합부는, 상기 CT 영상 중 상기 내시경 영상에 대응하는 영역을 추출하고, 상기 추출된 CT 영상을 설정 알고리즘에 따라 상기 내시경 영상의 곡률에 맞게 왜곡시켜 왜곡 영상을 만들고, 상기 디스플레이부는, 상기 왜곡 영상을 디스플레이할 수 있다.

Description

CT 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치{SURGICAL NAVIGATION APPARATUS THAT MATCHES AND DISPLAYS CT IMAGES AND ENDOSCOPIC IMAGES}
본 발명은 수술용 도구의 위치를 정확히 표시하되, CT 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치에 관한 것이다.
수술용 내비게이션 장치는 수술용 도구의 3차원적 위치를 수술 전에 촬영한 환자의 의료 영상 위에 실시간으로 가시화하여 표시하는 장치이다.
수술용 도구는 수술 과정에서 환자의 신체 내부로 삽입될 수 있으며, 때에 따라서는 집도의가 육안으로 확인하기 어려운 신체 내부의 위치로 삽입될 수도 있다.
이때, 수술용 내비게이션 장치는 수술용 도구의 위치를 환자의 의료 영상 상에 표시하여 집도의에게 제공하므로 수술의 용이성과 성공률을 높이는 효과가 있어 많은 의료기관에서 도입하여 사용하고 있다.
한편, 수술용 도구의 위치를 환자의 의료 영상 위에 표시하기 위해서는 공간 정합이 필수적이다. 공간 정합은 환자와 수술용 도구가 위치한 환자 공간과, 환자를 촬영한 의료 영상의 공간을 하나의 공간으로 일치시켜주는 과정이다
도 1은 종래의 공간 정합을 설명하기 위한 도면이다.
도 1에 도시된 바와 같이 환자(P)의 표면에 대한 정보는 프로브(10)를 통해 획득될 수 있다.
일 예로, 집도의는 프로브(10)가 환자(P)의 신체에 인접한 상태에서 프로브(10)를 천천히 이동시키게 되며, 수술용 내비게이션 장치는 환자(P)의 표면에 대한 정보를 반영하는 프로브 좌표 데이터(C)들을 획득하게 된다.
그리고, 수술용 내비게이션 장치는 획득한 프로브 좌표 데이터(C)들을 회전 또는 이동시켜 기 촬영한 환자(P)의 의료 영상으로부터 획득한 표면 좌표 데이터들과 정합하고 정합한 결과물을 단일의 공간에 위치시키게 된다.
한편, 표면 좌표 데이터들은 의료영상 장비를 통해 획득한 고해상도의 영상 정보를 기반으로 하기 때문에 수천에서 수십만개의 좌표 데이터로 구성될 수 있다.
그러나, 도 1에 도시된 바와 같이, 프로브 좌표 데이터(C)들은 획득되는 과정에서 프로브(10)의 이동 속도와 이동 궤적, 그리고 내비게이션 장치의 성능에 영향을 받게 된다. 이로 인해, 프로브 좌표 데이터(C)의 수는 표면 좌표 데이터에 비해 상대적으로 적으면서도 매번 다른 형태의 군집을 이루게 된다.
이와 같이 매번 다르게 획득되는 프로브 좌표 데이터(C)들은 공간 정합의 정확도에 영향을 미치므로, 프로브(10)의 위치를 정확히 확인하기 어려운 문제점이 있었다.
또한, 의사는 CT 영상보다는 주로 내시경 영상에 의존하므로, CT 화면들에 대한 사용자의 혼동을 제거하기 위해 내시경 화면만으로도 정확한 수술이 가능하도록 하는 UI 개발이 필요하다.
또한, 의사는 통상 내시경으로 잘 보이지 않는 부분은 진입하지 않으려는 경향이 있는데, 이를 해결하기 위해 내시경으로 잘 보이지 않는 부분을 디스플레이할 수 있는 기술이 요구된다.
또한, 수술도구가 보이지 않을 때, 내시경 밖의 수술도구의 위치를 표시함으로써, 수술도구를 내시경 안으로 쉽게 복귀시킬 수 있는 기술이 요구된다.
본 발명의 목적은, CT 화면들에 대한 사용자의 혼동을 제거하기 위해 내시경 화면만으로도 정확한 수술이 가능하도록 하는, CT 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치를 제공함에 있다.
본 발명은 CT 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치에 관한 것이다. 상기 장치는, 환자를 촬영한 CT 영상으로부터 상기 환자의 신체 표면에 관한 복수의 표면 좌표 데이터를 추출하여 생성한 표면 좌표 데이터 그룹을 이용한 수술용 내비게이션 장치로서, 단부가 상기 환자와 접촉되는 내시경 프로브; 상기 내시경으로 촬영한 영상을 획득하는 내시경 영상 획득부; 상기 프로브를 센싱하여 상기 프로브의 위치 정보가 반영된 프로브 좌표 데이터를 생성하는 센싱부; 상기 프로브 좌표 데이터와 상기 표면 좌표 데이터를 정합하여 하나의 공간 좌표계에 배치하는 좌표 데이터 정합부; 상기 정합된 데이터를 기초로 상기 내시경의 위치를 표시하며, 상기 내시경의 위치에 기초하여 관련된 상기 CT 영상과 상기 내시경 영상을 정합하는 영상 정합부; 및 상기 영상 정합부에서 정합된 영상을 디스플레이하는 디스플레이부를 포함하며, 상기 영상 정합부는, 상기 CT 영상 중 상기 내시경 영상에 대응하는 영역을 추출하고, 상기 추출된 CT 영상을 설정 알고리즘에 따라 상기 내시경 영상의 곡률에 맞게 왜곡시켜 왜곡 영상을 만들고, 상기 디스플레이부는, 상기 왜곡 영상을 디스플레이할 수 있다.
본 발명의 실시예에 따르면, 상기 프로브 좌표 데이터는, 제1 내지 제3 프로브 좌표 데이터를 포함하며, 상기 센싱부는, 제1 프로브 좌표 데이터를 생성하며, 상기 제1 프로브 좌표 데이터를 기초로 상기 프로브 단부의 위치 정보를 나타내는 제2 프로브 좌표 데이터를 생성하는 제2 프로브 좌표 데이터 생성부; 및 상기 제2 프로브 좌표 데이터를 기초로 상기 프로브 단부의 이동 경로를 추정하고, 상기 프로브 단부의 이동 경로 상에서 일정한 간격으로 배치되는 복수의 제3 프로브 좌표 데이터를 산출하여 제3 프로브 좌표 데이터 그룹을 생성하는 제3 프로브 좌표 데이터 생성부를 더 포함하며, 상기 좌표 데이터 정합부는, 상기 제3 프로브 좌표 데이터 그룹과 상기 표면 좌표 데이터 그룹을 정합하여 하나의 공간 좌표계에 배치할 수 있다.
본 발명의 실시예에 따르면, 상기 영상 정합부는, 환자의 조직에 가려져 상기 내시경 영상에 보이지 않는 부분을 상기 CT 영상에서 추출하며, 상기 디스플레이부는, 상기 보이지 않는 부분을 설정 알고리즘에 의해 내시경으로부터의 거리에 따라 복수의 책자 영역을 포함하는 책자 형태로 디스플레이할 수 있다.
본 발명의 실시예에 따르면, 상기 영상 정합부는, 상기 프로브의 이동 경로를 나타내는 복수의 이동 경로 후보를 입력받아 저장하며, 상기 복수의 이동 경로 후보들 각각에 대해 설정 알고리즘에 따라 선호도를 부여하며, 상기 복수의 이동 경로 후보들 중, 상기 선호도가 기준값 이상인 후보들을 추출하여 추천 이동 경로를 생성하며, 상기 디스플레이부는, 상기 추천 이동 경로를 디스플레이하며, 상기 각 책자 영역별로 내시경으로부터의 거리를 반영하여 추천 이동 경로를 표시할 수 있다.
본 발명의 실시예에 따르면, 상기 영상 정합부는, 상기 CT 영상으로부터 신경 및 혈관을 세그멘테이션하고, 상기 CT 영상을 상기 내시경 영상에 정합할 때 상기 세그멘테이션된 신경 및 혈관을 별도로 정합하여 신경 및 혈관 표시 영상을 만들고, 상기 각 책자 영역별로 신경 및 혈관 위치를 피한 추천 이동 경로를 표시하고, 상기 디스플레이부는, 상기 신경 및 혈관 표시 영상을 디스플레이하되, 상기 각 책자 영역별로 신경 및 혈관 위치를 피한 추천 이동 경로를 표시할 수 있다.
본 발명의 실시예에 따르면, 상기 영상 정합부는, 상기 신경 및 혈관 표시 영상을 상기 책자 형태의 디스플레이의 각 책자 영역별로 나누고, 미리 설정된 위험 신경 및 혈관 정보를 정합하고, 상기 디스플레이부는, 상기 복수의 책자 영역 중 상기 위험 신경 및 혈관이 위치한 책자 위치를 표시할 수 있다.
본 발명의 실시예에 따르면, 상기 영상 정합부는, 수술 중 상기 프로브 끝단이 상기 내시경 영상 밖으로 사라진 경우, 상기 내시경 영상을 기준으로 한 상기 프로브의 위치를 산출하고, 상기 디스플레이부는, 상기 내시경 영상 밖으로 사라진 프로브의 위치를 디스플레이하고, 상기 프로브의 위치 근방의 상기 위험 신경 및 혈관이 위치한 책자 위치를 표시할 수 있다.
본 발명에 따르면, CT 화면들에 대한 사용자의 혼동을 제거하기 위해 내시경 화면만으로도 정확한 수술이 가능하도록 한다.
또한, 의사는 통상 내시경으로 잘 보이지 않는 부분은 진입하지 않으려는 경향이 있는데, 이를 해결하기 위해 내시경으로 잘 보이지 않는 부분을 디스플레이할 수 있다.
또한, 수술도구가 보이지 않을 때, 내시경 밖의 수술도구의 위치를 표시함으로써, 수술도구를 내시경 안으로 쉽게 복귀시킬 수 있다.
도 1은 종래의 공간 정합을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 수술용 내비게이션 장치를 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 수술용 내비게이션 장치가 위치한 환자 공간을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 디스플레이부가 제3 프로브 좌표 데이터 그룹과 표면 좌표 데이터 그룹을 정합한 결과물을 디스플레이하는 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 설명한다. 그리고 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
도 2는 본 발명의 실시예에 따른 수술용 내비게이션 장치를 나타내는 블록도이고, 도 3은 본 발명의 실시예에 따른 수술용 내비게이션 장치가 위치한 환자 공간을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 수술용 내비게이션 장치는 프로브(100), 센싱부(200), 기준 좌표 제공부(300) 및 프로세서부(400)를 포함할 수 있다.
프로브(100)는 환자(P)의 신체 표면과 접촉될 수 있으며, 수술에 사용되는 도구일 수 있다. 예를 들어, 프로브(100)는 수술도구 또는 내시경 단부일 수 있다. 프로브(100)가 내시경인 경우, 내시경 영상 획득부는 내시경으로 촬영한 영상을 획득할 수 있다.
일 예로, 프로브(100)는 단부가 환자(P)의 신체 표면과 접촉될 수 있다.
그리고, 센싱부(200)는 프로브(100)를 센싱할 수 있다. 일 예로, 센싱부(200)는 광학 방식, 전자기 방식 등을 이용하여 프로브(100)를 센싱할 수 있다. 이하에서는 설명의 편의를 위해 센싱부(200)가 광학 방식인 경우를 예로 설명하기로 한다.
센싱부(200)는 광원부(210)와 수광부(220)를 구비할 수 있다. 광원부(210)는 프로브(100)를 향해 광을 조사할 수 있다. 그리고, 수광부(220)는 프로브(100)로부터 반사된 광을 센싱할 수 있다.
그리고, 센싱부(200)는 수광부(220)에서 센싱한 광의 특성을 기초로 프로브(100)의 위치정보를 반영하는 제1 프로브 좌표 데이터를 생성할 수 있다. 그리고, 센싱부(200)는 생성한 제1 프로브 좌표 데이터를 프로세서부(400)로 전달할 수 있다. 이러한 센싱부(200)는 복수개로 구비될 수도 있음은 물론이다.
한편, 프로브(100)는 복수의 프로브 마커(110, 120, 130)를 포함할 수 있다.
복수의 프로브 마커는 센싱부(200)가 프로브(100)의 위치를 센싱함에 있어 정확도를 높일 수 있다.
일 예로, 프로브(100)는 제1 프로브 마커(110), 제2 프로브 마커(120) 및 제3 프로브 마커(130)를 포함할 수 있다.
그리고, 광원부(210)는 각각의 프로브 마커(110, 120, 130)에 광을 조사할 수 있다. 그리고, 수광부(220)는 각각의 프로브 마커(110, 120, 130)로부터 반사된 광을 센싱할 수 있다. 또한, 센싱부(200)는 수광부(220)에서 센싱한 광의 특성을 기초로 복수의 프로브 마커(110, 120, 130) 각각과 센싱부(200) 간의 위치 관계를 나타내는 프로브 마커 좌표 데이터를 생성할 수 있다.
이에 따르면, 제1 프로브 좌표 데이터는 제1 프로브 마커 좌표 데이터, 제2 프로브 마커 좌표 데이터 및 제3 프로브 마커 좌표 데이터를 포함할 수 있다.
한편, 센싱부(200)는 기준 좌표 제공부(300)를 센싱하여 기준 좌표 데이터를 생성할 수 있다.
기준 좌표 제공부(300)는 환자(P)에 의해 착용될 수 있으며, 센싱부(200)에 의해 센싱될 수 있다. 즉, 기준 좌표 데이터는 환자 공간 상에서 환자(P)의 위치를 반영하는 데이터일 수 있다.
이때, 환자 공간은 환자(P)가 위치한 공간을 의미한다. 또한, 프로브(100)와 기준 좌표 제공부(300)는 환자(P)와 함께 환자 공간에 위치할 수 있다.
또한, 기준 좌표 제공부(300)는 복수의 기준 마커를 포함할 수 있다. 복수의 기준 마커는 센싱부(200)가 기준 좌표 제공부(300)의 위치를 센싱함에 있어 정확도를 높일 수 있다.
한편, 프로브(100)와 기준 좌표 제공부(300)는 센싱부(200)에 의해 센싱될 수 있는 형태 및 재질이라면 자유롭게 이루어질 수 있음은 물론이다.
프로세서부(400)는 제2 프로브 좌표 데이터 생성부(410), 제3 프로브 좌표 데이터 생성부(420), 좌표 데이터 정합부(430), 저장부(440) 및 디스플레이부(450)를 포함할 수 있다.
제2 프로브 좌표 데이터 생성부(410)는 센싱부(200)로부터 제1 프로브 좌표 데이터를 제공받을 수 있다.
그리고, 제2 프로브 좌표 데이터 생성부(410)는 제1 프로브 좌표 데이터를 기초로 프로브 단부(101)의 위치 정보를 나타내는 제2 프로브 좌표 데이터를 생성할 수 있다.
일 예로, 제2 프로브 좌표 데이터 생성부(410)는 저장부(440)로부터 프로브(100)의 형상 데이터를 불러올 수 있다.
그리고 제2 프로브 좌표 데이터 생성부(410)는 프로브 형상 데이터에 복수의 프로브 마커 좌표 데이터를 대입하여 프로브(100)의 3차원적 위치를 확인할 수 있다. 그리고, 제2 프로브 좌표 데이터 생성부(410)는 프로브(100)의 3차원적 위치를 기초로 프로브 단부(101)의 위치 정보를 나타내는 제2 프로브 좌표 데이터를 산출할 수 있다.
그리고, 제2 프로브 좌표 데이터 생성부(410)는 제2 프로브 좌표 데이터를 제3 프로브 좌표 데이터 생성부(420)로 전달할 수 있다.
제3 프로브 좌표 데이터 생성부(420)는 제2 프로브 좌표 데이터를 기초로 프로브 단부의 이동 경로(R)를 추정할 수 있다. 이를 위해 제3 프로브 좌표 데이터 생성부(420)는 제2 프로브 좌표 데이터 수집부(421) 및 프로브 이동 경로 추정부(422)를 포함할 수 있다.
제2 프로브 좌표 데이터 수집부(421)는 제2 프로브 좌표 데이터를 기 설정된 시간 간격으로 수집하여 제2 프로브 좌표 데이터 그룹(C2)을 생성할 수 있다.
그리고, 프로브 이동 경로 추정부(422)는 생성된 제2 프로브 좌표 데이터 그룹(C2)을 기초로 프로브 단부의 이동 경로(R)를 추정할 수 있다.
그리고, 제3 프로브 좌표 데이터 생성부(420)는 프로브 단부의 이동 경로(R) 상에서 일정한 간격으로 배치되는 복수의 제3 프로브 좌표 데이터를 산출하여 제3 프로브 좌표 데이터 그룹(C3)을 생성할 수 있다.
그리고, 좌표 데이터 정합부(430)는 제3 프로브 좌표 데이터 그룹(C3)과 표면 좌표 데이터 그룹(T)을 정합하여 하나의 공간에 배치할 수 있다.
여기서, 표면 좌표 데이터 그룹(T)은 환자(P)의 신체를 촬영한 데이터를 기초로 생성될 수 있다. 일 예로, 환자(P)의 신체를 촬영한 데이터는 CT(Computer Tomography) 영상 또는 MRI(Magnetic Resonance Imaging) 영상일 수 있다. 일 예로, 환자(P)의 신체를 촬영한 데이터는 저장부(440)에 저장된 상태일 수 있다.
그리고, 디스플레이부(450)는 제3 프로브 좌표 데이터 그룹(C3)과 표면 좌표 데이터 그룹(T)을 정합한 결과물을 사용자가 확인할 수 있도록 디스플레이할 수 있다. 또한, 디스플레이부(450)는 CT 영상과 내시경 영상이 정합된 영상을 디스플레이할 수 있다. 이를 위해, 영상 정합부는 상기 3 프로브 좌표 데이터 그룹(C3)과 표면 좌표 데이터 그룹(T)을 정합한 데이터를 기초로 내시경의 위치를 표시하며, 상기 내시경의 위치에 기초하여 관련된 CT 영상과 내시경 영상을 정합할 수 있다. 디스플레이부(450)는 상기 영상 정합부에서 정합된 영상을 디스플레이할 수 있다.
도 4는 본 발명의 실시예에 따른 디스플레이부(450)가 제3 프로브 좌표 데이터 그룹(C3)과 표면 좌표 데이터 그룹(T)을 정합한 결과물을 디스플레이하는 예시도이다.
도 4의 (a)는 제1 방향에서 바라본 프로브 단부의 위치(101a)를 환자(P)의 의료 영상 위에 도시한 도면이고, 도 4의 (b)는 제2 방향에서 바라본 프로브 단부의 위치(101b)를 환자(P)의 의료 영상 위에 도시한 도면이고, 도 4의 (c)는 제3 방향에서 바라본 프로브 단부의 위치(101c)를 환자(P)의 의료 영상 위에 도시한 도면이고, 도 4의 (d)는 환자(P)의 신체 내부에 위치한 프로브 단부(101)의 실제 위치를 도시한 도면이다.
도 4의 (d)에 도시된 바와 같이, 프로브(100)는 수술 과정에서 환자(P)의 신체 내부에 위치한 상태이다. 이때, 도 4의 (a), (b) 및 (c)에 도시된 바와 같이 서로 다른 방향에서 바라본 프로브 단부(101)의 위치가 환자(P)의 의료 영상 위에 표시될 수 있다.
따라서, 집도의는 환자(P)의 의료영상 위에 표시된 프로브 단부(101)의 위치를 참고하여 수술을 진행할 수 있으며, 수술의 성공률은 높아질 수 있다.
실시예에 따르면, 상기 영상 정합부는, CT 영상 중 내시경 영상에 대응하는 일부 영역을 미리 정해진 기준에 따라 추출하고, 상기 추출된 CT 영상을 설정 알고리즘에 따라 상기 내시경 영상의 곡률에 맞게 왜곡시켜 왜곡 영상을 만든다. 상기 디스플레이부는, 상기 왜곡 영상을 디스플레이할 수 있다.
실시예에 따르면, 상기 영상 정합부는, 환자의 조직에 가려져 상기 내시경 영상에 보이지 않는 부분을 상기 CT 영상에서 추출한다. 상기 디스플레이부는, 상기 보이지 않는 부분을 설정 알고리즘에 의해 내시경으로부터의 거리에 따라 복수의 책자 영역을 포함하는 책자 형태로 디스플레이한다. 상기 각 책자 영역은 내시경으로부터의 거리에 따라 책자들을 넘기는 형태로, 책자의 각 페이지의 형태로 표시된다.
실시예에 따르면, 상기 영상 정합부는, 상기 프로브의 이동 경로를 나타내는 복수의 이동 경로 후보를 입력받아 저장하며, 상기 복수의 이동 경로 후보들 각각에 대해 설정 알고리즘에 따라 선호도를 부여하며, 상기 복수의 이동 경로 후보 중, 상기 선호도가 기준값 이상인 후보들을 추출하여 추천 이동 경로를 생성한다. 상기 디스플레이부는, 상기 추천 이동 경로를 디스플레이하며, 상기 각 책자 영역별로 내시경으로부터의 거리를 반영하여 추천 이동 경로를 표시한다.
실시예에 따르면, 상기 영상 정합부는, 상기 CT 영상으로부터 신경 및 혈관을 세그멘테이션하고, 상기 CT 영상을 상기 내시경 영상에 정합할 때 상기 세그멘테이션된 신경 및 혈관을 별도로 정합하여 신경 및 혈관 표시 영상을 만들고, 상기 각 책자 영역별로 신경 및 혈관 위치를 피한 추천 이동 경로를 표시한다. 상기 디스플레이부는, 상기 신경 및 혈관 표시 영상을 디스플레이하되, 각 책자 영역별로 신경 및 혈관 위치를 피한 추천 이동 경로를 표시한다.
실시예에 따르면, 상기 영상 정합부는, 상기 신경 및 혈관 표시 영상을 상기 책자 형태의 디스플레이의 각 책자 영역별로 나누고, 미리 설정된 위험 신경 및 혈관 정보를 정합한다. 상기 디스플레이부는, 상기 복수의 책자 영역 중 상기 위험 신경 및 혈관이 위치한 책자 위치를 표시한다.
실시예에 따르면, 상기 영상 정합부는, 상기 프로브 끝단이 상기 내시경 영상 밖으로 사라진 경우, 상기 내시경 영상을 기준으로 한 상기 프로브의 위치를 산출한다. 상기 디스플레이부는, 상기 내시경 영상 밖으로 사라진 프로브의 위치를 디스플레이하고, 상기 프로브의 위치 근방의 상기 위험 신경 및 혈관이 위치한 책자 위치를 표시한다. 상기 책자 위치는 전체 책자 영역 중 해당 책자 영역의 페이지 수로 나타난다.
이 분야의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명의 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims (7)

  1. 환자를 촬영한 CT 영상으로부터 상기 환자의 신체 표면에 관한 복수의 표면 좌표 데이터를 추출하여 생성한 표면 좌표 데이터 그룹을 이용한 수술용 내비게이션 장치로서,
    단부가 상기 환자와 접촉되는 내시경 프로브;
    상기 내시경으로 촬영한 영상을 획득하는 내시경 영상 획득부;
    상기 프로브를 센싱하여 상기 프로브의 위치 정보가 반영된 프로브 좌표 데이터를 생성하는 센싱부;
    상기 프로브 좌표 데이터와 상기 표면 좌표 데이터를 정합하여 하나의 공간 좌표계에 배치하는 좌표 데이터 정합부;
    상기 정합된 데이터를 기초로 상기 내시경의 위치를 표시하며, 상기 내시경의 위치에 기초하여 관련된 상기 CT 영상과 상기 내시경 영상을 정합하는 영상 정합부; 및
    상기 영상 정합부에서 정합된 영상을 디스플레이하는 디스플레이부를 포함하며,
    상기 영상 정합부는,
    상기 CT 영상 중 상기 내시경 영상에 대응하는 영역을 추출하고, 상기 추출된 CT 영상을 설정 알고리즘에 따라 상기 내시경 영상의 곡률에 맞게 왜곡시켜 왜곡 영상을 만들고,
    상기 디스플레이부는, 상기 왜곡 영상을 디스플레이하는 것을 특징으로 하는, CT 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치.
  2. 제1항에 있어서,
    상기 프로브 좌표 데이터는, 제1 내지 제3 프로브 좌표 데이터를 포함하며,
    상기 센싱부는, 제1 프로브 좌표 데이터를 생성하며,
    상기 제1 프로브 좌표 데이터를 기초로 상기 프로브 단부의 위치 정보를 나타내는 제2 프로브 좌표 데이터를 생성하는 제2 프로브 좌표 데이터 생성부; 및
    상기 제2 프로브 좌표 데이터를 기초로 상기 프로브 단부의 이동 경로를 추정하고, 상기 프로브 단부의 이동 경로 상에서 일정한 간격으로 배치되는 복수의 제3 프로브 좌표 데이터를 산출하여 제3 프로브 좌표 데이터 그룹을 생성하는 제3 프로브 좌표 데이터 생성부를 더 포함하며,
    상기 좌표 데이터 정합부는, 상기 제3 프로브 좌표 데이터 그룹과 상기 표면 좌표 데이터 그룹을 정합하여 하나의 공간 좌표계에 배치하는 것을 특징으로 하는, CT 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치.
  3. 제1항에 있어서,
    상기 영상 정합부는,
    환자의 조직에 가려져 상기 내시경 영상에 보이지 않는 부분을 상기 CT 영상에서 추출하며,
    상기 디스플레이부는,
    상기 보이지 않는 부분을 설정 알고리즘에 의해 내시경으로부터의 거리에 따라 복수의 책자 영역을 포함하는 책자 형태로 디스플레이하는 것을 특징으로 하는, CT 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치.
  4. 제3항에 있어서,
    상기 영상 정합부는,
    상기 프로브의 이동 경로를 나타내는 복수의 이동 경로 후보를 입력받아 저장하며,
    상기 복수의 이동 경로 후보들 각각에 대해 설정 알고리즘에 따라 선호도를 부여하며,
    상기 복수의 이동 경로 후보들 중, 상기 선호도가 기준값 이상인 후보들을 추출하여 추천 이동 경로를 생성하며,
    상기 디스플레이부는,
    상기 추천 이동 경로를 디스플레이하며, 상기 각 책자 영역별로 내시경으로부터의 거리를 반영하여 추천 이동 경로를 표시하는 것을 특징으로 하는, CT 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치.
  5. 제4항에 있어서,
    상기 영상 정합부는,
    상기 CT 영상으로부터 신경 및 혈관을 세그멘테이션하고, 상기 CT 영상을 상기 내시경 영상에 정합할 때 상기 세그멘테이션된 신경 및 혈관을 별도로 정합하여 신경 및 혈관 표시 영상을 만들고, 상기 각 책자 영역별로 신경 및 혈관 위치를 피한 추천 이동 경로를 표시하고,
    상기 디스플레이부는,
    상기 신경 및 혈관 표시 영상을 디스플레이하되, 상기 각 책자 영역별로 신경 및 혈관 위치를 피한 추천 이동 경로를 표시하는 것을 특징으로 하는, CT 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치.
  6. 제5항에 있어서,
    상기 영상 정합부는,
    상기 신경 및 혈관 표시 영상을 상기 책자 형태의 디스플레이의 각 책자 영역별로 나누고, 미리 설정된 위험 신경 및 혈관 정보를 정합하고,
    상기 디스플레이부는,
    상기 복수의 책자 영역 중 상기 위험 신경 및 혈관이 위치한 책자 위치를 표시하는 것을 특징으로 하는, CT 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치.
  7. 제6항에 있어서,
    상기 영상 정합부는,
    수술 중 상기 프로브 끝단이 상기 내시경 영상 밖으로 사라진 경우, 상기 내시경 영상을 기준으로 한 상기 프로브의 위치를 산출하고,
    상기 디스플레이부는, 상기 내시경 영상 밖으로 사라진 프로브의 위치를 디스플레이하고, 상기 프로브의 위치 근방의 상기 위험 신경 및 혈관이 위치한 책자 위치를 표시하는 것을 특징으로 하는, CT 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치.
KR1020230134970A 2022-12-02 2023-10-11 Ct 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치 KR20240083010A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220166802 2022-12-02
KR20220166802 2022-12-02

Publications (1)

Publication Number Publication Date
KR20240083010A true KR20240083010A (ko) 2024-06-11

Family

ID=91471154

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230134970A KR20240083010A (ko) 2022-12-02 2023-10-11 Ct 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치

Country Status (1)

Country Link
KR (1) KR20240083010A (ko)

Similar Documents

Publication Publication Date Title
EP2153794B1 (en) System for and method of visualizing an interior of a body
CN108836478B (zh) 侵入式手术在狭窄通道中的内窥镜视图
CN109998678A (zh) 在医学规程期间使用增强现实辅助导航
EP2637593B1 (en) Visualization of anatomical data by augmented reality
US5823958A (en) System and method for displaying a structural data image in real-time correlation with moveable body
CN108601628B (zh) 将操作器械定位在患者身体内的导航、跟踪和引导系统
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
US10506991B2 (en) Displaying position and optical axis of an endoscope in an anatomical image
CN106163408B (zh) 使用同时的x平面成像的图像配准和引导
EP2329786A2 (en) Guided surgery
US20080123910A1 (en) Method and system for providing accuracy evaluation of image guided surgery
JP2007515242A (ja) 患者の体内に医療用機器を案内するためのシステム
CN109833092A (zh) 体内导航系统和方法
US10682126B2 (en) Phantom to determine positional and angular navigation system error
WO2021130569A1 (en) 2d pathfinder visualization
CN111417353A (zh) 外科手术形状传感光纤光学设备及其方法
CN102429730B (zh) 一种用于医学图像导航系统的标定模及使用方法
CN114466626A (zh) 配准方法和导航系统
JP2022517807A (ja) 医療用ナビゲーションのためのシステムおよび方法
US12023109B2 (en) Technique of providing user guidance for obtaining a registration between patient image data and a surgical tracking system
KR20240083010A (ko) Ct 영상과 내시경 영상을 정합하여 디스플레이하는 수술용 내비게이션 장치
KR20240083011A (ko) 신경 및 혈관을 회피한 최적 경로를 디스플레이하는 수술용 내비게이션 장치
KR20210051481A (ko) 수술용 내비게이션 장치 및 방법
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
CN115363751B (zh) 术中解剖结构指示方法