KR101977650B1 - 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법 - Google Patents

증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법 Download PDF

Info

Publication number
KR101977650B1
KR101977650B1 KR1020170110940A KR20170110940A KR101977650B1 KR 101977650 B1 KR101977650 B1 KR 101977650B1 KR 1020170110940 A KR1020170110940 A KR 1020170110940A KR 20170110940 A KR20170110940 A KR 20170110940A KR 101977650 B1 KR101977650 B1 KR 101977650B1
Authority
KR
South Korea
Prior art keywords
medical image
endoscope
image data
range
data
Prior art date
Application number
KR1020170110940A
Other languages
English (en)
Other versions
KR20190024194A (ko
Inventor
박종현
설동표
Original Assignee
(주)레벨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)레벨소프트 filed Critical (주)레벨소프트
Priority to KR1020170110940A priority Critical patent/KR101977650B1/ko
Publication of KR20190024194A publication Critical patent/KR20190024194A/ko
Application granted granted Critical
Publication of KR101977650B1 publication Critical patent/KR101977650B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법에 관한 것으로서, 더욱 상세하게는 내시경 또는 의료용 항법 장치에 사용될 수 있는 증강 현실 의료 영상을 생성하고 처리하기 위한 장치 및 방법에 관한 것이다.
이를 위해 본 발명은, 증강 현실을 이용한 의료 영상 처리 장치로서, 대상체에 대한 내시경 영상을 취득하는 내시경 영상 취득부; 상기 대상체에 대한 의료 영상에 기초하여 생성된 의료 영상 데이터를 저장하는 메모리; 및 상기 의료 영상 데이터를 기준으로 한 내시경의 위치 및 방향 정보를 획득하고, 획득된 위치 및 방향 정보에 기초하여 상기 의료 영상 데이터 중 증강 현실로 디스플레이 될 타겟 영역을 결정하고, 상기 타겟 영역에 대응하는 부분 의료 영상 데이터를 상기 내시경 영상에 증강 현실 영상으로 렌더링하는 프로세서; 를 포함하는 의료 영상 처리 장치 및 이를 이용한 의료 영상 처리 방법을 제공한다.

Description

증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법{Medical Image Processing Apparatus Using Augmented Reality and Medical Image Processing Method Using The Same}
본 발명은 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법에 관한 것으로서, 더욱 상세하게는 내시경 또는 의료용 항법 장치에 사용될 수 있는 증강 현실 의료 영상을 생성하고 처리하기 위한 장치 및 방법에 관한 것이다.
수술 시 환자의 절개 부위를 최소화하는 최소 침습 수술이 널리 사용되고 있다. 최소 침습 수술은 절개 부위를 최소화하고 그에 따른 실혈(blood loss)과 회복기간을 최소화할 수 있는 장점이 있으나, 의사의 시야가 제한되어 일부 수술들의 경우 뇌수막 손상, 안구 손상 등의 위험 요인을 갖고 있다. 의사의 시야가 제한되는 최소 침습 수술의 단점을 극복하기 위한 도구의 하나로써, 의료용 항법 장치(또는, 수술 항법 장치)가 사용되고 있다. 의료용 항법 장치는 사전에 확보된 환자의 의료 영상을 기준으로 환자의 환부에 삽입된 기구의 위치 정보를 실시간으로 추적하여 제공한다. 또한, 이러한 의료용 항법 장치는 내시경과 결합하여 사용될 수도 있다.
의료용 항법 장치에서 삽입된 시술 기구의 실시간 위치 추적을 위해 광학식 또는 전자기식 위치 추적 장치가 사용될 수 있다. 시술 기구의 위치 추적을 위한 일 예로, 적외선 방출 장치와 패시브 형태의 이미지 센서를 포함하는 광학식 위치 추적 장치가 사용될 수 있다. 광학식 위치 추적 장치는 적외선 방출 장치를 통해 기준 광을 방사하고, 복수의 마커들에 의해 반사되는 이미지를 이미지 센서를 통해 수집한다. 해당 위치 추적 장치는 복수의 마커들의 위치를 기초로 시술 기구의 위치 정보를 획득할 수 있다. 한편, 시술 기구의 위치 추적을 위한 다른 예로, 자기장 생성기 및 전도성 금속 물체를 포함하는 전자기식 위치 추적 장치가 사용될 수 있다. 전자기식 위치 추적 장치는 자기장 생성기에 의해 생성된 자기장 내에서 전도성 금속 물체에 발생하는 맴돌이 전류를 측정하여 시술 기구의 위치 정보를 획득할 수 있다. 위치 추적 장치에서 시술 기구와 신체 부위의 위치 관계를 정확하게 표시하기 위해, 환자의 신체 부위에 대한 의료 데이터와 시술 기구간의 최초 위치 관계를 정의하는 정합 과정이 필요할 수 있다.
도 1은 의료용 항법 장치의 출력 영상의 일 실시예를 도시한다. 의료용 항법 장치는 신체 부위에 대한 수평면(horizontal), 시상면(sagittal) 및 관상면(coronal)의 영상들 중 적어도 하나를 디스플레이 할 수 있다. 시술자(또는, 의사)는 각 영상들을 해석하여 시술 기구의 3차원적 위치를 판단하고, 인접한 위험 요소 등을 파악한다. 그러나 이러한 단면 영상들은 신체 부위 내에서의 시술 기구의 위치를 직관적으로 표현할 수 없다. 따라서, 복수의 단면 영상들을 대조하여 시술 기구의 정확한 위치를 판단하기 위해서 시술자의 숙련도가 필요할 뿐만 아니라 많은 시간이 소요될 수 있다. 또한, 시술 기구의 위치 파악을 위해 의료용 항법 장치의 모니터를 주시하는 시간이 길어질 경우, 전체적인 시술 기간이 길어져 시술자와 환자 모두의 피로를 증가시킬 수 있다.
본 발명은 환자의 신체 내의 시술 부위 및 인접한 요소들에 대한 정보를 시술자가 직관적으로 파악할 수 있도록 하는 의료 영상 처리 방법을 제공하기 위한 목적을 가지고 있다.
또한, 본 발명은 사전에 수집된 환자의 의료 영상과 실시간으로 수집되는 시술 부위 영상을 효과적으로 렌더링 하기 위한 목적을 가지고 있다.
또한, 본 발명은 환자의 해부학적 구조를 파악하기 용이한 의료용 항법 장치를 제공하기 위한 목적을 가지고 있다.
상기와 같은 과제를 해결하기 위해, 본 발명은 다음과 같은 의료 영상 처리 장치 및 의료 영상 처리 방법을 제공한다.
먼저, 본 발명의 실시예에 따르면, 증강 현실을 이용한 의료 영상 처리 장치로서, 대상체에 대한 내시경 영상을 취득하는 내시경 영상 취득부; 상기 대상체에 대한 의료 영상에 기초하여 생성된 의료 영상 데이터를 저장하는 메모리; 및 상기 의료 영상 데이터를 기준으로 한 내시경의 위치 및 방향 정보를 획득하고, 획득된 위치 및 방향 정보에 기초하여 상기 의료 영상 데이터 중 증강 현실로 디스플레이 될 타겟 영역을 결정하고, 상기 타겟 영역에 대응하는 부분 의료 영상 데이터를 상기 내시경 영상에 증강 현실 영상으로 렌더링하는 프로세서; 를 포함하는 의료 영상 처리 장치가 제공된다.
또한, 본 발명의 실시예에 따르면, 증강 현실을 이용한 의료 영상 처리 방법으로서, 대상체에 대한 내시경 영상을 취득하는 단계; 상기 대상체의 의료 영상 데이터를 기준으로 한 내시경의 위치 및 방향 정보를 획득하는 단계, 상기 대상체의 의료 영상 데이터는 상기 대상체에 대한 의료 영상에 기초하여 생성됨; 상기 획득된 위치 및 방향 정보에 기초하여 상기 의료 영상 데이터 중 증강 현실로 디스플레이 될 타겟 영역을 결정하는 단계; 및 상기 타겟 영역에 대응하는 부분 의료 영상 데이터를 상기 내시경 영상에 증강 현실 영상으로 렌더링하는 단계; 를 포함하는 의료 영상 처리 방법이 제공된다.
일 실시예에 따르면, 상기 의료 영상 데이터는 상기 대상체에 대한 의료 영상과 사용자에 의해 임의로 설정된 보조 데이터를 합성하고 볼륨 렌더링을 수행한 데이터를 포함한다.
이때, 상기 보조 데이터는 기 설정된 HU(Hounsfield Unit) 범위 밖의 값을 갖는 복셀(voxel)로 표현된다.
또한, 상기 기 설정된 HU 범위 밖의 범위는 제1 임계값을 초과하는 제1 HU 범위와 제2 임계값 미만의 제2 HU 범위를 포함하며, 상기 제1 HU 범위의 값은 상기 제2 HU 범위의 값과 서로 다른 종류의 보조 데이터를 나타낸다.
일 실시예에 따르면, 상기 기 설정된 HU 범위는 -1000HU부터 +1000HU까지이다.
본 발명의 다른 실시예에 따르면, 상기 프로세서는, 상기 내시경 영상을 이용하여 제1 노멀맵(Normal Map)을생성하고, 상기 제1 노멀맵을 상기 의료 영상 데이터로부터 획득된 복수의 제2 노멀맵들과 비교하여 유사도를 판단한 결과에 기초하여, 상기 의료 영상 데이터를 기준으로 한 내시경의 위치 및 방향 정보를 획득한다.
이때, 상기 프로세서는, 상기 제1 노멀맵을 이전 시점의 상기 내시경의 위치 및 방향으로부터 기 설정된 범위 내의 제2 노멀맵들과 비교한다.
일 실시예에 따르면, 상기 제1 노멀맵은 상기 대상체의 탐색 영역에 대한 구조광의 반사 정보에 기초하여 획득된다.
또한, 상기 제2 노멀맵은 상기 대상체에 대한 가상 내시경의 위치 및 방향 정보에 기초하여 상기 의료 영상 데이터로부터 획득된다.
또한, 상기 가상 내시경의 방향 정보는 상기 가상 내시경의 경로의 시작점과 현재 가상 내시경의 위치를 잇는 직선에 기초하여 결정된다.
본 발명의 실시예에 따르면, 환자의 의료 영상과 시술 부위 영상을 효과적으로 렌더링 함으로 수술 및 의료 진단의 편의성을 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 의료 영상에 포함된 부가적인 데이터의 렌더링에 필요한 연산량을 최소화할 수 있다.
또한, 본 발명의 실시예에 따르면, 시술자가 환자의 해부학적 구조를 용이하게 파악할 수 있도록 하여 시술의 편의성 및 집중도를 향상시킬 수 있다.
도 1은 의료용 항법 장치의 출력 영상의 일 실시예를 도시한다.
도 2는 본 발명의 일 실시예에 따른 의료 영상 처리 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 의료 영상 처리 장치의 프로세서의 더욱 상세한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 내시경 추적부의 블록도이다.
도 5는 내시경 영상 및 이를 이용하여 생성된 노멀맵을 예시한다.
도 6은 의료 영상 데이터가 내시경 영상에 대한 증강 현실 영상으로 제공되는 것을 예시한다.
도 7 및 도 8은 본 발명의 실시예에 따른 볼륨 렌더링 기법을 도시한다.
도 9는 본 발명의 일 실시예에 따른 의료 영상 데이터 생성부의 블록도이다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
명세서 전체에서, 어떤 구성이 다른 구성과 “연결”되어 있다고 할 때, 이는 “직접적으로 연결”되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 “전기적으로 연결”되어 있는 경우도 포함한다. 또한 어떤 구성이 특정 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 이에 더하여, 특정 임계값을 기준으로 “이상” 또는 “이하”라는 한정 사항은 실시예에 따라 각각 “초과” 또는 “미만”으로 적절하게 대체될 수 있다.
이하, 각 도면을 참조로 본 발명의 실시예에 따른 의료 영상 처리 장치 및 의료 영상 처리 방법을 설명하도록 한다. 본 발명의 실시예에 따른 영상 처리 장치 및 영상 처리 방법은 인체 및 동물체를 포함하는 대상체에 대한 의료 영상에 적용될 수 있다. 의료 영상은 X-ray 영상, 컴퓨터 단층 촬영(Computed Tomography, CT) 영상, 양전자 방출 단층 촬영(Positron Emission Tomography, PET) 영상, 초음파 영상 및 자기 공명 영상(Magnetic Resonance Imaging, MRI)을 포함하며, 본 발명은 이에 한정되지 않는다. 또한, 본 명세서에서 의료 영상 데이터는 의료 영상 자체뿐만 아니라 의료 영상을 렌더링하여 생성된 다양한 형태의 데이터를 포함하는 넓은 의미의 용어로 사용된다. 일 실시예에 따르면, 의료 영상 데이터는 의료 영상을 볼륨 렌더링한 데이터를 가리킬 수 있다. 본 발명의 실시예에 따른 의료 영상 처리 장치 및 의료 영상 처리 방법은 내시경 및/또는 의료용 항법 장치에 의해 제공되는 영상을 생성하거나 처리할 수 있다.
도 2는 본 발명의 일 실시예에 따른 의료 영상 처리 장치(10)의 블록도이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 의료 영상 처리 장치(10)는 프로세서(11), 통신부(12), 입력부(13), 메모리(14), 내시경 영상 취득부(15) 및 디스플레이 출력부(16)를 포함할 수 있다.
먼저, 통신부(12)는 외부 장치와 통신을 수행하기 위한 다양한 프로토콜의 유/무선 통신 모듈을 포함한다. 입력부(13)는 의료 영상 처리 장치(10)에 대한 사용자 입력을 수신하기 위한 다양한 형태의 인터페이스를 포함한다. 일 실시예에 따르면, 입력부(13)는 키보드, 마우스, 카메라, 마이크, 포인터, USB, 외부 장치와의 연결 포트 등을 포함할 수 있으며, 본 발명은 이에 한정되지 않는다. 의료 영상 처리 장치는 통신부(12) 및/또는 입력부(13)를 통해 대상체의 의료 영상을 미리 획득할 수 있다. 메모리(14)는 의료 영상 처리 장치(10)에서 사용되는 제어 프로그램 및 이와 관련된 각종 데이터를 저장한다. 예를 들어, 메모리(14)는 사전에 획득된 대상체의 의료 영상을 저장할 수 있다. 또한, 메모리(14)는 대상체의 의료 영상을 렌더링하여 생성된 의료 영상 데이터를 저장할 수 있다.
내시경 영상 취득부(15)는 내시경(50)이 촬영한 대상체의 탐색 영역에 대한 내시경 영상을 취득한다. 내시경 영상 취득부(15)는 내시경(50)과 유선 또는 무선으로 연결되어 내시경(50)으로부터 영상을 수신할 수 있다.
디스플레이 출력부(16)는 본 발명의 실시예에 따라 생성된 영상을 출력한다. 즉, 디스플레이 출력부(16)는 후술하는 바와 같이 대상체의 내시경 영상과 함께 증강 현실 영상을 출력할 수 있다. 이때, 증강 현실 영상은 내시경 영상에 대응하는 부분 의료 영상 데이터를 포함한다. 디스플레이 출력부(16)에 의해 출력된 영상은 의료 영상 처리 장치(10)와 연결된 모니터(60)에 의해 디스플레이 될 수 있다.
본 발명의 프로세서(11)는 다양한 명령 또는 프로그램을 실행하고, 의료 영상 처리 장치(10) 내부의 데이터를 처리할 수 있다. 또한, 프로세서(11)는 전술한 의료 영상 처리 장치(10)의 각 유닛을 제어하며, 유닛들 간의 데이터 송수신을 제어할 수 있다.
도 2에 도시된 의료 영상 장치(10)는 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 해당 장치의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 의료 영상 장치(10)의 엘리먼트들은 해당 장치의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 또한, 도 2에 도시된 의료 영상 장치(10)의 구성들 중 일부 구성이 생략될 수 있으며, 추가적인 구성이 의료 영상 장치(10)에 포함될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 의료 영상 처리 장치(10)의 프로세서(11)의 더욱 상세한 블록도이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 의료 영상 처리 장치(10)의 프로세서(11)는 내시경 추적부(110), 의료 영상 데이터 생성부(120), 부분 의료 영상 데이터 추출부(130) 및 증강 현실 데이터 생성부(140)를 포함할 수 있다.
내시경 추적부(110)는 의료 영상 처리(10)에 내시경 영상을 제공하는 내시경(50)의 위치 및 방향 정보를 획득한다. 더욱 구체적으로, 내시경 추적부(110)는 대상체의 의료 영상 데이터 좌표계를 기준으로 한 내시경(50)의 위치 및 방향 정보를 획득한다. 본 발명의 일 실시예에 따르면, 내시경 추적부(110)는 내시경 영상 취득부(15)를 통해 획득된 내시경 영상을 분석하여 내시경(50)의 위치 및 방향을 추적할 수 있다. 이에 대한 구체적인 실시예는 후술하도록 한다. 한편, 본 발명의 다른 실시예에 따르면, 내시경 추적부(110)는 별도의 내시경 추적 장치를 구비하여, 내시경(50)의 위치 및 방향을 추적할 수 있다. 6DOF(Degree of Freedom)를 갖는 추적 장치가 내시경(50)에 결합된 경우, 내시경 추적부(110)는 추적 장치로부터 내시경(50)의 위치 및 방향 정보를 획득할 수 있다. 추적 장치로부터 획득된 위치 및 방향 정보에 대해 정합(registration) 과정을 수행하면, 의료 영상 데이터 좌표계를 기준으로 한 내시경(50)의 위치 및 방향 정보가 획득될 수 있다.
다음으로, 의료 영상 데이터 생성부(120)는 대상체의 의료 영상을 렌더링하여 의료 영상 데이터를 생성한다. 전술한 바와 같이, 의료 영상은 X-ray 영상, CT 영상, PET 영상, 초음파 영상 및 MRI 중 적어도 하나를 포함한다. 일 실시예에 따르면, 의료 영상 데이터 생성부(120)는 대상체의 의료 영상에 볼륨 렌더링을 수행하여 의료 영상 데이터를 생성할 수 있다. 뿐만 아니라, 의료 영상 데이터 생성부(120)는 대상체에 대한 의료 영상과 사용자에 의해 임의로 설정된 보조 데이터를 합성하고, 합성된 데이터에 볼륨 렌더링을 수행하여 의료 영상 데이터를 생성할 수도 있다. 이에 대한 구체적인 실시예는 후술하도록 한다.
다음으로, 부분 의료 영상 추출부(130)는 획득된 내시경(50)의 위치 및 방향 정보에 기초하여, 의료 영상 데이터 중 증강 현실로 디스플레이 될 부분 의료 영상 데이터를 추출한다. 더욱 구체적으로, 부분 의료 영상 추출부(130)는 내시경(50)의 위치 및 방향 정보에 기초하여, 의료 영상 데이터 중 증강 현실로 디스플레이 될 타겟 영역을 결정한다. 본 발명의 일 실시예에 따르면, 타겟 영역은 내시경(50)의 특정 초점 거리, 시야각, 심도에 기초한 절두체(view frustum)의 영역으로 결정될 수 있다. 따라서, 내시경 추적부(110)에 의해 의료 영상 데이터 좌표계를 기준으로 한 내시경(50)의 위치 및 방향 정보가 획득되면, 의료 영상 데이터 내에서 증강 현실로 표현되어야 할 타겟 영역이 결정될 수 있다. 부분 의료 영상 추출부(130)는 이와 같이 결정된 타겟 영역에 대응하는 부분 의료 영상 데이터를 추출한다.
다음으로, 증강 현실 데이터 생성부(140)는 추출된 부분 의료 영상 데이터를 증강 현실 영상으로 렌더링 한다. 즉, 증강 현실 데이터 생성부(140)는 부분 의료 영상 데이터와 내시경 영상을 정합하여, 부분 의료 영상 데이터를 내시경 영상에 대한 증강 현실 영상으로 제공한다.
도 4는 본 발명의 일 실시예에 따른 내시경 추적부(110)의 블록도이다. 내시경 영상과 증강 현실 영상을 의미 있는 형태로 정합하기 위해서는 다음과 같은 정보들이 필요하다.
- 의료 영상 데이터 좌표계를 기준으로 한 내시경(50)의 위치 Pf(Xf, Yf, Zf)
- 의료 영상 데이터 좌표계를 기준으로 한 내시경(50)의 방향 벡터 Vview(Xv, Yv, Zv), Vup(Xu, Yu, Zu), Vright(Xr, Yr, Zr)
- 내시경(50)의 시야각(Field of View, FOV)
- 내시경(50)의 초점 거리
- 내시경(50)의 심도(Depth of Field, DOF)
이들 중에서 시야각, 초점 거리, 심도는 내시경 렌즈의 고정된 사양을 따르게 된다. 따라서, 의료 영상 데이터 내에서 증강 현실로 표현되어야 할 타겟 영역을 결정하기 위해서는 내시경(50)의 위치 정보 및 방향 정보가 실시간으로 획득되어야 한다.
본 발명의 일 실시예에 따르면, 내시경 추적부(110)는 별도의 내시경 추적 장치로부터 내시경(50)의 위치 및 방향을 추적할 수 있다. 그러나 본 발명의 다른 실시예에 따르면, 내시경 추적부(110)는 내시경 영상과 의료 영상 데이터를 비교하여 내시경(50)의 위치 및 방향을 추적할 수 있다. 더욱 구체적으로, 내시경 추적부(110)는 내시경 영상을 이용하여 생성된 노멀맵(normal map)과 의료 영상 데이터를 이용하여 생성된 복수의 노멀맵들을 비교하여, 내시경(50)의 위치 및 방향을 추적한다. 노멀맵은 탐색 영역에 대한 표면 정보를 2차원 형태로 프로젝션한 데이터를 나타낼 수 있다.
도 4를 참조하면, 내시경 추적부(110)는 제1 노멀맵 생성부(112), 제2 노멀맵 생성부(114) 및 노멀맵 비교부(116)를 포함할 수 있다. 먼저, 제1 노멀맵 생성부(112)는 내시경 영상을 획득하고, 획득된 내시경 영상을 이용하여 제1 노멀맵(Mreal)을 생성한다. 일반적으로 내시경 영상에는 빛의 방향 파악이 용이한 스포트라이트(spotlight) 형태의 광원이 내재되어 있다. 또한, 내시경으로 관찰하는 탐색 영역인 인체의 내부는 별도의 광원이 없고, 반사가 잘되는 타액이 표면에 많이 포함되어 있다. 이로 인해, 내시경 영상은 하이라이트(highlight) 및 셰이드(shade) 등의 효과가 극대화 될 수 있다. 따라서, 본 발명의 실시예에 따르면, 제1 노멀맵 생성부(112)는 획득된 내시경 영상에서 빛의 세기를 분석하여 3차원 탐색 영역의 표면 정보를 2차원 형태로 프로젝션한 제1 노멀맵(Mreal)을 생성할 수 있다. 제1 노멀맵 생성부(112)에서 생성된 제1 노멀맵(Mreal)은 노멀맵 비교부(116)로 전달된다.
도 5는 내시경 영상 및 이를 이용하여 생성된 노멀맵을 예시한다. 도 5(a)는 내시경(50)으로부터 획득된 내시경 영상을 나타내며, 도 5(b)는 내시경 영상을 이용하여 생성된 노멀맵을 나타낸다. 도 5(a)에서 나타난 바와 같이, 내시경 영상은 표면의 굴곡에 따라 하이라이트와 셰이드가 명확하게 나타날 수 있다. 따라서, 본 발명의 의료 영상 처리 장치(10)는 내시경 영상을 분석하여 도 5(b)에 나타난 바와 같은 노멀맵을 생성할 수 있다.
본 발명의 추가적인 실시예에 따르면, 보다 정확한 제1 노멀맵(Mreal)을 생성하기 위해 구조광 또는 패턴광이 적용된 내시경 영상이 사용될 수 있다. 이때, 제1 노멀맵(Mreal)은 대상체의 탐색 영역에 대한 구조광 또는 패턴광의 반사 정보에 기초하여 획득된다.
다시 도 4로 돌아가면, 제2 노멀맵 생성부(114)는 의료 영상 데이터로부터 복수의 제2 노멀맵(Mvirtual)들을 획득한다. 사용자는 사전에 의료 영상 데이터에 대한 내시경의 진행 방향을 결정하고 그 정보를 저장할 수 있다. 본 발명의 실시예에 따르면, 제2 노멀맵 생성부(114)는 사전에 결정된 내시경 진행 경로를 소정의 간격으로 나누고, 나누어진 각 지점에 대응하는 가상 내시경 영상을 생성할 수 있다. 이와 같이 생성된 가상 내시경 영상을 이용하여 제2 노멀맵(Mvirtual)이 획득된다. 제2 노멀맵(Mvirtual)은 대상체에 대한 가상 내시경의 위치 및 방향 정보에 기초하여 의료 영상 데이터로부터 획득될 수 있다. 이때, 가상 내시경의 방향 정보는 가상 내시경의 경로의 시작점과 현재 가상 내시경의 위치를 잇는 직선에 기초하여 결정될 수 있다. 그러나 가상 내시경이 동일 위치 및 방향 벡터 Vview를 갖더라도, 방향 벡터 Vview를 중심으로 한 가상 내시경의 회전에 따라 서로 다른 제2 노멀맵(Mvirtual)들이 필요할 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 하나의 지점에 대해 소정의 각도로 분할된 복수의 제2 노멀맵(Mvirtual)들이 획득될 수 있다. 제2 노멀맵 생성부(114)에서 생성된 제2 노멀맵(Mvirtual)은 노멀맵 비교부(116)로 전달된다.
노멀맵 비교부(116)는 내시경 영상으로부터 획득된 제1 노멀맵(Mreal)을 의료 영상 데이터로부터 획득된 복수의 제2 노멀맵(Mvirtual)들과 비교하여 유사도를 판단한다. 유사도 판단 결과 가장 유사도가 높은 제2 노멀맵(Mvirtual)에 기초하여, 의료 영상 데이터를 기준으로 한 내시경(50)의 위치 및 방향 정보가 획득될 수 있다. 본 발명의 추가적인 실시예에 따르면, 노멀맵 비교부(116)는 노멀맵의 유사도 판단에 소요되는 복잡도를 줄이기 위해, 제1 노멀맵(Mreal)을 이전 시점의 내시경(50)의 위치 및 방향으로부터 기 설정된 범위 내의 제2 노멀맵(Mvirtual)들과 우선적으로 비교할 수 있다.
내시경(50)의 위치 및 방향 정보가 획득되면, 의료 영상 처리 장치(10)는 전술한 바와 같이 증강 현실로 디스플레이 될 부분 의료 영상 데이터를 추출하고, 추출된 부분 의료 영상 데이터를 증강 현실 영상으로 렌더링한다.
도 6은 의료 영상 데이터가 내시경 영상에 대한 증강 현실 영상으로 제공되는 것을 예시한다. 더욱 구체적으로, 도 6(a)는 내시경 영상을, 도 6(b)는 부분 의료 영상 데이터를 나타내며, 도 6(c)는 부분 의료 영상 데이터가 내시경 영상에 대한 증강 현실 영상으로 제공된 것을 나타낸다. 전술한 본 발명의 실시예에 따라 의료 영상 데이터 좌표계를 기준으로 한 내시경(50)의 위치 및 방향 정보가 획득되면, 부분 의료 영상 데이터와 내시경 영상이 효율적으로 정합될 수 있다. 이에 따라, 대상체의 시술 부위 및 인접한 요소들에 대한 정보가 시술자에게 직관적으로 파악될 수 있다.
한편, 증강 현실로 표현될 의료 영상 데이터는 다양한 종류의 데이터를 포함할 수 있다. 전술한 바와 같이, 의료 영상 데이터는 X-ray 영상, CT 영상, PET 영상, 초음파 영상, MRI 등의 의료 영상에 볼륨 렌더링을 수행하여 획득된 데이터일 수 있다. 본 발명의 추가적인 실시예에 따르면, 의료 영상 데이터는 대상체의 의료 영상에서 분할(segmentation) 후 메쉬 형태로 표현된 표적 장기(예를 들어, 뇌, 안구, 폐, 심장 등)의 영상을 포함할 수 있다. 뿐만 아니라, 의료 영상 데이터는 사용자에 의해 임의로 설정된 보조 데이터를 더 포함할 수 있다. 보조 데이터는 시술자가 시술 전에 의료 영상에 삽입한 마커, 경로 등 메쉬 형태로 표현되는 계획(planning) 정보를 포함한다. 본 발명의 실시예에 따르면, 의료 영상 처리 장치(10)는 메쉬 형태로 표현되는 상기 보조 데이터들에 대해 표면 렌더링을 수행하지 않고, 의료 영상과 함께 볼륨 렌더링을 수행할 수 있다. 더욱 구체적으로, 의료 영상 처리 장치(10)는 보조 데이터를 의료 영상과 합성하고, 합성된 데이터에 일괄적으로 볼륨 렌더링을 수행하여 증강 현실을 위한 의료 영상 데이터를 생성할 수 있다.
도 7 및 도 8은 본 발명의 실시예에 따른 볼륨 렌더링 기법을 도시한다. 볼륨 렌더링은 3차원 샘플 데이터 세트에 대한 2차원 투영을 표시하는 기술이다. 일반적인 3차원 데이터 세트는 전술한 의료 영상들로부터 수집된 2차원의 단층 촬영 이미지들의 그룹으로 구성될 수 있다. 상기 그룹의 이미지들은 규칙적인 패턴 및 개수의 픽셀들을 가질 수 있다. 이와 같이 구성된 3차원 데이터 세트의 정규 격자 단위의 값을 복셀(voxel)이라고 한다.
도 7은 볼륨 렌더링에서 사용될 수 있는 광선 투사(ray-casting) 기법을 도시한다. 광선 투사 방식은 볼륨을 구성하는 복셀들이 반투명하여 스스로 빛을 내는 성질을 갖는 것으로 정의한다. 광선 투사 방식은 사용자의 시선(또는, 카메라의 위치 및 방향)에 따라 결정된 각 광선(r0, r1, … , r4)을 따라 샘플링된 복셀 값들을 누적하여 렌더링 값을 획득 한다. 이때, 생성해야 할 광선의 개수는 결과 영상의 해상도에 따라 결정된다. 사용자의 시선에 따라 3차원 볼륨 데이터를 적절하게 렌더링하기 위해 컬러 큐브 기법이 사용될 수 있다.
도 8은 볼륨 렌더링에서 사용되는 컬러 큐브를 도시한다. 볼륨 렌더링을 위해서는 모든 복셀의 투명도와 색상이 정의되어야 한다. 이를 위해, 모든 복셀 값에 대한 RGBA(red, green, blue, alpha) 값을 정의하는 RGBA 변환 함수가 정의될 수 있다. RGBA 변환 함수의 일 실시예에로, 컬러 큐브가 사용될 수 있다. 도 8에 도시된 바와 같이, 컬러 큐브는 원점(0, 0, 0)에 검정색을 지정하고, 대각선 맞은편 꼭지점(1, 1, 1)에 흰색을 지정하며, 큐브 내에서 각 좌표 값이 증가할수록 해당 RGB 값의 강도가 증가하게 된다. 각 좌표에 따른 RGB 값은 정규화된 텍스쳐 샘플링 좌표 값으로 사용된다.
볼륨 렌더링에서 각 광선의 시작점과 끝점을 정의하기 위해, 동일한 크기(즉, 픽셀 사이즈)를 갖는 전면 영상과 후면 영상의 두 장의 영상이 생성될 수 있다. 생성된 두 장의 영상 각각의 동일한 위치에서 획득되는 값이 그 위치에 대응하는 광선의 시작점과 끝점이 된다. 이와 같이 결정된 시작점부터 끝점까지 광선을 따라 일정 간격으로 의료 영상의 3차원 텍스쳐 샘플링을 진행하며 획득되는 값을 누적하면, 의도한 볼륨 렌더링 결과가 획득될 수 있다. 본 발명의 실시예에 따른 의료 영상 처리 장치(10)의 의료 영상 데이터 생성부(120)는 전술한 방법을 이용하여 볼륨 렌더링을 수행하고 의료 영상 데이터를 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따른 의료 영상 데이터 생성부(120)의 블록도이다. 도 9를 참조하면, 본 발명의 일 실시예에 따른 의료 영상 데이터 생성부(120)는 HU 생성부(122) 및 볼륨 렌더러(124)를 포함할 수 있다.
볼륨 렌더러(124)는 대상체의 의료 영상을 수신하고, 수신된 의료 영상에 볼륨 렌더링을 수행하여 의료 영상 데이터를 생성한다. 전술한 바와 같이, 의료 영상은 X-ray 영상, CT 영상, PET 영상, 초음파 영상 및 MRI 중 적어도 하나를 포함할 수 있으며, 본 발명은 이에 한정되지 않는다. 본 발명의 추가적인 실시예에 따르면, 볼륨 렌더러(124)는 대상체에 대한 의료 영상뿐만 아니라 사용자에 의해 임의로 설정된 보조 데이터를 함께 볼륨 렌더링할 수 있다. 보조 데이터는 사용자가 사전에 작성한 경로, 위험 영역 등 의료 영상 좌표계를 기준으로 그 크기와 위치가 정의된 임의의 정보를 나타낼 수 있다.
일반적으로 보조 데이터는 삼각형 메쉬 형태로 정의되어 의료 영상과 별도로 그려진 후 합성될 수 있다. 그러나 본 발명의 실시예에 따르면, 사전에 작성된 보조 데이터를 의료 영상과 함께 합성한 후 볼륨 렌더링을 수행할 수 있다. 보조 데이터를 의료 영상과 함께 볼륨 렌더링을 수행하기 위해, 보조 데이터를 기 설정된 범위의 값을 갖는 복셀들로 표현할 수 있다.
가장 널리 사용되는 의료 영상인 CT의 경우, 인체의 각 구성 요소가 갖는 CT 수치는 아래 표 1과 같다. 이때, 각 수치의 단위는 HU(Hounsfield Unit)이다.
조직(tissue) CT Number (HU)
뼈 +1000
간 40 ~ 60
백색질 -20 ~ -30
회백질 -37 ~ -45
혈액 40
근육 10 ~ 40
콩팥 30
뇌척수액 (CSF) 15
물 0
지방 -50 ~ -100
공기 -1000
의료 영상 표준인 DICOM(Digital Imaging and Communications in Medicine)에 따르는 데이터는 픽셀당 2byte를 사용한다. 따라서, 각 픽셀이 가질 수 있는 값의 범위는 216으로 -32768부터 32767까지이다. 임플란트 등의 이물질이 인체에 삽입될 수도 있으나, 재구성 과정에서 적정 수준의 값으로 치환되어 +/-1000HU 범위 밖의 값은 CT에서 사용되지 않는다.
따라서, 본 발명의 실시예에 따르면, 보조 데이터는 기 설정된 HU 범위 밖의 값을 갖는 복셀로 표현될 수 있다. 이때, 기 설정된 HU 범위는 -1000HU부터 +1000HU까지일 수 있으나, 본 발명은 이에 한정되지 않는다. HU 설정부(122)는 의료 영상 데이터 내에서 보조 데이터가 차지하는 위치에 대응하는 복셀의 값을 +/-1000HU 범위 밖의 값으로 치환할 수 있다. 볼륨 렌더러(124)는 기 설정된 HU 범위 밖의 값으로 치환된 복셀 데이터를 HU 설정부(122)로부터 획득하고, 이를 의료 영상과 함께 볼륨 렌더링 한다. 이와 같이 보조 데이터를 의료 영상과 함께 볼륨 렌더링 하면 의료 영상에 포함된 부가적인 데이터의 렌더링에 필요한 연산량을 최소화할 수 있다.
본 발명의 추가적인 실시예에 따르면, 기 설정된 HU 범위 밖의 범위는 제1 임계값을 초과하는 제1 HU 범위와 제2 임계값 미만의 제2 HU 범위를 포함할 수 있다. 이때, 제1 임계값은 +1000HU이고, 제2 임계값은 -1000HU일 수 있다. HU 설정부(122)는 제1 HU 범위의 값과 제2 HU 범위의 값이 서로 다른 종류의 보조 데이터를 나타내도록 설정할 수 있다. 예를 들어, 제1 HU 범위의 값은 사용자가 설정한 마커 정보를 나타내고, 제2 HU 범위의 값은 경로 정보를 나타낼 수 있다. 다른 실시예에 따르면, 제1 HU 범위의 값은 경로 정보를 나타내고, 제2 HU 범위의 값은 위험 영역 정보를 나타낼 수 있다. 보조 데이터를 서로 다른 범위의 값을 갖는 복셀로 표현함으로 서로 다른 종류의 보조 데이터를 사용자가 쉽게 식별할 수 있다. 상기 언급된 보조 데이터 종류의 구분 기준 및 HU 범위 할당 방법은 본 발명의 예시를 나타낸 것이며, 본 발명은 이에 한정되지 않는다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아는 것으로 해석해야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 의료 영상 처리 장치
50: 내시경
60: 모니터

Claims (20)

  1. 증강 현실을 이용한 의료 영상 처리 장치로서,
    대상체에 대한 내시경 영상을 취득하는 내시경 영상 취득부;
    상기 대상체에 대한 의료 영상에 기초하여 생성된 의료 영상 데이터를 저장하는 메모리; 및
    상기 대상체에 대한 의료 영상을 사용자에 의해 임의로 설정된 보조 데이터와 합성하고,
    상기 대상체에 대한 의료 영상과 상기 보조 데이터가 합성된 데이터를 볼륨 렌더링하여 상기 의료 영상 데이터를 생성하고,
    상기 의료 영상 데이터를 기준으로 한 내시경의 위치 및 방향 정보를 획득하고, 획득된 위치 및 방향 정보에 기초하여 상기 의료 영상 데이터 중 증강 현실로 디스플레이 될 타겟 영역을 결정하고, 상기 타겟 영역에 대응하는 부분 의료 영상 데이터를 상기 내시경 영상에 증강 현실 영상으로 렌더링하는 프로세서;
    를 포함하고,
    상기 보조 데이터는 상기 대상체에 대한 의료 영상이 표현되는 기 설정된 HU(Hounsfield Unit) 범위 밖의 값을 가지는 복셀(voxel)로 표현되는, 의료 영상 처리 장치.
  2. 삭제
  3. 삭제
  4. 제1 항에 있어서,
    상기 기 설정된 HU 범위 밖의 범위는 제1 임계값을 초과하는 제1 HU 범위와 제2 임계값 미만의 제2 HU 범위를 포함하며,
    상기 제1 HU 범위의 값은 상기 제2 HU 범위의 값과 서로 다른 종류의 보조 데이터를 나타내는 의료 영상 처리 장치.
  5. 제1 항에 있어서,
    상기 기 설정된 HU 범위는 -1000HU부터 +1000HU까지인 의료 영상 처리 장치.
  6. 제1 항에 있어서,
    상기 프로세서는,
    상기 내시경 영상을 이용하여 제1 노멀맵(Normal Map)을 생성하고,
    상기 제1 노멀맵을 상기 의료 영상 데이터로부터 획득된 복수의 제2 노멀맵들과 비교하여 유사도를 판단한 결과에 기초하여, 상기 의료 영상 데이터를 기준으로 한 내시경의 위치 및 방향 정보를 획득하는 의료 영상 처리 장치.
  7. 제6 항에 있어서,
    상기 프로세서는,
    상기 제1 노멀맵을 이전 시점의 상기 내시경의 위치 및 방향으로부터 기 설정된 범위 내의 제2 노멀맵들과 비교하는 의료 영상 처리 장치.
  8. 제6 항에 있어서,
    상기 제1 노멀맵은 상기 대상체의 탐색 영역에 대한 구조광의 반사 정보에 기초하여 획득되는 의료 영상 처리 장치.
  9. 제6 항에 있어서,
    상기 제2 노멀맵은 상기 대상체에 대한 가상 내시경의 위치 및 방향 정보에 기초하여 상기 의료 영상 데이터로부터 획득되는 의료 영상 처리 장치.
  10. 제9 항에 있어서,
    상기 가상 내시경의 방향 정보는 상기 가상 내시경의 경로의 시작점과 현재 가상 내시경의 위치를 잇는 직선에 기초하여 결정되는 의료 영상 처리 장치.
  11. 증강 현실을 이용한 의료 영상 처리 방법으로서,
    대상체에 대한 내시경 영상을 취득하는 단계;
    상기 대상체에 대한 의료 영상을 사용자에 의해 임의로 설정된 보조 데이터와 합성하는 단계;
    상기 대상체에 대한 의료 영상과 상기 보조 데이터가 합성된 데이터를 볼륨 렌더링하여 의료 영상 데이터를 생성하는 단계;
    상기 의료 영상 데이터를 기준으로 한 내시경의 위치 및 방향 정보를 획득하는 단계;
    상기 획득된 위치 및 방향 정보에 기초하여 상기 의료 영상 데이터 중 증강 현실로 디스플레이 될 타겟 영역을 결정하는 단계; 및
    상기 타겟 영역에 대응하는 부분 의료 영상 데이터를 상기 내시경 영상에 증강 현실 영상으로 렌더링하는 단계;
    를 포함하고,
    상기 보조 데이터는 상기 대상체에 대한 의료 영상이 표현되는 기 설정된 HU 범위 밖의 값을 가지는 복셀로 표현되는, 의료 영상 처리 방법.
  12. 삭제
  13. 삭제
  14. 제11 항에 있어서,
    상기 기 설정된 HU 범위 밖의 범위는 제1 임계값을 초과하는 제1 HU 범위와 제2 임계값 미만의 제2 HU 범위를 포함하며,
    상기 제1 HU 범위의 값은 상기 제2 HU 범위의 값과 서로 다른 종류의 보조 데이터를 나타내는 의료 영상 처리 방법.
  15. 제11 항에 있어서,
    상기 기 설정된 HU 범위는 -1000HU부터 +1000HU까지인 의료 영상 처리 방법.
  16. 제11 항에 있어서,
    내시경의 위치 및 방향 정보를 획득하는 단계는,
    상기 내시경 영상을 이용하여 제1 노멀맵(Normal Map)을 생성하는 단계;
    상기 제1 노멀맵을 상기 의료 영상 데이터로부터 획득된 복수의 제2 노멀맵들과 비교하여 유사도를 판단하는 단계; 및
    상기 유사도를 판단한 결과에 기초하여, 상기 의료 영상 데이터를 기준으로 한 내시경의 위치 및 방향 정보를 획득하는 단계;
    를 포함하는 의료 영상 처리 방법.
  17. 제16 항에 있어서,
    상기 유사도를 판단하는 단계는,
    상기 제1 노멀맵을 이전 시점의 상기 내시경의 위치 및 방향으로부터 기 설정된 범위 내의 제2 노멀맵들과 비교하는 의료 영상 처리 방법.
  18. 제16 항에 있어서,
    상기 제1 노멀맵은 상기 대상체의 탐색 영역에 대한 구조광의 반사 정보에 기초하여 획득되는 의료 영상 처리 방법.
  19. 제16 항에 있어서,
    상기 제2 노멀맵은 상기 대상체에 대한 가상 내시경의 위치 및 방향 정보에 기초하여 상기 의료 영상 데이터로부터 획득되는 의료 영상 처리 방법.
  20. 제19 항에 있어서,
    상기 가상 내시경의 방향 정보는 상기 가상 내시경의 경로의 시작점과 현재 가상 내시경의 위치를 잇는 직선에 기초하여 결정되는 의료 영상 처리 방법.
KR1020170110940A 2017-08-31 2017-08-31 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법 KR101977650B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170110940A KR101977650B1 (ko) 2017-08-31 2017-08-31 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170110940A KR101977650B1 (ko) 2017-08-31 2017-08-31 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20190024194A KR20190024194A (ko) 2019-03-08
KR101977650B1 true KR101977650B1 (ko) 2019-05-13

Family

ID=65800947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170110940A KR101977650B1 (ko) 2017-08-31 2017-08-31 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR101977650B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132944A (zh) * 2020-09-30 2020-12-25 湖南能创科技有限责任公司 一种基于增强现实的工业内窥影像实现方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法
JP2012165838A (ja) * 2011-02-10 2012-09-06 Nagoya Univ 内視鏡挿入支援装置
JP2014104328A (ja) * 2012-11-30 2014-06-09 Toyota Keeramu:Kk 手術支援システム、手術支援方法及び手術支援プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101206340B1 (ko) * 2011-04-29 2012-11-29 주식회사 코어메드 영상수술 리허설 제공방법 및 시스템, 그 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法
JP2012165838A (ja) * 2011-02-10 2012-09-06 Nagoya Univ 内視鏡挿入支援装置
JP2014104328A (ja) * 2012-11-30 2014-06-09 Toyota Keeramu:Kk 手術支援システム、手術支援方法及び手術支援プログラム

Also Published As

Publication number Publication date
KR20190024194A (ko) 2019-03-08

Similar Documents

Publication Publication Date Title
US20210400247A1 (en) Image-guided surgery with surface reconstruction and augmented reality visualization
US11676706B2 (en) Medical image processing apparatus and medical image processing method which are for medical navigation device
US20220405935A1 (en) Augmented reality patient positioning using an atlas
US10055848B2 (en) Three-dimensional image segmentation based on a two-dimensional image information
WO2017222673A1 (en) Projection in endoscopic medical imaging
von Atzigen et al. HoloYolo: A proof‐of‐concept study for marker‐less surgical navigation of spinal rod implants with augmented reality and on‐device machine learning
US9361726B2 (en) Medical image diagnostic apparatus, medical image processing apparatus, and methods therefor
US9830737B2 (en) Virtual endoscopic image generation device, method, and medium containing program
CN113906479A (zh) 从局部深度图生成合成三维成像
KR101993384B1 (ko) 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템
US20150190038A1 (en) Virtual endoscopic image generation device, method, and medium containing program
US20230039532A1 (en) 2d pathfinder visualization
US20230113035A1 (en) 3d pathfinder visualization
CN115054367A (zh) 基于混合现实的病灶定位方法、装置和电子设备
KR20190069751A (ko) 복수의 후보 좌표를 이용한 특징점 기반 정합 장치 및 방법
KR101977650B1 (ko) 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법
KR102084251B1 (ko) 수술용 네비게이터를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
US20210052146A1 (en) Systems and methods for selectively varying resolutions
KR102208577B1 (ko) 수술용 네비게이터를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
US11941765B2 (en) Representation apparatus for displaying a graphical representation of an augmented reality
Suter et al. Three-dimensional true color topographical analysis of the pulmonary airways
WO2024105607A1 (en) Apparatus and methods for performing a medical procedure
KR20140128136A (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant