KR20200046775A - Ct 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법 - Google Patents
Ct 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법 Download PDFInfo
- Publication number
- KR20200046775A KR20200046775A KR1020180128373A KR20180128373A KR20200046775A KR 20200046775 A KR20200046775 A KR 20200046775A KR 1020180128373 A KR1020180128373 A KR 1020180128373A KR 20180128373 A KR20180128373 A KR 20180128373A KR 20200046775 A KR20200046775 A KR 20200046775A
- Authority
- KR
- South Korea
- Prior art keywords
- region
- liver
- image
- cancer
- surgical
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 201000007270 liver cancer Diseases 0.000 title claims abstract description 32
- 208000014018 liver neoplasm Diseases 0.000 title claims abstract description 32
- 238000004458 analytical method Methods 0.000 title claims abstract description 21
- 210000004185 liver Anatomy 0.000 claims abstract description 211
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 76
- 201000011510 cancer Diseases 0.000 claims abstract description 76
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 49
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 238000001356 surgical procedure Methods 0.000 claims description 45
- 210000000056 organ Anatomy 0.000 claims description 21
- 210000000988 bone and bone Anatomy 0.000 claims description 10
- 238000004141 dimensional analysis Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000002591 computed tomography Methods 0.000 description 69
- 238000001514 detection method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Primary Health Care (AREA)
- Physiology (AREA)
- High Energy & Nuclear Physics (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Robotics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
본 발명은 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법이 개시된다. 본 발명의 수술 보조 장치는 복수의 CT 영상을 입력받는 입력부 및 입력된 복수의 CT 영상을 기초로 간 영역, 간 영역 내 혈관 및 간 영역 내 암 영역을 각각 검출하고, 검출된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링을 각각 수행하며, 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링을 수행하는 제어부를 포함한다.
Description
본 발명은 수술 보조 장치에 관한 것으로 더욱 상세하게는 CT 영상을 기초로 간 영역, 혈관 및 암 영역이 포함된 3차원 모델링 영상을 생성하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법에 관한 것이다.
암은 전체 사망률의 가장 큰 원인 중 하나이며, 이 중 간암은 상태가 매우 악화되고 나서야 증상이 나타나고 그 증상 또한 간질환과 유사하여 정확한 감별이 어렵다. 따라서 감안의 진단은 증상이나 이학적 검사와 같은 간단한 검사로는 진단이 불가능하며, 예방과 조기 발견하여 치료하는 것이 최선책으로 알려져 있다.
아울러 최근에 이르러 초음파, CT(computed tomography) 및 MRI(magnetic resonance imaging)와 같은 영상 의학적 검사 방법이 발달함에 따라 의학 영상의 분석 및 처리 기술에 의해 인체의 질환을 검출하거나 진단하는 시스템의 중요성이 확대되고 있다.
종래에는 2차원 CT 영상을 전문의의 선택에 따라 암 병변 등을 2차원 정보로 분석하였다. 따라서 전문의가 CT 영상을 한 장씩 보면서 3차원 간, 간 내 혈관 및 암을 유추하여 수술 방법을 정하기 때문에 많은 시간이 걸리고, 전문의의 능력에 따라 수술 방법이 달라졌다.
또한 CT 영상을 육안으로 확인하기 때문에 전문의의 상태에 따라 암을 놓치거나 암의 장축 등의 정보를 정확하게 파악하는데 차이가 있을 수 있었다.
따라서 전문의의 간 차이가 발생하지 않으면서 빠르고 정확하게 수술의 보조 진단을 해줄 수 있는 방안이 필요한 실정이다.
본 발명이 이루고자 하는 기술적 과제는 CT 영상을 기초로 3차원 모델링된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링하고, 3차원 모델링된 간, 혈관, 암 영역을 합성하여 하나의 간 전체 영역에 대한 3차원 모델링 영상을 생성하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법을 제공하는데 목적이 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 CT 영상 내 간암 영역을 3차원 분석하여 간암 영역을 제거하는 수술을 가이드하고, 수술 완료 후 환자의 진행상태를 예측하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법을 제공하는데 목적이 있다.
상기 목적을 달성하기 위해 본 발명의 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치는 복수의 CT 영상을 입력받는 입력부 및 상기 입력된 복수의 CT 영상을 기초로 간 영역, 간 영역 내 혈관 및 간 영역 내 암 영역을 각각 검출하고, 상기 검출된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링을 각각 수행하며, 상기 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링을 수행하는 제어부를 포함한다.
또한 상기 제어부는, 문턱값을 이용하여 상기 CT 영상에 포함된 간 이외의 영상을 필터링하고, 기 설정된 두께로 연결된 연결 부위를 분리한 후 에지 부분을 추가 분리하여 간 영역을 검출하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 간 영역을 검출하기 위한 간 영역 시작 슬라이드를 검출할 때, 상기 복수의 CT 영상 중 상기 간 영역이 격리된 형태로 시작하는 슬라이드를 간 영역 시작 슬라이드로 검출하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 격리된 형태로 시작하는 경우, 문턱값을 적용하여 모든 컨투어(contour)를 검출하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 컨투어의 관계에서 현재 컨투어를 포함하는 컨투어인 부모 컨투어가 존재하면 상기 부모 컨투어 중 가장 큰 컨투어를 간 시작 영역으로 검출하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 간 영역 시작 슬라이드가 미검출되면 상기 간 영역이 다른 기관과 붙은 형태인 경우로 판단하여 상기 복수의 CT 영상 중 간 영역이 포함된 컨투어 영역의 넓이를 각각 산출하고, 산출된 넓이의 변화를 이용하여 기 설정된 크기 이상으로 컨투어 영역이 줄어들면서 영상 순서가 가장 빠른 슬라이드를 간 영역 시작 슬라이드로 검출하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 CT 영상에서 뼈 영역, 다른 기관 영역 및 가장자리 영역을 검출하고, 상기 검출된 영역을 제외하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 복수의 CT 영상 중 검출된 간 영역의 넓이가 가장 큰 슬라이드를 간 영역 중간 슬라이드로 검출하고, 영상 순서상 이전 슬라이드의 간 영역과 겹치는 부분이 기 설정된 기준보다 낮으면 간 영역 마지막 슬라이드로 검출하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 복수의 CT 영상을 영상 순서대로 배열하고, 상기 검출된 간 영역을 이용하여 간의 경계 중 하나의 포인트와 인접한 다른 포인트를 연결하며 선을 생성하고, 상기 생성된 선을 반복 생성하여 면을 생성하는 매쉬(mesh) 처리를 수행하여 3차원 모델링을 하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 혈관의 위치를 기준으로 간 분할이 되도록 상기 간 전체 영역에 대한 3차원 모델링을 하고, 상기 3차원 모델링된 간 전체 영역 중 암 영역이 나머지 영역과 구분되도록 표시를 제어하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 3차원 모델링된 간 전체 영역을 이용하여 암 영역을 제거 수술에 대한 수술 치료 모델을 생성하고, 상기 생성된 수술 치료 모델을 이용하여 수술 완료 후 환자의 진행상태를 예측하는 것을 특징으로 한다.
또한 상기 제어부는, 기 저장된 암 영역 제거 수술에 대한 정보 중 상기 암 영역의 위치와 유사성이 있는 정보를 이용하여 상기 암 영역의 제거 수술에 대한 진행순서 및 절개 방향을 가이드하는 수술 치료 모델을 생성하는 것을 특징으로 한다.
또한 상기 제어부는, 기 저장된 암 영역 제거 수술에 대한 정보 중 상기 절개 방향과 유사성이 있는 정보를 이용하여 상기 환자의 진행상태를 예측하는 것을 특징으로 한다.
본 발명의 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 방법은 수술 보조 장치가 복수의 CT 영상을 입력받는 단계, 상기 수술 보조 장치가 상기 입력된 복수의 CT 영상을 기초로 간 영역, 간 영역 내 혈관 및 간 영역 내 암 영역을 각각 검출하는 단계, 상기 수술 보조 장치가 상기 검출된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링을 각각 수행하는 단계 및 상기 수술 보조 장치가 상기 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링을 수행하는 단계를 포함한다.
또한 상기 수술 보조 장치가 상기 3차원 모델링된 간 전체 영역을 이용하여 암 영역을 제거 수술에 대한 수술 치료 모델을 생성하는 단계 및 상기 수술 보조 장치가 상기 생성된 수술 치료 모델을 이용하여 수술 완료 후 환자의 진행상태를 예측하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법은 CT 영상을 기초로 3차원 모델링된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링하고, 3차원 모델링된 간, 혈관, 암 영역을 합성하여 하나의 간 전체 영역에 대한 3차원 모델링 영상을 생성함으로써, 전문의가 간암에 대해서 빠르면서도 객관적이고 정확한 판단을 할 수 있도록 도와줄 수 있다.
또한 CT 영상 내 간암 영역을 3차원 분석하여 간암 영역을 제거하는 수술을 가이드하고, 수술 완료 후 환자의 진행상태를 예측하여 전문의가 최상의 수술을 수행하도록 도와줄 수 있다.
도 1은 본 발명의 실시예에 따른 수술 보조 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 간 영역 시작 슬라이드의 형태를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 부모 컨투어가 존재하는 간 영역 검출을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 간이 아닌 영역의 검출을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 다른 기관과 붙은 상태의 간 영역 시작 슬라이드를 설명하기 위한 도면이다.
도 6은 도 5에서의 컨투어 검출을 설명하기 위한 도면이다.
도 7은 도6의 컨투어 영역 넓이 변화를 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 뼈 영역 검출을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 다른 기관 영역 검출을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 간 영역 검출 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 영상 처리 절차에 의한 결과 영상을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 윤곽선 적용 및 모폴로지 연산을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 윤곽선 적용에 따른 효과를 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 간 영역 마지막 슬라이드 검출을 설명하기 위한 도면이다.
도 15는 본 발명의 실시예에 따른 간 영역 중간 슬라이드 검출을 설명하기 위한 도면이다.
도 16은 본 발명의 실시예에 따른 적응적인 모폴로지 연산을 설명하기 위한 도면이다.
도 17은 본 발명의 실시예에 따른 현재 슬라이드 보간을 설명하기 위한 도면이다.
도 18은 본 발명의 실시예에 따른 Dicom 파일 조정 이미지를 설명하기 위한 도면이다.
도 19는 도 18의 조정 이미지 처리된 영상의 평균 영상을 설명하기 위한 도면이다.
도 20은 본 발명의 실시예에 따른 마스킹을 통한 간 이외 영역 제거를 설명하기 위한 도면이다.
도 21은 본 발명의 실시예에 따른 대간선 모양으로 간 이외 영역 제거를 설명하기 위한 도면이다.
도 22는 본 발명의 실시예에 따른 가장자리에서의 오검출을 설명하기 위한 도면이다.
도 23은 본 발명의 실시예에 따른 외곽영역의 두께 산출을 설명하기 위한 도면이다.
도 24는 본 발명의 실시예에 따른 외곽영역이 볼록하게 나온 경우의 오검출 수정을 설명하기 위한 도면이다.
도 25는 본 발명의 실시예에 따른 외곽영역이 오목하게 나온 경우의 오검출 수정을 설명하기 위한 도면이다.
도 26은 본 발명의 실시예에 따른 간 경계를 이루는 포인트에 대한 배열을 설명하기 위한 도면이다.
도 27은 본 발명의 실시예에 따른 간 영역에 대한 3차원 모델링을 설명하기 위한 도면이다.
도 28은 본 발명의 실시예에 따른 간 영역 내 암 영역 검출을 설명하기 위한 도면이다.
도 29는 본 발명의 실시예에 따른 간 영역 내 암 영역에 대한 3차원 모델링을 설명하기 위한 도면이다.
도 30은 본 발명의 실시예에 따른 간 영역 내 혈관에 대한 3차원 모델링을 설명하기 위한 도면이다.
도 31은 본 발명의 실시예에 따른 간 전체 영역에 대한 3차원 모델링을 설명하기 위한 도면이다.
도 32는 본 발명의 실시예에 따른 수술 보조 방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 실시예에 따른 간 영역 시작 슬라이드의 형태를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 부모 컨투어가 존재하는 간 영역 검출을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 간이 아닌 영역의 검출을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 다른 기관과 붙은 상태의 간 영역 시작 슬라이드를 설명하기 위한 도면이다.
도 6은 도 5에서의 컨투어 검출을 설명하기 위한 도면이다.
도 7은 도6의 컨투어 영역 넓이 변화를 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 뼈 영역 검출을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 다른 기관 영역 검출을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 간 영역 검출 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 영상 처리 절차에 의한 결과 영상을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 윤곽선 적용 및 모폴로지 연산을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 윤곽선 적용에 따른 효과를 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 간 영역 마지막 슬라이드 검출을 설명하기 위한 도면이다.
도 15는 본 발명의 실시예에 따른 간 영역 중간 슬라이드 검출을 설명하기 위한 도면이다.
도 16은 본 발명의 실시예에 따른 적응적인 모폴로지 연산을 설명하기 위한 도면이다.
도 17은 본 발명의 실시예에 따른 현재 슬라이드 보간을 설명하기 위한 도면이다.
도 18은 본 발명의 실시예에 따른 Dicom 파일 조정 이미지를 설명하기 위한 도면이다.
도 19는 도 18의 조정 이미지 처리된 영상의 평균 영상을 설명하기 위한 도면이다.
도 20은 본 발명의 실시예에 따른 마스킹을 통한 간 이외 영역 제거를 설명하기 위한 도면이다.
도 21은 본 발명의 실시예에 따른 대간선 모양으로 간 이외 영역 제거를 설명하기 위한 도면이다.
도 22는 본 발명의 실시예에 따른 가장자리에서의 오검출을 설명하기 위한 도면이다.
도 23은 본 발명의 실시예에 따른 외곽영역의 두께 산출을 설명하기 위한 도면이다.
도 24는 본 발명의 실시예에 따른 외곽영역이 볼록하게 나온 경우의 오검출 수정을 설명하기 위한 도면이다.
도 25는 본 발명의 실시예에 따른 외곽영역이 오목하게 나온 경우의 오검출 수정을 설명하기 위한 도면이다.
도 26은 본 발명의 실시예에 따른 간 경계를 이루는 포인트에 대한 배열을 설명하기 위한 도면이다.
도 27은 본 발명의 실시예에 따른 간 영역에 대한 3차원 모델링을 설명하기 위한 도면이다.
도 28은 본 발명의 실시예에 따른 간 영역 내 암 영역 검출을 설명하기 위한 도면이다.
도 29는 본 발명의 실시예에 따른 간 영역 내 암 영역에 대한 3차원 모델링을 설명하기 위한 도면이다.
도 30은 본 발명의 실시예에 따른 간 영역 내 혈관에 대한 3차원 모델링을 설명하기 위한 도면이다.
도 31은 본 발명의 실시예에 따른 간 전체 영역에 대한 3차원 모델링을 설명하기 위한 도면이다.
도 32는 본 발명의 실시예에 따른 수술 보조 방법을 설명하기 위한 순서도이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 수술 보조 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 수술 보조 장치(100)는 CT 영상을 기초로 3차원 모델링된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링하고, 3차원 모델링된 간, 혈관, 암 영역을 합성하여 하나의 간 전체 영역에 대한 3차원 모델링 영상을 생성한다. 수술 보조 장치(100)는 간 전체 영역 중 암 영역을 3차원 분석하여 암 영역을 제거하는 수술을 가이드하고, 수술 완료 후 환자의 진행상태를 예측한다. 수술 보조 장치(100)는 데스크톱, 랩톱, 스마트폰, 태블릿 PC, 핸드헬드 PC, 클러스터 컴퓨터 등으로 구현될 수 있다. 수술 보조 장치(100)는 입력부(10) 및 제어부(30)를 포함하고, 출력부(50) 및 저장부(70)를 더 포함한다.
입력부(10)는 복수의 CT 영상을 입력받는다. 여기서 CT 영상은 CT로 촬영된 의료 영상으로써, 간 영역 및 간 영역 내 암 영역이 포함된 영상일 수 있으며, Dicom 파일 형식으로 입력될 수 있다. 입력부(10)는 촬영된 CT 영상 순서대로 순차적으로 입력받을 수 있다.
제어부(30)는 입력부(10)로부터 입력된 복수의 CT 영상을 기초로 간 영역, 간 영역 내 혈관 및 간 영역 내 암 영역을 각각 검출한다. 이때 제어부(30)는 문턱값을 이용하여 CT 영상에 포함된 간 이외의 영상을 필터링하고, 기 설정된 두께로 연결된 연결 부위를 분리한 후 에지 부분을 추가 분리하여 간 영역을 검출한다. 또한 제어부(30)는 간 영역 내 혈관 및 간 영역 내 암 영역을 자동으로 검출한다. 제어부(30)는 검출된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링을 각각 수행한다. 제어부(30)는 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링을 수행한다. 제어부(30)는 3차원 모델링된 간 전체 영역 중 암 영역이 나머지 영역과 구분되도록 표시를 제어한다. 제어부(30)는 3차원 모델링된 간 전체 영역을 이용하여 암 영역을 제거 수술에 대한 수술 치료 모델을 생성한다. 여기서 수술 치료 모델은 암 영역을 제거하는 수술이 어떤 과정으로 진행되는 것이 가장 바람직한지를 가이드하는 모델일 수 있다. 즉 수술 치료 모델은 기 저장된 암 영역 제거 수술에 대한 정보 중 상기 암 영역의 위치와 유사성이 있는 정보를 이용하여 암 영역의 제거 수술에 대한 진행순서 및 절개 방향을 가이드할 수 있다. 제어부(30)는 생성된 수술 치료 모델을 이용하여 수술 완료 후 환자의 진행상태를 예측한다. 제어부(30)는 기 저장된 암 영역 제거 수술에 대한 정보 중 수술에서 사용된 절개 방향과 유사성이 있는 정보를 이용하여 환자의 진행상태를 예측한다. 이를 통해 제어부(30)는 보다 정확한 예측을 할 수 있다.
출력부(50)는 입력부(10)로부터 입력된 복수의 CT 영상을 출력한다. 출력부(50)는 제어부(30)로부터 3차원 모델링된 간 영역, 혈관, 암 영역 및 이들을 합성한 간 전체 영역을 출력한다. 출력부(50)는 제어부(30)로부터 생성된 수술 치료 모델 및 예측된 환자의 진행상태를 출력한다. 출력부(50)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
저장부(70)는 입력부(10)로부터 입력된 복수의 CT 영상이 저장된다. 저장부(70)는 제어부(30)로부터 3차원 모델링된 간 영역, 혈관, 암 영역 및 이들을 합성한 간 전체 영역이 저장된다. 저장부(70)는 제어부(30)로부터 생성된 수술 치료 모델 및 예측된 환자의 진행상태이 저장된다. 저장부(70)는 3차원 모델링, 수술 치료 모델 생성 및 환자의 진행상태 예측에 필요한 프로그램이 저장되고, 프로그램을 실행하기 위한 문턱값, 설정값 등이 저장된다. 저장부(70)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
이하, 상술된 수술 보조 장치(100)를 이용하여 간 전체 영역에 대한 3차원 모델링하는 과정을 도면을 참조하면 상세하게 설명한다. 도 2 내지 도 31은 본 발명의 실시예에 따른 간 전체 영역에 대한 3차원 모델링하는 과정을 설명하기 위한 도면이다.
도 1 내지 도 31을 참조하면, 제어부(10)는 복수의 CT 영상을 이용하여 간 영역에 대한 영역 분할 후 2차원 데이터를 3차원 데이터로 모델링함으로써, 시각화를 직관적으로 하여 암 영역, 즉 병변 영역에 대한 위치를 정확하게 파악할 수 있다.
제어부(10)는 복수의 CT 영상에 대한 Dicom 파일을 기 설정된 규격으로 변환한다. 여기서 Dicom 파일의 한 픽셀은 일반적으로 8비트(bit) 이상이며 16비트 데이터를 포함하고, 복부 영역에 대한 일반적인 8비트 변환은 window wide(W) 250, center(C) 45로 설정된다.
한편 제어부(10)는 6가지 종류의 규격을 이용하여 각각의 CT 영상을 변환하며 각 기준값은 다음과 같다. 일반적인 복부 영상 기준값은 W30, C40로 설정하고, 간 영역(간 영역의 고포화, 고대비) 기준값은 W50, C89로 설정하며, 제외 영역(뼈와 같은 간 이외 영역) 기준값은 W113, C198로 설정하고, 추가 간 영역1(고대비 영상) 기준값은 W99, C112로 설정하며, 추가 간 영역2(중대비, 중포화 영상) 기준값은 W69, C105로 설정하고, 추가 간 영역3(고포화 영상) 기준값은 W60, C78로 설정한다.
제어부(10)는 기 설정된 규격을 이용한 CT 영상의 변환은 [수학식 1]을 이용하여 변환할 수 있다.
여기서, W는 window width를 의미하고, C는 center를 의미하며, x는 입력 픽셀을 의미한다.
제어부(30)는 Dicom 파일 변환이 완료되면 간 영역 시작 슬라이드를 검출한다. 일반적으로 간이 시작되는 형태는 도 2에 도시된 바와 같이 두 가지 종류가 대부분이며, 하나는 간 영역이 격리된 형태인 경우, 나머지 하나는 간 영역이 다른 기관과 붙은 형태인 경우이다. 여기서 다른 기관은 간 이외의 다른 신체 기관을 의미한다.
제어부(30)는 간 영역을 검출하기 위한 간 영역 시작 슬라이드를 검출할 때, 먼저 복수의 CT 영상 중 상기 간 영역이 격리된 형태에 대한 검출방법을 이용하여 간 영역 시작 슬라이드를 검출한다. 이때 제어부(30)는 간 영역 시작 슬라이드가 미검출되면 간 영역이 다른 기관과 붙은 형태인 경우로 판단하고, 다른 기관과 붙은 형태에 대한 검출방법을 이용하여 간 영역 시작 슬라이드를 검출한다.
제어부(30)는 격리된 형태로 시작하는 경우, 문턱값을 적용하여 모든 컨투어(contour)를 검출한다. 여기서 문턱값은 간 영역과 그 외 나머지 영역 간에 컨투어를 검출할 수 있는 픽셀값을 의미하고, 컨투어는 윤곽을 의미한다. 제어부(30)는 컨투어의 관계에서 현재 컨투어를 포함하는 컨투어인 부모 컨투어가 존재하면 부모 컨투어 중 가장 큰 컨투어를 간 시작 영역으로 검출한다. 즉 도 3과 같이 부모 컨투어가 존재하는 영역에서 가장 큰 영역이 간에 해당하는 영역이다. 제어부(30)는 시작 위치가 작은 경우, 간이 아닌 다른 영역이 간처럼 검출되는 현상을 제거하기 위해 다음 순서의 슬라이드에 포함된 간 영역을 확인하여 배경과 같은 검은 부분이 아니라면 최종적으로 간으로 판단한다(도 4).
제어부(30)는 격리된 간의 시작 부분이 아닌 다른 기관과 붙은 상태로 간이 시작하는 경우, 컨투어 영역의 변화를 이용하여 간 영역 슬라이드를 검출한다. 즉 제어부(30)는 도 5에 도시된 다른 기관과 붙은 상태로 간이 시작하는 시리즈 영상의 순차적 슬라이드에서 도 6과 같이 컨투어 영역(붉은 사각형 박스 영역)을 검출한다. 이때 제어부(30)는 컨투어 영역의 넓이를 각각 산출하고, 산출된 넓이의 변화(도 7)를 이용하여 기 설정된 크기 이상으로 컨투어 영역이 줄어들면서 영상 순서가 가장 빠른 슬라이드를 간 영역 시작 슬라이드로 검출한다. 예를 들어 기 설정된 크기가 3000인 경우, 도 6에서는 두 번째 영상이 간의 시작 슬라이드로 검출될 수 있다.
제어부(30)는 CT 영상에서 뼈 영역, 다른 기관 영역 및 가장자리 영역을 검출하고, 검출된 영역을 제외한다. 특히 제어부(30)는 가장자리 영역에 존재하는 갈비뼈, 지방층, 피부조직 등이 간과 유사한 픽셀값을 가짐으로 이를 제외시켜 영상의 정확도를 높일 수 있다. 제어부(30)는 도 8과 같이 dicom 파일에서 window width, center를 조정하면서 가장 뼈를 잘 찾을 수 있는 값으로 변환하여 뼈를 제외한다. 제어부(30)는 CT 영상에서 간이 아닐 확률이 높은 영역으로 픽셀 값의 차이가 큰 점을 이용하여 다른 기관 영역을 구분할 수 있는 영역을 검출한다. 다만 다른 기관과 간의 픽셀 값이 대부분 유사함으로 제어부(30)는 도 9와 같이 일부 영역만 제외할 수 있다. 제어부(30)는 CT 영상의 몸통 부분만을 검출한 후 뼈의 특성을 이용하여 두께를 산출하고, 산출된 두께를 전체에 적용하여 가장자리를 검출하며, 검출된 가장자리를 제외한다. 이때 제어부(30)는 일정 상수 값을 이용하여 두께를 조정하며 사용하였으며, 사람마다 다른 특성을 가지는 점을 이용하여 매 슬라이드마다 두께를 산출하여 저장한다. 여기서 제어부(30)는 뼈 영역, 다른 기관 영역 및 가장자리 영역의 제외시키는 과정을 간 영역이 잘 보여지는 상태로 dicom 파일을 변환한 후 수행할 수 있다. 즉 제어부(30)는 도 10과 같이 CT 영상을 포화도 및 대비비가 높은 쪽으로 변환한 후, 뼈 영역, 다른 기관 영역 및 가장자리 영역의 제외시키는 과정을 수행할 수 있다.
결론적으로 제어부(30)는 다음과 같은 순서로 CT 영상에서 간 영역을 검출한다(도 11 내지 도 13). 제어부(30)는 CT 영상에 대한 Dicom 파일이 입력되면 8비트 흑백 영상으로 변환한다. 이때 제어부(30)는 W300, C40으로 영상처리를 할 수 있으나, 이에 한정하지 않는다. 제어부(30)는 변환된 흑백 영상에 노이즈 제거를 위한 블러링을 수행하고, 문턱값을 적용한다. 여기서 문턱값은 80 내지 245일 수 있다. 제어부(30)는 얇은 두께로 연결된 부분을 분리하고, 작은 크기의 컨투어 및 간 영역 비후보 영역을 제거한다. 이를 통해 제어부(30)는 윤곽선을 검출하고, 모폴로지 연산 및 얇은 두께의 연결을 분리한다. 여기서 윤곽선은 다른 기관과의 분리에 중요한 역할을 수행하며 간 이외의 가장자리가 간과 붙어 있어 잘못 검출하는 현상을 미연에 방지하는 효과가 있다. 제어부(30)는 작은 크기의 컨투어 및 간 영역 비후보 영역을 추가적으로 제거한다. 제어부(30)는 적응적 모폴로지 알고리즘(Edge-Based Adaptive Morphology Algorithm)을 수행하고, 수행된 결과를 저장하는 동시에 최종 컨투어의 넓이를 산출한다.
제어부(30)는 복수의 CT 영상에서 검출된 간 영역을 이용하여 간 영역 중간 슬라이드 및 간 영역 마지막 슬라이드를 검출한다(도 14 및 도 15). 제어부(30)는 복수의 CT 영상 중 검출된 간 영역의 넓이가 가장 큰 슬라이드를 간 영역 중간 슬라이드로 검출하고, 영상 순서상 이전 슬라이드의 간 영역과 겹치는 부분이 기 설정된 기준보다 낮으면 간 영역 마지막 슬라이드로 검출한다. 기 설정된 기준은 20% 내지 40%일 수 있고, 바람직하게는 30%일 수 있다. 여기서 간 영역 중간 슬라이드는 적응적인 모폴로지 연산 시 적용 가능하다. 즉 간 영역 중간 슬라이드는 간의 모양이 점점 커지다가 다시 점점 작아지는 형태라는 가정하에 가장 커지는 영역을 알고 있다면 다음 슬라이드의 크기를 대략적으로 예측할 수 있는 기준이 된다. 간 영역 마지막 슬라이드는 연산량을 줄이는데 적용된다.
한편 제어부(30)는 적응적인 모폴로지를 수행하여 다음 슬라이드의 상한을 미리 설정하여 크기 제한 마스크보다 더 크다면 강제적으로 줄일 수 있다(도 16). 즉 제어부(30)는 간 영역의 검출에서 정확한 간을 찾지 못한 경우, 간 영역이 갑자기 커지거나 작아지는 상태가 발생되는 현상에 제약을 줄 수 있다.
제어부(30)는 간 영역을 검출하다가 암 영역과 같은 영역으로 인해 특정 슬라이드에서만 간 영역이 제외되는 현상을 방지하기 위한 슬라이드간 보간을 수행한다(도 17). 즉 제어부(30)는 현재 슬라이드에서의 컨투어를 기준으로 이전, 이후 검출된 결과와 비교하여 동일 좌표에서 모두 간 영역이었는데 현재 간 영역이 아닌 경우 이전 및 이후 영상으로 보간하여 채우는 과정을 수행한다.
또한 제어부(30)는 Dicom 파일에서 window width, center를 조정하여 간 영역 검출을 위한 정보를 더 검출되도록 제어할 수 있다. 이때 제어부(30)는 총 3가지의 조정 이미지를 사용할 수 있으며, 고대비 영상(W99_C112), 고포화 영상(W60_C78) 및 둘 사이 중간정도의 영상(W69_C105)일 수 있다(도 18). 제어부(30)는 상술된 3가지 영상을 이용하여 각각의 영상에 대한 평균 영상을 생성하고(도 19), 후처리를 수행하여 3차 보정 영상을 생성할 수 있다. 3차 보정 영상은 간 영역에서 명확한 값을 가지고, 고대비 영상 및 고포화 영상을 이용하였기 때문에 대비비가 높아 다른 기관과의 분리에 또 다른 정보로 사용될 수 있다. 특히 간 영역 가장자리에 분할이 정확하게 이루어지지 않아 다른 영역이 일부 붙어 있는 경우(도 20), 제어부(30)는 기존에 사용하던 마스크보다 큰 크기로 영상을 마스킹한 후, 가로, 세로에 대해서 제거 가능한 영역인지 판단하고, 제거 가능한 영역이면 제거를 한다. 이때 제어부(30)는 간 이외의 영역 중 검정색 부분이고, 내부 밝기가 어두운 경우 제거 가능한 영역으로 판단한다. 예를 들어 제어부(30)는 도 20의 오른쪽 그림과 같이 길게 뻗어 나왔던 간 이외의 영역 일부를 잘라 제거할 수 있다. 이 때 제어부(30)는 가로, 세로 이외에 대각선 형태의 모양에 대해서도 제거할 수 있다(도 21). 즉 제어부(30)는 대각선 영역에서 픽셀 값이 존재하는 부분의 밝기 평균 및 픽셀 개수를 카운트하고 기 설정된 조건을 만족하면 대각선 영역을 0으로 강제 할당하여 분리한 다음 해당 영역을 제거한다. 여기서 기 설정된 조건은 가로, 세로와 유사하게 대각선 양 끝 부분이 검정색일 수 있다.
또한 제어부(30)는 간 영역이 아닌 몸통부분의 가장자리 영역이 간 영역으로 오검출되는 현상을 방지한다. 여기서 오검출되는 현상은 바깥쪽으로 볼록하게 나와 있는 형태와 안쪽으로 오목하게 들어가는 형태일 수 있다(도 22). 제어부(30)는 오검출되는 현상을 검출된 컨투어의 모양을 전반적으로 분석하여 해결한다. 즉 제어부(30)는 CT 영상에서의 최외곽 영여과 간의 컨투어 영역에 대한 거리를 우선 산출한다(도 23). 이때 가장 이상적인 상태는 해당하는 거리가 일정하게 나오는 것이고, 볼록한 형태가 나온 경우에는 오검출된 영역의 거리만 짧게 나오며, 오목한 형태가 나온 경우에는 오검출된 영역의 거리만 길게 나온다. 제어부(30)는 거리를 산출하기 위해 우선 중심점을 설정한다. 제어부(30)는 사람의 몸이 원이나 타원과 같은 형태인 것을 기초로 특정 중심점을 이용하여 검출된 간 영역의 모든 컨투어를 연결하고, 거리 산출을 하기 위한 한 점을 결정한다. 제어부(30)는 나머지 한 점을 해당 선분이 연장되었을 때 최외곽 가장자리와 만나는 좌표를 산출하여 결정한다. 이를 통해 제어부(30)는 두 점간의 거리에 대한 그래프를 생성할 수 있다.
제어부(30)는 거리 산출을 완료하면 외곽영역이 볼록하게 나온 형태와 오목하게 나온 형태를 구분하여 오검출을 수정할 수 있다. 외곽영역이 볼록하게 나온 형태인 경우(도 24), 제어부(30)는 문제 영역을 검출하고, 검출된 좌표를 제거하여 정상적인 간 영역 검출한다. 이때 가장 이상적인 그래프는 일정한 값으로 그래프가 그려지다가 튀어나오는 부분에서 거리가 작아지는 것으로써, 작아진 부분은 제거 대상 영역에 해당된다. 또한 제거 대상의 오검출 모양은 약간 뽀족하게 튀어나는 형태(도 24의 상부)와 튀어나온 부분이 연속되다 줄어드는 형태(도 24의 하부)일 수 있다. 오검출 모양이 약간 뽀족하게 튀어나는 형태인 경우, 제어부(30)는 평균 필터를 적용하여 노이즈 성분을 제거하고, 이전까지 평균값 변화가 없다가 급격히 줄어드는 지점과 급격히 증가하다 평균값 변화가 적은 지점이 각각 존재하면 두 지점 사이를 모두 제거한다. 튀어나온 부분이 연속되다 줄어드는 형태인 경우, 제어부(30)는 4가지 지점을 산출하여 처음과 끝의 영역에 해당하는 좌표를 제거한다. 외곽영역이 오목하게 나온 형태인 경우(도 25), 제어부(30)는 외곽영역이 볼록하게 나온 형태인 경우와 동일하거나 유사한 방법으로 해당 부분을 제거할 수 있다.
제어부(30)는 상술된 분석과정을 수행한 후, 2차원 CT 영상의 간 영역을 3차원 간 형태로 모델링을 한다(도 26 및 도 27). 제어부(30)는 간의 경계를 CT 영상의 시리즈 내 영상 순서대로 배열하고, 매쉬(mesh) 처리하여 3차원 형태로 구성한다. 즉 제어부(30)는 CT 영상의 시리즈 내 간의 경계를 영상 순서대로 배열하고, 간의 경계 중 하나의 포인트와 인접한 다른 포인트를 연결하여 선을 생성하며, 생성된 선을 반복 생성하여 면을 생성하는 매쉬 처리를 수행한다. 이때 제어부(30)는 시리즈 내 한 영상과 다음 영상의 간격이 너무 크면 보간을 통해 중간에 가상의 경계 데이터를 생성할 수 있다.
제어부(30)는 CT 영상에서 암 영역을 자동으로 검출한다(도 28). 즉 제어부(30)는 CT 영상으로부터 암 영역을 자동으로 검색하고, 암 내부 지점의 픽셀 밝기를 기준으로 유사한 밝기 값을 가지는 영역까지 확장하여 자동으로 암 영역을 검출한다. 또한 제어부(30)는 CT 영상 시리즈에 대하여 영역의 경계를 산출하여 각각에 대한 암 영역의 경계면을 검출한다. 제어부(30)는 CT 영상 시리즈의 각 영상에서 암 영역의 경계면을 연결하여 3차원 암 영역의 형태를 모델링한다(도 29). 이때 제어부(30)는 상술된 간 영역과 동일한 방법으로 3차원 모델링을 할 수 있다. 여기서, 영상 간 간격 정보는 의료 영상 촬영 장비로부터 얻을 수 있다.
제어부(30)는 CT 영상에서 혈관을 자동으로 검출한다. 즉 제어부(30)는 CT 영상 내 혈관 내부 지점의 화소 밝기를 기준으로 유사한 밝기 값을 가지는 영역까지 확장하여 자동으로 혈관을 검출한다. 또한 제어부(30)는 CT 영상 시리즈에 대하여 영역의 경계를 산출하여 각각에 대한 혈관의 경계면을 검출한다. 제어부(30)는 CT 영상 시리즈 내 혈관의 경계면을 연결하여 3차원 볼륨 렌더링을 하여 혈관의 형태를 모델링한다(도 30). 이때 제어부(30)는 상술된 간 영역과 동일한 방법으로 3차원 모델링을 할 수 있다.
제어부(30)는 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링한다(도 31). 제어부(30)는 간 영역, 혈관, 암 영역의 3차원 정보를 렌더링하여 하나의 공간에 표시한다. 이때 제어부(30)는 혈관의 위치를 기준으로 간 분할(liver segmentation)을 하여 간을 8개 부위로 나눈다. 이를 통해 제어부(30)는 해당 결과를 확인하는 전문의가 암 영역이 간 영역 중 어느 부분(segment)에 포함되는지 쉽게 확인할 수 있도록 도와준다. 또한 제어부(30)는 3차원 모델링된 간 전체 영역 중 암 영역이 나머지 영역과 구분되도록 표시를 제어한다. 예를 들어 제어부(30)는 암 영역이 다른 영역과 구별되도록 색, 효과, 경계선 등을 이용하여 표시할 수 있다.
도 32는 본 발명의 실시예에 따른 수술 보조 방법을 설명하기 위한 순서도이다.
도 1 및 도 32를 참조하면, 수술 보조 방법은 CT 영상을 기초로 3차원 모델링된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링하고, 3차원 모델링된 간, 혈관, 암 영역을 합성하여 하나의 간 전체 영역에 대한 3차원 모델링 영상을 생성함으로써, 전문의가 간암에 대해서 빠르면서도 객관적이고 정확한 판단을 할 수 있도록 도와줄 수 있다. 수술 보조 방법은 CT 영상 내 간암 영역을 3차원 분석하여 간암 영역을 제거하는 수술을 가이드하고, 수술 완료 후 환자의 진행상태를 예측하여 전문의가 최상의 수술을 수행하도록 도와줄 수 있다.
S110단계에서, 수술 보조 장치(100)는 CT 영상을 입력받는다. 수술 보조 장치(100)는 복수의 CT 영상을 입력받는다. 여기서 CT 영상은 CT로 촬영된 의료 영상으로써, 간 영역 및 간 영역 내 암 영역이 포함된 영상일 수 있다.
S120단계에서, 수술 보조 장치(100)는 간 영역, 간 영역 내 혈관 및 간 영역 내 암 영역을 검출한다. 수술 보조 장치(100)는 문턱값을 이용하여 CT 영상에 포함된 간 이외의 영상을 필터링하고, 기 설정된 두께로 연결된 연결 부위를 분리한 후 에지 부분을 추가 분리하여 간 영역을 검출한다. 수술 보조 장치(100)는 픽셀 밝기를 이용하여 혈관 및 암 영역을 자동으로 검출한다.
S130단계에서, 수술 보조 장치(100)는 간 영역, 혈관, 암 영역에 대한 3차원 모델링을 수행한다. 수술 보조 장치(100)는 CT 영상의 시리즈 내 간의 경계를 영상 순서대로 배열한다. 이때 수술 보조 장치(100)는 간 영역, 혈관, 암 영역에 대해 각각 CT 영상의 시리즈를 배열할 수 있다. 수술 보조 장치(100)는 각 기관의 경계 중 하나의 포인트와 인접한 다른 포인트를 연결하여 선을 생성하고, 생성된 선을 반복 생성하여 면을 생성하는 매쉬 처리를 수행하여 3차원 모델링을 수행한다.
S140단계에서, 수술 보조 장치(100)는 간 전체 영역에 대한 3차원 모델링을 수행한다. 수술 보조 장치(100)는 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링한다. 이때 수술 보조 장치(100)는 혈관의 위치를 기준으로 간 분할을 할 수 있으며, 이를 통해 전문의가 암 영역이 간 영역 중 어느 부분에 포함되는지 쉽게 확인할 수 있도록 도와준다. 또한 수술 보조 장치(100)는 3차원 모델링된 간 전체 영역 중 암 영역이 나머지 영역과 구분되도록 표시를 한다.
S150단계에서, 수술 보조 장치(100)는 수술 치료 모델을 생성한다. 수술 보조 장치(100)는 3차원 모델링된 간 전체 영역을 이용하여 암 영역을 제거 수술에 대한 수술 치료 모델을 생성한다. 여기서 수술 치료 모델은 암 영역을 제거하는 수술이 어떤 과정으로 진행되는 것이 가장 바람직한지를 가이드하는 모델일 수 있다.
S160단계에서, 수술 보조 장치(100)는 수술 후 진행 상태를 예측한다. 수술 보조 장치(100)는 기 저장된 암 영역 제거 수술에 대한 정보 중 수술에서 사용된 절개 방향과 유사성이 있는 정보를 이용하여 환자의 진행상태를 예측한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 하드디스크, ROM, RAM, CD-ROM, 하드 디스크, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
10: 입력부
30: 제어부
50: 출력부
70: 저장부
100: 수술 보조 장치
30: 제어부
50: 출력부
70: 저장부
100: 수술 보조 장치
Claims (15)
- 복수의 CT 영상을 입력받는 입력부; 및
상기 입력된 복수의 CT 영상을 기초로 간 영역, 간 영역 내 혈관 및 간 영역 내 암 영역을 각각 검출하고, 상기 검출된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링을 각각 수행하며, 상기 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링을 수행하는 제어부;
를 포함하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치. - 제 1항에 있어서,
상기 제어부는,
문턱값을 이용하여 상기 CT 영상에 포함된 간 이외의 영상을 필터링하고, 기 설정된 두께로 연결된 연결 부위를 분리한 후 에지 부분을 추가 분리하여 간 영역을 검출하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치. - 제 2항에 있어서
상기 제어부는,
상기 간 영역을 검출하기 위한 간 영역 시작 슬라이드를 검출할 때, 상기 복수의 CT 영상 중 상기 간 영역이 격리된 형태로 시작하는 슬라이드를 간 영역 시작 슬라이드로 검출하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치. - 제 3항에 있어서,
상기 제어부는,
상기 격리된 형태로 시작하는 경우, 문턱값을 적용하여 모든 컨투어(contour)를 검출하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치. - 제 4항에 있어서,
상기 제어부는,
상기 컨투어의 관계에서 현재 컨투어를 포함하는 컨투어인 부모 컨투어가 존재하면 상기 부모 컨투어 중 가장 큰 컨투어를 간 시작 영역으로 검출하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치. - 제 3항에 있어서,
상기 제어부는,
상기 간 영역 시작 슬라이드가 미검출되면 상기 간 영역이 다른 기관과 붙은 형태인 경우로 판단하여 상기 복수의 CT 영상 중 간 영역이 포함된 컨투어 영역의 넓이를 각각 산출하고, 산출된 넓이의 변화를 이용하여 기 설정된 크기 이상으로 컨투어 영역이 줄어들면서 영상 순서가 가장 빠른 슬라이드를 간 영역 시작 슬라이드로 검출하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치. - 제 2항에 있어서,
상기 제어부는,
상기 CT 영상에서 뼈 영역, 다른 기관 영역 및 가장자리 영역을 검출하고, 상기 검출된 영역을 제외하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치. - 제 2항에 있어서,
상기 제어부는,
상기 복수의 CT 영상 중 검출된 간 영역의 넓이가 가장 큰 슬라이드를 간 영역 중간 슬라이드로 검출하고, 영상 순서상 이전 슬라이드의 간 영역과 겹치는 부분이 기 설정된 기준보다 낮으면 간 영역 마지막 슬라이드로 검출하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치. - 제 2항에 있어서,
상기 제어부는,
상기 복수의 CT 영상을 영상 순서대로 배열하고, 상기 검출된 간 영역을 이용하여 간의 경계 중 하나의 포인트와 인접한 다른 포인트를 연결하며 선을 생성하고, 상기 생성된 선을 반복 생성하여 면을 생성하는 매쉬(mesh) 처리를 수행하여 3차원 모델링을 하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치. - 제 1항에 있어서,
상기 제어부는,
상기 혈관의 위치를 기준으로 간 분할이 되도록 상기 간 전체 영역에 대한 3차원 모델링을 하고, 상기 3차원 모델링된 간 전체 영역 중 암 영역이 나머지 영역과 구분되도록 표시를 제어하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치. - 제 1항에 있어서,
상기 제어부는,
상기 3차원 모델링된 간 전체 영역을 이용하여 암 영역을 제거 수술에 대한 수술 치료 모델을 생성하고, 상기 생성된 수술 치료 모델을 이용하여 수술 완료 후 환자의 진행상태를 예측하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치. - 제 11항에 있어서,
상기 제어부는,
기 저장된 암 영역 제거 수술에 대한 정보 중 상기 암 영역의 위치와 유사성이 있는 정보를 이용하여 상기 암 영역의 제거 수술에 대한 진행순서 및 절개 방향을 가이드하는 수술 치료 모델을 생성하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치. - 제 12항에 있어서,
상기 제어부는,
기 저장된 암 영역 제거 수술에 대한 정보 중 상기 절개 방향과 유사성이 있는 정보를 이용하여 상기 환자의 진행상태를 예측하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치. - 수술 보조 장치가 복수의 CT 영상을 입력받는 단계;
상기 수술 보조 장치가 상기 입력된 복수의 CT 영상을 기초로 간 영역, 간 영역 내 혈관 및 간 영역 내 암 영역을 각각 검출하는 단계;
상기 수술 보조 장치가 상기 검출된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링을 각각 수행하는 단계; 및
상기 수술 보조 장치가 상기 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링을 수행하는 단계;
를 포함하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 방법. - 제 14항에 있어서,
상기 수술 보조 장치가 상기 3차원 모델링된 간 전체 영역을 이용하여 암 영역을 제거 수술에 대한 수술 치료 모델을 생성하는 단계; 및
상기 수술 보조 장치가 상기 생성된 수술 치료 모델을 이용하여 수술 완료 후 환자의 진행상태를 예측하는 단계;
를 더 포함하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180128373A KR102182357B1 (ko) | 2018-10-25 | 2018-10-25 | Ct 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180128373A KR102182357B1 (ko) | 2018-10-25 | 2018-10-25 | Ct 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200046775A true KR20200046775A (ko) | 2020-05-07 |
| KR102182357B1 KR102182357B1 (ko) | 2020-11-24 |
Family
ID=70734158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180128373A KR102182357B1 (ko) | 2018-10-25 | 2018-10-25 | Ct 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102182357B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102505539B1 (ko) * | 2022-06-21 | 2023-03-02 | 가천대학교 산학협력단 | 간 분할 정보 제공 방법 및 이를 이용한 간 분할에 대한 정보 제공용 장치 |
| WO2023234492A1 (ko) * | 2022-05-30 | 2023-12-07 | (주)휴톰 | 환자 맞춤형 3d 수술 시뮬레이션을 제공하는 방법, 장치 및 프로그램 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102587670B1 (ko) * | 2021-10-26 | 2023-10-10 | 이화여자대학교 산학협력단 | 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101004342B1 (ko) | 2007-10-23 | 2010-12-27 | (주)토탈소프트뱅크 | Ｃｔ 영상에서 간 영역 및 간 종양을 추출하는 방법 |
| KR20130100758A (ko) * | 2012-03-02 | 2013-09-11 | 포항공과대학교 산학협력단 | 3차원 가상 간 수술 계획 시스템 |
| KR20160086191A (ko) * | 2015-01-09 | 2016-07-19 | 연세대학교 산학협력단 | 모의 부정맥 전극 도자 절제 시술을 위한 맵 생성장치 및 방법 |
| KR20170034349A (ko) * | 2013-03-15 | 2017-03-28 | 시냅티브 메디컬 (바베이도스) 아이엔씨. | 헬스 이미징 인포매틱스 시스템 및 방법 |
-
2018
- 2018-10-25 KR KR1020180128373A patent/KR102182357B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101004342B1 (ko) | 2007-10-23 | 2010-12-27 | (주)토탈소프트뱅크 | Ｃｔ 영상에서 간 영역 및 간 종양을 추출하는 방법 |
| KR20130100758A (ko) * | 2012-03-02 | 2013-09-11 | 포항공과대학교 산학협력단 | 3차원 가상 간 수술 계획 시스템 |
| KR20170034349A (ko) * | 2013-03-15 | 2017-03-28 | 시냅티브 메디컬 (바베이도스) 아이엔씨. | 헬스 이미징 인포매틱스 시스템 및 방법 |
| KR20160086191A (ko) * | 2015-01-09 | 2016-07-19 | 연세대학교 산학협력단 | 모의 부정맥 전극 도자 절제 시술을 위한 맵 생성장치 및 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023234492A1 (ko) * | 2022-05-30 | 2023-12-07 | (주)휴톰 | 환자 맞춤형 3d 수술 시뮬레이션을 제공하는 방법, 장치 및 프로그램 |
| KR102505539B1 (ko) * | 2022-06-21 | 2023-03-02 | 가천대학교 산학협력단 | 간 분할 정보 제공 방법 및 이를 이용한 간 분할에 대한 정보 제공용 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102182357B1 (ko) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6676655B2 (ja) | 二重エネルギーｘ線冠動脈カルシウムのグレード付け | |
| US9984460B2 (en) | Automatic image segmentation methods and analysis | |
| US10244991B2 (en) | Method and system for providing recommendation for optimal execution of surgical procedures | |
| JP5039310B2 (ja) | 脳内出血部位セグメンテーション装置 | |
| Figueiredo et al. | Automated lesion detectors in retinal fundus images | |
| JP7194143B2 (ja) | 肝臓腫瘍例のレビューを容易にするシステムおよび方法 | |
| JP6570145B2 (ja) | 画像を処理する方法、プログラム、代替的な投影を構築する方法および装置 | |
| JP2023021440A (ja) | 眼の画像内における病変の検知 | |
| KR102182357B1 (ko) | Ct 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법 | |
| US20180199997A1 (en) | Method and apparatus for segmentation of blood vessels | |
| US20200410685A1 (en) | Method and system for acquiring status of strain and stress of a vessel wall | |
| MX2014007380A (es) | Procesamiento y representacion de una imagen de mama. | |
| CN113557714A (zh) | 医学图像处理装置、医学图像处理方法和程序 | |
| Debarba et al. | Efficient liver surgery planning in 3D based on functional segment classification and volumetric information | |
| JP4938427B2 (ja) | 脳出血部位体積計算装置 | |
| US11406340B2 (en) | Method for converting tone of chest X-ray image, storage medium, image tone conversion apparatus, server apparatus, and conversion method | |
| US8644608B2 (en) | Bone imagery segmentation method and apparatus | |
| JP2002269539A (ja) | 画像処理装置、画像処理装置方法、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにこれを用いた診断支援システム | |
| US20170301129A1 (en) | Medical image processing apparatus, medical image processing method, and medical image processing system | |
| CN117314872A (zh) | 一种视网膜图像的智能分割方法及装置 | |
| JP7178822B2 (ja) | 医用画像処理装置 | |
| JP6716197B2 (ja) | 画像処理装置およびｘ線診断装置 | |
| JP2018023602A (ja) | 眼底画像処理装置 | |
| CN115965589A (zh) | 导管图像识别方法、装置、计算机设备及存储介质 | |
| WO2016079209A1 (en) | Method and system for volume rendering of medical images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |