KR102182357B1 - Surgical assist device and method for 3D analysis based on liver cancer area in CT image - Google Patents

Surgical assist device and method for 3D analysis based on liver cancer area in CT image Download PDF

Info

Publication number
KR102182357B1
KR102182357B1 KR1020180128373A KR20180128373A KR102182357B1 KR 102182357 B1 KR102182357 B1 KR 102182357B1 KR 1020180128373 A KR1020180128373 A KR 1020180128373A KR 20180128373 A KR20180128373 A KR 20180128373A KR 102182357 B1 KR102182357 B1 KR 102182357B1
Authority
KR
South Korea
Prior art keywords
liver
region
image
area
cancer
Prior art date
Application number
KR1020180128373A
Other languages
Korean (ko)
Other versions
KR20200046775A (en
Inventor
오상철
이선일
이대희
오상욱
Original Assignee
고려대학교 산학협력단
주식회사 아이디알인비전
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단, 주식회사 아이디알인비전 filed Critical 고려대학교 산학협력단
Priority to KR1020180128373A priority Critical patent/KR102182357B1/en
Publication of KR20200046775A publication Critical patent/KR20200046775A/en
Application granted granted Critical
Publication of KR102182357B1 publication Critical patent/KR102182357B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법이 개시된다. 본 발명의 수술 보조 장치는 복수의 CT 영상을 입력받는 입력부 및 입력된 복수의 CT 영상을 기초로 간 영역, 간 영역 내 혈관 및 간 영역 내 암 영역을 각각 검출하고, 검출된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링을 각각 수행하며, 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링을 수행하는 제어부를 포함한다.The present invention discloses a surgical auxiliary device and method for performing a three-dimensional analysis based on a liver cancer region in a CT image. The surgical assistance apparatus of the present invention detects a liver region, a blood vessel in the liver region, and a cancer region in the liver region, respectively, based on an input unit receiving a plurality of CT images and a plurality of input CT images, and the detected liver region, blood vessel and Each 3D modeling of the cancer region is performed, and a control unit for performing 3D modeling of the entire liver region by synthesizing the 3D modeled liver region, blood vessel, and cancer region.

Description

CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법{Surgical assist device and method for 3D analysis based on liver cancer area in CT image}Surgical assist device and method for 3D analysis based on liver cancer area in CT image}

본 발명은 수술 보조 장치에 관한 것으로 더욱 상세하게는 CT 영상을 기초로 간 영역, 혈관 및 암 영역이 포함된 3차원 모델링 영상을 생성하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법에 관한 것이다.The present invention relates to a surgical assistance device, and more particularly, a surgical assistance device for performing a 3D analysis based on a liver cancer area in a CT image that generates a 3D modeling image including a liver area, a blood vessel, and a cancer area based on the CT image. And a method.

암은 전체 사망률의 가장 큰 원인 중 하나이며, 이 중 간암은 상태가 매우 악화되고 나서야 증상이 나타나고 그 증상 또한 간질환과 유사하여 정확한 감별이 어렵다. 따라서 감안의 진단은 증상이나 이학적 검사와 같은 간단한 검사로는 진단이 불가능하며, 예방과 조기 발견하여 치료하는 것이 최선책으로 알려져 있다.Cancer is one of the biggest causes of overall mortality, among which liver cancer symptoms appear only after the condition deteriorates, and the symptoms are similar to liver disease, making it difficult to accurately discriminate. Therefore, it is not possible to diagnose Gwangju's diagnosis with simple tests such as symptoms or physical tests, and it is known that prevention and early detection and treatment are the best.

아울러 최근에 이르러 초음파, CT(computed tomography) 및 MRI(magnetic resonance imaging)와 같은 영상 의학적 검사 방법이 발달함에 따라 의학 영상의 분석 및 처리 기술에 의해 인체의 질환을 검출하거나 진단하는 시스템의 중요성이 확대되고 있다.In addition, as radiological examination methods such as ultrasound, computed tomography (CT), and magnetic resonance imaging (MRI) are developed in recent years, the importance of systems for detecting or diagnosing diseases in the human body through medical image analysis and processing technology is increasing. Has become.

종래에는 2차원 CT 영상을 전문의의 선택에 따라 암 병변 등을 2차원 정보로 분석하였다. 따라서 전문의가 CT 영상을 한 장씩 보면서 3차원 간, 간 내 혈관 및 암을 유추하여 수술 방법을 정하기 때문에 많은 시간이 걸리고, 전문의의 능력에 따라 수술 방법이 달라졌다.Conventionally, two-dimensional CT images were analyzed as two-dimensional information on cancer lesions and the like according to the selection of a specialist. Therefore, it takes a lot of time because the specialist determines the surgical method by inferring the three-dimensional liver, blood vessels and cancer in the liver while looking at the CT image one by one, and the surgical method varies according to the specialist's ability.

또한 CT 영상을 육안으로 확인하기 때문에 전문의의 상태에 따라 암을 놓치거나 암의 장축 등의 정보를 정확하게 파악하는데 차이가 있을 수 있었다. Also, since CT images are visually checked, there could be differences in accurately grasping information such as missed cancer or the long axis of the cancer depending on the condition of the specialist.

따라서 전문의의 간 차이가 발생하지 않으면서 빠르고 정확하게 수술의 보조 진단을 해줄 수 있는 방안이 필요한 실정이다.Therefore, there is a need for a way to quickly and accurately provide an auxiliary diagnosis of surgery without causing differences between specialists.

한국등록특허공보 제10-1004342호(2010.12.27.)Korean Registered Patent Publication No. 10-1004342 (2010.12.27.)

본 발명이 이루고자 하는 기술적 과제는 CT 영상을 기초로 3차원 모델링된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링하고, 3차원 모델링된 간, 혈관, 암 영역을 합성하여 하나의 간 전체 영역에 대한 3차원 모델링 영상을 생성하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법을 제공하는데 목적이 있다.The technical problem to be achieved by the present invention is to perform a three-dimensional modeling of a liver region, blood vessel, and cancer region, which are three-dimensionally modeled based on a CT image, and synthesize the three-dimensional modeled liver, blood vessel, and cancer regions to form the entire liver region. An object of the present invention is to provide a surgical assistance apparatus and method for performing a 3D analysis based on a liver cancer region in a CT image that generates a 3D modeling image for Korea.

본 발명이 이루고자 하는 다른 기술적 과제는 CT 영상 내 간암 영역을 3차원 분석하여 간암 영역을 제거하는 수술을 가이드하고, 수술 완료 후 환자의 진행상태를 예측하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법을 제공하는데 목적이 있다.Another technical problem to be achieved by the present invention is to guide the surgery to remove the liver cancer area by analyzing the liver cancer area in the CT image in 3D, and perform a 3D analysis based on the liver cancer area in the CT image to predict the patient's progress after the operation is completed. It is an object of the present invention to provide a surgical aid device and method.

상기 목적을 달성하기 위해 본 발명의 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치는 복수의 CT 영상을 입력받는 입력부 및 상기 입력된 복수의 CT 영상을 기초로 간 영역, 간 영역 내 혈관 및 간 영역 내 암 영역을 각각 검출하고, 상기 검출된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링을 각각 수행하며, 상기 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링을 수행하는 제어부를 포함한다.In order to achieve the above object, the surgical auxiliary device for performing a three-dimensional analysis based on a liver cancer region in a CT image of the present invention includes an input unit receiving a plurality of CT images and a liver region and a liver region based on the input plurality of CT images. Each of the cancer regions in the blood vessel and liver region is detected, the three-dimensional modeling of the detected liver region, the blood vessel and the cancer region is performed, and the entire liver region by synthesizing the three-dimensional modeled liver region, blood vessel and cancer region It includes a control unit that performs 3D modeling for.

또한 상기 제어부는, 문턱값을 이용하여 상기 CT 영상에 포함된 간 이외의 영상을 필터링하고, 기 설정된 두께로 연결된 연결 부위를 분리한 후 에지 부분을 추가 분리하여 간 영역을 검출하는 것을 특징으로 한다.In addition, the control unit is characterized in that the control unit filters images other than the liver included in the CT image using a threshold value, separates a connection portion connected to a predetermined thickness, and then separates an edge portion to detect a liver region. .

또한 상기 제어부는, 상기 간 영역을 검출하기 위한 간 영역 시작 슬라이드를 검출할 때, 상기 복수의 CT 영상 중 상기 간 영역이 격리된 형태로 시작하는 슬라이드를 간 영역 시작 슬라이드로 검출하는 것을 특징으로 한다.In addition, when detecting a liver region start slide for detecting the liver region, the control unit may detect a slide starting in an isolated form among the plurality of CT images as a liver region start slide. .

또한 상기 제어부는, 상기 격리된 형태로 시작하는 경우, 문턱값을 적용하여 모든 컨투어(contour)를 검출하는 것을 특징으로 한다.In addition, when starting in the isolated form, the control unit is characterized in that it detects all contours by applying a threshold value.

또한 상기 제어부는, 상기 컨투어의 관계에서 현재 컨투어를 포함하는 컨투어인 부모 컨투어가 존재하면 상기 부모 컨투어 중 가장 큰 컨투어를 간 시작 영역으로 검출하는 것을 특징으로 한다.In addition, the control unit is characterized in that, if there is a parent contour, which is a contour including a current contour, in the relationship of the contour, the largest contour among the parent contours is detected as the inter start area.

또한 상기 제어부는, 상기 간 영역 시작 슬라이드가 미검출되면 상기 간 영역이 다른 기관과 붙은 형태인 경우로 판단하여 상기 복수의 CT 영상 중 간 영역이 포함된 컨투어 영역의 넓이를 각각 산출하고, 산출된 넓이의 변화를 이용하여 기 설정된 크기 이상으로 컨투어 영역이 줄어들면서 영상 순서가 가장 빠른 슬라이드를 간 영역 시작 슬라이드로 검출하는 것을 특징으로 한다.In addition, when the liver region start slide is not detected, the control unit determines that the liver region is in a form attached to other organs, and calculates the widths of contour regions including the liver region among the plurality of CT images, respectively, and the calculated It is characterized in that a slide having the fastest image order is detected as an inter-region start slide while the contour area is reduced by more than a preset size by using a change in width.

또한 상기 제어부는, 상기 CT 영상에서 뼈 영역, 다른 기관 영역 및 가장자리 영역을 검출하고, 상기 검출된 영역을 제외하는 것을 특징으로 한다.In addition, the control unit may detect a bone region, another organ region, and an edge region from the CT image, and exclude the detected region.

또한 상기 제어부는, 상기 복수의 CT 영상 중 검출된 간 영역의 넓이가 가장 큰 슬라이드를 간 영역 중간 슬라이드로 검출하고, 영상 순서상 이전 슬라이드의 간 영역과 겹치는 부분이 기 설정된 기준보다 낮으면 간 영역 마지막 슬라이드로 검출하는 것을 특징으로 한다.In addition, the control unit detects a slide having the largest width of the detected liver area among the plurality of CT images as an intermediate slide of the liver area, and if a portion overlapping the liver area of the previous slide in the image sequence is lower than a preset reference, the liver area It is characterized by detecting as the last slide.

또한 상기 제어부는, 상기 복수의 CT 영상을 영상 순서대로 배열하고, 상기 검출된 간 영역을 이용하여 간의 경계 중 하나의 포인트와 인접한 다른 포인트를 연결하며 선을 생성하고, 상기 생성된 선을 반복 생성하여 면을 생성하는 매쉬(mesh) 처리를 수행하여 3차원 모델링을 하는 것을 특징으로 한다.In addition, the control unit arranges the plurality of CT images in image order, uses the detected liver region to connect one point of the liver boundary and another point adjacent to it to generate a line, and repeatedly generate the generated line. It is characterized in that three-dimensional modeling is performed by performing a mesh process to generate a surface.

또한 상기 제어부는, 상기 혈관의 위치를 기준으로 간 분할이 되도록 상기 간 전체 영역에 대한 3차원 모델링을 하고, 상기 3차원 모델링된 간 전체 영역 중 암 영역이 나머지 영역과 구분되도록 표시를 제어하는 것을 특징으로 한다.In addition, the control unit performs three-dimensional modeling of the entire liver region so that the liver is divided based on the location of the blood vessel, and controls the display so that the cancer region is distinguished from the rest of the three-dimensional modeled liver regions. It is characterized.

또한 상기 제어부는, 상기 3차원 모델링된 간 전체 영역을 이용하여 암 영역을 제거 수술에 대한 수술 치료 모델을 생성하고, 상기 생성된 수술 치료 모델을 이용하여 수술 완료 후 환자의 진행상태를 예측하는 것을 특징으로 한다.In addition, the control unit generates a surgical treatment model for a surgery to remove a cancer region using the entire three-dimensional modeled liver region, and predicts the patient's progress after the operation is completed using the generated surgical treatment model. It is characterized.

또한 상기 제어부는, 기 저장된 암 영역 제거 수술에 대한 정보 중 상기 암 영역의 위치와 유사성이 있는 정보를 이용하여 상기 암 영역의 제거 수술에 대한 진행순서 및 절개 방향을 가이드하는 수술 치료 모델을 생성하는 것을 특징으로 한다.In addition, the control unit generates a surgical treatment model that guides the procedure and incision direction for the cancer region removal surgery using information having a similarity to the location of the cancer region among previously stored information on the cancer region removal surgery. It features.

또한 상기 제어부는, 기 저장된 암 영역 제거 수술에 대한 정보 중 상기 절개 방향과 유사성이 있는 정보를 이용하여 상기 환자의 진행상태를 예측하는 것을 특징으로 한다.In addition, the control unit is characterized in that it predicts the progress of the patient by using information similar to the incision direction among previously stored information on the surgery for removing the cancer region.

본 발명의 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 방법은 수술 보조 장치가 복수의 CT 영상을 입력받는 단계, 상기 수술 보조 장치가 상기 입력된 복수의 CT 영상을 기초로 간 영역, 간 영역 내 혈관 및 간 영역 내 암 영역을 각각 검출하는 단계, 상기 수술 보조 장치가 상기 검출된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링을 각각 수행하는 단계 및 상기 수술 보조 장치가 상기 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링을 수행하는 단계를 포함한다.A surgical assistance method for performing a three-dimensional analysis based on a liver cancer region in a CT image of the present invention includes the steps of: receiving a plurality of CT images by a surgical assistance device, a liver region based on the plurality of CT images, Detecting blood vessels in the liver region and cancer regions in the liver region, respectively, performing 3D modeling of the detected liver region, blood vessels, and cancer regions by the surgical assistance device, and the surgical assistance device being the 3D And performing 3D modeling of the entire liver area by synthesizing the modeled liver area, blood vessel, and cancer area.

또한 상기 수술 보조 장치가 상기 3차원 모델링된 간 전체 영역을 이용하여 암 영역을 제거 수술에 대한 수술 치료 모델을 생성하는 단계 및 상기 수술 보조 장치가 상기 생성된 수술 치료 모델을 이용하여 수술 완료 후 환자의 진행상태를 예측하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the surgical assistance device generates a surgical treatment model for a surgery to remove the cancer area using the entire three-dimensional modeled liver area, and the surgical assistance device uses the generated surgical treatment model to complete the surgery. It characterized in that it further comprises the step of predicting the progress of the.

본 발명의 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법은 CT 영상을 기초로 3차원 모델링된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링하고, 3차원 모델링된 간, 혈관, 암 영역을 합성하여 하나의 간 전체 영역에 대한 3차원 모델링 영상을 생성함으로써, 전문의가 간암에 대해서 빠르면서도 객관적이고 정확한 판단을 할 수 있도록 도와줄 수 있다.The assistive device and method for performing a three-dimensional analysis based on a liver cancer region in a CT image according to the present invention include three-dimensional modeling of a liver region, a blood vessel, and a cancer region that are three-dimensionally modeled based on a CT image, and the three-dimensional modeled liver, By synthesizing blood vessels and cancer regions to generate a 3D modeling image for an entire liver region, it is possible to help a specialist to make a quick, objective and accurate judgment on liver cancer.

또한 CT 영상 내 간암 영역을 3차원 분석하여 간암 영역을 제거하는 수술을 가이드하고, 수술 완료 후 환자의 진행상태를 예측하여 전문의가 최상의 수술을 수행하도록 도와줄 수 있다.In addition, it is possible to guide the surgery to remove the liver cancer area by analyzing the liver cancer area in the CT image in 3D, and to predict the patient's progress after the operation is completed to help a specialist perform the best operation.

도 1은 본 발명의 실시예에 따른 수술 보조 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 간 영역 시작 슬라이드의 형태를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 부모 컨투어가 존재하는 간 영역 검출을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 간이 아닌 영역의 검출을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 다른 기관과 붙은 상태의 간 영역 시작 슬라이드를 설명하기 위한 도면이다.
도 6은 도 5에서의 컨투어 검출을 설명하기 위한 도면이다.
도 7은 도6의 컨투어 영역 넓이 변화를 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 뼈 영역 검출을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 다른 기관 영역 검출을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 간 영역 검출 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 영상 처리 절차에 의한 결과 영상을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 윤곽선 적용 및 모폴로지 연산을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 윤곽선 적용에 따른 효과를 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 간 영역 마지막 슬라이드 검출을 설명하기 위한 도면이다.
도 15는 본 발명의 실시예에 따른 간 영역 중간 슬라이드 검출을 설명하기 위한 도면이다.
도 16은 본 발명의 실시예에 따른 적응적인 모폴로지 연산을 설명하기 위한 도면이다.
도 17은 본 발명의 실시예에 따른 현재 슬라이드 보간을 설명하기 위한 도면이다.
도 18은 본 발명의 실시예에 따른 Dicom 파일 조정 이미지를 설명하기 위한 도면이다.
도 19는 도 18의 조정 이미지 처리된 영상의 평균 영상을 설명하기 위한 도면이다.
도 20은 본 발명의 실시예에 따른 마스킹을 통한 간 이외 영역 제거를 설명하기 위한 도면이다.
도 21은 본 발명의 실시예에 따른 대간선 모양으로 간 이외 영역 제거를 설명하기 위한 도면이다.
도 22는 본 발명의 실시예에 따른 가장자리에서의 오검출을 설명하기 위한 도면이다.
도 23은 본 발명의 실시예에 따른 외곽영역의 두께 산출을 설명하기 위한 도면이다.
도 24는 본 발명의 실시예에 따른 외곽영역이 볼록하게 나온 경우의 오검출 수정을 설명하기 위한 도면이다.
도 25는 본 발명의 실시예에 따른 외곽영역이 오목하게 나온 경우의 오검출 수정을 설명하기 위한 도면이다.
도 26은 본 발명의 실시예에 따른 간 경계를 이루는 포인트에 대한 배열을 설명하기 위한 도면이다.
도 27은 본 발명의 실시예에 따른 간 영역에 대한 3차원 모델링을 설명하기 위한 도면이다.
도 28은 본 발명의 실시예에 따른 간 영역 내 암 영역 검출을 설명하기 위한 도면이다.
도 29는 본 발명의 실시예에 따른 간 영역 내 암 영역에 대한 3차원 모델링을 설명하기 위한 도면이다.
도 30은 본 발명의 실시예에 따른 간 영역 내 혈관에 대한 3차원 모델링을 설명하기 위한 도면이다.
도 31은 본 발명의 실시예에 따른 간 전체 영역에 대한 3차원 모델링을 설명하기 위한 도면이다.
도 32는 본 발명의 실시예에 따른 수술 보조 방법을 설명하기 위한 순서도이다.1 is a block diagram illustrating a surgical assistance device according to an embodiment of the present invention.
2 is a view for explaining a shape of a liver region start slide according to an embodiment of the present invention.
3 is a diagram for describing detection of a liver region in which a parent contour exists according to an embodiment of the present invention.
4 is a diagram for describing detection of a non-liver region according to an embodiment of the present invention.
5 is a view for explaining a liver region start slide in a state attached to another organ according to an embodiment of the present invention.
FIG. 6 is a diagram for describing contour detection in FIG. 5.
FIG. 7 is a diagram for explaining a change in the contour area width of FIG. 6.
8 is a diagram for describing bone region detection according to an embodiment of the present invention.
9 is a view for explaining another organ region detection according to an embodiment of the present invention.
10 is a diagram illustrating a process of detecting a liver region according to an embodiment of the present invention.
11 is a diagram for describing a result image according to an image processing procedure according to an embodiment of the present invention.
12 is a diagram for explaining an outline application and a morphology operation according to an embodiment of the present invention.
13 is a diagram for explaining an effect of applying an outline according to an embodiment of the present invention.
14 is a diagram for explaining detection of a last slide of a liver region according to an embodiment of the present invention.
15 is a diagram for describing detection of an intermediate slide in a liver region according to an embodiment of the present invention.
16 is a diagram for explaining an adaptive morphology operation according to an embodiment of the present invention.
17 is a diagram for explaining a current slide interpolation according to an embodiment of the present invention.
18 is a diagram for explaining a Dicom file adjustment image according to an embodiment of the present invention.
FIG. 19 is a diagram for describing an average image of the adjusted image-processed image of FIG. 18.
20 is a view for explaining removal of a region other than the liver through masking according to an embodiment of the present invention.
21 is a view for explaining removal of a region other than the liver in the shape of a major trunk line according to an embodiment of the present invention.
22 is a view for explaining false detection at an edge according to an embodiment of the present invention.
23 is a view for explaining the calculation of the thickness of the outer region according to an embodiment of the present invention.
24 is a diagram for explaining correction of erroneous detection when an outer region is convex according to an embodiment of the present invention.
25 is a diagram for explaining correction of erroneous detection when an outer region is concave according to an embodiment of the present invention.
26 is a diagram for explaining an arrangement of points forming a boundary between a liver according to an embodiment of the present invention.
27 is a diagram for explaining 3D modeling of a liver region according to an embodiment of the present invention.
28 is a diagram for describing detection of a dark region in a liver region according to an embodiment of the present invention.
29 is a view for explaining 3D modeling of a dark region in a liver region according to an embodiment of the present invention.
30 is a diagram for explaining 3D modeling of blood vessels in a liver region according to an embodiment of the present invention.
31 is a diagram for explaining 3D modeling of an entire liver region according to an embodiment of the present invention.
32 is a flow chart for explaining a surgical assistance method according to an embodiment of the present invention.

이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to elements of each drawing, note that the same elements are to have the same numerals as possible even if they are indicated on different drawings. In addition, in describing the present invention, when it is determined that a detailed description of a related known configuration or function is apparent to those skilled in the art or may obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 실시예에 따른 수술 보조 장치를 설명하기 위한 블록도이다.1 is a block diagram illustrating a surgical assistance device according to an embodiment of the present invention.

도 1을 참조하면, 수술 보조 장치(100)는 CT 영상을 기초로 3차원 모델링된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링하고, 3차원 모델링된 간, 혈관, 암 영역을 합성하여 하나의 간 전체 영역에 대한 3차원 모델링 영상을 생성한다. 수술 보조 장치(100)는 간 전체 영역 중 암 영역을 3차원 분석하여 암 영역을 제거하는 수술을 가이드하고, 수술 완료 후 환자의 진행상태를 예측한다. 수술 보조 장치(100)는 데스크톱, 랩톱, 스마트폰, 태블릿 PC, 핸드헬드 PC, 클러스터 컴퓨터 등으로 구현될 수 있다. 수술 보조 장치(100)는 입력부(10) 및 제어부(30)를 포함하고, 출력부(50) 및 저장부(70)를 더 포함한다.Referring to FIG. 1, the surgical assistance device 100 performs a three-dimensional modeling of a liver region, a blood vessel, and a cancer region that are three-dimensionally modeled based on a CT image, and synthesizes the three-dimensional modeled liver, blood vessel, and cancer regions. A 3D modeling image of the entire liver area is created. The surgical assistance device 100 guides an operation to remove the cancer region by analyzing the cancer region in three dimensions among the entire liver region, and predicts the patient's progress after the operation is completed. The surgical assistance device 100 may be implemented as a desktop, laptop, smart phone, tablet PC, handheld PC, cluster computer, or the like. The surgical assistance device 100 includes an input unit 10 and a control unit 30, and further includes an output unit 50 and a storage unit 70.

입력부(10)는 복수의 CT 영상을 입력받는다. 여기서 CT 영상은 CT로 촬영된 의료 영상으로써, 간 영역 및 간 영역 내 암 영역이 포함된 영상일 수 있으며, Dicom 파일 형식으로 입력될 수 있다. 입력부(10)는 촬영된 CT 영상 순서대로 순차적으로 입력받을 수 있다. The input unit 10 receives a plurality of CT images. Here, the CT image is a medical image taken by CT, and may be an image including a liver region and a cancer region within the liver region, and may be input in a Dicom file format. The input unit 10 may sequentially receive inputs in the order of captured CT images.

제어부(30)는 입력부(10)로부터 입력된 복수의 CT 영상을 기초로 간 영역, 간 영역 내 혈관 및 간 영역 내 암 영역을 각각 검출한다. 이때 제어부(30)는 문턱값을 이용하여 CT 영상에 포함된 간 이외의 영상을 필터링하고, 기 설정된 두께로 연결된 연결 부위를 분리한 후 에지 부분을 추가 분리하여 간 영역을 검출한다. 또한 제어부(30)는 간 영역 내 혈관 및 간 영역 내 암 영역을 자동으로 검출한다. 제어부(30)는 검출된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링을 각각 수행한다. 제어부(30)는 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링을 수행한다. 제어부(30)는 3차원 모델링된 간 전체 영역 중 암 영역이 나머지 영역과 구분되도록 표시를 제어한다. 제어부(30)는 3차원 모델링된 간 전체 영역을 이용하여 암 영역을 제거 수술에 대한 수술 치료 모델을 생성한다. 여기서 수술 치료 모델은 암 영역을 제거하는 수술이 어떤 과정으로 진행되는 것이 가장 바람직한지를 가이드하는 모델일 수 있다. 즉 수술 치료 모델은 기 저장된 암 영역 제거 수술에 대한 정보 중 상기 암 영역의 위치와 유사성이 있는 정보를 이용하여 암 영역의 제거 수술에 대한 진행순서 및 절개 방향을 가이드할 수 있다. 제어부(30)는 생성된 수술 치료 모델을 이용하여 수술 완료 후 환자의 진행상태를 예측한다. 제어부(30)는 기 저장된 암 영역 제거 수술에 대한 정보 중 수술에서 사용된 절개 방향과 유사성이 있는 정보를 이용하여 환자의 진행상태를 예측한다. 이를 통해 제어부(30)는 보다 정확한 예측을 할 수 있다. The controller 30 detects a liver region, a blood vessel in the liver region, and a cancer region in the liver region, respectively, based on a plurality of CT images input from the input unit 10. At this time, the controller 30 filters images other than the liver included in the CT image using the threshold value, separates the connection portion connected to a predetermined thickness, and then separates the edge portion to detect the liver region. In addition, the controller 30 automatically detects blood vessels in the liver region and cancer regions in the liver region. The controller 30 performs 3D modeling of the detected liver region, blood vessel, and cancer region, respectively. The controller 30 synthesizes the three-dimensional modeled liver region, blood vessel, and cancer region to perform three-dimensional modeling of the entire liver region. The control unit 30 controls the display so that the dark area is distinguished from the rest of the entire 3D modeled liver area. The control unit 30 generates a surgical treatment model for a surgery to remove a cancer region by using the entire three-dimensional modeled liver region. Here, the surgical treatment model may be a model that guides the most desirable procedure for removing the cancer area. That is, the surgical treatment model may guide a procedure and an incision direction for the surgery to remove the cancer area by using information similar to the location of the cancer area among previously stored information on the surgery to remove the cancer area. The controller 30 uses the generated surgical treatment model to predict the patient's progress after the operation is completed. The control unit 30 predicts the patient's progress by using information similar to the incision direction used in the surgery among previously stored information on the surgery to remove the cancer area. Through this, the controller 30 can make a more accurate prediction.

출력부(50)는 입력부(10)로부터 입력된 복수의 CT 영상을 출력한다. 출력부(50)는 제어부(30)로부터 3차원 모델링된 간 영역, 혈관, 암 영역 및 이들을 합성한 간 전체 영역을 출력한다. 출력부(50)는 제어부(30)로부터 생성된 수술 치료 모델 및 예측된 환자의 진행상태를 출력한다. 출력부(50)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.The output unit 50 outputs a plurality of CT images input from the input unit 10. The output unit 50 outputs the three-dimensional modeled liver region, blood vessel, and cancer region from the control unit 30, and the entire liver region synthesized therefrom. The output unit 50 outputs the surgical treatment model generated from the control unit 30 and the predicted patient progression state. The output unit 50 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. display) and a 3D display.

저장부(70)는 입력부(10)로부터 입력된 복수의 CT 영상이 저장된다. 저장부(70)는 제어부(30)로부터 3차원 모델링된 간 영역, 혈관, 암 영역 및 이들을 합성한 간 전체 영역이 저장된다. 저장부(70)는 제어부(30)로부터 생성된 수술 치료 모델 및 예측된 환자의 진행상태이 저장된다. 저장부(70)는 3차원 모델링, 수술 치료 모델 생성 및 환자의 진행상태 예측에 필요한 프로그램이 저장되고, 프로그램을 실행하기 위한 문턱값, 설정값 등이 저장된다. 저장부(70)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다. The storage unit 70 stores a plurality of CT images input from the input unit 10. The storage unit 70 stores a liver region, a blood vessel, a cancer region, and the entire liver region obtained by combining the three-dimensionally modeled liver regions, blood vessels, and cancer regions from the controller 30. The storage unit 70 stores the surgical treatment model generated from the control unit 30 and the predicted patient progression state. The storage unit 70 stores a program necessary for 3D modeling, generation of a surgical treatment model, and prediction of a patient's progress, and stores a threshold value and a set value for executing the program. The storage unit 70 includes a flash memory type, a hard disk type, a media card micro type, a card type memory (eg, SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, It may include at least one storage medium of a magnetic disk and an optical disk.

이하, 상술된 수술 보조 장치(100)를 이용하여 간 전체 영역에 대한 3차원 모델링하는 과정을 도면을 참조하면 상세하게 설명한다. 도 2 내지 도 31은 본 발명의 실시예에 따른 간 전체 영역에 대한 3차원 모델링하는 과정을 설명하기 위한 도면이다.Hereinafter, a process of 3D modeling the entire liver region using the surgical assistance device 100 described above will be described in detail with reference to the drawings. 2 to 31 are diagrams for explaining a 3D modeling process for the entire liver region according to an embodiment of the present invention.

도 1 내지 도 31을 참조하면, 제어부(10)는 복수의 CT 영상을 이용하여 간 영역에 대한 영역 분할 후 2차원 데이터를 3차원 데이터로 모델링함으로써, 시각화를 직관적으로 하여 암 영역, 즉 병변 영역에 대한 위치를 정확하게 파악할 수 있다.1 to 31, the control unit 10 uses a plurality of CT images to divide the liver region and then model the 2D data as 3D data, thereby intuitively visualizing the cancer region, that is, the lesion region. You can pinpoint the location of.

제어부(10)는 복수의 CT 영상에 대한 Dicom 파일을 기 설정된 규격으로 변환한다. 여기서 Dicom 파일의 한 픽셀은 일반적으로 8비트(bit) 이상이며 16비트 데이터를 포함하고, 복부 영역에 대한 일반적인 8비트 변환은 window wide(W) 250, center(C) 45로 설정된다. The controller 10 converts Dicom files for a plurality of CT images into a preset standard. Here, one pixel of the Dicom file is generally 8 bits or more and contains 16 bit data, and the general 8 bit conversion for the abdominal region is set to window wide (W) 250 and center (C) 45.

한편 제어부(10)는 6가지 종류의 규격을 이용하여 각각의 CT 영상을 변환하며 각 기준값은 다음과 같다. 일반적인 복부 영상 기준값은 W30, C40로 설정하고, 간 영역(간 영역의 고포화, 고대비) 기준값은 W50, C89로 설정하며, 제외 영역(뼈와 같은 간 이외 영역) 기준값은 W113, C198로 설정하고, 추가 간 영역1(고대비 영상) 기준값은 W99, C112로 설정하며, 추가 간 영역2(중대비, 중포화 영상) 기준값은 W69, C105로 설정하고, 추가 간 영역3(고포화 영상) 기준값은 W60, C78로 설정한다.Meanwhile, the controller 10 converts each CT image using six types of standards, and each reference value is as follows. General abdominal image reference values are set to W30, C40, liver areas (high saturation, high contrast) are set to W50, C89, and excluded areas (areas other than the liver such as bones) are set to W113, C198. And, the reference value of the additional liver area 1 (high contrast image) is set to W99, C112, the reference value of the additional liver area 2 (medium contrast, medium saturation image) is set to W69, C105, and the reference value of additional liver area 3 (high saturation image) Is set to W60, C78.

제어부(10)는 기 설정된 규격을 이용한 CT 영상의 변환은 [수학식 1]을 이용하여 변환할 수 있다.The control unit 10 may convert a CT image using a preset standard using [Equation 1].

Figure 112018105680159-pat00001
Figure 112018105680159-pat00001

여기서, W는 window width를 의미하고, C는 center를 의미하며, x는 입력 픽셀을 의미한다.Here, W means the window width, C means the center, and x means the input pixel.

제어부(30)는 Dicom 파일 변환이 완료되면 간 영역 시작 슬라이드를 검출한다. 일반적으로 간이 시작되는 형태는 도 2에 도시된 바와 같이 두 가지 종류가 대부분이며, 하나는 간 영역이 격리된 형태인 경우, 나머지 하나는 간 영역이 다른 기관과 붙은 형태인 경우이다. 여기서 다른 기관은 간 이외의 다른 신체 기관을 의미한다. When the conversion of the Dicom file is completed, the control unit 30 detects the inter-region start slide. In general, as shown in FIG. 2, there are two types of liver starting types, one in which the liver region is isolated, and the other in the case where the liver region is attached to other organs. Other organs here refer to organs other than the liver.

제어부(30)는 간 영역을 검출하기 위한 간 영역 시작 슬라이드를 검출할 때, 먼저 복수의 CT 영상 중 상기 간 영역이 격리된 형태에 대한 검출방법을 이용하여 간 영역 시작 슬라이드를 검출한다. 이때 제어부(30)는 간 영역 시작 슬라이드가 미검출되면 간 영역이 다른 기관과 붙은 형태인 경우로 판단하고, 다른 기관과 붙은 형태에 대한 검출방법을 이용하여 간 영역 시작 슬라이드를 검출한다.When detecting the liver region start slide for detecting the liver region, the controller 30 first detects the liver region start slide by using a detection method for a form in which the liver region is isolated from among a plurality of CT images. In this case, if the liver region start slide is not detected, the control unit 30 determines that the liver region is in a form attached to another organ, and detects the liver region start slide using a detection method for the form attached to another organ.

제어부(30)는 격리된 형태로 시작하는 경우, 문턱값을 적용하여 모든 컨투어(contour)를 검출한다. 여기서 문턱값은 간 영역과 그 외 나머지 영역 간에 컨투어를 검출할 수 있는 픽셀값을 의미하고, 컨투어는 윤곽을 의미한다. 제어부(30)는 컨투어의 관계에서 현재 컨투어를 포함하는 컨투어인 부모 컨투어가 존재하면 부모 컨투어 중 가장 큰 컨투어를 간 시작 영역으로 검출한다. 즉 도 3과 같이 부모 컨투어가 존재하는 영역에서 가장 큰 영역이 간에 해당하는 영역이다. 제어부(30)는 시작 위치가 작은 경우, 간이 아닌 다른 영역이 간처럼 검출되는 현상을 제거하기 위해 다음 순서의 슬라이드에 포함된 간 영역을 확인하여 배경과 같은 검은 부분이 아니라면 최종적으로 간으로 판단한다(도 4).When starting in an isolated form, the control unit 30 detects all contours by applying a threshold value. Here, the threshold value refers to a pixel value capable of detecting a contour between the liver region and the other regions, and the contour refers to a contour. If there is a parent contour, which is a contour including the current contour, in the contour relationship, the controller 30 detects the largest contour among the parent contours as the inter start area. That is, as shown in FIG. 3, the largest area in the area where the parent contour exists is the area corresponding to the liver. When the starting position is small, the control unit 30 checks the liver area included in the next slide in order to eliminate the phenomenon in which an area other than the liver is detected like a liver, and finally determines it as a liver if it is not a black area such as a background. (Fig. 4).

제어부(30)는 격리된 간의 시작 부분이 아닌 다른 기관과 붙은 상태로 간이 시작하는 경우, 컨투어 영역의 변화를 이용하여 간 영역 슬라이드를 검출한다. 즉 제어부(30)는 도 5에 도시된 다른 기관과 붙은 상태로 간이 시작하는 시리즈 영상의 순차적 슬라이드에서 도 6과 같이 컨투어 영역(붉은 사각형 박스 영역)을 검출한다. 이때 제어부(30)는 컨투어 영역의 넓이를 각각 산출하고, 산출된 넓이의 변화(도 7)를 이용하여 기 설정된 크기 이상으로 컨투어 영역이 줄어들면서 영상 순서가 가장 빠른 슬라이드를 간 영역 시작 슬라이드로 검출한다. 예를 들어 기 설정된 크기가 3000인 경우, 도 6에서는 두 번째 영상이 간의 시작 슬라이드로 검출될 수 있다.The control unit 30 detects the liver region slide by using the change in the contour region when the liver starts in a state attached to an organ other than the start of the isolated liver. That is, the control unit 30 detects a contour area (red square box area) as shown in FIG. 6 from a sequential slide of a series image that starts with the other organs shown in FIG. 5. At this time, the control unit 30 calculates the width of each contour area, and detects the slide with the fastest image sequence as the inter-area start slide as the contour area decreases beyond a preset size using the calculated area change (Fig. 7). do. For example, if the preset size is 3000, in FIG. 6, the second image may be detected as the start slide of the liver.

제어부(30)는 CT 영상에서 뼈 영역, 다른 기관 영역 및 가장자리 영역을 검출하고, 검출된 영역을 제외한다. 특히 제어부(30)는 가장자리 영역에 존재하는 갈비뼈, 지방층, 피부조직 등이 간과 유사한 픽셀값을 가짐으로 이를 제외시켜 영상의 정확도를 높일 수 있다. 제어부(30)는 도 8과 같이 dicom 파일에서 window width, center를 조정하면서 가장 뼈를 잘 찾을 수 있는 값으로 변환하여 뼈를 제외한다. 제어부(30)는 CT 영상에서 간이 아닐 확률이 높은 영역으로 픽셀 값의 차이가 큰 점을 이용하여 다른 기관 영역을 구분할 수 있는 영역을 검출한다. 다만 다른 기관과 간의 픽셀 값이 대부분 유사함으로 제어부(30)는 도 9와 같이 일부 영역만 제외할 수 있다. 제어부(30)는 CT 영상의 몸통 부분만을 검출한 후 뼈의 특성을 이용하여 두께를 산출하고, 산출된 두께를 전체에 적용하여 가장자리를 검출하며, 검출된 가장자리를 제외한다. 이때 제어부(30)는 일정 상수 값을 이용하여 두께를 조정하며 사용하였으며, 사람마다 다른 특성을 가지는 점을 이용하여 매 슬라이드마다 두께를 산출하여 저장한다. 여기서 제어부(30)는 뼈 영역, 다른 기관 영역 및 가장자리 영역의 제외시키는 과정을 간 영역이 잘 보여지는 상태로 dicom 파일을 변환한 후 수행할 수 있다. 즉 제어부(30)는 도 10과 같이 CT 영상을 포화도 및 대비비가 높은 쪽으로 변환한 후, 뼈 영역, 다른 기관 영역 및 가장자리 영역의 제외시키는 과정을 수행할 수 있다.The controller 30 detects a bone region, another organ region, and an edge region from the CT image, and excludes the detected region. In particular, since the ribs, fat layers, skin tissues, etc. existing in the edge region have pixel values similar to those of the liver, the control unit 30 may exclude them to increase the accuracy of the image. As shown in FIG. 8, the control unit 30 excludes the bone by adjusting the window width and center in the dicom file and converting it into a value that can best find the bone. The control unit 30 detects an area that can distinguish different organ areas by using a point in the CT image having a high probability of not being liver and having a large difference in pixel values. However, since most of the pixel values between other organizations are similar, the controller 30 may exclude only some areas as shown in FIG. 9. The controller 30 detects only the torso of the CT image, calculates the thickness using the characteristics of the bone, applies the calculated thickness to the whole to detect the edge, and excludes the detected edge. At this time, the control unit 30 adjusts and uses the thickness by using a constant value, and calculates and stores the thickness for each slide by using points having different characteristics for each person. Here, the control unit 30 may perform a process of excluding the bone region, other organ regions, and edge regions after converting the dicom file in a state in which the liver region is clearly visible. That is, after converting the CT image to a higher saturation and contrast ratio as shown in FIG. 10, the control unit 30 may perform a process of excluding bone regions, other organ regions, and edge regions.

결론적으로 제어부(30)는 다음과 같은 순서로 CT 영상에서 간 영역을 검출한다(도 11 내지 도 13). 제어부(30)는 CT 영상에 대한 Dicom 파일이 입력되면 8비트 흑백 영상으로 변환한다. 이때 제어부(30)는 W300, C40으로 영상처리를 할 수 있으나, 이에 한정하지 않는다. 제어부(30)는 변환된 흑백 영상에 노이즈 제거를 위한 블러링을 수행하고, 문턱값을 적용한다. 여기서 문턱값은 80 내지 245일 수 있다. 제어부(30)는 얇은 두께로 연결된 부분을 분리하고, 작은 크기의 컨투어 및 간 영역 비후보 영역을 제거한다. 이를 통해 제어부(30)는 윤곽선을 검출하고, 모폴로지 연산 및 얇은 두께의 연결을 분리한다. 여기서 윤곽선은 다른 기관과의 분리에 중요한 역할을 수행하며 간 이외의 가장자리가 간과 붙어 있어 잘못 검출하는 현상을 미연에 방지하는 효과가 있다. 제어부(30)는 작은 크기의 컨투어 및 간 영역 비후보 영역을 추가적으로 제거한다. 제어부(30)는 적응적 모폴로지 알고리즘(Edge-Based Adaptive Morphology Algorithm)을 수행하고, 수행된 결과를 저장하는 동시에 최종 컨투어의 넓이를 산출한다. In conclusion, the controller 30 detects the liver region in the CT image in the following order (FIGS. 11 to 13). When a Dicom file for a CT image is input, the control unit 30 converts it into an 8-bit monochrome image. In this case, the controller 30 may perform image processing using W300 and C40, but is not limited thereto. The controller 30 performs blurring for noise removal on the converted black and white image and applies a threshold value. Here, the threshold value may be 80 to 245. The control unit 30 separates the connected portion with a thin thickness, and removes a small-sized contour and an inter-area non-candidate area. Through this, the control unit 30 detects the outline, calculates the morphology and separates the connection of the thin thickness. Here, the outline plays an important role in separation from other organs, and has the effect of preventing erroneous detection because edges other than the liver are attached to the liver. The control unit 30 additionally removes the small-sized contour and inter-area non-candidate areas. The controller 30 performs an Edge-Based Adaptive Morphology Algorithm, stores the executed result, and calculates the width of the final contour.

제어부(30)는 복수의 CT 영상에서 검출된 간 영역을 이용하여 간 영역 중간 슬라이드 및 간 영역 마지막 슬라이드를 검출한다(도 14 및 도 15). 제어부(30)는 복수의 CT 영상 중 검출된 간 영역의 넓이가 가장 큰 슬라이드를 간 영역 중간 슬라이드로 검출하고, 영상 순서상 이전 슬라이드의 간 영역과 겹치는 부분이 기 설정된 기준보다 낮으면 간 영역 마지막 슬라이드로 검출한다. 기 설정된 기준은 20% 내지 40%일 수 있고, 바람직하게는 30%일 수 있다. 여기서 간 영역 중간 슬라이드는 적응적인 모폴로지 연산 시 적용 가능하다. 즉 간 영역 중간 슬라이드는 간의 모양이 점점 커지다가 다시 점점 작아지는 형태라는 가정하에 가장 커지는 영역을 알고 있다면 다음 슬라이드의 크기를 대략적으로 예측할 수 있는 기준이 된다. 간 영역 마지막 슬라이드는 연산량을 줄이는데 적용된다.The control unit 30 detects the middle slide of the liver region and the last slide of the liver region by using the liver region detected from a plurality of CT images (FIGS. 14 and 15 ). The control unit 30 detects the slide with the largest liver area of the plurality of CT images as the intermediate slide of the liver area, and if the portion overlapping with the liver area of the previous slide in the image sequence is lower than a preset reference, the last of the liver area is It is detected with a slide. The preset criterion may be 20% to 40%, preferably 30%. Here, the intermediate slide of the inter-region can be applied when calculating the adaptive morphology. In other words, assuming that the shape of the liver gradually increases and then becomes smaller again, the slide in the middle of the liver region becomes a standard for approximate prediction of the size of the next slide if the largest region is known. The last slide in the liver area is applied to reduce the amount of computation.

한편 제어부(30)는 적응적인 모폴로지를 수행하여 다음 슬라이드의 상한을 미리 설정하여 크기 제한 마스크보다 더 크다면 강제적으로 줄일 수 있다(도 16). 즉 제어부(30)는 간 영역의 검출에서 정확한 간을 찾지 못한 경우, 간 영역이 갑자기 커지거나 작아지는 상태가 발생되는 현상에 제약을 줄 수 있다.Meanwhile, the controller 30 may perform an adaptive morphology to set the upper limit of the next slide in advance, so that if it is larger than the size limit mask, it may be forcibly reduced (FIG. 16). That is, when an accurate liver is not found in the detection of the liver region, the controller 30 may limit a phenomenon in which a state in which the liver region suddenly increases or decreases occurs.

제어부(30)는 간 영역을 검출하다가 암 영역과 같은 영역으로 인해 특정 슬라이드에서만 간 영역이 제외되는 현상을 방지하기 위한 슬라이드간 보간을 수행한다(도 17). 즉 제어부(30)는 현재 슬라이드에서의 컨투어를 기준으로 이전, 이후 검출된 결과와 비교하여 동일 좌표에서 모두 간 영역이었는데 현재 간 영역이 아닌 경우 이전 및 이후 영상으로 보간하여 채우는 과정을 수행한다.The controller 30 performs interslide interpolation to prevent a phenomenon in which the liver region is excluded from only a specific slide due to the region such as a dark region while detecting the liver region (FIG. 17). That is, the control unit 30 compares the result of detection before and after the contour of the current slide, and performs a process of interpolating and filling with the previous and subsequent images when all of the regions were interpolated at the same coordinates, but not the current inter-region.

또한 제어부(30)는 Dicom 파일에서 window width, center를 조정하여 간 영역 검출을 위한 정보를 더 검출되도록 제어할 수 있다. 이때 제어부(30)는 총 3가지의 조정 이미지를 사용할 수 있으며, 고대비 영상(W99_C112), 고포화 영상(W60_C78) 및 둘 사이 중간정도의 영상(W69_C105)일 수 있다(도 18). 제어부(30)는 상술된 3가지 영상을 이용하여 각각의 영상에 대한 평균 영상을 생성하고(도 19), 후처리를 수행하여 3차 보정 영상을 생성할 수 있다. 3차 보정 영상은 간 영역에서 명확한 값을 가지고, 고대비 영상 및 고포화 영상을 이용하였기 때문에 대비비가 높아 다른 기관과의 분리에 또 다른 정보로 사용될 수 있다. 특히 간 영역 가장자리에 분할이 정확하게 이루어지지 않아 다른 영역이 일부 붙어 있는 경우(도 20), 제어부(30)는 기존에 사용하던 마스크보다 큰 크기로 영상을 마스킹한 후, 가로, 세로에 대해서 제거 가능한 영역인지 판단하고, 제거 가능한 영역이면 제거를 한다. 이때 제어부(30)는 간 이외의 영역 중 검정색 부분이고, 내부 밝기가 어두운 경우 제거 가능한 영역으로 판단한다. 예를 들어 제어부(30)는 도 20의 오른쪽 그림과 같이 길게 뻗어 나왔던 간 이외의 영역 일부를 잘라 제거할 수 있다. 이 때 제어부(30)는 가로, 세로 이외에 대각선 형태의 모양에 대해서도 제거할 수 있다(도 21). 즉 제어부(30)는 대각선 영역에서 픽셀 값이 존재하는 부분의 밝기 평균 및 픽셀 개수를 카운트하고 기 설정된 조건을 만족하면 대각선 영역을 0으로 강제 할당하여 분리한 다음 해당 영역을 제거한다. 여기서 기 설정된 조건은 가로, 세로와 유사하게 대각선 양 끝 부분이 검정색일 수 있다.In addition, the controller 30 may control information for detecting a liver region to be further detected by adjusting the window width and center in the Dicom file. At this time, the control unit 30 may use a total of three adjustment images, and may be a high-contrast image W99_C112, a high saturation image W60_C78, and an intermediate image W69_C105 between the two (FIG. 18). The controller 30 may generate an average image for each image using the three images described above (FIG. 19), and perform post-processing to generate a third-order correction image. Since the third-order corrected image has a clear value in the liver region and uses a high-contrast image and a high-saturation image, the contrast ratio is high and can be used as another information for separation from other organs. Particularly, when a part of the other area is attached to the edge of the liver area because the division is not accurately performed (FIG. 20), the control unit 30 masks the image in a larger size than the existing mask, and then removes the horizontal and vertical areas. Determine if it is a region, and if it is a removable region, remove it. At this time, the control unit 30 determines that the area is a black area other than the liver and is a removable area when the internal brightness is dark. For example, the control unit 30 may cut and remove a part of the area other than the liver that has been extended as shown in the right figure of FIG. 20. At this time, the control unit 30 may also remove a diagonal shape other than the horizontal and vertical shapes (FIG. 21). That is, the controller 30 counts the average brightness and the number of pixels of a portion in which a pixel value exists in the diagonal area, and when a preset condition is satisfied, the diagonal area is forcibly allocated to 0 and separated, and then the corresponding area is removed. Here, the preset condition may be black at both ends of the diagonal line similar to the horizontal and vertical.

또한 제어부(30)는 간 영역이 아닌 몸통부분의 가장자리 영역이 간 영역으로 오검출되는 현상을 방지한다. 여기서 오검출되는 현상은 바깥쪽으로 볼록하게 나와 있는 형태와 안쪽으로 오목하게 들어가는 형태일 수 있다(도 22). 제어부(30)는 오검출되는 현상을 검출된 컨투어의 모양을 전반적으로 분석하여 해결한다. 즉 제어부(30)는 CT 영상에서의 최외곽 영여과 간의 컨투어 영역에 대한 거리를 우선 산출한다(도 23). 이때 가장 이상적인 상태는 해당하는 거리가 일정하게 나오는 것이고, 볼록한 형태가 나온 경우에는 오검출된 영역의 거리만 짧게 나오며, 오목한 형태가 나온 경우에는 오검출된 영역의 거리만 길게 나온다. 제어부(30)는 거리를 산출하기 위해 우선 중심점을 설정한다. 제어부(30)는 사람의 몸이 원이나 타원과 같은 형태인 것을 기초로 특정 중심점을 이용하여 검출된 간 영역의 모든 컨투어를 연결하고, 거리 산출을 하기 위한 한 점을 결정한다. 제어부(30)는 나머지 한 점을 해당 선분이 연장되었을 때 최외곽 가장자리와 만나는 좌표를 산출하여 결정한다. 이를 통해 제어부(30)는 두 점간의 거리에 대한 그래프를 생성할 수 있다. In addition, the control unit 30 prevents a phenomenon in which the edge region of the body portion other than the liver region is erroneously detected as the liver region. Here, the erroneous detection phenomenon may be a form protruding outward and a form entering concave inward (FIG. 22). The controller 30 solves the erroneous detection phenomenon by analyzing the shape of the detected contour. That is, the control unit 30 first calculates the distance to the contour region between the outermost zones in the CT image (FIG. 23). At this time, the most ideal state is that the corresponding distance is constant, and when a convex shape is found, only the distance of the erroneously detected area comes out short, and when a concave shape appears, only the distance of the erroneously detected area comes out. The control unit 30 first sets a center point in order to calculate the distance. The control unit 30 connects all the contours of the detected liver region using a specific center point based on that the human body has a shape such as a circle or an ellipse, and determines one point for calculating the distance. The control unit 30 determines the remaining point by calculating a coordinate that meets the outermost edge when the corresponding line segment is extended. Through this, the controller 30 may generate a graph for the distance between two points.

제어부(30)는 거리 산출을 완료하면 외곽영역이 볼록하게 나온 형태와 오목하게 나온 형태를 구분하여 오검출을 수정할 수 있다. 외곽영역이 볼록하게 나온 형태인 경우(도 24), 제어부(30)는 문제 영역을 검출하고, 검출된 좌표를 제거하여 정상적인 간 영역 검출한다. 이때 가장 이상적인 그래프는 일정한 값으로 그래프가 그려지다가 튀어나오는 부분에서 거리가 작아지는 것으로써, 작아진 부분은 제거 대상 영역에 해당된다. 또한 제거 대상의 오검출 모양은 약간 뽀족하게 튀어나는 형태(도 24의 상부)와 튀어나온 부분이 연속되다 줄어드는 형태(도 24의 하부)일 수 있다. 오검출 모양이 약간 뽀족하게 튀어나는 형태인 경우, 제어부(30)는 평균 필터를 적용하여 노이즈 성분을 제거하고, 이전까지 평균값 변화가 없다가 급격히 줄어드는 지점과 급격히 증가하다 평균값 변화가 적은 지점이 각각 존재하면 두 지점 사이를 모두 제거한다. 튀어나온 부분이 연속되다 줄어드는 형태인 경우, 제어부(30)는 4가지 지점을 산출하여 처음과 끝의 영역에 해당하는 좌표를 제거한다. 외곽영역이 오목하게 나온 형태인 경우(도 25), 제어부(30)는 외곽영역이 볼록하게 나온 형태인 경우와 동일하거나 유사한 방법으로 해당 부분을 제거할 수 있다. When the distance calculation is completed, the controller 30 may correct the erroneous detection by dividing a convex shape and a concave shape of the outer area. When the outer region has a convex shape (FIG. 24), the control unit 30 detects a problem region, removes the detected coordinates, and detects a normal liver region. In this case, the most ideal graph is that the graph is drawn with a constant value and the distance from the protruding portion decreases, and the smaller portion corresponds to the area to be removed. In addition, the shape of the erroneous detection of the object to be removed may be a shape that protrudes slightly (upper part in FIG. 24) and a shape in which the protruding portion decreases continuously (lower part in FIG. 24). If the shape of the erroneous detection has a slightly protruding shape, the control unit 30 applies an average filter to remove the noise component, and the point where there is no change in the average value before and then decreases rapidly and the point where the average value change is small, respectively. If present, remove both points between them. In the case where the protruding portion is continuous and then reduced, the controller 30 calculates four points and removes coordinates corresponding to the first and last regions. When the outer area has a concave shape (FIG. 25), the control unit 30 may remove the corresponding portion in the same or similar manner as that when the outer area has a convex shape.

제어부(30)는 상술된 분석과정을 수행한 후, 2차원 CT 영상의 간 영역을 3차원 간 형태로 모델링을 한다(도 26 및 도 27). 제어부(30)는 간의 경계를 CT 영상의 시리즈 내 영상 순서대로 배열하고, 매쉬(mesh) 처리하여 3차원 형태로 구성한다. 즉 제어부(30)는 CT 영상의 시리즈 내 간의 경계를 영상 순서대로 배열하고, 간의 경계 중 하나의 포인트와 인접한 다른 포인트를 연결하여 선을 생성하며, 생성된 선을 반복 생성하여 면을 생성하는 매쉬 처리를 수행한다. 이때 제어부(30)는 시리즈 내 한 영상과 다음 영상의 간격이 너무 크면 보간을 통해 중간에 가상의 경계 데이터를 생성할 수 있다. After performing the above-described analysis process, the controller 30 models the liver region of the 2D CT image in the form of a 3D liver (FIGS. 26 and 27 ). The control unit 30 arranges the boundaries of the liver in the order of images within a series of CT images, and processes the mesh to form a three-dimensional shape. That is, the controller 30 arranges the borders between the CT images in the series in the image order, creates a line by connecting one point of the boundary between one point and another adjacent point, and creates a surface by repeatedly generating the generated line. Carry out processing. In this case, if the interval between one image and the next image in the series is too large, the controller 30 may generate virtual boundary data in the middle through interpolation.

제어부(30)는 CT 영상에서 암 영역을 자동으로 검출한다(도 28). 즉 제어부(30)는 CT 영상으로부터 암 영역을 자동으로 검색하고, 암 내부 지점의 픽셀 밝기를 기준으로 유사한 밝기 값을 가지는 영역까지 확장하여 자동으로 암 영역을 검출한다. 또한 제어부(30)는 CT 영상 시리즈에 대하여 영역의 경계를 산출하여 각각에 대한 암 영역의 경계면을 검출한다. 제어부(30)는 CT 영상 시리즈의 각 영상에서 암 영역의 경계면을 연결하여 3차원 암 영역의 형태를 모델링한다(도 29). 이때 제어부(30)는 상술된 간 영역과 동일한 방법으로 3차원 모델링을 할 수 있다. 여기서, 영상 간 간격 정보는 의료 영상 촬영 장비로부터 얻을 수 있다. The control unit 30 automatically detects a dark area in the CT image (FIG. 28). That is, the control unit 30 automatically searches for a dark area from the CT image, extends to an area having a similar brightness value based on the pixel brightness of a point inside the dark, and automatically detects the dark area. In addition, the control unit 30 calculates the boundary of the region for the CT image series and detects the boundary of the dark region for each. The controller 30 models the shape of the 3D cancer region by connecting the boundary surfaces of the dark regions in each image of the CT image series (FIG. 29). In this case, the controller 30 may perform 3D modeling in the same manner as the liver region described above. Here, the interval information between the images may be obtained from the medical imaging equipment.

제어부(30)는 CT 영상에서 혈관을 자동으로 검출한다. 즉 제어부(30)는 CT 영상 내 혈관 내부 지점의 화소 밝기를 기준으로 유사한 밝기 값을 가지는 영역까지 확장하여 자동으로 혈관을 검출한다. 또한 제어부(30)는 CT 영상 시리즈에 대하여 영역의 경계를 산출하여 각각에 대한 혈관의 경계면을 검출한다. 제어부(30)는 CT 영상 시리즈 내 혈관의 경계면을 연결하여 3차원 볼륨 렌더링을 하여 혈관의 형태를 모델링한다(도 30). 이때 제어부(30)는 상술된 간 영역과 동일한 방법으로 3차원 모델링을 할 수 있다. The controller 30 automatically detects blood vessels in the CT image. That is, the control unit 30 automatically detects a blood vessel by expanding to a region having a similar brightness value based on the brightness of a pixel at a point inside the blood vessel in the CT image. In addition, the control unit 30 calculates the boundary of the region for the CT image series and detects the boundary of the blood vessel for each. The controller 30 models the shape of the blood vessel by connecting the boundary surfaces of the blood vessels in the CT image series and performing 3D volume rendering (FIG. 30). In this case, the controller 30 may perform 3D modeling in the same manner as the liver region described above.

제어부(30)는 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링한다(도 31). 제어부(30)는 간 영역, 혈관, 암 영역의 3차원 정보를 렌더링하여 하나의 공간에 표시한다. 이때 제어부(30)는 혈관의 위치를 기준으로 간 분할(liver segmentation)을 하여 간을 8개 부위로 나눈다. 이를 통해 제어부(30)는 해당 결과를 확인하는 전문의가 암 영역이 간 영역 중 어느 부분(segment)에 포함되는지 쉽게 확인할 수 있도록 도와준다. 또한 제어부(30)는 3차원 모델링된 간 전체 영역 중 암 영역이 나머지 영역과 구분되도록 표시를 제어한다. 예를 들어 제어부(30)는 암 영역이 다른 영역과 구별되도록 색, 효과, 경계선 등을 이용하여 표시할 수 있다. The control unit 30 synthesizes the three-dimensional modeled liver region, blood vessel, and cancer region to perform a three-dimensional modeling of the entire liver region (FIG. 31). The controller 30 renders 3D information on a liver region, a blood vessel, and a cancer region and displays them in one space. At this time, the control unit 30 divides the liver into eight regions by performing liver segmentation based on the location of the blood vessel. Through this, the control unit 30 helps a specialist who checks the result to easily check which segment of the liver region contains the cancer region. In addition, the control unit 30 controls the display so that the dark area is distinguished from the rest of the entire 3D modeled liver area. For example, the controller 30 may display a dark area using a color, an effect, a boundary line, etc. so that the dark area is distinguished from other areas.

도 32는 본 발명의 실시예에 따른 수술 보조 방법을 설명하기 위한 순서도이다.32 is a flow chart for explaining a surgical assistance method according to an embodiment of the present invention.

도 1 및 도 32를 참조하면, 수술 보조 방법은 CT 영상을 기초로 3차원 모델링된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링하고, 3차원 모델링된 간, 혈관, 암 영역을 합성하여 하나의 간 전체 영역에 대한 3차원 모델링 영상을 생성함으로써, 전문의가 간암에 대해서 빠르면서도 객관적이고 정확한 판단을 할 수 있도록 도와줄 수 있다. 수술 보조 방법은 CT 영상 내 간암 영역을 3차원 분석하여 간암 영역을 제거하는 수술을 가이드하고, 수술 완료 후 환자의 진행상태를 예측하여 전문의가 최상의 수술을 수행하도록 도와줄 수 있다.Referring to FIGS. 1 and 32, in the surgical assistance method, a three-dimensional modeling of a liver region, a blood vessel, and a cancer region three-dimensionally modeled based on a CT image, and synthesizing the three-dimensional modeled liver, blood vessel, and cancer regions, By creating a 3D modeling image of the entire liver area, it is possible to help a specialist to make a quick, objective and accurate judgment on liver cancer. The surgical assistance method guides the surgery to remove the liver cancer area by analyzing the liver cancer area in the CT image in 3D, and predicts the patient's progress after the operation is completed, thereby helping a specialist to perform the best operation.

S110단계에서, 수술 보조 장치(100)는 CT 영상을 입력받는다. 수술 보조 장치(100)는 복수의 CT 영상을 입력받는다. 여기서 CT 영상은 CT로 촬영된 의료 영상으로써, 간 영역 및 간 영역 내 암 영역이 포함된 영상일 수 있다.In step S110, the surgical assistance device 100 receives a CT image. The surgical assistance device 100 receives a plurality of CT images. Here, the CT image is a medical image taken by CT, and may be an image including a liver region and a cancer region within the liver region.

S120단계에서, 수술 보조 장치(100)는 간 영역, 간 영역 내 혈관 및 간 영역 내 암 영역을 검출한다. 수술 보조 장치(100)는 문턱값을 이용하여 CT 영상에 포함된 간 이외의 영상을 필터링하고, 기 설정된 두께로 연결된 연결 부위를 분리한 후 에지 부분을 추가 분리하여 간 영역을 검출한다. 수술 보조 장치(100)는 픽셀 밝기를 이용하여 혈관 및 암 영역을 자동으로 검출한다.In step S120, the surgical assistance device 100 detects a liver region, a blood vessel within the liver region, and a cancer region within the liver region. The surgical assistance device 100 filters an image other than the liver included in the CT image using a threshold value, separates a connection portion connected to a predetermined thickness, and further separates an edge portion to detect a liver region. The surgical assistance device 100 automatically detects blood vessels and cancer regions using pixel brightness.

S130단계에서, 수술 보조 장치(100)는 간 영역, 혈관, 암 영역에 대한 3차원 모델링을 수행한다. 수술 보조 장치(100)는 CT 영상의 시리즈 내 간의 경계를 영상 순서대로 배열한다. 이때 수술 보조 장치(100)는 간 영역, 혈관, 암 영역에 대해 각각 CT 영상의 시리즈를 배열할 수 있다. 수술 보조 장치(100)는 각 기관의 경계 중 하나의 포인트와 인접한 다른 포인트를 연결하여 선을 생성하고, 생성된 선을 반복 생성하여 면을 생성하는 매쉬 처리를 수행하여 3차원 모델링을 수행한다.In step S130, the surgical assistance device 100 performs 3D modeling of a liver region, a blood vessel, and a cancer region. The surgical assistance device 100 arranges boundaries between the CT images in the series in the image order. At this time, the surgical assistance device 100 may arrange a series of CT images for each of a liver region, a blood vessel, and a cancer region. The surgical assistance device 100 generates a line by connecting one point of the boundary of each organ and another point adjacent to each other, and performs a mesh process of generating a surface by repeatedly generating the generated line to perform 3D modeling.

S140단계에서, 수술 보조 장치(100)는 간 전체 영역에 대한 3차원 모델링을 수행한다. 수술 보조 장치(100)는 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링한다. 이때 수술 보조 장치(100)는 혈관의 위치를 기준으로 간 분할을 할 수 있으며, 이를 통해 전문의가 암 영역이 간 영역 중 어느 부분에 포함되는지 쉽게 확인할 수 있도록 도와준다. 또한 수술 보조 장치(100)는 3차원 모델링된 간 전체 영역 중 암 영역이 나머지 영역과 구분되도록 표시를 한다. In step S140, the surgical assistance device 100 performs 3D modeling of the entire liver area. The surgical assistance device 100 synthesizes the three-dimensional modeled liver region, blood vessel, and cancer region to perform a three-dimensional modeling of the entire liver region. At this time, the surgical assistance device 100 may divide the liver based on the location of the blood vessel, and thereby help the specialist to easily check which part of the liver region the cancer region is included in. In addition, the surgical assistance device 100 displays the cancer region to be distinguished from the rest of the three-dimensional modeled liver regions.

S150단계에서, 수술 보조 장치(100)는 수술 치료 모델을 생성한다. 수술 보조 장치(100)는 3차원 모델링된 간 전체 영역을 이용하여 암 영역을 제거 수술에 대한 수술 치료 모델을 생성한다. 여기서 수술 치료 모델은 암 영역을 제거하는 수술이 어떤 과정으로 진행되는 것이 가장 바람직한지를 가이드하는 모델일 수 있다. In step S150, the surgical assistance device 100 generates a surgical treatment model. The surgical assistance device 100 generates a surgical treatment model for a surgery to remove a cancer area by using the entire 3D modeled liver area. Here, the surgical treatment model may be a model that guides the most desirable procedure for removing the cancer area.

S160단계에서, 수술 보조 장치(100)는 수술 후 진행 상태를 예측한다. 수술 보조 장치(100)는 기 저장된 암 영역 제거 수술에 대한 정보 중 수술에서 사용된 절개 방향과 유사성이 있는 정보를 이용하여 환자의 진행상태를 예측한다. In step S160, the surgical assistance device 100 predicts the state of progress after the surgery. The surgical assistance device 100 predicts the patient's progress by using information similar to the incision direction used in the surgery among previously stored information on the surgery to remove the cancer area.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 하드디스크, ROM, RAM, CD-ROM, 하드 디스크, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. The present invention can also be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices that store data that can be read by a computer device. Examples of computer-readable recording media include hard disks, ROMs, RAM, CD-ROMs, hard disks, magnetic tapes, floppy disks, optical data storage devices, etc., and carrier waves (for example, transmission through the Internet). It includes those implemented in the form of.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific preferred embodiments described above, and without departing from the gist of the present invention claimed in the claims, in the technical field to which the present invention pertains. Anyone of ordinary skill in the art can implement various modifications, as well as such modifications will be within the scope of the claims.

10: 입력부
30: 제어부
50: 출력부
70: 저장부
100: 수술 보조 장치10: input
30: control unit
50: output
70: storage
100: surgical aid

Claims (15)

복수의 CT 영상을 입력받는 입력부; 및
상기 입력된 복수의 CT 영상을 기초로 간 영역, 간 영역 내 혈관 및 간 영역 내 암 영역을 각각 검출하고, 상기 검출된 간 영역, 혈관 및 암 영역에 대한 3차원 모델링을 각각 수행하며, 상기 3차원 모델링된 간 영역, 혈관 및 암 영역을 합성하여 간 전체 영역에 대한 3차원 모델링을 수행하는 제어부;를 포함하며,
상기 제어부는,
문턱값을 이용하여 상기 CT 영상에 포함된 간 이외의 영상을 필터링하고, 기 설정된 두께로 연결된 연결 부위를 분리한 후 에지 부분을 추가 분리하여 간 영역을 검출하되,
상기 간 영역을 검출하기 위한 간 영역 시작 슬라이드를 검출할 때, 상기 복수의 CT 영상 중 상기 간 영역이 격리된 형태로 시작하는 슬라이드를 간 영역 시작 슬라이드로 검출하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치.An input unit receiving a plurality of CT images; And
A liver region, a blood vessel within the liver region, and a cancer region within the liver region are respectively detected based on the input plurality of CT images, and 3D modeling is performed on the detected liver region, blood vessel, and cancer region, respectively, and the 3 Includes; a control unit for synthesizing the dimensional modeled liver region, blood vessel, and cancer region to perform 3D modeling of the entire liver region
The control unit,
Filtering images other than the liver included in the CT image using a threshold value, separating the connection portion connected with a preset thickness, and detecting the liver area by further separating the edge portion,
A liver cancer region in a CT image, characterized in that when detecting a liver region start slide for detecting the liver region, a slide in which the liver region starts in an isolated form among the plurality of CT images is detected as a liver region start slide. Based on 3D analysis, a surgical aid device. 삭제delete 삭제delete 제 1항에 있어서,
상기 제어부는,
상기 격리된 형태로 시작하는 경우, 문턱값을 적용하여 모든 컨투어(contour)를 검출하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치.The method of claim 1,
The control unit,
When starting in the isolated form, a 3D analysis is performed based on a liver cancer region in a CT image, characterized in that for detecting all contours by applying a threshold value. 제 4항에 있어서,
상기 제어부는,
상기 컨투어의 관계에서 현재 컨투어를 포함하는 컨투어인 부모 컨투어가 존재하면 상기 부모 컨투어 중 가장 큰 컨투어를 간 시작 영역으로 검출하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치.The method of claim 4,
The control unit,
In the relation of the contour, if a parent contour, which is a contour including the current contour, exists, the largest contour among the parent contours is detected as a liver start region. . 제 1항에 있어서,
상기 제어부는,
상기 간 영역 시작 슬라이드가 미검출되면 상기 간 영역이 다른 기관과 붙은 형태인 경우로 판단하여 상기 복수의 CT 영상 중 간 영역이 포함된 컨투어 영역의 넓이를 각각 산출하고, 산출된 넓이의 변화를 이용하여 기 설정된 크기 이상으로 컨투어 영역이 줄어들면서 영상 순서가 가장 빠른 슬라이드를 간 영역 시작 슬라이드로 검출하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치.The method of claim 1,
The control unit,
If the liver region start slide is not detected, it is determined that the liver region is attached to another organ, and the widths of the contour regions including the liver regions among the plurality of CT images are calculated, respectively, and the calculated width change is used. Thus, a 3D analysis based on a liver cancer area in a CT image, characterized in that the slide with the fastest image order is detected as the liver area start slide while the contour area is reduced beyond a preset size. 제 1항에 있어서,
상기 제어부는,
상기 CT 영상에서 뼈 영역, 다른 기관 영역 및 가장자리 영역을 검출하고, 상기 검출된 영역을 제외하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치.The method of claim 1,
The control unit,
A surgical assistance apparatus for performing a three-dimensional analysis based on a liver cancer region in a CT image, characterized in that the detection of a bone region, another organ region, and an edge region from the CT image, and excluding the detected region. 제 1항에 있어서,
상기 제어부는,
상기 복수의 CT 영상 중 검출된 간 영역의 넓이가 가장 큰 슬라이드를 간 영역 중간 슬라이드로 검출하고, 영상 순서상 이전 슬라이드의 간 영역과 겹치는 부분이 기 설정된 기준보다 낮으면 간 영역 마지막 슬라이드로 검출하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치.The method of claim 1,
The control unit,
Among the plurality of CT images, the slide with the largest detected liver area is detected as the intermediate slide of the liver area, and if the portion overlapping the liver area of the previous slide in the image order is lower than a preset reference, the slide of the liver area is detected as the last slide. Surgical auxiliary device for performing a three-dimensional analysis based on the liver cancer region in the CT image, characterized in that. 제 1항에 있어서,
상기 제어부는,
상기 복수의 CT 영상을 영상 순서대로 배열하고, 상기 검출된 간 영역을 이용하여 간의 경계 중 하나의 포인트와 인접한 다른 포인트를 연결하며 선을 생성하고, 상기 생성된 선을 반복 생성하여 면을 생성하는 매쉬(mesh) 처리를 수행하여 3차원 모델링을 하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치.The method of claim 1,
The control unit,
Arranging the plurality of CT images in image order, connecting one point of the liver boundary to another point adjacent to another point using the detected liver region to generate a line, and generating a surface by repeatedly generating the generated line. A surgical auxiliary device for performing a three-dimensional analysis based on a liver cancer region in a CT image, characterized in that three-dimensional modeling is performed by performing mesh processing. 제 1항에 있어서,
상기 제어부는,
상기 혈관의 위치를 기준으로 간 분할이 되도록 상기 간 전체 영역에 대한 3차원 모델링을 하고, 상기 3차원 모델링된 간 전체 영역 중 암 영역이 나머지 영역과 구분되도록 표시를 제어하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치.The method of claim 1,
The control unit,
A CT image, characterized in that 3D modeling is performed on the entire liver area so that the liver is divided based on the location of the blood vessel, and the display is controlled so that the cancer area is distinguished from the rest of the 3D modeled liver area. Surgical auxiliary device that performs three-dimensional analysis based on my liver cancer area. 제 1항에 있어서,
상기 제어부는,
상기 3차원 모델링된 간 전체 영역을 이용하여 암 영역을 제거 수술에 대한 수술 치료 모델을 생성하고, 상기 생성된 수술 치료 모델을 이용하여 수술 완료 후 환자의 진행상태를 예측하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치.The method of claim 1,
The control unit,
A CT image, characterized in that a surgical treatment model for a surgery to remove a cancer region is generated using the three-dimensional modeled entire liver region, and a patient's progression state after surgery is completed using the generated surgical treatment model Surgical auxiliary device that performs three-dimensional analysis based on my liver cancer area. 제 11항에 있어서,
상기 제어부는,
기 저장된 암 영역 제거 수술에 대한 정보 중 상기 암 영역의 위치와 유사성이 있는 정보를 이용하여 상기 암 영역의 제거 수술에 대한 진행순서 및 절개 방향을 가이드하는 수술 치료 모델을 생성하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치.The method of claim 11,
The control unit,
CT characterized in that generating a surgical treatment model that guides the procedure and incision direction for the removal surgery of the cancer area by using information similar to the location of the cancer area among previously stored information on the cancer area removal surgery Surgical auxiliary device that performs 3D analysis based on the liver cancer area in the image. 제 12항에 있어서,
상기 제어부는,
기 저장된 암 영역 제거 수술에 대한 정보 중 상기 절개 방향과 유사성이 있는 정보를 이용하여 상기 환자의 진행상태를 예측하는 것을 특징으로 하는 CT 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치.The method of claim 12,
The control unit,
A surgical assistance device for performing a three-dimensional analysis based on a liver cancer region in a CT image, characterized in that the patient's progress is predicted by using information similar to the incision direction among previously stored information on a cancer region removal surgery. 삭제delete 삭제delete
KR1020180128373A 2018-10-25 2018-10-25 Surgical assist device and method for 3D analysis based on liver cancer area in CT image KR102182357B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180128373A KR102182357B1 (en) 2018-10-25 2018-10-25 Surgical assist device and method for 3D analysis based on liver cancer area in CT image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180128373A KR102182357B1 (en) 2018-10-25 2018-10-25 Surgical assist device and method for 3D analysis based on liver cancer area in CT image

Publications (2)

Publication Number Publication Date
KR20200046775A KR20200046775A (en) 2020-05-07
KR102182357B1 true KR102182357B1 (en) 2020-11-24

Family

ID=70734158

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180128373A KR102182357B1 (en) 2018-10-25 2018-10-25 Surgical assist device and method for 3D analysis based on liver cancer area in CT image

Country Status (1)

Country Link
KR (1) KR102182357B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023075055A1 (en) * 2021-10-26 2023-05-04 이화여자대학교 산학협력단 Deep learning-based pancreatic cancer vascular invasion classification method and analysis device using endoscopic ultrasound image

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230166339A (en) * 2022-05-30 2023-12-07 (주)휴톰 Method, apparatus, and program for providing patient-specific 3 dimension surgical simulation
KR102505539B1 (en) * 2022-06-21 2023-03-02 가천대학교 산학협력단 Method for providing information on segmentation of liver and device for using the same
KR20240078793A (en) * 2022-11-28 2024-06-04 사회복지법인 삼성생명공익재단 Method for implementing structure of liver as 3d model using ai and apparatus for the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101004342B1 (en) 2007-10-23 2010-12-27 (주)토탈소프트뱅크 Method for detecting liver region and hepatoma in computer tomography images
KR101481796B1 (en) * 2012-03-02 2015-01-14 포항공과대학교 산학협력단 3d virtual liver surgery planning system
AU2014231343B2 (en) * 2013-03-15 2019-01-24 Synaptive Medical Inc. Intramodal synchronization of surgical data
KR101643892B1 (en) * 2015-01-09 2016-07-29 연세대학교 산학협력단 Apparatus and method for generating map for virtual catherter ablation arrhythmas

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023075055A1 (en) * 2021-10-26 2023-05-04 이화여자대학교 산학협력단 Deep learning-based pancreatic cancer vascular invasion classification method and analysis device using endoscopic ultrasound image

Also Published As

Publication number Publication date
KR20200046775A (en) 2020-05-07

Similar Documents

Publication Publication Date Title
KR102182357B1 (en) Surgical assist device and method for 3D analysis based on liver cancer area in CT image
JP5039310B2 (en) Cerebral hemorrhage segmentation device
EP3035287B1 (en) Image processing apparatus, and image processing method
EP3108447B1 (en) Method and system for providing recommendation for optimal execution of surgical procedures
US20200184647A1 (en) Progressive and multi-path holistically nested networks for segmentation
US9119559B2 (en) Method and system of generating a 3D visualization from 2D images
EP3352135B1 (en) Method and apparatus for segmentation of blood vessels
JP6570145B2 (en) Method, program, and method and apparatus for constructing alternative projections for processing images
US11763454B2 (en) Processing a medical image
JP5037705B2 (en) Image processing apparatus and method, and program
MX2014007380A (en) Processing and displaying a breast image.
JP2017164496A (en) Medical image processing apparatus and medical image processing program
JP2015066311A (en) Image processor, image processing method, program for controlling image processor, and recording medium
JP6578058B2 (en) Image processing apparatus, method for operating image processing apparatus, and operation program for image processing apparatus
CN111815766A (en) Processing method and system for reconstructing blood vessel three-dimensional model based on 2D-DSA image
JP7423338B2 (en) Image processing device and image processing method
US8644608B2 (en) Bone imagery segmentation method and apparatus
WO2021032325A1 (en) Updating boundary segmentations
Myint et al. Effective kidney segmentation using gradient based approach in abdominal CT images
CN112862785B (en) CTA image data identification method, device and storage medium
JP2005211439A (en) Abnormal shadow display device and program thereof
US20240354957A1 (en) Image processing device, image processing method, and computer program
CN114820591B (en) Image processing method, image processing apparatus, electronic device, and medium
CN111803111B (en) Brain blood vessel display device and method
Thepade et al. Mammographic Image Enhancement Using a Linear Weighted Fusion of Contrast Improvement Technique and CLAHE

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant