KR20210073033A - 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치 - Google Patents

다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치 Download PDF

Info

Publication number
KR20210073033A
KR20210073033A KR1020190163458A KR20190163458A KR20210073033A KR 20210073033 A KR20210073033 A KR 20210073033A KR 1020190163458 A KR1020190163458 A KR 1020190163458A KR 20190163458 A KR20190163458 A KR 20190163458A KR 20210073033 A KR20210073033 A KR 20210073033A
Authority
KR
South Korea
Prior art keywords
nodule
window
slice
artificial intelligence
segmentation
Prior art date
Application number
KR1020190163458A
Other languages
English (en)
Other versions
KR102322995B1 (ko
Inventor
변시섭
무하마드 우스만
Original Assignee
(주)헬스허브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)헬스허브 filed Critical (주)헬스허브
Priority to KR1020190163458A priority Critical patent/KR102322995B1/ko
Publication of KR20210073033A publication Critical patent/KR20210073033A/ko
Application granted granted Critical
Publication of KR102322995B1 publication Critical patent/KR102322995B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치에 관한 것으로, 흉부 CT 영상을 포함한 의료영상에서 인공지능을 통해 노듈을 세그먼테이션할 때, 여러 슬라이스가 바뀌는 과정에서 상기 노듈이 초기에 지정한 영역을 벗어나 세그먼테이션을 수행하지 못하는 것을 해결하기 위해서, 윈도우의 위치를 각 슬라이스마다 자동으로 조정하여 상기 노듈이 항상 윈도우의 중앙에 오도록 함으로써, 인공지능 세그먼테이션을 원활하게 수행할 수 있도록 하는 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치에 관한 것이다.

Description

다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치{METHOD FOR ARTIFICIAL INTELLIGENCE NODULE SEGMENTATION BASED ON DYNAMIC WINDOW AND APPARATUS THEREOF}
본 발명은 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 흉부 CT 영상을 포함한 의료영상에서 인공지능을 통해 노듈을 세그먼테이션할 때, 여러 슬라이스가 바뀌는 과정에서 상기 노듈이 초기에 지정한 영역을 벗어나 세그먼테이션을 수행하지 못하는 것을 해결하기 위해서, 윈도우의 위치를 각 슬라이스마다 자동으로 조정하여 상기 노듈이 항상 윈도우의 중앙에 오도록 함으로써, 인공지능 세그먼테이션을 원활하게 수행할 수 있도록 하는 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치에 관한 것이다.
일반적으로 CT(computed tomography)는 암이나 양성 종양 등의 다양한 질환을 검사하는 데 널리 사용되는 중요한 진단 방법이다. 특히 흉부 CT는 폐와 기관지, 흉막, 종격(mediastinum), 폐혈관 등 흉부의 여러 장기와 구조를 관찰할 수 있는 방법이며, 간단하면서도 흉부 질환을 진단하는 데 정확한 결과를 제시하기 때문에 널리 사용되고 있다.
또한 노듈(nodule)은 폐 내부에 생긴 지름 3cm 미만의 작은 구상 병변으로서, 지름 3cm 이상일 때는 결절이 아닌 종양 또는 혹이라고 부른다. 노듈이 나타나는 주원인은 폐암(pulmonary cancer), 폐결핵, 진균감염 등으로 인한 양성 종양(benign tumour), 또는 과거의 병력으로 인한 석회화(calcification) 등 다양하다. 그러나 노듈이 관찰되면 정밀한 검사로 원인을 밝혀내야 하므로 초기 노듈의 진단은 매우 중요하다.
이처럼 흉부 CT 영상을 이용한 노듈을 진단 및 모니터링하기 위해서는, 세그먼테이션 방식을 이용하여 2차원의 흉부 CT 영상에서 폐 영역을 구분한 다음, 폐 영역에서 노듈을 검출하여야 한다.
하지만, 종래의 일반적인 세그먼테이션 방식은, 흉부 CT 영상에서 방사선 전문가가 특정 슬라이스에서 윈도우(예를 들어, 사각형)를 지정하면, 상기 지정한 윈도우 내에서 노듈을 찾아 세그먼테이션하게 된다.
이때 슬라이스가 바뀌면 해당 노듈의 위치도 변하게 되는데, 이처럼 여러 슬라이스가 바뀌는 과정에서 해당 노듈이 초기에 지정한 윈도우의 영역을 벗어나게 되면, 상기 노듈을 정상적으로 세그먼테이션할 수 없는 문제점이 발생한다. 즉 일반적인 세그먼테이션 방식으로는 일정 수준의 정확도를 얻을 수 있지만, 만일 노듈이 대각선 방향으로 위치하여 방사선 전문가가 최초 지정한 윈도우를 벗어나면 노듈의 세그먼테이션 정확도가 크게 낮아지는 문제가 있는 것이다.
이와 같은 문제점을 해결하기 위해서, 본 발명에서는 흉부 CT 영상을 포함한 의료영상에서 방사선 전문가가 지정한 특정 윈도우 내에서 인공지능을 통해 노듈을 세그먼테이션하여 3차원 모델로 생성하여 표시할 수 있는 방안을 제시하고자 한다.
특히, 본 발명은 여러 슬라이스가 바뀌는 과정에서 상기 노듈이 초기에 지정한 영역(즉 관심영역(Region Of Interest))을 벗어나 세그먼테이션을 수행하지 못하는 것을 해결할 수 있도록, 윈도우의 위치를 각 슬라이스마다 자동으로 조정하여 상기 노듈이 항상 윈도우의 중앙에 오도록 함으로써, 인공지능 세그먼테이션을 원활하게 수행할 수 있는 방안을 제시하고자 한다. 즉 본 발명은 현재 슬라이스에서 세그먼테이션된 노듈이 다음 슬라이스에 대한 윈도우의 중앙에 위치하도록 상기 윈도우를 다이나믹하게 조정함으로써, 노듈이 윈도우에서 벗어나지 않도록 하여, 세그먼테이션할 대상인 노듈을 놓치지 않도록 하는 것이다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저 한국공개특허 제2018-0118458호(2018.10.31.)는 영상 분할 방법 및 그 전자 장치에 관한 것으로, 상기 전자 장치는 영상을 디스플레이하는 디스플레이; 상기 디스플레이와 전기적으로 연결되는 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 전기적으로 연결되는 메모리를 포함하되, 상기 메모리는 실행되었을 때, 상기 프로세서가 상기 영상의 일부 영역의 선택 감지에 대응하여, 상기 선택된 일부 영역이 상기 영상의 중심에 위치하도록 영상을 변환하고, 딥 러닝을 이용하여 상기 변환된 영상으로부터 적어도 하나의 특징을 추출하고, 상기 추출된 적어도 하나의 특징 중 적어도 하나의 특징을 강화하고, 상기 강화된 적어도 하나의 특징 중 적어도 하나의 특징을 영상으로 복원하며, 상기 복원된 영상을 역변환하여 분할 영상을 제공하도록 하는 인스트럭션들을 저장하는 것을 기술적 특징으로 한다.
즉, 상기 선행기술은 사용자가 지정한 지점을 기반으로 영상의 일부 영역을 강화(영상 강화 및/또는 특징 강화)하여 영상 분할을 수행함에 따라 영상 분할의 정확도를 향상시킬 수 있는 방법에 대해 기재하고 있다. 그러나 상기 선행기술은 전체 슬라이스에 대해 관심 세그먼트를 왜곡을 통해 확대하여 인공지능을 적용하지만, 본 발명은 지정한 특정 윈도우만을 인공지능에 적용하므로, 구성상 차이점이 분명하다.
또한 한국등록특허 제1185727호(2012.09.25.)는 의료영상에서의 세그먼테이션 방법 및 그 장치에 관한 것으로, 화면에 표시된 슬라이스(slice) 의료영상에서 사용자 입력에 따른 포인터의 위치 정보를 추출하는 단계; 상기 추출된 상기 포인터의 위치 정보와 관련된 상기 슬라이스 의료영상의 정보에 기초하여 상기 포인터의 위치를 포함하는 세그먼테이션(segmentation) 영역을 결정하는 단계; 상기 결정된 상기 세그먼테이션 영역을 상기 슬라이스 의료영상에 미리 표시하는 단계; 및 상기 미리 표시된 상기 세그먼테이션 영역이 사용자에 의해 선택되면 상기 선택된 상기 세그먼테이션 영역을 상기 슬라이스 의료영상에 대한 병변 진단 영역으로 선택하는 단계를 포함하는 것을 기술적 특징으로 한다.
즉, 상기 선행기술은 슬라이스 의료영상에서 사용자와의 인터액션을 통하여 최적의 세그먼테이션 시드와 최적의 3차원 세그먼테이션 볼륨을 획득할 수 있고, 이를 통해 3차원 세그먼테이션 볼륨을 획득하기 위한 부하를 줄일 수 있는 방법 및 그 장치를 기재하고 있다. 그러나 상기 선행기술은 2차원의 특정 슬라이스 의료영상에서 사용자가 지정한 곳을 중심으로 2차원 세그먼테이션을 수행하고, 사용자로부터 세그먼테이션 결과를 확정받은 후, 나머지 슬라이스 의료영상에 대해 해당 관심영역을 이용하여 세그먼테이션하는 구성이지만, 본 발명은 사용자(즉 방사선 전문가)가 관심영역을 지정하는 것은 일부 유사하나 사용자 인터랙션을 통해 확정하지 않고 자동으로 해당 슬라이스에서 세그먼테이션을 수행한 후, 그 세그먼테이션의 결과를 이용하여 인접 슬라이스에서 관심영역(즉 윈도우)을 다시 설정하여 세그먼테이션하는 구성이므로 차이점이 분명하다. 또한 상기 선행기술은 주변과의 밝기 차이로 세그먼테이션 바운더리를 결정하지만, 본 발명은 인공지능을 통해 세그먼테이션하기 때문에, 구성상 차이점이 있다.
이상에서 선행기술들을 검토한 결과, 상기 선행기술들은 비록 사용자가 지정한 지점을 기반으로 영상의 일부 영역을 강화하여 영상 분할을 수행하는 구성, 사용자와의 인터액션을 통하여 최적의 세그먼테이션 시드와 최적의 3차원 세그먼테이션 볼륨을 획득하는 구성 등을 제시하고 있지만, 본 발명은 흉부 CT 영상을 포함한 의료영상에서 인공지능을 통해 노듈을 세그먼테이션할 때 방사선 전문가가 지정한 윈도우의 위치를 각 슬라이스마다 자동으로 조정하여 노듈이 항상 윈도우의 중앙에 오도록 함으로써, 노듈의 인공지능 세그먼테이션을 원활하게 수행할 수 있도록 하는 기술적 특징을 제시하는 것으로서, 이와 관련된 구성에 대해서는 상기 선행기술에 아무런 기재나 그 어떠한 암시도 없기 때문에 상기 선행기술과 본 발명은 기술적 차이점이 분명한 것이다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 흉부 CT 영상을 포함한 의료영상에서 방사선 전문가가 지정한 특정 윈도우 내에서 인공지능을 통해 노듈을 세그먼테이션함으로써, 다수의 슬라이스에 걸쳐 분포된 노듈의 인공지능 세그먼테이션이 원활하게 진행되어 정확도가 향상된 노듈의 3차원 모델을 얻을 수 있는 방법 및 그 장치를 제공하는 것을 목적으로 한다.
또한 본 발명은 흉부 CT 영상을 포함한 의료영상에서 인공지능을 통해 노듈을 세그먼테이션할 때, 여러 슬라이스가 바뀌는 과정에서 상기 노듈이 초기에 지정한 영역을 벗어나 정상적인 세그먼테이션이 이루어지지 못하는 것을 해결할 수 있는 방법 및 그 장치를 제공하는 것을 다른 목적으로 한다.
또한 본 발명은 흉부 CT 영상을 포함한 의료영상에서 인공지능을 통해 노듈을 세그먼테이션할 때, 현재 슬라이스에서 세그먼테이션된 노듈이 다음 슬라이스에 대한 윈도우의 중앙에 위치하도록 상기 윈도우를 다이나믹하게 조정함으로써, 노듈이 윈도우에서 벗어나지 않도록 하여, 세그먼테이션할 대상인 노듈을 놓치지 않도록 하는 방법 및 그 장치를 제공하는 것을 또 다른 목적으로 한다.
본 발명의 일 실시예에 따른 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법은, 복수의 슬라이스를 포함하는 의료영상에서 인공지능으로 노듈을 세그먼테이션하는 방법에 있어서, 입력되는 의료영상의 슬라이스에서 윈도우를 설정하는 윈도우 설정 단계; 및 상기 설정한 윈도우에 대해서 학습모델을 적용하여 상기 슬라이스의 윈도우에 존재하는 노듈을 세그먼테이션하는 인공지능 노듈 세그먼테이션 단계;를 포함하며, 현재 슬라이스에서 세그먼테이션된 노듈이 다음 슬라이스에 대한 윈도우의 중앙에 위치하도록 상기 윈도우를 다이나믹하게 조정하는 것을 특징으로 한다.
또한 상기 윈도우를 다이나믹하게 조정하는 것은, 현재 슬라이스에서 노듈을 세그먼테이션한 결과의 중앙값이 다음 슬라이스에서의 윈도우의 중심이 되도록, 상기 윈도우의 위치를 자동으로 조정하는 것이며, 상기 의료영상을 구성하는 각 슬라이스에 대한 노듈 세그먼테이션 전에 수행되는 것을 특징으로 한다.
또한 상기 윈도우를 다이나믹하게 조정하는 것은, 상기 의료영상의 각 슬라이스별로 노듈을 세그먼테이션하는 과정에서, 상기 노듈의 크기에 따라, 상기 윈도우의 크기를 이전 슬라이스에서 노듈을 세그먼테이션할 때 사용한 크기보다 증가시키거나 또는 축소시켜 조정하는 것을 더 포함하는 것을 특징으로 한다.
또한 상기 윈도우는, 상기 슬라이스를 확인한 사용자의 조작을 토대로 적어도 하나 이상 설정될 수 있으며, 상기 슬라이스를 확인한 사용자가 선택한 지점을 중심으로 기 설정된 소정의 크기를 가진 사각형 또는 원형으로 설정되거나, 또는 사용자의 직접 조작에 의한 형상에 따라 설정되는 것을 특징으로 한다.
또한 상기 방법은, 상기 의료영상의 각 슬라이스별로 윈도우를 다이나믹하게 조정하면서 상기 수행한 노듈의 세그먼테이션 결과를 통합하여, 상기 노듈의 3차원 모델을 생성하는 3차원 모델 생성 단계;를 더 포함하는 것을 특징으로 한다.
또한 상기 인공지능 노듈 세그먼테이션 단계는, 상기 슬라이스에 설정된 윈도우를 상기 학습모델의 입력으로 하여 적어도 하나 이상의 특징을 추출하는 특징 추출 단계; 및 상기 추출한 적어도 하나 이상의 특징을 토대로 상기 윈도우에서 특정 오브젝트의 윤곽선을 추출하여 노듈로 확인하는 노듈 확인 단계;를 더 포함하는 것을 특징으로 한다.
아울러, 본 발명의 일 실시예에 따른 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 장치는, 복수의 슬라이스를 포함하는 의료영상에서 인공지능으로 노듈을 세그먼테이션하는 장치에 있어서, 입력되는 의료영상의 슬라이스에서 윈도우를 설정하는 윈도우 설정부; 및 상기 설정한 윈도우에 대해서 학습모델을 적용하여 상기 슬라이스의 윈도우에 존재하는 노듈을 세그먼테이션하는 인공지능 노듈 세그먼테이션부;를 포함하며, 현재 슬라이스에서 세그먼테이션된 노듈이 다음 슬라이스에 대한 윈도우의 중앙에 위치하도록 상기 윈도우를 다이나믹하게 조정하는 것을 특징으로 한다.
또한 상기 윈도우를 다이나믹하게 조정하는 것은, 현재 슬라이스에서 노듈을 세그먼테이션한 결과의 중앙값이 다음 슬라이스에서의 윈도우의 중심이 되도록, 상기 윈도우의 위치를 자동으로 조정하는 것이며, 상기 의료영상을 구성하는 각 슬라이스에 대한 노듈 세그먼테이션 전에 수행되는 것을 특징으로 한다.
또한 상기 윈도우를 다이나믹하게 조정하는 것은, 상기 의료영상의 각 슬라이스별로 노듈을 세그먼테이션하는 과정에서, 상기 노듈의 크기에 따라, 상기 윈도우의 크기를 이전 슬라이스에서 노듈을 세그먼테이션할 때 사용한 크기보다 증가시키거나 또는 축소시켜 조정하는 것을 더 포함하는 것을 특징으로 한다.
또한 상기 윈도우는, 상기 슬라이스를 확인한 사용자의 조작을 토대로 적어도 하나 이상 설정될 수 있으며, 상기 슬라이스를 확인한 사용자가 선택한 지점을 중심으로 기 설정된 소정의 크기를 가진 사각형 또는 원형으로 설정되거나, 또는 사용자의 직접 조작에 의한 형상에 따라 설정되는 것을 특징으로 한다.
또한 상기 장치는, 상기 의료영상의 각 슬라이스별로 윈도우의 위치를 다이나믹하게 조정하면서 수행한 노듈의 세그먼테이션 결과를 통합하여, 상기 노듈의 3차원 모델을 생성하는 3차원 모델 생성부;를 더 포함하는 것을 특징으로 한다.
또한 상기 인공지능 노듈 세그먼테이션부는, 상기 슬라이스에 설정된 윈도우를 상기 학습모델의 입력으로 하여 적어도 하나 이상의 특징을 추출하는 특징 추출부; 및 상기 추출한 적어도 하나 이상의 특징을 토대로 상기 윈도우에서 특정 오브젝트의 윤곽선을 추출하여 노듈로 확인하는 노듈 확인부;를 더 포함하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치에 따르면, 흉부 CT 영상을 포함한 의료영상에서 방사선 전문가가 지정한 특정 윈도우 내에서 인공지능을 통해 노듈을 세그먼테이션할 때, 여러 슬라이스가 바뀌는 과정에서 해당 노듈이 초기에 지정한 영역을 벗어나 노듈을 정상적으로 세그먼테이션하지 못하는 것을 해결할 수 있도록, 자동으로 윈도우의 위치를 각 슬라이스마다 조정하여 상기 노듈이 항상 상기 윈도우의 중앙에 오도록 함으로써, 다수의 슬라이스에 걸쳐 분포된 노듈의 인공지능 세그먼테이션을 원활하게 수행할 수 있으며, 이를 토대로 상기 노듈에 대한 3차원 모델을 정확하게 얻을 수 있는 효과가 있다.
즉 본 발명은 현재 슬라이스에서 세그먼테이션된 노듈이 다음 슬라이스에 대한 윈도우의 중앙에 위치하도록 상기 윈도우를 다이나믹하게 조정함으로써, 노듈이 윈도우에서 벗어나지 않도록 하여, 세그먼테이션할 대상인 노듈을 놓치지 않도록 한다.
도 1은 본 발명의 일 실시예에 따른 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 과정을 설명하기 위한 도면이다.
도 3은 본 발명에 적용되는 인공지능 노듈 세그먼테이션 장치의 구성을 보다 상세하게 나타낸 도면이다.
도 4는 본 발명에 적용되는 의료영상의 특정 슬라이스에서의 윈도우 설정을 설명하기 위한 도면이다.
도 5는 본 발명에 적용되는 각 슬라이스별 윈도우의 조정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법의 동작과정을 상세하게 나타낸 순서도이다.
이하, 첨부한 도면을 참조하여 본 발명의 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.
도 1은 본 발명의 일 실시예에 따른 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 장치의 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명은 인공지능 노듈 세그먼테이션 장치(100), 의료영상 촬영장치(200), 디스플레이 장치(300), 데이터베이스(400) 등을 포함하여 구성된다.
또한 도면에 도시하지는 않았지만, 상기 인공지능 노듈 세그먼테이션 장치(100)에 노듈 세그먼테이션을 수행하기 위한 의료영상을 제공하는 사용자 단말 등을 추가로 포함할 수 있다. 이때 상기 사용자 단말은 의료영상을 보유하고 있는 환자, 보호자 등이 소지하고 있는 스마트폰, 태블릿, 데스크탑 PC 등의 유무선 통신 단말이다.
상기 인공지능 노듈 세그먼테이션 장치(100)는 흉부 CT 영상과 같이 복수의 슬라이스를 포함하는 의료영상에서 인공지능을 사용하여 상기 의료영상에 존재하는 노듈을 세그먼테이션하기 위한 장치이다. 이때 상기 인공지능 노듈 세그먼테이션 장치(100)는 도 1에 나타낸 것처럼 독립적인 장치로 구현될 수 있지만 이에 한정되는 것은 아니며, 그 이외에 상기 의료영상 촬영장치(200)에 내장하여 구현하거나, 혹은 스마트폰 등의 사용자 단말에 애플리케이션 프로그램 형태로 구현하는 등 다양한 방식으로 구성할 수 있다.
상기 인공지능 노듈 세그먼테이션 장치(100)는 상기 의료영상 촬영장치(200)나 데이터베이스(400)로부터 입력되는 의료영상을 확인한 사용자(즉 방사선 전문가)가 어느 하나의 슬라이스 상에서 특정 영역(즉 노듈이 위치한 것으로 판단되는 영역)을 지정하면, 사용자가 지정한 영역을 윈도우로 설정한다. 이때 상기 의료영상 촬영장치(200)로부터 입력되는 의료영상은 실시간으로 촬영한 의료영상이며, 상기 데이터베이스(400)로부터 입력되는 의료영상은 이전에 촬영하여 저장한 의료영상이다.
또한 상기 인공지능 노듈 세그먼테이션 장치(100)는 상기 설정한 윈도우에 대해서 학습모델을 적용하여 상기 윈도우에 존재하는 노듈을 세그먼테이션하며, 상기 의료영상의 모든 슬라이스별로 노듈 세그먼테이션을 수행한다.
즉 상기 인공지능 노듈 세그먼테이션 장치(100)는 전체 의료영상이 아닌, 상기 의료영상의 각 슬라이스별로 관심영역인 특정 윈도우만을 학습모델에 적용함으로써, 노듈 세그먼테이션에 소요되는 시간 및 데이터 처리량을 크게 줄일 수 있도록 하는 것이다.
이때 상기 설정한 윈도우에 대해서 학습모델을 적용하여 노듈을 세그먼테이션하는 과정에서, 상기 인공지능 노듈 세그먼테이션 장치(100)는 여러 슬라이스가 바뀌는 과정에서 상기 노듈이 초기에 지정한 윈도우의 영역을 벗어나 정상적인 세그먼테이션이 이루어지지 못하는 것을 방지할 필요성이 있다.
이와 같이 세그먼테이션할 대상인 노듈이 상기 윈도우에서 벗어나지 않도록 하기 위하여, 상기 인공지능 노듈 세그먼테이션 장치(100)는 현재 슬라이스에서 노듈을 세그먼테이션한 후, 상기 세그먼테이션한 결과를 이용하여 다음 슬라이스에서 윈도우를 다시 설정하여 노듈을 세그먼테이션한다. 즉 현재 슬라이스에서 세그먼테이션된 노듈이 다음 슬라이스에 대한 윈도우의 중앙에 위치하도록 상기 윈도우를 다이나믹하게 조정하는 것이다.
이때 상기 윈도우를 다이나믹하게 조정하는 것은, 본 발명의 특징적 구성 중의 하나로서, 현재 슬라이스에서 노듈을 세그먼테이션한 결과의 중앙값이 다음 슬라이스에서의 윈도우의 중심이 되도록 함으로써, 세그먼테이션할 대상인 노듈을 놓치지 않도록 한다.(도 5 참조)
또한 상기 학습모델은 전처리 과정을 통해 이미지화된 학습데이터가 입력되는 입력 레이어, 컨볼루션(convolution) 레이어, 풀링(pooling) 레이어 및 완전연관(fully connected) 레이어로 구성되는 CNN(convolution neural network)을 사용한다.
한편, 상기 인공지능 노듈 세그먼테이션 장치(100)는 상기 의료영상의 각 슬라이스별로 수행된 노듈 세그먼테이션 결과를 토대로 상기 세그먼테이션된 노듈의 3차원 모델을 생성하고, 상기 생성한 노듈의 3차원 모델을 상기 디스플레이 장치(300)를 통해 표시한다.
상기 의료영상 촬영장치(200)는 복수의 슬라이스를 포함한 흉부 CT 영상 등의 3차원 의료영상을 촬영하는 의료장비로서, 상기 인공지능 노듈 세그먼테이션 장치(100)와 통신 접속되어 있으며, 상기 촬영한 3차원 의료영상을 네트워크를 통해 상기 인공지능 노듈 세그먼테이션 장치(100)로 제공한다.
상기 디스플레이 장치(300)는 LCD, LED 등의 모니터, TV 등으로서, 상기 인공지능 노듈 세그먼테이션 장치(100)에서 수행한 상기 의료영상의 노듈 세그먼테이션에 따른 결과물인 3차원 모델을 화면상에 표시하여 사용자가 확인할 수 있도록 한다.
이때 상기 디스플레이 장치(300)는 독립적으로 구성되거나, 상기 인공지능 노듈 세그먼테이션 장치(100)와 일체형으로 구현될 수 있다.
상기 데이터베이스(400)는 상기 인공지능 노듈 세그먼테이션 장치(100)에서 상기 의료영상 촬영장치(200)로부터 제공받은 의료영상을 저장하여 관리하고, 상기 인공지능 노듈 세그먼테이션 장치(100)의 요청에 따라 저장하여 관리하고 있는 특정 의료영상을 제공한다.
또한 상기 데이터베이스(400)는 상기 인공지능 노듈 세그먼테이션 장치(100)에서 상기 의료영상의 슬라이스에 설정한 윈도우에 대해서 노듈을 세그먼테이션하기 위한 학습모델을 저장하고 있으며, 상기 인공지능 노듈 세그먼테이션 장치(100)에서 수행한 세그먼테이션 결과에 따라 생성한 노듈의 3차원 모델을 저장하여 관리한다.
또한 상기 데이터베이스(400)는 상기 인공지능 노듈 세그먼테이션 장치(100)에서 사용하는 노듈 세그먼테이션을 위한 각종 동작프로그램의 저장과 업데이트 관리를 수행한다.
한편, 본 발명의 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션을 수행하기 위한 과정을 도 2를 참조하여 상세하게 설명하면 다음과 같다.
도 2는 본 발명의 일 실시예에 따른 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 과정을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 상기 인공지능 노듈 세그먼테이션 장치(100)는 노듈 세그먼테이션의 대상이 되는 의료영상을 네트워크를 통해 상기 의료영상 촬영장치(200)로부터 실시간으로 입력받거나(①), 상기 데이터베이스(400)에 저장하여 관리중인 의료영상을 로딩한다(①-1).
또한 상기 인공지능 노듈 세그먼테이션 장치(100)는 상기 의료영상 촬영장치(200)로부터 실시간으로 입력받거나 상기 데이터베이스(400)로부터 로딩한 의료영상의 어느 하나의 슬라이스에서 사용자가 지정한 영역에 대해서 윈도우를 생성한다(②).
이때 상기 윈도우는 상기 의료영상의 어느 하나의 슬라이스를 확인한 사용자의 조작에 따라 최초 1회만 설정되며, 사용자에 의한 마우스나 전자펜 등의 키입력 수단을 통한 조작에 의한 형상에 따라 설정되거나, 혹은 사용자가 선택한 지점을 중심으로 기 설정된 소정의 크기를 가진 사각형 또는 원형으로 설정된다.
또한 상기 윈도우는 본 발명의 설명에서는 상기 의료영상의 슬라이스에서 하나만 선택하는 것을 예로 하여 설명하지만, 노듈로 의심되는 영역이 다수 존재하는 경우 복수 개를 선택할 수 있다.
또한 상기 윈도우는 사용자가 최초 1회 설정한 이후, 각 슬라이스별 노듈 세그먼테이션을 진행하는 과정에서, 노듈의 크기에 따라 소정의 비율로 그 크기를 증가시키거나 축소시키도록 구성할 수 있다.
예를 들어, 최초에 사용자가 지정한 관심영역인 윈도우에서 노듈을 세그먼테이션한 결과, 상기 노듈의 크기가 커서 상기 노듈로부터 윈도우까지 충분한 여유가 없는 경우(즉, 노듈의 윤곽으로부터 윈도우의 경계까지의 간격이 소정의 길이보다 짧은 경우), 다음 슬라이스에서 상기 윈도우의 크기를 늘리거나, 또는 이와 반대로 노듈이 작으면 다음 슬라이스에서 상기 윈도우의 크기를 줄여 노듈의 크기에 따른 윈도우의 크기를 탄력적으로 구성할 수 있도록 하는 것이다. 상기 의료영상의 각 슬라이스 간의 촬영 간격(각, 슬라이스의 두께(thickness)를 의미함)이 소정의 간격에 비해서 길거나 좁을 수 있는데, 만일 각 슬라이스 간의 촬영 간격이 긴 경우에는, 각 슬라이스 간에 노듈의 위치나 크기에 대한 변화가 많이 발생할 수 있으므로, 노듈의 윤곽으로부터 윈도우의 경계 사이의 간격을 일정 범위 이상으로 설정하여 조절하고, 각 슬라이스 간의 촬영 간격이 좁은 경우, 즉 슬라이스 두께가 얇은 경우에는 노듈의 윤곽으로부터 윈도우의 경계 사이의 간격을 일정 범위 이하로 설정하여 조절할 수 있다.
또한 상기 윈도우는 사용자의 조작 없이, 상기 인공지능 노듈 세그먼테이션 장치(100)에서 자동으로 슬라이스 상에서 노듈을 검출한 다음, 검출된 노듈 주변을 설정하는 방식을 적용할 수 있다.
또한 상기 인공지능 노듈 세그먼테이션 장치(100)는 상기 생성한 윈도우에 학습모델을 적용하여 노듈을 세그먼테이션한다(③).
이후 상기 인공지능 노듈 세그먼테이션 장치(100)는 현재 슬라이스에서 세그먼테이션한 결과에 따라 다음 슬라이스에 대한 윈도우의 위치를 조정한다(④). 예를 들어, 현재 슬라이스에서 세그먼테이션된 노듈의 중앙값이 다음 슬라이스에 대한 윈도우의 중심이 되도록 상기 윈도우를 다이나믹하게 조정함으로써, 여러 슬라이스가 바뀌는 과정에서 해당 노듈이 초기에 지정한 윈도우의 영역을 벗어나지 않도록 하는 것이다.
이렇게 상기 윈도우를 다이나믹하게 조정한 다음, 상기 인공지능 노듈 세그먼테이션 장치(100)는 상기 조정한 윈도우에 학습모델을 적용하여 노듈을 세그먼테이션한다(⑤). 이때 상기 ④ 및 ⑤ 과정은 상기 의료영상의 모든 슬라이스별 노듈 세그먼테이션이 종료될 때까지 반복하여 수행한다.
또한 상기 인공지능 노듈 세그먼테이션 장치(100)는 상기 의료영상의 모든 슬라이스별 노듈 세그먼테이션이 종료되면, 다수의 슬라이스에 걸쳐 분포된 노듈의 3차원 모델을 생성하고(⑥), 상기 생성한 노듈에 대한 3차원 모델을 상기 디스플레이 장치(300)로 출력하여 화면상에 표시함으로써, 사용자가 노듈의 형태, 방향, 크기 또는 이들의 조합을 용이하게 확인할 수 있도록 한다(⑦).
또한 상기 인공지능 노듈 세그먼테이션 장치(100)는 상기 생성한 노듈에 대한 3차원 모델을 상기 데이터베이스(400)에 저장하여 관리한다(⑧). 이때 상기 데이터베이스(400)에는 상기 의료영상의 각 슬라이스별 세그먼테이션 결과가 함께 저장될 수 있다.
도 3은 본 발명에 적용되는 인공지능 노듈 세그먼테이션 장치의 구성을 보다 상세하게 나타낸 도면이다.
도 3에 도시된 바와 같이, 상기 인공지능 노듈 세그먼테이션 장치(100)는 의료영상 입력부(110), 설정 조작부(120), 윈도우 설정부(130), 인공지능 노듈 세그먼테이션부(140), 윈도우 조정부(150), 3차원 모델 생성부(160), 통신부(170), 메모리(180) 등을 포함하여 구성된다.
또한 상기 인공지능 노듈 세그먼테이션 장치(100)는 도면에 도시하지는 않았지만, 각 구성 부분에 동작전원을 공급하는 전원부, 각종 동작프로그램의 업데이트를 관리하는 업데이트부, 각 구성 부분의 동작을 총괄적으로 제어하는 제어부 등을 추가로 포함할 수 있다.
상기 의료영상 입력부(110)는 상기 통신부(170)를 통해 상기 의료영상 촬영장치(200)나 데이터베이스(400)로부터 의료영상을 입력받아 상기 인공지능 노듈 세그먼테이션 장치(100)에서 사용하는 파일 형태, 해상도 등으로 조정하는 전처리를 수행하며, 상기 전처리된 세그먼테이션 대상의 의료영상을 상기 인공지능 노듈 세그먼테이션부(140)로 제공한다.
상기 설정 조작부(120)는 세그먼테이션 대상이 되는 의료영상을 확인한 사용자가 어느 하나의 슬라이스에서 노듈을 찾을 소정의 윈도우를 설정하기 위한 입력조작을 처리하는 부분으로서, 마우스, 전자펜, 키보드 등을 통해 입력되는 사용자의 조작신호를 상기 윈도우 설정부(130)로 출력한다.
또한 상기 설정 조작부(120)는 상기 인공지능 노듈 세그먼테이션 장치(100)의 각종 기능 설정을 위한 사용자의 조작신호를 제어부(미도시)로 출력한다.
상기 윈도우 설정부(130)는 상기 의료영상 입력부(110)를 통해 상기 의료영상 촬영장치(200)나 데이터베이스(400)로부터 입력되는 의료영상의 슬라이스에서 윈도우를 설정한다.
상기 윈도우 설정부(130)에서 수행하는 윈도우 설정을 도 4를 참조하여 상세하게 설명하면 다음과 같다.
도 4는 본 발명에 적용되는 의료영상의 특정 슬라이스에서의 윈도우 설정을 설명하기 위한 도면으로서, 상기 윈도우 설정부(130)는 상기 설정 조작부(120)로부터 입력되는 사용자의 조작신호를 토대로 상기 의료영상의 슬라이스에서 사용자가 지정한 영역(즉 노듈이 위치한 것으로 사용자가 판단한 영역)에 대해서 윈도우를 생성하고, 상기 생성한 윈도우에 대한 정보(즉 윈도우 위치나 크기에 대한 정보)를 상기 인공지능 노듈 세그먼테이션부(140)로 제공한다.
이때 상기 윈도우 설정부(130)는 상기 의료영상의 슬라이스를 확인한 사용자가 상기 윈도우를 1회만 설정하도록 하며, 상기 슬라이스 상에서 상기 윈도우를 하나 이상 설정하도록 할 수 있다.
또한 상기 윈도우 설정부(130)는 사용자가 상기 윈도우를 설정할 때, 상기 의료영상의 슬라이스에서 직접적인 키입력 조작을 통해 사각형 등의 형태로 상기 윈도우를 설정하도록 하거나, 또는 사용자가 상기 의료영상의 슬라이스 상에서 선택한 특정 지점으로부터 가로 및 세로 방향으로 일정 구간을 구획하여 상기 윈도우를 설정하도록 한다.
다시 도 3을 참조하면, 상기 인공지능 노듈 세그먼테이션부(140)는 상기 윈도우 설정부(130)를 통해 설정한 상기 윈도우에 대해서 학습모델을 적용하여 상기 슬라이스의 윈도우에 존재하는 노듈을 세그먼테이션하는 부분으로서, 특징 추출부(142), 노듈 확인부(144) 등을 포함하여 구성된다.
상기 특징 추출부(142)는 상기 슬라이스에 설정된 윈도우를 상기 학습모델의 입력으로 하여 적어도 하나 이상의 특징을 추출하고, 상기 추출한 특징을 상기 노듈 확인부(144)로 제공한다.
이때 상기 특징 추출부(142)는 CNN 기반의 상기 학습모델을 통해 상기 윈도우에 컨볼루션 연산을 적용하여 특징 맵을 생성하고, 상기 생성한 특징 맵의 크기를 감소시킨 다음, 상기 감소된 특징 맵에 활성화 함수를 적용하여 상기 적어도 하나 이상의 특징을 추출한다.
상기 노듈 확인부(144)는 상기 특징 추출부(142)에서 추출한 적어도 하나 이상의 특징을 토대로 상기 윈도우에서 특정 오브젝트의 윤곽선을 추출하여 노듈로 확인하고, 상기 확인된 노듈에 대한 정보(즉 세그먼테이션한 결과인 노듈의 위치, 크기 등에 대한 정보)를 상기 3차원 모델 생성부(160)로 출력한다.
이때 상기 인공지능 노듈 세그먼테이션부(140)는 상기 윈도우 조정부(150)에서의 각 슬라이스별 윈도우 조정을 토대로 상기 의료영상의 모든 슬라이스별 처리가 종료될 때까지 노듈 세그먼테이션을 반복하여 수행하며, 각 슬라이스별로 세그먼테이션한 결과를 상기 3차원 모델 생성부(160)로 출력한다.
상기 윈도우 조정부(150)는 현재 슬라이스에서 세그먼테이션된 노듈이 다음 슬라이스에 대한 윈도우의 중앙에 위치하도록 상기 윈도우를 다이나믹하게 조정하는 기능을 수행한다. 즉 상기 윈도우 조정부(150)는 상기 인공지능 노듈 세그먼테이션부(140)에서 수행한 노듈의 세그먼테이션 결과에 따라 다음 슬라이스의 윈도우의 위치를 조정함으로써, 상기 인공지능 노듈 세그먼테이션부(140)에서 상기 의료영상의 각 슬라이스별로 다이나믹하게 조정된 윈도우에 대해서 상기 학습모델을 적용하여 노듈을 세그먼테이션하도록 하는 것이다.
상기 윈도우 조정부(150)에서 수행하는 윈도우의 다이나믹한 조정을 도 5를 참조하여 상세하게 설명하면 다음과 같다.
도 5는 본 발명에 적용되는 각 슬라이스별 윈도우의 조정을 설명하기 위한 도면으로서, 상기 인공지능 노듈 세그먼테이션부(140)는 이전 슬라이스인 i-1번째 슬라이스의 세그먼테이션의 결과에 따라 다이나믹하게 조정된 현재 슬라이스(즉 i번째 슬라이스)의 윈도우에 대하여 상기 학습모델을 적용하여 노듈을 세그먼테이션한다.
그러면 상기 윈도우 조정부(150)는 i번째 슬라이스의 윈도우에서 세그먼테이션한 노듈의 중앙값을 다음 슬라이스인 i+1번째 슬라이스에서의 윈도우 중심이 되도록, 상기 윈도우를 자동으로 다이나믹하게 조정한다.
또한 상기 인공지능 노듈 세그먼테이션부(140)에서 상기 윈도우 조정부(150)를 통해 다이나믹하게 조정된 다음 슬라이스의 윈도우에 대해서 상기 학습모듈을 적용하여 노듈을 세그먼테이션한다.
상기 윈도우 조정부(150)는 이와 같은 윈도우의 다이나믹한 조정을 상기 의료영상을 구성하는 각 슬라이스에 대한 노듈 세그먼테이션 전에 수행되도록 한다. 이에 따라 상기 의료영상의 각 슬라이스에 대한 노듈 세그먼테이션이 완료될 때까지 다수개의 슬라이스가 바뀌는 동안 노듈이 상기 윈도우의 영역을 벗어나지 않게 된다.
다시 도 3을 참조하면, 상기 3차원 모델 생성부(160)는 상기 인공지능 노듈 세그먼테이션부(140) 및 윈도우 조정부(150)를 통해 상기 의료영상의 각 슬라이스별로 윈도우의 위치를 다이나믹하게 조정하면서 수행한 노듈의 세그먼테이션 결과를 통합하여, 상기 노듈의 3차원 모델을 생성하고, 상기 생성한 노듈의 3차원 모델을 상기 통신부(170)를 통해 상기 디스플레이 장치(300)로 출력한다. 즉 상기 3차원 모델 생성부(160)는 상기 의료영상의 각 슬라이스별로 수행한 노듈의 세그먼테이션 결과를 하나로 결합하여 상기 세그먼테이션된 노듈에 대한 3차원 모델을 생성하는 것이다.
상기 통신부(170)는 상기 의료영상 촬영장치(200)나 데이터베이스(400)와 통신 접속을 수행하여 노듈 세그먼테이션을 수행할 의료영상을 입력받으며, 상기 의료영상으로부터 세그먼테이션한 결과를 토대로 생성된 노듈에 대한 3차원 모델을 상기 디스플레이 장치(300)로 출력한다.
상기 메모리(180)는 상기 의료영상 촬영장치(200)나 데이터베이스(400)로부터 입력받은 의료영상을 저장하고, 상기 입력받은 의료영상의 슬라이스에 설정한 윈도우에 대해서 노듈을 세그먼테이션하기 위한 학습모델을 저장하고 있으며, 상기 3차원 모델 생성부(160)를 통해 생성한 노듈에 대한 3차원 모델을 저장한다.
또한 상기 메모리(180)는 상기 인공지능 노듈 세그먼테이션 장치(100)에서 사용하는 각종 동작프로그램을 저장하고 있으며, 상기 데이터베이스(400)를 통해 각각의 동작프로그램에 대한 업데이트를 수행한다.
다음에는, 이와 같이 구성된 본 발명에 따른 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법의 일 실시예를 도 6을 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.
도 6은 본 발명의 일 실시예에 따른 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법의 동작과정을 상세하게 나타낸 순서도이다.
우선, 상기 인공지능 노듈 세그먼테이션 장치(100)는 복수의 슬라이스를 포함하는 의료영상에서 인공지능으로 노듈을 세그먼테이션 하기 위하여, 상기 의료영상 촬영장치(200)나 데이터베이스(400)로부터 복수의 슬라이스가 포함된 의료영상을 입력받는다(S100). 예를 들어, 상기 의료영상 촬영장치(200)로부터 실시간으로 촬영한 의료영상을 입력받거나, 상기 데이터베이스(400)에 저장하여 관리중인 의료영상을 로딩하는 것이다.
또한 상기 인공지능 노듈 세그먼테이션 장치(100)는 입력받은 상기 의료영상의 슬라이스에서 윈도우를 설정하는 윈도우 설정 단계를 수행한다(S200). 즉 사용자의 조작에 따라 상기 의료영상의 어느 하나의 슬라이스에서 사용자가 지정한 영역에 대해서 윈도우를 생성하는 것이다.
이때 상기 윈도우는 상기 슬라이스를 확인한 사용자의 조작을 토대로 최초 1회만 설정되며, 사용자의 직접 조작에 의한 형상에 따라 설정되거나, 사용자가 선택한 지점을 중심으로 소정의 크기를 가진 사각형 또는 원형으로 설정된다. 또한 상기 윈도우는 상기 슬라이스 내에서 적어도 하나 이상 설정할 수 있다.
상기 S200 단계를 통해 상기 의료영상의 슬라이스에서 윈도우를 설정한 이후, 상기 인공지능 노듈 세그먼테이션 장치(100)는 상기 설정한 윈도우에 대해서 학습모델을 적용하여 상기 슬라이스의 윈도우에 존재하는 노듈을 세그먼테이션하는 인공지능 노듈 세그먼테이션 단계를 수행한다(S300).
이때 상기 S300의 인공지능 노듈 세그먼테이션 단계는, 상기 슬라이스에 설정된 윈도우를 상기 학습모델의 입력으로 하여 적어도 하나 이상의 특징을 추출하는 특징 추출 단계, 및 상기 추출한 적어도 하나 이상의 특징을 토대로 상기 윈도우에서 특정 오브젝트의 윤곽선을 추출하여 노듈로 확인하는 노듈 확인 단계를 순차적으로 수행한다. 그리고 상기 특징 추출 단계는 CNN 기반의 상기 학습모델을 통해 상기 윈도우에 컨볼루션 연산을 적용하여 특징 맵을 생성하고, 상기 생성한 특징 맵의 크기를 감소시킨 다음, 활성화 함수를 적용하여 특징을 추출한다.
상기 S300 단계를 통해 노듈 세그먼테이션을 수행한 이후, 상기 인공지능 노듈 세그먼테이션 장치(100)는 상기 세그먼테이션 결과를 참조하여, 현재 슬라이스에서 세그먼테이션된 노듈이 다음 슬라이스에 대한 윈도우의 중앙에 위치하도록 상기 윈도우를 다이나믹하게 조정한다(S400). 즉 현재 슬라이스에서 노듈을 세그먼테이션한 결과의 중앙값이 다음 슬라이스에서의 윈도우의 중심이 되도록, 상기 윈도우를 자동으로 다이나믹하게 조정하는 것이다.
상기 S400 단계를 통해 다이나믹하게 조정된 윈도우를 토대로 상기 인공지능 노듈 세그먼테이션 장치(100)는 상기 조정된 윈도우에 대해서 학습모델을 적용하여 상기 슬라이스의 윈도우에 존재하는 노듈을 세그먼테이션한다(S500).
이후 상기 인공지능 노듈 세그먼테이션 장치(100)는 상기 의료영상의 모든 슬라이스에 대해서 노듈 세그먼테이션이 종료되는지를 판단하며(S600), 상기 판단한 결과 노듈 세그먼테이션이 종료되지 않으면, 상기 의료영상의 모든 슬라이스별 노듈 세그먼테이션이 종료될 때까지 상기 의료영상의 각 슬라이스별로 윈도우의 위치를 다이나믹하게 조정하면서 노듈을 세그먼테이션하는 상기 S400 단계 및 S500 단계를 반복적으로 수행한다.
또한 상기 인공지능 노듈 세그먼테이션 장치(100)는 상기 S600 단계의 판단결과 상기 의료영상의 모든 슬라이스별 노듈 세그먼테이션이 종료되면, 윈도우의 위치를 다이나믹하게 조정하면서 각 슬라이스별로 수행한 노듈의 세그먼테이션 결과를 통합하여, 상기 노듈의 3차원 모델을 생성하고(S700), 상기 생성한 노듈의 3차원 모델을 상기 디스플레이 장치(300)로 출력하여 화면상에 표시함으로써, 사용자가 노듈의 형태, 방향, 크기 등을 확인할 수 있도록 한다(S800).
현편, 상기 인공지능 노듈 세그먼테이션 장치(100)는 상기 S700 단계에서 생성한 노듈에 대한 3차원 모델을 상기 데이터베이스(400)에 저장하여 관리한다. 이때 상기 데이터베이스(400)에 저장하여 관리하는 데이터는 상기 3차원 모델 이외에, 상기 S100 단계를 통해 상기 의료영상 촬영장치(200)로부터 제공받은 의료영상, 상기 S500 단계를 통해 각 슬라이스별로 노듈을 세그먼테이션한 결과를 포함할 수 있다.
이처럼, 본 발명은 의료영상에서 인공지능을 통해 노듈을 세그먼테이션할 때, 상기 윈도우의 위치를 각 슬라이스마다 다이나믹하게 조정하여 상기 노듈이 항상 상기 윈도우의 중앙에 오도록 하기 때문에, 다수의 슬라이스에 걸쳐 분포된 노듈을 놓치지 않고 세그먼테이션할 수 있으며, 상기 노듈에 대한 3차원 모델을 정확하게 얻을 수 있다.
이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.
100 : 인공지능 노듈 세그먼테이션 장치
110 : 의료영상 입력부 120 : 설정 조작부
130 : 윈도우 설정부 140 : 인공지능 노듈 세그먼테이션부
142 : 특징 추출부 144 : 노듈 확인부
150 : 윈도우 조정부 160 : 3차원 모델 생성부
170 : 통신부 180 : 메모리
200 : 의료영상 촬영장치 300 : 디스플레이 장치
400 : 데이터베이스

Claims (12)

  1. 복수의 슬라이스를 포함하는 의료영상에서 인공지능으로 노듈을 세그먼테이션하는 방법에 있어서,
    입력되는 의료영상의 슬라이스에서 윈도우를 설정하는 윈도우 설정 단계; 및
    상기 설정한 윈도우에 대해서 학습모델을 적용하여 상기 슬라이스의 윈도우에 존재하는 노듈을 세그먼테이션하는 인공지능 노듈 세그먼테이션 단계;를 포함하며,
    현재 슬라이스에서 세그먼테이션된 노듈이 다음 슬라이스에 대한 윈도우의 중앙에 위치하도록 상기 윈도우를 다이나믹하게 조정하는 것을 특징으로 하는 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법.
  2. 청구항 1에 있어서,
    상기 윈도우를 다이나믹하게 조정하는 것은,
    현재 슬라이스에서 노듈을 세그먼테이션한 결과의 중앙값이 다음 슬라이스에서의 윈도우의 중심이 되도록, 상기 윈도우의 위치를 자동으로 조정하는 것이며,
    상기 의료영상을 구성하는 각 슬라이스에 대한 노듈 세그먼테이션 전에 수행되는 것을 특징으로 하는 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법.
  3. 청구항 2에 있어서,
    상기 윈도우를 다이나믹하게 조정하는 것은,
    상기 의료영상의 각 슬라이스별로 노듈을 세그먼테이션하는 과정에서, 상기 노듈의 크기에 따라, 상기 윈도우의 크기를 이전 슬라이스에서 노듈을 세그먼테이션할 때 사용한 크기보다 증가시키거나 또는 축소시켜 조정하는 것을 더 포함하는 것을 특징으로 하는 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법.
  4. 청구항 1에 있어서,
    상기 윈도우는,
    상기 슬라이스를 확인한 사용자의 조작을 토대로 적어도 하나 이상 설정될 수 있으며,
    상기 슬라이스를 확인한 사용자가 선택한 지점을 중심으로 기 설정된 소정의 크기를 가진 사각형 또는 원형으로 설정되거나, 또는 사용자의 직접 조작에 의한 형상에 따라 설정되는 것을 특징으로 하는 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법.
  5. 청구항 1에 있어서,
    상기 방법은,
    상기 의료영상의 각 슬라이스별로 윈도우를 다이나믹하게 조정하면서 상기 수행한 노듈의 세그먼테이션 결과를 통합하여, 상기 노듈의 3차원 모델을 생성하는 3차원 모델 생성 단계;를 더 포함하는 것을 특징으로 하는 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법.
  6. 청구항 1에 있어서,
    상기 인공지능 노듈 세그먼테이션 단계는,
    상기 슬라이스에 설정된 윈도우를 상기 학습모델의 입력으로 하여 적어도 하나 이상의 특징을 추출하는 특징 추출 단계; 및
    상기 추출한 적어도 하나 이상의 특징을 토대로 상기 윈도우에서 특정 오브젝트의 윤곽선을 추출하여 노듈로 확인하는 노듈 확인 단계;를 더 포함하는 것을 특징으로 하는 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법.
  7. 복수의 슬라이스를 포함하는 의료영상에서 인공지능으로 노듈을 세그먼테이션하는 장치에 있어서,
    입력되는 의료영상의 슬라이스에서 윈도우를 설정하는 윈도우 설정부; 및
    상기 설정한 윈도우에 대해서 학습모델을 적용하여 상기 슬라이스의 윈도우에 존재하는 노듈을 세그먼테이션하는 인공지능 노듈 세그먼테이션부;를 포함하며,
    현재 슬라이스에서 세그먼테이션된 노듈이 다음 슬라이스에 대한 윈도우의 중앙에 위치하도록 상기 윈도우를 다이나믹하게 조정하는 것을 특징으로 하는 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 장치.
  8. 청구항 7에 있어서,
    상기 윈도우를 다이나믹하게 조정하는 것은,
    현재 슬라이스에서 노듈을 세그먼테이션한 결과의 중앙값이 다음 슬라이스에서의 윈도우의 중심이 되도록, 상기 윈도우의 위치를 자동으로 조정하는 것이며,
    상기 의료영상을 구성하는 각 슬라이스에 대한 노듈 세그먼테이션 전에 수행되는 것을 특징으로 하는 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 장치.
  9. 청구항 8에 있어서,
    상기 윈도우를 다이나믹하게 조정하는 것은,
    상기 의료영상의 각 슬라이스별로 노듈을 세그먼테이션하는 과정에서, 상기 노듈의 크기에 따라, 상기 윈도우의 크기를 이전 슬라이스에서 노듈을 세그먼테이션할 때 사용한 크기보다 증가시키거나 또는 축소시켜 조정하는 것을 더 포함하는 것을 특징으로 하는 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 장치.
  10. 청구항 7에 있어서,
    상기 윈도우는,
    상기 슬라이스를 확인한 사용자의 조작을 토대로 적어도 하나 이상 설정될 수 있으며,
    상기 슬라이스를 확인한 사용자가 선택한 지점을 중심으로 기 설정된 소정의 크기를 가진 사각형 또는 원형으로 설정되거나, 또는 사용자의 직접 조작에 의한 형상에 따라 설정되는 것을 특징으로 하는 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 장치.
  11. 청구항 7에 있어서,
    상기 장치는,
    상기 의료영상의 각 슬라이스별로 윈도우의 위치를 다이나믹하게 조정하면서 수행한 노듈의 세그먼테이션 결과를 통합하여, 상기 노듈의 3차원 모델을 생성하는 3차원 모델 생성부;를 더 포함하는 것을 특징으로 하는 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 장치.
  12. 청구항 7에 있어서,
    상기 인공지능 노듈 세그먼테이션부는,
    상기 슬라이스에 설정된 윈도우를 상기 학습모델의 입력으로 하여 적어도 하나 이상의 특징을 추출하는 특징 추출부; 및
    상기 추출한 적어도 하나 이상의 특징을 토대로 상기 윈도우에서 특정 오브젝트의 윤곽선을 추출하여 노듈로 확인하는 노듈 확인부;를 더 포함하는 것을 특징으로 하는 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 장치.
KR1020190163458A 2019-12-10 2019-12-10 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치 KR102322995B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190163458A KR102322995B1 (ko) 2019-12-10 2019-12-10 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190163458A KR102322995B1 (ko) 2019-12-10 2019-12-10 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20210073033A true KR20210073033A (ko) 2021-06-18
KR102322995B1 KR102322995B1 (ko) 2021-11-09

Family

ID=76623362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190163458A KR102322995B1 (ko) 2019-12-10 2019-12-10 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102322995B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220018658A (ko) * 2020-08-07 2022-02-15 (주)헬스허브 초음파 영상에서 3차원상의 노듈 볼륨 추정 장치 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052919A (ja) * 2012-09-07 2014-03-20 National Cancer Center 画像生成装置及びプログラム
JP2016174656A (ja) * 2015-03-19 2016-10-06 コニカミノルタ株式会社 画像処理装置及びプログラム
KR20180118458A (ko) * 2017-04-21 2018-10-31 삼성메디슨 주식회사 영상 분할 방법 및 그 전자 장치
JP2019193776A (ja) * 2018-03-16 2019-11-07 インファーヴィジョンＩｎｆｅｒｖｉｓｉｏｎ ディープラーニングに基づいたコンピュータ断層撮影肺結節検出法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014052919A (ja) * 2012-09-07 2014-03-20 National Cancer Center 画像生成装置及びプログラム
JP2016174656A (ja) * 2015-03-19 2016-10-06 コニカミノルタ株式会社 画像処理装置及びプログラム
KR20180118458A (ko) * 2017-04-21 2018-10-31 삼성메디슨 주식회사 영상 분할 방법 및 그 전자 장치
JP2019193776A (ja) * 2018-03-16 2019-11-07 インファーヴィジョンＩｎｆｅｒｖｉｓｉｏｎ ディープラーニングに基づいたコンピュータ断層撮影肺結節検出法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220018658A (ko) * 2020-08-07 2022-02-15 (주)헬스허브 초음파 영상에서 3차원상의 노듈 볼륨 추정 장치 및 그 방법

Also Published As

Publication number Publication date
KR102322995B1 (ko) 2021-11-09

Similar Documents

Publication Publication Date Title
KR102018565B1 (ko) 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
CN111557665B (zh) 用于医学成像中的患者定位的根据相机数据的密集身体标记估计
US11276166B2 (en) Systems and methods for patient structure estimation during medical imaging
EP3360483B1 (en) Method and system for dose-optimized computed tomography scanning of a target organ
US20200226752A1 (en) Apparatus and method for processing medical image
CN111080584B (zh) 医学图像的质控方法、计算机设备和可读存储介质
CN1781459B (zh) 剂量评估方法和x射线ct设备
US20140241606A1 (en) Apparatus and method for lesion segmentation in medical image
JP5226974B2 (ja) 画像診断支援装置、方法及びプログラム
CN111127430A (zh) 确定医学影像显示参数的方法及装置
EP1530162B1 (en) Radiation image processing apparatus, radiation image processing method, program, and computer-readable medium
US20180110491A1 (en) Dynamic image processor
US20050201599A1 (en) Diagnostic imaging support apparatus and diagnostic imaging support method
CN113362272A (zh) 具有不确定性估计的医学图像分割
JP6824845B2 (ja) 画像処理システム、装置、方法およびプログラム
US20090310883A1 (en) Image processing apparatus, method, and program
KR102322995B1 (ko) 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치
WO2018167263A1 (en) Determining a guidance signal and a system for providing a guidance for an ultrasonic handheld transducer
US10832420B2 (en) Dynamic local registration system and method
JP2000350722A (ja) 器官の注目する要素の配置および三次元表現の方法
JP7275961B2 (ja) 教師画像生成プログラム、教師画像生成方法、および教師画像生成システム
CN107106106A (zh) 针对具有减小的角范围的旋转c型臂计算机断层摄影的自适应分割
JP6642048B2 (ja) 医療画像表示システム、医療画像表示プログラム及び医療画像表示方法
KR102394757B1 (ko) 복수의 축 상에서 오브젝트를 탐색하여 결합하는 결합 인공지능 세그먼테이션 방법 및 그 장치
KR102322997B1 (ko) 최대강도투사를 통한 인공지능 노듈 세그먼테이션 방법 및 그 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant