KR102163225B1 - 뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치 - Google Patents

뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치 Download PDF

Info

Publication number
KR102163225B1
KR102163225B1 KR1020180090659A KR20180090659A KR102163225B1 KR 102163225 B1 KR102163225 B1 KR 102163225B1 KR 1020180090659 A KR1020180090659 A KR 1020180090659A KR 20180090659 A KR20180090659 A KR 20180090659A KR 102163225 B1 KR102163225 B1 KR 102163225B1
Authority
KR
South Korea
Prior art keywords
neural network
polyphase
image segmentation
segmentation
image
Prior art date
Application number
KR1020180090659A
Other languages
English (en)
Other versions
KR20200017607A (ko
Inventor
예종철
김보아
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180090659A priority Critical patent/KR102163225B1/ko
Publication of KR20200017607A publication Critical patent/KR20200017607A/ko
Application granted granted Critical
Publication of KR102163225B1 publication Critical patent/KR102163225B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 분할 방법은 영상 데이터를 수신하는 단계; 및 미리 설정된 프레임 조건을 만족하는 뉴럴 네트워크를 이용하여 상기 영상 데이터에 포함된 미리 설정된 객체에 대한 영상 분할(segmentation)을 수행하는 단계를 포함하고, 상기 뉴럴 네트워크는 다상 풀링(polyphase pooling) 레이어와 다상 언풀링(polyphase unpooling) 레이어를 포함함으로써, 영상에서 특정 객체 분할에 대한 정확도를 향상시킬 수 있다.

Description

뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치 {IMAGE SEGMENTATION METHOD USING ARTIFICIAL NEURAL NETWORK AND APPARATUS THEREFOR}
본 발명은 영상 분할(image segmentation) 기술에 관한 것으로, 보다 구체적으로는 다상 풀링(polyphase pooling) 레이어와 다상 언풀링(polyphase unpooling) 레이어를 포함하는 뉴럴 네트워크를 이용하여 영상에서 특정 객체 분할에 대한 정확도를 향상시킬 수 있는 영상 분할 방법 및 그 장치에 관한 것이다.
간암은 사망률이 높은 암 유형의 상당 부분을 차지한다. 방사선 의사는 일반적으로 CT(computed tomography) 영상을 사용하여 간암을 진단하는 데, 병변 분할(lesion segmentation)로부터 수술 또는 방사선 치료 계획에 이르기까지 튜머(tumor)(또는 종양)의 정도를 추정한다. 따라서, 병변 분할(lesion segmentation)은 종양 진단의 중요한 부분이다. 전통적으로, 병변 분할 예를 들어, 간 병변 분할은 인적 의존적인 방법으로 구현되었으나, 이는 많은 양의 데이터를 분석하는 데 많은 시간이 소요된다. 수동 종양 분할의 한계를 극복하기 위해 자동 종양 분할 알고리즘이 개발되었지만, 이 방법은 종양의 다양한 크기, 형상 및 위치로 인해 영상으로부터 종양을 정확히 구분하기 어렵다는 한계를 가진다.
최근 뉴럴 네트워크를 이용한 방법 예를 들어, CNN(deep convolutional neural network) 방법이 개발되었으며, 다양한 작업을 위한 최첨단 분할 성능이 입증된 바 있다. 특히, U-Net(Ronneberger, O., Fischer, P., Brox, T.: U-net: Convolutional networks for biomedical image segmentation. Medical Image Computing and Computer-Assisted Intervention, pp. 234-241. Springer, Cham (2015))은 점점 더 증가하는 복합 특성들(complex features)의 영상 계층을 학습할 수 있는 능력으로 인해 영상 분할의 주된 워크호스(workhorse) 중 하나에 해당한다. 그러나 U-Net은 네트워크가 세부 정보를 잃어 객체 경계가 정확하게 분할되지 않는 경향이 있다는 점에서 한계를 가진다.
이 문제를 해결하기 위해, 네트워크 블록의 서로 다른 구조를 사용하고 후 처리를 통해 네트워크 출력을 재정의하는 것과 같은 U-Net의 다양한 변형(modification)이 제안되었다. 예를 들어, 종래 일 실시예의 기술은 간 병변 분할을 위해 캐스케이드된(cascaded) U-Net 및 분할 맵을 정제하기 위해 후처리를 위한 조밀한 3D 조건부 랜덤 필드로서, 2개의 완전 컨볼루션 뉴럴 네트워크(FCN)를 제안하였다. 종래 다른 일 실시예의 기술은 잔차 연결(residual connections)을 적용하여 U-Net의 2.5D 변형을 설계하였다. 구체적으로, 몇 개의 인접 슬라이스의 스택(stack)이 2D 컨볼루션 네트워크의 입력으로 사용되며, 네트워크 출력은 입력의 중앙 슬라이스에 해당하는 2D 분할 맵이다. 종래 또 다른 일 실시예의 기술은 잔차 블록과 U-Net과 같은 스킵 연결(skip connections)을 사용하는 두 개의 FCN 모델을 제안하였는데, 이 모델들은 두 번째 네트워크가 첫 번째 네트워크로부터 간 분할의 표현을 사용하여 병변 분할을 생성하도록 종단 간에서 트레이닝 된다. 이러한 변형들이 성능을 크게 향상시키지만, 주로 U-Net의 블랙박스 특성에 대한 체계적인 이해보다는 휴리스틱(heuristics)을 기반으로 설계된 것이다.
본 발명의 실시예들은, 다상 풀링(polyphase pooling) 레이어와 다상 언풀링(polyphase unpooling) 레이어를 포함하는 뉴럴 네트워크를 이용하여 영상에서 특정 객체 분할에 대한 정확도를 향상시킬 수 있는 영상 분할 방법 및 그 장치를 제공한다.
본 발명의 일 실시예에 따른 영상 분할 방법은 영상 데이터를 수신하는 단계; 및 미리 설정된 프레임 조건을 만족하는 뉴럴 네트워크를 이용하여 상기 영상 데이터에 포함된 미리 설정된 객체에 대한 영상 분할(segmentation)을 수행하는 단계를 포함한다.
상기 뉴럴 네트워크는 다상 풀링(polyphase pooling) 레이어와 다상 언풀링(polyphase unpooling) 레이어를 포함할 수 있다.
상기 다상 풀링 레이어는 이웃한 네 개의 픽셀을 네 개의 채널로 분해시키고, 상기 다상 언풀링 레이어는 상기 네 개의 채널을 하나의 채널로 합성할 수 있다.
상기 다상 풀링 레이어는 상기 뉴럴 네트워크에 포함된 ReLU(rectified linear unit) 함수의 비선형성과 연결될 수 있다.
상기 뉴럴 네트워크는 상기 다상 풀링 레이어에서 상기 다상 언풀링 레이어로의 스킵 연결을 포함할 수 있다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.
상기 영상 분할을 수행하는 단계는 상기 프레임 조건을 만족하는 제1 뉴럴 네트워크를 이용하여 상기 영상 데이터에 포함된 미리 설정된 제1 객체에 대한 영상 분할을 수행하고, 상기 프레임 조건을 만족하는 제2 뉴럴 네트워크를 이용하여 상기 제1 객체에 포함된 미리 설정된 제2 객체에 대한 영상 분할을 수행할 수 있다.
상기 영상 분할을 수행하는 단계는 상기 네트워크를 이용하여 상기 객체의 특징 정보를 추출하고, 상기 추출된 특징 정보에 기초하여 상기 객체에 대한 영상 분할을 수행할 수 있다.
본 발명의 다른 일 실시예에 따른 영상 분할 방법은 영상 데이터를 수신하는 단계; 미리 설정된 프레임 조건을 만족하는 제1 뉴럴 네트워크를 이용하여 상기 영상 데이터에 포함된 신체 장기에 대한 영상 분할을 수행하는 단계; 및 상기 프레임 조건을 만족하는 제2 뉴럴 네트워크를 이용하여 상기 신체 장기에 포함된 병변에 대한 영상 분할을 수행하는 단계를 포함한다.
상기 제1 뉴럴 네트워크와 상기 제2 뉴럴 네트워크는 다상 풀링(polyphase pooling) 레이어와 다상 언풀링(polyphase unpooling) 레이어를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 분할 장치는 영상 데이터를 수신하는 수신부; 및 미리 설정된 프레임 조건을 만족하는 뉴럴 네트워크를 이용하여 상기 영상 데이터에 포함된 미리 설정된 객체에 대한 영상 분할(segmentation)을 수행하는 분할부를 포함한다.
상기 뉴럴 네트워크는 다상 풀링(polyphase pooling) 레이어와 다상 언풀링(polyphase unpooling) 레이어를 포함할 수 있다.
상기 다상 풀링 레이어는 이웃한 네 개의 픽셀을 네 개의 채널로 분해시키고, 상기 다상 언풀링 레이어는 상기 네 개의 채널을 하나의 채널로 합성할 수 있다.
상기 다상 풀링 레이어는 상기 뉴럴 네트워크에 포함된 ReLU(rectified linear unit) 함수의 비선형성과 연결될 수 있다.
상기 뉴럴 네트워크는 상기 다상 풀링 레이어에서 상기 다상 언풀링 레이어로의 스킵 연결을 포함할 수 있다.
상기 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있다.
상기 분할부는 상기 프레임 조건을 만족하는 제1 뉴럴 네트워크를 이용하여 상기 영상 데이터에 포함된 미리 설정된 제1 객체에 대한 영상 분할을 수행하고, 상기 프레임 조건을 만족하는 제2 뉴럴 네트워크를 이용하여 상기 제1 객체에 포함된 미리 설정된 제2 객체에 대한 영상 분할을 수행할 수 있다.
상기 분할부는 상기 네트워크를 이용하여 상기 객체의 특징 정보를 추출하고, 상기 추출된 특징 정보에 기초하여 상기 객체에 대한 영상 분할을 수행할 수 있다.
본 발명의 실시예들에 따르면, 다상 풀링(polyphase pooling) 레이어와 다상 언풀링(polyphase unpooling) 레이어를 포함하는 뉴럴 네트워크를 이용하여 영상 분할을 수행함으로써, 영상에 포함된 특정 객체에 대한 분할 정확도를 향상시킬 수 있다.
본 발명의 실시예들에 따르면, 의료 영상에서의 종양 분할을 학습함으로써, 그에 대한 질병을 진단하고 수술 및 치료를 계획할 수 있다. 그리고, 혈관 분할의 학습은 혈관의 부피 측정과 같은 해부학적 구조의 연구에 사용될 수 있다.
본 발명의 실시예들에 따르면, 위성 영상에서의 건물, 도로, 사람, 자동차 등의 객체에 대한 분할을 학습함으로써, 자율주행 연구에 응용될 수도 있고, 얼굴, 지문, 홍채 인식의 학습을 통해 생체 인식 연구를 할 수도 있으며, 다양한 영상 처리 분야에 응용될 수 있다.
영상 분할은 의학 분야에서 질병 진단에 필요한 정보를 제공하는 수단으로 이용되어 질병의 검출에 있어서 영상에서 해당 영역을 찾아 정확한 범위로 표시할 수 있는 분할 기법의 필요성이 높다.
본 발명의 실시예들에 따르면, 영상에서 특정 대상을 분할하기 위한 뉴럴 네트워크 기반의 영상 분할 기법을 제공함으로써, 영상 정보의 손실 없이 학습하여 정확도가 높고 연산량이 줄어 의료 영상에서의 종양을 빠르게 검출할 수 있다.
본 발명의 실시예들에 따르면, 영상 처리 분야에서 영상 내에 존재하는 특정 객체를 인식하고 그 객체의 범위를 찾아내는 두 가지 기능을 동시에 수행할 수 있다.
본 발명의 실시예들에 따르면, 영상분할을 하기 위한 연산량 및 시간을 단축시키고, 분할 대상과 주변의 대비가 작은 영상에 대해서도 분할 대상의 경계를 뚜렷하게 제공함으로써, 다른 영상 분할 기법에 비해 더 높은 분할 정확도를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 분할 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 본 발명에 따른 방법을 이용하여 간 병변을 분할하는 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 3은 다상 U-Net 구조에 대한 일 예시도를 나타낸 것이다.
도 4는 본 발명에 따른 방법에 의한 분할 결과를 설명하기 위한 일 예시도를 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따른 영상 분할 장치에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상 의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사 전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
특정 대상에 대한 영상 분할은 그 대상에 대한 분석을 할 때 유용한 도움을 준다. 영상 분할은 사람이 한 장씩 보고 수행하기 때문에 많은 자료를 분석하기 위해서는 시간 소모가 크며 사람마다 약간의 차이가 발생한다. 이에 자동화된 영상 분할 연구가 오래 전부터 진행되어 왔으나, 분할 대상의 모양, 크기, 위치 및 개수가 영상마다 다르고 분할 대상과 주변과의 대비가 작을 때에는 자동화된 영상 분할에 많은 어려움이 존재한다. 최근에는 U-Net 구조의 뉴럴 네트워크를 기반으로 한 기계학습을 통한 영상 분할에 관한 연구가 활발히 진행되고 있다. U-Net은 컨볼루션을 이용하여 영상의 크기를 줄이며 채널의 수를 늘리는 압축 경로 이후, 다시 영상의 크기를 늘리며 채널의 수를 줄여나가는 팽창경로로 이루어진 뉴럴 네트워크이다. 이는 점점 복잡해지는 영상 특징의 계층구조를 배울 수 있다는 장점이 있다. 그러나 U-Net은 분할 대상의 경계 부분이 뚜렷하게 나타나지 않아 정확도가 낮다.
최근, 딥 컨볼루션 뉴럴 네트워크의 블랙박스 특성을 밝히기 위해 딥 컨볼루션 프레임렛의 새로운 수학 이론이 제안되었다(Ye, JC., Han, Y., Cha, E.: Deep convolutional framelets: a general deep learning framework for inverse problems. SIAM Journal on Imaging Sciences 11(2), 991-1048(2018)). 딥 컨볼루션 프레임렛 이론의 가장 중요한 공헌 중 하나는 코닉 제약 조건(conic constraint) 하에서 데이터 기반 한켈 행렬 분해로부터 인코더-디코더 네트워크가 출현한다는 것의 입증이다. 또한, 이 이론은 풀링 레이어가 프레임 조건을 충족시켜야 한다는 것을 알리는 뉴럴 네트워크 설계 방법에 대한 기하학적 직관을 제공한다. 기존의 U-Net이 프레임렛 조건을 만족시키지 못한다는 사실에 근거하여, Haar 웨이블릿을 사용하는 새로운 타이트 프레임(Tight-Frame) 풀링 레이어가 다양한 역-문제 어플리케이션에서 고해상도 신호를 개선하기 위해 제안되었으나 최대 또는 평균 풀링 동작과 달리, Haar 웨이블릿 풀링의 하이패스(high-pass) 분기는 ReLU(rectified linear unit)에 대한 입력 신호의 극성을 유지하지 않는다. 따라서 ReLU 동작 중에는 네거티브(negative) 기능이 제거될 수 있다.
본 발명은 프레임 조건을 만족하면서도 기능의 극성을 유지하는 뉴럴 네트워크를 이용하여 영상 분할을 수행하는 것으로, 딥 컨볼루션 프레임렛 이론의 입력 신호의 높은 주파수 성분에 대한 손실이 없도록 하는 프레임 조건을 만족하는 다상(polyphase) U-Net의 뉴럴 네트워크를 이용하여 영상 분할을 수행함으로써, 영상 분할 정확도를 향상시키는 것을 그 요지로 한다.
여기서, 다상 분해는 프레임 조건을 만족하면서 기능의 극성을 유지하는 요구 사항을 만족시키는 가장 간단한 형태의 분해 중 하나로, 다운 샘플링 연산이 뒤따르는 신호를 사용하여 신호를 여러 서브 밴드 신호로 분해할 수 있다.
즉, 본 발명은 뉴럴 네트워크 예를 들어, U-Net 뉴럴 네트워크에서의 풀링 레이어와 언풀링 레이어를 각각 다상 분해와 다상 합성 레이어로 개선시킴으로써, 분할 영역과 그 경계선까지 정보의 손실 없이 영상 분할을 수행할 수 있다.
이러한 본 발명은 다상 풀링 레이어와 다상 언풀링 레이어를 포함하는 뉴럴 네트워크를 이용하여 영상에 포함된 객체의 특징 정보를 추출하고, 추출된 특징 정보를 이용하여 객체에 대한 영상 분할을 수행함으로써, 영상 분할의 연산 시간을 줄이고, 객체에 대한 영상 분할 정확도를 향상시킬 수 있다.
또한, 본 발명은 뉴럴 네트워크 내 컨볼루션 층에서 제로 패딩을 하여 객체 분할 영상과 원본 영상의 크기가 달라지지 않아 후처리 과정이 필요하지 않고, 다상 풀링 레이어에서는 필터의 서브 픽셀 정보를 채널 단위로 연결하여 정보의 손실이 없이 객체의 특징 정보를 추출할 수 있다.
본 발명에서 사용하는 뉴럴 네트워크는 컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함할 수 있으며, 다상 풀링(polyphase pooling) 레이어와 다상 언풀링(polyphase unpooling) 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다. 나아가, 다중 해상도 뉴럴 네트워크는 다상 풀링 레이어에서 다상 언풀링 레이어로의 스킵 연결을 포함할 수 있다.
상술한 컨볼루션 프레임렛은 입력신호에 대하여 국소 기저와 비국소 기저를 이용하여 표현하는 방식으로, 이에 대해 설명하면 다음과 같다.
컨볼루션 프레임렛은 입력신호 f에 대하여 국소 기저(
Figure 112018076872991-pat00001
)와 비국소 기저 (
Figure 112018076872991-pat00002
)를 이용하여 표현한 것으로, 아래 <수학식 1>과 같이 나타낼 수 있다.
[수학식 1]
Figure 112018076872991-pat00003
여기서,
Figure 112018076872991-pat00004
는 비국소 기저 벡터를 가지는 선형 변환 연산을 의미하고,
Figure 112018076872991-pat00005
는 국소 기저 벡터를 가지는 선형 변환 연산을 의미할 수 있다.
이 때, 국소 기저 벡터와 비국소 기저 벡터는 각각 서로 직교하는 듀얼 기저 벡터
Figure 112018076872991-pat00006
와
Figure 112018076872991-pat00007
를 가질 수 있으며, 기저 벡터들의 직교 관계는 아래 <수학식 2>와 같이 정의될 수 있다.
[수학식 2]
Figure 112018076872991-pat00008
상기 수학식 2를 이용하면 컨볼루션 프레임렛은 아래 <수학식 3>과 같이 표현할 수 있다.
[수학식 3]
Figure 112018076872991-pat00009
Figure 112018076872991-pat00010
여기서,
Figure 112018076872991-pat00011
는 행켈 행렬 연산(Hankel matrix operator)을 의미하는 것으로, 컨볼루션 연산을 행렬곱(matrix multiplication)으로 표현할 수 있게 해주며,
Figure 112018076872991-pat00012
는 국소 기저와 비국소 기저에 의하여 변환된 신호인 컨볼루션 프레임렛 계수(convolution framelet coefficient)를 의미할 수 있다.
컨볼루션 프레임렛 계수
Figure 112018076872991-pat00013
는 듀얼 기저 벡터
Figure 112018076872991-pat00014
를 적용하여 본래의 신호로 복원될 수 있다. 신호 복원 과정은 아래 <수학식 4>와 같이 나타낼 수 있다.
[수학식 4]
Figure 112018076872991-pat00015
이와 같이, 국소 기저 및 비국소 기저를 통해 입력 신호를 표현하는 방식을 컨볼루션 프레임렛이라 한다.
딥 컨볼루션 프레임렛의 핵심 요소 중 하나는 비국소 기반의 프레임 조건(frame condition)이다. 그러나 기존의 뉴럴 네트워크 구조 예를 들어, U-Net 구조는 프레임 조건을 만족시키지 못하고 신호의 저주파 성분을 과도하게 강조하였다.
본 발명은 프레임 조건을 만족하는 컨볼루션 프레임렛 기반 뉴럴 네트워크를 이용하여 영상 분할을 수행하는 것으로, 해당 뉴럴 네트워크는 다상 풀링 레이어와 다상 언풀링 레이어를 포함할 수 있다.
여기서, 프레임 조건은 프레임 연산자
Figure 112018076872991-pat00016
와 듀얼 프레임
Figure 112018076872991-pat00017
를 사용하여 아래 <수학식 5>와 같이 나타낼 수 있다.
[수학식 5]
Figure 112018076872991-pat00018
이러한 본 발명에 대해 도 1 내지 도 5를 참조하여 상세히 설명하면 다음과 같다.
도 1은 본 발명의 일 실시예에 따른 영상 분할 방법에 대한 동작 흐름도를 나타낸 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 분할 방법은 영상 분할을 수행하기 위한 영상 데이터 예를 들어, 특정 신체 부위를 촬영한 CT 영상을 수신한다(S110).
예를 들어, 단계 S110은 간에 포함된 병변을 영상 분할하기 위하여, 간을 촬영한 CT 슬라이스 영상 등을 수신할 수 있다.
단계 S110에서 영상 분할을 수행하기 위한 영상 데이터가 수신되면, 미리 설정된 프레임 조건을 만족하는 뉴럴 네트워크를 이용하여 수신된 영상 데이터에 포함된 객체 예를 들어, 병변에 대한 영상 분할(image segmentation)을 수행한다(S120).
여기서, 단계 S120에서 영상 분할을 수행하는 뉴럴 네트워크는 컨볼루션 프레임렛 예를 들어, 딥 컨볼루션 프레임렛 기반의 뉴럴 네트워크를 포함할 수 있으며, 이웃한 네 개의 픽셀을 네 개의 채널로 분해시켜 네 개의 채널로 쌓아서 풀링하는 다상 풀링 레이어와 네 개의 채널을 하나의 채널로 합성하는 다상 언풀링 레이어를 포함할 수 있다. 나아가, 본 발명에서의 뉴럴 네트워크는 다상 풀링 레이어에서 다상 언풀링 레이어로의 스킵 연결을 포함함으로써, 고주파 정보 손실을 보완할 수 있다.
나아가, 단계 S120은 영상 데이터에 포함된 제1 객체 예를 들어, 간과 같은 신체 장기를 영상 분할하기 위한 제1 뉴럴 네트워크와 제1 객체 내에 포함된 제2 객체 예를 들어, 병변을 영상 분할하기 위한 제2 뉴럴 네트워크를 포함할 수 있다. 즉, 본 발명은 제1 객체에 대하여 트레이닝된 미리 설정된 프레임 조건을 만족하는 컨볼루션 프레임렛 기반의 뉴럴 네트워크와 제1 객체에 포함된 제2 객체에 대하여 트레이닝된 미리 설정된 프레임 조건을 만족하는 컨볼루션 프레임렛 기반의 뉴럴 네트워크를 포함할 수 있으며, 이러한 두 개의 뉴럴 네트워크 각각은 다상 풀링 레이어와 다상 언풀링 레이어를 포함할 수 있다.
예를 들어, 도 2에 도시된 바와 같이 제1 다상 뉴럴 네트워크(polyphase U-Net 1)(210)와 제2 다상 뉴럴 네트워크를 이용하여 간에 포함된 병변을 영상 분할할 수 있다. 구체적으로, 제1 다상 뉴럴 네트워크(210)는 수신되는 영상 데이터 예를 들어, 복부를 스캔한 CT 슬라이스 영상으로부터 간 영역을 영상 분할하고, 제2 다상 뉴럴 네트워크(polyphase U-Net 2)(220)는 제1 다상 뉴럴 네트워크(210)에 의해 영상 분할된 간으로부터 간 병변을 분할한다. 특히, 제2 다상 뉴럴 네트워크(220)는 제1 객체 예를 들어, 간에서만 병변을 특정하게 검출하여야 한다. 간 분할을 위해, 본 발명은 2.5차원(2.5D) 원리를 따를 수 있다. 즉, 본 발명은 인접한 3개의 CT 복부 슬라이스가 제1 다상 뉴럴 네트워크(210) 입력으로서 적층되고, 제1 다상 뉴럴 네트워크는 입력의 중심 슬라이스에 대응하는 분할 맵(segmentation map)을 생성하도록 트레이닝 된다. 동일한 2.5D 분할 체계가 복부 슬라이스 대신 제1 다상 뉴럴 네트워크(210)에 의해 분할된 간 영역이 제2 다상 뉴럴 네트워크(220) 입력으로 사용되는 것을 제외하면, 간 병변 분할에도 동일하게 적용될 수 있다.
즉, 도 2에 도시된 바와 같이, 간 영역을 분할할 수 있도록 간 영역에 대해 미리 학습된 제1 다상 뉴럴 네트워크(210)를 이용하여 입력 영상으로부터 간 영역을 분할하고, 간 병변에 대해 미리 학습된 제2 다상 뉴럴 네트워크(220)를 이용하여 제1 다상 뉴럴 네트워크(210)로부터 분할된 간 영역으로부터 간 병변을 분할한다.
본 발명에서 사용하는 다상 뉴럴 네트워크는 도 3에 도시된 바와 같이, 기본적인 U-Net 백본(backbone)을 갖는다. U-Net은 인코더와 디코더 및 이들의 연결로 구성된다. 인코더는 일반적으로 낮은 복잡도에서 높은 복잡도까지 영상 특징 맵의 계층 구조를 추출하는 반면, 디코더는 특징을 변환하고 낮은 해상도에서 높은 해상도까지 출력을 재구성한다. 인코더-디코더 스킵 연결은 디코더에서 핵심 역할을 수행하여 인코더에서 고해상도 특징을 추가 입력으로 사용함으로써 풀링 중 고주파 정보 손실을 보완한다. 그러나 스킵 연결에도 불구하고, 저주파 성분은 U-Net 아키텍처에서 중복되어 흐려짐을 발생시킨다.
따라서, 다상 뉴럴 네트워크 예를 들어, 다상 U-Net은 다상 분해를 사용하여 U-Net의 풀링 레이어 및 언풀링 레이어를 변형한다. 특히, 다상 뉴럴 네트워크는 평균, 최대 또는 컨볼루션 풀링을 사용하지 않고, 풀링 레이어(subpixel pooling)(또는 다상 풀링 레이어)에서 입력 영상의 4개의 인접 픽셀을 크기가 축소된 4개의 채널 데이터로 분해하며, 언풀링 레이어(subpixel unpooling)(또는 다상 언풀링 레이어)에서 4개의 축소된 크기를 가지는 채널이 확대된 단일 채널로 그룹화된다. 다상 분해는 입력 신호의 고주파 성분을 유지하기 위해 필요한 프레임 조건을 만족시킨다. 또한, 다상 분해는 신호의 극성을 변경하지 않으므로 ReLU 비선형성이 다상 풀링 레이어와 연결될 수 있다.
즉, 다상 뉴럴 네트워크는 선형 변환(linear transform) 연산을 수행하는 컨볼루션 레이어(Conv), 정규화(normalization) 연산을 수행하는 배치 노말라이제이션(batch normalization) 레이어(BN), 비선형 함수(nonlinear function) 연산을 수행하는 ReLU(rectified linear unit) 레이어 및 복수의 레이어들의 출력을 결합하는 채널 연결 레이어(channel concatenation layer) 또는 채널 합 레이어(channel sum layer)를 포함할 수 있다. 여기서, 각 스테이지는 3 × 3 커널들을 갖는 컨볼루션, 배치 노말라이제이션 및 ReLU 레이어들로 구성된 4개의 순차적인 레이어들을 포함한다. 마지막 스테이지는 두 개의 순차적인 레이어들과 마지막 레이어를 포함할 수 있으며, 마지막 레이어는 1 × 1 커널을 갖는 컨볼루션 레이어와 Tanh 연산을 수행하는 비선형 레이어를 포함할 수 있다. 인코더 부분에서 각 스테이지 사이에는 입력 영상의 4개의 인접 픽셀을 크기가 축소된 4개의 채널 데이터로 분해하는 다상 풀링 레이어(subpixel pooling)를 포함하고, 디코더 부분에서 각 스테이지 사이에는 4개의 축소된 크기를 가지는 채널을 확대된 단일 채널로 그룹화하는 다상 언풀링 레이어(subpixel unpooling)를 포함한다. 그리고, 인코더와 디코더 간의 스킵 연결을 포함할 수 있다. 여기서, 스킵 연결은 풀링 중에 손실된 고주파를 보상할 수 있다.
상술한 바와 같이, 본 발명은 딥 컨볼루션 프레임렛(deep convolutional framelet) 이론의 입력 신호의 높은 주파수 성분에 대한 손실이 없도록 하는 프레임 조건을 만족하는 다상 뉴럴 네트워크 예를 들어, 다상 U-Net을 이용하여 입력 영상으로부터 객체 예를 들어, 간 병변을 영상 분할할 수 있으며, 도 3에 도시된 바와 같이 U-Net의 풀링(pooling) 레이어와 언풀링(unpooling) 레이어를 각각 다상 분해와 다상 합성 레이어로 개선시켜 분할 영역 및 해당 영역의 경계선까지 정보의 손실 없이 영상 분할을 할 수 있다 따라서, 본 발명은 뉴럴 네트워크를 이용하여 기존의 수학적 영상 기법보다 계산량이 줄어들고 향상된 영상 분할 성능을 가질 수 있으며, 영상에서 작게 보이는 객체에 대해서도 명확하게 분할할 수 있기 때문에 영상 분할 정확도를 향상시킬 수 있다.
손실 함수
다상 U-Net 모델은 입력으로부터 분할 바이너리 마스크로 구성된 분할 라벨까지 종단 간 매핑을 수행한다. 본 발명의 일 실시예에 따른 방법은 2단계 접근법이기 때문에 다상 뉴럴 네트워크로부터 예측된 분할 맵은 배경 및 객체 예를 들어, 간과 같은 신체 장기 또는 하이퍼 튜머(hyper tumor), 렁 튜머(lung tumor), 브레인 튜머(brain tumor)와 같은 병변의 두 가지 클래스를 갖는다. 따라서, 손실 함수에 관해서는 교차-엔트로피 손실 함수를 사용할 수 있으며, 교차-엔트로피 손실 함수는 아래 <수학식 6>과 같이 나타낼 수 있다.
[수학식 6]
Figure 112018076872991-pat00019
여기서,
Figure 112018076872991-pat00020
는 분할 맵의 클래스 c(배경, 객체)에 속하는 픽셀(pixel) i의 예측 확률을 의미하고,
Figure 112018076872991-pat00021
는 분할 실제 측정 값 확률(segmentation ground-truth probability)을 의미할 수 있다.
본 발명은 새로운 영상을 테스트하기 위해, 먼저 인접한 3개의 슬라이스를 입력으로 적층하여 제1 다상 뉴럴 네트워크의 모델에 적용함으로써 입력의 중앙 슬라이스에 해당하는 간 분할 마스크를 획득한다. 여기서, 간 마스크는 제2 다상 뉴럴 네트워크의 모델 입력에 대한 간 마스크 CT 영상을 생성하기 위해 제1 다상 뉴럴 네트워크에서 사용된 모든 입력 슬라이스로 곱해진다. 그런 다음, 제2 다상 뉴럴 네트워크의 모델을 적용하여 간 영역에서만 병변 분할 마스크를 생성한다. 본 발명은 최종 간 분할 결과에 대해 가장 큰 연결 라벨링을 수행하고, 최종 간 영역 밖의 병변을 제거하여 간 영역에 대한 최종 병변 분할 결과를 생성한다.
실험 및 결과
본 발명은 201개의 명암 대비 3D 복부 CT 스캔을 제공하는 Liver Tumor Segmentation Challenge(LiTS) 2017 데이터 세트에 대해 트레이닝 되고 평가될 수 있다. 모든 볼륨에는 512 × 512 픽셀의 해상도를 가진 다수의 축 방향 슬라이스가 포함된다. 간 및 간 병변 분할의 실제 측정 값(ground-truth)으로 제공된 131개의 CT 스캔 중 13개의 스캔을 이용하여 두 개의 다상 U-Net 모델을 평가할 수 있으며, 118개의 스캔을 사용하여 두 개의 다상 U-Net 모델을 트레이닝 시킬 수 있다.
영상을 전처리하기 위해, 모든 스캔의 명암 값을 [0, 400] HU 범위로 잘라서 관련 없는 영상 세부 사항을 무시하고, 그런 다음 [0, 1] 내의 스캔을 각 슬라이스의 최대 값으로 표준화할 수 있다.
본 발명에 따른 방법은 PyTorch 라이브러리를 사용하는 Python으로 구현될 수 있으며, 본 발명은 Adam에 운동량 최적화 알고리즘을 적용하여 두 모델 모두를 트레이닝 할 수 있다. 배치(batch)의 크기는 4일 수 있고, 초기 학습 속도는 간의 경우 10-5로 설정할 수 있으며, 병변의 경우 10- 6로 설정할 수 있고, 20회마다 0.5를 곱할 수 있다. 각 모델은 일정 횟수 예를 들어, 60회 트레이닝 될 수 있고, 미리 설정된 시간 예를 들어, 약 4~6 일 동안 트레이닝될 수 있다.
데이터 증가를 위해, 트레이닝 데이터는 512 × 512 슬라이스를 256 × 256로 무작위로 다운 샘플링 될 수 있고, 그런 다음 모든 트레이닝 데이터에 임의의 수평 및 수직 반전, 회전, 시프트 및 탄성 변형을 적용하여 오버피팅 없이 분할 성능을 향상시킬 수 있다.
영상 분할에 대한 네트워크 성능을 평가하기 위해, Dice 계수, Precision, Recall 및 IoU(intersection-over-union) 스코어를 포함하는 세 가지 지표(metric)을 사용하여 예측 마스크와 실제 측정 값 분할을 비교할 수 있으며, 각 스코어는 아래 <수학식 7> 내지 <수학식 10>을 이용하여 평가될 수 있다.
[수학식 7]
Figure 112018076872991-pat00022
[수학식 8]
Figure 112018076872991-pat00023
[수학식 9]
Figure 112018076872991-pat00024
[수학식 10]
Figure 112018076872991-pat00025
여기서, |TP|, |FP| 및 |FN|는 각각 긍정 참(true positive) 픽셀의 개수, 긍정 오류(false positive) 픽셀의 개수 및 부정 오류(false negative) 픽셀의 개수를 의미할 수 있다.
본 발명은 13개의 유효성 검증 케이스를 모두 하나로 결합한 간 및 병변 분할 결과를 점수화할 수 있으며, 아래 표 1은 상기 측정 기준에 근거한 간 및 병변 분할 성능을 나타낸 것이다.
Figure 112018076872991-pat00026
상기 표 1을 통해 알 수 있듯이, 다상 U-Net(2D polyphase U-Net, 2.5D polyphase U-Net)의 간 및 병변 분할에 대한 전반적인 점수는 U-Net(2D U-Net)보다 높은 것을 알 수 있으며, 특히, 다상 U-Net의 간 분할 성능은 약간 향상되었지만, 다상 U-Net의 병변 분할 점수는 크게 향상된 것을 알 수 있다. Dice, Recall 및 IoU 점수에 대한 병변 분할 결과가 각각 10%, 21% 및 10% 개선된 것을 알 수 있다.
또한, 본 발명은 2D 다상 U-Net과 2.5D 다상 U-Net의 비교를 통해 다상 뉴럴 네트워크의 입력으로 슬라이스 스택의 효과를 알 수 있으며, 상기 표 1을 통해 알 수 있듯이, 2.5D 다상 U-Net 방법은 간 및 병변에 대한 모든 평가 메트릭(metric)에 대하여 뛰어난 분할 결과를 가지는 것을 알 수 있다. 특히, Dice 점수는 간과 병변 각각에 대하여 0.949와 0.696까지 증가한 것을 알 수 있으며, Precision, Recall 및 IoU 점수는 기존 방법(2D U-Net) 및 2D 다상 U-Net보다 향상된 것을 알 수 있다.
도 4는 본 발명에 따른 방법에 의한 분할 결과를 설명하기 위한 일 예시도를 나타낸 것으로, 도 4에 도시된 바와 같이, 다상 U-Net(2D polyphaseUNet, 2.5D polyphaseUNet)의 결과는 간(빨간색 영역) 및 병변(녹색 영역)이 기본 U-Net(2D UNet)보다 높은 정확성으로 분할되는 것을 알 수 있으며, 이를 통해 본 발명에 따른 방법이 기존 방법보다 우수한 것을 알 수 있다. 특히, 2.5D 다상 U-Net은 간과 병변의 대비가 낮더라도 간을 명확하게 구분하고 CT 영상(data)에서 작은 종양까지 감지하는 것을 알 수 있다. 또한, 이 결과는 입력 스택이 인접한 정보를 제공하여 본 발명에 따른 방법이 2D 입력 슬라이스로 트레이닝된 네트워크가 감지할 수 없는 분할을 수행함을 보여준다. 즉, 기존 U-Net을 이용한 분할 기법의 경우 분할 대상의 경계가 뚜렷하지 않고 정보가 다소 손실된 것을 알 수 있는 반면, 본 발명에 따른 방법의 경우 분할 대상의 경계가 뚜렷하게 드러나며 비교적 작은 병변에 대해서도 명확하게 분할하는 것을 알 수 있다.
이와 같이, 본 발명의 실시예에 따른 방법은 다상 풀링(polyphase pooling) 레이어와 다상 언풀링(polyphase unpooling) 레이어를 포함하고 프레임 조건을 만족하는 컨볼루션 프레임렛 기반의 다상 뉴럴 네트워크를 이용하여 영상 분할을 수행함으로써, 영상에 포함된 특정 객체에 대한 분할 정확도를 향상시킬 수 있다.
즉, 본 발명의 실시예에 따른 방법은 입력의 고주파 성분을 유지하기 위해 프레임 조건을 만족하는 다상 분해를 사용하고, 고주파수 정보를 잃지 않도록 기존 다중 해상도 뉴럴 네트워크 예를 들어, U-Net을 보완하여 영상에 포함된 객체 예를 들어, 간 및 병변 분할을 보다 상세하게 수행할 수 있으며, 다상 뉴럴 네트워크 입력으로 인접 슬라이스 스택을 사용하는 경우 주변 슬라이스에 대한 정보가 제공되므로 분할 정확도가 더욱 더 향상될 수 있다.
또한, 본 발명의 실시예에 따른 방법은 영상에서 특정 대상을 분할하기 위한 다상 뉴럴 네트워크 기반의 영상 분할 기법을 제공함으로써, 영상 정보의 손실 없이 학습하여 영상 분할 정확도가 높고 연산량이 줄어 의료 영상에서의 종양을 빠르게 검출할 수 있다.
또한, 본 발명의 실시예에 따른 방법은 영상분할을 하기 위한 연산량 및 시간을 단축시키고, 분할 대상과 주변의 대비가 작은 영상에 대해서도 분할 대상의 경계를 뚜렷하게 제공함으로써, 기존 영상 분할 기법에 비해 더 높은 분할 정확도를 제공할 수 있으며, 다상 뉴럴 네트워크를 이용한 자동 영상 분할 기법을 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 분할 장치에 대한 구성을 나타낸 것으로, 상기 도 1 내지 도 4의 방법을 수행하는 장치에 대한 구성을 나타낸 것이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 영상 분할 장치(500)는 수신부(510) 및 분할부(520)를 포함한다.
수신부(510)는 객체 예를 들어, 간 또는 간 병변에 대한 영상 분할을 수행하기 위한 영상 데이터 예를 들어, 복부 CT 슬라이스 영상을 수신한다.
분할부는(520)는 프레임 조건을 만족하는 다상 뉴럴 네트워크를 이용하여 수시된 영상 데이터로부터 미리 설정된 객체 예를 들어, 간 또는 간 병변에 대한 영상 분할을 수행한다.
여기서, 분할부(520)는 프레임 조건을 만족하는 제1 다상 뉴럴 네트워크를 이용하여 수신된 영상 데이터에 포함된 제1 객체 예를 들어, 간 영역에 대한 영상 분할을 수행하고, 프레임 조건을 만족하는 제2 다상 뉴럴 네트워크를 이용하여 제1 객체에 포함된 제2 객체 예를 들어, 간 병변에 대한 영상 분할을 수행할 수 있다.
나아가, 분할부(520)는 다상 뉴럴 네트워크를 이용하여 영상 데이터에 포함된 객체의 특징 정보를 추출하고, 추출된 특징 정보에 기초하여 객체에 대한 영상 분할을 수행할 수 있다.
분할부(520)에서 이용하는 다상 뉴럴 네트워크는 다상 풀링(polyphase pooling) 레이어와 다상 언풀링(polyphase unpooling) 레이어를 포함할 수 있으며, 다상 풀링 레이어는 이웃한 네 개의 픽셀을 네 개의 채널로 분해시키고, 다상 언풀링 레이어는 네 개의 채널을 하나의 채널로 합성할 수 있다.
여기서, 다상 풀링 레이어는 다상 뉴럴 네트워크에 포함된 ReLU(rectified linear unit) 함수의 비선형성과 연결될 수 있으며, 다상 뉴럴 네트워크는 보완하기 위하여 다상 풀링 레이어에서 다상 언풀링 레이어로의 스킵 연결을 포함할 수 있다.
또한, 다상 뉴럴 네트워크는 컨볼루션 프레임렛 예를 들어, 딥 컨볼루션 프레임렛 기반의 뉴럴 네트워크를 포함할 수 있으며, 다상 풀링 레이어와 다상 언풀링 레이어를 포함하는 다중 해상도 뉴럴 네트워크를 포함할 수 있다.
비록, 도 5의 장치에서 그 설명이 생략되었더라도, 도 5을 구성하는 각 구성 수단은 도 1 내지 도 4에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (19)

  1. 영상 데이터를 수신하는 단계; 및
    미리 설정된 프레임 조건을 만족하는 뉴럴 네트워크를 이용하여 상기 영상 데이터에 포함된 미리 설정된 객체에 대한 영상 분할(segmentation)을 수행하는 단계
    를 포함하고,
    상기 뉴럴 네트워크는
    다상 풀링(polyphase pooling) 레이어와 다상 언풀링(polyphase unpooling) 레이어를 포함하며,
    상기 다상 풀링 레이어는
    이웃한 네 개의 픽셀을 네 개의 채널로 분해시키고,
    상기 다상 언풀링 레이어는
    상기 네 개의 채널을 하나의 채널로 합성하는 영상 분할 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 다상 풀링 레이어는
    상기 뉴럴 네트워크에 포함된 ReLU(rectified linear unit) 함수의 비선형성과 연결되는 것을 특징으로 하는 영상 분할 방법.
  5. 제1항에 있어서,
    상기 뉴럴 네트워크는
    상기 다상 풀링 레이어에서 상기 다상 언풀링 레이어로의 스킵 연결(skip connection)을 포함하는 것을 특징으로 하는 영상 분할 방법.
  6. 제1항에 있어서,
    상기 뉴럴 네트워크는
    컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 분할 방법.
  7. 제1항에 있어서,
    상기 영상 분할을 수행하는 단계는
    상기 프레임 조건을 만족하는 제1 뉴럴 네트워크를 이용하여 상기 영상 데이터에 포함된 미리 설정된 제1 객체에 대한 영상 분할을 수행하고, 상기 프레임 조건을 만족하는 제2 뉴럴 네트워크를 이용하여 상기 제1 객체에 포함된 미리 설정된 제2 객체에 대한 영상 분할을 수행하는 것을 특징으로 하는 영상 분할 방법.
  8. 제1항에 있어서,
    상기 영상 분할을 수행하는 단계는
    상기 네트워크를 이용하여 상기 객체의 특징 정보를 추출하고, 상기 추출된 특징 정보에 기초하여 상기 객체에 대한 영상 분할을 수행하는 것을 특징으로 하는 영상 분할 방법.
  9. 영상 데이터를 수신하는 단계;
    미리 설정된 프레임 조건을 만족하는 제1 뉴럴 네트워크를 이용하여 상기 영상 데이터에 포함된 신체 장기에 대한 영상 분할을 수행하는 단계; 및
    상기 프레임 조건을 만족하는 제2 뉴럴 네트워크를 이용하여 상기 신체 장기에 포함된 병변에 대한 영상 분할을 수행하는 단계
    를 포함하고,
    상기 제1 뉴럴 네트워크와 상기 제2 뉴럴 네트워크는
    다상 풀링(polyphase pooling) 레이어와 다상 언풀링(polyphase unpooling) 레이어를 포함하며,
    상기 다상 풀링 레이어는
    이웃한 네 개의 픽셀을 네 개의 채널로 분해시키고,
    상기 다상 언풀링 레이어는
    상기 네 개의 채널을 하나의 채널로 합성하는 영상 분할 방법.
  10. 삭제
  11. 삭제
  12. 영상 데이터를 수신하는 수신부; 및
    미리 설정된 프레임 조건을 만족하는 뉴럴 네트워크를 이용하여 상기 영상 데이터에 포함된 미리 설정된 객체에 대한 영상 분할(segmentation)을 수행하는 분할부
    를 포함하고,
    상기 뉴럴 네트워크는
    다상 풀링(polyphase pooling) 레이어와 다상 언풀링(polyphase unpooling) 레이어를 포함하며,
    상기 다상 풀링 레이어는
    이웃한 네 개의 픽셀을 네 개의 채널로 분해시키고,
    상기 다상 언풀링 레이어는
    상기 네 개의 채널을 하나의 채널로 합성하는 영상 분할 장치.
  13. 삭제
  14. 삭제
  15. 제12항에 있어서,
    상기 다상 풀링 레이어는
    상기 뉴럴 네트워크에 포함된 ReLU(rectified linear unit) 함수의 비선형성과 연결되는 것을 특징으로 하는 영상 분할 장치.
  16. 제12항에 있어서,
    상기 뉴럴 네트워크는
    상기 다상 풀링 레이어에서 상기 다상 언풀링 레이어로의 스킵 연결을 포함하는 것을 특징으로 하는 영상 분할 장치.
  17. 제12항에 있어서,
    상기 뉴럴 네트워크는
    컨볼루션 프레임렛(convolution framelet) 기반의 뉴럴 네트워크를 포함하는 것을 특징으로 하는 영상 분할 장치.
  18. 제12항에 있어서,
    상기 분할부는
    상기 프레임 조건을 만족하는 제1 뉴럴 네트워크를 이용하여 상기 영상 데이터에 포함된 미리 설정된 제1 객체에 대한 영상 분할을 수행하고, 상기 프레임 조건을 만족하는 제2 뉴럴 네트워크를 이용하여 상기 제1 객체에 포함된 미리 설정된 제2 객체에 대한 영상 분할을 수행하는 것을 특징으로 하는 영상 분할 장치.
  19. 제12항에 있어서,
    상기 분할부는
    상기 네트워크를 이용하여 상기 객체의 특징 정보를 추출하고, 상기 추출된 특징 정보에 기초하여 상기 객체에 대한 영상 분할을 수행하는 것을 특징으로 하는 영상 분할 장치.
KR1020180090659A 2018-08-03 2018-08-03 뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치 KR102163225B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180090659A KR102163225B1 (ko) 2018-08-03 2018-08-03 뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180090659A KR102163225B1 (ko) 2018-08-03 2018-08-03 뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20200017607A KR20200017607A (ko) 2020-02-19
KR102163225B1 true KR102163225B1 (ko) 2020-10-08

Family

ID=69669773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180090659A KR102163225B1 (ko) 2018-08-03 2018-08-03 뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102163225B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230059454A (ko) * 2021-10-26 2023-05-03 이화여자대학교 산학협력단 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220016695A (ko) * 2020-08-03 2022-02-10 삼성전자주식회사 딥러닝에 기반한 이미지 분할 장치 및 방법
KR102306083B1 (ko) 2021-02-03 2021-09-29 국방과학연구소 영상 및 라이다를 활용한 차량의 주행 가능 영역 식별 장치 및 방법
KR102615435B1 (ko) * 2021-02-16 2023-12-20 디디에이치 주식회사 라벨링 방법 및 이를 위한 컴퓨팅 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100316784B1 (ko) * 1998-05-30 2002-03-21 윤종용 계층적신경망을이용한물체감지장치및방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DEEP CONVOLUTIONAL FRAMELETS: A GENERAL DEEP LEARNING FRAMEWORK FOR INVERSE PROBLEMS, 2018.01.25.*
Deep Residual Learning for Compressed Sensing CT Reconstruction via Persistent Homology Analysis, 2016.11.25.*
Framing U-Net via Deep Convolutional Framelets: Application to Sparse-View CT, IEEE, 2018.

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230059454A (ko) * 2021-10-26 2023-05-03 이화여자대학교 산학협력단 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치
KR102587670B1 (ko) 2021-10-26 2023-10-10 이화여자대학교 산학협력단 초음파 내시경 영상을 이용한 딥러닝 기반 췌장암의 혈관 침범 분류 방법 및 분석장치

Also Published As

Publication number Publication date
KR20200017607A (ko) 2020-02-19

Similar Documents

Publication Publication Date Title
US10565707B2 (en) 3D anisotropic hybrid network: transferring convolutional features from 2D images to 3D anisotropic volumes
Chen et al. Self-supervised learning for medical image analysis using image context restoration
Al-Masni et al. Skin lesion segmentation in dermoscopy images via deep full resolution convolutional networks
Krishnakumar et al. RETRACTED ARTICLE: Effective segmentation and classification of brain tumor using rough K means algorithm and multi kernel SVM in MR images
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
KR102163225B1 (ko) 뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치
Ni et al. GC-Net: Global context network for medical image segmentation
Tomita et al. Automatic post-stroke lesion segmentation on MR images using 3D residual convolutional neural network
Tang et al. High-resolution 3D abdominal segmentation with random patch network fusion
US11727573B2 (en) Sequential segmentation of anatomical structures in 3D scans
CN100566655C (zh) 用于处理图像以确定图像特性或分析候补的方法
CN113506310B (zh) 医学图像的处理方法、装置、电子设备和存储介质
Abdelmaguid et al. Left ventricle segmentation and volume estimation on cardiac mri using deep learning
Giacomello et al. Brain MRI tumor segmentation with adversarial networks
WO2023207743A1 (zh) 图像检测方法、装置、计算机设备、存储介质及程序产品
CN112581458A (zh) 一种图像处理方法和装置
Saueressig et al. A joint graph and image convolution network for automatic brain tumor segmentation
Banerjee et al. A CADe system for gliomas in brain MRI using convolutional neural networks
Bharathi et al. Combination of hand-crafted and unsupervised learned features for ischemic stroke lesion detection from Magnetic Resonance Images
Carmo et al. Extended 2D consensus hippocampus segmentation
Kamencay et al. 3D image reconstruction from 2D CT slices
Nageswara Reddy et al. BRAIN MR IMAGE SEGMENTATION BY MODIFIED ACTIVE CONTOURS AND CONTOURLET TRANSFORM.
Chauhan et al. Medical image fusion methods: Review and application in cardiac diagnosis
Zhang et al. Deep learning based vein segmentation from susceptibility-weighted images
Patel et al. Multi-class brain tumor segmentation using graph attention network

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
G170 Re-publication after modification of scope of protection [patent]