KR20200050892A - 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템 - Google Patents

의료영상 자동판독을 위한 딥러닝 아키텍처 시스템 Download PDF

Info

Publication number
KR20200050892A
KR20200050892A KR1020190138722A KR20190138722A KR20200050892A KR 20200050892 A KR20200050892 A KR 20200050892A KR 1020190138722 A KR1020190138722 A KR 1020190138722A KR 20190138722 A KR20190138722 A KR 20190138722A KR 20200050892 A KR20200050892 A KR 20200050892A
Authority
KR
South Korea
Prior art keywords
module
branch
training
section
trunk
Prior art date
Application number
KR1020190138722A
Other languages
English (en)
Other versions
KR102361422B1 (ko
Inventor
박건형
권한조
Original Assignee
주식회사 에이아이인사이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이아이인사이트 filed Critical 주식회사 에이아이인사이트
Priority to PCT/KR2019/014732 priority Critical patent/WO2020091516A2/ko
Publication of KR20200050892A publication Critical patent/KR20200050892A/ko
Application granted granted Critical
Publication of KR102361422B1 publication Critical patent/KR102361422B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템에 관한 것으로, 더욱 상세하게는 학습을 위한 데이터 요구량을 최소화하고, 사람이 의료영상을 판독하는 것에 최대한 근접한 방식으로 딥러닝 아키텍처를 쉽게 변형할 수 있는 것을 특징으로 하는 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템에 관한 기술이다.
본 발명에 따른 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 이미지의 특징 추출(feature extraction)을 수행하는 다수 개의 콘볼루션레이어와 연산량을 줄이기 위해 서브샘플링을 수행하는 한 개의 풀링레이어로 구성되는 특징추출레이어 세트가 적어도 한 개 이상 직렬로 배치한 다수개의 합성곱신경망(convolutional neural network, CNN) 아키텍처에서 공통 부분을 하나로 묶은 트렁크모듈(100); 상기 트렁크모듈(100)에서 각각의 아키텍처를 생성하여 상기 트렁크모듈(100)의 아웃풋을 전달받아 상기 이미지에 대한 병변을 식별하여 해당하는 병명을 진단하는 브랜치모듈(200); 다수개의 상기 브랜치모듈(200) 중 어느 하나의 브랜치모듈(200)과 상기 트렁크모듈(100)을 연결한 아키텍처인 섹션(110); 상기 트렁크모듈(100) 중 특정 레이어의 아웃풋을 상기 브랜치모듈(200)로 전달하여, 상기 트렁크모듈(100)과 상기 브랜치모듈(200)을 연결시키는 루트레이어(120);를 포함하고, 상기 브랜치모듈(200)은 학습된 질병마다 별도로 다수 개 구비될 수 있어, 한 개의 상기 브랜치모듈(200)과 상기 트렁크모듈(100)이 결합되어 각 질병마다 하나의 섹션(110)을 이룰 수 있고, 새로운 기능을 이용하는 경우에, 다수 개의 섹션(110) 중 해당하는 섹션(110)만을 사용하여 연산할 수 있도록 구성되어 연산요구량과 저장요구량을 동시에 감소시킬 수 있는 것을 특징으로 한다.

Description

의료영상 자동판독을 위한 딥러닝 아키텍처 시스템{Deep Learning Architecture System for Automatic Interpretation of Medical Video}
본 발명은 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템에 관한 것으로, 더욱 상세하게는 학습을 위한 데이터 요구량을 최소화하고, 사람이 의료영상을 판독하는 것에 최대한 근접한 방식으로 딥러닝 아키텍처를 쉽게 변형할 수 있는 것을 특징으로 하는 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템에 관한 기술이다.
구글이 최근 2016년도에 발표한 당뇨망막병증 자동판독에 관한 논문에 의하면 당뇨망막병증 1개를 판단하기 위하여 의사 50여명이 작성한 10만여개의 학습데이터를 필요로 했다. 결과적으로는 좋은 성과를 보였지만, 단점은 질병 1개를 학습시키기 위하여 너무 많은 노력이 필요하다는 것이었다. 반면 사람의 경우 안과 전문의가 될 때까지 학습하는 안저사진의 양은 그보다 훨씬 적다. 따라서 사람의사가 판독하는 방식과 유사하게 인공지능을 구성하게 되면 필요한 학습데이터의 양을 크게 감축시킬 수 있다는데 착안하여 이와 같은 알고리즘을 고안하게 되었다.
사람 의사의 경우 의료영상을 보고 판독할 때 이미지 전체를 직관적으로 대략 살펴보고 큰 질병 카테고리를 유추한다. 이후 사진을 확대하여 자세히 살펴보면 의학교과서에 기술된 질병의 진단에 필수적인 병변들을 찾아내어 확진을 하게 된다. 이러한 과정을 곰곰이 되짚어 보게 되면, 사람의사는 전체적인 윤곽을 직관적으로 인식하는 하나의 지식을 가지고 있는 것으로 보이고, 여기에 개별 병변을 각각 인식하는 또 다른 지식 체계를 가지고 있는 것으로 생각된다. 즉 전체를 보는 지식 브랜치, 병변을 보는 브랜치 로 구성되어 있는 것이다. 따라서 의료영상의 해석에는 거의 항상 복수개의 분류(classifier)와 복수개의 객체 탐지(object detection)가 동시에 필요한 것을 알 수 있고, 영상의 도메인(domain)이 같으므로 이들을 하나의 특징 추출 아키텍쳐(feature extraction architecture) 로 융합시킬 수 있다.
최근 영상인식 분야에 비약적인 발전을 가져온 딥러닝 신경망은 합성곱신경망 (convolutional neural network, CNN) 이다. 합성곱신경망은 맨 처음 입력 이미지 데이터에 계속해서 반복적으로 필터를 합성곱 하여 다음 단계의 레이어에 전달하는 것을 특징으로 한다. 합성곱신경망 아키텍처는 초기 AlexNet에서 시작하여 구글의 LeNet, Inception, Skip connection을 특징으로 하는 ResNet 등이 있다. 이들은 서로 다른 아키텍처이지만, 공통적으로 콘볼루션(convolution)을 수직으로 쌓아가며 전역 특징(global feature)를 추출해내는 특징 추출(feature extraction) 부분과 판단을 내리는 분류 레이어(classification layer)로 구성되어 있다. 예를 들어 구글의 아키텍처 inception V3의 경우, 도 1에 도시된 바와 같이 구성되어 있으며, 최종 판단을 내리는 부분을 병목(bottleneck)이라고 부르기도 한다.
인공신경망은 degradation problem이라 하여 레이어가 깊어질수록 앞쪽의 정보가 뒤쪽으로 잘 전달되지 않고 희석되는 문제가 있다. 이는 학습과정에서 역전파가 일어날 때에도 마찬가지이며, 오차의 역전파 과정에서 앞쪽으로 되돌아 갈수록 오차가 거의 전달되지 않아 학습이 이루어 지지 않아 신경망의 가중치 값들이 거의 업데이트 되지 않는다. 오차의 역전파 과정에서 앞쪽 레이어가 잘 학습되지 않는 문제를 vanishing gradient problem이라고도 한다.
본 발명은 이러한 문제점을 해결하고 오히려 이러한 인공신경망의 특징을 역으로 이용하여, 의료영상의 해석에 거의 항상 사용되는 분류(classifier)와 객체탐지 (object detection)의 특징 추출 레이어(feature extraction layer)를 공통으로 묶어 (trunk) 트레이닝 시킨다. 딥러닝 인공신경망의 특성상 영상의 도메인(domain)에 충분히 적응된 트렁크(trunk)는 여러 브렌치(branch)구조가 병목부 레이어(bottleneck layer)로 연결되어 있더라도, 오차의 역전파 과정에서 변형이 크게 일어나지 않는다. 따라서 이후 각각의 브렌치(branch)만을 다시 미세 튜팅(fine tuning) 하게 되면, 하나의 트렁크(trunk)에 부착된 복수개의 아키텍처를 동시에 처리할 수 있게 된다.
Varun Gulshan, PhD; Lily Peng, MD, PhD; Marc Coram, PhD; et al. "Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs"December 13, 2016, JAMA. 2016;316(22):2402-2410. doi:10.1001/jama.2016.17216
본 발명은 상술한 바와 같은 선행 기술의 문제점을 해결하기 위하여 안출된 것으로, 인공신경망의 특징과 전이학습 방법에 착안하여 여러 아키텍처의 공통부분을 묶어 한번만 계산을 하고, 여기에서 파생된 여러 개의 각각의 병목(bottleneck)부분을 가지는 것을 특징으로 하는 새로운 아키텍처 구조를 다룬 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템을 제공하는 데 그 목적이 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제로 제한되지 않으며, 여기에 언급되지 않은 본 발명이 해결하려는 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 이미지의 특징 추출(feature extraction)을 수행하는 다수 개의 콘볼루션레이어와 연산량을 줄이기 위해 서브샘플링을 수행하는 한 개의 풀링레이어로 구성되는 특징추출레이어 세트가 적어도 한 개 이상 직렬로 배치한 다수개의 합성곱신경망(convolutional neural network, CNN) 아키텍처에서 공통 부분을 하나로 묶은 트렁크모듈(100); 상기 트렁크모듈(100)에서 각각의 아키텍처를 생성하여 상기 트렁크모듈(100)의 아웃풋을 전달받아 상기 이미지에 대한 병변을 식별하여 해당하는 병명을 진단하는 브랜치모듈(200); 다수개의 상기 브랜치모듈(200) 중 어느 하나의 브랜치모듈(200)과 상기 트렁크모듈(100)을 연결한 아키텍처인 섹션(110); 상기 트렁크모듈(100) 중 특정 레이어의 아웃풋을 상기 브랜치모듈(200)로 전달하여, 상기 트렁크모듈(100)과 상기 브랜치모듈(200)을 연결시키는 루트레이어(120);를 포함하고, 상기 브랜치모듈(200)은 학습된 질병마다 별도로 다수 개 구비될 수 있어, 한 개의 상기 브랜치모듈(200)과 상기 트렁크모듈(100)이 결합되어 각 질병마다 하나의 섹션(110)을 이룰 수 있고, 새로운 기능을 이용하는 경우에, 다수 개의 섹션(110) 중 해당하는 섹션(110)만을 사용하여 연산할 수 있도록 구성되어 연산요구량과 저장요구량을 동시에 감소시킬 수 있는 것을 특징으로 한다.
상기 과제의 해결 수단에 의해, 또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 브랜치모듈 별로 각각 개별적인 트레이닝 할 수 있으면서, 전체 시스템에 영향을 미치지 않고 필요에 따라 일부분만 트레이닝 할 수 있는 효과가 있다.
또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 공통 부분이 축약되므로 컴퓨팅의 연산요구량과 저장요구량을 동시에 감소시킬 수 있다.
또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 이미지의 카테고리를 분류하는 분류(classifier) 레이어와 이미지 내에 특정 관심 병변을 찾는 객체 탐지(object detector) 레이어와 같이 서로 다른 기능을 하는 아키텍쳐의 장점을 각각 살리면서 하나의 아키텍처처럼 사용할 수 있다.
또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 어떤 변화가 생겨 신경망을 재학습 시켜야 할 필요가 있을 때, 전체를 다시 학습시키는 것이 아니라 필요한 부분(branch)만 학습시킬 수 있다.
또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 신경망을 학습시키기 위해 [이미지+라벨]의 트레이닝 세트를 준비할 때, 필요한 만큼 진단명만 따로 라벨링하고, 필요한 만큼 병변만 라벨링 하게 되어 각각의 브랜치 별로 따로 라벨을 구성할 수 있어 효율적이다.
또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 전체 신경망의 기능 중 개별 기능만 따로 필요한 경우 섹션(section)만 분리하여 그 기능만 따로 사용할 수 있으므로 특정 기능을 이용하기 위해 아키텍처 전체를 사용하지 않으므로 효율적이다.
또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 이미 신경망을 트레이닝 한 후 새로운 라벨 리스트와 라벨된 데이터가 준비되었을 경우 그것을 처리하는 브랜치만을 하나 더 추가하여 신경망에 새로운 기능을 만들 수 있으므로, 새로운 기능을 추가하기 용이하다.
또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 개별의 아키텍처를 각각 실행한 것에 비해 속도가 빠른 효과가 있다.
도 1은 구글의 아키텍처 inception V3의 개념도이다.
도 2는 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템의 개념도이다.
이상과 같은 본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
[발명의 배경이 되는 기술]에서 상술한 바와 같이, 인공신경망에서 오차의 역전파 과정 중 앞쪽 레이어가 잘 학습되지 않는 특징은 때로는 문제가 되기도 하지만, 때로는 전이학습(transfer learning) 및 파인튜닝(fine tuning)에 역으로 이용되기도 한다. 즉 이미 이미지 수천, 혹은 수만 장으로 트레이닝 완료된 인공신경망을 특정 분야에 다시 적용시키는 경우, 신경망 전체를 처음부터 학습시키지 않는다. 대신 신경망의 앞쪽 부분인 특징 추출 레이어(feature extraction layer)는 가중치를 아예 잠그고 고정시켜 변화를 차단(transfer learning)하거나 혹은 기존의 학습된 가중치를 그대로 복사(fine tuning)해서 가져오고, 말단 부분인 병목(bottleneck)을 재학습 시킨다.
이렇게 하는 이유는 신경망 전체를 재학습 시키는 데에는 엄청난 노력이(즉 엄청난 양의 학습 데이터) 필요하고, 트레이닝 시간도 오래 걸리기 때문에, 상대적으로 얼마 되지 않는 병목(bottleneck) 부분만 학습시키게 되면 빠르고, 적은 양의 데이터로 학습이 가능하기 때문이다. 또한 어차피 역전파가 거듭되어도 앞쪽 레이어는 신경망의 특성상 변화가 크게 일어나지 않기 때문에, 이를 고정하거나, 기존의 것을 그대로 복사해서 온다고 하여도 학습 성능에 크게 영향을 미치지 않기 때문이다.
따라서 본 발명에서는 이러한 인공신경망의 특징과 전이학습 방법에 착안하여 여러 아키텍처의 공통부분을 묶어 한번만 계산을 하고, 여기에서 파생된 여러 개의 각각의 병목(bottleneck) 부분을 가지는 것을 특징으로 하는 새로운 아키텍처 구조를 기술하고자 한다.
히드라넷(HydraNet) 아키텍처로 정의되는 본 발명에 따른 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템의 구조는, 복수의 합성곱신경망 아키텍처의 공통부분을 하나로 묶고, 변화되는 부분을 루트 레이어(route layer)로 연결하도록 마련된다. 도 2에 나타난 바와 같이, 3개의 합성곱신경망 아키텍처를 하나로 묶어 상기 히드라넷(HydraNet) 아키텍처로 만드는 예를 보여주고 있다.
상기 히드라넷(HydraNet) 아키텍처는 콘볼루션레이어와 풀링레이어로 구성되는 피쳐추추레이어세트가 적어도 한 개 이상 직렬로 배치되는 트렁크모듈(100), 상기 트렁크모듈(100)의 아웃풋을 전달받아 병명을 진단하는 브랜치모듈(200) 및 상기 트렁크모듈(100)과 브랜치모듈(200)을 연결하는 루트레이어(120)로 구성된다.
상기 트렁크모듈(100)은 상기 콘볼루션레이어와 풀링레이어로 구성되고, 상기 콘볼루션레이어는 이미지의 특징을 추출한다. 상기 풀링레이어는 연산량을 줄이기 위해 서브샘플링을 수행하는 한 개의 레이어이다. 상기 트렁크모듈(100)은 일련의 콘볼루션 레이어인 이미지 특징 레이어(feature extraction layer)를 이용하여 상기 이미지의 특징을 추출한다.
상기 브랜치모듈(200)은 상기 트렁크모듈(100)의 아웃풋을 전달 받아 상기 이미지에 대한 병변을 식별하여 해당하는 병명을 진단한다. 상기 브랜치모듈(200)은 각각의 분류 레이어(classification layer)를 이용하여 최종 병명을 진단한다.
상기 루트레이어(120)는 상기 트렁크모듈(100) 중 특정 레이어의 아웃풋을 상기 브랜치모듈(200)로 전달하여 상기 트렁크모듈(100)과 상기 브랜치모듈(200)을 연결시킨다.
여기서, 상기 브랜치모듈(200)은 학습된 질병마다 별도로 다수 개 구비될 수 있어, 한 개의 상기 브랜치모듈(200)과 상기 트렁크모듈(100)이 결합되어 각 질병마다 하나의 섹션(110)을 이룰 수 있고, 새로운 기능을 이용하는 경우에, 다수 개의 섹션(110) 중 해당하는 섹션(110)만을 사용하여 연산할 수 있도록 구성되어 연산요구량과 저장요구량을 동시에 감소시킬 수 있는 것이다.
이렇게 공통부분을 묶은 상기 트렁크모듈(100)을 포함하여 상기 히드라넷(HydraNet)을 구성하게 되면 아래와 같은 여러 가지 장점을 가지게 된다. 먼저, 공통부분이 축약되므로 컴퓨팅의 연산요구량과 저장요구량이 동시에 감소한다. 또한, 어떤 변화가 생겨 신경망을 재학습 시켜야 할 필요가 생겼을 때, 전체를 다시 학습시키는 것이 아니라 필요한 부분의 브랜치(branch)만 학습시킬 수 있다. 또한, 신경망을 학습시키기 위해 [이미지+라벨]의 트레이닝 세트를 준비할 때, 각각의 브랜치(branch) 별로 따로 라벨을 구성할 수 있다.
예를 들어 의료영상의 경우, 어떤 사진 수천장이 존재한다고 했을 때, 이들 모두를 진단명도 라벨링 하고, 개별 병변도 빠짐없이 모두 라벨링 한다면, 엄청난 노력이 필요할뿐더러 효율적이지 못하다. 왜냐하면 병변을 신경망에게 학습시키기 위해서 필요한 사진의 개수와, 진단명을 학습시키기 위해 필요한 사진의 개수는 다를 수 있는데, 이들 모두를 한꺼번에 라벨링 하게 되면 불필요한 노력의 낭비가 생길 수 있다. 따라서 이럴 경우 진단명을 찾는 브랜치(branch)와 개별 병변을 찾는 브랜치(branch)를 각각 구성하여 상기 히드라넷(HydraNet) 구조로 만들면 필요한 만큼 진단명만 따로 라벨링하고, 필요한 만큼 병변만 라벨링 하게 되어 효율적이게 된다.
또한, 전체 신경망의 기능 중 개별 기능만 따로 필요하게 되었을 경우, 상기 히드라넷(HydraNet)의 섹션(110)을 분리하여 이용하면 그 기능만 따로 사용할 수 있게 된다. 예를 들어 안과영상을 트레이닝 할 때 망막 브랜치(branch)와 녹내장 브랜치(branch)로 상기 히드라넷(HydraNet)을 구성하였다고 하면, 추후 녹내장만 보는 신경망을 만들고자 할 때에는 쉽게 녹내장 브랜치(branch)를 따로 떼어 트렁크(trunk)와 이어 붙여 녹내장 섹션(110) 을 이용하는 것이다. 이렇게 하면 특정 기능을 이용하기 위해 아키텍처 전체를 사용하지 않아도 되어 연산요구량과 저장요구량이 동시에 감소되어 효율적이다.
본 발명에 따른 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템(히드라넷(HydraNet))은 개념적으로 공통부분인 트렁크모듈(100)과 개별적인 브랜치모듈(200)이 병렬로 연결된 구조를 갖는데, 실제 구현을 할 때에는 이러한 레이어가 직렬로 연속적으로 쌓아 놓고, 중간 중간에 상기 루트 레이어(route layer)를 삽입한 형태가 된다. [표 1]은 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템의 공통 트렁크(trunk)인 특징 추출 레이어(feature extraction layer)의 구체적인 아키텍처구조 이다.
즉, [표 1]에 도시된 바처럼 구현되는데, 앞서 기술한 3개의 합성곱신경망을 상기 히드라넷(HydraNet)으로 변경하는 예제는 실제 구현에서 위와 같은 연속적인 브랜치모듈(200) 중간 중간에 상기 루트레이어(120)를 삽입하여 데이터 흐름을 바꾸게 되어 있다. Keras나 Darknet 같은 오픈소스 신경망 플랫폼에서 위와 같이 연속적 레이어를 축적시킴으로써 본 발명에서는 개념상으로는 병렬로 이어진 히드라넷(HydraNet) 아키텍처를 직렬 적층 구조로 구현할 수 있다.
Layer Repeat Filters Size Stride Input Output
Convolution0 1 32 3x3 1 640x640x3 640x640x32
Convolution1 64 3x3 2 640x640x32 320x320x64
Convolution2 32 1x1 1 320x320x64 320x320x32
Convolution3 64 3x3 1 320x320x32 320x320x64
Shortcut0 = add (conv2, conv3) 320x320x64 320x320x64
Convolution4 x4 128 3x3 2 320x320x64 160x160x128
Convolution5 64 1x1 1 160x160x128 160x160x64
Convolution6 128 3x3 1 160x160x64 160x160x128
Shortcut1 = add (conv5, conv6) 160x160x128 160x160x128
Convolution7 x8 256 3x3 2 160x160x128 80x80x256
Convolution8 128 1x1 1 80x80x256 80x80x128
Convolution9 256 3x3 1 80x80x128 80x80x256
Shortcut2 = add (conv8, conv9) 80x80x256 80x80x256
Convolution10 x8 512 3x3 2 80x80x256 40x40x512
Convolution11 256 1x1 1 40x40x512 40x40x256
Convolution12 512 3x3 1 40x40x256 40x40x512
Shortcut3 = add (conv11, conv12) 40x40x512 40x40x512
Convolution13 x4 1024 3x3 2 40x40x512 20x20x1024
Convolution14 512 1x1 1 20x20x1024 20x20x512
Convolution15 1024 3x3 1 20x20x512 20x20x1024
Shortcut4 = add (conv14, conv15) 20x20x1024 20x20x1024
상기 브랜치모듈(200)은 상기 트렁크모듈(100)의 아웃풋을 전달 받아 상기 이미지에 대한 병변을 식별하여 해당하는 병명을 진단한다. 상기 브랜치모듈(200)은 각각의 분류기 브랜치(classifier branch)를 이용하여 상기 병변을 식별한 후, 객체탐지 브랜치(object detection branch)를 이용하여 최종 병명을 진단한다.
[표 2]는 본 발명의 의료영상 자동판독을 위한 상기 분류기 브랜치(classifier branch)의 구체적인 구조이다. 상기 분류기 브랜치(classifier branch)는 한 개 혹은 복수개가 트렁크(trunk) 에 연결될 수 있으며, 필요에 따라 그 수는 변경될 수 있다.
Layer Filters Size Stride Input Output
Convolution0 512 1x1 1 Shortcut4 output 20x20x512
Convolution1 1024 3x3 1 20x20x512 20x20x1024
Convolution2 512 1x1 1 20x20x1024 20x20x512
Convolution3 1024 3x3 1 20x20x512 20x20x1024
Convolution4 512 1x1 1 20x20x1024 20x20x512
Global Average Pooling 20x20x512 204800
Dense1 256 204800 256
Dense2 N1 256 N1
한편, 일반적으로 tensorflow, keras, darknet 등 대부분의 딥러닝 플랫폼에서결과로 출력하는 라벨은 일련의 숫자(index)로 되어 있으며, 이것을 사람이 판독하기 위해 텍스트로 된 이름과 맵핑하는 “라벨”을 가진다.
그러나 본 발명인 히드라넷(HydraNet)에서는 복수의 아키텍처를 모아 놓은 구조이기 때문에 이들을 한꺼번에 시리얼 넘버(serial number)를 부여해서는 안 된다. 본 발명에 따른 의료영상 자동판독을 위한 딥러닝 아케틱쳐 시스템에서는, [표 3]에 도시된 바와 같이, 상기 브랜치(branch) 별로 각각 새롭게 0에서 시작하는 라벨링 구조를 택한다. 이를 통해 트레이닝 과정에서 각각의 섹션(110)을 분리하였을 때 딥러닝 플랫폼은 마치 완전히 독립된 라벨링, 아키텍처, 가중치 값을 갖는 것과 같게 된다.
[표 3]은 본 발명의 의료영상 자동판독을 위한 상기 객체탐지 브랜치(object detection branch)의 구체적인 구조이다. [도 2]에 나타난 바와 같이, 한 개 혹은 복수개의 브랜치(branch)가 하나의 트렁크(trunk)에 연결될 수 있으며, 필요에 따라 그 수를 조절한다.
Layer Filters Size Stride Input Output Grid
Convolution0 512 1x1 1 Shortcut4 output 20x20x512
Convolution1 1024 3x3 1 20x20x512 20x20x1024
Convolution2 512 1x1 1 20x20x1024 20x20x512
Convolution3 1024 3x3 1 20x20x512 20x20x1024
Convolution4 512 1x1 1 20x20x1024 20x20x512
Convolution5 1024 3x3 1 20x20x512 20x20x1024
Convolution6 N 1x1 1 20x20x1024 20x20xN 20x20
YOLO1
Convolution7 256 1x1 1 Convolution4 20x20x256
Up sample 2x 20x20x256 40x40x256
Concat0 40x40x256,Shortcut3 40x40x768
Convolution8 256 1x1 1 40x40x768 40x40x256
Convolution9 512 3x3 1 40x40x256 40x40x512
Convolution10 256 1x1 1 40x40x512 40x40x256
Convolution11 512 3x3 1 40x40x256 40x40x512
Convolution12 256 1x1 1 40x40x512 40x40x256
Convolution13 512 3x3 1 40x40x256 40x40x512
Convolution14 N 1x1 1 40x40x512 40x40xN 40x40
YOLO2
Convolution15 128 1x1 1 Convolution12 40x40x128
Up sample 2x 40x40x128 80x80x128
Concat1 80x80x128,Shortcut2 80x80x384
Convolution16 128 1x1 1 80x80x384 80x80x128
Convolution17 256 3x3 1 80x80x128 80x80x256
Convolution18 128 1x1 1 80x80x256 80x80x128
Convolution19 256 3x3 1 80x80x128 80x80x256
Convolution20 128 1x1 1 80x80x256 80x80x128
Convolution21 256 3x3 1 80x80x128 80x80x256
Convolution22 N 1x1 1 80x80x256 80x80xN 80x80
YOLO3
본 발명에 따른 의료영상 자동판독을 위한 딥러닝 아케틱쳐 시스템은 복수의 아키텍처의 공통부분의 가중치 값들은 하나로 모아져 있고, 개별 브랜치(branch)의 가중치는 따로 분리 되어서 저장되어 있는 구조이기 때문에, 트레이닝도 일반적인 방법이 아닌 특수한 방법이 필요하다. 상기 히드라넷(HydraNet)을 적절히 트레이닝 시키기 위해서는 다음과 같은 과정이 필요하다.
1. 초기 훈련(Initial training, S100)
상기 초기 훈련 단계(S100)는 상기 트렁크모듈(100)의 가중치를 도메인 적용(domain adaptation) 시키는 과정으로 볼 수 있으며, 아래와 같은 방법으로 시행한다.
먼저, 제1-1단계(S101)는 상기 브랜치모듈(200)을 각각 분리하여 상기 트렁크모듈(100)과 연결하여 섹션(110)을 생성한다. 다음으로, 제1-2단계(S102)는 상기 분리된 브랜치모듈(200) 별로 모인 상기 섹션(110) 중 가장 많은 수의 데이터를 가지는 섹션(110)을 1차 훈련하여 가중치를 생성한다. 상기 각각의 브랜치모듈(200) 별로 모아져 있는 트레이닝 세트 중 가장 많은 수의 데이터를 가지는 섹션(110)을 먼저 최대한 트레이닝 한다. 이렇게 하면 첫 번째 섹션(110)에 대한 상기 트렁크모듈(100)과 브랜치모듈(200)의 가중치가 트레이닝 되게 된다. 이것은 도메인 적용(domain adaptation) 이라는 개념과 유사하다. 다음으로, 제1-3단계(S103)는 상기 제1-2단계(S102)에서 훈련된 가중치의 트렁크모듈(100)을 부분을 따로 분리한 후, 상기 제1-2단계(S102)에서 다음으로 많은 수의 데이터를 가지는 섹션(110)의 브랜치모듈(200)과 연결하여 2차 훈련하는 가중치를 생성한다. 다음으로, 제1-4단계(S104)는 상기 브랜치모듈(200) 전체에서 상기 제1-3단계(S103)를 반복 적용한다. 즉, 이 과정을 모든 브랜치모듈(200)에 대해 반복 적용한다.
위 과정을 거치게 되면 상기 히드라넷(HydraNet)의 트렁크모듈(100)은 상기 브랜치모듈(200)의 개수만큼 트레이닝이 일어나고, 개별 브랜치모듈(200)은 각각 1번의 트레이닝을 완료하게 된다. 여기까지는 섹션(110)을 분리하여 트레이닝 하고, 이후 트렁크모듈(100)만 떼어 다음 브랜치모듈(200)에 전달한다는 점을 제외하면 일반적인 합성곱신경망을 트레이닝 하는 것과 유사하다. 그러나 이 과정을 통하여 각각의 섹션(110)을 트레이닝 할 때마다 공통부분 트렁크모듈(100)이 조금씩 변형되기 때문에 최종 트레이닝을 마치고 나면 공통 부분인 트렁크모듈(100)의 가중치는 각각의 브랜치모듈(200) 모두에게 약간씩 어긋난 값을 가지게 된다. 즉 모든 브랜치모듈(200)에 약간씩 맞지 않는 트렁크모듈(100)이 만들어지게 되는 것이다. 따라서 아래의 라운드 훈련(Round training, S200)으로 명명된 특징적인 히드라넷(HydraNet)의 트레이닝 기법을 통하여 브랜치 미세 튜닝 훈련(fine tuning, S300)을 다시 한 번 해줌으로써, 상기 트렁크모듈(100)을 상기 브랜치모듈(200) 모두에게 적절하도록 수정하는 과정을 거쳐야 한다.
2. 라운드 훈련(Round training, S200)
상기 초기 훈련(Initial training)과 마찬가지로 섹션(110)을 따로 떼어 각각을 트레이닝 시키되, 이번에는 정해진 시간 (예: 30분) 만큼만 트레이닝 하고 다음 섹션(110)으로 넘어간다. 이 과정을 계속해서 반복하여 전체적인 오차가 최저가 될 때까지 시행한다.
상기 라운드 훈련(Round training)만 하여도 상기 트렁크모듈(100)과 브랜치모듈(200)이 전체적인 맥락에 일치되도록 계속해서 수정이 이루어지기 때문에 최적의 성능을 내는 가중치값을 얻어낼 수 있다. 그러나 일부 브랜치모듈(200)이 약간 변형이 되던가, 학습데이터가 특정 브랜치모듈(200)에만 약간 추가되는 경우 그 브랜치모듈(200)만 수정을 해줘야 하는 경우가 생기게 된다. 이러한 경우 전체 라운드 훈련(Round training)을 다시 시행해줄 수도 있지만, 변화가 생긴 브랜치모듈(200) 만을 전이학습 시키는 방법도 있는데, 이를 아래의 브랜치 미세 튜닝 단계(Branch fine tuning, S300)이라 정의하며 다음 과정을 통해 이루어진다.
3. 브랜치 미세 튜닝 단계(Branch fine tuning, S300)
히드라넷(HydraNet) 아키텍처에서 상기 트렁크모듈(100)의 훈련 가능성(trainable)을 ‘false’ 로 설정하여 오차가 역전파 되는 것을 방지하고 가중치를 프리징(freezing) 시킨다. 이후 상기 라운드 훈련 단계를 시행하게 되면 각각의 개별 브랜치모듈(200)의 가중치만 업데이트 된다. 이는 일종의 브랜치 전이 학습(transfer learning)을 본 발명인 히드라넷(HydraNet)에 적용시킨 것이라 볼 수 있다.
상기 과제의 해결 수단에 의해, 또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 브랜치모듈(200) 별로 각각 개별적인 트레이닝 할 수 있으면서, 전체 시스템에 영향을 미치지 않고 필요에 따라 일부분만 트레이닝 할 수 있는 효과가 있다.
또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 공통 부분이 축약되므로 컴퓨팅의 연산요구량과 저장요구량을 동시에 감소시킬 수 있다.
또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 이미지의 카테고리를 분류하는 분류(classifier) 레이어와 이미지 내에 특정 관심 병변을 찾는 객체 탐지(object detector) 레이어와 같이 서로 다른 기능을 하는 아키텍쳐의 장점을 각각 살리면서 하나의 아키텍처처럼 사용할 수 있다.
또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 어떤 변화가 생겨 신경망을 재학습 시켜야 할 필요가 있을 때, 전체를 다시 학습시키는 것이 아니라 필요한 부분(branch)만 학습시킬 수 있다.
또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 신경망을 학습시키기 위해 [이미지+라벨]의 트레이닝 세트를 준비할 때, 필요한 만큼 진단명만 따로 라벨링하고, 필요한 만큼 병변만 라벨링 하게 되어 각각의 브랜치 별로 따로 라벨을 구성할 수 있어 효율적이다.
또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 전체 신경망의 기능 중 개별 기능만 따로 필요한 경우 섹션(110)(section)만 분리하여 그 기능만 따로 사용할 수 있으므로 특정 기능을 이용하기 위해 아키텍처 전체를 사용하지 않으므로 효율적이다.
또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 이미 신경망을 트레이닝 한 후 새로운 라벨 리스트와 라벨된 데이터가 준비되었을 경우 그것을 처리하는 브랜치만을 하나 더 추가하여 신경망에 새로운 기능을 만들 수 있으므로, 새로운 기능을 추가하기 용이하다.
또한, 본 발명의 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템은, 개별의 아키텍처를 각각 실행한 것에 비해 속도가 빠른 효과가 있다.
상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100. 트렁크모듈
110. 섹션
120. 루트레이어
200. 브랜치모듈
S100. 합성곱신경망 아키텍처에서 공통 부분을 하나로 묶은 트렁크모듈(100)에서 아웃풋을 전달받아 해당하는 병명을 진단하는 각각의 브랜치모듈(200)을 상기 트렁크모듈(100)과 연결하여 섹션(110)을 생성 후, 상기 섹션(110) 중 가장 많은 데이터를 가지는 섹션(110) 순으로 훈련하여 가중치를 생성하는 초기 훈련 단계
S101. 상기 브랜치모듈(200)을 각각 분리하여 상기 트렁크모듈(100)과 연결하여 섹션(110)을 생성하는 제1-1단계
S102. 상기 분리된 브랜치모듈(200) 별로 모인 상기 섹션(110) 중 가장 많은 수의 데이터를 가지는 섹션(110)을 1차 훈련하여 가중치를 생성하는 제1-2단계
S103. 상기 제1-2단계에서 훈련된 가중치의 트렁크모듈(100)을 부분을 따로 분리한 후, 상기 제1-2단계에서 다음으로 많은 수의 데이터를 가지는 섹션(110)의 브랜치모듈(200)과 연결하여 2차 훈련하는 가중치를 생성하는 제1-3단계
S104. 상기 브랜치모듈(200) 전체에서 상기 제1-3단계를 반복 적용하는 제1-4단계
S200. 상기 초기 훈련 단계에서 섹션(110)을 생성할 때 마다 상기 트렁크모듈(100)과 각각의 브랜치모듈(200)이 어긋난 값을 가지는 경우 상기 섹션(110)을 따로 떼어 훈련 시키되, 기설정된 시간 동안만 훈련한 후 다음 섹션(110)을 훈련시켜 전체 오차가 최저가 될 때 까지 시행하는 라운드 훈련 단계
S300. 상기 라운드 훈련 단계 시행 후 일부 브랜치모듈(200)에 변화가 생긴 경우, 상기 트렁크모듈(100)의 훈련 가능성을 ‘false’로 적용한 후 변화가 생긴 상기 브랜치모듈(200)에만 상기 라운드 훈련 단계를 실시하는 브랜치 미세 튜닝 단계

Claims (5)

  1. 이미지의 특징 추출(feature extraction)을 수행하는 다수 개의 콘볼루션레이어와 연산량을 줄이기 위해 서브샘플링을 수행하는 한 개의 풀링레이어로 구성되는 특징추출레이어 세트가 적어도 한 개 이상 직렬로 배치한 다수개의 합성곱신경망(convolutional neural network, CNN) 아키텍처에서 공통 부분을 하나로 묶은 트렁크모듈(100);
    상기 트렁크모듈(100)에서 각각의 아키텍처를 생성하여 상기 트렁크모듈(100)의 아웃풋을 전달받아 상기 이미지에 대한 병변을 식별하여 해당하는 병명을 진단하는 브랜치모듈(200);
    다수개의 상기 브랜치모듈(200) 중 어느 하나의 브랜치모듈(200)과 상기 트렁크모듈(100)을 연결한 아키텍처인 섹션(110);
    상기 트렁크모듈(100) 중 특정 레이어의 아웃풋을 상기 브랜치모듈(200)로 전달하여, 상기 트렁크모듈(100)과 상기 브랜치모듈(200)을 연결시키는 루트레이어(120);를 포함하고,
    상기 브랜치모듈(200)은 학습된 질병마다 별도로 다수 개 구비될 수 있어,
    한 개의 상기 브랜치모듈(200)과 상기 트렁크모듈(100)이 결합되어 각 질병마다 하나의 섹션(110)을 이룰 수 있고,
    새로운 기능을 이용하는 경우에, 다수 개의 섹션(110) 중 해당하는 섹션(110)만을 사용하여 연산할 수 있도록 구성되어 연산요구량과 저장요구량을 동시에 감소시킬 수 있는 것을 특징으로 하는 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템.
  2. 제1항에 있어서,
    상기 트렁크모듈(100)은 다수 개의 상기 브랜치모듈(200)과 각각 연결되며, 상기 브랜치모듈(200)의 직후에 상기 루트레이어(120)가 삽입된 형태로 구성되는 것을 특징으로 하는 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템.
  3. 제1항에 있어서,
    상기 트렁크모듈(100)에서 가중치 값들은 하나로 모아져 있고,
    상기 브랜치모듈(200)에서 가중치 값들은 개별 브랜치모듈(200) 마다 따로 분리되어 저장되는 것을 특징으로 하는 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템.
  4. 합성곱신경망 아키텍처에서 공통 부분을 하나로 묶은 트렁크모듈(100)에서 아웃풋을 전달받아 해당하는 병명을 진단하는 각각의 브랜치모듈(200)을 상기 트렁크모듈(100)과 연결하여 섹션(110)을 생성 후, 상기 섹션(110) 중 가장 많은 데이터를 가지는 섹션(110) 순으로 훈련하여 가중치를 생성하는 초기 훈련 단계;
    상기 초기 훈련 단계에서 섹션(110)을 생성할 때 마다 상기 트렁크모듈(100)과 각각의 브랜치모듈(200)이 어긋난 값을 가지는 경우 상기 섹션(110)을 따로 떼어 훈련 시키되, 기설정된 시간 동안만 훈련한 후 다음 섹션(110)을 훈련시켜 전체 오차가 최저가 될 때 까지 시행하는 라운드 훈련 단계;
    상기 라운드 훈련 단계 시행 후 일부 브랜치모듈(200)에 변화가 생긴 경우, 상기 트렁크모듈(100)의 훈련 가능성을 ‘false’로 적용한 후 변화가 생긴 상기 브랜치모듈(200)에만 상기 라운드 훈련 단계를 실시하는 브랜치 미세 튜닝 단계;를 포함하는 것을 특징으로 하는 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템 학습 훈련 방법.
  5. 제4항에 있어서,
    상기 초기 훈련 단계는,
    상기 브랜치모듈(200)을 각각 분리하여 상기 트렁크모듈(100)과 연결하여 섹션(110)을 생성하는 제1-1단계;
    상기 분리된 브랜치모듈(200) 별로 모인 상기 섹션(110) 중 가장 많은 수의 데이터를 가지는 섹션(110)을 1차 훈련하여 가중치를 생성하는 제1-2단계;
    상기 제1-2단계에서 훈련된 가중치의 트렁크모듈(100)을 부분을 따로 분리한 후, 상기 제1-2단계에서 다음으로 많은 수의 데이터를 가지는 섹션(110)의 브랜치모듈(200)과 연결하여 2차 훈련하는 가중치를 생성하는 제1-3단계;
    상기 브랜치모듈(200) 전체에서 상기 제1-3단계를 반복 적용하는 제1-4단계;를 포함하는 것을 특징으로 하는 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템 학습 훈련 방법.
KR1020190138722A 2018-11-02 2019-11-01 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템 KR102361422B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/014732 WO2020091516A2 (ko) 2018-11-02 2019-11-01 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180133415 2018-11-02
KR1020180133415 2018-11-02

Publications (2)

Publication Number Publication Date
KR20200050892A true KR20200050892A (ko) 2020-05-12
KR102361422B1 KR102361422B1 (ko) 2022-02-10

Family

ID=70679703

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190138722A KR102361422B1 (ko) 2018-11-02 2019-11-01 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템

Country Status (1)

Country Link
KR (1) KR102361422B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016683A (zh) * 2020-08-04 2020-12-01 杰创智能科技股份有限公司 数据增强学习、训练方法、电子设备、可读存储介质
CN112215243A (zh) * 2020-10-30 2021-01-12 百度(中国)有限公司 图像特征提取方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102600668B1 (ko) 2022-10-18 2023-11-10 메디컬아이피 주식회사 질병예측방법 및 그 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180034853A (ko) * 2016-09-28 2018-04-05 에스케이하이닉스 주식회사 합성곱 신경망의 연산 장치 및 방법
KR101847874B1 (ko) * 2017-06-28 2018-05-25 서경대학교 산학협력단 합성곱 신경망을 이용한 이미지 인식 방법 및 그 기록 매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180034853A (ko) * 2016-09-28 2018-04-05 에스케이하이닉스 주식회사 합성곱 신경망의 연산 장치 및 방법
KR101847874B1 (ko) * 2017-06-28 2018-05-25 서경대학교 산학협력단 합성곱 신경망을 이용한 이미지 인식 방법 및 그 기록 매체

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Varun Gulshan, PhD; Lily Peng, MD, PhD; Marc Coram, PhD; et al. "Development and Validation of a Deep Learning Algorithm for Detection of Diabetic Retinopathy in Retinal Fundus Photographs"December 13, 2016, JAMA. 2016;316(22):2402-2410. doi:10.1001/jama.2016.17216
윤재웅 등, 대한경영정보학회 경영과 정보연구 2017, 제36권, 제4호, pp. 33-51 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016683A (zh) * 2020-08-04 2020-12-01 杰创智能科技股份有限公司 数据增强学习、训练方法、电子设备、可读存储介质
CN112016683B (zh) * 2020-08-04 2023-10-31 杰创智能科技股份有限公司 数据增强学习、训练方法、电子设备、可读存储介质
CN112215243A (zh) * 2020-10-30 2021-01-12 百度(中国)有限公司 图像特征提取方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR102361422B1 (ko) 2022-02-10

Similar Documents

Publication Publication Date Title
KR102361422B1 (ko) 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템
CN109635862B (zh) 早产儿视网膜病plus病变分类方法
Zulkifley et al. Pterygium-Net: a deep learning approach to pterygium detection and localization
CN110288555B (zh) 一种基于改进的胶囊网络的低照度增强方法
US20220189012A1 (en) Deep learning architecture system for automatic fundus image reading and automatic fundus image reading method using deep learning architecture system
CN109376767A (zh) 基于深度学习的视网膜oct图像分类方法
CN109102885A (zh) 基于卷积神经网络与随机森林组合的白内障自动分级方法
CN113440149B (zh) 一种基于十二导联心电数据二维化的多输入残差神经网络的ecg信号分类方法
CN114190952B (zh) 一种基于导联分组的12导联心电信号多标签分类方法
CN110489577B (zh) 医疗影像管理方法及装置、眼底影像处理方法、电子设备
JP2022502762A (ja) ニューラルネットワーク捜索方法、装置、プロセッサ、電子機器、記憶媒体及びコンピュータプログラム
CN113610163B (zh) 一种基于知识蒸馏的轻量级苹果叶片病害识别方法
CN111242285A (zh) 一种深度学习模型的训练方法、系统、装置及存储介质
CN111956208A (zh) 一种基于超轻量级卷积神经网络的ecg信号分类方法
CN106815204A (zh) 裁判文书的分段方法及装置
CN114912575A (zh) 基于连接Swin Transformer通路的医学图像分割模型及方法
KR102281968B1 (ko) 안저영상 자동판독을 위한 딥러닝 아키텍처 시스템 및 딥러닝 아키텍쳐 시스템을 이용한 안저영상 자동판독 방법
Noh et al. Combining fundus images and fluorescein angiography for artery/vein classification using the hierarchical vessel graph network
CN114580388A (zh) 数据处理方法、对象预测方法、相关设备及存储介质
WO2020091516A2 (ko) 의료영상 자동판독을 위한 딥러닝 아키텍처 시스템
CN116543210A (zh) 一种基于联邦学习与注意力机制的医学图像分类方法
CN112562817B (zh) 将影像结构化报告的标签反馈给影像ai的系统及方法
CN111784669B (zh) 一种胶囊内镜图像多病灶检测方法
CN117853871A (zh) 一种基于深度学习的脑肿瘤检测方法
JPH0457181A (ja) 多重神経回路網の構築方法およびその装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant