KR102128910B1 - 신경망을 기반으로 하는 피부 병변 진단 장치 및 병변 진단 보조 방법 - Google Patents

신경망을 기반으로 하는 피부 병변 진단 장치 및 병변 진단 보조 방법 Download PDF

Info

Publication number
KR102128910B1
KR102128910B1 KR1020180036995A KR20180036995A KR102128910B1 KR 102128910 B1 KR102128910 B1 KR 102128910B1 KR 1020180036995 A KR1020180036995 A KR 1020180036995A KR 20180036995 A KR20180036995 A KR 20180036995A KR 102128910 B1 KR102128910 B1 KR 102128910B1
Authority
KR
South Korea
Prior art keywords
lesion
region
interest
boundary
neural network
Prior art date
Application number
KR1020180036995A
Other languages
English (en)
Other versions
KR20190114384A (ko
Inventor
이석준
조윤재
윤재웅
전재헌
송현정
전종수
박영민
이지현
방철환
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020180036995A priority Critical patent/KR102128910B1/ko
Publication of KR20190114384A publication Critical patent/KR20190114384A/ko
Application granted granted Critical
Publication of KR102128910B1 publication Critical patent/KR102128910B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Dermatology (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시예에 따른 병변 진단 장치는, 진단하고자 하는 병변에 대한 이미지를 입력 받는 입력부, 상기 입력된 이미지에서 상기 병변에 해당하는 관심 영역을 추출하는 관심 영역 추출부 및 상기 추출된 관심 영역을 입력으로 하고, 상기 병변의 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1 신경망을 이용하여 상기 병변을 진단하는 진단부를 포함할 수 있다.

Description

신경망을 기반으로 하는 피부 병변 진단 장치 및 병변 진단 보조 방법 {Apparatus for skin lesion diagnosis based on neural network and method for aiding skin lesion diagnosis}
본 발명의 병변 진단 장치에 관한 것이고, 특히 통계학적 학습에 기반한 이미지 인식 알고리즘을 이용하여 병변을 진단하는 장치에 관한 것이다.
여드름은 피부의 모공이 막혀서 생기는 피부질환으로, 여드름을 치료하려면 진행 상태에 맞는 치료법을 선택해야 하는데 일반인들은 치료의 필요성을 느끼지 못해 적절한 치료를 받지 않아 반흔과 같은 외관의 흉터로 이어지고 있다. 여드름은 발병률이 높고 외관에 영향을 주기 때문에 미용에 관심이 높아져가는 현대인들에게 스트레스, 좌절감 등 심리적으로 부정적인 영향을 줄 수 있다.
국내에는 도1과 같은 '한국형 여드름 중증도 평가 시스템(KAGS)'이라는 여드름 상태를 파악하는 표준화된 지표를 통해 한국인의 특성에 맞는 여드름 중증도를 판단하고 있다. 하지만, KAGS는 환자의 표준사진에서 기준 병변의 수와 반흔의 진행 정도를 통해 진단하는 지표이기 때문에 직접 수를 세어 판단해야 하는 불편함이 있었다.
한국 공개 특허 제10-2016-0012758호 (공개)
본 발명의 상기한 문제점을 해결하기 위하여 안출된 것으로서, 병변 진단 장치 및 방법을 통해 도2와 같이 여드름의 중증도를 진단하는 기준을 재정의함으로써 보다 신속하고 효율적으로 여드름의 중증도를 진단할 수 있도록 하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 병변 진단 장치는, 진단하고자 하는 병변에 대한 이미지를 입력 받는 입력부, 상기 입력된 이미지에서 상기 병변에 해당하는 관심 영역을 추출하는 관심 영역 추출부 및 상기 추출된 관심 영역을 입력으로 하고, 상기 병변의 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1 신경망을 이용하여 상기 병변을 진단하는 진단부를 포함할 수 있다.
또한, 상기 관심 영역 추출부는 상기 입력된 이미지 중 상기 병변이 존재할 것으로 예측되는 후보 영역들을 선별하는 제2 신경망을 이용하여 상기 선별된 후보 영역들 중 관심 영역을 추출할 수 있다.
또한, 상기 관심 영역 추출부는 상기 이미지를 미리 정의된 사이즈로 리사이징하고, 상기 리사이징된 이미지를 분할하여 미리 결정된 크기의 복수개의 격자셀들을 생성함에 따라 상기 이미지를 전처리하는 전처리부 및 상기 전처리된 이미지를 이용하여 상기 관심 영역을 추출하기 위한 특징정보를 산출하는 특징 정보 산출부를 더 포함할 수 있다.
또한, 상기 특징 정보 산출부는 상기 복수개의 격자셀들 중 적어도 하나에 중심을 가지며, 상기 병변이 존재할 것으로 예측되는 후보 영역들로서 상기 입력된 이미지의 적어도 일부를 포함하는 복수의 바운더리 셀들을 생성하는 바운더리 셀 생성부 및 상기 생성된 각 바운더리 셀의 중심 좌표 및 상기 각 바운더리 셀에 대하여 상기 병변이 존재하는 확률을 계산하는 계산부를 더 포함할 수 있다.
또한, 상기 특징 정보 산출부는 상기 각 바운더리 셀 내에 상기 병변이 존재하는 확률을 미리 설정된 기준값과 비교하여 상기 각 바운더리 셀들을 서로 다른 굵기의 경계선으로 표시하고, 상기 바운더리 셀들의 서로 다른 굵기로 표시된 경계선을 고려하여 상기 관심 영역을 추출하고, 추출된 관심 영역 이외의 바운더리 셀들은 제거할 수 있다.
또한, 상기 제2 신경망은 컨벌루션(convolution) 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 후보 영역들의 중심 좌표와 상기 각 후보 영역 내에 상기 병변이 존재하는 확률을 계산하는 적어도 하나의 폴리 커넥티드 레이어를 포함할 수 있다.
또한, 상기 진단부는 상기 입력된 이미지에서 상기 병변이 존재하는 관심 영역을 기반으로 미리 설정된 기준에 따라 상기 병변의 중증도를 라벨링하는 가공부를 포함할 수 있고, 상기 병변의 중증도는 경증, 중등증 및 중증으로 분류되어 라벨링될 수 있다.
또한, 상기 제1 신경망은 컨벌루션(convolution) 연산을 통해 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 병변의 중증도를 분류하는 폴리 커넥티드 레이어를 포함할 수 있고, 상기 컨벌루션 레이어 및 상기 폴리 커넥티드 레이어의 배치 구조와 배치수는 진단하고자 하는 상기 병변의 종류에 따라 서로 다르게 마련될 수 있다.
또한, 상기 진단부는 상기 중증도가 라벨링된 이미지 중 일부를 학습용 데이터, 나머지 일부를 검증용 데이터로 설정하고, 상기 학습용 데이터 및 검증용 데이터를 기반으로 상기 컨벌루션 레이어 및 상기 폴리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 상기 제1 신경망을 학습하는 학습부를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 또 다른 일 실시예에 따른 병변 진단 방법은, 진단하고자 하는 병변에 대한 이미지를 입력 받는 단계, 상기 입력된 이미지에서 상기 병변에 해당하는 관심 영역을 추출하는 단계 및 상기 추출된 관심 영역을 입력으로 하고, 상기 병변의 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1 신경망을 이용하여 상기 병변을 진단하는 단계를 포함할 수 있다.
또한, 상기 관심 영역 추출 단계는 상기 입력된 이미지 중 상기 병변이 존재할 것으로 예측되는 후보 영역들을 선별하는 제2 신경망을 이용하여 상기 선별된 후보 영역들 중 관심 영역을 추출할 수 있다.
또한, 상기 관심 영역 추출 단계는 상기 이미지를 미리 정의된 사이즈로 리사이징하고, 상기 리사이징된 이미지를 분할하여 미리 결정된 크기의 복수개의 격자셀들을 생성함에 따라 상기 이미지를 전처리하는 단계 및 상기 전처리된 이미지를 이용하여 상기 관심 영역을 추출하기 위한 특징정보를 산출하는 단계를 포함할 수 있다.
또한, 상기 특징 정보 산출 단계는 상기 복수개의 격자셀들 중 적어도 하나에 중심을 가지며, 상기 병변이 존재할 것으로 예측되는 후보 영역들로서 상기 입력된 이미지의 적어도 일부를 포함하는 복수의 바운더리 셀들을 생성하는 단계 및 상기 생성된 각 바운더리 셀의 중심 좌표 및 상기 각 바운더리 셀에 대하여 상기 병변이 존재하는 확률을 계산하는 단계를 포함할 수 있다.
또한, 상기 특징 정보 산출 단계는 상기 각 바운더리 셀 내에 상기 병변이 존재하는 확률을 미리 설정된 기준값과 비교하여 상기 각 바운더리 셀들을 서로 다른 굵기의 경계선으로 표시하는 단계 및 상기 바운더리 셀들의 서로 다른 굵기로 표시된 경계선을 고려하여 상기 관심 영역을 추출하고, 추출된 관심 영역 이외의 바운더리 셀들은 제거하는 단계를 포함할 수 있다.
또한, 상기 진단하는 단계는 상기 입력된 이미지에서 상기 병변이 존재하는 관심 영역을 기반으로 미리 설정된 기준에 따라 상기 병변의 중증도를 라벨링하는 단계를 포함할 수 있고, 상기 병변의 중증도는 경증, 중등증 및 중증으로 분류되어 라벨링될 수 있다.
또한, 본 발명의 또 다른 목적을 달성하기 위하여, 본 발명의 병변 진단 방법이 컴퓨터에서 수행하기 위한 컴퓨터에서 판독 가능한 프로그램이 기록된 저장 매체를 제공한다.
본 발명의 병변 진단 장치 및 방법은 본 발명의 상기한 문제점을 해결하기 위하여 안출된 것으로서, 병변 진단 장치 및 방법을 통해 도2와 같이 여드름의 중증도를 진단하는 기준을 재정의함으로써 보다 신속하고 효율적으로 여드름의 중증도를 진단할 수 있다.
도1은 종래의 여드름 상태를 파악하기 위해 이용되어 왔던 표준화된 지표이다.
도2는 본 발명의 일 실시예에 따른 병변의 중증도를 진단하기 위해 마련된 지표의 일 예를 도시한 도면이다.
도3은 본 발명의 일 실시예에 따른 병변 진단 장치의 블록도이다.
도4는 본 발명의 일 실시예에 따라 관심 영역을 추출하는 것을 설명하기 위해 도시한 도면이다.
도5는 본 발명의 일 실시예에 따른 관심 영역 추출부의 세부 구성도이다.
도6은 본 발명의 일 실시예에 따른 관심 영역 추출부가 이용하는 컨벌루션 신경망의 구조를 나타내는 도면이다.
도7은 본 발명의 일 실시예에 따라 관심 영역 추하는 것을 설명하기 위해 도시한 도면이다.
도8은 본 발명의 일 실시예에 따른 진단부의 세부 구성도이다.
도9는 본 발명의 일 실시예에 따른 진단부가 이용하는 컨벌루션 신경망을 설명하기 위해 도시한 도면이다.
도10은 병변 진단 장치가 이용하는 신경망에 적용된 알고리즘에 따른 이미지 인식 정확도를 나타낸다
도11은 본 발명의 일 실시예에 따른 병변 진단 방법을 개략적으로 도시한 흐름도이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될
수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계 없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록"등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로구현될 수 있다.
이하, 본 발명의 일 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 발명의 병변 진단 장치(10)는 진단 대상 병변과 관련된 이미지에서 병변이 주로 포함되는 관심 영역 이미지를 검출하고, 검출된 관심 영역의 이미지를 미리 학습된 제1 신경망(Neural Network)에 입력하여 병변의 종류 또는 중증도를 포함하는 병변 수치를 고려하여 대상 병변을 진단하는 장치이다.
예컨대, 병변 진단 장치(10)가 진단하는 병변은 병이 일어난 육체적 생리적인 변화를 의미하는 것으로서, 본 발명의 병변은 피부 질환으로 변화된 환자의 피부일 수 있다. 또한, 본 발명의 병변 진단 장치(10)는 피부질환 중 여드름 중증도를 진단하는 것으로서, 통계학적 학습 이론에 기반한 이미지 인식 알고리즘을 이용하여 객관적인 여드름의 진단 방법을 제공할 수 있다.
도3은 본 발명의 일 실시예에 따른 병변 진단 장치(10)의 블록도이다. 본 발명의 일 실시예에 따른 병변 진단 장치(10)는 입력부(100), 관심 영역 추출부(200) 및 진단부(300)를 포함할 수 있다.
본 발명의 실시예에 따른 입력부(100)는 진단하고자 하는 병변에 대한 이미지를 입력 받는다. 여기서, 입력부(100)가 입력 받는 병변에 대한 이미지란 피부에 생긴 여드름을 촬영한 이미지일 수 있다.
또한, 본 발명의 실시예에 따른 관심 영역 추출부(200)는 입력부(100)에 입력된 이미지에서 병변에 해당하는 영역인 관심 영역을 추출한다. 즉, 관심 영역 추출은 도4와 같이, 이미지 상에서 병변 진단에 있어서 불필요한 영역은 삭제하고, 병변이 위치하고 있는 영역만을 추출하는 것이다.
또한, 본 발명의 실시예에 따른 진단부(300)는 관심 영역 추출부(200)로부터 추출된 관심 영역을 입력으로 하고, 병변의 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1 신경망을 이용하여 병변을 진단할 수 있다.
병변 진단 장치(10)는 여러 계층을 가진 깊은 신경망 구조를 가지는 딥러닝 알고리즘을 이용하여 병변을 진단할 수 있다. 딥러닝은 기본적으로 여러 계층을 가진 깊은 신경망(deep neural network) 구조로 이루어져 있다. 역전파 알고리즘을 기반으로 고안된 인공 신경망은 신경망의 계층이 많아지게 될 경우 과도한 깊으로 인한 학습시간 지연 등의 문제점이 밝혀지게 됨으로써 한동안 연구가 정체되었으나, 오버 피팅 문제가 dropout 등의 방법을 통해 해결됨으로써 알고리즘의 성능이 비약적으로 향상되었다.
병변 진단 장치(10)가 이용하는 대표적 딥러닝 구조인 합성곱 신경망(Convolutional Neural Network)은 사람의 시각 처리 과정을 모방하여 고안되었기 때문에 이미지 처리에 적합한 기능으로 평가 받고 있으며, 이미지를 추상화하여 표현할 수 있는 특징(feature)을 추출함으로써 영상 인식 분야에서 높은 성능을 나타내고 있다.
본 발명의 병변 진단 장치(10)가 이용하는 신경망은 기본적으로 합성곱 신경망 구조로 마련되고, 병변의 종류에 따라 신경망 내의 레이어의 수와 배치가 서로 다르게 적용될 수 있다. 또한, 병변 진단 장치(10)가 이용하는 신경망은 ILVRC(ImageNet Large Scale Visual Recognition Challenge)에서 높은 성능을 나태는 Vgg-Net, GoogLeNet 및 ResNet 중 적어도 하나의 구조가 적용된 신경망을 이용하여 병변을 진단할 수 있다.
예를 들어, VGG-Net 구조가 적용된 신경망은 컨벌루션 레이어와 풀링 레이어(pooling layer)가 반복 사용되는 CNN 구조에 풀리 커넥티드 레이어(fully-connected)가 연결된 구조로서, VGG-Net 구조가 적용된 신경망은 과적합 문제가 발생하지 않는다면 계층의 깊이가 깊을수록 이미지 인식 정확도가 높아진다는 점에 착안한 신경망 구조이다. 이는 계층 깊이가 깊어진 대신 계층의 구조가 단순하기 때문에 네트워크의 변형과 수정, 확장이 간편하다는 장점을 가지고 있다. 본 발명의 병변 진단 장치(10)는
Figure 112018031695197-pat00001
또는
Figure 112018031695197-pat00002
합성곱 필터와 같이 다량의 파라미터를 생성하는 필터 대신 소량의 파라미터를 생성하는
Figure 112018031695197-pat00003
크기의 합성곱 필터가 2중 또는 3중으로 중첩된 VGG-Net 구조를 적용한 신경망을 이용할 수 있다.
또한, 본 발명의 병변 진단 장치(10)는 GoogLeNet 구조가 적용된 신경망을 이용하여 병변을 진단할 수 있다. GoogLeNet 구조가 적용된 신경망은 네트워크의 깊이에 따라 발생하는 일련의 문제를 해결하기 위해 연산량과 파라미터 개수를 줄이는 방법으로 인셉션(Inception) 모듈기법을 이용할 수 있다. 인셉션 모듈은 GoogLeNet 구조가 적용된 신경망의 각각의 병렬 합성곱 계층 이전에 1x1 합성곱 계층을 추가한 것으로써 해당 합성곱 계층은 '1-계층 완전 연결 신경망(1-layer fully-connected neural network)'라고도 불리며, GooLeNet 구조가 적용된 신경망은 22개의 깊은 계층으로 구성되었지만, 인셉션 모듈을 도입함으로써 기존 네트워크보다 상대적으로 적은 500만 개의 파라미터를 사용할 수 있다.
또한, 본 발명의 병변 진단 장치(10)는 ResNet 구조가 적용된 신경망을 이용하여 병변을 진단할 수 있다. ResNet 구조가 적용된 신경망은 합성곱 신경망 구조 중에서 가장 깊은 152개의 계층으로 구성되어 있다. ResNet 구조가 적용된 신경망은 신경망 내에 레지듀얼 연결(Residual Connection)이 마련된 레지듀얼 블록(Residual Block)을 포함하고, 이를 이용하여 기울기 값의 소실 문제(vanishing gradient) 를 해결할 수 있는 장점이 있다. 레지듀얼 연결은 하나의 계층을 뛰어 넘는 연결로써 실제 설계된 연결대로 움직이는 경로와 그 경로를 뛰어 넘어 다음 단계로 직접 연결되는 경로 등 총 두 가지 경로가 존재한다. 본 발명의 레지듀얼 연결과 관련된 사항은 후술한다.
도5는 본 발명의 일 실시예에 따른 관심 영역 추출부(200)를 구성하는 구성요소를 개략적으로 도시한 블록도이다. 본 발명의 관심 영역 추출부(200)는 전처리부(220) 및 특징 정보 산출부(240)를 포함한다. 특징 정보 산출부(240)는 진단 대상 병변이 촬영된 이미지에서 병변이 주로 포함된 관심 영역을 부분을 자동으로 추출하기 위한 정보로서, 특징 정보를 산출하는데, 본 발명의 특징 정보는 이미지상에서 관심 영역의 중심 좌표를 포함할 수 있다.
예를 들어, 특징 정보 산출부(240)는 대상 병변이 촬영된 촬영 이미지에서 관심 영역을 설정하기 위한 특징 정보를 산출하기 위하여 신경망에 기반한 이미지 인식 알고리즘을 이용할 수 있다. 예를 들어, 특징 정보 산출부(240)가 이용하는 이미지 인식 알고리즘은 YOLO(You Only Look Once) 구조가 적용된 신경망에서 구현될 수 있다. YOLO(You Only Look Once) 신경망은 종래의 Fast R-CNN 구조가 적용된 신경망과는 달리, 신경망의 최종 출력단에서 이미지상의 바운더리 셀의 위치와 바운더리 셀의 클래스 분류가 동시에 이루어지는 장점이 있다.
예를 들어, 본 발명의 특징 정보 산출부(240)가 이용하는 제2 신경망은 YOLO 구조가 적용된 신경망을 포함하고, 나아가, 레지듀얼 연결(Residual Connection)이 마련된 레지듀얼 블록(Residual Block)을 포함하여 기울기 소실 문제를 해결함으로서, 종래 YOLO 구조가 적용된 신경망을 이용하는 알고리즘보다 향상된 이미지 인식 성능을 달성할 수 있다. 또한, 특징 정보 산출부(240)는 후술하는 격자셀 내부에 중심을 가지며, 상기 대상 병변이 촬영된 이미지의 적어도 일부를 포함하여 상기 병변이 존재하는 확률을 나타내는 복수개의 바운더리 셀을 이용하여 관심 영역을 추출하기 위한 특징 정보를 산출할 수 있다.
전처리부(220)는 이미지를 미리 정의된 사이즈로 리사이징하고, 상기 리사이징된 이미지를 분할하여 미리 결정된 크기의 격자셀을 생성하여 촬영된 이미지를 전처리한다. 예를 들어, 전처리부(220)는 병변이 포함된 관심 영역을 추출하기 위한 특징 정보를 산출하기 위하여, 병변이 촬영된 촬영 이미지의 크기를 제2 신경망에 필요한 크기로 리사이징할 수 있다. 또한, 전처리부(220)는 리사이징된 이미지를 분할하여 미리 결정된 격자셀을 생성할 수 있고, 일 실시 예로 7*7 과 같이 총 49개의 격자셀을 생성할 수 있다.
또한, 본 발명의 특징 정보 산출부(240)는 전처리된 이미지를 이용하여 관심 영역을 추출하기 위한 특징 정보를 산출한다. 도4는 특징 정보 산출부(240)의 세부 구성을 도시한 도면이다. 본 발명의 특징 정보 산출부(240)는 바운더리 셀 생성부 및 계산부를 포함한다. 본 발명의 실시예에 따른 바운더리 셀 생성부는 복수개의 격자셀들 중 적어도 하나에 중심을 가지며, 병변이 존재할 것으로 예측되는 후보 영역들로서 입력된 이미지의 적어도 일부를 포함하는 복수의 바운더리 셀들을 생성할 수 있고, 본 발명의 계산부는 생선된 각 바운더리 셀의 중심 좌표 및 각 바운더리 셀에 대한 병변이 존재하는 확률을 계산할 수 있다.
도6을 참조하면, 본 발명의 계산부는 촬영 이미지를 입력으로 하고, 상기 바운더리 셀의 중심 좌표 또는 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 출력으로 하는 제2 신경망(Neural Network)을 이용하여 상기 격자셀에 종속되는 상기 바운더리 셀을 생성하고, 상기 생성된 바운더리 셀 각각의 중심 좌표 및 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 계산한다. 관심 영역 추출부(100)가 생성된 격자셀 및 바운더리 셀을 이용하여 특징 정보를 산출할 수 있음은 전술한 바와 같다.
예를 들어, 계산부가 이용하는 제2 신경망은 컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어(244) 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 바운더리 셀의 중심 좌표와 상기 바운더리 셀내의 상기 병변이 존재하는 확률을 계산하는 적어도 하나의 풀리 커넥티드 레이어(248)를 포함할 수 있다. 또한, 본 발명의 계산부가 이용하는 제2 신경망은 컨벌루션 레이어(244) 및 풀리 커넥티드 레이어(248)에 더하여 컨벌루션 레이어(244)와 교대로 반복 배치되는 풀링 레이어(246)를 더 포함할 수 있다.
본 발명의 계산부가 이용하는 제2 신경망은 YOLO 구조가 적용된 합성곱 신경망으로서, 신경망 내에 포함된 컨벌루션 레이어(244)의 적어도 일부에 레지듀얼 연결(254)이 마련된 레지듀얼 블록(252)을 포함하여 향상된 이미지 인식 성능을 달성할 수 있다. 즉, 본 발명의 계산부가 이용하는 제2 신경망은 YOLO 알고리즘에 더하여 레지듀얼 연결(Residual Connection)이 적용된 ARD(Atopic Region Detection) 알고리즘을 이용하여 구현될 수 있다.
본 발명의 제2 신경망의 컨벌루션 레이어(244)의 적어도 일부는 인접한 컨벌루션 레이어(244)를 연결하는 경로 및 상기 인접한 컨벌루션 레이어(244)를 적어도 하나 이상 건너 뛰어 다른 컨벌루션 레이어(244)로 연결되는 레지듀얼 경로(154)가 마련된 레지듀얼 블록(252)을 포함하고, 상기 레지듀얼 블록의 입력은 인접한 다른 레지듀얼 블록의 입력으로 참조될 수 있다. 또한, 계산부가 이용하는 제2 신경망은 학습용 데이터 및 미리 결정된 바운더리 셀에 관한 정답 데이터를 기반으로 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 미리 학습될 수 있다.
일 실시 예에 따른 특징 정보 산출부(240)가 제2 신경망을 이용하여 특징 정보를 산출하는 과정을 도7을 참조하여 설명하면 다음과 같다. 예를 들어, 특징 정보 산출부(240)는 진단 대상 병변이 촬영된 이미지를 입력 받고, 전처리부(220)는 입력된 촬영 이미지를 리사이징하고 기 설정된 간격의 격자셀(262)을 생성한다. 계산부는 제2 신경망을 이용하여 격자셀(262) 내부에 중심 좌표를 가지고, 상기 격자셀에 종속되는 임의의 수의 바운더리 셀들(264, 266, 268, 272, 274)을 생성함과 동시에, 바운더리 셀 내부에 포함되는 이미지의 클래스를 분류할 수 있다.
계산부가 제2 신경망을 이용하여 생성한 바운더리 셀들(264, 266, 268, 272, 274)은 바운더리 셀들의 중심 좌표 또는 전체 리사이징된 이미지에서 바운더리 셀들이 가지는 상대적인 크기로 특정될 수 있다. 또한, 계산부가 제2 신경망을 이용하여 생성한 바운더리 셀들(264, 266, 268, 272, 274)은 각각 바운더리 셀 내부에 병변 이미지가 존재할 확률에 대한 정보 또는 병변 이미지가 존재하는 경우에 해당 병변의 종류가 무엇인지에 대한 확률 정보를 가질 수 있다. 예를 들어, 전처리부(220)에서 리사이징된 이미지에서 가로*세로 7*7의 격자셀을 생성하였고, 각 격자셀에 종속되는 바운더리 셀들(264, 266, 268, 272, 274)의 수를 2라고 하면, 계산부에서 생성하는 총 바운더리 셀은 7*7*2로 총 98개 생성될수 있다. 이때, 생성된 98개의 각 바운더리 셀들은 해당 바운더리 셀에 대하여 계산된 병변이 존재하는 확률을 미리 설정된 기준값과 비교하여 서로 다른 굵기의 경계선으로 표시될 수 있다.
관심 영역 추출부(200)는 바운더리 셀 내부에 병변이 존재할 확률이 모두 다른 바운더리 셀들(264, 266, 268, 272, 274) 중 내부에 병변이 존재할 확률이 가장 높은 바운더리 셀(264, 266)을 관심 영역으로 검출할 수 있다. 이를 위하여 관심 영역 추출부(200)는 촬영 이미지에서 존재하는 임의의 하나의 병변이 이미지를 중복하여 포함하는 바운더리 셀 중(266, 268) 바운더리 셀 내에 상기 병변이 존재하는 확률이 기 설정된 임계치 이상인지 여부를 고려하여 상기 병변이 촬영된 이미지를 중복하여 포함하는 바운더리 셀(268)의 일부를 제거할 수 있다.
예를 들어, 관심 영역 추출부(200)는 도 6에 도시된 우측 하단의 병변 이미지를 중복하여 포함하는 바운더리 셀 266, 268 중에서, 바운더리 셀 내부에 병변이 존재할 확률이 기 설정된 임계치 이상이 아닌 경우 제거 (여기에서는 바운더리 셀 268을 제거)할 수 있다. 따라서, 관심 영역 추출부(200)는 도 2에 우측하단에 도시된 병변 이미지를 포함하는 하나의 바운더리 셀(266)을 관심 영역으로서 검출할 수 있다.
또한, 관심 영역 추출부(200)는 셀 내부에 병변이 존재할 확률이 기 설정된 임계치 이하인 바운더리 셀을 제거하기 위하여 NMS(Nom-maximal Suppression 비-최대값 억제) 알고리즘을 사용하여 오직 하나의 바운더리 셀만을 남길 수 있다. 즉, 관심 영역 추출부(200)는 에서 생성된 복수의 바운더리 셀들 중 촬영 이미지상 병변이 중복되어 존재하는 바운더리 셀들이 존재하는 경우 NMS 알고리즘을 사용하여 병변이 촬영된 이미지 상에서 임의의 병변 이미지당 하나의 바운더리 셀만을 남기도록 할 수 있다. 관심 영역 추출부(200)는 병변 이미지당 남은 하나의 바운더리 셀을 관심 영역으로 추출할 수 있다.
진단부(300)는 검출된 관심 영역을 입력으로 하고, 상기 병변의 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1신경망(Neural Network)을 이용하여 상기 입력 이미지로부터 상기 대상 병변을 진단한다.
여드름에 따른 병변은 면포, 홍반성 구진, 농포, 결절, 반흔 등 다양한 형태로 나타날 수 있고, 병변의 크기나 밀집상태, 염증의 정도와 병의 경과 등 다양하다. 본 발명의 진단부(300)는 여드름 병변이 포함된 이미지에서 병변이 주로 포함되는 관심 영역을 자동으로 검출하고, 검출된 관심 영역내의 병변의 중증도를 객관적으로 진단할 수 있다. 병변 진단 장치(10)가 이용하는 병변 별 중증도는 총 3단계로 마련될 수 있지만, 진단의 목적과 기준에 따라 중증도의 분류는 달라질 수 있다.
도8은 본 발명의 일 실시예에 따른 진단부(300)의 세부구성을 개략적으로 도시한 블록도이다. 진단부(300)는 가공부(320) 및 학습부(340) 를 포함한다. 예를 들어, 진단부(300)는 검출된 관심 영역을 입력 받고, 미리 학습된 제1 신경망을 이용하여 입력된 관심 영역에 포함된 병변의 종류와 중증도를 진단할 수 있다. 본 발명의 병변 진단 장치(10)가 이용하는 제1 신경망 및 제2 신경망은 합성곱 신경망을 기반으로 하는 이미지 인식 알고리즘이 적용된 신경망으로 마련될 수 있다.
가공부(320)는 관심 영역이 검출된 복수개의 촬영 이미지를 미리 설정된 기준에 따라 하나 이상의 병변 별로 분류하고, 상기 분류된 촬영 이미지에 포함된 상기 병변의 중증도를 라벨링한다. 예를 들어, 가공부(320)는 제1 신경망을 학습하기 위한 학습용 데이터 및 학습된 제1 신경망을 검증하기 위한 검증용 데이터를 생성하기 위하여, 여드름 병변이 촬영된 복수개의 촬영 이미지에서 병변이 주로 포함된 관심 영역을 검출하고, 관심 영역이 검출된 복수개의 촬영 이미지를 병변의 종류별로 3가지로 분류하고, 병변의 종류 별로 분류된 복수개의 관심 영역이 검출된 촬영 이미지에 나타난 병변의 중증도를 병변 없음 '0', 중증도 '1', 중증도 '2', 중증도'3'으로 라벨링한다. 본 발명의 가공부(320)는 여드름의 경중으로 나타나는 병변 증상별로 라벨링을 하고자 구진이 나타나는 단계를 Level1, 결절이 나타나기 시작하는 단계를 Level2, 그리고 반흔이 나타나기 시작하는 단계 이후를 Level3로 구분하여 도2와 같이 라벨링한다.
예를 들어, 가공부(320)에서 라벨링된 촬영 이미지중 적어도 일부를 학습용 데이터, 나머지 일부를 정답용 데이터로 설정하고, 학습용 데이터 및 정답용 데이터를 기반으로 제1 신경망을 학습할 수 있다. 본 발명의 병변 진단 장치(10)는 가공부(320)에서 라벨링된 촬영 이미지중 70%를 학습용 데이터, 30%를 검증용 데이터로 사용할 수 있다.
학습부(340)는 진단 대상 병변이 촬영된 이미지 중 적어도 일부로 설정되는 학습용 데이터와 나머지 일부로 설정되는 검증용 데이터를 기반으로 컨벌루션 레이어 및 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 상기 제1 신경망을 학습한다. 본 발명의 제1 신경망은 컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 병변의 종류 또는 정도를 분류하는 풀리 커넥티드 레이어를 포함하고, 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어의 배치 구조와 배치수는 진단하고자 하는 상기 병변의 종류에 따라 서로 다르게 마련될 수 있다.
학습부(340)는 신경망 내부에 추출된 관심 영역(이미지)가 입력됨에 따라 출력값(병변 수치)을 아래 <수학식1>을 통해 산출할 수 있다.
Figure 112018031695197-pat00004
여기서,
Figure 112018031695197-pat00005
는 lth 계층의 ith 노드에 따른 출력값이고,
Figure 112018031695197-pat00006
는 컨벌루션 특징을 추출하는 커널맵의 가중치이며,
Figure 112018031695197-pat00007
는 바이어스이다. 이렇게, 상기 <수학식1>을 통해 출력된 출력 값이 실제 값과 얼마나 일치하는지 나타내는 값으로 Loss 또는 Error 라는 용어를 사용하며, 모든 데이터 객체
Figure 112018031695197-pat00008
에 대한 평균 Loss 값은 아래 <수학식2>와 같이 계산된다.
Figure 112018031695197-pat00009
여기서, W는 현재 네트워크의 가중치 매개변수 맵이고,
Figure 112018031695197-pat00010
는 데이터 객체 X(i) 의 Loss 값이며, r(W)는 가중치 상수 λ와 함께 사용되는 제약 조건이다. <수학식2>에서 Loss 값의 계산이 완료되면 매 학습마다 Loss 값의 변화에 대해 가중치 매개변수 맵을 새로 업데이트해야 하며 이는 아래 <수학식3>과 같이 SGD(Stochastic Gradient Descent) 방식을 사용하여 수행된다.
Figure 112018031695197-pat00011
먼저, 업데이트된 가중치 매개변수 맵인 Wt+1은 t+1 번째 학습단계에서 새로 바뀐 업데이터 값을 뜻하는 Vt+1을 계산하기 위해 μ라는 모멘텀 상수가 존재하며 Vt는 이전 학습 단계에서의 업데이트 값을 의미한다. 그리고 α는 현재 학습단계에서의 학습율을 의미하며,
Figure 112018031695197-pat00012
는 이전 학습 단계에서의 가중치 맵에 대한 Loss 값의 음의 변화 경사를 의미한다.
이렇게, Loss 값을 최소화하여 본 발명의 진단부(300)는 제1 신경망을 학습함에 따라 입력된 이미지의 관심 영역의 병변 수치에 따라 병변의 중증도를 진단한다.
도 9는 도 8의 실시 예에서 진단부가 이용하는 컨벌루션 신경망의 구조를 나타낸다. 진단부(300)가 이용하는 제1 신경망은 컨벌루션 레이어(362, 366, 372), 서브 샘플링 레이어(364, 368) 및 풀리 커넥티드 레이어(375)를 포함한다. 컨 벌루션 레이어(362, 366, 372)는 이미지로부터 특성들을 추출하여 특징 맵(363, 367, 369)을 생성한다. 서브 샘플링 레이어(364, 368)는 이미지의 다운 샘플링과 같이 Position invariance에 대한 특징을 제공하는 역할을 한다. 컨벌루션 레이어(362, 366, 372)와 서브 샘플링 레이어(364, 368)의 반복을 통해 이미지 데이터에 내지된 고차원의 정보가 효과적으로 추출되어 완전연결 계층의 입력 자료료 활용된다. 풀리 커넥티드 레이어(375)는 컨벌루션 레이어(362, 366, 372)와 서브 샘플링 레이어(364, 368)의 반복을 통해 이미지 데이터로부터 추출된 고차원의 정보를 입력으로 하여 이미지를 최종적으로 분류한다. 진단부가 이용하는 제1 신경망은 일반 신경망과는 달리 내부에 포함된 레이어들이 가로, 세로, 깊이의 3개 차원을 가지고, 하나의 레이어에 위치한 뉴런들은 앞 레이어의 전체 뉴런이 아닌 일부에만 연결이 되는 특징을 가진다.
도10은 병변 진단 장치(10)가 이용하는 신경망에 적용된 알고리즘에 따른 이미지 인식 정확도를 나타낸다. 도 10에서 GoogLeNet의 V3 구조가 적용된 제1 신경망을 이용하는 경우, 병변 진단 장치의 인식 정확도가 86.7%로 가장 높게 나타났으며, VGG-Net 구조의 경우 85.7%, ResNet 구조는 81%의 인식 정확도를 보였다.
다음으로, 도11은 본 발명의 일 실시예에 따른 병변 진단 방법을 개략적으로 도시한 흐름도이다.
먼저, S100 단계에서 진단하고자 하는 병변에 대한 이미지를 입력 받는다. 여기서, 입력부(100)가 입력 받는 병변에 대한 이미지란 피부에 생긴 여드름을 촬영한 이미지일 수 있다.
다음으로, S200 단계에서, 관심 영역 추출부(200)는 입력부(100)에 입력된 이미지에서 병변에 해당하는 영역인 관심 영역을 추출한다. 이때, 관심 영역 추출은 제2 신경망을 이용하여 입력된 이미지에서 병변이 존재할 것으로 예측되는 후보 영역(바운더리 셀)을 선별함으로써 수행될 수 있는데, 이와 관련한 상세한 설명은 상술한 바 있으므로 여기서는 생략한다.
S300 단계에서 진단부(300)는 관심 영역 추출부(200)로부터 추출된 관심 영역을 입력으로 하고, 병변의 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1 신경망을 이용하여 병변을 진단한다. 여기서, 제1 신경망을 통한 병변 진단 방법 역시 전술한 바와 같으므로 여기서는 생략한다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (17)

  1. 진단하고자 하는 병변에 대한 이미지를 입력 받는 입력부;
    제2 신경망을 이용하여 상기 이미지를 미리 정의된 사이즈로 리사이징하고, 상기 리사이징된 이미지를 분할하여 미리 결정된 크기의 복수개의 격자셀들을 생성함에 따라, 상기 입력된 이미지 중 상기 병변이 존재할 것으로 예측되는 후보 영역들을 선별하고, 상기 후보 영역들 중 관심 영역을 추출하는 관심 영역 추출부; 및
    상기 추출된 관심 영역을 입력으로 하고, 상기 병변의 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1 신경망을 이용하여 상기 병변을 진단하는 진단부;를 포함하되,
    상기 관심 영역 추출부는 상기 복수개의 격자셀들 중 적어도 하나에 중심을 가지며, 상기 병변이 존재할 것으로 예측되는 후보 영역들로서 상기 입력된 이미지의 적어도 일부를 포함하는 복수의 바운더리 셀들을 생성하는 바운더리 셀 생성부 및 상기 생성된 각 바운더리 셀의 중심 좌표 및 상기 각 바운더리 셀에 대하여 상기 병변이 존재하는 확률을 계산하는 계산부를 더 포함하고, 상기 병변이 존재하는 확률과 미리 설정된 기준값을 비교하여 상기 각 바운더리 셀을 서로 다른 굵기의 경계선으로 설정하며,
    상기 생성된 바운더리 셀들 중 서로 중복되는 영역이 있는 바운더리 셀들의 경우, 상기 설정된 각 바운더리 셀의 경계선 굵기 및 상기 각 바운더리 셀에 대하여 상기 병변이 존재하는 확률과 기 설정된 임계치를 비교한 결과를 고려하여, 상기 중복되는 영역을 포함하는 바운더리 셀들 중 하나의 바운더리 셀만을 상기 관심 영역으로 추출하는 것을 특징으로 하는 병변 진단 장치.
  2. 제1항에 있어서,
    상기 병변은 여드름 질환이고, 상기 관심 영역은 사람의 피부 중 여드름이 밀집된 영역인 것을 특징으로 하는 병변 진단 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서, 상기 제2 신경망은
    컨벌루션(convolution) 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 후보 영역들의 중심 좌표와 상기 각 후보 영역 내에 상기 병변이 존재하는 확률을 계산하는 적어도 하나의 폴리 커넥티드 레이어를 포함하는 것을 특징으로 하는 병변 진단 장치.
  8. 제1항에 있어서,
    상기 진단부는 상기 입력된 이미지에서 상기 병변이 존재하는 관심 영역을 기반으로 구진이 나타나는 상태를 경증, 결절이 나타나는 상태를 중등증, 반흔이 나타나는 상태를 중증으로 정의하여 상기 병변의 중증도를 라벨링하는 가공부를 포함하는 것을 특징으로 하는 병변 진단 장치.
  9. 제1항에 있어서, 상기 제1 신경망은
    컨벌루션(convolution) 연산을 통해 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 병변의 중증도를 분류하는 폴리 커넥티드 레이어를 포함하고,
    상기 컨벌루션 레이어 및 상기 폴리 커넥티드 레이어의 배치 구조와 배치수는 진단하고자 하는 상기 병변의 종류에 따라 서로 다르게 마련되는 것을 특징으로 하는 병변 진단 장치.
  10. 제9항에 있어서, 상기 진단부는
    상기 중증도가 라벨링된 이미지 중 일부를 학습용 데이터, 나머지 일부를 검증용 데이터로 설정하고, 상기 학습용 데이터 및 상기 검증용 데이터를 기반으로 상기 컨벌루션 레이어 및 상기 폴리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 상기 제1 신경망을 학습하는 학습부;를 더 포함하는 것을 특징으로 하는 병변 진단 장치.
  11. 병변 진단 장치에 의해 수행되는 병변 진단 보조 방법에 있어서,
    입력부가, 진단하고자 하는 병변에 대한 이미지를 입력 받는 단계;
    관심 영역 추출부가, 제2 신경망을 이용하여 상기 이미지를 미리 정의된 사이즈로 리사이징하고, 상기 리사이징된 이미지를 분할하여 미리 결정된 크기의 복수개의 격자셀들을 생성함에 따라, 상기 입력된 이미지 중 상기 병변이 존재할 것으로 예측되는 후보 영역들을 선별하고, 상기 후보 영역들 중 관심 영역을 추출하는 단계; 및
    진단 보조부가, 상기 추출된 관심 영역을 입력으로 하고, 상기 병변의 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1 신경망을 이용하여 상기 병변 진단을 보조하는 단계;를 포함하되,
    상기 관심 영역을 추출하는 단계는, 상기 복수개의 격자셀들 중 적어도 하나에 중심을 가지며, 상기 병변이 존재할 것으로 예측되는 후보 영역들로서 상기 입력된 이미지의 적어도 일부를 포함하는 복수의 바운더리 셀들을 생성하는 단계 및 상기 생성된 각 바운더리 셀의 중심 좌표 및 상기 각 바운더리 셀에 대하여 상기 병변이 존재하는 확률을 계산하는 단계를 더 포함하고,
    상기 관심 영역 추출부가, 상기 병변이 존재하는 확률을 미리 설정된 기준값과 비교하여 상기 각 바운더리 셀들을 서로 다른 굵기의 경계선으로 설정하며, 상기 생성된 바운더리 셀들 중 서로 중복되는 영역이 있는 바운더리 셀들의 경우, 상기 설정된 각 바운더리 셀의 경계선 굵기 및 상기 각 바운더리 셀에 대하여 상기 병변이 존재하는 확률과 기 설정된 임계치와의 비교한 결과를 고려하여, 상기 중복되는 영역을 포함하는 바운더리 셀들 중 하나의 바운더리 셀만을 상기 관심 영역으로 추출하는 것을 특징으로 하는 병변 진단 보조 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 제11항에 있어서,
    상기 진단을 보조하는 단계는 상기 입력된 이미지에서 상기 병변이 존재하는 관심 영역을 기반으로 구진이 나타나는 상태를 경증, 결절이 나타나는 상태를 중등증, 반흔이 나타나는 상태를 중증으로 정의하여 상기 병변의 중증도를 라벨링하는 것을 특징으로 하는 병변 진단 보조 방법.
  17. 제11항 및 제16항 중 어느 한 항에 따른 방법을 위한 분석 방법을 컴퓨터에서 수행하기 위한 컴퓨터에서 판독 가능한 프로그램이 기록된 저장 매체.
KR1020180036995A 2018-03-30 2018-03-30 신경망을 기반으로 하는 피부 병변 진단 장치 및 병변 진단 보조 방법 KR102128910B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180036995A KR102128910B1 (ko) 2018-03-30 2018-03-30 신경망을 기반으로 하는 피부 병변 진단 장치 및 병변 진단 보조 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180036995A KR102128910B1 (ko) 2018-03-30 2018-03-30 신경망을 기반으로 하는 피부 병변 진단 장치 및 병변 진단 보조 방법

Publications (2)

Publication Number Publication Date
KR20190114384A KR20190114384A (ko) 2019-10-10
KR102128910B1 true KR102128910B1 (ko) 2020-07-01

Family

ID=68206691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180036995A KR102128910B1 (ko) 2018-03-30 2018-03-30 신경망을 기반으로 하는 피부 병변 진단 장치 및 병변 진단 보조 방법

Country Status (1)

Country Link
KR (1) KR102128910B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023018254A1 (ko) * 2021-08-11 2023-02-16 고려대학교 산학협력단 영상 처리를 이용한 피부 질환 진단 방법 및 장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102389917B1 (ko) * 2020-01-31 2022-04-25 인하대학교 산학협력단 인공지능을 이용한 피부 옴 판별 장치 및 방법
KR102464422B1 (ko) * 2020-10-08 2022-11-07 가톨릭대학교 산학협력단 폐 손상 진단 장치, 진단에 필요한 정보 제공 방법 및 기록매체
KR102499193B1 (ko) * 2020-12-30 2023-02-13 광운대학교 산학협력단 이미지 분석을 통한 탈모 중증도 판별 시스템 및 그 방법
KR102597668B1 (ko) * 2021-02-02 2023-11-03 광주과학기술원 피부진단장치
CN113504238B (zh) * 2021-06-04 2023-12-22 广东华中科技大学工业技术研究院 一种玻璃表面缺陷采集装置及检测方法
KR102402194B1 (ko) * 2021-08-10 2022-05-26 (주)바질컴퍼니 딥러닝 기반 엔드-투-엔드 o-ring 결함 검출 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100861803B1 (ko) * 2006-06-14 2008-10-09 주식회사 사람과사람들 기계학습을 이용한 얼굴인식 장치 및 그 방법
KR20160012758A (ko) 2014-07-25 2016-02-03 삼성전자주식회사 영상 진단 보조 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023018254A1 (ko) * 2021-08-11 2023-02-16 고려대학교 산학협력단 영상 처리를 이용한 피부 질환 진단 방법 및 장치

Also Published As

Publication number Publication date
KR20190114384A (ko) 2019-10-10

Similar Documents

Publication Publication Date Title
KR102128910B1 (ko) 신경망을 기반으로 하는 피부 병변 진단 장치 및 병변 진단 보조 방법
US11049014B2 (en) Learning apparatus, detecting apparatus, learning method, and detecting method
Dai et al. Clinical report guided retinal microaneurysm detection with multi-sieving deep learning
Sevastopolsky Optic disc and cup segmentation methods for glaucoma detection with modification of U-Net convolutional neural network
Al-masni et al. Detection and classification of the breast abnormalities in digital mammograms via regional convolutional neural network
US10482313B2 (en) Method and system for classification of endoscopic images using deep decision networks
Xie et al. Beyond classification: structured regression for robust cell detection using convolutional neural network
KR20190105180A (ko) 합성곱 신경망 기반의 병변 진단 장치 및 방법
JP2006252559A (ja) 画像において対象物の位置を特定する方法および対象物の画像を相異なる画像カテゴリに分類する方法
Kumar et al. Redefining Retinal Lesion Segmentation: A Quantum Leap With DL-UNet Enhanced Auto Encoder-Decoder for Fundus Image Analysis
EP3859666A1 (en) Classification device, classification method, program, and information recording medium
Sulam et al. Maximizing AUC with Deep Learning for Classification of Imbalanced Mammogram Datasets.
Nalbalwar et al. Detection of brain tumor by using ANN
Sharma et al. Machine learning approach for detection of diabetic retinopathy with improved pre-processing
CN103530646B (zh) 使用分类器级联的复杂对象检测
Zhao et al. BASCNet: Bilateral adaptive spatial and channel attention network for breast density classification in the mammogram
Sreejini et al. Retrieval of pathological retina images using Bag of Visual Words and pLSA model
Tian et al. Learning discriminative representations for fine-grained diabetic retinopathy grading
Eun et al. A study on the optimal artificial intelligence model for determination of urolithiasis
Ganitidis et al. Stratification of carotid atheromatous plaque using interpretable deep learning methods on B-mode ultrasound images
CN110766651B (zh) 超声设备
Zou et al. Deep learning and its application in diabetic retinopathy screening
Deepa et al. Pre-Trained Convolutional Neural Network for Automated Grading of Diabetic Retinopathy
Nivedhitha et al. An efficient hemorrhage detection system using decision tree classifier
CN111401390B (zh) 分类器方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant